Big Data ve Web Analytics'e nasıl başlanır

Question

Şu anda büyük veri analitiği ve web analitiği üzerinde çalışmakla ilgileniyorum, fakat nasıl ve nereden başlayacağımı bilmiyorum. İnternete bakmayı denedim, ama bazıları benim için ilerliyor. Bu rotayı yapmadan önce ihtiyaç duyduğum istatistik ve matematik bilgisi var mı?

Şu anki planım, hafta içi her gün Yardımcı Yazılım Mühendisi olarak çalışıyorum ve R. gibi Büyük veriler için gerekli programlama dillerini pratik ettiğim için her hafta sonları çevrimiçi kurslara katılmaktır. Bilgisayar Bilimi alanında bir derece var. Bazı istatistiksel ve matematiksel yöntemler sorun değildir. Herhangi bir öneri ve yorum oldukça takdir edilmektedir!

Zaten deneyim sahibi olanlar için, tecrübeniz nedir ve en çok neyle çalışıyorsunuz?

Answer 1

Sizinle benzer bir teknedeyim. Bir iş geliştirme uzmanı olarak web geliştirme departmanında çalışıyorum. Bazı yazılım geliştirme, veri madenciliği ve veri görselleştirme yapıyorum, ancak sürekli olarak becerilerimi geliştiriyorum çünkü hepsi benim için oldukça ilginç ve bana çok yönlü bir çalışan sağlıyor. Şirketinizin Google Analytics hesabınıza okuma erişimi sağlayabilirseniz/Büyük Veri


Web Analytics bir web sitesi var varsayarak bakın. API gerçekten çok iyi ve önceden oluşturulmuş R paketleri büyük miktarlarda veri elde etmeyi gerçekten kolaylaştırıyor. Web siteleri yeterince büyükse, kendi gerçek veri kümelerinizi kolayca oluşturabilirsiniz. Bunlar muhtemelen "büyük veri" lerde "büyük" olmayacak olsa da, veri görselleştirmeleri yapmak için kesinlikle harikalar. Shiny ve R Markdown'u öğrenmeyi öneririm. Şirketinizle paylaşabileceğiniz web istatistikleri görselleştirmelerini kolayca oluşturabilirsiniz. İşlemeye çalıştığınız veri miktarıyla ilgili sorunlara (örneğin: büyük bir web varlığına sahiplerse) geldiğinizde, büyük verileri işlemek için Spark'e bakabilirsiniz. Coursera'nın Big Data'ya odaklanan bir uzmanlığı var - https://www.coursera.org/specializations/big-data. Onları sadece "denetlerseniz" tüm sınıfları ücretsiz olarak alabilirsiniz. Sertifika almayacaksın, ama tüm ders materyallerine ulaşabileceksin. Görünüşe göre Spark, Hadoop, Pig ve Hive'den geçiyorlar. Onu almadım ama aldığım UCSD Coursera dersleri oldukça iyi geçti.

Açıkçası Coursera, her şeyden önce değil ... Ayrıca edx.org, Pluralsight, Udemy, vs ... Bir yıl boyunca ücretsiz bir Pluralsight üyeliği alabilirsiniz - sadece Google. Benimki Microsoft'un bir şekilde oldu. Pluralsight tarafından benim favori kursları (veri/analitik ile ilgisi olmayan) Ethical Hacking olmuştur. Udemy sık sık BÜYÜK kurslar üzerinde inanılmaz fırsatlar var - veri analizi ve bunun gibi şeyler için Python hakkında 21 saat dersler gibi. Sadece servis için kayıt olun, bir veya iki haftada bir "özel fırsat" elde edersiniz. Genellikle 10-20 dolar. https://www.brighttalk.com/ aynı zamanda veri bilimi/analitiği ile ilgili web seminerleri ve görüşmeler için de iyi bir yerdir.

Veritabanları
Şirketim SQL Server (Microsoft) kullanır, bu yüzden de MVA (Microsoft Sanal Akademisi) bazı veritabanı dersleri aldı. Tam noob'dan bir kaç sınıfa sahipler: MVA Database Stuff.

veriler, büyük veri kümelerini gerek bulursanız
, Kaggle katılmak ayarlar. Genellikle makine öğrenimi için harika veri kümelerine sahipler, ancak bunları benim yapmak ve görselleştirmeler yapmak için kendiniz kullanabilirsiniz. Özellikle etiketli veri kümeleri arardım. Daha büyük setlerin çoğu tamamen anonimleştirilmiş - etiket yok, hiçbir şey yok. Ama sadece etrafta dolaşıyorsan çok eğlenceli değil. Ayrıca, birileri burada bir grup kamu veri kaynağı derledi: https://github.com/caesar0301/awesome-public-datasets. Son olarak, NYC Open Data net veri kümeleri almak için en sevdiğim yerlerden biridir.Bazıları süper sıkıcı ama bazı analizler done on parking tickets ve benzerleri var. sadece okumak https://www.metacademy.org/ kontrol etmek daha almaya sınıflar veya kitap arıyorsanız

fazla ...
. Derin öğrenmeyi, makine öğrenimini, Bayes istatistiklerini ve bunun gibi diğer şeyleri öğrenmek için önerilen birkaç yol var. Makine öğreniminin mükemmel bir sonraki adım olduğunu düşünüyorum - bir kez yazılım geliştirme, veritabanı yönetimi/oluşturma/sorgulama ve görselleştirme konularında uzmansınız.

Daha da fazla ...
Sadece kendinizi batırmayın. Orada veri blogları, podcast, buluşma grupları, konferanslar ve haberler TONS vardır. Oraya girip neler olup bittiğini ve kimin ne yaptığını anlatabilmek için elinden geleni yap. Yine de çok ilginç. Takip ettiğim en sevdiğim iki şey: datatau (veri bilimi için hacker haberleri) ve I Quant NY (otopark biletleri için yukarıda bağlantılı).