Yazar, tavsiyeleri (her Cassandra düğüm için Kıvılcım Slave) aşağıdaki Kıvılcım Cassandra mimari şema kullanmak için yazı bulunan düğümler. Tüm düğümler birbirinin tam kopyasıdır. Benim durumumda her Cassandra düğümü için Spark köle çalıştırmak biraz mantıklı mı?Kıvılcım
Q
Kıvılcım
0
A
cevap
1
Evet öyle. Spark-Cassandra konektörü veri lokalizasyonunun farkındadır, yani Cassandra düğümü ile birlikte konumlandırılmış olan her bir Spark düğümü, sadece yerel Cassandra verilerini işleyeceğinden emin olabilir, bu da ağ üzerinden çok sayıda veriyi karıştırmayı önler. Bunun, Russell Spitzer'in bu konu hakkında here numaralı telefondaki bir konuşmasını izleyerek nasıl çalıştığını öğrenebilirsiniz.
İlgili konular
- 1. Kıvılcım: kıvılcım kabuklarından kıvılcım dosyasını nasıl çalıştırılır
- 2. Kıvılcım Spark içinde kıvılcım
- 3. Kıvılcım
- 4. Kıvılcım
- 5. Tüm kıvılcım boyunca kıvılcım iletimi ile bir kıvılcım işinin çalıştırılması
- 6. Kıvılcım sayfalarını csv dosyası olarak okuma kıvılcım
- 7. Kıvılcım RDD
- 8. Kıvılcım: dataframe
- 9. Yerel kıvılcım kıvılcım cassandra konektörü Spark kıvılcımı aşağı görünüyor
- 10. Kıvılcım yinelemeli HDFS dizini
- 11. Kıvılcım cassandra güncelleme/yükseltme
- 12. Kıvılcım çalışanı belleği
- 13. Kıvılcım etiketi nasıl ciltlenebilir?
- 14. Kıvılcım Akış Şeması
- 15. Niçin Değişken harita kıvılcım
- 16. Kıvılcım Bağlam otomatik Shell
- 17. kıvılcım scala anahtar
- 18. Bir kıvılcım RDD
- 19. kıvılcım - filtre içinde harita
- 20. Kıvılcım kurulum cygwin
- 21. Kıvılcım JSON metin alanı
- 22. Kıvılcım Akış UpdateStateByKey
- 23. kıvılcım gönderme sınıfıNotFoundException
- 24. Scala/Kıvılcım sürümü uyumluluk
- 25. Hive (kıvılcım 1.5.0)
- 26. kıvılcım: aramayı kullanın haritada arayın
- 27. build.sbt: kıvılcım bağımlılıkları nasıl ekleneceğini
- 28. Cloudera 5.6 kıvılcım belleğiFraksiyon ayarları
- 29. kıvılcım sql pencere fonksiyonu gecikmesi
- 30. (*) Kıvılcım Python işareti benim dosyalardan