CloudStore ve HDFS ile çalışma konusunda herhangi bir yakınlık var mı. CloudStore'un ne kadar ölçeklendirildiğini ve üretimde ne kadar yoğun kullanıldığını görmek istiyorum. CloudStore, HDFS'den daha kapsamlı görünüyor. Bu iki dosya sistemini düşünürken hangi pratik ticaret fırsatları var?CloudStore ve HDFS
5
A
cevap
2
Steve, CloudStore'un C++'da tasarlandığından dolayı HDFS'den daha hızlı olması gerektiği görülüyor. Bu Karşılaştırma ile ilgileniyoruz ve bunu üretimde kullanmayı planlıyoruz.
Bu konuda ilginç bir şey bulursanız bizi haberdar edin.
1
CloudStore (veya KFS) artık Quantcast Dosya Sistemi (veya QFS). Proje şu anda https://github.com/quantcast/qfs adresinde yer almaktadır ve bir göz atabileceğiniz bir comparison with HDFS sayfasına sahiptir.
İlgili konular
- 1. S3 - HDFS
- 2. Hadoop HDFS
- 3. /var/log/hadoop-hdfs altındaki hadoop-hdfs günlüklerini nasıl temizlerim
- 4. Fırtına: HDFS URI'yi HA HDFS ile HdfsBolt() içinde tanımlayın
- 5. Kıvılcım yinelemeli HDFS dizini
- 6. HDFS dizinleri üzerinden geçme
- 7. hdfs dosyasında dosya yolu
- 8. domuz komut dosyası, hdfs
- 9. javid'ten hdfs klasörünü sil
- 10. HDFS dosya görüntüleyicisi
- 11. İlişkisel veriyi hdfs içinde saklayabiliriz
- 12. HDFS dosyalarından okunan Pydoop ördekler
- 13. Kıvılcımlar içinde hdfs: // ve iplik kullanımı arasındaki fark
- 14. . Hdfs dizindeki klasörleri silme işlemi silinmiyor
- 15. Verileri kopyalanmadan doğrudan hdfs dosyasına aktarın
- 16. HDFS dosyaları varsayılan olarak yerel olarak depolar?
- 17. HDFS vs GridFS: Hangi özelliği kullanmalı?
- 18. java.io.IOException: Eksik HDFS URI, ana bilgisayar yok
- 19. Yerel sistemden dizini hdfs java koduna kopyalama
- 20. Python HDFS yanlış dosya boyutu veriyor
- 21. C++ (libhdfs) içinde hdfs dosyaları yazma
- 22. Apache Spark, HDFS veri düğümlerini nasıl biliyor?
- 23. Apache Spark'de bir metin dosyası için HDFS nasıl oluşturulur?
- 24. hbase verilerini hdfs (hadoop komutları) aracılığıyla alma/verme
- 25. gzipped Parçalı HDFS için Parke dosyası ayrılabilir mi?
- 26. HDFS, dosyanın hala açık olduğunu, ancak işlemin yazıldığı tarihte
- 27. Eşleyici dosyasında hdfs dosyasında SR ayrıştırıcı dosyası nasıl yüklenir?
- 28. Hadoop: core-site.xml içinde varsayılan FileSystem'i HDFS olarak ayarlayamıyor
- 29. Kerberos tarafından korunan bir HDFS dosyasını almak için Spark'i kullanma
- 30. Verileri Oracle (Windows) ile HDFS (CDH3) makinesinden sqoop
"C++'da tasarlandığı gibi"? Performans sorunlarının genellikle doğrudan hesaplama yükünden kaynaklanmadığı dağıtılmış dosya sistemleri için, algoritmaların dillerden biraz daha fazla ağırlık almasını beklerdim. – drxzcl
Teraziye bağlıdır. Düşük ölçekte bu doğrudur. Yönetilen bir dil% 10 ek yük getiriyorsa,% 10 daha fazla sunucuya sahip olmanız gerekir. Belli bir noktada,% 10 daha fazla sunucu satın almaktan daha C++ bir şey yazmak daha ucuzdur. Çoğu insanın bu problemi olmadığını biliyorum ama yakında olacak. –