Bu, büyük verilerle ilk uğraştığımda ve kümeyi kullanıyor.Apache Spark'de bir metin dosyası için HDFS nasıl oluşturulur?
Baytları köleler düğümleri arasında dağıtmak için HDFS'yi Apache kıvılcımı ile kullanmanın kolay olduğunu okudum.
HDFS nasıl oluşturulur?
Sadece denemek ve öğrenmek istiyorsanız, dosyaları HDFS olmadan da işlemek için Apache Spark'i kullanabilirsiniz. Spark Quick Start'a bir göz atın.
Bir HDFS kümesine ihtiyacınız varsa, en iyi seçiminiz büyük Hadoop dağıtımlarından birini yüklemektir. Cloudera, Hortonworks, MapR, hepsi kolay ve ücretsiz montajcılar ve ücretli destek hizmetleri sağlar.
Hadoop'un üstüne zaten bir kıvılcım yerleştirdim.now HDFS oluşturmak istiyorum, bu yüzden dosyaları okuduğumda "HDFS: dosya adı" bağlantısını yazdım. Nasıl? –
Spark, Hadoop'ta çalışıyorsa, dosyalara '/ data.csv' olarak bakabilir ve bu dosyayı HDFS kökünde arayacaktır. –
Ama dosya bir csv değil bir metin dosyasıdır –