Kıvılcımlar içinde hdfs: // ve iplik kullanımı arasındaki fark

Question

Küme modunu kullanarak kaydetme ve kaydetme dosyasını kaydetmek için spark içinde hdfs: // ve iplik kullanımı arasındaki fark nedir?

Answer 1

here numaralı sorudan, HDFS konusunda anlayışınızı tahmin ediyorum ve YARN yanlış.

YARN genel bir iş zamanlaması çerçevedir ve HDFS bir depolama çerçevesidir. bir fındık kabuğu

İPLİK bir usta (Kaynak Yöneticisi) ve işçiler (Düğüm yöneticisi),

kaynak yöneticisi MapReduce işlerini yürütmek için işçilere kapları oluşturur kıvılcım işleri vb vardır üzerinde

HDF'ler diğer el, dosyaları kalıcı hale getirmek ve almak için bir ana (Ad Düğümü) ve çalışan (Veri Düğümü) içerir.

HDFS ile iletişim kurmak için YARN'e ihtiyacınız yoktur, bağımsız bir varlıktır. Üretim ortamında HDFS çalışanı (Data düğümü) ve YARN çalışanı (Düğüm yöneticisi) tek bir makineye kurulur, böylece işleme çerçevesi en yakın yerel veri düğümünden (Veri Yeri) veriyi kullanabilir.

Küme modundaki bir YARN kümesindeki kıvılcımı kullanmak, YARN kümesindeki çalışan düğümlerinden biri, kıvılcım işini göndermek için istemci görevi görür. Bu nedenle, kıvılcım yürütücüsünün verileri en yakın veri düğümünden okuyacağı için, hdfs: // 'i kullanmak kıvılcım işine yarar sağlayacaktır.

YARN ve HDFS yapılandırmaları, istemci makinede HADOOP_CONF_DIR adresinden okunabilir (istemci modunda yerel makine ve küme modunda çalışan düğümlerden biri olabilirsiniz).