0
Büyük veri ortamına yeni ve yeni bir Node Hadoop küme 2.6, Zookeeper kullanarak HA Yeteneği ile birlikte kuruldu.HA Yetebilirlikli Hadoop İplik Kümesinde Apache Spark dağıtımı
Tüm işler şu an için iyi ve NN1 ve NN2 üzerinde zookeeper kullanarak Yük Devretme senaryosunu test ettim ve iyi çalışıyor.
Şimdi, Apache Spark'i Hadoop İplik kümesine ayrıca HA Yetenekli ile yüklemeyi düşünüyordum.
Kurulum adımları konusunda bana yardımcı olabilecek herhangi biri var mı? Yalnız Spark on Stand modunu nasıl ayarlayacağımı ve kurulumun başarıyla yapıldığını bulabiliyordum. Şimdi ben, HA Capability birlikte İplik kümede aynı yüklemek istediğiniz
Ben üç düğüm küme (NN1, NN2, DN1), aşağıdaki cinleri anda bu sunucuların her biri üzerinde çalışan,
Nodes running in Master NameNode (NN1)
Jps
DataNode
DFSZKFailoverController
JournalNode
ResourceManager
NameNode
QuorumPeerMain
NodeManager
Nodes running in StandBy NameNode (NN2)
Jps
DFSZKFailoverController
NameNode
QuorumPeerMain
NodeManager
JournalNode
DataNode
Nodes running in DataNode (DN1)
QuorumPeerMain
Jps
DataNode
JournalNode
NodeManager
Hızlı yanıtladığınız için, hadoop kümemde RM'nin yüksek kullanılabilirliğini ayarladıktan sonra, bu bloga (http: // backtobazics'te gösterildiği gibi tüm düğümlerde normal Spark yüklemesini yapmalı mıyım? .com/big-data/6 adımda-setup-apache-spark-1-0-1-multi-node-cluster-on-centos /) –
Hayır, bu link bağımsız kıvılcım kurulumunu açıklar. YARN üzerindeki kıvılcımı çalıştırmak için sadece istemci makinenizde kıvılcım indirmeniz ve işlerinizi bu yönergeleri kullanarak çalıştırmanız gerekiyor: http://spark.apache.org/docs/latest/running-on-yarn.html – facha