Spark, daha yeni sürüme nasıl yükseltilir?

Question

Üzerinde Spark 1.3 bulunan bir sanal makinem var, ancak öncelikle 1.3'te olmayan desteklenen bazı işlevler nedeniyle onu Spark 1.5'a yükseltmek istiyorum. Spark versiyonunu 1.3'dan 1.5'a yükseltmek mümkün mü ve eğer evet ise bunu nasıl yapabilirim?

Answer 1

Önceden oluşturulan Spark dağılımları, another question of yours tabanlı kullandığınız gibi, "Spark" aslında "yüklü" olmadığı için "yükseltme" ye oldukça basittir. Aslında yapmanız gereken tek şey:

• Download uygun Kıvılcım dağıtımlarının
• Sıkıştırılmış uygun dizinde tar dosyası (iewhere klasör spark-1.3.1-bin-hadoop2.6 (senin durumunda, sonradan Hadoop'un 2.6 için önceden inşa edilmiş ve) zaten
İşte

Ben sadece bir ortamda, 1.5.2'de için 1.3.1 den gitmek, kendim yaptım budur buna göre) ayarlarınıza bağlı olarak SPARK_HOME (ve muhtemelen diğer bazı çevre değişkenleri güncelleyin) 'dir seninkine benzer (vagrant VM) Ubuntu çalıştıran:

1) uygun dizinde tar dosyasını indirin

vagrant@sparkvm2:~$ cd $SPARK_HOME 
vagrant@sparkvm2:/usr/local/bin/spark-1.3.1-bin-hadoop2.6$ cd .. 
vagrant@sparkvm2:/usr/local/bin$ ls 
ipcluster  ipcontroller2 iptest ipython2 spark-1.3.1-bin-hadoop2.6 
ipcluster2 ipengine  iptest2 jsonschema 
ipcontroller ipengine2  ipython pygmentize 
vagrant@sparkvm2:/usr/local/bin$ sudo wget http://apache.tsl.gr/spark/spark-1.5.2/spark-1.5.2-bin-hadoop2.6.tgz 
[...] 
vagrant@sparkvm2:/usr/local/bin$ ls 
ipcluster  ipcontroller2 iptest ipython2 spark-1.3.1-bin-hadoop2.6 
ipcluster2 ipengine  iptest2 jsonschema spark-1.5.2-bin-hadoop2.6.tgz 
ipcontroller ipengine2  ipython pygmentize 

Eğer wget ile kullanmalıdır kesin ayna benim daha muhtemelen farklı olacağını Bildirimi, bulunduğunuz yere bağlı olarak; İndirilecek paket türünü seçtikten sonra, download page'daki "Kıvılcımı İndir" bağlantısını tıklayarak bunu elde edersiniz.

2) Bunu şimdi, spark-1.5.2-bin-hadoop2.6 yeni bir klasör var görebilirsiniz

vagrant@sparkvm2:/usr/local/bin$ sudo tar -xzf spark-1.*.tgz 
vagrant@sparkvm2:/usr/local/bin$ ls 
ipcluster  ipcontroller2 iptest ipython2 spark-1.3.1-bin-hadoop2.6 
ipcluster2 ipengine  iptest2 jsonschema spark-1.5.2-bin-hadoop2.6 
ipcontroller ipengine2  ipython pygmentize spark-1.5.2-bin-hadoop2.6.tgz 

ile tgz dosyayı paketinden çıkarın. 0) SPARK_HOME (ve muhtemelen kullandığınız diğer ortam değişkenleri) tarafından, önceki dizinin yerine bu yeni dizine işaret edecek şekilde güncelleştirin.

Makinenizi yeniden başlattıktan sonra yapmanız gerekir.

1. sürece tüm ilgili çevre değişkenleri yenisi işaret olarak, önceki Kıvılcım dağılımını çıkarmak gerekmez: o

   dikkat edin. Böylelikle, eski ve yeni versiyon arasında “ileri-geri” i bile hızlı bir şekilde hareket ettirebilirsiniz, eğer bir şeyleri denemek istiyorsanız (yani, ilgili ortam değişkenlerini değiştirmeniz gerekir). Benim durumumda

2. sudo gerekliydi; Sizin ayarlarınıza bağlı olarak sizin için gereksiz olabilir.
3. Her şeyin düzgün çalıştığından emin olduktan sonra, indirilen tgz dosyasını silmek iyi bir fikirdir.
4. Spark'ın gelecekteki sürümlerine yükseltme yapmak için aynı prosedürü kullanabilirsiniz (daha hızlı). Bunu yaparsanız, önceki tgz dosyalarının silinmiş olduğundan emin olun veya yukarıdaki bir dosyayı işaret etmek için yukarıdaki tar komutunu değiştirin (örn. Yukarıdaki gibi * joker karakterler).

Answer 2

1. Şunu düzenle SPARK_HOME/opt/spark
2. Download son önceden oluşturulmuş ikili yani spark-2.2.1-bin-hadoop2.7.tgz - ln -s /opt/spark-2.2.1 /opt/spark̀

---

- En son indirmek için sembolik oluşturun wget

kullanabilirsiniz İndirdiğiniz her yeni sürüm için sadece t o kendisine sembolik köprüyü (adım 3)

• ln -s /opt/spark-x.x.x /opt/spark̀