Impala kümesini taşınabilir ikili dosyalardan çalıştırma

Birden çok büyük veri aracını değerlendiriyorum. Bunlardan biri de elbette Impala.
Impala kümesini, küme düğümlerindeki işlemleri el ile başlatarak başlatmak istiyorum. Şu anda Spark, H2O, Presto ve Dask için yaptığım gibi, ikili dosyaları kapmak, düğümlere kopyalamak, yapılandırmaları düzenlemek ve kabuklardaki düğümlerdeki hizmetleri başlatmak istiyorum. Bu çok iyi çalışıyor, yükseltmek kolay ve gerektiğinde daha büyük/farklı kümelere kolayca taşıyabilirim. Ne yazık ki, gerekli hizmetleri (Katalog Sunucusu, StateStore ve daemons) kabuktan başlatmak için uygun şekilde kaynak bulamıyorum.
Bunun bariz bir görev olduğunu ancak takip edebilecek uygun bir örnek bulamadığını düşünüyorum, bu yüzden sorduğum soru Impala kümelenmesini Impala ikili dosyalarından nasıl başlatabilirim?Impala kümesini taşınabilir ikili dosyalardan çalıştırma

kaynak

2016-08-22 jangorecki

* resmi Apaçi sitesinde bölümü? http://www.cloudera.com/documentation/enterprise/latest/topics/impala_processes.html#starting_via_cmdline –

Yasal Uyarı: Bağımsız bir kurulum veya manuel başlatma denemekten asla rahatsız olmadım. Cloudera Yöneticisi iyi bir iş çıkarır, iyi, her şeyi idare eder * (ve ne zaman çökerlerse otomatları otomatik olarak yeniden başlatırlar - ki bu komik bir deneyimdir, bende 20 yıldır korkunç Unix "SEGV" hatasını görmemiştim. !) * –

@SamsonScharfrichter Bu benim sorum ile ilgili gibi görünmüyor. Net değilse, Spark, H2O, Presto veya Dask'ı nasıl çalıştırdığına dair örnekler ekleyebilirim. Sadece indirilen ve paketlenmeyen ikili dosyalara karşı bir kabuk komutu. Kurulum veya işletim sistemi hizmetleri yok.Ben Cloudera Manager * tarafından * iyi bir iş üzerinde katılıyorum, ama çeşitli ortamlarda çalıştırmak gerekir, impala/CDH yeniden yükleme, yükseltme, downgrading gitmek için bir yol gibi görünmüyor. – jangorecki

.... Küme düğümlerindeki işlemleri manuel olarak başlatarak Impala kümesini başlatmak istiyorum ..... Impala ikili dosyaları kabuktan Impala kümesini nasıl başlatabilirim? http://www.cloudera.com/documentation/enterprise/5-5-x/topics/impala_processes.html#starting_via_cmdline

Güncelleme 1:

Ben Bu aradığınız ne olduğunu tahmin

Bu bağlantıdan sadece gerekli bilgi almak isteyebilirsiniz

: http://doc.mapr.com/plugins/servlet/mobile#content/view/28869628

Bu adımları vardır Mapith üzerinde çalıştırmak için, github gelen impala inşa etmek.

Güncelleme 2:

, Impala inşa edin için bu bağlantıları: https://github.com/cloudera/Impala/wiki/Build-prerequisites https://github.com/cloudera/Impala/wiki/How-to-build-Impala https://cwiki.apache.org/confluence/display/IMPALA/Building+Impala

Güncelleme 3: taşınabilirlik konusunda uzman önerileri için

temasa geçiniz:

Impala geliştiricileri: [email protected] ator.apache.org

http://impala.apache.org/community.html

Zaman olmaktan ele alındığında, sen hazır linux üretim ortamı için ikilileri inşa etmek düşünebilir. durumunuza

Bazı daha yararlı bağlantılar: Ne * "Başlangıç Impala" hakkında

https://cwiki.apache.org/confluence/display/IMPALA/Tips+for+Faster+Impala+Builds https://cwiki.apache.org/confluence/display/IMPALA/Building+native-toolchain+from+scratch+and+using+with+Impala

kaynak

2016-08-30 15:02:09 Marco99

Teşekkürler Marco, şimdi, bu çok pratik bir cevap değil, içten bir cevaptır. Impala'nın kaynaktan üretilmesinin performansını etkilemesi ihtimali var mıdır? Tüm nokta, impala'yı "kolayca" tekrarlanabilir kıyas ölçütü [db-benchmark] (https://github.com/h2oai/db-benchmark) içine eklemektir, bu yüzden her ikisi de CDH'yi veya bina kaynağını yükledikten sonra taşınabilirliği ele almayacaktır. aramak. – jangorecki

@jangorecki: Şahsen ben kaynaktan inşa etmeyi denemesem de, onun performansı üzerinde bir etki olacağını düşünmüyorum (büyük ölçüde küme yapılandırması, kaynakları ve yüküyle ilgili olduğu için). Elde etmeye çalıştığınız evrensel taşınabilirlik, makinenin yerel derleyicilerinin ilgili ikili dosyaları oluşturmasını gerektiren C++ bileşenlerinin varlığı nedeniyle pratik değildir. – Marco99

@jangorecki: Evrensel taşınabilirlik elde etmek için başka bir girişiniz var mı? Varsa lütfen paylaş. – Marco99

Impala kümesini taşınabilir ikili dosyalardan çalıştırma

cevap

İlgili konular