Sqoop, Hive ve Pig eylemleriyle basit bir Oozie iş akışı oluşturdum. Oozie, her bir eylem için bir MR fırlatıcısını başlatır ve bu da eylemi başlatır (Sqoop/Hive/Pig). Dolayısıyla, iş akışında 3 eylem için toplam 6 MR işi var.Oozie MR başlatıcısının önemi nedir?
Oozie eylemi başlatmak için doğrudan MR başlatıcısını başlatır ve doğrudan eylemi başlatmaz?
Aynısını Apache Flume forumlarında yayınladım ve yanıt burası.
Ayrıca, Oozie sunucusunun bataklık olmasını veya kararsız kalmasını da sağlamaktır. Örneğin, Pig işlerini çalıştıran bir grup iş akışınız varsa, , o zaman Oozie sunucusunun Pig istemcisi 'un (ki bu nispeten "ağır" bir programdır) birden çok kopyasını çalıştırabilirsiniz. Başlatıcısı kullanıcı kodunu ve harici istemcileri, başlatıcı işindeki görevleri eşlemek için hareket ettirerek, Oozie sunucusu hatalara karşı daha hafif ve daha az eğilimli kalır. Bu şekilde çok daha fazla ölçeklenebilir, çünkü başlatıcı işler iş başlatmayı/izlemeyi kümedeki diğer makinelere dağıtır; aksi halde, ile Oozie sunucusu her şeyi yapıyor, Oozie sunucunuzun makine özelliklerine (RAM, CPU, vb.) bağlı olarak eşzamanlı iş akışlarının sayısını sınırlamak zorundayız. Ve son olarak, mimari bir bakış açısından Oozie sunucusu 'un kendisi vatansız; Yani, her şey veritabanında saklanır ve Oozie sunucusu herhangi bir noktada herhangi bir şey kaybetmeden herhangi bir anda alınabilir. , doğrudan Oozie sunucusundan işleri başlatacak olsaydı, şimdi durumumuz olur (ör. Domuz istemcisi yeniden başlatılamaz ve yeniden başlatılamaz).