HBase Kerberos bağlantı yenileme stratejisi

Question

Son zamanlarda kümelemde kerberos'u etkinleştirdim, kerberos oturum açma sürem dolduğunda, her şey harika çalışıyor, 12 saat. Bu noktada, oluşturduğum herhangi bir bağlantı, bu bağlantılarla oluşturulan tüm tablolar vs. kullandığımda atar. Bu, bunun nasıl ele alınacağına bağlı olarak uygulamanızı kilitleyebilir.

Uygulamamın, eğer aşağı doğru giderse uygulamayı yeniden diriltecek olan kaydırıcı tarafından yönetilmesi nedeniyle büyük bir çöküşe gerek yok, ancak bu yalnızca HBase "kullanılmış" olduğunda gerçekleşecektir (yani bir tabloda bir yöntemi çağırıyorum büyük olasılıkla bir kullanıcı etkileşimi tarafından neden olacak ve bu da zayıf UX'e yol açacaktır.

Uygulamamı etkilemek için kimlik doğrulaması uygulama ayrıntılarını istemiyorum ve ayrıca çok fazla sayıda RPC çağrısı yapan maliyetli bir işlem olduğu için bağlantı nesnelerini daha sık oluşturmak istemiyorum (zookeeper meta veri konumu ile başla).

Kerberos kimlik doğrulamasının sona ermesini yönetmek ve bu olduğunda HBase bağlantıları/tablolarını yenilemek için ortak bir strateji (tercihen HBase istemcisine yerleşik) var mı?

Answer 1

Kerberos TGT bir süresi (örneğin 12 saat) ve bir yenilenebilir kullanım (örneğin 7 gün) bulunmaktadır. Bilet hala geçerli ve hala yenilenebilir olduğu sürece "ücretsiz" bir yenileme - şifre gerektirmez - talep edebilirsiniz ve ömür boyu sayaç sıfırlanır (örneğin, tekrar gitmek için 12 saat).

Hadoop kimlik doğrulama kitaplığı, geçerli TGT'nin otomatik yenilenme için özel bir Java iş parçacığı oluşturur. Bunun yerine bir JAAS kütüphane görüşmesinin bir kinit -R komut satırı kullanarak, tür çirkin, ama çalışır - Başlangıçta yenilenebilir bileti oluşturmak için Kaydırıcısını alırsanız, Yani HADOOP-6656

görmek ve size SysAdmin rüşvet eğer yükseltmek varsayılan olarak (cf müşteri conf) ve max (çapraz başvuru KDC conf) yenilenebilir ömür boyu, yani, 30 gün sonra, uygulamanız ilk TGT ile düz bir şekilde 30 gün boyunca çalışabilir. Güzel bir gelişme. Eğer gerçekten sonsuzluk için yalvarmak

~~~~~~~~~~

... üzgünüm, ama aslında yapmak için bazı programlama olacaktır. Bu, adanmış bir iş parçacığı/işlem veya otomatik olarak TGT'yi yeniden oluşturma anlamına gelir.

• Java Way: HBase/HDF'ler bağlanmak başlangıçta, önce/neyse açıkça loginUserFromKeytab() ile UGI sonra zaman zaman checkTGTAndReloginFromKeytab() çalıştırmak oluşturun
• Shell Yolu: kabuğu başlatmak ki (a), (b) periyodik tekrar kinit tetikleyen bir alt işlemi olarak çoğaltılır kinit ile TGT oluşturur (c) uygulama şimdiye

sonlandırması durumunda zaman/Java uygulama söz konusu ise alt işlemi öldürür başlattı 210

Uyarı: Başka bir iş parçacığı, TGT yeniden oluşturulduğunda bir bağlantıyı açar veya yeniden açarsa, bu bağlantı, önbellek, erişildiği anda boş olduğundan ("yarış durumu") başarısız olabilir . Bir sonraki girişim başarılı olacak, ancak kayıtlarınızda birkaç sahte uyarı bekleyeceksiniz.

~~~~~~~~~~

Final tavsiye: Eğer yani aynı Linux hesabıyla aynı düğümde birden çok uygulamayı çalıştırabilir (uygulamanız için bir özel bilet önbelleğini kullanabilirsiniz ancak farklı Kerberos prensipleri) "FILE:" önbelleği olduğu sürece KRB5CCNAME ortam değişkenini ayarlayarak.