Domuz toplu olmayan uyarılar çıktı konumu?

Question

Pig: 0.8.1-cdh3u2 
Hadoop: 0.20.2-cdh3u0 

Hata ayıklama FIELD_DISCARDED_TYPE_CONVERSION_FAILED uyarıları, ancak her yerde tek tek uyarılar yazdıramıyor gibi görünmüyor. Toplamanın -w veya aggregate.warnings=false anahtarıyla devre dışı bırakılması, özet iletileri kaldırır, ANCAK gerçek uyarıyı da kaldırır, dolayısıyla hangi tür dönüşümün başarısız olduğunu göremiyorum.

Bu çalışma için domuz günlüğünde hiçbir şey yazılmadı, VE günlükleri tek tek uyarılarla bulabileceğim yer yok. Bariz bir şeyi özledim mi, yoksa işe yaramıyor mu?

Answer 1

Hadoop iş günlükleri her bir bilgi işlem düğümüne yerel olarak kaydedilir. Bu nedenle öncelikle analiz edebilmek için günlük dosyalarını dağıtılmış dosya sistemine toplamak için hadoop küme yöneticinizi kurmanız gerekir. HDF'ler üzerinde çalıştırabileceğiniz günlükleri aldıktan sonra

log-destination-uri = hdfs://host123:45678/user/hod/logs 

http://hadoop.apache.org/docs/r0.17.0/hod_user_guide.html#Collecting+and+Viewing+Hadoop+Logs

de damacana belgelere bakın: Eğer Hadoop-on-demand (http://hadoop.apache.org/docs/r0.17.0/hod.html) kullanırsanız gibi bir şey belirterek bunu mümkün olmalıdır Hatalı dönüştürmeyi bulmak için basit bir PIG sorgusu.

a1= LOAD '*.log' USING PigStorage(']') ; 
a2= FILTER a1 by ($1 MATCHES ' WARN.*Unable to interpret value.*'); 
dump a2; 

Answer 2

Bu soruna neden olan veri veya değer bulmak zor, ama bu sorunu yaratıyor hangi sütunun en azından şunları bulabilirsiniz: aşağıdaki gibi bir şey hile yapmak gerekir. Sütunu bulduğunuzda, tür dönüşümüne yardımcı olabilecek Dinamik Invoker'u kullanabilirsiniz.

Dinamik invoker nasıl kullanılır:
ConvertToDouble InvokeForDouble DEFINE (​​'java.lang.Double.parseDouble', 'Dize');

ConvertToDouble (column_name);