Domuzda NO FILE hatasını yönetmek mümkün mü?

Basit dosyayı yüklemeye çalışıyorum:Domuzda NO FILE hatasını yönetmek mümkün mü?

log = load 'file_1.gz' using TextLoader AS (line:chararray); 
dump log

Ve bir hata alıyorum:

2014-04-08 11:46:19,471 [main] ERROR org.apache.pig.tools.pigstats.SimplePigStats - ERROR 2997: Unable to recreate exception from backend error: org.apache.pig.backend.executionengine.ExecException: ERROR 2118: Input Pattern hdfs://hadoop1:8020/pko/file*gz matches 0 files 
     at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigInputFormat.getSplits(PigInputFormat.java:288) 
     at org.apache.hadoop.mapred.JobClient.writeNewSplits(JobClient.java:1054)

hata görünmeden önce böyle bir durum yönetmek mümkündür mı?

kaynak

2014-04-08 Pawel Kowalski

Pawel, Bunu nasıl halledeceğinizi biliyor muydunuz? Bende aynı senaryo var.Teşekkürler – Learner

Burada da aynı. Ayrıca birkaç normal ifadeyi denedim. hiçbiri "0 dosya" –

Girdi Desen HDF'ler: // hadoop1: 8020/pko/dosya * gz hatası verilen HDF'ler yolunda yok girdi dosyasıdır 0 dosyaları

eşleşir.

log = TextLoader AS kullanarak 'file_1.gz' dosyasını yükleyin (satır: chararray); , dosya_1.gz'nin mutlak yolundan bahsetmediğiniz gibi, o sizin domuz komut dosyasını çalıştırdığınız kullanıcının ev hdfs dir'ini alacaktır

kaynak

2015-04-30 16:40:40 KrazyGautam

döndürdüğü sürece çalışır. Hatanın nedenini biliyorum. Ama sorum şu: Domuzdaki bu tür hataları yönetmek mümkün mü? Denemek gibi bir şey. –

Maalesef şu anki Pig sürümünde (0.15.0) UDF'leri kullanmadan bu hataları yönetmek imkansızdır.

Buna dikkat çekmek için try ve catch komutunu kullanarak bir Java veya Python betiği oluşturmanızı öneririm. https://wiki.apache.org/pig/PigErrorHandlingInScripts

İyi şanslar öğrenme Domuz:

İşte size bazı kullanım olabilir iyi bir web sitesi var!

kaynak

2016-02-11 22:30:13

Bahsettiğiniz web sitesini sağlayabilir misiniz? –

Bu sorunla da karşı karşıya geliyorum.

DATA = LOAD '${qurwf_folder_input}/data/*/' AS (...);

Veri alt klasörlerdeki tüm dosyaları yüklemek istiyorum, ancak veri klasörü boş ve ben sizinle aynı hata var: My yük komuttur. Yaptığım şey, özel durumumda, veri dizininde boş bir klasör oluşturmaktı. Bu nedenle LOAD boş bir veri kümesi döndürür ve komut dosyası başarısız olmamıştır.

Bu arada, komut dosyalarını çalıştırmak için Oozie iş akışını kullanıyorum ve hazırda boş klasörleri oluşturuyorum.

kaynak

2017-01-19 11:46:15 Sigrist

Domuzda NO FILE hatasını yönetmek mümkün mü?

cevap

İlgili konular