HDFS, dosyanın hala açık olduğunu, ancak işlemin yazıldığı tarihte

Question

öldürülmüştüm hadoop için yeni durumdayım ve geçen birkaç saati bu konuyla ilgilenmeye çalıştım, ancak yardımcı olan hiçbir şey bulamadım. Benim sorunum HDFS'nin, dosyaya yazma işleminin uzun süre ölmesine rağmen hala açık olduğunu söylüyor. Bu dosyadan okumak imkansız hale getirir.

Dizinde fsck'i çalıştırdım ve her şeyin sağlıklı olduğunu bildiriyor. Ancak "Hadoop fsck -fs HDF'ler: // Hadoop/günlükleri/ham/directory_containing_file -openforwrite" çalıştırdığınızda alıyorum ben openforwrite olduğunu dosyada yine fsck komutu yapmak

Status: CORRUPT 
Total size: 222506775716 B 
Total dirs: 0 
Total files: 630 
Total blocks (validated): 3642 (avg. block size 61094666 B) 
    ******************************** 
    CORRUPT FILES: 1 
    MISSING BLOCKS: 1 
    MISSING SIZE:  30366208 B 
    ******************************** 
Minimally replicated blocks: 3641 (99.97254 %) 
Over-replicated blocks: 0 (0.0 %) 
Under-replicated blocks: 0 (0.0 %) 
Mis-replicated blocks:  0 (0.0 %) 
Default replication factor: 2 
Average block replication: 2.9991763 
Corrupt blocks:  0 
Missing replicas:  0 (0.0 %) 
Number of data-nodes:  23 
Number of racks:  1 

olsun

.Status: HEALTHY 
Total size: 793208051 B 
Total dirs: 0 
Total files: 1 
Total blocks (validated): 12 (avg. block size 66100670 B) 
Minimally replicated blocks: 12 (100.0 %) 
Over-replicated blocks: 0 (0.0 %) 
Under-replicated blocks: 0 (0.0 %) 
Mis-replicated blocks:  0 (0.0 %) 
Default replication factor: 2 
Average block replication: 3.0 
Corrupt blocks:  0 
Missing replicas:  0 (0.0 %) 
Number of data-nodes:  23 
Number of racks:  1 

Neler olup bittiği ile ilgili herhangi bir fikri olan var mı?

Answer 1

Adlar, bu dosya için dosya sistemini bozan geçici olarak kullanılabilir olmadığından, blokların eksik olduğu anlaşılıyor. Eksik bloklar hala okunabilir/kopyalanmadan dosyanın parçası ortaya çıktı. HDF'ler yolsuzlukla mücadele biraz daha bilgi https://twiki.grid.iu.edu/bin/view/Storage/HadoopRecovery mevcuttur (ayna: http://www.webcitation.org/5xMTitU0r)

Düzenleme: sorun (daha spesifik veya Scribe tarafından kullanılan DFSClient) Scribe yazmaya çalışırken asılı ilgili bir sorundan kaynaklandığını görünüyor HDFS'ye. Hdoop kümemizin kaynağını HADOOP-6099 ve HDFS-278 ile elle yamaladık, ikili dosyaları yeniden oluşturduk ve yeni sürümle birlikte yeniden başlattık. Yeni versiyonda iki aydır devam eden sorunlar yaşanmadı.