2013-04-18 20 views
8

eksik kopyalarını gösteriyor?Hadoop: FSCK sonucu eksik kopyaları nasıl düzelteceğimi bilen birileri bana

================================= ==============================

toplam boyutu: 3447348383 B

Toplam dirs: 120

dosya sayısı: 98

Toplam blok (doğrulanmış): 133 (% 100.0)

: 133 (ort. blok büyüklüğü 25.919.912 B)

Minimal blok çoğaltılmış

üzerinde çoğaltılmış bloklar: 0 (% 0.0) altında çoğaltılmış blok

: 21 (15,789474%)

MIS-çoğaltılmış bloklar: 0 (% 0.0)

Standart çoğaltma faktörü: 3

ortalama blok çoğaltma: 2,3834586

Bozuk bloklar: 0

Eksik kopyaları: 147 (46,37224%) veri düğüm

sayısı: rafların 3

Sayısı: 1

================= ================================================== veri kaybetti olmuştur anlamına gelir ========= Belirsiz rehber gereğince

,

Bozuk veya eksik bloklar, endişe için en büyük nedenidir. Varsayılan olarak, fsck dosyaları bozuk veya eksik bloklarla bırakır, ancak için aşağıdaki işlemlerden birini gerçekleştirebilirsiniz:

• Etkilenen dosyaları HDFS'de bulunan/lost + bulunan dizine taşıyın. seçeneği taşı Dosyalar, 'un herhangi bir kurtarma çabasına yardımcı olmak için bitişik blok zincirlerine bölünür.

• Etkilenen dosyaları -delete seçeneğini kullanarak silin. Dosyalar, silinerek geri alınamaz.

Burada benim sorum, etkilenen dosyaları nasıl bulacağınızdır? Herhangi bir sorun olmadan gerekli çıktıları almak için Hive ile çalıştım. sorgu işlemenin performansını/hızını etkiler.

Selamlar,

Raj'ın

cevap

12

Eksik kopyaları zamanla kendi kendini onarma olmalıdır.

hadoop fsck/-move 

Veya bunları silin:: Ancak, + bulunan kayıp taşımak isteyen konum, kullanabileceğiniz sadece çoğaltılmış altında olan dosyaları tanımlamak istiyorsanız

hadoop fsck/-delete 

bloklar, kullanın:

hadoop fsck/-files -blocks -locations 

bekIiyorduk/gerçek blok çoğaltma sayılarının listesi de dahil olmak detay bir sürü verecektir Yani.

+0

Yani, eksik eşlemeler size göre bir sorun değil, değil mi? sorgu işlemenin performansını/hızını etkiler. – Raj

+1

Belirli bir bloğun tüm kopyalarını kaçırmadığınız sürece, eksik kopyalar kalan kopyalardan yeniden oluşturulabilir. Bir dosyada tüm kopyaların eksik olduğu bir veya daha fazla blok varsa, o dosya bozuktur ve kurtarılamaz. Eric Sammer'ın 'Hadoop Operations' kitabında iyi bir açıklama bulabilirsiniz: http://books.google.com/books?id=TQqSwRScVhoC&printsec=frontcover&dq=sammer+hadoop+operations&hl=tr&sa=X&ei=r652UczYCsKT2QXcm4GICg&ved=0CDkQ6AEwAA#v=onepage&q&f = false – highlycaffeinated

+1

Merhaba, Hadoop fsck/-delete çalıştırırsam, dahili olarak ne olur? lütfen detaylandırır mısın lütfen. –