eksik kopyalarını gösteriyor?Hadoop: FSCK sonucu eksik kopyaları nasıl düzelteceğimi bilen birileri bana
================================= ==============================
toplam boyutu: 3447348383 B
Toplam dirs: 120
dosya sayısı: 98
Toplam blok (doğrulanmış): 133 (% 100.0)
: 133 (ort. blok büyüklüğü 25.919.912 B)Minimal blok çoğaltılmış
üzerinde çoğaltılmış bloklar: 0 (% 0.0) altında çoğaltılmış blok
: 21 (15,789474%)
MIS-çoğaltılmış bloklar: 0 (% 0.0)
Standart çoğaltma faktörü: 3
ortalama blok çoğaltma: 2,3834586
Bozuk bloklar: 0
Eksik kopyaları: 147 (46,37224%) veri düğüm
sayısı: rafların 3
Sayısı: 1
================= ================================================== veri kaybetti olmuştur anlamına gelir ========= Belirsiz rehber gereğince
,
Bozuk veya eksik bloklar, endişe için en büyük nedenidir. Varsayılan olarak, fsck dosyaları bozuk veya eksik bloklarla bırakır, ancak için aşağıdaki işlemlerden birini gerçekleştirebilirsiniz:
• Etkilenen dosyaları HDFS'de bulunan/lost + bulunan dizine taşıyın. seçeneği taşı Dosyalar, 'un herhangi bir kurtarma çabasına yardımcı olmak için bitişik blok zincirlerine bölünür.
• Etkilenen dosyaları -delete seçeneğini kullanarak silin. Dosyalar, silinerek geri alınamaz.
Burada benim sorum, etkilenen dosyaları nasıl bulacağınızdır? Herhangi bir sorun olmadan gerekli çıktıları almak için Hive ile çalıştım. sorgu işlemenin performansını/hızını etkiler.
Selamlar,
Raj'ın
Yani, eksik eşlemeler size göre bir sorun değil, değil mi? sorgu işlemenin performansını/hızını etkiler. – Raj
Belirli bir bloğun tüm kopyalarını kaçırmadığınız sürece, eksik kopyalar kalan kopyalardan yeniden oluşturulabilir. Bir dosyada tüm kopyaların eksik olduğu bir veya daha fazla blok varsa, o dosya bozuktur ve kurtarılamaz. Eric Sammer'ın 'Hadoop Operations' kitabında iyi bir açıklama bulabilirsiniz: http://books.google.com/books?id=TQqSwRScVhoC&printsec=frontcover&dq=sammer+hadoop+operations&hl=tr&sa=X&ei=r652UczYCsKT2QXcm4GICg&ved=0CDkQ6AEwAA#v=onepage&q&f = false – highlycaffeinated
Merhaba, Hadoop fsck/-delete çalıştırırsam, dahili olarak ne olur? lütfen detaylandırır mısın lütfen. –