Hadoop'ta "Geçersiz bölümleme" hatası nasıl düzeltilir?

Question

Özel bir bölümleyici yazdım. 1'den büyük görevleri azaltma görevim olduğunda, iş başarısız oluyor. Bu alıyorum istisnadır:

java.io.IOException: Illegal partition for weburl_compositeKey@804746b1 (-1) 
at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.collect(MapTask.java:930) 
at org.apache.hadoop.mapred.MapTask$OldOutputCollector.collect(MapTask.java:499) 

yazdım kodu

public int getPartition(weburl_compositeKey key, Text value, int numPartitions) 
{ 
    return (key.hashCode()) % numPartitions; 
} 

Bu key.hashCode()-719988079 eşittir ve bu değerin mod -1 dönen olmasıdır.

Bu konuda yardımlarınız için teşekkür ederiz. Teşekkürler.

Answer 1

Hesaplanan bölüm numarası özel Partitioner numaranızın negatif olmaması gerekir.

public int getPartition(weburl_compositeKey key, Text value, int numPartitions) 
{ 
    return (key.hashCode() & Integer.MAX_VALUE) % numPartitions; 
} 

Answer 2

Yoksa kullanma hakkında

public int getPartition(weburl_compositeKey key, Text value, int numPartitions) 
{ 
    return (key.hashCode() & Integer.MAX_VALUE) % numPartitions; 
} 

Answer 3

bir uyarı kullanabilirsiniz:: Deneyin Eğer key.hashCode() hala bir negatif alacak Integer.MIN_VALUE eşittir davayı vurursanız

public int getPartition(weburl_compositeKey key, Text value, int numPartitions) 
{ 
    return Math.abs(key.hashCode()) % numPartitions; 
} 

bölüm değeri. Bu, Java'nın bir tuhaflığıdır, ancak Math.abs(Integer.MIN_VALUE), Integer.MIN_VALUE değerini döndürür (-2147483648'de olduğu gibi). Modülün mutlak değerini daha güvenli bir şekilde alıyorsunuz, şu şekilde:

public int getPartition(weburl_compositeKey key, Text value, int numPartitions) 
{ 
    return Math.abs(key.hashCode() % numPartitions); 
}