Hadoop öğreticisinin Task Side-Effect Files bölümü, görevin "girişimi" ni benzersiz bir ad olarak kullanır. Bu deneme kimliğimi mapper'ım veya redüktörümde nasıl alabilirim?Halihazırda çalışan Hadoop görevi için görev girişimi kimliğini alın
8
A
cevap
11
Eğer Hadoop bir yan etkisi dosyası için benzersiz bir kimlik gerekiyorsa, bu kodla işinde girişimi benzersiz kimliği kaldıraç olabilir: partiye Geç
public static String getAttemptId(Configuration conf) throws IllegalArgumentException
{
if (conf == null) {
throw new NullPointerException("conf is null");
}
String taskId = conf.get("mapred.task.id");
if (taskId == null) {
throw new IllegalArgumentException("Configutaion does not contain the property mapred.task.id");
}
String[] parts = taskId.split("_");
if (parts.length != 6 ||
!parts[0].equals("attempt") ||
(!"m".equals(parts[3]) && !"r".equals(parts[3]))) {
throw new IllegalArgumentException("TaskAttemptId string : " + taskId + " is not properly formed");
}
return parts[4] + "-" + parts[5];
}
4
ancak TaskAttemptID
kullanabilirsiniz mapred.task.id
özelliğinin ayrıştırılması için sınıf. Benim durumumda
int _attemptID;
@Override
public void configure(JobConf conf) {
TaskAttemptID attempt = TaskAttemptID.forName(conf.get("mapred.task.id"));
_attemptID = attempt.id();
}
9
:
context.getTaskAttemptID().getTaskID().getId()
İlgili konular
- 1. Halihazırda çalışan veya koşan bir görevi beklersem ne olur?
- 2. Kerter'de django içinde çalışan bir görevi durdurma
- 3. Celery'da işçi kimliğini alın
- 4. Kereviz. Geçerli zincirin kimliğini alın
- 5. Görev Yöneticisi'nde hala çalışan program
- 6. Her kereviz görevi için bir görev kimliğinin saklanması
- 7. PDO bağlantı kimliğini alın
- 8. Hadoop görevi tamamlanmadı - nasıl hata ayıklanır?
- 9. İleti kuyruğu kimliğini alın Sağlanmış
- 10. Komut satırı olmadan ator ile çalışan görev,
- 11. BuddyPress etkinlik kimliğini avatardan alın
- 12. Camunda özel görev listesi - tüm görevi tamamlama
- 13. Geçerli çalışan kimliğini döngüde nasıl alabilirim?
- 14. VSCode'da "Çalışan Görevi Sonlandır" için Klavye Kısayolu Nasıl Ayarlanır?
- 15. Oturum nesnesini ASP oturumunda oturum kimliğini alın
- 16. Bir SQLite FTS3 tablosunun satır kimliğini alın
- 17. Kullanıcı kimliğini alın socket.io, pasaport, koa
- 18. Düğme üzerindeki öğenin kimliğini alın jquery
- 19. Geçerli Windows Phone 7 Cihazının Kimliğini Alın
- 20. Bir öğenin kimliğini bir işlev aracılığıyla alın
- 21. Laravel kuyruğunda çalışırken çalıştırılan şu anki görevi alın:
- 22. MSBuild Görevi okumak için dll
- 23. module wsgi_module halihazırda yüklendi,
- 24. Hadoop
- 25. Hadoop
- 26. İPLİK ve Hadoop
- 27. Gradle görevi için nasıl bir kategori belirleyebilirim?
- 28. Çalışan bir işlemin yığın backtrace alın
- 29. Hadoop
- 30. Bir devam görev görev örneğini nasıl başlatırım?