5
Bir kıvılcım 24X7 akışı ve NetworkWordCount Örnek durumunda gibi bilgisayarlı tarihsel verileri kaydetmek işlevini updateStateByKey kullanarak çalıştırıyorum .. Her 1500 kayıt için. Ben 3 işçiKıvılcım Akış UpdateStateByKey
updateStateByKey büyüyor bir süre içinde- kullanıyorum, sonra da programı aşağıdaki istisna
HATA Executor atar: İstisna görev kimliği 1635 java.lang.ArrayIndexOutOfBoundsException: 3
14/10/23 21:20:43 ERROR TaskSetManager: Task 29170.0:2 failed 1 times; aborting job
14/10/23 21:20:43 ERROR DiskBlockManager: Exception while deleting local spark dir: /var/folders/3j/9hjkw0890sx_qg9yvzlvg64cf5626b/T/spark-local-20141023204346-b232
java.io.IOException: Failed to delete: /var/folders/3j/9hjkw0890sx_qg9yvzlvg64cf5626b/T/spark-local-20141023204346-b232/24
14/10/23 21:20:43 ERROR Executor: Exception in task ID 8037
java.io.FileNotFoundException: /var/folders/3j/9hjkw0890sx_qg9yvzlvg64cf5626b/T/spark-local-20141023204346-b232/22/shuffle_81_0_1 (No such file or directory)
at java.io.FileOutputStream.open(Native Method)
Bu işlem nasıl yapılır? Sanırım updateStateByKey, hızlı bir şekilde büyüyor olarak düzenli aralıklarla sıfırlanmalı, lütfen updateStateByKey .. 'i ne zaman ve nasıl sıfırlayacağınıza dair bir örnek paylaşın mı yoksa başka bir sorun var mı? Aydınlatmak.
Herhangi bir yardım çok takdir edilmektedir. Zamanınız için teşekkürler