Spark günlüklerinde sahne ne anlama geliyor?

Question

Kıvılcım kullanarak bir iş çalıştırdığımda aşağıdaki günlükleri aldım?

[Stage 0:> (0 + 32)/32]

İşte 32 ı istediler Renault Pilot Geliştirme bölümleri sayısına karşılık gelir. Bununla birlikte, neden birden çok aşama olduğunu ve her aşamada tam olarak ne olduğunu anlamıyorum.

Her aşamada görünüşe göre çok fazla zaman alır. Daha az aşamada yapılması mümkün mü?

Answer 1

Spark'daki bir aşama, yerel olarak tamamlanan DAG hesaplamanın bir bölümünü temsil eder. Bir aşamada, verilerin karıştırılması gerektiren bir işlem yapılır ve bu nedenle, Spark Kullanıcı Arabirimi'nde bu işlem tarafından adlandırılmış olarak görürsünüz. Eğer Spark 1.4+ kullanıyorsanız, o zaman bile DAG görselleştirme bölümünde kullanıcı arabiriminde bu görselleştirmek: Bölünmüş tam yürütme tamamlamak için karıştır gerektirir, reduceByKey cereyan ettiğine

Bildirimi .