Spark'de harita görevinin kimliği nasıl alınır?

Question

Spark'de harita görevinin kimliğini almanın bir yolu var mı? Örneğin, her harita görevi kullanıcı tanımlı bir işlevi çağırıyorsa, o kullanıcı tanımlı işlevden o harita kimliğinin kimliğini alabilir miyim?

Answer 1

Sana haritası görevin kimliği ile ne demek emin değilim ama TaskContext kullanarak görev bilgilere erişebilir:

import org.apache.spark.TaskContext 

sc.parallelize(Seq[Int](), 4).mapPartitions(_ => { 
    val ctx = TaskContext.get 
    val stageId = ctx.stageId 
    val partId = ctx.partitionId 
    val hostname = java.net.InetAddress.getLocalHost().getHostName() 
    Iterator(s"Stage: $stageId, Partition: $partId, Host: $hostname") 
}).collect.foreach(println) 

Benzer bir işlevsellik Spark 2.2.0 (SPARK-18576) içinde PySpark eklenmiştir:

from pyspark import TaskContext 
import socket 

def task_info(*_): 
    ctx = TaskContext() 
    return ["Stage: {0}, Partition: {1}, Host: {2}".format(
     ctx.stageId(), ctx.partitionId(), socket.gethostname())] 

for x in sc.parallelize([], 4).mapPartitions(task_info).collect(): 
    print(x)