Her iki "kıvılcım kabuğu" veya "pyspark" kabuğunda, birçok RDD oluşturdum ancak şu anki Spark Shell oturumumda mevcut tüm RDD'leri listeleyebileceğim bir yol bulamadım.Spark kabuğunda tanımlanan RDD'ler nasıl listelenir?
Python sadece türüne göre globals filtrelemek için deneyebilirsiniz:
def list_rdds():
from pyspark import RDD
return [k for (k, v) in globals().items() if isinstance(v, RDD)]
list_rdds()
# []
rdd = sc.parallelize([])
list_rdds()
# ['rdd']
Scala Repl size benzer şekilde $intp.definedTerms/$intp.typeOfTerm kullanmak gerekir.
RE: scala REPL: harika çalışıyor: güzel ipucu. Şimdi bu komutları nasıl hatırlıyorum ..;) – javadba
Bir çözüm gönderebilir misin? Belki de @ zero323'ün cevabı üzerinde genişletin. –
@JacekLaskowski [Bu] gibi bir şey denedim (https://gist.github.com/zero323/9da96f5c319c678ceef8) ve bu tür işler ama hacky uzakta olmak için (Scala anlayışımın eksikliğinden bahsetmiyorum bile) derleyici) bir cevap yapmak. – zero323