7
ipython dizüstü - birincil kaynak (JAR veya Python veya R dosyası) belirtilmelidir linkHata: - Bu Talimatı (ve yorumlarda bütün tavsiyelerde) izleyin, ben ipython Notebook Apache Spark çalıştırmayı
Ama ne zaman Bu komutla ipython Notebook çalıştırın:
ipython notebook --profile=pyspark
bu hatayı alıyorum:
Error: Must specify a primary resource (JAR or Python or R file)
i kabukta Tamam herşeyi pyspark çalıştırırsanız. Bu, Spark ve IPython bağlantılarında bazı sorunum olduğu anlamına gelir. Bu arada
, bu benim bash_profile:
export SPARK_HOME="$HOME/spark-1.4.0"
export PYSPARK_SUBMIT_ARGS='--conf "spark.mesos.coarse=true" pyspark-shell'
Ve bu içerirler ~/.ipython/profile_pyspark/başlatma/00-pyspark-setup.py:
# Configure the necessary Spark environment
import os
import sys
# Spark home
spark_home = os.environ.get("SPARK_HOME")
# If Spark V1.4.x is detected, then add ' pyspark-shell' to
# the end of the 'PYSPARK_SUBMIT_ARGS' environment variable
spark_release_file = spark_home + "/RELEASE"
if os.path.exists(spark_release_file) and "Spark 1.4" in open(spark_release_file).read():
pyspark_submit_args = os.environ.get("PYSPARK_SUBMIT_ARGS", "")
if not "pyspark-shell" in pyspark_submit_args: pyspark_submit_args += " pyspark-shell"
os.environ["PYSPARK_SUBMIT_ARGS"] = pyspark_submit_args
# Add the spark python sub-directory to the path
sys.path.insert(0, spark_home + "/python")
# Add the py4j to the path.
# You may need to change the version number to match your install
sys.path.insert(0, os.path.join(spark_home, "python/lib/py4j-0.8.2.1-src.zip"))
# Initialize PySpark to predefine the SparkContext variable 'sc'
execfile(os.path.join(spark_home, "python/pyspark/shell.py"))
Ya nccesary olabilir - dün OS X'i 10.10.4
Ben https://pypi.python.org/pypi/findspark gibi şeyler denemek:
bir kludgy çözüm olarak ben sadece bu yüzden yalnızca aşağıdaki satırları bırakılır bırakma dosyayı kontrol hatlarını yorumladı kurulum kıvılcım için, blog yayını güvenerek yerine gerekli ve daha az esnek olmayan bir kompleks şekilde bir şeyler yapılandırmak için size o. – Matt
Yani, çalışıyorum ama yardımcı olmuyor olduğunu. Neyse, teşekkürler! –
@Matt Ben yorumunuz 5 upvotes vermek isterdim. Acı değişen derecelerde ve pek başarı ile, blogposts birçok ve yeni Toree projesini denedim. findspark ile tekrar MinRK kullanımı basittir harika bir çözüm ile geliyor. – MarkNS