Chronos'taki spark-submit'i çalıştıran

Question

Şu anda docker kabı etkinleştirilmiş bir mezos kümem var. Küme üzerindeki kıvılcım çerçevesini çalıştırmak için mezos docker desteğini kullanıyorum. Kıvılcım gönderen bir işi chronos'tan planlamak istiyorum. Lütfen adımları veya bunu yapmanın en iyi yolunu öğrenir misiniz? Ben mezoslar için oldukça yeni ve uygulamayı göndermek için chronos'un spark-submit komutunu nasıl bulacağını bilmiyorum.

• http://mesos.github.io/chronos/docs/api.html#adding-a-docker-job

Örneğin, Chronos için bir POST isteği göndermek:

Answer 1

Bir Docker kabın içine bir Spark dağılımı ile birlikte bir uygulama paketi ve Chronos bir Docker işi oluşturabilir Bu gibi REST API:

curl -L -H 'Content-Type: application/json' -X POST chronos-node:8080/scheduler/iso8601 -d ' 
{ 
    "schedule": "R/2016-04-15T12:00:00Z/PT2M", 
    "name": "spark-submit-job", 
    "container": { 
    "type": "DOCKER", 
    "image": "my/sparksubmitapp", 
    "network": "BRIDGE", 
    "forcePullImage": true 
    }, 
    "cpus": "0.5", 
    "mem": "1024", 
    "uris": [], 
    "command": "/path/to/spark/bin/spark-submit --class com.my.app.Main myApp.jar" 
}'