Apache Spark ve Apache Storm arasındaki farklar nelerdir? Her biri için uygun kullanım örnekleri nelerdir?Apache Spark vs. Apache Storm
cevap
Apache Spark, öncelikli olarak toplu analiz işlerini hızlandırmak, yinelemeli makine öğrenimi işleri, etkileşimli sorgulama ve grafik işlemeyi hedefleyen, bellekte dağıtılmış bir veri analizi platformudur.
Spark'in temel ayrımlarından biri RDD'lerin veya Esnek Dağıtılmış Veri Kümelerinin kullanılmasıdır. RDD'ler, hesaplama için paralel operatörleri pipeline etmek için harikadır ve tanım olarak, değişmezdir, bu da Spark'a, soy bilgisine dayanan benzersiz bir hata toleransı biçimine izin verir. Örneğin, bir Hadoop MapReduce işini daha hızlı bir şekilde yürütmek istiyorsanız Spark mükemmel bir seçenektir (bellek gereksinimleri göz önünde bulundurulmalıdır).
Apache Storm, akış işlemeye veya bazılarının karmaşık olay işleme yöntemini çağırmaya odaklanır. Fırtına, bir sisteme akarken bir olay üzerinde bir hesaplama yapmak veya birden çok hesaplamayı pipeline etmek için hataya dayanıklı bir yöntem uygular. Birisi, yapılandırılmamış verileri bir sisteme istenen formatta akarken dönüştürmek için Storm'u kullanabilir.
Fırtına ve Kıvılcım, oldukça farklı kullanım durumlarına odaklanmıştır. Daha fazla "elmaya elmalar" karşılaştırması Storm Trident ve Spark Streaming arasında olacaktır. Spark'in RDD'leri doğal olarak değişmez olduğundan, Spark Streaming, kullanıcı tanımlı zaman aralıklarında kendi RDD'lerine dönüştürülen gelen güncellemeleri "gruplamak" için bir yöntem uygular. Spark'in paralel operatörleri daha sonra bu RDD'lerde hesaplamalar yapabilir. Bu, her bir etkinlikle ayrı ayrı ilgilenen Storm'dan farklıdır.
Bu iki teknoloji arasındaki en önemli fark Spark'in Data-Parallel computations gerçekleştirirken, Storm Task-Parallel computations gerçekleştirir. Her iki tasarım da bilmeye değer tradeofflar yapar. Bu bağlantıları kontrol etmenizi öneririm.
Düzenleme: gerçek zamanlı işlenmesi için ikisi de desteği: bugün this mc110 @
İyi bir açıklama.Gelmiş makale iyidir http://xinhstechblog.blogspot.in/2014/06/storm-vs -spark-streaming-side-by-side.html – minhas23
Bağlantı benim için yanıt vermiyor. İşte google cache: http://webcache.googleusercontent.com/search?q=cache:yl9B_lZ5u9EJ:xinhstechblog.blogspot.com/2014/06/storm-vs-spark-streaming-side-by-side.html+ & cd = 1 & hl = ru & ct = clnk & gl = ru – asdfasdfads
Mükemmel yan yana karşılaştırma bağlantısı. Scala devs'e not: Spark, Scala'da uygulandığında, Fırtına Kapanış'ta uygulandı. –
- 1. Apache Spark vs Spring XD Akarsular
- 2. Apache Ignite ve Apache Spark entegrasyonu, IgniteRDD
- 3. Apache Spark ALS önerileri yaklaşımı
- 4. Apache Spark 2.0: java.lang.UnsupportedOperationException: java.time.LocalDate
- 5. Python kullanarak Apache Spark TFIDF
- 6. Apache Spark içinde Matris Çarpımı
- 7. RDD ve bölüm, Apache Spark
- 8. Apache-ssl vs mod_ssl
- 9. Cherrypy vs. Apache/mod_wsgi
- 10. Xapian vs Apache Solr
- 11. Mevcut Apache Spark bağımsız kümesinde Apache Zeppelin nasıl yüklenir
- 12. Apache + mod_wsgi vs nginx + gunicorn
- 13. Airbnb Airflow vs Apache Nifi
- 14. Eclipse Virgo vs Apache Servicemix
- 15. Apache Kiriş: FlatMap vs Map?
- 16. Apache Spark ve Uzak Yöntem Çağrısı
- 17. Apache Spark, eksik özelliklerle karşılaşıldığında NullPointerException'ı atar
- 18. Scalaz Tip Apache Spark için Sınıflar RDD'ler
- 19. Tüm Apache Spark yürütücüsü kayıtlarını alın
- 20. Apache Spark java.lang.Math.max ile beklenmedik davranış azaltın
- 21. Apache Spark, HDFS veri düğümlerini nasıl biliyor?
- 22. Apache Spark Lambda Expression - Serialization Issue
- 23. Apache, C#
- 24. Apache
- 25. Apache
- 26. Apache
- 27. Microsoft Azure'daki Apache fırtınası
- 28. Apache yapılandırmasında Apache sürümünü algıla?
- 29. Apache Cordova
- 30. Apache Commons Lang 2 vs 3
keşfetti. Storm, hareket halindeki verileri desteklerken, Spark, dinlenme sırasında verileri destekliyor. Başka? – anhldbk
Bu bağlantıyı iyi özetliyor https://dzone.com/articles/streaming-big-data-storm-spark –