5
Büyük veri ve Apache Spark hakkında bilgi almaya başladım ve şüphem var.Apache Spark üzerinden bir Zaman Serisi Veri Tabanı (TSDB) çalıştırabilir miyim?
Gelecekte, IoT'den veri toplamamız gerekecek ve bu veriler bana time series data olarak gelecek. Zaman Serisi Veritabanları (TSDB) hakkında bir şeyler okudum ve Atlas, KairosDB, OpenTSDB, vb. Gibi bazı açık kaynak seçenekleri buldum.
Aslında Apache Spark'e ihtiyacım var, o yüzden bilmek istiyorum: Bir Zaman Serisini kullanabilir miyim Apache Spark üzerinden veritabanı? Bir anlamı var mı? Lütfen, büyük veri, Apache Spark ve bu konuda konuştuğum tüm konulardaki kavramlar için çok yeni olduğumu unutmayın.
TSDB'yi Spark üzerinden çalıştırabilirsem, bunu nasıl başarabilirim?
Sen https://spark.apache.org/docs/latest/api/ bakmak gerekir scala/inde x.html # org.apache.spark.sql.sources.package ve https://github.com/databricks/spark-csv/blob/master/src/main/scala/com/databricks/spark/ gibi bir uygulama csv/CsvRelation.scala - OpenTSDB Java API'sı bulamadım, bu yüzden kazmaya gitmeniz gerekebilir. – Reactormonk
Bu ilginç bir konu, ama TSDB Spark üzerinden ne demek istiyorsunuz? Sensör veri işlemenin hangi bölümünde veritabanında ve Spark'da hangi kısımda performans göstermeniz gerekiyor? –
Tüm zaman serilerini iyi bir veritabanında saklamalıyım ve daha sonra bu veri üzerinde Makine Öğrenimi algoritmalarını kullanmak için Spark'e ihtiyacım olacak. – Paladini