Airflow ve Nifi iş akışında aynı işi yapıyor mu? Her biri için pro/con nedir? Bazı json dosyalarını okumalı, daha fazla özel meta veri eklemeli ve işlenecek Kafka kuyruğuna koymam gerekiyor. Nifi'de yapabildim. Hala Airflow üzerinde çalışıyorum. Projem için en iyi iş akışı motorunu seçmeye çalışıyorum Teşekkür ederim! Hava akımı ve Apache Nifi kasada bu reddit sonrası büyük bir bakış içinAirbnb Airflow vs Apache Nifi
: https://www.reddit.com/r/bigdata/comments/51mgk6/comparing_airbnb_airflow_and_apache_nifi/
, Json dosyaları sindirerek onları zenginleştirir ve Kafka bunları yönlendirme özel kullanım örneği için ben Nifi için doğru araçtır inanıyoruz iş. Her biri için potansiyel kullanabilirsiniz işlemciler, hem de belgelere Bir çift aşağıdaki gibidir:
JoltTransformJSON: https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.standard.JoltTransformJSON/index.html
PublishKafka (veya PublishKafka_0_10 sürümüne bağlı): https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.kafka.pubsub.PublishKafka/index.html