Pentaho-kettle: Kullanıcı girdisine göre dinamik olarak ETL Jobs oluşturmamız gerekiyor

Question

Uygulamamda, kullanıcı dosyalarının biçimini belirtebilir. Kullanıcı girişine dayanarak, SSIS paketini dinamik olarak oluşturuyoruz.

http://lakshmik.blogspot.com/2005/05...eate-ssis.html

Dinamik oluşturulan SSIS paket işleme kullanıcının dosyaları için kullanılır.

Bu gereksinim için Pentaho-Kettle'ı değerlendirmek istiyoruz. Kettle'in, kullanıcının girişlerine dayalı olarak ETL işlerini dinamik olarak yaratması mümkün mü?

Pentaho değilse, ETL işlerini dinamik olarak oluşturmak için kullanılmasına izin veren herhangi bir Java ETL aracı var mı?

Answer 1

Diğerlerini bilmiyorum, ancak bu geleneksel olarak Kettle'de oldukça zor ama insanlar bunu çeşitli şekillerde yapmışlar.

Bunun için en iyi seçenek, meta verilerle gerçekten akıllıca şeyler yapmanıza olanak veren (yeni) enjeksiyon adımıdır - ancak yalnızca bazı temel adımlar için çalışır. Ben ne istediğini yapacağını düşünüyorum Matt Tekerler (PDI Creator ve tanrı) Buraya blog okumak hakkında:

http://www.ibridge.be/?s=inject&submit=Go

o doesnt iş varsa; o zaman diğer seçenekleriniz jenerik alan adı rotası (kötü) aşağıya inmek veya dinamik olarak dönüşümü oluşturmaktır. Bu, göründüğünden daha kolay - ama bir ETL aracı için normalden çok Java tarafında çok daha fazla yer almanız gerekecek.

Answer 2

Bu çok zor ve mümkün değil.

Kettle API'sini, Kettle'in yaptığı her şeyi yapabileceği dönüştürmeleri dinamik olarak oluşturmak için kullanabilirsiniz. GUI tasarımcısı, dönüştürmeleri oluşturmak için API'yi kullanır, böylece GUI ile yapabileceğiniz her şeyi, API aracılığıyla yapabilirsiniz.

Eğer 'test' kaynak ağacına bakarsanız, dönüşümleri dinamik olarak nasıl oluşturacağınıza dair çok sayıda örnek bulacaksınız.