1
5 sütun içeren bir şemada ETL yapmak için bir SSIS paketim var. Bu sütunların her birinin uygun veri türlerine yayınlanması gerekir.Düz dosya kaynağı için en iyi performans: Birden çok sütun içeren Tek Veri Dönüştürme görevi Her sütun için VS çoklu veri dönüştürme görevleri
Başlangıçta hepsi, tek bir veri akışı dönüştürme görevinin içine dökülmüştü, bu da hangi dökümün hata çıktısından başarısız olduğunu anlamasını zorlaştırıyordu.
Daha sonra, her sütun için ayrı veri akışı dönüştürme görevlerini üst üste kullanmaya karar verdim.
Hangi yaklaşımın daha iyi bir performans göstereceğini bilmek ister misiniz?
ben düz dosyalarından tüm verileri (boru ayrılmış) olsun
Bu gerçekten işliyoruz ne kadar veri bağlı olacağı
Aşağıdakilere katılıyorum - en hızlı şekilde SQL sorguda sorgulanabilirler –
Test edilmedim ama her türetilmiş sütun dönüşümü için ek yük olduğunu varsayalım çünkü her biri bir giriş ve çıkış arabelleğine ihtiyaç duyar, bu nedenle en azından _all_ tek bir dönüşüm ifadesiyle birden çok türetilmiş sütun yapmak yerine, türetilmiş bir sütun dönüşümünde dönüşümler. Tüm ETL'lerimde, varchar sütunlarıyla dolu bir hazırlama tablosuna yüklerim, verileri orada sabitler ve başka bir yere aktarırlar. Kötü sütunları tanımlamak istediğim kadar mantığı ekleyebilirim ve SSIS –