Düz biçimdeki dosyaları SSIS'de birden çok biçim dosyasıyla içe aktarma

Question

Şu anda düz bir dosyayı SQL Veritabanı tablosuna içe aktaracak bir SSIS paketi oluşturmaya çalışıyorum.

Her bir ilgili veriyi içeren bir tablo oluşturmak zorunda olduğum her bir kendi biçim dosyasıyla yaklaşık 30 farklı düz dosya vardır. Düz dosyalar ilk satırı sütun başlıkları içermiyor. I.E. Bir dosya PostalAddress1 ve başka bir PostalAddressLine1 olabilir ve bu veritabanında 2 sütun olurdu ve bunlar boş olabilir. Bazı düz dosyalar daha fazla veri içerebilir, bu durumda daha az olanların boş değeri olacaktır.

SSIS ile daha önce deneyimsiz olduğum için, satır ve sütun sınırlayıcılarının yanı sıra tüm sütun adlarını almak için düz dosyayı ayrıştırmak üzere bir komut dosyası kullanacağımı düşündüm. Daha sonra düz dosya kaynağını (değişken) ayarladıktan sonra metin dosyasına yalnızca bir sütuna ve her kaydın bir satır olmasına, sonra her satırı ayrıştırmak ve ilgili sütuna ayarlamak için bir Komut Dosyası Dönüştürmesi kullanmasını sağladım. I.E. değer 5 Tüm dosya bir sql görev sonra sadece tek PostalAddress alanı var söyleyebilirim başka tabloya jenerik evreleme tablodan tüm verileri itmek anlamına çalıştırabilirsiniz işlendikten sonra Ad Ben Row.FirstName = Value[4];

olarak ayarlayın olurdu olduğunu Sağlanan her format dosyası için 3 yerine 3 deyin.

Bu dosyalardan bazıları boyut olarak 2.5 gb olabilir.

Sorularım şunlardır:

bu Bunu yapmak için doğru bir şekilde olurdu?
Bunu yapmanın daha hızlı/daha iyi/daha basit bir yolu var mı?

Answer 1

Bu, meta verilere dayanarak paketleri dinamik olarak oluşturan BiML için iyi bir adaydır. BiMLScript giriş itibaren

:

Daha da iyisi, otomasyon mantığı BimlScript kod Nuggets kullanarak Biml doğrudan koda gömülebilir. C# veya VB kodu 'un bu parçacıkları, otomatik olarak büyük Biml kodları oluşturmak için harici meta verilere erişmenizi sağlar. Örneğin, hazırlama ortamlarını otomatik olarak oluşturabilir veya sütun meta verilerine dayanarak SCD kalıplarını uygulayabilirsiniz.