6

RedShiftCopyActivity ve bir veri yolu kullanarak bir grup csv dosyasını S3'ten Redshift'e kopyalamaya çalışıyorum.AWS Datapipeline RedShiftCopyActivity - "sütunlar" belirtme

Bu, csv yapısının tablo yapısıyla eşleştiği sürece iyi çalışır. Benim durumumda csv tablonun daha az sütun var ve sonra RedShiftCopyActivity stl_load_errors bir "Delimiter bulunamadı" hatası ile failes.

Redshift kopyalama komutu "sütunları" seçeneğini kullanmak istiyorum. Bu şekilde çalışabilirim, ancak kırmızıya kayma kopyalama komutunun sütunları RedShiftCopyActivity'de mevcut görünmüyor.

Herhangi bir öneriniz var mı?

Tüm ipuçları sıcak karşıladı.

Çok teşekkürler.

Peter

+0

Hiç bu soruna bir çözüm bulmak mı? – Erve1879

+1

Çözüm yok. Boru hattı tarafından başlatılan ve kırmızıya kayma kopya komutunu çalan bir python betiği geliştirerek sorunu önlemek mümkün oldu. İstediğimden daha az zarif ama en azından işe yarıyor. – Peter

+0

Teşekkürler @Peter. Olduğu gibi, tüm Veri Boru Hattı'nı değiştirmek için bir Python betiği yazdım. RedshiftCopyActivity ve Data Pipeline konsolu ile ilgili sonsuz sorunlar yaşadım. – Erve1879

cevap

1

Ben bu eski bir sorudur ama şimdi Redshift KOPYA komutuna sütunların listesini belirtebilirsiniz biliyorum.

S3'ten veri yüklerken, sütun sırasının kaynak verilerinin sırasına uyması gerekir. Buradaki dokümanlara göz atın: Amazon Redshift Column Mapping Options.

Radu

+0

Radu'yu haberdar ettiğin için teşekkürler. DataPipeLine'den vazgeçtik ve bir python betiği yazdık. Şu anda bir ec2 örneğinde çalışıyor, ama sanırım lambdaya geçmeyi düşünebiliriz. – Peter

+0

Amazon Redshift ve Lambda'da gerçekten iyi bir blog yazısı var. Bunu zaten kullanıyoruz ve bir çekicilik gibi çalışıyor. Kontrol etmelisiniz: [Sıfır-Yönetim Amazon Redshift Veritabanı Yükleyicisi] (https://blogs.aws.amazon.com/bigdata/post/Tx24VJ6XF1JVJAA/A-Zero-Administration-Amazon-Redshift-Database-Loader) –

+0

Bahşiş için teşekkürler! – Peter