2016-03-19 15 views
1

Genel olarak Amazon EMR ve Hadoop için yeni. Şu anda bir EMR kümesinde bir Domuz işi kurmaya ve S3'ten veri alıp vermeye çalışıyorum. "Datastackexchange" adlı verilerim ile s3'te bir kepçe oluşturdum. Pig verileri kopyalamak başlamak için bir girişim olarak, ben şu komutu kullandık:Elastic Harita Azalt ve amazon s3: Erişim tuşları ile ilgili hata

ls s3://datastackexchange 

Ve aşağıdaki hata iletisiyle buluştu ediyorum:

AWS Access Key ID and Secret Access Key must be specified as the username or password (respectively) of a s3 URL, or by setting the fs.s3.awsAccessKeyId or fs.s3.awsSecretAccessKey properties (respectively). 

Ben bazı kritik eksik tahmin Adımlar (muhtemelen erişim tuşlarını ayarlamakla ilgilidir). EMR'ye çok yeni olduğum için, birisi bu hatayı gidermek için ne yapmam gerektiğini açıklayabilir ve S3 verilerini EMR'de kullanmama izin verebilir mi?

Herhangi bir yardım büyük beğeni - teşekkür ederim.

cevap

0

Doğru şekilde gözlemlediğiniz gibi, EMR örnekleriniz S3 verilerine erişme ayrıcalıklarına sahip değildir. S3 verilerinize erişmek için AWS kimlik bilgilerini belirtmenin birçok yolu vardır, ancak doğru yol S3 verilerinize erişmek için IAM rolleri oluşturmaktır. İlgili adımları açıklar.

Configure IAM Roles for Amazon EMR.