Spark/scal uygulamasını kullanırken AWS kimlik bilgileri, s3'e erişmek için bulunamadı

Question

Windows ortamında kullanıyorum, hadoop yüklü değil, bin ve winutils içeren bir hadoop klasörüm var.

ben id ikisi için ortam değişkenlerini kurmak ve dokümanlar göre gizli ama sürekli bu özel durum alma ettik: Ben

Exception in thread "main" java.lang.IllegalArgumentException: AWS Access Key ID and Secret Access Key must be specified as the username or password (respectively) of a s3n URL, or by setting the fs.s3n.awsAccessKeyId or fs.s3n.awsSecretAccessKey properti 

bir fikrin lütfen nasıl düzeltebilirim? Ben değişkenleri teyit ettik

bunları yankılanan tarafından belirlenir fakat aldı almıyorum konum - thanks./

Answer 1

Bu yapılandırmayı denediniz mi? Ben FileSystem.get kullanarak filestystem için bir değer ayarladığınızda

val sc = new SparkContext(conf) 
val hadoopConf = sc.hadoopConfiguration; 
hadoopConf.set("fs.s3.impl", "org.apache.hadoop.fs.s3native.NativeS3FileSystem") 
hadoopConf.set("fs.s3.awsAccessKeyId",myAccessKey) 
hadoopConf.set("fs.s3.awsSecretAccessKey",mySecretKey)