'a aktarın Merhaba HADOOP
numaralı telefondan eğitim alıyorum. Ben sqoop
kullanarak oracle (windows, 11g xe) hdfs
için bir tablo verileri almak zorunda bir görev var. Aşağıdaki yazıyı okuyorum. Sorum şu ki, pencerelerden gelen verileri tam olarak nasıl hdfs olarak içe aktarırım. Noramally Windows'dan hdfs makinesine dosya aktarmak için Winscp
kullanıyorum. Hdfs (cdh3) makinesinde yüklü olan MySql
'dan veri aldım. Ama Oracle’dan veriyi hdfs’lere aktarmayı bilmiyorum. Lütfen yardım et.Verileri Oracle (Windows) ile HDFS (CDH3) makinesinden sqoop
cevap
yerel makineye oracle veri almak gerekmez. Ardından HDFS makinesine kopyalayın. Ardından HDFS'ye içe aktarın.
Sqoop, RDBMS tablolarınızı HDFS dizinine almak için buradadır.
Kullanım komut:
sqoop import --connect 'jdbc:oracle:thin:@192.xx.xx.xx:1521:ORCL' --username testuser --password testpassword --table testtable --target-dir /tmp/testdata
--target-dir
(
numaralı belgede örnek komutunda
/tmp/testdata
numaralı belgeden bahsetmiştim) hdfs içinde kontrol edin. Orada oracle tablosuna karşılık gelen dosyaları bulacaksınız.
Daha fazla ayrıntı için sqoop'u docs işaretleyin.
Bu yüzden bir yedeği almam ve Winscp kullanarak CDH3 makinesinde bu yedekleme dosyasını kopyalayıp sonra da sqoop'u HDFS'ye çekmem gerekiyor. Ben haklı mıyım? – user2998990
@ user2998990 no no. bir şey kopyalamana gerek yok. sqoop herşeyi yapar. Sadece oracle için geçerli kimlik bilgileri sağla. –
@ user2998990 güncel görüşü kontrol et –
ardından adım akıllıca bir işlemdir:
.Connect oracle sql komut satırı sizin kimlik bilgilerinizle giriş:
örneğin kullanıcı adı: Sistem şifre: Sistem
(emin olun bu kullanıcı tüm yönetici ayrıcalıklarına sahiptir veya Oracle'da sysdba olarak tüm privilegdes ile yeni bir kullanıcı yapın) Create a user with all privileges in Oracle
Cre o kullanıcı altında tabloları yedik ve bazı değerleri eklemek ve biz HDF'ler Oracle'dan bizim veri aktarımı için bir bağlayıcı gerek .Şimdi
taahhüt. Yani, biz oracle -sqoop konektörü kavanoz dosyayı indirmek ve CDH3 aşağıdaki yolu yerleştirin gerekir. (Kullanım sudo komutlarınıza aşağıdaki yolu kopyalanırken linux yönetici acess gereğine göre)
/usr/lib/sqoop/bin
http://www.oracle.com/technetwork/database/enterprise-edition/jdbc-112010-090769.html --Kaynak bağlantısı - ojdbc6.jar
Karşıdan yüklenen kavanozu pencerelerden CDH3'e aktarmak için winscp kullanın ve CDH3'te yukarıda belirtilen yola taşıyın. .Komut:
sudo bin/sqoop import –connect jdbc:oracle:thin:system/[email protected]:1521:xe–username system -P –table system.emp –columns “ID” –target-dir /sqoopoutput1 -m 1
sqoopoutput verilerinizi alacak HDF'ler içinde çıkışına dosya U uyarınca dis değiştirebilir, aşağıdadır
-m 1: Bu burada bu sqoop işi için haritacıları sayısını hiçbir söyler o 1.
192.168.xx.xx geçerli: 1521 - windows makinenin ip adresi
- 1. kare/hdfs'den sybase IQ veritabanına sqoop ihracatı
- 2. Verileri kopyalanmadan doğrudan hdfs dosyasına aktarın
- 3. Fırtına: HDFS URI'yi HA HDFS ile HdfsBolt() içinde tanımlayın
- 4. sqoop kütüphanesi dizini nerede?
- 5. Oracle SOA Paketi - Windows 8.1
- 6. sqoop başlatılamıyor: jobtracker bulunamadı
- 7. Uzak AWS Linux MySQL'e yerel Windows makinesinden bağlanamıyor
- 8. Hadoop HDFS
- 9. S3 - HDFS
- 10. Sqoop HDFS'den mysql'ye belirli sütunları dışa aktarma düzgün çalışmıyor
- 11. Paket kurulumu sırasında Oozie/Sqoop jar konumu yapılandırılmamalıdır?
- 12. Oracle heterojen hizmetler meta verileri nasıl güncelleştirilir?
- 13. Oracle Jet'te bir gönderim olayından verileri gönderin
- 14. sql oracle sorgu verileri dışa aktarma
- 15. Kıvılcım yinelemeli HDFS dizini
- 16. CloudStore ve HDFS
- 17. javid'ten hdfs klasörünü sil
- 18. NHibernate ve Oracle, Windows Authenication aracılığıyla bağlanıyor
- 19. /var/log/hadoop-hdfs altındaki hadoop-hdfs günlüklerini nasıl temizlerim
- 20. Telefonun fotoğraf makinesinden HTML5 ile fotoğraf yükleyebilir miyim
- 21. Oracle ile birim testi
- 22. LINQ'u Oracle ile SQL
- 23. Oracle ile bildirim
- 24. domuz komut dosyası, hdfs
- 25. HDFS dosya görüntüleyicisi
- 26. HDFS dizinleri üzerinden geçme
- 27. hdfs dosyasında dosya yolu
- 28. UIImagePickerController Fotoğraf Makinesinden Fotoğraf Çekmek - Varsayılan - kare
- 29. Sqoop dışa aktarma kimlikleri nasıl kullanılır?
- 30. MapReduce'da sqoop oluşturulan sınıf nasıl kullanılır?
özel yapılı Hadoop ortamını kullanarak veya CDH veya HDP ya da diğerleri gibi herhangi bir hazır tatlar kullanıyorsunuz? – SrinivasR