0
Bazı günlük dosyalarını local'dan HDFS'a flume-ng kullanarak kopyalamaya çalışıyorum. source, /home/cloudera/flume/weblogs/ ve sink, hdfs://localhost:8020/flume/dump/'dur. Bir cron işi, tomcat sunucusundan günlükleri /home/cloudera/flume/weblogs/'a kopyalayacak vekullanarak dosyaları /home/cloudera/flume/weblogs/ aracılığıyla HDFS'a kopyalanacak dosyaları kaydetmek istiyorum. agent1.sources.local.type = ??? 2) nerede değerinin ne olacağınıKaynak: yerel dosyadan yerel dosyaya kopyalama için kaynak yolu ve türü.
1) Yukarıdaki conf dosyasında source yolunu /home/cloudera/flume/weblogs/ söz:
agent1.sources= local
agent1.channels= MemChannel
agent1.sinks=HDFS
agent1.sources.local.type = ???
agent1.sources.local.channels=MemChannel
agent1.sinks.HDFS.channel=MemChannel
agent1.sinks.HDFS.type=hdfs
agent1.sinks.HDFS.hdfs.path=hdfs://localhost:8020/flume/dump/
agent1.sinks.HDFS.hdfs.fileType=DataStream
agent1.sinks.HDFS.hdfs.writeformat=Text
agent1.sinks.HDFS.hdfs.batchSize=1000
agent1.sinks.HDFS.hdfs.rollSize=0
agent1.sinks.HDFS.hdfs.rollCount=10000
agent1.sinks.HDFS.hdfs.rollInterval=600
agent1.channels.MemChannel.type=memory
agent1.channels.MemChannel.capacity=10000
agent1.channels.MemChannel.transactionCapacity=100
ben anlamak mümkün değilim: Aşağıda benim yarattığım conf dosyası ? 3) Yukarıdaki conf dosyasında eksik olan bir şey var mı?
Lütfen bunları bana bildirin.