위와 같이 데모 시나리오를 사용하여 테스트 서버에서 개발/테스트를 수행했습니다.
Flume과 함께 Kafka 주제 데이터를 사용한 다음 파일 형식으로 특정 디렉터리에 로드하는 시나리오입니다.
Flume Kafka 컨슈머 소스
agent_heejae.sources = kafka_src
agent_heejae.channels = mem_chnl
agent_heejae.sinks = file_sink
agent_heejae.sources.kafka_src.channels = mem_chnl
agent_heejae.sources.kafka_src.type = org.apache.flume.source.kafka.KafkaSource
agent_heejae.sources.kafka_src.kafka.topics = local-topic
agent_heejae.sources.kafka_src.kafka.bootstrap.servers = IP:9092
agent_heejae.sources.kafka_src.kafka.consumer.client.id = heejae
agent_heejae.sources.kafka_src.kafka.consumer.group.id = local-group
agent_heejae.sources.kafka_src.kafka.consumer.auto.offset.reset = earliest
agent_heejae.channels.mem_chnl.type = memory
agent_heejae.channels.mem_chnl.capacity = 10000
agent_heejae.channels.mem_chnl.transactionCapacity = 1000
agent_heejae.sinks.file_sink.type = file_roll
agent_heejae.sinks.file_sink.channel = mem_chnl
agent_heejae.sinks.file_sink.sink.rollInterval = 0
agent_heejae.sinks.file_sink.sink.directory = /usr/local/apache-flume-1.10.1-bin/conf
agent_heejae.sinks.file_sink.sink.pathManager.prefix = kafka_
agent_heejae.sinks.file_sink.sink.pathManager.extension = log
Kafka 주제 데이터 확인(Kafdrop)
플룸 홈 화면
로드된 파일 확인
