[산학프로젝트] Nifi Kafka Consumer 설정하기

PublishKafka로 kafka topic에 저장되었다면 consumer를 사용해서 topic안의 메세지를 불러올 수 있다.

1) 불러올 topic 이름 지정하기

Consumer로 불러올 PublishKafka로 메세지를 넣은 topic의 이름을 넣어준다.

 

2) Kafka Consumer Group list 확인하기

# Kafka 폴더 -> bin 폴더 안에서 진행

./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

Kafka Consumer Group의 리스트를 받아올 수 있다. 리스트안의 group이 한 개라면 어디에 저장되어있는지 단번에 알 수 있지만, 여러개라면 확인하는 작업이 필요하다.

 

3) Kafka Consumer Group topic 확인하기

# Kafka Consumer Group topic 확인하기

./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group 검색할 그룹 이름 --describe

위에 2번 과정에서 찾은 Group 이름을 넣어서 어떠한 topic이 들어있는지를 확인할 수 있다.

이를 통해서 원하는 topic이 들어있는 Group을 찾아야한다.

 

4) Group ID 설정하기

Group ID에 topic이 소속된 Group ID를 지정해주면 설정이 완료된다.

 

5) 윈도우 환경으로 가져와서 확인해보기

PutFTP를 사용해서 Consumer가 불러오는 topic안의 메세지를 확인할 수 있다. 현재 프로젝트에서는 HDFS에 적재되기 전에 인코딩을 UTF-8으로 변경하여, Kafka에서도 한글이 깨지지않고 잘 나오게 됨으로 따로 직접적인 인코딩을 지정하지 않아도 된다. PutFTP에서 설정한 경로로 들어가면 Consumer가 불러온 메세지들을 확인이 가능하다.