[산학프로젝트] Nifi로 Kafka Producer 연결하기(HDFS → Kafka)

1) Zookeeper, Kafka 실행하기

# Kafka 압축이 풀린 폴더안에서 진행

# Zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties



# Kafka

bin/kafka-server-start.sh -daemon config/server.properties

연결하기 전, Zookeeper와 Kafka를 실행해주어야한다. Kafka의 압축이 풀린 곳에서 위의 명령어를 진행해주는데 Zookeeper가 Kafka보다 먼저 실행되야한다.

 

2) Nifi 접속하기

# nifi 압축이 풀린 폴더안에서 진행

cd bin ./nifi.sh start

Nifi를 시작해준다. Nifi는 시작하고 port가 열리는데 시간이 좀 걸린다. 접속이 안되면 port와 Nifi log를 확인한다.(nifi 설정 모음 정리 참고)

 

3) Nifi 연결하기

GetFTP → ConvertCharacterSet → PutHDFS → PublishKafka_2.6

HDFS에 넣어진 파일을 Kafka에 넣어주는 구조로 이루어져있다.

 

Kafka Broker : Kafka 예제에서도 기본으로 설정된 localhost:9092로 진행했음으로 Kafka Broker는 기본 설정으로 진행한다.

Topic Name : Topic Name에는 Topic이 생성될 이름을 지정해준다.

 

Delivery Guarantee : Best가 기본값이지만, Guarantee Replicated Delivery로 변경해준다.

 

4) 실행하기

Configure 설정이 완료되었다면 GetFTP부터 파일을 넣어서 처음 순서부터 진행해보도록 한다.

topic을 확인해보면 지정해준 topic 이름인 test1이 들어와있다. topic안의 메세지도 확인해보아야한다.

 

한글도 깨지지 않고 잘 들어와있다. 여러개의 파일을 넣으면 topic 하나 안에 메세지로 연결되어진다.