[산학프로젝트] Nifi Kafka에 1MB이상 파일 옮기기

Kafka에는 1MB의 파일이 최대로 여겨진다. 현재 크롤링 파일을 그 이상임으로 파일이 옮겨지지않고 에러가 나게 된다. 그렇기에, 허용되는 파일의 용량을 늘려주는 과정이 필요하다.

 

ERROR : The request included a message larger than the max message size the server will accept.

1) server.properties 설정하기

kafka 폴더 → config → vi server.properties

# 두 개의 값이 같아야한다.

socket.request.max.bytes=300000000

message.max.bytes=300000000

 

2) consumer.properties 설정하기

kafka 폴더 → config → vi consumer.properties

max.partition.fetch.bytes=100000000

 

3) producer.properties 설정하기

kafka 폴더 → config → vi producer.properties

max.request.size=100000000

설정을 완료한 다음에 다시 vm을 재실행해주면 된다.