InvalidReplicationFactorException: Replication factor: 1 larger than available brokers: 0.

[ 현재 작성 중인 글 ]

 

안녕하세요. aws로 kafka cluster 구축 중 만난 에러입니다.

ec2-user@ip-172-31-35-2 bin]$ ./kafka-topics.sh --create --zookeeper test-broker01:2181,test-broker02:2181,test-broker03:2181/test --replication-factor 1 --partitions 1 --topic test
Error while executing topic command : Replication factor: 1 larger than available brokers: 0.
[2020-05-06 04:05:02,499] ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 1 larger than available brokers: 0.

 

1. 세 대의 ec2 인스턴스에 zookeeper와 kafka를 하나씩 띄운 상태.

2. cluster 설정 후 토픽 생성 과정에서 오류

 

zookeeper 실행도 정상.

kafka 실행도 정상.

[2020-05-06 04:27:33,825] INFO [KafkaServer id=0] started (kafka.server.KafkaServer)

[2020-05-06 04:27:51,535] INFO [KafkaServer id=1] started (kafka.server.KafkaServer)

[2020-05-06 04:27:55,144] INFO [KafkaServer id=2] started (kafka.server.KafkaServer)

 

[ec2-user@ip-172-31-41-235 ~]$ ./kafka_2.11-2.1.0/bin/kafka-topics.sh --create --zookeeper test-broker01:2181,test-broker02:2181,test-broker:2181/test --replication-factor 1 --partitions 1 --topic test

Error while executing topic command : Replication factor: 1 larger than available brokers: 0. [2020-05-06 04:30:14,386] ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 1 larger than available brokers: 0. (kafka.admin.TopicCommand$)

 

ec2 보안 설정 2888, 3888, 2181, 9092 모두 anywahre 였지만,

AWS 보안 그룹 변경의 반영이 느린 것 같습니다.

 

실제

./kafka/bin/kafka-console-producer.sh --broker-list test-broker01:9092 --topic test

> hello

??? (응답없음)

 

connection refused 현상이 일어났습니다.

 

서버를 네 번 정도 재부팅 했고, 서 너시간 뒤에 다시 동작해보니, 토픽 생성 명령어가 정상 처리되었습니다.

 

./kafka-topics.sh --create --zookeeper test-broker01:2181,test-broker02:2181,test-broker03:2181 --replication-factor 1 --partitions 1 --topic test