web-dev-qa-db-fra.com

kafka broker non disponible au départ

J'ai mis sur un noeud ubuntu d'un cluster une instance de kafka 0.11.0.0 . Jusqu'à il y a quelques semaines, tout fonctionnait bien, aujourd'hui j'essaie de le démarrer et j'obtiens cette erreur après le démarrage:

[2017-09-11 16:21:13,894] INFO [Kafka Server 0], started (kafka.server.KafkaServer)
[2017-09-11 16:21:18,998] WARN Connection to node 0 could not be established. Broker may not be available. (org.Apache.kafka.clients.NetworkClient)
[2017-09-11 16:21:21,991] WARN Connection to node 0 could not be established. Broker may not be available. (org.Apache.kafka.clients.NetworkClient)
... and so on...

Mon server.properties:

############################# Server Basics #############################

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0

# Switch to enable topic deletion or not, default value is false
delete.topic.enable=true

############################# Socket Server Settings ##########################$

# The address the socket server listens on. It will get the value returned from
# Java.net.InetAddress.getCanonicalHostName() if not configured.
#   FORMAT:
#     listeners = listener_name://Host_name:port
#   EXAMPLE:
#     listeners = PLAINTEXT://your.Host.name:9092
#listeners=PLAINTEXT://9092

# Hostname and port the broker will advertise to producers and consumers. If no$
# it uses the value for "listeners" if configured.  Otherwise, it will use the $
# returned from Java.net.InetAddress.getCanonicalHostName().
advertised.listeners=PLAINTEXT://hidden_ip:55091

J'ai modifié advertised.listeners car il existe un proxy pour rediriger les demandes vers le courtier. En tout cas, jusqu’à il y a quelques semaines, tout fonctionnait bien….

Mon pas pour commencer kafka:

1- service zookeeper start 
2- ./kafka_2.11-0.11.0.0/bin/kafka-server-start.sh ~/kafka_2.11-0.11.0.0/config/server.properties

Des conseils? Merci

ubuntuapache-kafka
5
Andrea Giordano

J'ai aussi eu le même problème ...

Je commence donc par demander à Zookeeper des données

echo dump | nc localhost 2181

Je récupère quelque chose comme ça

SessionTracker dump: Session Sets (3): 0 expire at Sun Dec 03 18:15:48 GST 2017: 0 expire at Sun Dec 03 18:15:51 GST 2017: 1 expire at Sun Dec 03 18:15:54 GST 2017: 0x1601c9a25190000 ephemeral nodes dump: Sessions with Ephemerals (1): 0x1601c9a25190000: /controller /brokers/ids/0

J'ai lu ceci comme signifiant que j'ai 1 courtier disponible - et que l'identifiant est 0.

Alors, laisse découvrir à propos de ce courtier.

bin/zookeeper-Shell.sh localhost:2181 <<< "get /brokers/ids/0"

Et je vois 

{"listener_security_protocol_map":{"PLAINTEXT":"PLAINTEXT"},"endpoints":["PLAINTEXT://192.168.1.220:9092"],"jmx_port":-1,"Host":"192.168.1.220","timestamp":"1512308520781","port":9092,"version":4} cZxid = 0x69 ctime = Sun Dec 03 17:42:00 GST 2017 mZxid = 0x69 mtime = Sun Dec 03 17:42:00 GST 2017 pZxid = 0x69 cversion = 0 dataVersion = 0 aclVersion = 0 ephemeralOwner = 0x1601c9a25190000 dataLength = 196 numChildren = 0

Cela m'a plutôt surpris ... PLAINTEXT: //192.168.1.220: 9092 , donc quand j'ai changé ma chaîne de connexion en lecture

bin/kafka-console-producer.sh --broker-list PLAINTEXT://192.168.1.220:9092 --topic test

Tout fonctionnait maintenant.

Bonne chance !!

8
Tim Seed

Nous avons rencontré la même situation lorsque nous avons commencé à rechercher dans les journaux la cause réelle de l'erreur.

Lorsque nous avons démarré le cluster Kafka, il utilisait par défaut 

listeners=PLAINTEXT://:9092

pour vous connecter et n'a pas été en mesure de trouver l'hôte.

Nous avons changé la ligne pour 

listeners=PLAINTEXT://<our ip address> :9092,

puis 

listeners=PLAINTEXT://<our ip address> :9093,

dans notre server-1.properties (un autre fichier d'ID de courtier) et le même que nous avons répliqué dans un autre fichier server.properties et redémarré notre cluster.

5
Deepan Ram

décommentez cette ligne

auditeurs = PLAINTEXT: //: 9092

changé cela en

listeners = PLAINTEXT: //127.0.0.1: 9092

3
Vengatesh Subramaniyan

j'ai configuré l'écouteur de kafka server.properties comme listeners=PLAINTEXT://**10.127.96.151**:9092

mais je demande le consommateur en tant que ./kafka-console-consumer.sh --bootstrap-server **localhost**:9092 --topic topic1 --from-beginning, alors il éclate les WARNs.

quand je répare le serveur d'amorçage consommateur en tant que 10.127.96.151 : 9092, tout fonctionne bien sans plus de mises en garde

3
touchstone

Je server.propertes:

listeners=PLAINTEXT://hidden_ip:9092

quand je cours:
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic lt1 bin/kafka-console-producer.sh --broker-list localhost:9092 --topic lt1
Je reçois la même erreur que vous obtenez.et j'essaie de courir:

bin/kafka-console-producer.sh --broker-list hidden_ip:9092 --topic lt1

cela fonctionne, je n'obtiens aucune erreur.
Donc, je pense que vous devriez vérifier quel port le serveur kafka est utilisé.
PS: Je l’utilise sur la même machine.

1
AlexYu