web-dev-qa-db-fra.com

Lister tous les sujets de kafka

J'utilisekafka 0.10sans zookeeper. Je veux obtenir la liste des sujets de kafka. Cette commande ne fonctionne pas car nous n'utilisons pas zookeeper: bin/kafka-topics.sh --list --zookeeper localhost:2181. Comment puis-je obtenir la même sortie sans zookeeper?

apache-kafkaapache-zookeeper
24
SSR

Kafka utilise ZooKeeper, vous devez donc d'abord démarrer un serveur ZooKeeper si vous n'en avez pas déjà un. 

Si vous ne souhaitez pas installer et avoir un serveur de zookeeper séparé, vous pouvez utiliser le script pratique fourni avec kafka pour obtenir une instance ZooKeeper à noeud unique rapide et sale. 

Démarrage de l'instance Zookeeper à noeud unique:  

bin/zookeeper-server-start.sh config/zookeeper.properties

Démarrage du serveur Kafka: 

bin/kafka-server-start.sh config/server.properties

Liste des sujets disponibles dans Kafka:  

bin/kafka-topics.sh --list --zookeeper localhost:2181
39
Daniccan VP

pour voir ce sujet si nous lançons la commande list topic: 

$ bin/kafka-topics.sh --list --zookeeper localhost:2181

Pour vérifier si les données atterrissent à Kafka: 

$ bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic twitterstream --from-beginning

8
Enggar R Hariawan

Les clients Kafka n'ont plus besoin de gardien de zoo mais les serveurs Kafka en ont besoin pour fonctionner.

Vous pouvez obtenir une liste de rubriques avec la nouvelle API AdminClient, mais la commande Shell fournie avec Kafka n'a pas encore été réécrite pour utiliser cette nouvelle API.

L’autre façon d’utiliser Kafka sans Zookeeper consiste à utiliser un fournisseur SaaS Kafka en tant que service, tel que Confluent Cloud, afin de ne pas voir ou exploiter les courtiers Kafka (et l’ensemble de base requis Zookeeper). 

Par exemple, sur Confluent Cloud, vous utiliserez simplement la commande CLI libre suivante de zookeeper:

ccloud topic list
2
Hans Jespersen

Pour kafka dockerized/zookeeper

docker ps

trouver votre identifiant de conteneur de zookeeper

docker exec -it <id> bash

cd bin

./zkCli.sh

ls /brokers/topics
1
MagGGG

Zookeeper est nécessaire pour exécuter Kafka. zookeeper est incontournable. si vous voulez voir la liste des sujets sans gardien de zoo, vous avez besoin d'un outil de surveillance de Kafka tel que Kafka Monitor Tool, kafka-manager, etc.

0
Amol Suryawanshi

Pour lire des messages, vous devez utiliser:

kafka-console-consumer.sh --bootstrap-server kafka1:9092,kafka2:9092,kafka3:9092 --topic messages --from-beginning

--bootstrap-server est un attribut requis . Vous pouvez utiliser un seul noeud kafka1:9020.

0
Dzintars

Kafka est un système distribué et a besoin de Zookeeper ... vous devez aussi démarrer Zookeeper. Suivez «Démarrage rapide» ici: https://kafka.Apache.org/0100/documentation.html#quickstart

0
Calden