En quoi Logstash est différent de Kafka
En quoi la cachette de journal est-elle différente de Kafka? et si les deux sont identiques, quel est le meilleur? et comment?
J'ai trouvé que les deux sont les pipelines où l'on peut pousser les données pour un traitement ultérieur.
Kafka est beaucoup plus puissant que Logstash. Pour la synchronisation des données de PostgreSQL vers ElasticSearch, les connecteurs Kafka pourraient faire le même travail avec Logstash.
Une différence clé est: Kafka est un cluster, tandis que Logstash est essentiellement une seule instance. Vous pouvez exécuter plusieurs instances Logstash. Mais ces instances Logstash ne se connaissent pas. Par exemple, si une seule instance tombe en panne, d'autres ne prendront pas en charge son travail. Kafka gère automatiquement le nœud. Et si vous configurez les connecteurs Kafka pour fonctionner en mode distribué, d'autres connecteurs pourraient reprendre le travail du connecteur descendant.
Kafka et Logstash pourraient également travailler ensemble. Par exemple, exécutez une instance Logstash sur chaque nœud pour collecter les journaux et envoyez les journaux à Kafka. Ensuite, vous pouvez écrire le code consommateur Kafka pour effectuer la manipulation que vous souhaitez.
Logstash est un outil qui peut être utilisé pour collecter, traiter et transmettre des événements et des messages de journal. La collecte s'effectue via un certain nombre de inputplugins . Vous pouvez utiliser Kafka comme plugin d'entrée, où il lira les événements d'une rubrique Kafka. Une fois qu'un plugin d'entrée a collecté des données, il peut être traité par n'importe quel nombre de - filtres qui modifient et annotent les données d'événement. Enfin, les événements sont routés vers output plugins qui peuvent transmettre les événements à une variété de programmes externes, y compris Elasticsearch.
Alors que Kafka est un logiciel de messagerie qui persiste les messages, a TTL et la notion de consommateurs qui extraient des données de Kafka. Certains de ses usages pourraient être:
- Traitement de flux
- Suivi des activités du site Web
- Collecte et surveillance des mesures
- Agrégation de journaux
Donc, tout simplement, les deux ont leurs propres avantages et inconvénients. Mais cela dépend uniquement de vos besoins.