web-dev-qa-db-fra.com

Quelle est la différence entre kafka premières et dernières valeurs de décalage

producer envoie des messages 1, 2, 3, 4

consumer reçoit les messages 1, 2, 3, 4

consumer se bloque/se déconnecte

producer envoie des messages 5, 6, 7

consumer revient et devrait recevoir des messages à partir de 5 au lieu de 7

Pour ce type de résultat, quelle valeur offset je dois utiliser et quelles sont les autres modifications/configurations à faire

14
Sat

Lorsqu'un consommateur rejoint un groupe de consommateurs, il récupérera le dernier décalage validé, il redémarrera donc pour lire à partir de 5, 6, 7 si avant de se bloquer, il a validé le dernier décalage (donc 4). Les valeurs earliest et latest pour la propriété auto.offset.reset Sont utilisées au démarrage d'un consommateur, mais il n'y a aucun décalage validé pour la partition affectée. Dans ce cas, vous pouvez choisir si vous souhaitez relire tous les messages depuis le début (le plus tôt) ou juste après le dernier (le plus récent).

20
ppatierno