Quelle est l'utilisation des sujets __consumer_offsets et _schema dans Kafka?
Après avoir configuré le Kafka cluster de courtiers et créé quelques rubriques, nous avons constaté que les deux rubriques suivantes sont automatiquement créées par Kafka:
__consumer_offsets_schema
Quelle est l'importance et l'utilisation de ces sujets?
__ consumer_offsets est utilisé pour stocker des informations sur les décalages validés pour chaque sujet: partition par groupe de consommateurs (groupID). Il s'agit d'un sujet compact, donc les données seront périodiquement compressées et seules les dernières informations de compensation seront disponibles.
_ schema - n'est pas un sujet par défaut kafka (au moins à kafka 8,9). Il est ajouté par Confluent. Voir plus: Registre de schéma de Confluent - github.com/confluentinc/schema-registry (merci @serejja)
__consumer_offsets: chaque groupe de consommateurs conserve son décalage par partition de sujet. Puisque v0.9 les informations des compensations validées pour chaque groupe de consommateurs sont stockées dans cette rubrique interne (avant v0.9 ces informations ont été stockées sur Zookeeper). Lorsque le gestionnaire de décalage reçoit un OffsetCommitRequest, il ajoute la demande à une rubrique compacte spéciale Kafka nommée __consumer_offsets. Enfin, le gestionnaire de décalage enverra une réponse de validation de décalage réussie au consommateur, uniquement lorsque toutes les répliques de la rubrique Offsets recevront les décalages.
_schemas: Il s'agit d'un sujet interne utilisé par le Schema Registry qui est une couche de stockage distribué pour les schémas Avro. Toutes les informations pertinentes pour le schéma, le sujet (avec sa version correspondante), les métadonnées et la configuration de compatibilité sont annexées à cette rubrique. Le registre de schéma, à son tour, produit (par exemple lorsqu'un nouveau schéma est enregistré sous un sujet) et consomme des données de cette rubrique.