web-dev-qa-db-fra.com

Kafka producteur TimeoutException: expiration 1 enregistrement (s)

J'utilise Kafka avec Spring-boot:

classe Kafka Producer:

@Service
public class MyKafkaProducer {

    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;

    private static Logger LOGGER = LoggerFactory.getLogger(NotificationDispatcherSender.class);

    // Send Message
    public void sendMessage(String topicName, String message) throws Exception {
        LOGGER.debug("========topic Name===== " + topicName + "=========message=======" + message);
        ListenableFuture<SendResult<String, String>> result = kafkaTemplate.send(topicName, message);
        result.addCallback(new ListenableFutureCallback<SendResult<String, String>>() {
            @Override
            public void onSuccess(SendResult<String, String> result) {
                LOGGER.debug("sent message='{}' with offset={}", message, result.getRecordMetadata().offset());
            }

            @Override
            public void onFailure(Throwable ex) {
                LOGGER.error(Constants.PRODUCER_MESSAGE_EXCEPTION.getValue() + " : " + ex.getMessage());
            }
        });
    }
}

configuration Kafka:

spring.kafka.producer.retries=0
spring.kafka.producer.batch-size=100000
spring.kafka.producer.request.timeout.ms=30000
spring.kafka.producer.linger.ms=10
spring.kafka.producer.acks=0
spring.kafka.producer.buffer-memory=33554432
spring.kafka.producer.max.block.ms=5000
spring.kafka.bootstrap-servers=192.168.1.161:9092,192.168.1.162:9093

Disons que j'ai envoyé 10 fois 1 000 messages dans le sujet my-test-topic.

8 fois sur 10, j'obtiens avec succès tous les messages de mon client, mais parfois j'obtiens ceci ci-dessous erreur:

2017-10-05 07:24:11, [ERROR] [my-service - LoggingProducerListener - onError:76] Exception thrown when sending a message with key='null' and payload='{"deviceType":"X","deviceKeys":[{"apiKey":"X-X-o"}],"devices...' to topic my-test-topic

et org.Apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for my-test-topic-4 due to 30024 ms has passed since batch creation plus linger time

apache-kafkakafka-consumer-apikafka-producer-apispring-kafka
14
Prakash Pandey

Il y a 3 possibilités:

  1. Augmenter request.timeout.ms - c'est le temps que Kafka attendra que le lot entier soit prêt dans le tampon. Donc, dans votre cas, s'il y a moins de 100 000 messages dans le tampon, un délai d'attente se produira. Plus d'informations ici: https://stackoverflow.com/a/34794261/2707179
  2. Diminuer batch-size - lié au point précédent, il enverra des lots plus souvent mais ils incluront moins de messages.
  3. Selon la taille du message, votre réseau ne peut peut-être pas rattraper une charge élevée? Vérifiez si votre débit n'est pas un goulot d'étranglement.
9
michalbrz

Donner acks_config="1" et ça marchera

1
user10254546