Kafka: The Cluster ID doesn't match stored clusterId в meta.properties

Брокер Kafka не запускается, в журнале ошибка вида The Cluster ID ... doesn't match stored clusterId Some(...) in meta.properties.

Причина

При первом запуске брокер записывает идентификатор кластера в файл meta.properties в своём каталоге данных (параметр log.dirs в server.properties). Идентификатор кластера хранится в ZooKeeper. Если данные ZooKeeper потеряли или пересоздали, например после проблем с файлом myid на узлах, ZooKeeper выдаёт уже новый идентификатор, и брокер видит, что он не совпадает с сохранённым.

Решение

Правильный путь — восстановить данные ZooKeeper, тогда идентификатор совпадёт и данные кластера сохранятся.

Если восстановить нельзя, можно убрать старый файл, и брокер запишет новый идентификатор при запуске:

mv /kafka-dir/meta.properties /kafka-dir/meta.properties_old

Вместо /kafka-dir укажите свой каталог из log.dirs. Важно: брокер начнёт работу как участник нового кластера, информация о топиках и данных старого кластера будет потеряна. Перед этим сделайте копию каталога данных.