Retry и DLQ в событийной архитектуре Kafka | ТЕРАКОР
Назад Kafka и микросервисы
Kafka и микросервисы Средний (Middle) обновлено 18.11.2026 ~7 мин чтения

Retry, DLQ и наблюдаемость событийного контура

Как проектировать ретраи и DLQ для Kafka-потребителей: бюджет повторов, классификация ошибок, обязательные алерты и процесс разбора poison message в команде.

Редакция ТЕРАКОР
Автор Редакция ТЕРАКОР Основатель ТЕРАКОР, практикующий разработчик и Tech Lead
Retry, DLQ и наблюдаемость событийного контура

Без политики ретраев временный сбой зависимости превращается либо в потерю события, либо в бесконечный цикл обработки. Dead letter queue (DLQ) и наблюдаемость делают сбои управляемыми: команда видит яд сообщений, ограничивает ущерб и разбирает причины по процессу, а не «когда руки дойдут».

В ТЕРАКОР retry/DLQ включают в Definition of Done событийного потребителя вместе с идемпотентностью. Иначе пилот на Kafka красиво публикует, но тихо копит необработанный хаос.

Классификация ошибок — основа политики

  • Retryable: сетевой таймаут, 503 зависимости, взаимная блокировка с шансом на успех, краткий overload.
  • Non-retryable / бизнес-отклонение: ошибка схемы, нарушенный инвариант, отсутствие обязательного поля после исчерпания совместимости.
  • Poison message: стабильно ломает обработчик на одних и тех же данных.

Путаница классов заполняет DLQ шумом или, наоборот, крутит ретраи вечно и блокирует партицию/лаг.

Правила ретраев

  1. Ограничивайте число попыток и используйте backoff (лучше с jitter).
  2. Не ретрайте non-retryable ошибки «на всякий случай».
  3. Сохраняйте идемпотентность: повтор не должен размножать эффекты.
  4. Учитывайте бюджет времени потребителя и риск rebalance при слишком долгих паузах внутри poll.
  5. Для отложенных ретраев используйте отдельный retry-топик/очередь с задержкой, а не sleep в горячем цикле без стратегии.

Что писать в DLQ

Запись в DLQ должна позволять разбор без археологии:

  • исходный топик, партиция, offset;
  • ключ сообщения и event id;
  • причина и класс ошибки;
  • число попыток;
  • версия потребителя / схемы;
  • payload или ссылка на защищённое хранилище тела (с учётом PII).

Алерты

Алерт на рост DLQ и на возраст самой старой записи обязателен. Иначе очередь яда копится незаметно до инцидента у бизнеса. Отдельно следите за долей retryable ошибок по зависимости — это сигнал деградации соседа, а не «проблема Kafka».

Процесс разбора DLQ

Назначьте владельца на ротацию. Раз в день или неделю — разбор: патч потребителя, фильтрация устаревших событий, ручной replay после фикса. Метрика «возраст oldest DLQ» должна быть на дашборде наравне с лагом.

Replay делайте осознанно: с идемпотентным ключом, в контролируемом окне, с журналом кто инициировал повторную доставку.

Связь с идемпотентностью и outbox

Retry без идемпотентности создаёт дубли эффектов. Outbox без DLQ на стороне публикации создаёт застревание релеера. Эти паттерны проектируют вместе: ключ обработки → политика повторов → DLQ → алерт → runbook.

Наблюдаемость минимального контура

  1. Лаг consumer group по критичным топикам.
  2. Rate успехов / retry / DLQ.
  3. Latency обработки и внешних вызовов.
  4. Частота rebalance (часто коррелирует с ошибками и рестартами).
  5. Дашборд DLQ с владельцем и ссылкой на runbook.

Событийный контур без этой телеметрии — чёрный ящик с отложенным инцидентом. В корпоративной практике ТЕРАКОР такой ящик не принимают как завершённый сервис, даже если «сообщения вроде пишутся в топик».

Poison message и изоляция blast radius

Ядовитое сообщение не должно бесконечно блокировать партицию, если ваш клиент останавливается на ошибке. Стратегии: skip+DLQ после N попыток, отдельный изоляционный топик, circuit breaker на зависимость с сохранением возможности обработки других ключей. Выберите стратегию явно и протестируйте.

Опасный антипаттерн — глотать все исключения и коммитить смещение без DLQ: лаг красивый, данные потеряны.

Семантика backoff

Слишком короткий backoff превращает ретраи в DDoS собственной зависимости. Слишком длинный — раздувает лаг и путает SLO. Используйте экспоненту с потолком и jitter; для зависимостей с известным окном обслуживания допускайте отдельный профиль.

Безопасность payload в DLQ

DLQ часто содержит персональные и платёжные данные. Ограничьте доступ, шифруйте at rest при необходимости, маскируйте в UI разбора, не копируйте сырые тела в открытые чаты инцидента. Разбор яда — тоже контур защиты данных.

Учебный инцидент раз в спринт

  1. Сгенерируйте controlled poison на стенде.
  2. Проверьте алерт и попадание в DLQ.
  3. Проведите разбор по runbook и replay после фикса.
  4. Зафиксируйте время реакции и пробелы документации.

Так команда не учится на первом боевом накоплении очереди. В практических модулях ТЕРАКОР по Kafka подобный учебный инцидент включают в зачёт событийного контура: без алерта и владельца DLQ работа не считается завершённой.

Сводка для архитектора

Retry лечит временное. DLQ лечит неопределённое и ядовитое. Наблюдаемость делает оба механизма видимыми. Идемпотентность делает повторы безопасными. Выпадение любого элемента возвращает вас к потере событий или к тихой порче данных — худшему исходу для доверия к шине.

Согласование retry с владельцами зависимостей

Ваш агрессивный retry может уронить чужой сервис в момент деградации. Согласуйте бюджет повторов с владельцами API: rate limits, предпочтительные коды для retry, наличие их собственного DLQ. В идеале зависимость отдаёт Retry-After или эквивалентный сигнал; потребитель обязан его уважать.

Общий runbook «зависимость деградировала» должен включать временное снижение concurrency потребителя, а не только рост ретраев. Так событийный контур остаётся хорошим соседом в платформе, а не источником каскадного отказа.

Версионирование обработчика и replay

Перед массовым replay из DLQ убедитесь, что в проде та версия потребителя, которая умеет обработать яд после фикса. Иначе вы повторно скормите старые сообщения старому багу. Храните в DLQ-метаданных версию бинарника/схемы на момент ошибки — это ускоряет решение «чинить код» vs «фильтровать устаревшие события».

Replay оформляйте как изменение с владельцем, окном и метрикой успеха, а не как ad-hoc скрипт в проде без аудита.

Классификация ошибок

Сетевой таймаут — retryable. Ошибка валидации схемы — в DLQ без бесконечных повторов. Путаница классов ошибок заполняет DLQ шумом или, наоборот, теряет события.

Процесс разбора

Назначьте владельца DLQ на ротацию. Раз в день/неделю — разбор, патч потребителя или фильтрация яда. Метрика «возраст самой старой записи DLQ» должна быть на дашборде.

Связь с идемпотентностью

Retry без идемпотентности создаёт дубли эффектов. Сначала ключ обработки, затем политика повторов.

Обсуждение во ВКонтакте

Войдите через VK, чтобы оставить комментарий. Сообщения видны друзьям и подписчикам.

Практика

Задачники по теме

Закрепите материал на задачах с критериями проверки.

3 задачника

Все задачники