Без политики ретраев временный сбой зависимости превращается либо в потерю события, либо в бесконечный цикл обработки. Dead letter queue (DLQ) и наблюдаемость делают сбои управляемыми: команда видит яд сообщений, ограничивает ущерб и разбирает причины по процессу, а не «когда руки дойдут».
В ТЕРАКОР retry/DLQ включают в Definition of Done событийного потребителя вместе с идемпотентностью. Иначе пилот на Kafka красиво публикует, но тихо копит необработанный хаос.
Классификация ошибок — основа политики
- Retryable: сетевой таймаут, 503 зависимости, взаимная блокировка с шансом на успех, краткий overload.
- Non-retryable / бизнес-отклонение: ошибка схемы, нарушенный инвариант, отсутствие обязательного поля после исчерпания совместимости.
- Poison message: стабильно ломает обработчик на одних и тех же данных.
Путаница классов заполняет DLQ шумом или, наоборот, крутит ретраи вечно и блокирует партицию/лаг.
Правила ретраев
- Ограничивайте число попыток и используйте backoff (лучше с jitter).
- Не ретрайте non-retryable ошибки «на всякий случай».
- Сохраняйте идемпотентность: повтор не должен размножать эффекты.
- Учитывайте бюджет времени потребителя и риск rebalance при слишком долгих паузах внутри poll.
- Для отложенных ретраев используйте отдельный retry-топик/очередь с задержкой, а не sleep в горячем цикле без стратегии.
Что писать в DLQ
Запись в DLQ должна позволять разбор без археологии:
- исходный топик, партиция, offset;
- ключ сообщения и event id;
- причина и класс ошибки;
- число попыток;
- версия потребителя / схемы;
- payload или ссылка на защищённое хранилище тела (с учётом PII).
Алерты
Алерт на рост DLQ и на возраст самой старой записи обязателен. Иначе очередь яда копится незаметно до инцидента у бизнеса. Отдельно следите за долей retryable ошибок по зависимости — это сигнал деградации соседа, а не «проблема Kafka».
Процесс разбора DLQ
Назначьте владельца на ротацию. Раз в день или неделю — разбор: патч потребителя, фильтрация устаревших событий, ручной replay после фикса. Метрика «возраст oldest DLQ» должна быть на дашборде наравне с лагом.
Replay делайте осознанно: с идемпотентным ключом, в контролируемом окне, с журналом кто инициировал повторную доставку.
Связь с идемпотентностью и outbox
Retry без идемпотентности создаёт дубли эффектов. Outbox без DLQ на стороне публикации создаёт застревание релеера. Эти паттерны проектируют вместе: ключ обработки → политика повторов → DLQ → алерт → runbook.
Наблюдаемость минимального контура
- Лаг consumer group по критичным топикам.
- Rate успехов / retry / DLQ.
- Latency обработки и внешних вызовов.
- Частота rebalance (часто коррелирует с ошибками и рестартами).
- Дашборд DLQ с владельцем и ссылкой на runbook.
Событийный контур без этой телеметрии — чёрный ящик с отложенным инцидентом. В корпоративной практике ТЕРАКОР такой ящик не принимают как завершённый сервис, даже если «сообщения вроде пишутся в топик».
Poison message и изоляция blast radius
Ядовитое сообщение не должно бесконечно блокировать партицию, если ваш клиент останавливается на ошибке. Стратегии: skip+DLQ после N попыток, отдельный изоляционный топик, circuit breaker на зависимость с сохранением возможности обработки других ключей. Выберите стратегию явно и протестируйте.
Опасный антипаттерн — глотать все исключения и коммитить смещение без DLQ: лаг красивый, данные потеряны.
Семантика backoff
Слишком короткий backoff превращает ретраи в DDoS собственной зависимости. Слишком длинный — раздувает лаг и путает SLO. Используйте экспоненту с потолком и jitter; для зависимостей с известным окном обслуживания допускайте отдельный профиль.
Безопасность payload в DLQ
DLQ часто содержит персональные и платёжные данные. Ограничьте доступ, шифруйте at rest при необходимости, маскируйте в UI разбора, не копируйте сырые тела в открытые чаты инцидента. Разбор яда — тоже контур защиты данных.
Учебный инцидент раз в спринт
- Сгенерируйте controlled poison на стенде.
- Проверьте алерт и попадание в DLQ.
- Проведите разбор по runbook и replay после фикса.
- Зафиксируйте время реакции и пробелы документации.
Так команда не учится на первом боевом накоплении очереди. В практических модулях ТЕРАКОР по Kafka подобный учебный инцидент включают в зачёт событийного контура: без алерта и владельца DLQ работа не считается завершённой.
Сводка для архитектора
Retry лечит временное. DLQ лечит неопределённое и ядовитое. Наблюдаемость делает оба механизма видимыми. Идемпотентность делает повторы безопасными. Выпадение любого элемента возвращает вас к потере событий или к тихой порче данных — худшему исходу для доверия к шине.
Согласование retry с владельцами зависимостей
Ваш агрессивный retry может уронить чужой сервис в момент деградации. Согласуйте бюджет повторов с владельцами API: rate limits, предпочтительные коды для retry, наличие их собственного DLQ. В идеале зависимость отдаёт Retry-After или эквивалентный сигнал; потребитель обязан его уважать.
Общий runbook «зависимость деградировала» должен включать временное снижение concurrency потребителя, а не только рост ретраев. Так событийный контур остаётся хорошим соседом в платформе, а не источником каскадного отказа.
Версионирование обработчика и replay
Перед массовым replay из DLQ убедитесь, что в проде та версия потребителя, которая умеет обработать яд после фикса. Иначе вы повторно скормите старые сообщения старому багу. Храните в DLQ-метаданных версию бинарника/схемы на момент ошибки — это ускоряет решение «чинить код» vs «фильтровать устаревшие события».
Replay оформляйте как изменение с владельцем, окном и метрикой успеха, а не как ad-hoc скрипт в проде без аудита.
Классификация ошибок
Сетевой таймаут — retryable. Ошибка валидации схемы — в DLQ без бесконечных повторов. Путаница классов ошибок заполняет DLQ шумом или, наоборот, теряет события.
Процесс разбора
Назначьте владельца DLQ на ротацию. Раз в день/неделю — разбор, патч потребителя или фильтрация яда. Метрика «возраст самой старой записи DLQ» должна быть на дашборде.
Связь с идемпотентностью
Retry без идемпотентности создаёт дубли эффектов. Сначала ключ обработки, затем политика повторов.
Обсуждение во ВКонтакте
Войдите через VK, чтобы оставить комментарий. Сообщения видны друзьям и подписчикам.