Публикуем всё, что заметили проверки, включая короткие деградации и плановые работы. Время московское. Разбор пишем для инцидентов дольше получаса и для всего, что задело данные.
Повышенная задержка API
11:18-12:00. Медиана ответа на /v1/products выросла до 3,2 с, часть клиентов завершала запросы по своему таймауту. Причина - план запроса, который после ночного роста таблицы остатков перестал попадать в индекс. Добавили индекс по паре контур-обновление, план вернулся, задержка упала до обычной за три минуты.
Разбор инцидента →Задержка доставки вебхуков
14:40-16:50. Очередь доставки росла: приёмник одного из контуров отвечал по 30 секунд, и его повторы занимали общие потоки. Медленные подписки вынесли в отдельный пул, очередь разобралась за 20 минут. Ни одно событие не потеряно, все доставлены с задержкой.
Ошибки в панели управления
18:02-18:27. После выката часть страниц панели отвечала ошибкой: миграция блокировала таблицу сессий дольше, чем ожидалось. Откатились через 6 минут после первого срабатывания, остальное время ушло на прогрев кешей. API и вебхуки затронуты не были.
Плановые работы: обновление панели
03:10-03:50. Выкатывали версию панели с миграцией настроек уведомлений. Панель была недоступна, API и вебхуки работали штатно. Объявляли за неделю.
Фоновые выгрузки шли дольше обычного
07:50-08:05. Одна большая выгрузка заняла все потоки очереди, остальные задачи ждали своей. Ограничили долю потоков на один контур, очередь разошлась за четверть часа.
Инциденты старше 12 месяцев из ленты убираются. Нужен разбор по конкретной дате - запросите его из кабинета, мы храним журналы 13 месяцев.