Публикуем всё, что заметили проверки, включая короткие деградации и плановые работы. Время московское. Разбор пишем для инцидентов дольше получаса и для всего, что задело данные.
Повышенная задержка API
11:18-12:00. Медиана ответа на /v1/products выросла до 1,9 с, часть клиентов завершала запросы по своему таймауту. Причина - план запроса, который после ночного роста таблицы остатков перестал попадать в индекс. Добавили индекс по паре контур-обновление, план вернулся, задержка упала до обычной за три минуты.
Разбор инцидента →Плановые работы: перенос хранилища
03:05-03:40. Переносили базу заказов на новый узел. Панель и API отвечали в режиме чтения, приём заказов и выгрузки были приостановлены. Объявляли за пять дней, уложились в окно.
Недоступна загрузка файлов
09:12-09:30. Приём прайсов и изображений отвечал 503: на узле приёма кончилось место, потому что после смены пути временных файлов чистка убирала не тот каталог. Освободили место, поправили путь, добавили проверку свободного места в дежурные оповещения.
Песочница не выдавала ключи
16:41-17:03. Создание ключей sk_test отвечало ошибкой: контур песочницы не получил обновлённую схему после ночной чистки. Рабочий контур затронут не был. Схему накатили руками, чистку и миграцию развели по времени.
Фоновые выгрузки шли дольше обычного
07:50-08:05. Одна большая выгрузка заняла все потоки очереди, остальные задачи ждали своей. Ограничили долю потоков на один контур, очередь разошлась за четверть часа.
Инциденты старше 12 месяцев из ленты убираются. Нужен разбор по конкретной дате - запросите его из кабинета, мы храним журналы 13 месяцев.