Большинство серьёзных инцидентов подают сигналы задолго до падения: место на диске кончается неделями, деградация запросов накапливается днями, утечка соединений растёт часами. Вопрос только в том, смотрит ли кто-нибудь на эти сигналы. Рассказываем, как устроен наш подход к мониторингу и почему он разворачивается за 40 минут.
Реактивный и проактивный подход
Реактивный мониторинг отвечает на вопрос «что уже упало». Он нужен, но он всегда опаздывает: к моменту алерта клиент уже увидел ошибку. Проактивный отвечает на другой вопрос — «что упадёт, если ничего не делать». Разница не в инструментах, а в том, какие метрики собираются и какие пороги на них выставлены.
Три уровня наблюдения
Бизнес-процесс
Верхний уровень отвечает на вопрос, работает ли то, за что бизнес платит деньги: оформляются ли заказы, проходят ли платежи, отгружается ли склад. Эти метрики понятны руководителю и первыми показывают, что проблема вышла за пределы ИТ.
Приложение и инфраструктура
Средний уровень — время ответа сервисов, ошибки, очереди, состояние узлов и контейнеров. Здесь видно, какой компонент деградирует и насколько это связано с нагрузкой.
База данных
Нижний уровень — самый показательный и чаще всего самый запущенный: планы выполнения запросов, блокировки, состояние репликации, рост объёмов, эффективность индексов. Именно здесь обычно находится настоящая причина «непонятных тормозов» наверху.
Ценность появляется, когда три уровня связаны: видно не просто «база нагружена», а «оформление заказа замедлилось, потому что конкретный запрос начал брать блокировку из-за ночного отчёта».
- тренд свободного места и прогноз даты исчерпания;
- рост времени выполнения ключевых запросов относительно эталона;
- отставание репликации и рост длительных транзакций;
- рост числа блокировок и ожиданий;
- приближение к лимитам соединений и памяти;
- расхождение фактического бэкапа с регламентом и результат тестового восстановления.
Почему разворачивается за 40 минут
Наш стек наблюдения переносим и не переписываем под каждого клиента заново: базовый набор метрик, дашбордов и правил уже готов и проверен на десятках проектов. На новой площадке нужно подключить источники и адаптировать пороги под конкретный профиль нагрузки — это часы, а не недели. Работает на любой инфраструктуре: физические серверы, виртуальные машины, облака, Kubernetes, включая закрытые контуры.
Второй эффект от единого подхода: удачное решение, найденное на одном проекте, тиражируется на остальные. Каждая новая интеграция делает систему правил чуть умнее для всех клиентов.
Что делать с алертами
Мониторинг без процесса разбора превращается в шум, на который перестают реагировать. Поэтому у каждого сигнала есть владелец, приоритет и понятное действие, а инциденты фиксируются и ведутся до закрытия — с разбором причины, а не только с восстановлением работоспособности. В нашей платформе Prometey AIOps часть этой работы берёт на себя «цифровой инженер»: он объясняет причину, предлагает решение и формирует отчёт.
Хотите увидеть это на своей инфраструктуре?
Развернём мониторинг на вашей площадке и покажем первые находки. Экспресс-аудит для новых клиентов — бесплатно.
Развернуть мониторинг