Бета: только Управляемый ClickStackОповещения на основе обнаружения аномалий находятся в стадии бета-тестирования и доступны в Управляемом ClickStack. В ClickStack с открытым исходным кодом они недоступны. Пока возможность находится в бета-версии, её поведение и значения по умолчанию могут меняться.
- Подходящий порог различается для каждого сервиса, конечной точки или клиента, и вы группируете оповещение по этому измерению.
- Нормальные значения меняются в течение дня, из-за чего любой фиксированный порог либо создаёт шум в часы пик, либо ничего не замечает в остальное время.
- Резкие изменения — всплески ошибок, скачки задержки или падение трафика до нуля — интересуют вас больше, чем абсолютные уровни.
Поддерживаемые оповещения
Обнаружение аномалий — это не отдельный тип оповещения, а режим обнаружения, который включается для существующего оповещения. Он доступен для:- Оповещений по поиску, которые оценивают количество совпадающих событий.
- Оповещений по чартам на дашборде для чартов, созданных в конструкторе чартов.
Создание оповещения об аномалиях
1
Откройте редактор оповещений
Откройте редактор оповещений для сохранённого поиска или чарта на дашборде, как описано в разделе Оповещения.
2
Выберите обнаружение аномалий
В разделе Alert type выберите Anomaly detection. По умолчанию выбран вариант Static threshold.
3
Настройте условие
Условие читается как предложение: Alert when z-score is at least
3 when value is outside expected range compared to the past 2 hours checked every 5 minute.- z-score is at least (по умолчанию
3): на сколько стандартных отклонений значение должно отличаться от ожидаемого, чтобы считаться аномальным. Минимум — 0,5; стрелки изменяют значение с шагом 0,5. Чем ниже значение, тем выше чувствительность и тем чаще срабатывает оповещение. - When value is (по умолчанию
outside expected range): направление отклонения, при котором срабатывает оповещение:above expected,below expectedилиoutside expected range. Используйтеabove expectedдля числа ошибок и задержки, аbelow expected— для пропускной способности или числа регистраций. - Compared to the past (по умолчанию 2 часа): глубина истории, по которой ClickStack оценивает обычный разброс значений: 30 минут либо 1, 2, 4, 6, 12 или 24 часа. Чем длиннее базовый период, тем стабильнее диапазон, но тем медленнее он подстраивается под новую норму.
- Checked every (по умолчанию 5 минут): частота проверки оповещения: 5, 15 или 30 минут либо 1 час. Другие интервалы для оповещений об аномалиях недоступны.
4
Проверьте бэктест и предварительный просмотр
Строка под сводкой — это бэктест: он прогоняет текущие настройки по недавней истории и показывает, как часто оповещение отправляло бы уведомления, например «Would have notified 6 times in the past 24 hours, firing on 12 of 288 checks.» Для оповещений по поиску бэктест охватывает последние 24 часа, для оповещений по чартам на дашборде — выбранный для чарта временной диапазон, но не более 24 часов. Число подсвечивается жёлтым, если оповещение отправляло бы уведомления чаще 10 раз в сутки.Anomaly detection chart под формой отображает тот же диапазон:
- Сплошная линия — это серия.
- Пунктирная линия — ожидаемое базовое значение.
- Заштрихованная область — зона срабатывания оповещения. Значение, которое выходит за пределы ожидаемого диапазона и попадает в эту зону, вызывает срабатывание.
- Маркеры Notify показывают, где оповещение отправило бы уведомление.
5
Выберите канал уведомлений и сохраните
Выберите вебхук или другой канал, как и для любого оповещения. См. раздел Добавление вебхука. Сохраните оповещение — после этого начнётся его проверка.
Предупреждения о пригодности
Некоторые серии плохо подходят для обнаружения аномалий. В этом случае перед сохранением под чартом предварительного просмотра появляется предупреждение, однако сохранить оповещение оно не мешает:Как работает обнаружение аномалий
При каждой оценке ClickStack анализирует окно оценки последовательно, бакет за бакетом. Длительность бакета — 60 секунд. Для каждого бакета:- Ожидаемое значение. ClickStack вычисляет скользящее среднее по 7 бакетам, завершившимся на одно окно оценки раньше. Ожидаемые значения никогда не бывают отрицательными.
- Разброс. ClickStack вычисляет в ClickHouse стандартное отклонение серии на базовом интервале, выбранном в поле Compared to the past. Базовый интервал никогда не бывает короче одного окна оценки.
- z-оценка. z-оценка вычисляется как
(value − expected) / standard deviation. - Решение. Бакет срабатывает, если z-оценка превышает настроенный порог в заданном направлении, а значение отличается от ожидаемого не менее чем на 5% от ожидаемого значения (или на 0,01, если ожидаемое значение равно 0). Порог в 5% не позволяет почти постоянным сериям срабатывать на незначительных колебаниях.
expected ± z-score × standard deviation и дополнительно расширяется с учётом порога в 5%. В предварительном просмотре всё, что выходит за его пределы, закрашивается как зона срабатывания оповещения.
Окно оценки срабатывает, если срабатывает хотя бы один из его бакетов.
Пустые бакеты
То, как ClickStack обрабатывает минуту без данных, зависит от типа агрегации:- Количества и суммы (включая оповещения по поиску): пустой бакет оценивается как ноль. Поэтому оповещение с направлением
below expectedилиoutside expected rangeсрабатывает, когда трафик полностью прекращается. - Средние значения, процентили, минимум, максимум, доли и источники метрик: пустой бакет означает, что измерять было нечего, поэтому он пропускается, а не оценивается как ноль.
Сгруппированные оповещения
Если оповещение сгруппировано по полю, напримерServiceName, каждая группа становится отдельной серией с собственным ожидаемым диапазоном и собственным состоянием оповещения. ClickStack оценивает до 100 серий на одно оповещение, отдавая предпочтение сериям с наибольшим объёмом данных. Серия, по которой уже сработало оповещение, продолжает оцениваться до тех пор, пока оповещение не будет разрешено, даже если она выпадет из первой сотни.
Уведомления и разрешение
Оповещения об аномалиях отправляют одно уведомление на инцидент для каждой серии:- Когда серия начинает срабатывать, ClickStack отправляет одно уведомление и переводит серию в состояние оповещения.
- Пока серия продолжает срабатывать при последующих оценках, повторные уведомления не отправляются.
- Если в окне оценки нет сработавших бакетов, серия считается разрешённой, и ClickStack отправляет уведомление о разрешении.
- Заголовок:
Alert for "Checkout errors" - value 142 is above the expected range (z-score 4.4) - Тело:
Value 142 is above the expected range — z-score 4.4 vs sensitivity 3; expected 120 ± 5 (expected range 105 to 135).
{{anomaly.value}}, {{anomaly.expectedValue}}, {{anomaly.expectedStddev}}, {{anomaly.lowerBound}}, {{anomaly.upperBound}} и {{anomaly.zScore}}. Эти значения задаются только в уведомлениях о срабатывании. В уведомлениях о разрешении их нет, поэтому, если одно и то же название или сообщение используется в обоих случаях, оборачивайте их в {{#if anomaly}}...{{/if}}.
Мониторинг оповещений об аномалиях
На странице Alerts выберите в Filter by type значение Anomaly, чтобы отображались только оповещения об аномалиях. В каждой строке описано условие, например «If value is above expected with z-score at least 3». Выберите оповещение, чтобы открыть страницу сведений о нём. Под сводкой условия, в которую входят интервал и базовое значение, ClickStack показывает, сколько раз оповещение срабатывало за весь хранимый период истории, например «Fired 2 times in the past 2 days.» Выберите этот диапазон, чтобы отобразить его на чарте и в истории проверок. В таблице Evaluation History перечислены все проверки с указанием состояния, последнего значения и количества серий в состоянии оповещения. Строки, для которых указана длительность уведомления, означают, что уведомление было отправлено — как при срабатывании оповещения, так и при его разрешении. Если оповещение остаётся в сработавшем состоянии на протяжении 20 или более окон подряд, на странице сведений появляется подсказка о том, что для серии, скорее всего, установилась новая норма, а не возникла аномалия. В этом случае увеличьте порог z-оценки или измените оповещение так, чтобы сравнение выполнялось с более подходящим базовым значением.Бэктестинг с помощью MCP
С помощью MCP-сервера ClickStack ИИ-ассистент может проверить настройки обнаружения аномалий на исторических данных до того, как вы их сохраните. Инструментclickstack_backtest_anomaly_alert повторно применяет конфигурацию к истории за период до 24 часов и для каждой серии сообщает, какие уведомления были бы отправлены, а также выдаёт предупреждения о качестве данных. Инструмент работает в режиме только для чтения.
Советы по настройке
- Оповещение срабатывает слишком часто: повышайте z-оценку с шагом 0,5 или измените направление с
outside expected rangeна ту сторону, которая для вас важна. - Оповещение пропустило реальный инцидент: понизьте z-оценку или сократите период базового значения, чтобы диапазон отражал недавнее поведение.
- Оповещение срабатывает весь день после развертывания: у серии сформировался новый нормальный уровень, а при длинных периодах базового значения адаптация занимает больше времени, чем при коротких.
- Серии с малым объемом данных: группируйте по меньшему числу измерений или настройте оповещение на более широкий поиск, чтобы в каждой серии было не менее одного события в минуту.