В огромном море данных временных рядов может быть трудно определить, какие последовательности событий представляют собой аномалии или представляющие интерес последовательности. Многие наборы данных временных рядов содержат миллионы или миллиарды событий, которые по отдельности не очень интересны, даже если бы каждый мог внимательно изучить каждое из них. Однако, когда шаблоны или аномалии можно обнаружить в последовательности событий, можно предпринять более целенаправленные действия на гораздо меньшем подмножестве данных.

Turnstile, инструмент, разработанный Elder Research, принимает потоковые данные о событиях и запускает простые или сложные триггеры и оповещения при возникновении интересных комбинаций последовательностей событий. Turnstile использует конечный автомат (FSM) для обработки данных временных рядов по одному событию за раз в хронологическом порядке. Он работает как умный турникет для данных; каждая запись должна пройти и пройти проверку у ворот.

Турникет работает, используя список критериев, определенных пользователем или разработчиком, чтобы определить, какие события представляют особый интерес. Он содержит несколько различных инструментов и функций, способных обнаруживать аномалии. Анализ «A+B+C» ищет определенную последовательность событий. Например, триггер турникета может обнаруживать, когда покупатель покупает и пиво, и подгузники в течение заданного промежутка времени, или происходит ли последовательность всегда, независимо от прошедшего времени.

Turnstile также имеет исчерпывающую функцию «подсчета бобов», которая отслеживает статистику события, чтобы сравнить ее с распределением других событий. Он может отслеживать статистику на уровне отдельных участников или в глобальном масштабе по всем участникам. Статистика измеряется в скользящем окне любой длины, например, за последнюю неделю, две недели, месяц и т. д. Аномалии могут быть инициированы на основе таких показателей, как среднее значение, стандартное отклонение или z-показатель. Например, триггер может срабатывать, когда актер покупает количество удобрений, превышающее среднее значение более чем на 3 стандартных отклонения. Окно движущейся статистики может выполнять множество математических преобразований и расчетов с числовыми данными и ряд простых функций с текстовыми данными. Примеры включают арифметические вычисления, тригонометрические функции для числовых полей или обрезку и использование заглавных букв для текстовых полей.

Функционально контроллер очереди передает данные через конечный автомат (FSM) в основе Turnstile. Файлы конфигурации XML определяют интересующие состояния и статистические данные, которые отслеживаются в кэш-памяти. При выполнении интересующего условия Turnstile запускает триггер, регистрируя аномалию и сообщая о ней заинтересованным сторонам.

Одним из примечательных примеров является использование тригонометрических функций для обнаружения временных аномалий. Например, предположим, что мы хотим знать, когда клиенты совершают покупки в необычное время. Во-первых, нанесите каждое время покупки в виде точки на 24-часовом формате, представленной единичным кругом. С помощью арифметических и тригонометрических функций переведите каждую точку в декартову систему координат. Там легко вычислить расстояние между точками — меру расстояния между разными точками во времени. В Turnstile можно определить и создать скользящую статистику, которая использует стандартное отклонение, среднее значение или z-оценку расстояния, чтобы создавать триггеры на основе разного времени, когда клиенты совершали покупку. Этот тип обнаружения аномалий также можно использовать для выявления внутренних угроз, которые получают доступ к системам вне ожидаемого времени.

Турникет может обрабатывать обнаружение аномалий различными способами в зависимости от конкретного экземпляра и приложения. Используя простую логику A+B+C, скользящую статистику или множественные преобразования данных, Turnstile может предоставить ценную информацию, которую в противном случае можно было бы упустить из виду в больших наборах данных.

Запросите консультацию, чтобы поговорить с консультантом по анализу данных о том, как Elder Research может использовать Turnstile для достижения ваших целей по обнаружению аномалий.

Первоначально опубликовано на www.elderresearch.com.