Исследование потенциала диффузионных моделей в обнаружении аномалий временных рядов

Обнаружение аномалий многомерных временных рядов имеет решающее значение в самых разных областях: от здравоохранения и финансов до кибербезопасности и промышленного наблюдения. Обнаружение этих аномалий может выявить важные события, такие как состояние здоровья, мошеннические действия, киберугрозы или неисправности оборудования. Поскольку устройства IoT и высокочастотный сбор данных становятся все более распространенными, необходимость в надежных моделях обнаружения аномалий для многомерных временных рядов стала насущной.

Методы глубокого обучения добились значительных успехов в этой области. Автоэнкодеры, генеративно-состязательные сети (GAN) и преобразователи — это лишь некоторые из подходов, которые продемонстрировали эффективность в выявлении аномалий в данных временных рядов. В недавней статье, которой я поделился, обсуждалось инновационное применение «инвертированных преобразователей» (iTransformers) в анализе временных рядов, о котором вы можете прочитать больше. здесь .

Однако с моей последней находкой появился новый поворот — новая исследовательская работа по использованию диффузионных моделей для анализа данных временных рядов. Эти модели наиболее известны своими впечатляющими результатами в задачах генерации изображений и звука, о чем свидетельствуют Stable Diffusion для изображений и AudioLDM для аудио. Их даже применяли, чтобы помочь роботам адаптироваться к сложным условиям.

Это поднимает насущный вопрос: могут ли диффузионные модели быть столь же эффективными для анализа данных временных рядов? В этом посте будет рассмотрена недавняя статья, которая выдвинула этот вопрос на передний план, и мы оценим жизнеспособность моделей диффузии в этой специализированной области. Давайте начнем.

Перспективы и ограничения существующих методов

Традиционные методы обнаружения аномалий, такие как SVM одного класса — метод машинного обучения, который окружает нормальные точки данных границей решения для выявления аномалий — и изоляционные леса — алгоритм, который обнаруживает выбросы путем изоляции наблюдений, — умеют обрабатывать отдельные точки данных изолированно. . Однако они не принимают во внимание временные отношения, взаимосвязанные последовательности данных, которые разворачиваются во времени, что имеет решающее значение для понимания развивающихся контекстов внутри набора данных.

Модели глубокого обучения по своей конструкции больше приспособлены к этой последовательной динамике. Например, автоэнкодеры — это нейронные сети, обученные сжимать обычные данные в компактное представление во время обучения, а затем восстанавливать их во время тестирования. Аномалии помечаются путем измерения ошибки реконструкции, которая представляет собой несоответствие между исходными данными и их восстановленной версией, полученной автокодировщиком; значительная ошибка предполагает аномальное событие.

Генеративно-состязательные сети ( GAN ), состоящие из двух нейронных сетей — генератора и дискриминатора, — соревнуются в игровой обстановке. Генератор создает новые экземпляры данных, в то время как дискриминатор оценивает их, присваивая оценки вероятности, которые отражают вероятность того, что экземпляр данных является реальным. Аномалии выявляются, когда дискриминатор присваивает низкие оценки вероятности, указывая на то, что данные могут быть недостоверными.

Трансформеры, новое дополнение к арсеналу глубокого обучения, используют механизмы самообслуживания, позволяя модели учитывать всю последовательность данных, чтобы понять вес и значимость каждой части. Этот подход привел к современным результатам в распознавании сложных временных корреляций в данных временных рядов. Однако эти модели иногда могут реконструировать аномалии со слишком высокой точностью, что может быть недостатком, поскольку делает аномалии менее заметными. Кроме того, GAN подвержены коллапсу модели, когда генератор начинает выдавать ограниченные и часто повторяющиеся выходные данные, что снижает способность модели обобщать и обнаруживать широкий спектр аномалий.

Несмотря на свои многообещающие свойства, эти методы глубокого обучения по-прежнему сталкиваются с проблемой последовательного выявления аномалий в различных наборах данных из-за сложности моделирования временных зависимостей и присущих каждому подходу ограничений.

Диффузионные модели – новый подход

Диффузионные модели — это новый класс глубоких генеративных моделей, изначально получивший признание за свое мастерство в создании детальных изображений. Их подход предполагает постепенное добавление шума к данным, который модель учится реверсировать, что позволяет эффективно устранять шум и восстанавливать образцы с высоким разрешением.

В контексте обнаружения аномалий временных рядов в этой статье выдвигается интригующая гипотеза: диффузионные процессы могут быть особенно эффективны для сглаживания нормальных закономерностей и усиления неравномерностей в аномалиях. Если это так, это приведет к большему несоответствию между исходными аномальными последовательностями и их реконструированными версиями, тем самым улучшая выявление аномалий.

Диаграмма в статье наглядно объясняет эту теорию, показывая, как посредством итеративного добавления и последующего удаления шума аномалии становятся более выраженными по сравнению с их версиями с шумоподавлением. Такое усиление облегчает дифференциацию аномальных данных от нормальных после диффузии.

Для практической реализации модель проходит обучение на данных многомерных временных рядов, искаженных гауссовским шумом. На этапе тестирования этот процесс имитируется путем добавления шума к новым входным последовательностям, которые затем модели предстоит шумоподавить. Разница между исходной последовательностью и ее аналогом с шумоподавлением оценивается количественно для получения оценки аномалии.

В статье рассматриваются два варианта диффузионных моделей, применяемых к данным временных рядов:

1. Простое приложение, в котором модель диффузии обрабатывает входные необработанные временные ряды.

2. Усовершенствованная модель «DiffusionAE», в которой выходные данные автоэнкодера используются в качестве предварительных входных данных для процесса диффузии.

   
   

Второй подход, «DiffusionAE», повышает устойчивость модели диффузии к собственному шуму в данных за счет использования способности автокодировщика предварительно фильтровать шум. Комплексная методология изображена на диаграмме, описывающей весь конвейер, от введения шума до получения оценки аномалии.

Экспериментальная установка и результаты.

Модели прошли тщательное тестирование как на синтетических, так и на достоверных наборах данных многомерных временных рядов, которые включали различные типы аномалий.

Эти типы были классифицированы в соответствии с признанной таксономией:

• Точечные аномалии : особые точки данных, которые необычны по сравнению с остальными.

• Контекстуальные аномалии : моменты, которые являются ненормальными, если рассматривать их в конкретном контексте.

• Сезонные аномалии : нерегулярные закономерности, нарушающие ожидаемые циклические тенденции.

• Аномалии шапеллета : аномалии внутри подпоследовательности или «шапеллета» во временном ряду.

• Аномалии тренда : точки, где направление тренда резко отклоняется от установленной модели.

  
  

В синтетические наборы данных аномалии вводились в заранее определенных соотношениях, чтобы сохранить контроль над условиями эксперимента. Реальные наборы данных включали данные, записанные с датчиков на водоочистном сооружении, что добавляло анализу еще больше сложности и непредсказуемости.

Оценка обнаружения аномалий: за пределами традиционных показателей

Традиционные методы оценки для обнаружения аномалий временных рядов, такие как протокол точечной корректировки, могут искажать производительность системы, получая высокие оценки F1, даже если идентифицирована только одна точка в аномальном сегменте. Признавая это, исследователи в недавней статье предложили более строгие протоколы оценки.

Решением является протокол PA%K, где «K» представляет собой минимальный процент точек, которые должны быть обнаружены в аномальном сегменте, чтобы его можно было считать правильно идентифицированным. Этот метод гарантирует, что модели распознаются не только по обнаружению аномалий, но и по степени их возможностей обнаружения.

Основываясь на этом, исследователи представляют метрику F1K-AUC, которая вычисляет площадь под кривой показателей F1 на различных уровнях «K», предлагая комплексное представление о точности модели и ее полноте при различных степенях обнаружения.

Для дальнейшего уточнения оценки в документе предлагается использовать модифицированную кривую ROC, которая учитывает уровни истинных и ложных срабатываний при нескольких порогах обнаружения и значениях «K». Это приводит к появлению метрики ROCK-AUC, которая облегчает сравнение моделей обнаружения аномалий без влияния порогового смещения.

Этот сдвиг в показателях оценки направлен на то, чтобы высокие показатели обнаружения аномалий свидетельствовали о подлинной и надежной работе модели при различных степенях задач обнаружения аномалий.

Ключевые выводы и будущая работа

В документе представлен углубленный анализ обнаружения аномалий в данных многомерных временных рядов, что становится все более важным в различных областях, таких как здравоохранение, финансы, кибербезопасность и промышленный мониторинг. Обнаружение аномалий является ключом к выявлению серьезных разрушительных событий: от проблем со здоровьем до мошенничества, киберугроз и неисправностей оборудования. Учитывая развитие Интернета вещей и высокочастотного сбора данных, потребность в эффективных моделях обнаружения аномалий для многомерных временных рядов становится более актуальной, чем когда-либо.

Одним из значительных вкладов статьи является исследование методов глубокого обучения, включая автокодировщики, GAN и трансформаторы, которые уже показали себя многообещающе в выявлении аномалий. В основе этого подхода лежит предложение использования моделей диффузии, чаще связанных с генерацией изображений и аудио, для анализа временных рядов. Основная гипотеза заключается в том, что диффузионные процессы могут однозначно усиливать аномалии по сравнению с нормальными закономерностями, повышая их обнаруживаемость.

Чтобы устранить недостатки традиционных методов оценки, в документе вводятся более надежные показатели, такие как F1K-AUC и ROCK-AUC. Эти показатели призваны обеспечить более точную оценку возможностей системы обнаружения аномалий, гарантируя, что высокие оценки действительно свидетельствуют о превосходной производительности. Экспериментальные результаты, полученные в результате тестирования на синтетических и реальных наборах данных, показывают, что модель DiffusionAE, которая сочетает в себе автоэнкодер с диффузионными процессами, демонстрирует заметную надежность и эффективность.

Несмотря на эти многообещающие результаты, в статье упоминаются ограничения, присущие этому подходу. Например, модели, хотя и успешные на контролируемых синтетических данных, сталкиваются с более серьезными проблемами при работе со сложными наборами реальных данных. Это указывает на необходимость дальнейшего совершенствования для повышения применимости моделей в реальных сценариях.

Более того, хотя в документе и пропагандируется использование сложных показателей оценки, они имеют свои собственные сложности и могут потребовать более широкой проверки в научном сообществе. Еще одним поводом для беспокойства является возможность обобщения моделей на различные области и типы аномалий — распространенное препятствие в машинном обучении. Наконец, трудоемкость вычислений диффузионных моделей потенциально может ограничить их использование в крупномасштабных приложениях или приложениях реального времени.

Таким образом, в документе подчеркивается потенциал моделей, основанных на диффузии, в преобразовании ландшафта обнаружения аномалий временных рядов и содержится призыв к продолжению исследований по оптимизации этих моделей для различных практических приложений. Это также подчеркивает необходимость принятия расширенных показателей оценки для реального измерения и понимания производительности систем обнаружения аномалий.

Подписаться или следуй за мной Твиттер больше такого контента!