探索扩散模型在时间序列异常检测中的潜力

多元时间序列异常检测在医疗保健和金融、网络安全和工业监控等领域至关重要。发现这些异常可以突出显示健康状况、欺诈活动、网络威胁或设备故障等重大事件。随着物联网设备和高频数据收集变得越来越普遍，对多元时间序列的稳健异常检测模型的需求变得至关重要。

深度学习方法在这一领域取得了重大进展。自动编码器、生成对抗网络 (GAN) 和 Transformer 只是在识别时间序列数据中的异常方面已被证明有效的几种方法。我最近分享的一篇文章讨论了“反向变压器”（iTransformers）在时间序列分析中的创新应用，您可以阅读更多相关内容这里。

然而，我的最新发现出现了一个新的转折——新的研究论文关于使用扩散模型进行时间序列数据分析。这些模型以其在图像和音频生成任务中的令人印象深刻的结果而闻名，图像的稳定扩散和音频的 AudioLDM 就证明了这一点。它们甚至被用来帮助机器人适应复杂的环境。

这就提出了一个引人注目的问题： 扩散模型对于分析时间序列数据是否有效？这篇文章将研究最近提出这个问题的论文，我们将评估扩散模型在这个专业领域的可行性。让我们开始吧。

现有方法的前景和局限性

传统的异常检测方法，例如单类支持向量机（一种机器学习技术，通过决策边界围绕正常数据点来识别异常）和隔离森林（一种通过隔离观察来检测异常值的算法），擅长单独处理单个数据点。然而，它们没有考虑时间关系，即随时间展开的相互关联的数据序列，这对于理解数据集中不断变化的上下文至关重要。

从设计上来说，深度学习模型更适合这些顺序动态。例如，自动编码器是经过训练的神经网络，可在训练期间将正常数据压缩为紧凑的表示，然后在测试期间重建它。通过测量重建误差来标记异常，重建误差是原始数据与其来自自动编码器的重建版本之间的差异；重大错误表明存在异常事件。

生成对抗网络 ( GAN ) 由两个神经网络（生成器和鉴别器）组成，在类似游戏的环境中竞争。生成器创建新的数据实例，而鉴别器评估它们，分配反映数据实例真实概率的似然分数。当鉴别器分配低可能性分数时，就会识别出异常，这表明数据可能不真实。

Transformers 是深度学习库中的新成员，它利用自注意力机制，使模型能够考虑整个数据序列，以了解每个部分的权重和重要性。这种方法在识别时间序列数据中复杂的时间相关性方面取得了最先进的结果。然而，这些模型有时会以过高的精度重建异常，这可能是一个缺点，因为它使异常难以辨别。此外，GAN 很容易受到模型崩溃的影响，生成器开始产生有限且经常重复的输出，从而降低了模型泛化和检测各种异常的能力。

尽管前景广阔，但由于建模时间依赖性的复杂性以及每种方法的固有局限性，这些深度学习技术仍然面临着跨数据集一致识别异常的挑战。

扩散模型 - 一种新方法

扩散模型是一类新型的深度生成模型，最初因其在生成详细图像方面的能力而受到认可。他们的方法需要逐渐向数据中添加噪声，模型学会逆转噪声，从而有效地消除噪声并重建高分辨率样本。

在时间序列异常检测的背景下，本文提出了一个有趣的假设：扩散过程可能特别有效地平滑正常模式，同时放大异常的不规则性。如果这一点成立，将导致原始异常序列与其重建版本之间存在更大的差异，从而改善异常的识别。

论文中的图表直观地解释了这一理论，描述了通过迭代的噪声添加和随后的去除，与降噪版本相比，异常如何变得更加明显。这种放大有助于将异常数据与扩散后的正常数据区分开来。

为了实际实现，该模型对被高斯噪声破坏的多元时间序列数据进行训练。在测试阶段，通过向新输入序列添加噪声来模仿此过程，然后模型的任务是对其进行去噪。原始序列与其去噪对应序列之间的差异被量化以产生异常分数。

本文研究了应用于时间序列数据的扩散模型的两种变体：

1. 一个简单的应用程序，其中扩散模型处理原始时间序列输入。

2. 增强的“DiffusionAE”模型，采用自动编码器的输出作为扩散过程的初步输入。

   
   

第二种方法“DiffusionAE”通过利用自动编码器预过滤噪声的能力来增强扩散模型对数据中固有噪声的鲁棒性。全面的方法用图表描述，概述了整个流程，从噪声的引入到异常分数的生成。

实验设置和结果

这些模型在合成和真实的多元时间序列数据集上进行了严格的测试，其中包括各种异常类型。

这些类型根据公认的分类法进行分类：

• 点异常：与其他数据点相比不寻常的单一数据点。

• 上下文异常：在特定上下文中考虑时出现异常的点。

• 季节性异常：扰乱预期周期性趋势的不规则模式。

• Shapelet 异常：时间序列中子序列或“Shapelet”内的异常。

• 趋势异常：趋势方向急剧偏离既定模式的点。

  
  

对于合成数据集，以预定比例注入异常，以保持对实验条件的控制。现实世界的数据集包含水处理设施传感器记录的数据，这给分析增加了一层复杂性和不可预测性。

评估异常检测：超越传统指标

用于时间序列异常检测的传统评估方法（例如点调整协议）即使仅识别出异常段中的单个点，也会通过产生高 F1 分数来歪曲系统的性能。认识到这一点，研究人员在最近的一篇论文中提出了更严格的评估方案。

PA%K 协议作为一种解决方案出现，其中“K”表示异常段内必须检测到的点的最小百分比，才能将其视为正确识别。这种方法确保模型不仅可以检测异常，而且可以检测其检测能力的范围。

在此基础上，研究人员引入了 F1K-AUC 指标，该指标计算不同“K”级别下 F1 分数曲线下的面积，从而提供了模型在不同检测严格度下的精度和召回率的全面视角。

为了进一步完善评估，本文建议使用修改后的 ROC 曲线，该曲线可以考虑多个检测阈值和“K”值的真阳性率和假阳性率。这就产生了 ROCK-AUC 指标，它有助于在不受阈值偏差影响的情况下比较异常检测模型。

评估指标的这种转变旨在确保异常检测的高分能够表明在不同程度的异常检测挑战中真实、稳健的模型性能。

要点和未来工作

本文对多元时间序列数据中的异常检测进行了深入分析，这在医疗保健、金融、网络安全和工业监控等各个领域日益重要。检测异常是识别重大破坏性事件（从健康问题到欺诈、网络威胁和设备故障）的关键。鉴于物联网和高频数据收集的兴起，对多元时间序列的有效异常检测模型的需求比以往任何时候都更加紧迫。

该论文的重要贡献之一是对深度学习方法的探索，包括自动编码器、GAN 和 Transformer，这些方法已经在识别异常方面显示出了前景。在此基础上，它提出使用扩散模型（更常见的是与图像和音频生成相关）进行时间序列分析。中心假设是，扩散过程可能会独特地放大正常模式的异常，从而增强可检测性。

针对传统评估方法的不足，本文引入了更稳健的指标，例如F1K-AUC和ROCK-AUC。这些指标旨在对异常检测系统的功能提供更准确的评估，确保高分真正表明卓越的性能。通过对合成数据集和真实数据集进行测试获得的实验结果表明，将自动编码器与扩散过程相结合的 DiffusionAE 模型表现出显着的稳健性和有效性。

尽管取得了这些有希望的结果，但该论文确实提到了该方法固有的局限性。例如，这些模型虽然在受控合成数据上取得了成功，但在处理复杂的现实数据集时遇到了更大的挑战。这表明需要进一步完善以增强模型在现实场景中的适用性。

此外，虽然该论文主张采用复杂的评估指标，但这些指标本身也很复杂，可能需要科学界更广泛的验证。另一个值得关注的问题是模型在不同领域和异常类型中的普遍性——这是机器学习中的常见障碍。最后，扩散模型的计算强度可能会限制其在大规模或实时应用中的使用。

总之，本文强调了基于扩散的模型在改变时间序列异常检测领域的潜力，并呼吁继续研究以优化这些模型以适应实际的各种应用。它还强调了采用先进评估指标来真正测量和了解异常检测系统性能的必要性。

订阅或关注我推特以获得更多这样的内容！