Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy
Tsinghua University（清华大学）
时间序列中异常点的无监督检测是一个具有挑战性的问题，它要求模型推导出一个可区分的准则。以前的方法主要通过学习逐点表示或成对关联来解决这个问题，然而，这两种方法都不足以解释复杂的动力学。近年来，Transformers在点表示和两两关联的统一建模方面表现出强大的能力，我们发现每个时间点的自注意权重分布能够体现与整个序列的丰富关联。我们的关键观察是，由于异常的罕见性，从异常点到整个序列的非平凡关联是非常困难的，因此，异常的关联应主要集中在其相邻的时间点。这种邻近集中偏差意味着一个基于关联的标准，固有地区分正常和异常点，我们强调通过\emph{Association Discrepancy}。在技术上，我们提出了一个新的\emph{Anomaly-Attention}机制来计算关联差异的\emph{Anomaly Transformer}。设计了一种极大极小策略来放大关联差异的正常-异常可分辨性。Anomaly Transformer在三个应用的六个无监督时间序列异常检测基准上取得了最先进的结果：服务监控，空间和地球探测以及水处理。
2022-06-29 cs.LG
Decomposition-based multi-scale transformer framework for time series anomaly detection
International College, University of Chinese Academy of Sciences（中国科学院大学国际学院）
提出基于分解的多尺度Transformer框架TransDe，结合时间序列分解与对比学习，以异步损失函数提升多变量时间序列异常检测性能，在五个数据集上优于十二个基线。
2025-04-19 cs.AI cs.LG
TransLog: A Unified Transformer-based Framework for Log Anomaly Detection
State Key Lab of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；Cloudwise Research（云智慧研究院）；University of Southern California（南加州大学）；Bio-robot and human-computer interaction laboratory, Waseda University（早稻田大学生物机器人与人机交互实验室）
日志异常检测是IT运营人工智能（AIOps）领域的一个关键组成部分。考虑到不同域的日志数据，在实际工业场景中，特别是对于低资源域，对整个网络进行未知域的重新训练是低效的。然而，以往的深度模型只关注于提取同一领域的日志序列的语义，导致对多领域日志的泛化能力较差。因此，我们提出了一个统一的基于transformer的日志异常检测框架（\ourmethod{}），它包括预训练和基于适配器的调整阶段。我们的模型首先在源域上进行预训练，以获得日志数据的共享语义知识。然后，我们通过基于适配器的调整将预训练的模型转移到目标域。在三个公共数据集上对所提出的方法进行了评估，包括一个源域和两个目标域。实验结果表明，我们简单而有效的方法，在目标域中具有更少的可训练参数和更低的训练成本，在三个基准测试中达到了最先进的性能。
2022-01-17 cs.AI cs.LG
EdgeConvFormer: Dynamic Graph CNN and Transformer based Anomaly Detection in Multivariate Time Series
Curtin University（科廷大学）
EdgeConvFormer通过结合Time2vec、动态图CNN和Transformer，解决Transformer异常检测中数据需求大、位置编码不适用及忽视序列间依赖的问题，并在多尺度真实数据集上实现更优的异常检测性能。
2023-12-04 cs.LG
CVTGAD: Simplified Transformer with Cross-View Attention for Unsupervised Graph-level Anomaly Detection
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）
本文提出CVTGAD，通过简化Transformer扩大感受野并结合跨视图注意力直接建模视图间关系，首次将Transformer与交叉注意力引入无监督图级异常检测，在15个数据集上验证了其优越性。
2024-05-03 cs.AI cs.LG
MEMTO: Memory-guided Transformer for Multivariate Time Series Anomaly Detection
Seoul National University（首尔国立大学）；VRCREW Inc.（VRCREW公司）
针对多元时间序列异常检测中重构模型过度泛化的问题，提出记忆引导 Transformer MEMTO，通过可学习更新记忆模块、两阶段训练和双空间偏差检测，在五个数据集上取得 95.74% 的平均 F1 分数。
2023-12-05 cs.AI cs.LG
Self-Supervised and Interpretable Anomaly Detection using Network Transformers
Virginia Commonwealth University（弗吉尼亚联邦大学）；Idaho National Laboratory（爱达荷国家实验室）
监控计算机网络中的流量是保护关键基础设施免受网络攻击的核心方法之一。机器学习（ML）和深度神经网络（DNN）在过去已经被提出作为识别计算机网络中异常的工具。虽然检测到这些异常提供了攻击的指示，但是仅仅检测到异常并不足以让用户理解异常。现成ML模型的黑盒性质阻止了提取重要信息，这些信息对于隔离故障/攻击源并采取纠正措施至关重要。在本文中，我们介绍了网络Transformer（NeT），DNN模型的异常检测，结合了通信网络的图形结构，以提高可解释性。所提出的方法具有以下优点：1）通过结合计算机网络的图结构来增强可解释性; 2）提供分层特征集，其使得能够在不同粒度级别进行分析; 3）不需要标记数据的自监督训练。所提出的方法进行了测试，通过评估在工业控制系统（ICS）的异常的成功检测。所提出的方法成功地识别了异常、受影响的设备以及导致异常的特定连接，提供了一种数据驱动的分层方法来分析网络行为。
2022-02-25 cs.AI cs.CR cs.LG
Anomaly Detection in Dynamic Graphs via Transformer
Monash University（莫纳什大学）；Shanghai Jiao Tong University（上海交通大学）；Max Planck Institute for Mathematics in Sciences（马克斯·普朗克数学与科学研究所）；Beijing Jiaotong University（北京交通大学）；Northwestern Polytechnical University（西北工业大学）；Guangxi University（广西大学）
动态图异常检测在社交网络、电子商务、网络安全等领域有着广泛的应用，因此受到越来越多的关注。最近基于深度学习的方法已经显示出比浅层方法更有希望的结果。然而，他们未能解决两个核心挑战的异常检测动态图：缺乏信息编码的非属性节点和学习歧视知识耦合时空动态图的困难。为了克服这些挑战，在本文中，我们提出了一种新的基于转换器的动态图异常检测框架（TADDY）。我们的框架构建了一个全面的节点编码策略，以更好地表示每个节点的结构和时间的角色，在不断发展的图形流。同时，TADDY通过动态图Transformer模型从具有时空耦合模式的动态图中捕获信息表示。大量的实验结果表明，我们提出的TADDY框架在六个真实世界的数据集上的性能大大优于最先进的方法。
2021-10-27 cs.LG
TiSAT: Time Series Anomaly Transformer
University of South Florida（南佛罗里达大学）
虽然时间序列中的异常检测已经是一个活跃的研究领域了好几年，但最近的方法采用了一个不充分的评估标准，导致F1分数膨胀。我们表明，一个基本的随机猜测方法可以优于国家的最先进的检测器在这个流行的，但错误的评价标准。在这项工作中，我们提出了一个适当的评价指标，衡量检测序列异常的及时性和精度。此外，大多数现有的方法无法从长序列中捕获时间特征。基于自注意力的方法，如Transformers，已被证明在捕获远程依赖关系方面特别有效，同时在训练和推理期间具有计算效率。我们还提出了一个有效的Transformer方法在时间序列中的异常检测，并广泛评估我们提出的方法在几个流行的基准数据集。
2022-03-10 cs.LG eess.SP stat.ML
LogLLaMA: Transformer-based log anomaly detection with LLaMA
University of California, Irvine（加州大学欧文分校）
本研究提出基于LLaMA2的日志异常检测框架LogLLaMA，先在三个大规模正常日志数据集微调实现日志生成，再经强化学习训练识别异常，在多个基准数据集上性能超越现有最优方法。
2025-03-19 cs.CL cs.LG
TranAD: Deep Transformer Networks for Anomaly Detection in Multivariate Time Series Data
Imperial College London（帝国理工学院）；Loughborough University（拉夫堡大学）
多变量时间序列数据的有效异常检测与诊断对于现代工业应用具有重要意义。然而，建立一个能够快速准确地查明异常观测的系统是一个具有挑战性的问题。这是由于缺乏异常标签，高数据波动性和现代应用中超低推理时间的需求。尽管用于异常检测的深度学习方法最近有所发展，但只有少数方法可以解决所有这些挑战。在本文中，我们提出了TranAD，一个基于深度Transformer网络的异常检测和诊断模型，该模型使用基于注意力的序列编码器，利用数据中更广泛的时间趋势知识快速进行推理。TranAD使用基于焦点分数的自调节来实现鲁棒的多模态特征提取和对抗训练以获得稳定性。此外，与模型无关的元学习（MAML）允许我们使用有限的数据训练模型。对六个公开数据集的广泛实证研究表明，TranAD可以通过数据和时间有效的训练在检测和诊断性能方面优于最先进的基线方法。具体而言，与基线相比，TranAD将F1分数提高了17%，将训练时间减少了99%。
2022-05-14 cs.LG
Low Rank Transformer for Multivariate Time Series Anomaly Detection and Localization
KIOS Research and Innovation Center of Excellence（KIOS研究与创新中心卓越研究所）；Department of Electrical and Computer Engineering, University of Cyprus（电子与计算机工程系，塞浦路斯大学）；Department of Mathematics and Statistics, University of Cyprus（数学与统计学系，塞浦路斯大学）
本文提出低秩变换器模型，通过低秩正则化和Attention Low-Rank score提升多变量时间序列异常检测与定位性能。
2026-02-09 cs.LG stat.ML
Large Language Models for Forecasting and Anomaly Detection: A Systematic Literature Review
AT&T Center for Virtualization（AT&T虚拟化中心）；Southern Methodist University（南卫理公会大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Ohio State University（俄亥俄州立大学）；Universidad Internacional Isabel I de Castilla（卡斯蒂利亚伊莎贝尔一世国际大学）；University of Florida（佛罗里达大学）；Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）
本综述系统考察了大型语言模型在预测和异常检测中的应用，指出了数据依赖、泛化性、幻觉等关键挑战，并提出多模态数据整合与提升可解释性等策略，强调持续创新与跨学科合作的重要性。
2024-02-15 cs.AI cs.LG
Pi-transformer: A prior-informed dual-attention model for multivariate time-series anomaly detection
Lincoln AI Lab, University of Lincoln（林肯人工智能实验室，林肯大学）；Trainline
Pi-Transformer通过数据驱动的序列注意力和先验注意力，结合时间不变量，提升多变量时间序列异常检测的准确性与鲁棒性。
2026-03-19 cs.LG
What Information Contributes to Log-based Anomaly Detection? Insights from a Configurable Transformer-Based Approach
本文提出一种可配置的Transformer日志异常检测模型，通过不同长度日志序列和特征组合实验，发现事件发生信息对异常识别最关键，而序列与时间信息影响有限，并指出需构建更复杂的新数据集。
2025-03-11 cs.AI cs.LG cs.SE
Sub-Adjacent Transformer: Improving Time Series Anomaly Detection with Reconstruction Error from Sub-Adjacent Neighborhoods
Peking University（北京大学）；Tsinghua University（清华大学）；Microsoft（微软公司）
本文提出次邻接Transformer，通过将注意力限制在与目标点不直接相邻的次邻接邻域来增加异常重构难度，并采用改进的线性注意力实现，在六个真实世界异常检测基准上取得最先进性能。
2024-04-27 cs.LG
Self-Supervised Masked Convolutional Transformer Block for Anomaly Detection
University of Central Florida（中佛罗里达大学）；Aalborg University（奥尔堡大学）；University Politehnica of Bucharest（布加勒斯特理工大学）；University of Bucharest（布加勒斯特大学）；SecurifAI（SecurifAI公司）；Milestone Systems（Milestone Systems公司）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Linköping University（林雪平大学）
本研究提出一种新型自监督掩码卷积Transformer块SSMCTB，在核心架构集成重建功能，兼容多种网络，扩展了适用任务范围，在5个基准上显著提升异常检测性能并已开源。
2023-10-05 cs.AI cs.CV cs.LG
AnoViT: Unsupervised Anomaly Detection and Localization with Vision Transformer-based Encoder-Decoder
Korea University（高丽大学）
图像异常检测问题的目的是确定图像是否异常，并检测异常区域。这些方法在制造业、医疗保健、智能信息等各个领域得到了积极应用。编码器-解码器结构已经被广泛用于异常检测领域，因为它们可以在无监督学习环境中容易地学习正常模式，并且通过指示输入图像和重构图像之间的差异的重构误差来计算用于识别异常的分数。因此，目前的图像异常检测方法普遍采用卷积编解码器，通过图像的局部特征提取正常信息。然而，它们的局限性在于，由于使用固定大小的滤波器的卷积运算的特性，在构造正常表示时只能利用图像的局部特征。因此，我们提出了一个基于视觉Transformer的编码器-解码器模型，命名为AnoViT，旨在反映正常的信息，通过额外的学习图像块之间的全局关系，这是能够图像异常检测和定位。所提出的方法构造了一个特征图，保持现有的位置信息的个人补丁，通过使用嵌入的所有补丁通过多个自我注意层。所提出的AnoViT模型在三个基准数据集上的表现优于基于卷积的模型。在MVTecAD中，这是异常定位的代表性基准数据集，与基线相比，15个类别中有10个类别的结果有所改善。此外，所提出的方法表现出良好的性能，无论类和类型的异常区域定位结果进行定性评价。
2022-03-21 cs.CV cs.LG
GeoChemAD: Benchmarking Unsupervised Geochemical Anomaly Detection for Mineral Exploration
The University of Western Australia（西澳大学）
本文提出GeoChemAD基准数据集，用于评估无监督地质异常检测方法，通过多区域、多采样源的数据提升模型泛化能力，提出GeoChemFormer框架在矿产勘探中表现优异。
2026-03-13 cs.AI cs.LG
GADformer: A Transparent Transformer Model for Group Anomaly Detection on Trajectories
Kiel University（基尔大学）
本文提出GADformer，一种基于BERT的透明Transformer模型，用于无监督和半监督设置下的轨迹群体异常检测，并引入BAS评分增强模型透明度，在合成与真实数据集上验证了其鲁棒性。
2024-04-25 cs.LG
A Review of Machine Learning based Anomaly Detection Techniques
Punjabi University（旁遮普大学）
入侵检测技术是近二十年来兴起的一个研究热点。它主要有两种类型的基础上的入侵，第一个是误用或基于签名的检测和另一个是异常检测。本文讨论了基于机器学习的异常检测技术。
2013-07-27 cs.CR cs.LG
Temporal transformer CAN encoder with federated lightweight heads for anomaly detection
ANADELTA P.C.（ANADEL塔公司）；Harokopio University of Athens（阿萨索皮奥雅典大学）
该研究提出一种带联邦轻量头的时间Transformer CAN编码器框架，用于车载网络异常检测，结合联邦学习与时间序列建模，在保障隐私和效率的同时实现稳健检测。
2026-10-09 cs.CR cs.LG
Transformer-based normative modelling for anomaly detection of early schizophrenia
King’s College London（伦敦国王学院）；Birkbeck College, London（伦敦大学伯贝克学院）；National Institute of Mental Health（国家精神卫生研究所）；Universidade Federal do ABC（ABC联邦大学）
尽管精神疾病对临床健康的影响，早期诊断仍然是一个挑战。机器学习研究表明，分类器在诊断预测任务中往往过于狭窄。条件之间的重叠导致参与者之间的高度异质性，这不能被分类模型充分捕获。为了解决这一问题，规范性方法作为一种替代方法应运而生。通过使用生成模型来学习健康大脑数据模式的分布，我们可以将病理的存在识别为模型学习的分布的偏差或离群值。特别是，深度生成模型作为识别大脑神经病变的规范模型显示出很好的结果。然而，与大多数神经系统病变不同，精神疾病在几个大脑区域广泛存在细微变化，使这些变化难以识别。在这项工作中，我们评估了基于transformer的规范模型的性能，以检测青少年和年轻人表达的微妙的大脑变化。我们在神经典型个体（N= 1，765）的3D MRI扫描上训练了我们的模型。然后，我们从人类连接组计划的独立数据集（N=93）中获得了神经型对照和精神病患者早期精神分裂症的可能性。使用扫描的预测可能性作为标准评分的代表，我们在评估对照组和早期精神分裂症患者之间的差异时获得了0.82的AUROC。我们的方法超越了最近基于大脑年龄和高斯过程的规范方法，显示了深度生成模型在个性化分析中的应用前景。
2022-12-08 cs.AI cs.LG
A Systematic Review for Transformer-based Long-term Series Forecasting
College of Applied Sciences, Shenzhen University（深圳大学应用技术学院）；College of Big Data and Internet, Shenzhen Technology University（深圳技术大学大数据与互联网学院）
本文系统综述了基于Transformer的长期时间序列预测方法，梳理架构变体、数据集与评估指标，总结训练最佳实践，并展望未来研究方向。
2023-10-31 cs.AI cs.LG
Dive into Time-Series Anomaly Detection: A Decade Review
Inria（法国国家信息与自动化研究所）；DI ENS（巴黎高等师范学院数字研究所）；PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；The Ohio State University（俄亥俄州立大学）；Université Paris Cité（巴黎西岱大学）；IUF（法国大学研究院）
本文综述了近十年时间序列异常检测研究，提出以过程为中心的分类法对现有方法进行系统归类，并通过文献元分析总结该领域的主要发展趋势。
2024-12-29 cs.AI cs.DB cs.LG
Explained anomaly detection in text reviews: Can subjective scenarios be correctly evaluated?
Universidade da Coruña（拉科鲁尼亚大学）；CITIC
本文提出三模块可解释异常评论检测流水线，并通过Amazon数据集和241人用户研究评估其检测与解释能力。
2023-11-08 cs.AI cs.CL cs.LG
Learning Graph Structures with Transformer for Multivariate Time Series Anomaly Detection in IoT
George Washington University（乔治华盛顿大学）；Rutgers University（罗格斯大学）；Shandong University（山东大学）
许多现实世界的物联网系统，包括各种互联网连接的传感设备，产生大量的多变量时间序列数据。与此同时，智能电网和供水网络等重要的物联网基础设施经常成为网络攻击的目标，使得异常检测成为重要的研究课题。然而，建模这种相关性是不可避免的任何高效和有效的异常检测系统，给定的复杂的拓扑和非线性连接，最初是未知的传感器之间。此外，由于多变量时间序列的时间依赖性和随机性，检测其异常是困难的。本文提出了GTA，一个新的框架，用于多变量时间序列异常检测，包括自动学习图结构，图卷积，并使用基于transformer的架构建模时间依赖。基于Gumbel-softmax采样方法直接学习传感器之间的双向链接的连接学习策略是学习图结构的核心。为了描述网络节点之间的异常信息流，我们引入了一种新的图卷积，称为影响传播卷积。此外，为了解决二次复杂度障碍，我们提出了一种多分支注意力机制来代替原来的多头自注意方法。在四个公开的异常检测基准上进行的大量实验进一步证明了我们的方法比其他最先进的方法的优越性。代码可在https://github.com/ZEKAICHEN/GTA上获得。
2022-01-17 cs.CR cs.LG cs.SY
Systematic Review: Anomaly Detection in Connected and Autonomous Vehicles
本文系统综述了网联自动驾驶汽车异常检测研究，分析了203篇文献，指出主流方法为LSTM、CNN、自编码器和one-class SVM，并呼吁采用多指标评估、开源模型、构建基准数据集及探索CAN以外协议的入侵检测。
2024-05-04 cs.LG
Smart Anomaly Detection in Sensor Systems: A Multi-Perspective Review
异常检测涉及识别明显偏离预期行为的数据模式。这是一个重要的研究问题，由于其广泛的应用领域，从数据分析到电子健康，网络安全，预测性维护，故障预防和工业自动化。在此，我们回顾了可用于检测传感器系统的特定区域中的异常的最先进的方法，这些方法在信息融合、数据量、数据速度和网络/能源效率方面提出了严峻的挑战，但这些都是最紧迫的挑战。在这种情况下，异常检测是一个特别困难的问题，因为需要在受约束的环境中找到计算能量精度的权衡。我们分类的方法，从传统的技术（统计方法，时间序列分析，信号处理等）到数据驱动技术（监督学习、强化学习、深度学习等）。我们还研究了不同架构环境（云、雾、边缘）对传感器生态系统的影响。该评论指出了最有前途的智能传感方法，并指出了一系列有趣的开放问题和挑战。
2020-10-31 cs.LG
PatchGuard: Adversarially Robust Anomaly Detection and Localization through Vision Transformers and Pseudo Anomalies
Sharif University of Technology（谢里夫理工大学）
PatchGuard提出一种基于视觉Transformer和前景感知伪异常的对抗鲁棒异常检测与定位方法，通过理论指导的对抗训练，在工业和医学数据集上显著提升对抗鲁棒性，AD提升53.2%，AL提升68.5%。
2025-10-24 cs.CV cs.LG
Deep Learning for Anomaly Detection: A Review
University of Adelaide（阿德莱德大学）；University of Technology Sydney（悉尼科技大学）
异常点探测，也就是。异常值检测或新颖性检测几十年来一直是各种研究团体中持续而活跃的研究领域。仍然有一些独特的问题、复杂性和挑战需要先进的方法。近年来，深度学习实现了异常检测，即，深部异常探测已经成为一个重要的方向。本文对深部异常检测的研究进行了全面的分类，涵盖了3个高级别类别和11个细粒度类别的方法的进展。我们回顾他们的关键直觉，目标函数，基本假设，优点和缺点，并讨论他们如何解决上述挑战。我们进一步讨论了一系列可能的未来机遇和应对挑战的新视角。
2020-12-05 cs.CV cs.LG stat.ML
A Unifying Review of Deep and Shallow Anomaly Detection
Technische Universität Berlin（柏林工业大学）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Technische Universität Kaiserslautern（凯泽斯劳滕工业大学）；Oregon State University（俄勒冈州立大学）；Google Research（谷歌研究院）；Korea University（高丽大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
异常检测的深度学习方法最近已经提高了复杂数据集（如大量图像或文本）的检测性能。这些结果引发了人们对异常检测问题的新的兴趣，并导致了各种各样的新方法的引入。随着许多这样的方法的出现，包括基于生成模型，一类分类和重建的方法，越来越需要将该领域的方法纳入系统和统一的视角。在这篇评论中，我们的目标是确定共同的基本原则，以及假设，往往是隐含的各种方法。特别是，我们绘制经典的“浅”和新的深度方法之间的连接，并显示这种关系可能会交叉施肥或扩展两个方向。我们进一步提供了一个经验评估的主要现有的方法，是丰富的使用最近的可解释性技术，并提出具体的工作，通过的例子，连同实际的建议。最后，我们概述了关键的开放式挑战，并确定了未来研究异常检测的具体路径。
2021-02-08 cs.AI cs.LG stat.ML
Anomaly Detection Techniques in Smart Grid Systems: A Review
Tennessee Tech University（田纳西理工大学）
本文综述智能电网异常检测的最新进展，从多方面分类现有研究、分析挑战与不足，并指出未来研究方向。
2023-06-04 cs.CR cs.LG
Machine Learning Methods for Anomaly Detection in Nuclear Power Plant Power Transformers
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Cifrum – Nuclear Industry Digitalization, Private Enterprise（私营企业Cifrum——核工业数字化公司）；Digital Technologies and Platforms, LLC（数字技术与平台有限责任公司）
电力Transformers是核电站的重要组成部分。目前，核电厂运行了许多延长使用寿命的电力Transformers，这些变压器超过了指定的25年。随着电力变压器使用寿命的延长，对电力Transformers进行技术状态监测的任务变得十分迫切。变压器油中溶解气体色谱分析法是监测变压器油中溶解气体的重要方法。它基于控制溶解在Transformer油中的气体浓度的原理。几乎任何类型的设备缺陷的出现都伴随着溶解在油中的气体的形成，并且特定类型的缺陷以不同的数量产生它们的气体。目前，在核电厂，用于Transformer设备的监测系统使用预定义的控制极限来控制油中溶解气体的浓度。本研究描述了使用机器学习和数据分析方法开发自动检测Transformers缺陷和故障的算法的阶段。在机器学习模型中，我们训练了逻辑回归，决策树，随机森林，梯度提升，神经网络。然后将其中最好的组合成一个集成（StackingClassifier），在测试样本上显示F1得分为0.974。为了开发数学模型，我们使用了Transformers状态的数据，其中包含气体浓度（H2，CO，C2H4，C2H2）值的时间序列。这些数据集被标记并且包含四种操作模式：正常模式、局部放电、低能放电、低温过热。
2022-11-20 cs.LG cs.SY eess.SY
FreCT: Frequency-augmented Convolutional Transformer for Robust Time Series Anomaly Detection
University of Chinese Academy of Science（中国科学院大学）；Harbin Institute of Technology（哈尔滨工业大学）；National University of Defense Technology（国防科学技术大学）；Tsinghua University（清华大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Hainan University（海南大学）；City University of Hong Kong（香港城市大学）
针对重构方法易受异常干扰且忽视频域信息的问题，本文提出 FreCT，通过 patch 对比、卷积 Transformer、Fourier 频率分析及停止梯度 KL 一致性优化提升鲁棒异常检测性能。
2025-05-10 cs.LG
Lung-DETR: Deformable Detection Transformer for Sparse Lung Nodule Anomaly Detection
University of Toronto（多伦多大学）
该研究将稀疏肺结节检测重构为异常检测，结合7.5mm MIP预处理、Deformable-DETR与定制focal loss，在LUNA16上取得94.2% F1。
2024-09-08 cs.CV cs.LG
A unified framework for detecting point and collective anomalies in operating system logs via collaborative transformers
CoLog通过协作变换器统一检测操作系统日志中的点异常和集体异常，实现高精度和召回率。
2025-12-29 cs.AI cs.CV cs.LG
Machine Learning based Anomaly Detection for Smart Shirt: A Systematic Review
Mountains of Research Collaborative Laboratory（山地研究合作实验室）
近年来，人工智能（AI）的普及和使用以及对医疗物联网（IoMT）的大量投资将普遍使用智能袜子，智能裤子和智能衬衫等产品。这些产品被称为智能纺织品或电子纺织品，它能够监测和收集我们身体发出的信号。这些信号使得使用在该领域发挥重要作用的机器学习（ML）技术来提取异常成分成为可能。本研究对Smart Shirt中使用ML技术进行异常检测的文献进行了系统综述（SLR）。SLR的目标是：（i）识别智能衬衫的异常类型;（ii）正在使用什么ML技术;（iii）正在使用哪些数据集;（iv）识别智能衬衫或信号采集设备;（v）列出用于评估ML模型的性能指标;（vi）一般技术的结果;（vii）正在应用的ML算法类型。SLR选择了2017-2021年间发表的11项主要研究。结果表明，共识别出6种异常类型，其中Fall异常被引用次数最多。支持向量机（SVM）算法是最常用的。大多数的原始研究都使用了公共或私人数据集，Hexoskin智能衬衫被引用最多。最常用的指标性能是准确性。然而，几乎所有的初步研究都给出了90%以上的结果，并且所有的初步研究都使用了监督型ML。
2022-03-07 cs.LG
Intelligent Anomaly Detection for Lane Rendering Using Transformer with Self-Supervised Pre-Training and Customized Fine-Tuning
Delft University of Technology（代尔夫特理工大学）；RWTH Aachen University（亚琛工业大学）；Villanova University（维拉诺瓦大学）
本文提出四阶段 Transformer 流程，通过 MiM 自监督预训练和标签平滑微调检测车道渲染异常，Swin-Trans-UM 将准确率提升至94.77%，并把微调轮数由280降至41。
2025-06-07 cs.AI cs.CV cs.LG
Unsupervised Anomaly Detection in Multi-Agent Trajectory Prediction via Transformer-Based Models
Electrical Engineering and Computer Sciences（电气工程与计算机科学）
本文提出基于Transformer的多智能体轨迹预测无监督异常检测框架，通过预测残差和双评估方案识别安全关键场景，有效捕捉多智能体风险并提供可解释的风险类型。
2026-01-28 cs.LG cs.SY eess.SY
Deep Learning for Prawn Farming: Forecasting and Anomaly Detection
Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；Agriculture & Food, CSIRO（澳大利亚联邦科学与工业研究组织农业与食品部）
我们提出了一个决策支持系统管理水质在对虾池塘。该系统以一种新颖的方式使用各种数据源和深度学习模型，提供24小时水质参数预测和异常检测。它为对虾养殖户提供了主动避免恶劣生长环境的工具，从而优化了生长并降低了库存损失的风险。这对农民来说是一个重大转变，他们被迫通过被动地纠正水质差的状况来管理池塘。据我们所知，我们是第一个应用Transformer作为异常检测模型，第一个应用异常检测一般这个水产养殖问题。我们的技术贡献包括为多变量数据调整ForecastNet，以及调整Transformer和Attention模型，以将天气预报数据纳入其解码器。我们达到了12%的平均溶解氧预测的平均绝对百分比误差，我们展示了两个异常检测的案例研究。该系统在商业对虾养殖场部署的第二年成功运行。
2022-05-12 cs.LG
Cross Attention Transformers for Multi-modal Unsupervised Whole-Body PET Anomaly Detection
King’s College London（伦敦国王学院）
本文提出一种基于交叉注意力Transformer的多模态无监督全身PET/CT异常检测方法，利用CT解剖参考增强健康组织建模，并结合模型不确定性与核密度估计，在有限数据下实现更准确的癌症定位。
2023-04-14 cs.CV cs.LG eess.IV
A review on outlier/anomaly detection in time series data
Ikerlan Technology Research Centre（伊克兰技术研究中心）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））；Basque Center for Applied Mathematics (BCAM)（巴斯克应用数学中心（BCAM））
最近的技术进步为数据汇集带来了重大突破，使大量数据能够随着时间的推移而收集，从而生成时间序列。在过去的几年里，挖掘这些数据已经成为研究人员和从业人员的一项重要任务，包括检测可能代表错误或感兴趣事件的离群值或异常。本文旨在提供一个结构化的和全面的国家的最先进的离群检测技术的背景下，时间序列。为此，提出了一个分类的基础上的主要方面，特征的离群值检测技术。
2020-02-11 cs.LG stat.ML
A Critical Review of Common Log Data Sets Used for Evaluation of Sequence-based Anomaly Detection Techniques
Center for Digital Safety & Security, Austrian Institute of Technology（数字安全与安全中心，奥地利技术研究所）
本文批判性分析了六个常用日志数据集，发现大多数异常与序列模式变化无直接关联，简单技术即可达到高检测率，质疑了现有基于序列的深度学习异常检测评估基准的合理性。
2023-09-06 cs.LG
Benchmarking Unsupervised Strategies for Anomaly Detection in Multivariate Time Series
IBM Research Paris-Saclay（IBM巴黎萨克雷研究中心）；LPNHE（LPNHE实验室）；Sorbonne Université（索邦大学）；Université Paris Cité（巴黎城市大学）；CNRS/IN2P3 Paris（巴黎国家科学研究中心/IN2P3）
本文研究了基于transformer的多变量时间序列异常检测方法，重点评估iTransformer架构，并从参数影响、标签提取、异常数据缓解及多数据集对比四个方面进行全面基准测试。
2025-06-25 cs.LG stat.ME
DTAAD: Dual Tcn-Attention Networks for Anomaly Detection in Multivariate Time Series Data
本文提出DTAAD模型，将自回归模型与自编码器结合，并采用双TCN-注意力网络，在多变量时间序列异常检测与诊断中以超轻量结构显著提升F1分数并大幅缩短训练时间。
2024-04-29 cs.LG
On the Nature and Types of Anomalies: A Review of Deviations in Data
Heineken（喜力公司）
本文通过文献综述首次提出领域无关的数据异常类型学，基于五个数据维度划分出3组、9类、63种子类型，为异常检测算法评估和可解释数据科学提供基础。
2023-05-29 cs.AI cs.DB cs.LG
Hyperspectral Trajectory Image for Multi-Month Trajectory Anomaly Detection
UC Santa Barbara（加州大学圣塔芭芭拉分校）
本文提出TITAnD方法，将轨迹异常检测转化为视觉问题，通过超光谱轨迹图像统一稀疏和密集轨迹表示，实现高效的多月异常检测。
2026-09-29 cs.CV cs.LG
Exploring the Influence of Dimensionality Reduction on Anomaly Detection Performance in Multivariate Time Series
Istanbul Technical University（伊斯坦布尔技术大学）；Parton Big Data Analytics and Consulting（帕顿大数据分析与咨询公司）
本文通过在三个数据集上实验研究四种降维技术与两种无监督异常检测模型的结合，发现降维可提升检测性能并大幅缩短训练时间，为降维策略选择提供参考。
2024-03-07 cs.LG
FANTF: Fuzzy attention network based transformers for time series analysis
本文提出 FANTF 框架，通过将模糊逻辑与模糊隶属函数嵌入 Transformer 自注意力模块，有效处理时间序列数据的不确定性，显著提升了预测、分类与异常检测性能。
2026-10-16 cs.LG
A Comparison of Deep Learning Architectures for Spacecraft Anomaly Detection
IU International University of Applied Sciences（IU应用科学大学）
本研究对比了CNNs、RNNs、LSTMs与Transformer四类深度学习架构在航天器异常检测中的效能，结合多任务数据集验证了各模型的适用场景与计算特性，为航天异常检测的架构选型提供了依据。
2024-05-17 cs.LG
FoundAna: A GNN-assisted Foundation Model for Graph Anomaly Detection
University of Nevada Las Vegas（内华达大学拉斯维加斯分校）；University of Southern California（南加利福尼亚大学）
FoundAna是首个结合GNN与Transformer的图异常检测基础模型，通过位置编码和重建误差实现跨图泛化，在九个基准数据集上优于现有方法。
2026-09-17 cs.CR cs.LG
Dynamic Anomaly Identification in Accounting Transactions via Multi-Head Self-Attention Networks
Columbia University（哥伦比亚大学）；Golden Gate University（金门大学）；University of Chicago（芝加哥大学）；Babson College（巴布森学院）
本研究针对会计交易动态异常检测问题，提出基于Transformer的实时方法，通过多头自注意力捕获全局依赖，在公开数据集上实验表明其性能优于基线模型，为智能财务风控和审计提供支持。
2025-11-15 cs.LG
Adaptive Anomaly Detection for Identifying Attacks in Cyber-Physical Systems: A Systematic Literature Review
本文作为首篇系统性文献综述，收集并分析了2013至2023年关于信息物理系统中自适应异常检测（AAD）的65篇论文，提出新分类法，发现现有研究很少同时兼顾数据处理与模型自适应，并指出了局限与未来方向。
2025-01-03 cs.CR cs.LG
