RESTAD: REconstruction and Similarity based Transformer for time series Anomaly Detection
Delft University of Technology(代尔夫特理工大学)
针对仅靠重构误差的无监督时间序列异常检测难发现细微异常的问题,提出融合RBF神经元层的Transformer模型RESTAD,结合相似度得分与重构误差提升检测敏感度,在多个基准数据集上表现优于现有基线。
2024-05-13 cs.AI cs.LG
Anomaly Transformer: Time Series Anomaly Detection with Association Discrepancy
Tsinghua University(清华大学)
时间序列中异常点的无监督检测是一个具有挑战性的问题,它要求模型推导出一个可区分的准则。以前的方法主要通过学习逐点表示或成对关联来解决这个问题,然而,这两种方法都不足以解释复杂的动力学。近年来,Transformers在点表示和两两关联的统一建模方面表现出强大的能力,我们发现每个时间点的自注意权重分布能够体现与整个序列的丰富关联。我们的关键观察是,由于异常的罕见性,从异常点到整个序列的非平凡关联是非常困难的,因此,异常的关联应主要集中在其相邻的时间点。这种邻近集中偏差意味着一个基于关联的标准,固有地区分正常和异常点,我们强调通过\emph{Association Discrepancy}。在技术上,我们提出了一个新的\emph{Anomaly-Attention}机制来计算关联差异的\emph{Anomaly Transformer}。设计了一种极大极小策略来放大关联差异的正常-异常可分辨性。Anomaly Transformer在三个应用的六个无监督时间序列异常检测基准上取得了最先进的结果:服务监控,空间和地球探测以及水处理。
2022-06-29 cs.LG
Decomposition-based multi-scale transformer framework for time series anomaly detection
International College, University of Chinese Academy of Sciences(中国科学院大学国际学院)
提出基于分解的多尺度Transformer框架TransDe,结合时间序列分解与对比学习,以异步损失函数提升多变量时间序列异常检测性能,在五个数据集上优于十二个基线。
2025-04-19 cs.AI cs.LG
CVTGAD: Simplified Transformer with Cross-View Attention for Unsupervised Graph-level Anomaly Detection
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院)
本文提出CVTGAD,通过简化Transformer扩大感受野并结合跨视图注意力直接建模视图间关系,首次将Transformer与交叉注意力引入无监督图级异常检测,在15个数据集上验证了其优越性。
2024-05-03 cs.AI cs.LG
EdgeConvFormer: Dynamic Graph CNN and Transformer based Anomaly Detection in Multivariate Time Series
Curtin University(科廷大学)
EdgeConvFormer通过结合Time2vec、动态图CNN和Transformer,解决Transformer异常检测中数据需求大、位置编码不适用及忽视序列间依赖的问题,并在多尺度真实数据集上实现更优的异常检测性能。
2023-12-04 cs.LG
MEMTO: Memory-guided Transformer for Multivariate Time Series Anomaly Detection
Seoul National University(首尔国立大学);VRCREW Inc.(VRCREW公司)
针对多元时间序列异常检测中重构模型过度泛化的问题,提出记忆引导 Transformer MEMTO,通过可学习更新记忆模块、两阶段训练和双空间偏差检测,在五个数据集上取得 95.74% 的平均 F1 分数。
2023-12-05 cs.AI cs.LG
Self-Supervised and Interpretable Anomaly Detection using Network Transformers
Virginia Commonwealth University(弗吉尼亚联邦大学);Idaho National Laboratory(爱达荷国家实验室)
监控计算机网络中的流量是保护关键基础设施免受网络攻击的核心方法之一。机器学习(ML)和深度神经网络(DNN)在过去已经被提出作为识别计算机网络中异常的工具。虽然检测到这些异常提供了攻击的指示,但是仅仅检测到异常并不足以让用户理解异常。现成ML模型的黑盒性质阻止了提取重要信息,这些信息对于隔离故障/攻击源并采取纠正措施至关重要。在本文中,我们介绍了网络Transformer(NeT),DNN模型的异常检测,结合了通信网络的图形结构,以提高可解释性。所提出的方法具有以下优点:1)通过结合计算机网络的图结构来增强可解释性; 2)提供分层特征集,其使得能够在不同粒度级别进行分析; 3)不需要标记数据的自监督训练。所提出的方法进行了测试,通过评估在工业控制系统(ICS)的异常的成功检测。所提出的方法成功地识别了异常、受影响的设备以及导致异常的特定连接,提供了一种数据驱动的分层方法来分析网络行为。
2022-02-25 cs.AI cs.CR cs.LG
Anomaly Detection in Dynamic Graphs via Transformer
Monash University(莫纳什大学);Shanghai Jiao Tong University(上海交通大学);Max Planck Institute for Mathematics in Sciences(马克斯·普朗克数学与科学研究所);Beijing Jiaotong University(北京交通大学);Northwestern Polytechnical University(西北工业大学);Guangxi University(广西大学)
动态图异常检测在社交网络、电子商务、网络安全等领域有着广泛的应用,因此受到越来越多的关注。最近基于深度学习的方法已经显示出比浅层方法更有希望的结果。然而,他们未能解决两个核心挑战的异常检测动态图:缺乏信息编码的非属性节点和学习歧视知识耦合时空动态图的困难。为了克服这些挑战,在本文中,我们提出了一种新的基于转换器的动态图异常检测框架(TADDY)。我们的框架构建了一个全面的节点编码策略,以更好地表示每个节点的结构和时间的角色,在不断发展的图形流。同时,TADDY通过动态图Transformer模型从具有时空耦合模式的动态图中捕获信息表示。大量的实验结果表明,我们提出的TADDY框架在六个真实世界的数据集上的性能大大优于最先进的方法。
2021-10-27 cs.LG
TiSAT: Time Series Anomaly Transformer
University of South Florida(南佛罗里达大学)
虽然时间序列中的异常检测已经是一个活跃的研究领域了好几年,但最近的方法采用了一个不充分的评估标准,导致F1分数膨胀。我们表明,一个基本的随机猜测方法可以优于国家的最先进的检测器在这个流行的,但错误的评价标准。在这项工作中,我们提出了一个适当的评价指标,衡量检测序列异常的及时性和精度。此外,大多数现有的方法无法从长序列中捕获时间特征。基于自注意力的方法,如Transformers,已被证明在捕获远程依赖关系方面特别有效,同时在训练和推理期间具有计算效率。我们还提出了一个有效的Transformer方法在时间序列中的异常检测,并广泛评估我们提出的方法在几个流行的基准数据集。
2022-03-10 cs.LG eess.SP stat.ML
LogLLaMA: Transformer-based log anomaly detection with LLaMA
University of California, Irvine(加州大学欧文分校)
本研究提出基于LLaMA2的日志异常检测框架LogLLaMA,先在三个大规模正常日志数据集微调实现日志生成,再经强化学习训练识别异常,在多个基准数据集上性能超越现有最优方法。
2025-03-19 cs.CL cs.LG
TranAD: Deep Transformer Networks for Anomaly Detection in Multivariate Time Series Data
Imperial College London(帝国理工学院);Loughborough University(拉夫堡大学)
多变量时间序列数据的有效异常检测与诊断对于现代工业应用具有重要意义。然而,建立一个能够快速准确地查明异常观测的系统是一个具有挑战性的问题。这是由于缺乏异常标签,高数据波动性和现代应用中超低推理时间的需求。尽管用于异常检测的深度学习方法最近有所发展,但只有少数方法可以解决所有这些挑战。在本文中,我们提出了TranAD,一个基于深度Transformer网络的异常检测和诊断模型,该模型使用基于注意力的序列编码器,利用数据中更广泛的时间趋势知识快速进行推理。TranAD使用基于焦点分数的自调节来实现鲁棒的多模态特征提取和对抗训练以获得稳定性。此外,与模型无关的元学习(MAML)允许我们使用有限的数据训练模型。对六个公开数据集的广泛实证研究表明,TranAD可以通过数据和时间有效的训练在检测和诊断性能方面优于最先进的基线方法。具体而言,与基线相比,TranAD将F1分数提高了17%,将训练时间减少了99%。
2022-05-14 cs.LG
Low Rank Transformer for Multivariate Time Series Anomaly Detection and Localization
KIOS Research and Innovation Center of Excellence(KIOS研究与创新中心卓越研究所);Department of Electrical and Computer Engineering, University of Cyprus(电子与计算机工程系,塞浦路斯大学);Department of Mathematics and Statistics, University of Cyprus(数学与统计学系,塞浦路斯大学)
本文提出低秩变换器模型,通过低秩正则化和Attention Low-Rank score提升多变量时间序列异常检测与定位性能。
2026-02-09 cs.LG stat.ML
Pi-transformer: A prior-informed dual-attention model for multivariate time-series anomaly detection
Lincoln AI Lab, University of Lincoln(林肯人工智能实验室,林肯大学);Trainline
Pi-Transformer通过数据驱动的序列注意力和先验注意力,结合时间不变量,提升多变量时间序列异常检测的准确性与鲁棒性。
2026-03-19 cs.LG
What Information Contributes to Log-based Anomaly Detection? Insights from a Configurable Transformer-Based Approach
本文提出一种可配置的Transformer日志异常检测模型,通过不同长度日志序列和特征组合实验,发现事件发生信息对异常识别最关键,而序列与时间信息影响有限,并指出需构建更复杂的新数据集。
2025-03-11 cs.AI cs.LG cs.SE
Sub-Adjacent Transformer: Improving Time Series Anomaly Detection with Reconstruction Error from Sub-Adjacent Neighborhoods
Peking University(北京大学);Tsinghua University(清华大学);Microsoft(微软公司)
本文提出次邻接Transformer,通过将注意力限制在与目标点不直接相邻的次邻接邻域来增加异常重构难度,并采用改进的线性注意力实现,在六个真实世界异常检测基准上取得最先进性能。
2024-04-27 cs.LG
Self-Supervised Masked Convolutional Transformer Block for Anomaly Detection
University of Central Florida(中佛罗里达大学);Aalborg University(奥尔堡大学);University Politehnica of Bucharest(布加勒斯特理工大学);University of Bucharest(布加勒斯特大学);SecurifAI(SecurifAI公司);Milestone Systems(Milestone Systems公司);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Linköping University(林雪平大学)
本研究提出一种新型自监督掩码卷积Transformer块SSMCTB,在核心架构集成重建功能,兼容多种网络,扩展了适用任务范围,在5个基准上显著提升异常检测性能并已开源。
2023-10-05 cs.AI cs.CV cs.LG
GeoChemAD: Benchmarking Unsupervised Geochemical Anomaly Detection for Mineral Exploration
The University of Western Australia(西澳大学)
本文提出GeoChemAD基准数据集,用于评估无监督地质异常检测方法,通过多区域、多采样源的数据提升模型泛化能力,提出GeoChemFormer框架在矿产勘探中表现优异。
2026-03-13 cs.AI cs.LG
AnoViT: Unsupervised Anomaly Detection and Localization with Vision Transformer-based Encoder-Decoder
Korea University(高丽大学)
图像异常检测问题的目的是确定图像是否异常,并检测异常区域。这些方法在制造业、医疗保健、智能信息等各个领域得到了积极应用。编码器-解码器结构已经被广泛用于异常检测领域,因为它们可以在无监督学习环境中容易地学习正常模式,并且通过指示输入图像和重构图像之间的差异的重构误差来计算用于识别异常的分数。因此,目前的图像异常检测方法普遍采用卷积编解码器,通过图像的局部特征提取正常信息。然而,它们的局限性在于,由于使用固定大小的滤波器的卷积运算的特性,在构造正常表示时只能利用图像的局部特征。因此,我们提出了一个基于视觉Transformer的编码器-解码器模型,命名为AnoViT,旨在反映正常的信息,通过额外的学习图像块之间的全局关系,这是能够图像异常检测和定位。所提出的方法构造了一个特征图,保持现有的位置信息的个人补丁,通过使用嵌入的所有补丁通过多个自我注意层。所提出的AnoViT模型在三个基准数据集上的表现优于基于卷积的模型。在MVTecAD中,这是异常定位的代表性基准数据集,与基线相比,15个类别中有10个类别的结果有所改善。此外,所提出的方法表现出良好的性能,无论类和类型的异常区域定位结果进行定性评价。
2022-03-21 cs.CV cs.LG
GADformer: A Transparent Transformer Model for Group Anomaly Detection on Trajectories
Kiel University(基尔大学)
本文提出GADformer,一种基于BERT的透明Transformer模型,用于无监督和半监督设置下的轨迹群体异常检测,并引入BAS评分增强模型透明度,在合成与真实数据集上验证了其鲁棒性。
2024-04-25 cs.LG
Temporal transformer CAN encoder with federated lightweight heads for anomaly detection
ANADELTA P.C.(ANADEL塔公司);Harokopio University of Athens(阿萨索皮奥雅典大学)
该研究提出一种带联邦轻量头的时间Transformer CAN编码器框架,用于车载网络异常检测,结合联邦学习与时间序列建模,在保障隐私和效率的同时实现稳健检测。
2026-10-09 cs.CR cs.LG
Transformer-based normative modelling for anomaly detection of early schizophrenia
King’s College London(伦敦国王学院);Birkbeck College, London(伦敦大学伯贝克学院);National Institute of Mental Health(国家精神卫生研究所);Universidade Federal do ABC(ABC联邦大学)
尽管精神疾病对临床健康的影响,早期诊断仍然是一个挑战。机器学习研究表明,分类器在诊断预测任务中往往过于狭窄。条件之间的重叠导致参与者之间的高度异质性,这不能被分类模型充分捕获。为了解决这一问题,规范性方法作为一种替代方法应运而生。通过使用生成模型来学习健康大脑数据模式的分布,我们可以将病理的存在识别为模型学习的分布的偏差或离群值。特别是,深度生成模型作为识别大脑神经病变的规范模型显示出很好的结果。然而,与大多数神经系统病变不同,精神疾病在几个大脑区域广泛存在细微变化,使这些变化难以识别。在这项工作中,我们评估了基于transformer的规范模型的性能,以检测青少年和年轻人表达的微妙的大脑变化。我们在神经典型个体(N= 1,765)的3D MRI扫描上训练了我们的模型。然后,我们从人类连接组计划的独立数据集(N=93)中获得了神经型对照和精神病患者早期精神分裂症的可能性。使用扫描的预测可能性作为标准评分的代表,我们在评估对照组和早期精神分裂症患者之间的差异时获得了0.82的AUROC。我们的方法超越了最近基于大脑年龄和高斯过程的规范方法,显示了深度生成模型在个性化分析中的应用前景。
2022-12-08 cs.AI cs.LG
Learning Graph Structures with Transformer for Multivariate Time Series Anomaly Detection in IoT
George Washington University(乔治华盛顿大学);Rutgers University(罗格斯大学);Shandong University(山东大学)
许多现实世界的物联网系统,包括各种互联网连接的传感设备,产生大量的多变量时间序列数据。与此同时,智能电网和供水网络等重要的物联网基础设施经常成为网络攻击的目标,使得异常检测成为重要的研究课题。然而,建模这种相关性是不可避免的任何高效和有效的异常检测系统,给定的复杂的拓扑和非线性连接,最初是未知的传感器之间。此外,由于多变量时间序列的时间依赖性和随机性,检测其异常是困难的。本文提出了GTA,一个新的框架,用于多变量时间序列异常检测,包括自动学习图结构,图卷积,并使用基于transformer的架构建模时间依赖。基于Gumbel-softmax采样方法直接学习传感器之间的双向链接的连接学习策略是学习图结构的核心。为了描述网络节点之间的异常信息流,我们引入了一种新的图卷积,称为影响传播卷积。此外,为了解决二次复杂度障碍,我们提出了一种多分支注意力机制来代替原来的多头自注意方法。在四个公开的异常检测基准上进行的大量实验进一步证明了我们的方法比其他最先进的方法的优越性。代码可在https://github.com/ZEKAICHEN/GTA上获得。
2022-01-17 cs.CR cs.LG cs.SY
PatchGuard: Adversarially Robust Anomaly Detection and Localization through Vision Transformers and Pseudo Anomalies
Sharif University of Technology(谢里夫理工大学)
PatchGuard提出一种基于视觉Transformer和前景感知伪异常的对抗鲁棒异常检测与定位方法,通过理论指导的对抗训练,在工业和医学数据集上显著提升对抗鲁棒性,AD提升53.2%,AL提升68.5%。
2025-10-24 cs.CV cs.LG
Machine Learning Methods for Anomaly Detection in Nuclear Power Plant Power Transformers
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Cifrum – Nuclear Industry Digitalization, Private Enterprise(私营企业Cifrum——核工业数字化公司);Digital Technologies and Platforms, LLC(数字技术与平台有限责任公司)
电力Transformers是核电站的重要组成部分。目前,核电厂运行了许多延长使用寿命的电力Transformers,这些变压器超过了指定的25年。随着电力变压器使用寿命的延长,对电力Transformers进行技术状态监测的任务变得十分迫切。变压器油中溶解气体色谱分析法是监测变压器油中溶解气体的重要方法。它基于控制溶解在Transformer油中的气体浓度的原理。几乎任何类型的设备缺陷的出现都伴随着溶解在油中的气体的形成,并且特定类型的缺陷以不同的数量产生它们的气体。目前,在核电厂,用于Transformer设备的监测系统使用预定义的控制极限来控制油中溶解气体的浓度。本研究描述了使用机器学习和数据分析方法开发自动检测Transformers缺陷和故障的算法的阶段。在机器学习模型中,我们训练了逻辑回归,决策树,随机森林,梯度提升,神经网络。然后将其中最好的组合成一个集成(StackingClassifier),在测试样本上显示F1得分为0.974。为了开发数学模型,我们使用了Transformers状态的数据,其中包含气体浓度(H2,CO,C2H4,C2H2)值的时间序列。这些数据集被标记并且包含四种操作模式:正常模式、局部放电、低能放电、低温过热。
2022-11-20 cs.LG cs.SY eess.SY
FreCT: Frequency-augmented Convolutional Transformer for Robust Time Series Anomaly Detection
University of Chinese Academy of Science(中国科学院大学);Harbin Institute of Technology(哈尔滨工业大学);National University of Defense Technology(国防科学技术大学);Tsinghua University(清华大学);Beijing University of Posts and Telecommunications(北京邮电大学);Hainan University(海南大学);City University of Hong Kong(香港城市大学)
针对重构方法易受异常干扰且忽视频域信息的问题,本文提出 FreCT,通过 patch 对比、卷积 Transformer、Fourier 频率分析及停止梯度 KL 一致性优化提升鲁棒异常检测性能。
2025-05-10 cs.LG
Lung-DETR: Deformable Detection Transformer for Sparse Lung Nodule Anomaly Detection
University of Toronto(多伦多大学)
该研究将稀疏肺结节检测重构为异常检测,结合7.5mm MIP预处理、Deformable-DETR与定制focal loss,在LUNA16上取得94.2% F1。
2024-09-08 cs.CV cs.LG
A unified framework for detecting point and collective anomalies in operating system logs via collaborative transformers
CoLog通过协作变换器统一检测操作系统日志中的点异常和集体异常,实现高精度和召回率。
2025-12-29 cs.AI cs.CV cs.LG
Sparse Binary Transformers for Multivariate Time Series Modeling
Colorado State University(科罗拉多州立大学);San Diego State University(圣地亚哥州立大学)
本文提出稀疏二值Transformer用于多元时间序列分类、异常检测和单步预测,通过固定掩码与当前时间步注意力掩码降低计算量,在保持与稠密浮点模型相当准确率的同时实现最高53倍存储和10.5倍FLOPs节省。
2023-08-09 cs.AI cs.LG
Intelligent Anomaly Detection for Lane Rendering Using Transformer with Self-Supervised Pre-Training and Customized Fine-Tuning
Delft University of Technology(代尔夫特理工大学);RWTH Aachen University(亚琛工业大学);Villanova University(维拉诺瓦大学)
本文提出四阶段 Transformer 流程,通过 MiM 自监督预训练和标签平滑微调检测车道渲染异常,Swin-Trans-UM 将准确率提升至94.77%,并把微调轮数由280降至41。
2025-06-07 cs.AI cs.CV cs.LG
Deep Learning for Prawn Farming: Forecasting and Anomaly Detection
Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61);Agriculture & Food, CSIRO(澳大利亚联邦科学与工业研究组织农业与食品部)
我们提出了一个决策支持系统管理水质在对虾池塘。该系统以一种新颖的方式使用各种数据源和深度学习模型,提供24小时水质参数预测和异常检测。它为对虾养殖户提供了主动避免恶劣生长环境的工具,从而优化了生长并降低了库存损失的风险。这对农民来说是一个重大转变,他们被迫通过被动地纠正水质差的状况来管理池塘。据我们所知,我们是第一个应用Transformer作为异常检测模型,第一个应用异常检测一般这个水产养殖问题。我们的技术贡献包括为多变量数据调整ForecastNet,以及调整Transformer和Attention模型,以将天气预报数据纳入其解码器。我们达到了12%的平均溶解氧预测的平均绝对百分比误差,我们展示了两个异常检测的案例研究。该系统在商业对虾养殖场部署的第二年成功运行。
2022-05-12 cs.LG
Unsupervised Anomaly Detection in Multi-Agent Trajectory Prediction via Transformer-Based Models
Electrical Engineering and Computer Sciences(电气工程与计算机科学)
本文提出基于Transformer的多智能体轨迹预测无监督异常检测框架,通过预测残差和双评估方案识别安全关键场景,有效捕捉多智能体风险并提供可解释的风险类型。
2026-01-28 cs.LG cs.SY eess.SY
Cross Attention Transformers for Multi-modal Unsupervised Whole-Body PET Anomaly Detection
King’s College London(伦敦国王学院)
本文提出一种基于交叉注意力Transformer的多模态无监督全身PET/CT异常检测方法,利用CT解剖参考增强健康组织建模,并结合模型不确定性与核密度估计,在有限数据下实现更准确的癌症定位。
2023-04-14 cs.CV cs.LG eess.IV
PhaseNet++: Phase-Aware Frequency-Domain Anomaly Detection for Industrial Control Systems via Phase Coherence Graphs
Department of CSE IIITDM Kancheepuram Chennai, India(计算机科学与工程系IIITDM坎切浦拉姆钦奈印度)
本文提出PhaseNet++,通过相位一致性图网络在频域中检测工业控制系统异常,利用相位信息提升检测性能,实验表明其在SWaT基准测试中取得高F1分数和ROC-AUC值。
2026-04-30 cs.AI cs.LG
Exploring a Hybrid Deep Learning Approach for Anomaly Detection in Mental Healthcare Provider Billing: Addressing Label Scarcity through Semi-Supervised Anomaly Detection
Informatics Institute, University of Amsterdam(阿姆斯特丹大学信息学院);Department of Computer Science and Technology, SUNY Empire State University(SUNY埃默里州立大学计算机科学与技术系)
本文针对心理健康医疗账单异常检测中标签稀缺和类别不平衡问题,提出结合LSTM与Transformer的混合深度学习方法,并利用孤立森林和自编码器生成伪标签,在真实账单数据集上验证了该方法在召回率方面的有效性。
2025-07-02 cs.AI cs.LG
GLADMamba: Unsupervised Graph-Level Anomaly Detection Powered by Selective State Space Model
School of Artificial Intelligence, Jilin University, Changchun, China(吉林大学人工智能学院);Hong Kong University of Science and Technology (Guangzhou), Guangzhou, China(香港科技大学(广州));College of Computer Science and Technology, Jilin University, Changchun, China(吉林大学计算机科学与技术学院);Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, Ministry of Education, China(知识驱动的人机智能工程研究中心,教育部)
GLADMamba通过引入选择性状态空间模型和谱信息,实现了无监督图级异常检测的高效检测与优化。
2025-12-26 cs.AI cs.LG
Generative Pretraining at Scale: Transformer-Based Encoding of Transactional Behavior for Fraud Detection
Tencent(腾讯)
本文提出一种基于GPT架构的自回归模型,通过无监督预训练和差分卷积方法,有效解决令牌爆炸并重构行为序列,用于支付系统欺诈检测,在中国最大在线支付商户中展现出高安全性和广泛适用性。
2023-12-22 cs.AI cs.LG
Benchmarking Unsupervised Strategies for Anomaly Detection in Multivariate Time Series
IBM Research Paris-Saclay(IBM巴黎萨克雷研究中心);LPNHE(LPNHE实验室);Sorbonne Université(索邦大学);Université Paris Cité(巴黎城市大学);CNRS/IN2P3 Paris(巴黎国家科学研究中心/IN2P3)
本文研究了基于transformer的多变量时间序列异常检测方法,重点评估iTransformer架构,并从参数影响、标签提取、异常数据缓解及多数据集对比四个方面进行全面基准测试。
2025-06-25 cs.LG stat.ME
DTAAD: Dual Tcn-Attention Networks for Anomaly Detection in Multivariate Time Series Data
本文提出DTAAD模型,将自回归模型与自编码器结合,并采用双TCN-注意力网络,在多变量时间序列异常检测与诊断中以超轻量结构显著提升F1分数并大幅缩短训练时间。
2024-04-29 cs.LG
ASTER: Latent Pseudo-Anomaly Generation for Unsupervised Time-Series Anomaly Detection
University of Montreal(蒙特利尔大学);Université de Montréal(蒙特利尔大学)
提出ASTER框架,在潜在空间生成伪异常训练Transformer分类器,结合预训练LLM增强表示,在三个基准数据集上达到最优性能。
2026-06-12 cs.AI cs.CV cs.LG
Hyperspectral Trajectory Image for Multi-Month Trajectory Anomaly Detection
UC Santa Barbara(加州大学圣塔芭芭拉分校)
本文提出TITAnD方法,将轨迹异常检测转化为视觉问题,通过超光谱轨迹图像统一稀疏和密集轨迹表示,实现高效的多月异常检测。
2026-09-29 cs.CV cs.LG
Exploring the Influence of Dimensionality Reduction on Anomaly Detection Performance in Multivariate Time Series
Istanbul Technical University(伊斯坦布尔技术大学);Parton Big Data Analytics and Consulting(帕顿大数据分析与咨询公司)
本文通过在三个数据集上实验研究四种降维技术与两种无监督异常检测模型的结合,发现降维可提升检测性能并大幅缩短训练时间,为降维策略选择提供参考。
2024-03-07 cs.LG
Framing Algorithmic Recourse for Anomaly Detection
Virginia Tech(弗吉尼亚理工大学);University of Texas, Dallas(德克萨斯大学达拉斯分校)
算法追索权的问题已经被探索用于监督机器学习模型,以从决策支持系统提供更可解释、透明和鲁棒的结果。一个未探索的领域是异常检测的算法资源,特别是对于只有离散特征值的表格数据。这里的问题是提出一组被底层异常检测模型视为正常的反事实,以便应用程序可以利用此信息进行解释或推荐对策。本文提出了一种有效的、可扩展的、对底层异常检测模型不可知的方法--表数据中异常的上下文保持查询追索权(CARAT)。CARAT使用基于Transformer的编码器-解码器模型,通过查找具有低可能性的特征来解释异常。随后,通过修改突出显示的特征,使用异常实例中特征的整体上下文来生成语义上连贯的反事实。大量的实验有助于证明CARAT的功效。
2022-06-29 cs.AI cs.LG stat.ME
Multi-scale Masked Autoencoder for Electrocardiogram Anomaly Detection
Fuwai Hospital, Chinese Academy of Medical Sciences and Peking Union Medical College(中国医学科学院北京协和医学院阜外医院);National Center for Cardiovascular Diseases(国家心血管病中心);National Clinical Research Center for Cardiovascular Diseases(国家心血管疾病临床医学研究中心)
针对心电图异常检测因信号复杂多变及需预处理的问题,提出MMAE-ECG端到端框架,通过多尺度掩码和注意力机制捕获全局局部依赖,无需预处理且推理FLOPs仅为最先进方法的1/78,性能相当。
2025-02-08 cs.AI cs.LG stat.AP
FANTF: Fuzzy attention network based transformers for time series analysis
本文提出 FANTF 框架,通过将模糊逻辑与模糊隶属函数嵌入 Transformer 自注意力模块,有效处理时间序列数据的不确定性,显著提升了预测、分类与异常检测性能。
2026-10-16 cs.LG
A Comparison of Deep Learning Architectures for Spacecraft Anomaly Detection
IU International University of Applied Sciences(IU应用科学大学)
本研究对比了CNNs、RNNs、LSTMs与Transformer四类深度学习架构在航天器异常检测中的效能,结合多任务数据集验证了各模型的适用场景与计算特性,为航天异常检测的架构选型提供了依据。
2024-05-17 cs.LG
FoundAna: A GNN-assisted Foundation Model for Graph Anomaly Detection
University of Nevada Las Vegas(内华达大学拉斯维加斯分校);University of Southern California(南加利福尼亚大学)
FoundAna是首个结合GNN与Transformer的图异常检测基础模型,通过位置编码和重建误差实现跨图泛化,在九个基准数据集上优于现有方法。
2026-09-17 cs.CR cs.LG
Deep Learning for Anomaly Detection in Railway Systems: A Structured Survey
Université Polytechnique Hauts-de-France(上法兰西理工大学);Alstom(阿尔斯通);INSA Hauts-de-France(法国国立应用科学学院上法兰西分校);University of Sharjah(沙迦大学)
本文对铁路系统异常检测的深度学习方法进行结构化综述,提出统一分类法,并构建面向决策的框架以指导检测范式和部署配置的选择。
2026-10-02 cs.AI cs.LG
Attention and Autoencoder Hybrid Model for Unsupervised Online Anomaly Detection
Shiraz University(设拉子大学)
本文提出一种结合注意力机制与自编码器的混合模型,用于时间序列无监督在线异常检测,通过潜在空间预测及误差一阶统计矩分析提升检测准确率。
2024-01-06 cs.AI cs.LG eess.SP
AMAD: AutoMasked Attention for Unsupervised Multivariate Time Series Anomaly Detection
Northwestern Polytechnical University(西北工业大学)
针对无监督多元时间序列异常检测中关联假设受限的问题,提出AMAD模型,结合自动掩码注意力与注意力混合模块,辅以最大-最小训练和局部-全局对比学习,实现稳健且通用的异常检测,性能媲美最先进基准。
2025-04-25 cs.AI cs.LG
Dynamic Anomaly Identification in Accounting Transactions via Multi-Head Self-Attention Networks
Columbia University(哥伦比亚大学);Golden Gate University(金门大学);University of Chicago(芝加哥大学);Babson College(巴布森学院)
本研究针对会计交易动态异常检测问题,提出基于Transformer的实时方法,通过多头自注意力捕获全局依赖,在公开数据集上实验表明其性能优于基线模型,为智能财务风控和审计提供支持。
2025-11-15 cs.LG
Benchmarking Deep Learning Models for Anomaly Detection in Real-World Cloud Telemetry
Indian Institute of Technology Delhi(德里印度理工学院)
该研究针对真实云遥测异常检测,以IBM Cloud Console数据集开展基准测试,评估GRU、Transformer等模型,发现TimesNet表现最优,且强调时序感知评估与鲁棒后处理的重要性。
2026-10-14 cs.DC cs.LG
Integrating Quantum-Classical Attention in Patch Transformers for Enhanced Time Series Forecasting
Linköping University(林雪平大学);Techno International New Town
QCAAPatchTF将量子-经典混合自注意力机制集成到基于patch的transformer编码器中,通过量子原理降低计算复杂度并增强多变量相关性,在时间序列预测、分类和异常检测任务上实现了最先进的准确性和效率。
2025-03-31 cs.LG
Artificial Intelligence-Based Multiscale Temporal Modeling for Anomaly Detection in Cloud Services
University of Southern California(南加州大学);Carnegie Mellon University(卡内基梅隆大学);Northeastern University(东北大学);Rice University(莱斯大学);Trine University(特里恩大学)
针对云服务异常检测中时间建模和尺度感知特征表示的局限性,提出集成多尺度特征感知的Transformer架构方法,通过改进Transformer模块、多尺度特征构建与融合,在关键指标上优于基线模型且鲁棒性强。
2025-08-25 cs.LG
FirstDiff: One-Step Diffusion-Based Anomaly Detection for Multivariate Time Series via Initial Noise Prediction
FirstDiff是一种基于初始噪声预测的单步扩散异常检测框架,采用Diffusion Transformer作为骨干,仅需一次去噪网络评估即可在五个基准数据集上实现最优多变量时间序列异常检测性能。
2026-08-18 cs.AI cs.LG stat.ML