Early Failure Prediction from Near-Anomaly Detection: A Proactive Approach
Schaeffler(舍弗勒);LAAS-CNRS(法国国家科学研究中心自动化与系统分析实验室);University of Toulouse(图卢兹大学);INSA(法国国立应用科学学院);CNRS(法国国家科学研究中心)
该研究提出CANARI无监督方法,利用克里斯托费尔函数检测近异常,在印刷电路板工业测试数据上验证,性能优于双阈值基线,可主动预测故障,助力弹性维护与质量控制。
2026-08-04 cs.LG stat.ML
PIDForest: Anomaly Detection via Partial Identification
VMware Research(威睿研究院);Stanford University(斯坦福大学)
我们考虑在一个大的数据集中检测异常的问题。我们提出了一个框架,称为部分识别捕捉的直觉,异常是很容易区分的绝大多数点相对较少的属性值。形式化这种直觉,我们提出了一个点,我们称之为PIDScore,它测量的数据点的最小密度在所有包含该点的子立方体的几何异常措施。我们提出PIDForest:一个基于随机森林的算法,发现基于此定义的异常。我们表明,它表现良好的几个流行的异常检测方法相比,在广泛的基准。PIDForest还通过提供一组在数据集中相对不常见的特征和范围,为为什么一个点被标记为异常提供了一个简洁的解释。
2019-12-08 cs.LG stat.ML
Anomaly Detection Approach to Identify Early Cases in a Pandemic using Chest X-rays
Toronto Rehabilitation Institute, University Health Network(多伦多康复研究所,大学健康网络);University of Toronto(多伦多大学);University of Manitoba(曼尼托巴大学)
当前的COVID-19大流行正在得到控制,尽管代价是超过230万人的生命。任何大流行的一个关键阶段是早期发现病例,以制定预防性治疗和战略。在COVID-19的情况下,几项研究表明,感染患者的胸部X线摄影图像显示出特征性异常。然而,在特定流行病(如COVID-19)开始时,可能没有足够的受影响病例数据来训练模型进行稳健检测。因此,监督分类不适合解决这个问题,因为从感染者那里收集大量数据所花费的时间可能导致人的生命损失和预防干预措施的延误。因此,我们将识别大流行中的早期病例的问题公式化为异常检测问题,其中健康患者的数据丰富可用,而感兴趣的类别(在我们的情况下为COVID-19)没有训练数据。为了解决这个问题,我们提出了几种无监督的深度学习方法,包括卷积和对抗训练的自动编码器。我们在一个公开的数据集(COVIDx)上测试了两个设置,通过对来自(i)仅健康成年人和(ii)健康和其他非COVID-19肺炎的胸部X光片训练模型,并将COVID-19检测为异常。在进行3倍交叉验证后,我们获得了0.765的ROC-AUC。这些结果非常令人鼓舞,并为确保未来流行病的应急准备铺平了道路,特别是那些可以通过胸部X光检测到的流行病
2021-04-13 cs.CV cs.LG eess.IV
Forecasting Anomaly Precursors via Uncertainty-Aware Time-Series Ensembles
Department of Industrial & Management Engineering, Korea University(韩国大学工业与管理工程系);Department of Industrial Engineering, Seoul National University(首尔国立大学工业工程系);LG CNS
FATE通过不确定性感知的时间序列集成方法,有效检测异常前兆,无需异常标签,在多个数据集上取得显著提升。
2026-02-19 cs.AI cs.LG
PISCES: Physics-Informed Solar-wind Convolutional autoEncoder for Space-weather Anomaly Detection and Early Warning
UCLA(加州大学洛杉矶分校);University of Colorado(科罗拉多大学);NASA Jet Propulsion Laboratory(美国国家航空航天局喷气推进实验室)
PISCES是一种物理信息卷积自编码器,在无标签的OMNI太阳风数据上训练,通过分解异常分数并利用物理约束,实现L1点太阳风瞬变的早期检测与预警,可提前于急始事件。
2026-09-24 astro-ph.SR cs.AI cs.LG
Benchmarking Deep Learning Models for Anomaly Detection in Real-World Cloud Telemetry
Indian Institute of Technology Delhi(德里印度理工学院)
该研究针对真实云遥测异常检测,以IBM Cloud Console数据集开展基准测试,评估GRU、Transformer等模型,发现TimesNet表现最优,且强调时序感知评估与鲁棒后处理的重要性。
2026-10-14 cs.DC cs.LG
A Data Mining-Based Dynamical Anomaly Detection Method for Integrating with an Advance Metering System
Alliance Business School, Alliance University(联合大学联合商学院)
本文提出一种集成Light Gradient Boosting Machine与带动态阈值自编码器的动态异常检测系统,利用Mahalanobis距离和移动平均适应数据分布变化,实现电表级实时异常检测与早期预警。
2024-05-04 cs.LG
A Real-time Anomaly Detection Using Convolutional Autoencoder with Dynamic Threshold
针对智能计量能耗数据中的异常影响序列估计的问题,提出结合统计学与带动态阈值卷积自编码器的实时表计级检测方法,实现异常早期预警。
2024-04-05 cs.AI cs.LG
GNN-based Anomaly Detection for Encoded Network Traffic
German Research Center for Artificial Intelligence(德国人工智能研究中心)
本报告提出利用从网络流数据包中提取的信息增强特征及特征编码,提升图神经网络在编码网络流量异常检测中的性能。
2024-05-22 cs.CR cs.LG cs.SI
Real-Time Proactive Anomaly Detection via Forward and Backward Forecast Modeling
California State University, Northridge(加州州立大学北岭分校)
本文提出前向预测模型和后向重建模型,通过结合TCNs、GRUs和Transformer实现主动异常检测,提升异常预测的及时性和准确性。
2026-02-12 cs.LG
Transformer-based normative modelling for anomaly detection of early schizophrenia
King’s College London(伦敦国王学院);Birkbeck College, London(伦敦大学伯贝克学院);National Institute of Mental Health(国家精神卫生研究所);Universidade Federal do ABC(ABC联邦大学)
尽管精神疾病对临床健康的影响,早期诊断仍然是一个挑战。机器学习研究表明,分类器在诊断预测任务中往往过于狭窄。条件之间的重叠导致参与者之间的高度异质性,这不能被分类模型充分捕获。为了解决这一问题,规范性方法作为一种替代方法应运而生。通过使用生成模型来学习健康大脑数据模式的分布,我们可以将病理的存在识别为模型学习的分布的偏差或离群值。特别是,深度生成模型作为识别大脑神经病变的规范模型显示出很好的结果。然而,与大多数神经系统病变不同,精神疾病在几个大脑区域广泛存在细微变化,使这些变化难以识别。在这项工作中,我们评估了基于transformer的规范模型的性能,以检测青少年和年轻人表达的微妙的大脑变化。我们在神经典型个体(N= 1,765)的3D MRI扫描上训练了我们的模型。然后,我们从人类连接组计划的独立数据集(N=93)中获得了神经型对照和精神病患者早期精神分裂症的可能性。使用扫描的预测可能性作为标准评分的代表,我们在评估对照组和早期精神分裂症患者之间的差异时获得了0.82的AUROC。我们的方法超越了最近基于大脑年龄和高斯过程的规范方法,显示了深度生成模型在个性化分析中的应用前景。
2022-12-08 cs.AI cs.LG
E-commerce Anomaly Detection: A Bayesian Semi-Supervised Tensor Decomposition Approach using Natural Gradients
India ML - Amazon.com(亚马逊印度机器学习部门);Microsoft(微软)
异常检测有几个重要的应用。在本文中,我们的重点是使用张量分解检测异常的卖方审查数据。虽然张量分解大多是无监督的,但我们制定了贝叶斯半监督张量分解,以利用稀疏标记数据。此外,我们使用Polya-Gamma数据增强的半监督贝叶斯张量分解。最后,我们证明了Pólya-Gamma公式简化了部分自然梯度学习的Fisher信息矩阵的计算。我们的实验结果表明,我们的半监督方法优于最先进的无监督基线。部分自然梯度学习优于随机梯度学习和Online-EM,具有充分的统计量。
2018-05-29 cs.LG stat.ML
Towards a Trustworthy Anomaly Detection for Critical Applications through Approximated Partial AUC Loss
University of Namur(那慕尔大学);Faculty of Computer Science(计算机科学学院)
提出动态可信近似部分AUC ROC损失方法tapAUC,优化特定AUC范围以最小化FPR并避免假阴性,在6个数据集上实现TPR 92.52%、FPR 20.43%,较现有方法TPR提升4.3%。
2025-04-01 cs.CV cs.LG
SPADE: Semi-supervised Anomaly Detection under Distribution Mismatch
Google Cloud AI(谷歌云人工智能)
半监督异常检测是一个常见的问题,因为包含异常的数据集通常是部分标记的。我们提出了一个规范的框架:半监督的伪标签异常检测与集成(SPADE),它不受标记和未标记数据来自相同分布的假设的限制。事实上,在许多应用中,这一假设经常被违反-例如,标记数据可能只包含与未标记数据不同的异常,或者未标记数据可能包含不同类型的异常,或者标记数据可能只包含“易于标记”的样本。SPADE利用一类分类器的集成作为伪标记器,以提高伪标记对分布失配的鲁棒性。提出了部分匹配方法,在没有验证数据的情况下自动选择伪标记的关键超参数,这对于有限的标记数据至关重要。SPADE在表格和图像域中具有分布不匹配的各种场景中显示了最先进的半监督异常检测性能。在一些常见的现实环境中,例如面对新类型的未标记异常的模型,SPADE的平均性能优于最先进的替代品5%的AUC。
2022-11-30 cs.LG
A FEDformer-Based Hybrid Framework for Anomaly Detection and Risk Forecasting in Financial Time Series
Yunnan Agricultural University(云南农业大学);New York University(纽约大学);Carnegie Mellon University(卡内基梅隆大学)
针对传统深度学习模型难以捕捉非平稳金融数据长期依赖与周期模式的问题,提出集成FEDformer、残差异常检测器与风险预测头的混合框架,在多类金融数据集上取得更优的异常检测与风险预测效果。
2025-11-17 cs.LG
Towards the Development of Entropy-Based Anomaly Detection in an Astrophysics Simulation
Oak Ridge National Laboratory(橡树岭国家实验室)
将AI和ML用于科学应用目前是一个非常令人兴奋和充满活力的领域。HPC的大部分兴奋点都集中在ML应用程序上,这些应用程序的分析和分类会产生大量的失败。其他人则试图用数据驱动的代理模型取代科学模拟。但另一个重要的用例是ML的组合应用,以提高模拟精度。为此,我们提出了一个异常的问题,这是从核心坍缩超新星模拟。我们讨论了将机器学习中的异常检测技术应用于科学模拟的策略和早期成功,以及当前的挑战和未来的可能性。
2020-09-05 cs.LG physics.comp-ph
Smart Sensing for Safer Bridges: From Sensor Signals to AI-Driven Anomaly Detection
Smart Sensor Systems AS(智能传感器系统公司)
本文利用信号处理与孤立森林机器学习模型对挪威桥梁传感器数据进行异常检测,通过多种指标评估并验证了机器学习方法的有效性。
2026-10-05 cs.LG
PatchTrAD: A Patch-Based Transformer focusing on Patch-Wise Reconstruction Error for Time Series Anomaly Detection
INSA Rouen(鲁昂国立应用科学学院);Univ Rouen(鲁昂大学);Normandie Univ(诺曼底大学)
本文提出PatchTrAD,一种在重构框架下结合分块与Transformer编码器的时间序列异常检测模型,在多个基准上达到与前沿深度学习模型相当的检测性能,并提升推理效率。
2025-06-10 cs.AI cs.LG
Anomaly Detection in Cloud Components
Ryerson University(瑞尔森大学)
云平台,在引擎盖下,由硬件和软件组件的复杂互连堆栈组成。这些组件中的每一个都可能发生故障,这可能导致停机。我们的目标是通过分析资源利用率指标来早期检测此类故障,从而提高云服务的质量。我们测试了基于Gated-Recurrent-Unit的自动编码器,使用似然函数检测各种多维时间序列中的异常,并实现了高性能。
2020-08-07 cs.DC cs.LG cs.SE
AnomalyExplainer Explainable AI for LLM-based anomaly detection using BERTViz and Captum
University of Oulu(奥卢大学)
本研究针对基于LLM的网络安全异常检测存在的信任不足问题,提出结合BERTViz、Captum可视化工具与注意力自然语言报告的AnomalyExplainer框架,在HDFS数据集上RoBERTa准确率达99.6%,可提升异常检测可解释性与网络安全工作效率。
2025-08-26 cs.LG
Multi-Stage Fault Warning for Large Electric Grids Using Anomaly Detection and Machine Learning
University of Michigan(密歇根大学);Rochester Institute of Technology(罗切斯特理工学院)
在复杂电网的监测中,为运营商提供网络上检测到的异常的早期警告以及特定故障类型的精确分类和诊断是至关重要的。在本文中,我们提出了一种新的多阶段预警系统原型的电网故障检测,分类,子组发现,和可视化。在第一阶段,基于四分位数的计算高效的异常检测方法实时的检测故障的存在。在第二阶段,故障被归类为九个预定义的灾难场景之一。时间序列数据首先映射到高度歧视性的功能,通过应用基于时间自相关的降维。然后通过三种分类技术之一映射特征:支持向量机、随机森林和人工神经网络。最后在第三阶段,基于动态时间规整的类内聚类用于更细粒度的故障特征。在Bonneville电力局电网数据上的结果表明:i)所提出的异常检测器既快速又准确; ii)降维导致分类精度和速度的显著提高; iii)随机森林方法提供最准确、一致和鲁棒的故障分类;以及iv)给定类别内的时间序列自然地分成五个不同的簇,其紧密对应于电网总线的地理分布。
2019-03-15 cs.LG stat.ML
Anomaly Detection in Predictive Maintenance: A New Evaluation Framework for Temporal Unsupervised Anomaly Detection Algorithms
University of Granada(格拉纳达大学);ArcelorMittal Global R&D(安赛乐米塔尔全球研发中心)
异常检测的研究缺乏一个统一的定义,什么代表一个异常的实例。异常本身性质的离散性导致算法设计和实验的多种范式。预测性维护是一种特殊情况,其中异常表示必须防止的故障。相关的时间序列研究,如离群值和新颖性检测或时间序列分类不适用于这一领域的异常概念,因为它们不是以前没有见过的单一点,可能无法精确注释。此外,由于缺乏注释的异常数据,许多基准是从监督的情况下改编的。为了解决这些问题,我们概括的概念,积极和消极的情况下,以间隔能够评估无监督的异常检测算法。我们还保留了不平衡计划的评估,通过建议的前窗ROC,一个概括的ROC曲线的计算时间序列的情况。我们还适应机制,从一个既定的时间序列异常检测基准建议的概括,以奖励早期检测。因此,该提案为不同的设想方案提供了一个灵活的评价框架。为了证明这个定义的有用性,我们包括了一个由ArcelorMittal公司提供的大数据算法与现实世界时间序列问题的案例研究,并将该建议与评估方法进行了比较。
2021-09-02 cs.LG
Deep Spatio-temporal Sparse Decomposition for Trend Prediction and Anomaly Detection in Cardiac Electrical Conduction
Arizona State University(亚利桑那州立大学);Texas Tech University(得克萨斯理工大学)
心脏组织之间的电传导通常用偏微分方程建模,即,反应-扩散方程,其中反应项描述细胞刺激,扩散项描述电传播。在这种非线性动态系统中检测和识别产生异常电脉冲的心脏细胞对于有效的治疗和规划是重要的。为了建立非线性动力学模型,仿真已被广泛用于心脏研究和临床研究,以研究心脏疾病的机制和开发新的治疗设计。然而,现有的心脏模型具有很大的复杂性,并且仿真通常是耗时的。我们提出了一种深度时空稀疏分解(DSTSD)方法,以利用深度时空模型绕过耗时的心脏偏微分方程,并检测异常的时间和位置(即,功能障碍的心脏细胞)。这种方法是从Courtemanche-Ramirez-Nattel(CRN)模型生成的数据集进行验证的,CRN模型广泛用于模拟跨神经元膜跨膜电位的传播。建议的DSTSD达到最好的时空平均趋势预测和异常检测的准确性。
2021-09-20 cs.AI cs.LG eess.SP
Attention Boosted Autoencoder for Building Energy Anomaly Detection
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
利用建筑物中智能电表收集的数据可以帮助制定节能政策。如果及早发现建筑物运行条件的偏差,并采取适当措施,可以实现显著的节能。为此,可以使用机器学习技术来自动发现所收集的数据中的这些异常模式。当前的异常检测方法依赖于底层模型来捕获通常或可接受的操作行为。在本文中,我们提出了一种新型的注意力机制来对建筑物的消费行为进行建模,并使用示例案例研究来证明该模型在捕捉关系方面的有效性。一个真实世界的数据集建模使用所提出的架构,并给出了结果。还提出了一种可视化的方法来理解所捕获的模型的关系。
2023-03-28 cs.AI cs.LG
Online anomaly detection using statistical leverage for streaming business process events
Ulsan National Institute of Science and Technology (UNIST)(蔚山国家科学技术研究所)
虽然最近在文献中出现了几种用于在离线设置中检测事件日志中的跟踪级异常的技术,但目前缺乏在线设置的这种技术。在线设置中的事件日志异常检测对于发现流程执行中的异常至关重要,一旦异常发生,就可以立即采取早期纠正措施。本文介绍了一种新的方法,事件日志异常检测的事件流,使用统计杠杆。杠杆作用已被广泛用于统计,以制定措施,以确定离群值,它已在本文中的事件流数据的特定场景。所提出的方法已在人工和真实事件流上进行了评估。
2021-03-01 cs.LG stat.CO
Incorporating Privileged Information to Unsupervised Anomaly Detection
Carnegie Mellon University(卡内基梅隆大学)
我们引入了一个新的无监督的异常检测集成称为SPI,它可以利用特权信息-数据仅适用于训练样本,但不适用于(未来)测试的例子。我们的想法建立在Vapnik等人开创的使用标记信息的学习(LUPI)范式上。[19,17],我们将其扩展到无监督学习,特别是异常检测。SPI(用于利用标记信息发现异常)构造多个知识帧/片段(即,密度估计),并通过仅使用可用于测试示例的部分信息的“模仿”函数将它们转移到异常评分空间。我们将LUPI范式推广到无监督异常检测,在几个关键方向上引导了该领域,包括(i)使用专家注释作为PI的领域知识增强检测,(ii)使用计算要求高的数据作为PI的快速检测,以及(iii)使用“历史未来”数据作为PI的早期检测。通过对模拟数据集和真实数据集的大量实验,我们证明了将特权信息扩展到异常检测可以显着提高检测性能。我们还展示了SPI在所有三种设置(i-iii)下的承诺; PI捕获专家知识,计算昂贵的功能,以及三个现实世界检测任务的未来数据。
2018-05-24 cs.LG stat.ML
On Accurate and Reliable Anomaly Detection for Gas Turbine Combustors: A Deep Learning Approach
General Electric Global Research Center(通用电气全球研究中心);General Electric Power & Water Engineering(通用电气电力与水务工程部门)
监测燃气轮机燃烧室的健康状况,特别是早期检测异常行为和早期故障,对于确保燃气轮机有效运行和防止昂贵的计划外维护至关重要。检测燃烧室异常的一种常用方法是通过连续监测排气温度分布。多年来,许多异常检测技术已被探索用于检测燃烧室故障,然而,现场的异常检测解决方案的性能(检测率)仍然是不够的。非常需要能够提高检测性能的先进技术。为了提高异常检测性能,将机器学习中的深度学习引入燃烧室异常检测应用中。具体而言,我们使用深度学习来分层学习来自废气温度的传感器测量的特征。然后,我们使用学习的功能作为输入到一个神经网络分类器进行燃烧室异常检测。由于这种深度学习的特征可能比手工特征更好地捕捉所有传感器测量值和底层燃烧器行为之间的复杂关系,因此我们期望学习的特征可以导致更准确和鲁棒的异常检测。使用从实际燃气轮机燃烧系统收集的数据,我们证明了所提出的基于深度学习的异常检测确实显著提高了燃烧室异常检测性能。
2019-08-25 cs.LG stat.ML
Anomaly Detection Based on Indicators Aggregation
Snecma, Safran Group(斯奈克玛公司,赛峰集团);Université Paris 1(巴黎第一大学)
自动异常检测是各个领域的主要问题。除了检测之外,确定产生异常的问题的根源也是至关重要的。这在飞机发动机健康监测中尤其如此,在这种情况下,检测故障(异常)的早期迹象并帮助发动机所有者有效地实施适应的维护操作(修复异常的来源)对于降低与不定期维护相关的成本至关重要。本文介绍了一种通用的方法,旨在将监测信号分为正常的和几类异常的。其主要思想是通过生成大量的二进制指标来利用专家知识。每个指标对应于一个完全参数化的异常检测器,由专家设计的参数异常分数构建。特征选择方法用于仅保留在朴素贝叶斯分类器的输入处使用的最具判别力的指标。这给出了一个基于可解释异常检测器的可解释分类器,其参数已通过选择过程间接优化。所提出的方法进行评估,旨在重现一些在现实世界中观察到的发动机异常类型的模拟数据。
2014-09-16 cs.LG stat.ML
Plug-and-Play Anomaly Detection with Expectation Maximization Filtering
KAIST(韩国科学技术院)
人群中的异常检测能够实现早期救援响应。用于人群监控的即插即用智能摄像机具有与典型异常检测不同的许多约束:训练数据不能迭代使用;没有训练标签;并且训练和分类需要同时执行。我们在本文中解决所有这些限制与我们的方法。我们提出了一个核心异常检测(CAD)神经网络,学习场景中的对象的运动行为与无监督的方法。在标准数据集上平均,与卷积自动编码器和基于卷积LSTM的方法的最佳结果相比,具有单个训练时期的CAD显示曲线下面积(AUC)分别增加了4.66%和4.9%。通过单次训练,与基于卷积LSTM的方法相比,我们的方法将AUC提高了8.03%。我们还提出了一个期望最大化过滤器,选择样本训练的核心异常检测网络。当对视频流进行人群异常检测时,与基于未来帧预测的方法相比,整体框架将AUC提高了24.87%。我们相信我们的工作是使用深度学习方法与自主即插即用智能摄像头进行人群异常检测的第一步。
2020-06-16 cs.CV cs.LG
SC-JEPA: Stabilizing Latent Predictive Learning for Time-Series Anomaly Prediction
Purdue University(普渡大学);Rensselaer Polytechnic Institute(拉特格斯理工学院);Stony Brook University(石溪大学)
MTS-JEPA通过多分辨率预测目标和软代码本瓶颈,解决时间序列异常预测中的表示崩溃和多时间尺度信号捕捉问题,实现先进性能。
2026-07-20 cs.LG
HyPV-LEAD: Proactive Early-Warning of Cryptocurrency Anomalies through Data-Driven Structural-Temporal Modeling
Department of Business Administration(商业管理系);Kumoh National Institute of Technology(Kumoh国立技术学院);Ewha Womans University(成均馆大学);Ewha Womans University, Coretrustlink(成均馆大学,Coretrustlink)
针对加密货币异常交易难检测、现有方法多为事后检测的问题,提出整合窗口-地平线建模、峰谷采样和双曲嵌入的HyPV-LEAD主动预警框架,在比特币数据上PR-AUC达0.9624,为区块链风险管理等提供支撑。
2025-09-03 cs.AI cs.LG q-fin.RM
Segmentation over Complexity: Evaluating Ensemble and Hybrid Approaches for Anomaly Detection in Industrial Time Series
在这项研究中,我们研究了先进的特征工程和混合模型架构的有效性异常检测在一个多变量的工业时间序列,专注于汽轮机系统。我们评估了变化点派生的统计特征,基于聚类的子结构表示,和混合学习策略对检测性能的影响。尽管它们在理论上很有吸引力,但与在分割数据上训练的简单随机森林+ XGBoost集成相比,这些复杂的方法始终表现不佳。总体实现了0.976的AUC-ROC,0.41的F1评分,以及在定义的时间窗内100%的早期检测。我们的研究结果强调,在具有高度不平衡和时间不确定数据的情况下,模型简单性与优化分割相结合可以胜过更复杂的架构,提供更高的鲁棒性,可解释性和操作实用性。
2025-10-30 cs.AI cs.LG
Multivariate Time Series Anomaly Detection using DiffGAN Model
College of Science, University of Shanghai for Science and Technology(上海理工大学理学院)
针对扩散模型中不同扩散步数影响多元时间序列异常检测效果的问题,本文提出DiffGAN方法,通过在去噪器中引入生成对抗网络同时生成噪声数据并预测扩散步数,实验表明其异常检测性能优于多个最先进的重建模型。
2025-01-03 cs.LG math.ST stat.TH
Cluster-Aware Causal Mixer for Online Anomaly Detection in Multivariate Time Series
University of California, Berkeley(加州大学伯克利分校)
本文提出了一种基于聚类的因果混合器,用于多变量时间序列的在线异常检测,通过聚类处理通道间的相关性,结合因果混合器保持时间因果性,并开发了序列异常评分方法以提高检测准确性。
2026-06-04 cs.LG stat.ML
ReRe: A Lightweight Real-time Ready-to-Go Anomaly Detection Approach for Time Series
Norwegian University of Science and Technology(挪威科技大学);Simula Research Laboratory(西穆拉研究实验室)
异常检测是入侵检测、网络监控、系统健康监控、物联网医疗等领域的一个活跃的研究课题。然而,许多现有的异常检测方法需要人工干预或领域知识,并且可能具有较高的计算复杂度,从而阻碍了它们在现实世界场景中的适用性。因此,能够实时的【形】检测异常的轻量级和随时可用的方法是非常受欢迎的。这种方法可以很容易地和立即应用到任何商品机器上执行时间序列异常检测。这种方法可以及时提供异常警报,从而能够尽早采取适当的对策。考虑到这些目标,本文介绍了ReRe,这是一个实时的【形】准备去主动异常检测算法的流时间序列。ReRe采用两个轻量级的长短期记忆(LSTM)模型,基于短期历史数据点和两个长期自适应阈值来预测和联合确定即将到来的数据点是否异常。基于真实时间序列数据集的实验表明,ReRe算法在不需要人工干预或领域知识的情况下,具有良好的实时的【形】异常检测性能.
2022-12-04 cs.LG stat.ML
PANDA: Adapting Pretrained Features for Anomaly Detection and Segmentation
Cranberry-Lemon University(蔓越莓柠檬大学);University of the Witwatersrand(金山大学)
异常检测方法需要高质量的特征。近年来,异常检测社区试图利用深度自监督特征学习的进步来获得更好的特征。令人惊讶的是,一个非常有前途的方向,使用预先训练的深度特征,大多被忽视了。在本文中,我们首先根据经验建立了可能预期但未报告的结果,即将预训练的特征与简单的异常检测和分割方法相结合,令人信服地优于更复杂的最先进的方法。为了在异常检测中获得进一步的性能增益,我们将预训练的特征适应目标分布。虽然迁移学习方法在多类分类问题中得到了很好的应用,但单类分类(OCC)设置还没有得到很好的探索。事实证明,通常在监督学习中工作良好的朴素自适应方法通常会导致灾难性崩溃(特征退化)并降低OCC设置中的性能。流行的OCC方法DeepSVDD提倡使用专门的架构,但这限制了自适应性能的提高。我们提出了两种对抗崩溃的方法:i)早期停止的变体,它动态地学习停止迭代ii)受持续学习启发的弹性正则化。我们的方法PANDA在OCC、离群值暴露和异常分割设置中的表现优于最先进的方法。
2021-08-12 cs.CV cs.LG
Learning Invariant Rules from Data for Interpretable Anomaly Detection
Siemens AG(西门子股份公司);Tsinghua University(清华大学)
在异常检测的研究领域中,经常开发新颖且有前途的方法。然而,大多数现有的研究只专注于检测任务,忽略了底层模型的可解释性以及它们的检测结果。然而,异常解释,其目的是提供为什么特定的数据实例被识别为异常的解释,是在许多现实世界的应用中同样重要的任务。在这项工作中,我们提出了一个新的框架,协同几个机器学习和数据采掘技术,自动学习不变的规则,在给定的数据集中始终满足。学习的不变规则可以在推理阶段提供异常检测结果的明确解释,因此对于后续的异常报告决策非常有用。此外,我们的实证评估表明,所提出的方法也可以实现相当的,甚至更好的性能方面的AUC和部分AUC的公共基准数据集在各个应用领域相比,最先进的异常检测模型。
2023-01-13 cs.AI cs.LG
Data-driven Thermal Anomaly Detection for Batteries using Unsupervised Shape Clustering
Gotion Inc(国轩高科股份有限公司)
对于电动汽车(EV)和储能(ES)电池来说,热失控是一个关键问题,因为它可能导致无法控制的火灾甚至爆炸。热异常检测可以识别可能最终经历热失控的有问题的电池组。但是,存在一些常见的挑战,如数据不可用、环境和配置变化以及电池老化。我们提出了一种数据驱动的方法来检测电池的热异常的基础上比较热测量之间的形状相似性。基于它们的形状,测量值不断被分组到不同的集群中。异常是通过监视集群内的偏差来检测的。与基于模型或其他数据驱动的方法不同,所提出的方法对数据丢失具有鲁棒性,并且对于不同的包配置需要最少的参考数据。初步实验结果表明,该方法不仅比机载BMS更准确,而且可以在早期阶段检测到不可预见的异常。
2021-05-19 cs.AI cs.LG cs.SY
Log-based Anomaly Detection with Deep Learning: How Far Are We?
The University of Newcastle(纽卡斯尔大学)
软件密集型系统生成日志用于故障排除目的。最近,已经提出了许多深度学习模型来基于日志数据自动检测系统异常。这些模型通常要求非常高的检测精度。例如,大多数模型在常用的HDFS数据集上报告的F测量值大于0.9。为了深刻理解我们距离解决基于日志的异常检测问题还有多远,本文深入分析了五种最先进的基于深度学习的模型,用于在四个公共日志数据集上检测系统异常。我们的实验集中在几个方面的模型评估,包括训练数据选择,数据分组,类分布,数据噪声,早期检测能力。我们的研究结果指出,所有这些方面的评价有显着的影响,并不是所有的研究模型都能很好地工作。基于日志的异常检测问题尚未得到解决。根据我们的研究结果,我们还提出了未来可能的工作。
2022-02-15 cs.LG cs.SE
RePAD: Real-time Proactive Anomaly Detection for Time Series
Norwegian University of Science and Technology(挪威科技大学);Simula Research Laboratory(Simula研究实验室)
在过去的十年中,许多异常检测方法已被引入到不同的领域,如网络监控,欺诈检测和入侵检测。然而,它们需要理解数据模式,并且通常需要很长的离线时间来为目标数据构建模型或网络。在没有人工干预和领域知识的情况下为流式时间序列提供实时的和主动的异常检测是非常有价值的,因为它大大减少了人工努力,并且使得能够在灾难性损坏、故障或其他有害事件发生之前采取适当的对策。然而,这一问题尚未得到很好的研究。为了解决这个问题,本文提出了RePAD,这是一种基于长短期记忆(LSTM)的流时间序列实时的主动异常检测算法。RePAD利用短期历史数据点来预测和确定即将到来的数据点是否是异常可能在不久的将来发生的迹象。通过随时间动态调整检测阈值,RePAD能够容忍时间序列中的微小模式变化,并主动或及时检测异常。基于从Numenta Anomaly Benchmark收集的两个时间序列数据集的实验表明,RePAD能够主动检测异常并在没有人为干预和领域知识的情况下实时的提供早期预警。
2023-01-09 cs.LG stat.ML
Anomaly Detection in Beehives using Deep Recurrent Autoencoders
University of Würzburg(维尔茨堡大学)
精确养蜂可以通过在蜂箱上安装传感器来监测蜜蜂的生活条件。这些蜂箱记录的数据可以通过机器学习模型进行分析,以学习蜂群的行为模式或搜索蜂群中的异常事件。一个典型的目标是早期发现蜜蜂群集,因为养蜂人出于经济原因希望避免这种情况。先进的方法应该能够检测出蜜蜂疾病或技术原因(如传感器故障)引起的任何其他不寻常或异常行为。在这份立场文件中,我们提出了一个自动编码器,一个深度学习模型,它可以检测数据中任何类型的异常,而不依赖于其来源。我们的模型能够揭示与简单的基于规则的群检测算法相同的群,但也可以由任何其他异常触发。我们在真实世界的数据集上评估了我们的模型,这些数据集是在不同的蜂巢和不同的传感器设置上收集的。
2020-03-10 cs.LG eess.SP stat.ML
A Survey on Anomaly Detection for Technical Systems using LSTM Networks
University of Stuttgart(斯图加特大学)
异常表示与预期系统操作的偏差,并可能导致效率降低以及部分或全部系统故障。由于复杂的系统动力学,异常的原因往往是未知的,有效的异常检测是必要的。传统的检测方法依赖于统计和时不变的方法,无法解决异常的复杂性和动态性。随着人工智能的进步以及在各个领域中异常检测和预防的重要性的增加,人工神经网络方法使得能够在考虑时间和上下文特征的同时检测更复杂的异常类型。在这篇文章中,对使用深度神经网络,特别是长短期记忆网络的最新异常检测进行了调查。基于应用场景,数据和异常类型以及进一步的度量标准对所研究的方法进行评估。为了突出即将到来的异常检测技术的潜力,调查中还包括基于图和迁移学习方法,这些方法可以分析异构数据,弥补其不足并改善动态过程的处理。
2021-05-28 cs.AI cs.LG stat.ML
Multi-Perspective Anomaly Detection
Fraunhofer Institute for Physical Measurement Techniques IPM(弗劳恩霍夫物理测量技术研究所IPM);University of Freiburg(弗莱堡大学)
异常检测是制造业中的一个关键问题。在许多应用中,从多个角度捕获待分析对象的图像,可以利用这些图像来提高异常检测的鲁棒性。在这项工作中,我们建立在深度支持向量数据描述算法的基础上,并使用三种不同的融合技术来解决多视角异常检测问题,即,早期融合、晚期融合和具有多个解码器的晚期融合。我们采用不同的增强技术与去噪过程来处理稀缺的一类数据,这进一步提高了性能(ROC AUC $= 80\%$)。此外,我们还介绍了骰子数据集,该数据集由来自多个视角的超过2000个下降骰子的灰度图像组成,其中5%的图像包含罕见的异常(例如,钻孔、锯切或划痕)。我们使用来自两个不同角度的图像在新的骰子数据集上评估我们的方法,并在标准MNIST数据集上进行基准测试。大量的实验表明,我们提出的{多视角}方法超过了最先进的{单视角异常检测MNIST和骰子数据集}。据我们所知,这是第一个工作,专注于解决多角度异常检测图像,共同使用不同的角度与一个单一的目标函数异常检测。
2021-08-09 cs.AI cs.CV cs.LG
Anomaly detection and classification for streaming data using PDEs
McGill University(麦吉尔大学);University of Minnesota(明尼苏达大学)
非支配排序,也被称为Pareto深度分析(PDA),被广泛用于多目标优化,最近发现在多准则异常检测的重要应用。最近,一个偏微分方程(PDE)连续极限被发现的非支配排序导致一个非常快速的近似排序算法,称为偏微分方程为基础的排名。在本文中,我们提出了一个快速的实时流版本的PDA算法的异常检测,利用PDE连续极限的计算优势。此外,我们推导出新的PDE连续极限排序点内的非支配层,并显示如何新的PDE可以用来分类异常的基础上,该标准更显着违反。我们还证明了基于偏微分方程的排名的统计收敛速度,并提出了合成和真实数据的数值实验结果。
2017-03-15 cs.CV cs.DB cs.LG
Enhancing Functional Safety in Automotive AMS Circuits through Unsupervised Machine Learning
University of Texas at Dallas(德克萨斯大学达拉斯分校);Intel Corporation(英特尔公司);NXP Semiconductors(恩智浦半导体);Texas Instruments(德州仪器)
本文提出一种基于无监督机器学习的汽车 AMS 电路早期异常检测框架,通过多层级异常注入、特征提取、聚类和时间序列建模,实现了 100% 检测准确率并将延迟优化 5 倍。
2024-04-02 cs.LG cs.SY eess.SY
Discovering Emerging Topics in Social Streams via Link Anomaly Detection
Institute of Industrial Science(产业技术研究所);The University of Tokyo(东京大学)
由于社交网络的快速增长,对新兴主题的检测现在重新受到关注。传统的基于词频的方法在这种情况下可能不合适,因为交换的信息不仅是文本,而且是图像、URL和视频。我们专注于这些网络的社会方面。也就是说,用户之间的链接是通过回复、提及和转发有意或无意地动态生成的。我们提出了一个概率模型的社交网络用户的提及行为,并建议检测一个新的主题的出现,通过该模型测量的异常。我们提出的提及异常分数与最近提出的基于顺序贴现归一化极大似然(SDNML)的变点检测技术相结合,或与Kleinberg的突发模型。聚集数百名用户的异常分数,我们表明,我们可以检测到新兴的主题,仅基于社交网络帖子中的回复/提及关系。我们展示了我们的技术在一些真实的数据集,我们从Twitter收集。实验结果表明,所提出的基于提及异常的方法可以检测新的主题至少早于传统的基于词频的方法,有时更早,当关键字是不明确的。
2011-10-13 cs.LG cs.SI physics.soc-ph
Toward Deep Supervised Anomaly Detection: Reinforcement Learning from Partially Labeled Anomaly Data
Australian Institute for Machine Learning(澳大利亚机器学习研究所);The University of Adelaide(阿德莱德大学);Advanced Analytics Institute(高级分析研究所);University of Technology Sydney(悉尼科技大学)
我们考虑的问题的异常检测与一个小的部分标记的异常的例子和一个大规模的未标记的数据集。这是许多重要应用中的常见场景。现有的相关方法要么专门适合通常不跨越整个异常集的有限异常示例,要么从未标记的数据进行无监督学习。相反,我们在这里提出了一种基于深度强化学习的方法,该方法可以对标记和未标记异常的检测进行端到端的优化。该方法通过自动地与异常偏置的模拟环境交互来学习已知的异常,同时连续地将所学习的异常扩展到新的异常类别(即,未知的异常),通过主动探索未标记数据中可能的异常。这是通过联合优化小标记异常数据的利用和罕见的未标记异常的探索来实现的。在48个真实世界数据集上进行的广泛实验表明,我们的模型明显优于五种最先进的竞争方法。
2021-06-10 cs.AI cs.CR cs.CV
Meta-Learning Based Early Fault Detection for Rolling Bearings via Few-Shot Anomaly Detection
滚动轴承的早期故障检测可以识别出轴承健康状态的微小偏差,有助于提高机械系统的稳定性。在实际应用中,可用于EFD的目标方位数据非常有限,这使得EFD很难适应新方位的EFD任务。为了解决这个问题,许多基于迁移学习的EFD方法利用历史数据来学习可迁移的领域知识并对新目标轴承进行早期故障检测。然而,现有的大多数方法只考虑了不同工况下的分布漂移,而忽略了同一工况下轴承之间的差异,即单元间差异(Unit-to-Unit Variability,UtUV)。考虑UtUV的有限目标数据的EFD的设置可以用公式表示为Few-Shot异常检测任务。因此,本文提出了一种新的EFD方法的基础上元学习考虑UtUV。该方法可以学习一个基于关系网络(RN)的通用度量标准来衡量正常数据和新到达的目标方位数据之间的相似性。此外,该方法利用健康状态嵌入策略,以减少虚警。所提出的方法的性能进行了测试两个轴承数据集。实验结果表明,该方法能在较低虚警率的情况下较基线更早地检测出早期故障。
2023-02-28 cs.LG
Temporal Graph Neural Networks for Early Anomaly Detection and Performance Prediction via PV System Monitoring Data
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CEA(法国原子能和替代能源委员会);Univ. Savoie Mont Blanc(萨瓦大学);Khalifa University(哈利法大学);INSA Lyon(里昂国立应用科学学院);Université Claude Bernard Lyon 1(里昂第一大学克洛德·贝尔纳大学)
本文提出基于时间图神经网络的光伏系统异常检测与性能预测方法,利用环境和运行参数进行早期异常检测和输出功率预测。
2025-12-02 cs.LG physics.data-an
Early Anomaly-Onset Detection based on Wigner--Ville Distribution Slice Spectra: A Transmission-Grid Test Case
DOST–Advanced Science and Technology Institute(菲律宾科技先进研究院);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
提出基于Wigner-Ville分布切片谱的全向量方法,用于高压电网电压波形的序列异常起始检测,通过基线归一化偏差评分实现低虚警率。
2026-06-16 cs.LG eess.SP math.SP
FT-AED: Benchmark Dataset for Early Freeway Traffic Anomalous Event Detection
Institute for Software Integrated Systems(软件集成系统研究所);Vanderbilt University(范德堡大学)
该研究推出首个车道级高速公路异常检测基准数据集FT-AED,含370万条传感器数据及标注,通过基准测试发现无监督图神经网络自编码器可有效缩短事故上报延迟并提升检测率。
2024-06-24 cs.LG
Urban Anomaly Analytics: Description, Detection, and Prediction
Hong Kong University of Science and Technology(香港科技大学);University of Helsinki(赫尔辛基大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学);JD Finance(京东金融)
如果处理不当,城市异常现象可能导致生命或财产损失。在异常的早期阶段自动报警甚至在异常发生之前预测异常对于种群具有重要价值。近年来,数据驱动的城市异常分析框架正在形成,该框架利用城市大数据和机器学习算法来自动检测和预测城市异常。在本次调查中,我们对城市异常分析的最新研究进行了全面的回顾。首先,我们概述了四种主要类型的城市异常,交通异常,意外人群,环境异常,和个人异常。接下来,我们总结了从不同设备获得的各种类型的城市数据集,即,轨迹、行程记录、CDR、城市传感器、事件记录、环境数据、社交媒体和监控摄像头。随后,提出了一个全面的调查问题的检测和预测技术的城市异常。最后,讨论了研究的挑战和有待解决的问题.
2020-04-25 cs.LG cs.SI
Regularization-based Continual Learning for Anomaly Detection in Discrete Manufacturing
University of Stuttgart(斯图加特大学)
对离散制造过程中发生的异常进行早期和稳健的检测,使操作员能够防止伤害,例如生产机械或产品中的缺陷。虽然目前用于数据驱动异常检测的方法在它们所训练的确切过程上提供了良好的结果,但它们通常缺乏灵活适应变化的能力,例如在产品中。持续学习保证了这种灵活性,允许将以前学到的知识自动适应新的任务。因此,本文讨论了不同的持续学习方法从组的正则化策略,这是实现,评估和比较的基础上,一个真正的工业金属成形数据集。
2021-01-02 cs.AI cs.LG cs.NE
Acoustic Anomaly Detection for Machine Sounds based on Image Transfer Learning
LMU Munich(慕尼黑大学)
在工业应用中,早期检测故障工厂机械至关重要。在本文中,我们考虑通过迁移学习的声学故障检测。与目前大多数基于深度自动编码器的方法相反,我们建议使用在图像分类任务上进行预训练的神经网络来提取特征。然后,我们使用这些功能来训练各种异常检测模型,并表明,与噪声环境中四种不同工厂机器的记录中的卷积自动编码器相比,这改善了结果。此外,我们发现从基于ResNet的网络中提取的特征比从AlexNet和Squeezenet中提取的特征产生更好的结果。在我们的设置中,高斯混合模型和单类支持向量机实现了最佳的异常检测性能。
2020-12-11 cs.CV cs.LG cs.SD