Shapley Values of Reconstruction Errors of PCA for Explaining Anomaly Detection
Center for Advanced Intelligence Project RIKEN(理化学研究所先进智能项目中心)
提出了一种计算主成分分析(PCA)重构误差Shapley值的方法,该方法特别适用于解释基于PCA的异常检测结果。因为当应用基于PCA的异常检测时特征通常是相关的,所以在计算Shapley值的值函数时必须小心。我们利用PCA的概率观点,特别是它的条件分布,精确地计算Shapely值的值函数。我们还提出了数值的例子,这意味着Shapley值是有利的解释检测到的异常比每个功能的原始重建误差。
2020-02-22 cs.LG stat.ML
Try with Simpler -- An Evaluation of Improved Principal Component Analysis in Log-based Anomaly Detection
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Tianjin International Engineering Institute, the School of Future Technology, Tianjin University(天津大学国际工程师学院未来技术学院);Chongqing University(重庆大学)
本研究针对深度学习类日志异常检测依赖数据与资源多的问题,优化传统无监督PCA并结合轻量语义日志表示,实验证明其效果媲美先进深度学习方法,且数据有限时更稳定、资源效率更高。
2024-01-31 cs.LG cs.SE
A general-purpose method for applying Explainable AI for Anomaly Detection
Google(谷歌);The George Washington University(乔治华盛顿大学)
可解释人工智能(XAI)的需求已经得到了很好的确立,但在监督学习范式之外发表的相对较少。本文重点介绍了一个原则性的方法,将可解释性和可解释性的任务,无监督的异常检测。我们认为,可解释性主要是一个算法的任务和可解释性主要是一个认知任务,并借鉴认知科学的见解,提出一个通用的方法,用于实际诊断使用解释异常。我们定义了归因错误,并证明,使用真实世界的标记数据集,我们的方法的基础上集成的一致性(IG)产生显着降低归因错误比其他方法。
2022-07-23 cs.AI cs.LG
Anomaly Detection via Graphical Lasso
Worcester Polytechnic Institute(伍斯特理工学院)
异常和离群值在真实世界的数据中很常见,它们可能来自许多来源,例如传感器故障。因此,异常检测对于分析异常本身和清理数据以进一步分析其周围结构都是重要的。尽管如此,异常的精确定义是重要的自动检测,在这里,我们从检测稀疏的潜在影响嵌入在大量的噪声数据的角度来处理这些问题。基于标准图形拉索的技术可以基于随机变量的样本协方差阵来识别随机变量集合的条件依赖结构。但是,经典图形Lasso对样本协方差阵中的离群值敏感。特别地,样本协方差阵中的几个离群值可以破坏其逆矩阵的稀疏性。因此,我们提出了一种新的优化问题,在精神上类似于鲁棒主成分分析(RPCA)和分裂的样本协方差阵$M$分为两个部分,$M=F+S$,其中$F$是清洁的样本协方差,其逆是稀疏的,可计算的图形套索,和$S$包含离群值在$M$。我们通过在经典的图形套索中添加额外的$ \ell_1$惩罚来完成这种分解,并将其命名为“鲁棒图形套索(Rglasso)"。此外,我们提出了一个交替方向乘法(ADMM)的解决方案的优化问题,规模大的未知数。我们在真实和合成数据集上评估我们的算法,获得可解释的结果,并在准确性和速度方面优于标准的鲁棒最小协方差行列式(MCD)方法和鲁棒主成分分析(RPCA)。
2018-11-10 cs.LG stat.ML
Cross-Modal Deep Metric Learning for Time Series Anomaly Detection
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对时间序列异常检测灵敏度低且耗时高的问题,提出基于跨模态深度度量学习的特征聚类方法,利用vMF分布与主成分方向向量进行异常度量,实现了高准确率、高灵敏度与强鲁棒性。
2025-09-16 cs.LG
Few Shot Part Segmentation Reveals Compositional Logic for Industrial Anomaly Detection
Robotics and Mechatronics Engineering, DGIST(大邱庆北科学技术院机器人与机电一体化工程);AI Graduate School, DGIST(大邱庆北科学技术院人工智能研究生院);Stanford University(斯坦福大学)
针对工业逻辑异常检测中部件分割标注成本高、现有少样本方法对相似纹理形状组件区分难的问题,提出结合直方图匹配与熵损失的少样本分割模型,用三类记忆库及自适应缩放策略检测异常,在MVTec LOCO AD上AUROC达98.1%。
2024-04-15 cs.AI cs.CV cs.LG
Anomaly Detection in California Electricity Price Forecasting: Enhancing Accuracy and Reliability Using Principal Component Analysis
U.S. Department of Energy(美国能源部);SAS Institute(SAS研究所)
本研究针对加州电网电价预测的复杂数据与异方差挑战,结合PCA、RPCA及SAS稀疏矩阵离群点去除方法优化特征,构建回归模型,显著提升日前电价预测准确性,助力可再生能源并网与电网管理。
2024-11-25 cs.AI cs.ET cs.LG
Neural Network Characterization and Entropy Regulated Data Balancing through Principal Component Analysis
University of Waterloo(滑铁卢大学)
该研究通过分析MNIST数字在低阶PCA空间的分布揭示神经网络预测准确率差异的几何原因,提出局部PCA熵指标定位易混淆数据,并基于该指标通过过采样实现数据平衡。
2025-09-30 cs.LG
Variational Template Matching with Statistical Fusion for Anomaly Detection in Patterned Structures
针对小数据场景下结构化图像异常检测,提出变分模板匹配与统计融合方法,结合变换空间归一化互相关和核密度估计,在免训练下达到与ResNet-50相当的性能。
2026-09-15 cs.AI cs.CV cs.LG
DOC-NAD: A Hybrid Deep One-class Classifier for Network Anomaly Detection
University of Queensland(昆士兰大学)
机器学习(ML)方法已被用于增强网络入侵检测系统(NIDS)的检测能力。最近的工作已经取得了近乎完美的性能,以下二进制和多类网络异常检测任务。这样的系统依赖于在训练阶段期间(良性和恶意)网络数据类的可用性。然而,在大多数组织中,由于安全控制措施防止已知恶意流量渗透到其网络中,因此收集攻击数据样本通常具有挑战性。因此,本文提出了一种用于网络入侵检测的深度单类(DOC)分类器,仅对良性网络数据样本进行训练。新型单类分类架构由基于直方图的深度前馈分类器组成,用于提取有用的网络数据特征并使用有效的离群值检测。DOC分类器已经使用两个基准NIDS数据集进行了广泛的评估。结果表明,它的优越性,目前国家的最先进的一类分类器的检测和误报率。
2022-12-15 cs.CR cs.LG cs.NI
Quantum Spectral Anomaly Detection
Global College, Shanghai Jiao Tong University(上海交通大学全球学院);Shanghai Jiao Tong University(上海交通大学);School of Electrical and Computer Engineering, Cornell University(康奈尔大学电气与计算机工程学院);Cornell University(康奈尔大学);Institute of Natural Sciences, Shanghai Jiao Tong University(上海交通大学自然科学研究院);School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学数学科学学院)
研究量子异常检测中计算异常分数的问题,提出量子谱异常检测(QSPADE)方法,直接从正常数据集平均态谱计算PCA类异常分数,避免高昂计算成本,给出高效检测框架。
2026-07-07 cs.LG quant-ph
Deep Learning for Medical Anomaly Detection -- A Survey
Queensland University of Technology(昆士兰科技大学)
基于机器学习的医疗异常检测是一个重要的研究课题。在各个医疗应用领域已经提出了许多方法,我们在这些不同的应用中观察到了一些相似之处。尽管这种可比性,我们观察到缺乏结构化的组织,这些不同的研究应用程序,使他们的优势和局限性可以研究。本调查的主要目的是对医学异常检测中流行的深度学习技术进行全面的理论分析。特别是,我们对最先进的技术进行了连贯和系统的回顾,比较和对比了它们的架构差异以及训练算法。此外,我们还提供了可用于解释模型决策的深度模型解释策略的全面概述。此外,我们概述了现有的深度医学异常检测技术的主要局限性,并提出了进一步研究的重点研究方向。
2021-04-13 cs.CV cs.LG eess.IV
Structure-based Anomaly Detection and Clustering
本文提出多种基于结构的无监督异常检测与聚类方法,覆盖静态、流式数据及网络安全场景,在精度、效率等方面优于现有方法,部分已落地应用。
2025-05-19 cs.AI cs.CV cs.LG
Revisiting OmniAnomaly for Anomaly Detection: performance metrics and comparison with PCA-based models
IEETA/DETI/LASI, University of Aveiro(IEETA/DETI/LASI,艾维罗大学)
本文系统比较了深度模型OmniAnomaly与PCA线性基线在多变量时间序列异常检测中的性能,发现PCA在无点调整时甚至更优,质疑了复杂架构的额外价值。
2026-06-23 cs.LG stat.ML
CAMLPAD: Cybersecurity Autonomous Machine Learning Platform for Anomaly Detection
Academy of Science(科学院);TJHSST
随着机器学习和网络安全在数字生态系统的背景下持续爆炸,网络安全数据的复杂性与复杂且规避的机器学习算法相结合,导致在设计用于智能自动异常分类的端到端系统时遇到巨大困难。另一方面,传统的系统使用基本的统计技术,往往不准确,导致集中式数据分析平台薄弱。在本文中,我们提出了一个新的系统,解决这两个问题,名为CAMLPAD,网络安全自主机器学习平台异常检测。CAMLPAD系统简化的整体方法首先使用elasticsearch实时的检索大量不同种类的网络安全数据,然后运行几种机器学习算法,即隔离森林,基于直方图的离群值得分(HBOS),基于聚类的局部离群值因子(CBLOF)和K均值聚类,以处理数据。接下来,使用Kibana将计算出的异常可视化,并为其分配一个离群值分数,该分数作为是否应向系统管理员发送网络中存在潜在异常的警报的指标。在模拟环境中对我们的平台进行全面测试后,CAMLPAD系统达到了95%的调整后rand分数,显示了系统可靠的准确性和精度。总而言之,CAMLPAD系统为实时的网络安全异常检测提供了一种准确、简化的方法,提供了一种有可能彻底改变网络安全领域的新型解决方案。
2019-07-23 cs.CR cs.LG cs.NI
Robust Anomaly Detection via Tensor Pseudoskeleton Decomposition
针对高维张量数据异常检测的挑战,本文在张量鲁棒主成分分析框架内利用Tensor Chidori伪骨架分解提取低Tucker秩结构并分离稀疏异常,理论分析与纽约市出租车数据实验均验证了其稳定性和有效性。
2025-03-04 cs.LG
Financial Anomaly Detection for the Canadian Market
本文评估了三种金融异常检测方法在TSX-60数据上的表现,发现拓扑数据分析和神经网络方法在识别加拿大股市压力事件中表现最佳。
2026-04-02 cs.LG q-fin.ST
Including Sparse Production Knowledge into Variational Autoencoders to Increase Anomaly Detection Reliability
Ostwestfalen-Lippe University of Applied Sciences(东威斯特伐利亚-利珀应用科学大学);Phoenix Contact Electronics GmbH(菲尼克斯电气电子有限公司)
数字化为生产系统带来了数据透明性,我们可以通过神经网络等数据驱动的分析方法从中受益。例如,自动异常检测可以节省资源并优化生产。我们研究使用很少发生的信息标记的异常到变分自编码器神经网络结构,以克服信息赤字的监督和无监督的方法。该方法在准确度、精确度和召回率方面优于所有其他模型。我们评估了以下方法:主成分分析,隔离森林,分类神经网络和变分自编码器在七个时间序列数据集上找到最佳的检测方法。我们扩展这个想法,包括更不经常发生的Meta信息的生产过程。稀疏标签的这种使用(异常或生产数据两者)允许利用可用于提高异常检测性能的任何附加信息。
2021-06-22 cs.AI cs.LG
Federated PCA on Grassmann Manifold for Anomaly Detection in IoT Networks
The University of Sydney(悉尼大学)
在物联网(IoT)时代,由于大多数IoT设备固有的安全漏洞,网络范围的异常检测是监测IoT网络的关键部分。主成分分析(PCA)已被提出来分离网络流量到两个不相交的子空间对应的正常和恶意行为的异常检测。然而,隐私问题和设备计算资源的限制损害了PCA的实际有效性。我们提出了一个基于PCA的联邦格拉斯曼优化框架,该框架协调物联网设备,以聚合正常网络行为的联合配置文件,用于异常检测。首先,我们引入了一个保护隐私的联合PCA框架,以同时捕获各种物联网设备的流量。然后,我们研究了Grassmann流形上基于乘子梯度学习的交替方向方法,以保证快速训练和使用有限的计算资源不存在检测延迟。NSL-KDD数据集上的实验结果表明,我们的方法优于基线方法。最后,我们证明了格拉斯曼流形算法非常适合物联网异常检测,这可以大大减少系统的分析时间。据我们所知,这是第一个满足物联网网络要求的异常检测联合PCA算法。
2023-01-10 cs.LG
EngineAD: A Real-World Vehicle Engine Anomaly Detection Dataset
Department of Electrical and Computer Engineering, McGill University(麦吉尔大学电气与计算机工程系);MILA - Quebec AI Institute(MILA - 魁北克人工智能研究所);Preteckt Inc.(Preteckt公司)
本文提出EngineAD数据集,用于解决运输等安全关键领域异常检测的瓶颈问题,通过真实车辆传感器数据和专家标注,评估多种异常检测模型的性能。
2026-03-26 cs.LG
DINAMO: Dynamic and INterpretable Anomaly MOnitoring for Large-Scale Particle Physics Experiments
Department of Experimental Physics, European Organization for Nuclear Research (CERN)(欧洲核子研究中心(CERN)实验物理学系);Laboratory for Nuclear Science, Massachusetts Institute of Technology (MIT)(麻省理工学院核科学实验室)
本文提出DINAMO框架,通过构建演化直方图模板并结合统计变体与机器学习增强版本,实现大规模粒子物理实验中时间相关异常的自动化检测,在合成数据集上验证了高准确率与可解释性,并已在LHCb实验中部署。
2025-09-17 cs.LG hep-ex
Incomplete Pivoted QR-based Dimensionality Reduction
Tel Aviv University(特拉维夫大学)
高维大数据出现在图像识别、生物学、协同过滤等多个研究领域。通常,由于“维数灾难”现象,经典算法对此类数据的探索遇到困难。因此,降维方法在其分析之前应用于数据。这些方法中的许多基于统计驱动的主成分分析,即它们将数据映射到低维子空间中,该低维子空间保留了高维数据的重要统计特性。因此,这样的方法不直接解决由多维数据点之间的相互距离反映的数据的几何形状。因此,诸如分类、异常检测或其他机器学习任务之类的操作可能受到影响。这项工作提供了一个基于字典的框架,几何驱动的数据分析,包括降维,样本外扩展和异常检测。它将高维数据嵌入低维子空间。这种嵌入保留了数据的原始高维几何形状,直到用户定义的失真率。此外,它还识别了构成所分析数据集的字典的地标数据点的子集。字典使得能够具有低维嵌入到样本外数据点的自然扩展,这产生了用于异常检测的基于失真的标准。该方法在合成数据集和真实数据集上进行了验证,并在分类、异常检测和样本外任务方面取得了良好的效果。
2016-07-12 cs.LG stat.ML
Host-based anomaly detection using Eigentraces feature extraction and one-class classification on system call trace data
University of Toledo(托莱多大学);MIR Labs(MIR实验室)
本文提出了一种基于主机的异常检测方法,使用半监督算法,即一类分类器结合基于PCA的特征提取技术,称为特征跟踪系统调用跟踪数据。单类分类是基于使用参考分布生成一组人工数据,并将目标类概率函数与人工类密度函数相结合,以通过贝叶斯公式估计目标类密度函数。基准数据集,ADFA-LD,用于模拟研究。ADFA-LD数据集包含在Linux操作系统环境的各种正常和攻击过程中收集的数千个系统调用跟踪。为了预处理和提取特征,在系统调用跟踪数据上加窗,然后进行主成分分析,称为特征跟踪。目标类概率函数分别由径向基函数神经网络和随机森林机器学习器建模,用于性能比较。仿真研究表明,所提出的入侵检测系统提供了高性能的检测异常和正常活动的一组公认的指标,包括检测率,准确性,漏报率和误报率。
2019-11-25 cs.CR cs.LG stat.ML
A Robust Autoencoder Ensemble-Based Approach for Anomaly Detection in Text
Sorbonne Université(索邦大学)
针对文本异常检测研究不足、未区分独立与上下文异常的问题,提出TAC文本异常污染机制和RoSAE鲁棒自编码器集成方法,在8个数据集上表现优于现有方法且鲁棒性更强。
2024-09-18 cs.CL cs.LG
Functional Localization Enforced Deep Anomaly Detection Using Fundus Images
Heinrich Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学);Philipps University of Marburg(马尔堡菲利普斯大学);University Hospital Knappschaftskrankenhaus Bochum(波鸿克纳普schaft医院大学医院);University of Münster(明斯特大学)
本研究提出基于ViT的深度异常检测方法,通过多数据集训练和GANomaly检测器,实现了高准确率和可解释性,用于视网膜疾病的可靠检测。
2025-11-23 cs.CV cs.LG
Heuristic Hyperparameter Choice for Image Anomaly Detection
Centre for mathematical morphology(数学形态学中心);Mines Paris - PSL(巴黎国立高等矿业学校-巴黎文理研究大学)
针对图像异常检测中预训练特征冗余问题,提出启发式方法选择负主成分分析(NPCA)的超参数,以最少特征成分实现良好检测性能。
2023-07-20 cs.CV cs.LG
Detection of Anomalies in Multivariate Time Series Using Ensemble Techniques
Harokopio University of Athens(雅典哈罗科皮奥大学)
本文针对多元时间序列异常检测中异常仅涉及少量特征的问题,提出基于特征装袋和PCA嵌套旋转的集成方法,并结合逻辑回归半监督组合策略,在SKAB数据集上显著提升了检测准确率。
2023-08-06 cs.LG stat.ML
Machine learning for journal entry testing: A type-aware evaluation of anomaly detectors under a review budget
Saarland University(萨尔大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Leipzig University(莱比锡大学)
针对日记账分录异常检测,提出类型感知评估方法(含FSR指标),发现高命中率可掩盖盲点,反馈强化模式但不扩大覆盖。
2026-10-06 cs.AI cs.LG
Efficient Personalized Federated PCA with Manifold Optimization for IoT Anomaly Detection
School of Mechatronic Engineering and Automation, Shanghai University(机电工程与自动化学院,上海大学);School of Intelligent Systems Engineering, Sun Yat-sen University(智能系统工程学院,中山大学)
本文提出FedEP方法,通过ℓ1和ℓ2,1范数实现个性化和鲁棒性,用于提升物联网异常检测的性能。
2026-02-13 cs.LG
Federated Structured Sparse PCA for Anomaly Detection in IoT Networks
School of Mechatronic Engineering and Automation(机械电子工程与自动化学院);Shanghai University(上海大学)
针对现有联邦PCA方法缺乏稀疏性整合的问题,提出融合双重稀疏正则化的联邦结构化稀疏PCA方法FedSSP,基于近端交替最小化求解,可提升IoT网络异常检测的可解释性与准确率。
2025-10-28 cs.LG math.OC
Hankel-structured Tensor Robust PCA for Multivariate Traffic Time Series Anomaly Detection
McGill University(麦吉尔大学)
时空交通数据(例如,链路速度/流量)可以被组织为具有附加空间属性的多变量时间序列。分析这些数据的一个关键任务是从具有复杂空间和时间依赖性的数据中识别和检测异常观测和事件。鲁棒主成分分析(RPCA)是一种广泛使用的异常检测工具。然而,传统的RPCA纯粹依赖于全局低秩假设,而忽略了局部时间相关性。有鉴于此,本研究提出了一个Hankel结构的张量版本的RPCA时空数据的异常检测。我们将具有异常的原始数据视为多变量时间序列矩阵(位置$\times$时间),并假设去噪矩阵具有低秩结构。然后,我们通过应用时间Hankel化将低秩矩阵变换为三阶张量。最后,我们分解成一个低秩的汉克尔张量和稀疏矩阵的腐败矩阵。通过Hankel化操作,该模型可以同时捕获全局和局部时空相关性,表现出更强的鲁棒性。我们将该问题描述为一个优化问题,并使用张量核范数(TNN)来近似张量秩,并使用$l_1$范数来近似稀疏性。我们开发了一个有效的解决方案的算法的基础上交替方向的乘法器(ADMM)。尽管有三个超参数,但该模型在实践中很容易设置。利用合成数据和地铁客流时间序列对该方法进行了验证,结果表明该方法具有较好的异常检测效果。
2021-10-08 cs.LG
SPINEX: Similarity-based Predictions with Explainable Neighbors Exploration for Anomaly and Outlier Detection
Clemson University(克莱姆森大学);University of Manitoba(曼尼托巴大学)
本文提出新型异常检测算法SPINEX,通过相似度与多子空间高阶交互识别离群点,在39个数据集上对比21种常用算法表现优异且复杂度适中,同时具备可解释性。
2024-07-05 cs.LG
LLmFPCA-detect: LLM-powered Multivariate Functional PCA for Anomaly Detection in Sparse Longitudinal Texts
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(乔治亚理工学院H.Milton Stewart工业与系统工程学院);AT&T Chief Data Office(AT&T首席数据办公室);Department of Data Sciences and Operations, Marshall School of Business, University of Southern California(南加州大学马歇尔商学院数据科学与运营学院)
LLmFPCA-detect结合大语言模型和功能主成分分析,用于稀疏纵向文本中的异常检测和模式推断,提升预测性能。
2025-12-16 cs.LG stat.ML
Exploring Scalable, Distributed Real-Time Anomaly Detection for Bridge Health Monitoring
University of Bologna(博洛尼亚大学);University of Trento(特伦托大学);ETH Zurich(苏黎世联邦理工学院)
现代实时的【形】结构健康监测系统可以生成大量的信息,这些信息必须经过处理和评估,以检测早期异常并生成有关民用基础设施状况的及时警告和警报。如果必须从数千座建筑物中收集原始数据,则当前基于云的解决方案无法扩展。本文提出了一种用于SHM系统的高效且可扩展的异常检测管道的全栈部署,该系统不需要将原始数据发送到云端,而是依赖于边缘计算。首先,我们对异常检测的三种算法方法进行基准测试,即,主成分分析(PCA)、全连接自动编码器(FC-AE)和卷积自动编码器(C-AE)。然后,我们将它们部署在边缘传感器STM32 L4上,该传感器具有有限的计算能力。我们的方法将网络流量减少了$\approx8\cdot10^5\times$,从780 KB/小时减少到单个安装的不到10 KB/小时,并最大限度地减少了网络和云资源利用率,从而实现了监控基础设施的扩展。一个真实的案例研究,在意大利的一座公路桥,表明结合近传感器计算的异常检测算法,智能预处理,和低功耗广域网络协议(LPWAN),我们可以大大降低数据通信和云计算成本,而异常检测的准确性不会受到不利影响。
2022-03-10 cs.LG cs.NI eess.SP
Robust Principal Component Completion
School of Information and Electronics, Beijing Institute of Technology(信息与电子学院,北京理工大学);National Key Laboratory of Science and Technology on Space-Born Intelligent Information Processing(空间智能信息处理国家重点实验室);Department of Electrical and Computer Engineering, Mississippi State University(电气与计算机工程系,密苏里州立大学);National Research Council, Institute of Methodologies for Environmental Analysis (CNR-IMAA)(国家研究理事会,环境分析方法研究所(CNR-IMAA))
本文提出鲁棒主成分补全方法,通过间接确定稀疏成分的支持集来解决稀疏前景遮挡低秩背景的问题,采用变分贝叶斯推断实现全概率贝叶斯稀疏张量分解,实验显示其在合成数据和真实数据中表现优异。
2026-04-22 cs.CV cs.LG
3D-CSAD: Untrained 3D Anomaly Detection for Complex Manufacturing Surfaces
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学);Guangzhou HKUST Fok Ying Tung Research Institute(广州香港科技大学霍英东研究院)
针对复杂制造零件3D异常检测缺训练样本、表面复杂的难题,提出无训练的3D-CSAD方法,通过轮廓分割与RPCA实现单样本准确检测,性能优于基准方法。
2024-04-11 cs.CV cs.LG
RF Spectrogram Anomaly Detection with Quantum Kitchen Sinks: Architecture, Representation, and Hardware Validation
ibm_quebec(IBM魁北克)
研究针对无线射频网络异常检测问题,扩展QKS模板并引入消融协议,通过多深度数据重新上传和环纠缠进行评估。结果表明DCT表示优,适度深度纠缠QKS配置强,QKS优于经典基线,提供了实用可重复的无线网络异常检测框架。
2026-07-27 cs.LG
Robust Spectral Anomaly Detection in EELS Spectral Images via Three Dimensional Convolutional Variational Autoencoders
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
提出三维卷积变分自编码器(3D-CVAE)用于 EELS-SI 数据的无监督异常检测,利用三维结构保留空间与光谱相关性,在 Fe L 边缘峰移测试中表现优于 PCA,实现正常与异常光谱的可靠分类。
2024-12-16 cond-mat.mtrl-sci cs.CV cs.LG
Deep Learning for Unsupervised Insider Threat Detection in Structured Cybersecurity Data Streams
Western Washington University(西华盛顿大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
对组织的计算机网络活动的分析是早期检测和减轻内部威胁的关键组成部分,这是许多组织日益关注的问题。原始系统日志是流数据的典型示例,可以快速扩展到超出人类分析师的认知能力。作为人类分析师的前瞻性过滤器,我们提出了一种在线无监督深度学习方法,用于实时的从系统日志中检测异常网络活动。我们的模型将异常分数分解为单个用户行为特征的贡献,以提高可解释性,从而帮助分析师审查潜在的内部威胁案例。使用CERT Insider Threat Dataset v6.2和威胁检测召回作为我们的性能指标,我们的新型深度和循环神经网络模型优于主成分分析,支持向量机和基于隔离森林的异常检测基线。对于我们的最佳模型,在我们的数据集中标记为内部威胁活动的事件的平均异常得分为95.53百分位,这表明我们的方法有可能大大减少分析人员的工作量。
2017-12-15 cs.CR cs.LG cs.NE
Anomaly Detection and Inter-Sensor Transfer Learning on Smart Manufacturing Datasets
Purdue University(普渡大学);Amazon(亚马逊公司)
智能制造系统正在以越来越快的速度部署,因为它们能够解释各种各样的感知信息,并根据从系统观察中收集的知识采取行动。在许多情况下,智能制造系统的主要目标是快速检测(或预测)故障,以降低运营成本并消除停机时间。这通常归结为检测从系统获取的传感器数据内的异常。智能制造应用领域提出了一些突出的技术挑战。特别地,通常存在具有不同能力和成本的多种类型的传感器。传感器数据特性随着环境或机器的操作点(例如,电机的RPM)而改变。因此,异常检测过程必须在操作点附近校准。在本文中,我们分析了从制造测试平台部署的传感器的四个数据集。我们评估了几个传统的和ML为基础的预测模型预测传感器数据的时间序列的性能。然后,考虑来自一种传感器的稀疏数据,我们从高数据率传感器执行迁移学习以执行缺陷类型分类。两者合计,我们表明,可以实现预测性故障分类,从而为预测性维护铺平了道路。
2022-06-13 cs.AI cs.LG cs.NE
Multivariate Time Series Anomaly Detection: Fancy Algorithms and Flawed Evaluation Methodology
Huawei Paris Reasearch Center(华为巴黎研究中心)
本文指出多元时间序列异常检测领域评估方法存在严重缺陷,尤其是点调整协议使随机猜测也能胜出,并提出基于PCA的简单基线在多个基准数据集上超越许多近期深度学习方法,呼吁重视数据、实验设计和评估方法而非一味追求复杂算法。
2023-11-01 cs.AI cs.LG cs.PF
Credit Card Fraud Detection in the Nigerian Financial Sector: A Comparison of Unsupervised TensorFlow-Based Anomaly Detection Techniques, Autoencoders and PCA Algorithm
Enugu State University of Science and Technology(埃努古州立科技大学)
针对尼日利亚金融业信用卡欺诈问题,对比基于TensorFlow的无监督自编码器与PCA算法的欺诈检测效果,验证自编码器降维性能更优,更适配复杂交易数据且错标率更低。
2024-03-08 cs.LG
SubspaceAD: Training-Free Few-Shot Anomaly Detection via Subspace Modeling
AIMS Group, Department of Electrical Engineering, Eindhoven University of Technology(AIMS组,电气工程系,埃因霍温理工大学)
SubspaceAD提出一种无需训练的少样本异常检测方法,通过冻结DINOv2模型提取正常图像的补丁特征,并利用PCA建模估计正常变化的低维子空间,从而在无训练、提示微调或内存库的情况下实现最先进的性能。
2026-05-13 cs.CV cs.LG
AIOps-Driven Enhancement of Log Anomaly Detection in Unsupervised Scenarios
BITS Pilani(比尔拉科学技术学院皮拉尼校区);Sardar Patel Institute of Technology(萨达尔·帕特尔技术学院)
本研究针对AIOps领域无监督日志异常检测研究不足的问题,提出融合PCA与ANN并搭配自定义损失函数的混合框架,可处理原始日志,在多数据集上实现伪阳性率显著降低,推动AIOps日志检测技术发展。
2023-11-05 cs.AI cs.IR cs.IT
KnowGraph: Knowledge-Enabled Anomaly Detection via Logical Reasoning on Graph Data
UIUC(伊利诺伊大学厄巴纳-香槟分校);Bytedance Research(字节跳动研究院);eBay(亿贝公司);UC Berkeley(加州大学伯克利分校)
针对图异常检测中数据分布偏移导致泛化难的问题,提出KnowGraph框架,结合统计学习与基于概率图模型的逻辑推理,将领域知识融入数据驱动模型,显著提升了在未见数据和极端不平衡类别下的检测精度。
2024-10-10 cs.AI cs.CR cs.LG
Unsupervised Machine Learning for Exploratory Data Analysis of Exoplanet Transmission Spectra
University of Florida(佛罗里达大学)
凌日光谱学是一个强大的工具,解码太阳系外行星大气的化学成分。在本文中,我们专注于无监督技术分析光谱数据从过境系外行星。我们展示了i)清理和验证数据的方法,ii)基于汇总统计的初步探索性数据分析(位置和可变性的估计),iii)探索和量化数据中现有的相关性,iv)预处理数据并将其线性转换为其主成分,v)降维和流形学习,vi)聚类和异常检测,vii)数据的可视化和解释。为了说明所提出的无监督方法,我们使用一个众所周知的公共基准数据集的合成过境光谱。我们发现,有一个高度的相关性的光谱数据,这需要适当的低维表示。我们探索了一些不同的技术,这样的降维,并确定几个合适的选项,在汇总统计,主成分等方面,我们发现有趣的结构在主成分的基础上,即定义明确的分支对应于不同的化学制度的底层大气。我们证明,这些分支可以成功地恢复与K-均值聚类算法在完全无监督的方式。我们主张在前三个主成分方面对光谱数据进行三维表示,以揭示数据中的现有结构并快速表征行星的化学类别。
2022-01-07 astro-ph.EP cs.LG physics.data-an
Generative Models for Anomaly Detection and Design-Space Dimensionality Reduction in Shape Optimization
National University of Singapore(新加坡国立大学)
本文提出用因子分析和概率主成分分析等生成模型对形状优化设计空间降维,并以马氏距离检测和惩罚异常几何,在DTMB 5415船体优化中提升了全局优化收敛性并避免无效仿真。
2023-11-30 cs.LG math.OC physics.data-an
Precision and Recall for Time Series
Intel Labs(英特尔实验室);MIT(麻省理工学院);Microsoft(微软);Brown University(布朗大学)
经典的异常检测主要涉及基于点的异常,这些异常发生在单个时间点。然而,许多现实世界的异常是基于范围的,这意味着它们发生在一段时间内。出于这一观察,我们提出了一个新的数学模型来评估时间序列分类算法的准确性。我们的模型扩展了众所周知的精度和召回指标来测量范围,同时为特定领域的偏好提供定制支持。
2019-01-02 cs.AI cs.LG
Quantum principal component analysis without eigenvector recovery
Global College, Shanghai Jiao Tong University, Shanghai 200240, China(上海交通大学全球学院);School of Electrical and Computer Engineering, Cornell University, Ithaca, New York 14850, United States(康奈尔大学电气与计算机工程学院);Institute of Natural Sciences, Shanghai Jiao Tong University, Shanghai 200240, China(上海交通大学自然科学研究院);School of Mathematical Sciences, Shanghai Jiao Tong University, Shanghai 200240, China(上海交通大学数学科学学院)
提出一种基于测量的软PCA框架,用熵正则化费米-狄拉克滤波器替代硬top-k投影,通过量子电路实现无需特征向量恢复的主子空间评分。
2026-05-27 cs.DS cs.LG quant-ph
Federated PCA on Grassmann Manifold for IoT Anomaly Detection
School of Computer Science, The University of Sydney(悉尼大学计算机科学学院);University of Pennsylvania(宾夕法尼亚大学);Kyung Hee University(庆熙大学)
针对传统入侵检测标注需求高、无监督方法部署难的问题,提出基于PCA和ADMM的联邦无监督异常检测框架FedPCA及两种算法,性能媲美非线性基线且通信内存效率更优,适用于资源受限的IoT网络安全防护。
2024-07-10 cs.AI cs.CR cs.DC
Electrical Grid Anomaly Detection via Tensor Decomposition
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本研究将张量分解方法CP-APR应用于SCADA系统异常检测,通过建模多维交互提高电网异常识别的特异性和准确性,并在LANL真实数据上验证了有效性。
2023-10-12 cs.AI cs.LG
Conditional Flow Matching for Continuous Anomaly Detection in Autonomous Driving on a Manifold-Aware Spectral Space
Independent Researcher(独立研究者)
Deep-Flow通过流匹配技术在频谱空间中实现连续异常检测,利用运动学平滑性和低秩流形约束,提升自动驾驶安全验证的准确性与可靠性。
2026-02-19 cs.AI cs.LG cs.RO
Towards eco friendly cybersecurity: machine learning based anomaly detection with carbon and energy metrics
Gannon University(甘农大学);Western Illinois University(西伊利诺伊大学);University of South Wales(南威尔士大学);Washington University of Science and Technology(华盛顿科技大学);International American University(国际美国大学);California State University, Dominguez Hills(加州州立大学多明格斯山分校);University of New Haven(纽黑文大学)
本研究提出一种结合碳和能耗指标的环保型网络安全框架,通过优化机器学习模型提升检测效率并降低环境影响。
2025-12-31 cs.CR cs.CY cs.LG
The Geometry of Harmful Intent: Training-Free Anomaly Detection via Angular Deviation in LLM Residual Streams
Independent Researcher(独立研究者)
本文提出LatentBiopsy方法,通过分析大语言模型残差流激活的几何特性,无需训练即可检测有害提示。该方法基于残差流激活的主成分分析和角度偏差,实现高精度的异常检测,具有低延迟和强鲁棒性。
2026-03-28 cs.AI cs.CL cs.LG