Statistical learning for change point and anomaly detection in graphs
Leibniz University Hannover(汉诺威莱布尼茨大学);University of Göttingen(哥廷根大学)
在通信、工程和工业等不同的领域中,出现了可以用静态和动态图形表示的复杂系统。在分析动态网络结构时,一个有趣的问题是监测其发展中的变化。统计学习包括基于人工智能和传统统计学的方法,可以用来在这一研究领域取得进展。然而,大多数方法只适用于一个或另一个框架。在本文中,我们讨论了将这两个学科结合在一起的可能性,以创建增强的网络监控程序,重点是结合统计过程控制和深度学习算法的例子。随着网络数据的变化点和异常检测的介绍,我们建议监测救护车服务的响应时间,联合应用分位数函数值的控制图和图卷积网络。
2020-11-10 cs.LG stat.ME
CRATOS: Cognition of Reliable Algorithm for Time-series Optimal Solution
Huawei Technologies Co.(华为技术有限公司)
时间序列异常检测在可靠性系统工程中发挥着重要作用。然而,在实际应用中,在不同的应用场景中,正常和异常行为之间没有精确定义的边界。因此,对不同情况下的时间序列应采用不同的异常检测算法和过程。虽然这种策略提高了异常检测的准确性,但从业人员需要花费大量时间将各种算法配置到数百万系列,这大大增加了异常检测流程的开发和维护成本。在本文中,我们提出了CRATOS,这是一个自适应的算法,提取特征的时间序列,然后聚类到一组具有相似特征的序列。对于每个组,我们利用进化算法来搜索最佳的异常检测方法和流程。我们的方法可以显着降低异常检测的开发和维护成本。实验结果表明,本文提出的聚类方法取得了较好的效果。本文提出的异常检测算法的准确率为85.1%。
2020-10-15 cs.LG cs.NE stat.ML
Detecting Attacks on IoT Devices using Featureless 1D-CNN
University of Delaware(特拉华大学)
在过去,深度学习的推广帮助我们解决了网络安全领域的恶意软件识别和异常检测等挑战。然而,尽管它很有效,但内存和处理能力的稀缺使得在物联网(IoT)设备中执行这些任务变得困难。本研究通过贬低机器学习技术中对特征工程和后续处理的需求,找到了一种摆脱这一瓶颈的简单方法。在这项研究中,我们引入了一个无障碍的机器学习过程来执行异常检测。它使用未处理的数据包字节流作为训练数据。无障碍机器学习实现了对网络流量的低成本和低存储器时间序列分析。它得益于消除了对主题专家的大量投资和特征工程所需的时间。
2021-09-09 cs.CR cs.LG
Anomaly Detection in High Dimensional Data
Monash University(莫纳什大学);University of Melbourne(墨尔本大学)
HDoutliers算法是一种用于高维数据异常检测的强大无监督算法,具有很强的理论基础。然而,在某些情况下,它受到一些限制,严重阻碍了其性能水平。在这篇文章中,我们提出了一个算法,解决这些限制。我们将异常定义为明显偏离大多数的观察结果,具有较大的距离差距。利用极值理论计算异常阈值。使用各种合成和真实的数据集,我们证明了我们的算法,我们称之为杂散算法的广泛适用性和实用性。我们还演示了如何使用特征工程,该算法可以帮助检测其他数据结构中存在的异常。我们展示了杂散算法在精度和计算时间方面优于HDoutliers算法的情况。这个框架是在开源的R包stray中实现的。
2019-08-12 cs.LG stat.AP stat.ML
Coupled IGMM-GANs for deep multimodal anomaly detection in human mobility data
University of Colorado at Boulder(科罗拉多大学博尔德分校);University of Maryland, College Park(马里兰大学帕克分校);IUPUI(印第安纳大学与普渡大学印第安纳波利斯联合分校)
检测人类移动数据中的异常活动具有许多应用,包括道路危险感测、基于远程信息处理的保险以及出租车服务和乘车共享中的欺诈检测。在本文中,我们解决了异常人类轨迹研究中出现的两个挑战:1)缺乏关于异常定义的地面真实数据,2)现有方法对重要预处理和特征工程的依赖。虽然生成对抗网络似乎很适合解决这些挑战,但我们发现现有的基于GAN的异常检测算法由于无法处理多模态模式而表现不佳。为此,我们引入了一个无限高斯混合模型与(双向)生成对抗网络,IGMM-GAN,这是能够生成合成的,但现实的,人类移动数据,同时有利于多模态异常检测。通过估计人类轨迹空间上的生成概率密度,我们能够生成逼真的合成数据集,这些数据集可用于对现有的异常检测方法进行基准测试。估计的多峰密度还允许我们用于检测异常轨迹的离群值的自然定义。我们说明了我们的方法及其改进现有的GAN异常检测几个人类移动数据集,随着MNIST。
2018-09-08 cs.LG stat.ML
Feedforward Neural Network for Time Series Anomaly Detection
Tencent Company(腾讯公司);National University of Singapore(新加坡国立大学)
时间序列异常检测通常被表述为发现相对于一些通常数据的异常数据点,这也是工业界和学术界的一个重要问题。为了确保系统稳定运行,互联网公司,银行和其他公司需要监控时间序列,这被称为KPI(关键性能指标),如CPU使用量、订单数、在线用户数等。然而,数以百万计的时间序列有几种形状(例如,季节性KPI、定时任务的KPI和所使用的CPU的KPI),使得很难使用简单的统计模型来检测所有类型的时间序列的异常。虽然一些异常检测器已经发展了很多年,一些监督模型也可以在这个领域,我们发现许多方法都有自己的缺点。在本文中,我们提出了我们的系统,这是基于深度前馈神经网络和检测时间序列的异常点。我们的系统与其他基于监督模型的系统之间的主要区别在于,我们不需要对时间序列进行特征工程来训练深度前馈神经网络,这本质上是一个端到端的系统。
2018-12-21 cs.AI cs.LG stat.ML
Resilient VAE: Unsupervised Anomaly Detection at the SLAC Linac Coherent Light Source
Stanford University(斯坦福大学);SLAC National Laboratory(SLAC国家实验室)
本文提出弹性变分自编码器(ResVAE),一种无监督深度生成模型,用于在无标签数据下检测加速器异常,并在SLAC LCLS上验证其有效性。
2023-09-05 cs.LG physics.acc-ph
Unifying Explainable Anomaly Detection and Root Cause Analysis in Dynamical Systems
本文提出可解释因果常微分方程网络ICODE,在单一框架内同时实现动态系统的异常检测、根因分析与异常类型分类,并通过因果推断揭示异常来源。
2025-07-17 cs.LG stat.ML
Minimal-Configuration Anomaly Detection for IIoT Sensors
Center for Digital Safety and Security Austrian Institute of Technology(奥地利科技学院数字安全与保障中心);Distributed AI Systems Research Group Siemens Technology Austria(西门子奥地利技术公司分布式人工智能系统研究小组)
随着低成本物联网传感器平台在工业中的部署越来越多,对满足两个关键要求的异常检测解决方案的需求也越来越大:最小的配置工作和跨设备的轻松可移植性。深度学习的最新进展,特别是长短期记忆(LSTM)和自动编码器,为检测传感器数据记录中的异常提供了有前途的方法。我们使用简单的基准数据集比较了具有各种架构的自动编码器,例如深度神经网络(DNN),LSTM和卷积神经网络(CNN),该基准数据集是通过在各种操作条件下操作蠕动泵并手动诱导异常而生成的。我们的初步研究结果表明,一个单一的模型可以检测到异常的各种操作条件下的四维数据集,没有任何特定的功能工程的每个操作条件。我们认为这项工作是迈向通用异常检测方法的第一步,该方法适用于广泛的工业设备。
2021-10-08 cs.AI cs.LG eess.SP
OIAD: One-for-all Image Anomaly Detection with Disentanglement Learning
Monash University(莫纳什大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61);University of Melbourne(墨尔本大学)
异常检测的目的是识别样本的异常和不寻常的模式相对于一组正常的数据。这对于许多领域的应用是重要的,例如工业检测、医学成像和安全执行。现有的异常检测方法存在两个关键的研究挑战:(1)许多方法在低维问题上表现良好,但在高维问题(如图像)上的性能有限;(2)许多方法通常依赖于传统的监督方法和特征的手动工程,而使用现代深度学习方法尚未充分探索该主题,即使在井标记样本有限的情况下。在本文中,我们提出了一个一对所有的图像异常检测系统(OIAD)的基础上解开学习使用干净的样本。我们的关键见解是,小扰动对潜在表示的影响可以为正常样本的范围,而异常图像通常在这样的有界区间之外,称为结构一致性。我们实现了这个想法,并评估其性能异常检测。我们对三个数据集的实验表明,OIAD可以检测到超过$90\%$的异常,同时保持较低的误报率。它还可以从标记为干净的样本中检测出可疑样本,这与人类认为不寻常的情况相吻合。
2020-03-26 cs.CV cs.DB cs.LG
Efficient Attack Detection in IoT Devices using Feature Engineering-Less Machine Learning
University of Delaware(特拉华大学)
通过深度学习的推广,研究界已经解决了网络安全领域的关键挑战,如恶意软件识别和异常检测。然而,他们还没有讨论将它们部署在物联网(IoT)设备上进行日常操作。物联网设备通常在内存和处理能力方面受到限制,导致计算密集型深度学习环境无法使用。这项研究提出了一种克服这一障碍的方法,即绕过深度学习管道中的特征工程,使用原始数据包数据作为输入。我们引入了一个无特征工程的机器学习(ML)过程来在物联网设备上执行恶意软件检测。我们提出的模型,“特征工程-少-ML(FEL-ML)”,是一个轻量级的检测算法,不需要对“工程”特征进行额外的计算。它有效地加速了低功耗的物联网边缘。它是在未处理的数据包字节流上训练的。除了提供更好的结果外,它比传统的基于特征的方法更快。FEL-ML促进了资源敏感的网络流量安全,并消除了主题专家在功能工程方面的重大投资。
2023-01-09 cs.AI cs.CR cs.LG
LLM-Powered Text-Attributed Graph Anomaly Detection via Retrieval-Augmented Reasoning
University of Southern California(南加州大学);Capital One(第一资本金融公司);City College of New York(纽约城市学院);Brown University(布朗大学)
本文提出基于检索增强推理的LLM驱动文本属性图异常检测框架,通过生成语义连贯但上下文不一致的异常节点,提升异常检测效果。
2025-11-16 cs.AI cs.LG
Multi-Perspective Content Delivery Networks Security Framework Using Optimized Unsupervised Anomaly Detection
Western University(韦仕敦大学);Ericsson(爱立信)
内容分发网络(CDN)通过互联网提供高效的内容分发。CDN提高了全球通信的连通性和效率,但其缓存机制可能会被网络攻击者破坏。在安全机制中,有效的异常检测是CDN安全增强的重要组成部分。在这项工作中,我们提出了一个多角度的无监督学习框架的CDN异常检测。在该框架中,提出了一种多视角的特征工程方法、一种利用隔离森林和高斯混合模型的优化无监督异常检测模型以及一种多视角的验证方法,主要从客户端IP和节点的角度检测CDN中的异常行为,从而识别拒绝服务(DoS)和缓存污染攻击(CPA)模式。实验结果是基于一个主要的CDN运营商提供的八天的真实世界的CDN日志数据的分析。实验结果表明,该框架能够有效识别异常内容、入侵节点、恶意IP及其对应的攻击类型,并得到多位网络安全专家的验证。这表明了所提出的方法在应用于现实世界的CDN数据时的有效性。
2021-07-24 cs.AI cs.CR cs.LG
An Open-Access Benchmark of Statistical and Machine-Learning Anomaly Detection Methods for Battery Applications
BASF SE(巴斯夫股份有限公司);Institute of Multidisciplinary Research for Advanced Materials(多学科先进材料研究所)
本研究提出开源基准 OSBAD,通过 15 种算法评估电池异常检测,引入物理统计特征转换和 Bayesian optimization 超参数调优,验证跨化学体系泛化能力,为安全关键能源系统提供统一诊断基础。
2025-11-03 cs.AI cs.LG stat.ME
Reasoning-based Anomaly Detection Framework: A Real-time, Scalable, and Automated Approach to Anomaly Detection Across Domains
Apple(苹果公司)
针对大型分布式系统异常检测中数据量大、数据集异构、根因定位难的问题,提出集成mSelect自动算法与超参数调优、检测后根因分析的RADF框架,实验显示其在多数公共基准数据集上AUC表现优于现有最优模型。
2025-10-03 cs.AI cs.LG
See it, Think it, Sorted: Large Multimodal Models are Few-shot Time Series Anomaly Analyzers
Tsinghua University(清华大学)
本文提出TAMA框架,利用大型多模态模型将时间序列转为视觉格式,通过少样本学习实现高效异常检测与自然语言解释,在多个真实数据集上优于现有方法,并贡献了首个含多类标签的开源数据集。
2024-11-04 cs.AI cs.LG stat.ML
Adaptive Dual-Layer Web Application Firewall (ADL-WAF) Leveraging Machine Learning for Enhanced Anomaly and Threat Detection
Center for Informatics Science (CIS), School of Information Technology and Computer Science, Nile University(尼罗河大学信息技术与计算机科学学院信息学中心)
针对传统WAF难以区分恶意与合法流量、检测效果有限的问题,本文提出双层机器学习架构的ADL-WAF,经五个基准数据集验证,其检测准确率达99.88%、精确率100%,可有效降低误报、提升Web应用安全防护能力。
2025-11-16 cs.CR cs.LG cs.NI
MLography: An Automated Quantitative Metallography Model for Impurities Anomaly Detection using Novel Data Mining and Deep Learning Approach
Department of Computer Science, Ben-Gurion University of the Negev(内盖夫本古里安大学计算机科学系);Israel Atomic Energy Commission(以色列原子能委员会);Department of Physics, Nuclear Research Center-Negev(内盖夫核研究中心物理系);Department of Materials, Nuclear Research Center-Negev(内盖夫核研究中心材料系);Ben-Gurion University of the Negev(本古里安大学);Nuclear Research Center-Negev(内盖夫核研究中心);Ben-Gurion University of the Negev, Be’er Sheva, Israel(本古里安大学,以色列贝尔谢巴);Israel Atomic Energy Commission, Tel Aviv, Israel(以色列原子能委员会,特拉维夫,以色列);Nuclear Research Center-Negev, Be’er-Sheva, Israel(内盖夫核研究中心,贝尔谢巴,以色列)
大多数工程合金的显微组织中都含有一些夹杂物和析出物,这些夹杂物和析出物会影响合金的性能,因此对其进行表征至关重要。在这项工作中,我们专注于开发一种最先进的人工智能模型,用于异常检测,名为MLography,以自动量化合金中杂质的异常程度。为此,我们介绍了几种异常检测措施:空间,形状和面积异常,成功地检测到最异常的对象的基础上,他们的目标,鉴于杂质已经标记。前两个度量分别通过每个对象与其邻域相比的距离和大小以及其自身形状的异常来量化每个对象的异常程度。最后一项措施结合了前两项,并突出显示了所有输入图像中最异常的区域,以供以后(物理)检查。基于几个有代表性的案例,提出并分析了该模型的性能。我们强调,虽然这里提出的模型是为金相分析开发的,但它们中的大多数可以推广到更广泛的问题,其中需要对几何对象进行异常检测。所有模型以及为这项工作创建的数据集都可以在https://github.com/matanr/MLography上公开获得。
2020-02-27 cs.CV cs.LG eess.IV
Engineering Risk-Aware, Security-by-Design Frameworks for Assurance of Large-Scale Autonomous AI Models
SentinelAI
本文提出企业级风险感知、安全设计先行框架,通过威胁指标、对抗加固、异常检测与全生命周期审计监控,为大规模自主 AI 提供可证明的安全保障。
2025-05-09 cs.AI cs.CR cs.ET
IstGPT: LLM-based Anomaly Detection for Spatial-Temporal Graph in Industrial Systems
School of Cyber Engineering, Xidian University(电子科技大学信息工程学院);School of Science, Computing and Engineering Technologies, Swinburne University of Technology(斯winburne技术大学科学与工程技术学院);School of Computer Science and Technology, Xidian University(电子科技大学计算机科学与技术学院)
提出IstGPT,首个结合大语言模型与图学习的工业异常检测工具,通过多模态知识提取传感器-执行器依赖图并利用改进的图神经网络实现实时异常检测,在9个数据集上取得最佳F1分数和eTaF1指标。
2026-06-01 cs.CR cs.LG
Applied Bayesian Structural Health Monitoring: inclinometer data anomaly detection and forecasting
DYWIDAG Ltd UK(DYWIDAG英国有限公司)
本文提出了一种基于贝叶斯方法的测斜仪数据异常检测与预测框架,通过构建潜在自相关马尔可夫过程和非线性贝叶斯滤波器实现系统状态预测与高惊奇度异常识别,并在英国铁路网络大型真实数据集上验证了其计算高效性。
2023-07-01 cs.LG stat.ML
Anomaly Detection Based on Critical Paths for Deep Neural Networks
School of Electronic & Information Engineering (School of Big Data Science), Taizhou University(电子与信息工程学院(大数据科学学院),台州大学);Computer Science and Software Engineering, The University of Canterbury(计算机科学与软件工程系,坎特伯雷大学);School of EECS, The University of Queensland(电子工程与科学学院,昆士兰大学);College of Information Science and Engineering, Jinan University(信息科学与工程学院,济南大学);Digital Center, China Merchants Group Limited(中国商人集团有限公司数字中心)
本研究提出一种基于DNN关键路径的异常检测方法,通过遗传进化变异提取关键路径,结合随机子空间采样与投票集成多路径结果,在多类异常检测上精度优于现有最优方法。
2025-05-20 cs.AI cs.LG
Mahalanobis PatchCore: Covariance-Aware and Streaming-Compatible Industrial Anomaly Detection
Department of Engineering, University of Ferrara(费拉拉大学工程学院)
提出马氏距离 PatchCore,通过协方差估计和流式处理改进 PatchCore,在保持性能的同时降低峰值内存并提升工业检测精度。
2026-05-26 cs.AI cs.CV cs.LG
Robust Anomaly Detection in O-RAN: Leveraging LLMs against Data Manipulation Attacks
Monash University(墨尔本大学);Swinburne University of Technology(斯威本技术大学);The University of Melbourne(墨尔本大学)
针对O-RAN中恶意xApps利用Unicode篡改导致传统ML异常检测系统崩溃的问题,提出利用LLMs进行异常检测,证明其具备抗对抗攻击的鲁棒性且延迟低于0.07秒,适用于近实时RIC部署。
2025-08-11 cs.CR cs.ET cs.LG
Diagnostic Digital Twin for Anomaly Detection in Floating Offshore Wind Energy
Norwegian University of Science and Technology(挪威科技大学);SINTEF Digital(SINTEF数字研究院)
本文针对浮式海上风力涡轮机提出并实现了诊断数字孪生概念,结合实时数据与无监督学习方法构建正常运行模型以检测异常和诊断故障,并在故障发生前数小时成功预警,为海上资产的维护与寿命提升提供了可推广方案。
2024-06-04 cs.AI cs.ET cs.LG
Forward-Deployed Full-Stack Engineering for Autonomous Cloud MLOps
Tata Research Development and Design Centre(塔塔研究开发设计中心)
本研究提出带证据门控的多智能体框架,结合图工程等技术,在 Google Cloud Platform 实现自主云 MLOps 全栈工程,可阻止无效生命周期转换,保障任务达成验证部署或可审计失败。
2026-10-08 cs.AI cs.LG cs.MA
ADSAGE: Anomaly Detection in Sequences of Attributed Graph Edges applied to insider threat detection at fine-grained level
Atos Information Technology(Atos信息技术公司);University of Passau(帕绍大学)
以前的作品在CERT内部威胁检测的情况下,忽略了图形和文本功能,尽管它们的相关性来描述用户的行为。此外,现有系统严重依赖于特征工程和审计数据聚合来检测恶意活动。这是耗时的,需要专业知识,并防止追溯警报到精确的用户操作。为了解决这些问题,我们引入ADSAGE来检测异常的审计日志事件建模为图形边缘。我们的一般方法是第一个在边缘级别进行异常检测,同时支持边缘序列和属性,可以是数字,分类,甚至文本。我们描述了ADSAGE如何在CERT用例的不同审计日志中用于细粒度的事件级内部威胁检测。值得注意的是,没有标准的CERT问题的基准,我们使用以前提出的评估设置的基础上现实的召回为基础的指标。我们评估ADSAGE的身份验证,电子邮件流量和来自CERT内部威胁数据集的Web浏览日志,以及真实世界的身份验证事件。ADSAGE可以有效地检测身份验证中的异常,建模为用户与计算机的交互,以及电子邮件通信。简单的基线也会产生令人惊讶的强大结果。我们还报告了CERT数据集中存在的恶意场景的性能分裂:有趣的是,几个检测器是互补的,可以结合起来提高检测。总的来说,我们的研究结果表明,图特征是翔实的恶意内部活动的特征,并在细粒度级别的检测是可能的。
2020-07-14 cs.CR cs.LG stat.ML
Online Model-based Anomaly Detection in Multivariate Time Series: Taxonomy, Survey, Research Challenges and Future Directions
Mercedes-Benz AG(梅赛德斯-奔驰公司);Leiden University(莱顿大学)
本文综述了多元时间序列中基于模型的在线半监督与无监督异常检测方法,提出在线/离线与训练/推理的新分类法,并指出基准测试、数据集缺陷和评估指标不足是核心挑战。
2024-09-19 cs.AI cs.LG cs.SY
Forensic Data Analytics for Anomaly Detection in Evolving Networks
Western University(韦仕敦大学);Ericsson(爱立信);IBM(国际商业机器公司);Log5Data(Log5Data公司)
针对5G与虚拟化演进网络中的攻击和传统安全工具局限,提出融合多视角特征工程、无监督异常检测与结果校正的取证分析框架,并在真实网络数据上验证有效。
2023-08-17 cs.AI cs.CR cs.LG
Sub-seasonal forecasting with a large ensemble of deep-learning weather prediction models
Microsoft(微软);Department of Atmospheric Sciences, University of Washington(华盛顿大学大气科学系);Microsoft Research(微软研究院)
我们提出了一个使用深度学习天气预测(DLWP)模型的集合预测系统,该模型递归地预测具有6小时时间分辨率的关键大气变量。该模型在立方体球体网格上使用卷积神经网络(CNN)来生成全球预测。该方法计算效率高,在单个GPU上只需3分钟即可生成320个成员的六周预测集,分辨率为1.4°。包围扩散主要是通过随机化CNN训练过程来产生的,以创建一组32个DLWP模型,这些模型具有略微不同的学习权重。虽然我们的DLWP模型没有预测降水,但它确实预测了总柱水蒸气,并给出了飓风厄玛的合理的4.5天确定性预测。除了模拟中纬度天气系统外,它还在一年的自由运行模拟中自发生成热带气旋。在全球范围内和两年的测试集平均,集合平均RMSE保持技能相对于气候超过两周,异常相关系数保持在0.6以上,通过六天。我们的主要应用程序是在提前两到六周的次季节到季节(S2 S)预测。目前的预报系统在S2 S时间尺度上预测一周或两周平均天气类型的技能较低。连续排序概率得分(CRPS)和排序概率技能得分(RPSS)表明,DLWP集合的性能仅略逊于欧洲中期天气预报中心(ECMWF)S2 S集合在陆地上的4周和5-6周的前置时间。在较短的前置时间,ECMWF合奏表现优于DLWP。
2021-02-09 cs.LG physics.ao-ph
Unsupervised anomaly detection in large-scale estuarine acoustic telemetry data
Rhodes University(罗德斯大学);South African Institute for Aquatic Biodiversity(南非水生生物多样性研究所)
本研究针对南非布里德河口超过三百万条声学遥测数据,开发无监督自动异常检测分类器,提出阈值寻找算法辅助的神经网络自编码器(NN-AE),实现高召回率且无误报正常,显著优于其他模型。
2025-02-03 cs.LG
Model-driven Engineering for Machine Learning Components: A Systematic Literature Review
Monash University(莫纳什大学);Deakin University(迪肯大学)
本文通过系统文献综述梳理了模型驱动工程与机器学习交叉领域(MDE4ML)的研究现状,分析了其动机、MDE解决方案、评估技术及局限性,并指出研究空白与未来方向。
2023-11-01 cs.LG cs.SE
Intelligent Reservoir Decision Support: An Integrated Framework Combining Large Language Models, Advanced Prompt Engineering, and Multimodal Data Fusion for Real-Time Petroleum Operations
Everglades University(埃弗格莱兹大学);University of Campinas (UNICAMP)(坎皮纳斯州立大学)
本研究提出结合大语言模型、高级提示工程与多模态数据融合的集成框架,用于实时油藏分析与决策支持,在15个油藏环境中验证了高准确率、高安全性和显著的经济效益。
2025-09-14 cs.AI cs.CE cs.LG
A Kernel Two-sample Test for Dynamical Systems
RWTH Aachen University(亚琛工业大学);Uppsala University(乌普萨拉大学);FH JOANNEUM(约阿内应用科学大学);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
评估数据流是否来自相同的分布是各种机器学习问题的核心。这对于由动力系统生成的数据特别相关,因为这种系统对于生物医学,经济或工程系统中的许多现实世界过程是必不可少的。虽然核双样本检验对于比较独立同分布的随机变量是非常有效的,但是对于比较动力系统还没有建立的方法。主要的问题是固有的违反独立性假设。我们提出了一个双样本测试的动力系统,解决三个核心挑战:我们(i)引入一个新的概念,混合捕获自相关的相关度量,(ii)提出了一种有效的方法来估计混合速度纯粹依赖于数据,(iii)将这些集成到建立内核双样本测试。其结果是一种数据驱动的方法,可以直接用于实践,并具有良好的理论保证。在一个例子中的应用程序,从人类行走数据的异常检测,我们表明,该测试是很容易适用的,没有任何人类的专家知识和功能工程。
2022-09-04 cs.LG stat.ML
Transfer Learning from an Auxiliary Discriminative Task for Unsupervised Anomaly Detection
Center for Urban Science and Progress(城市科学与进步中心);New York University(纽约大学);Institute Of Design And Urbanism(设计与城市主义研究所);ITMO University(圣彼得堡国立信息技术机械与光学大学)
从移动网络等高维数据中进行无监督异常检测是一项具有挑战性的任务。如何从这些高维数据中提取特征是该领域的研究热点。本研究的目的是探讨网络分类学习到的特征在无监督异常检测中的可移植性。我们建议使用一个辅助分类任务提取特征,从无标记的数据通过监督学习,可用于无监督的异常检测。我们通过设计实验来检测来自纽约和台北的移动网络数据中的异常来验证这种方法,并将结果与PCA和自动编码器的传统无监督特征学习方法进行比较。我们发现,我们的特征学习方法对两个数据集都产生了最佳的异常检测性能,优于其他研究方法。这建立了这种方法的实用功能工程,它可以应用于其他类似性质的问题。
2019-12-05 cs.LG physics.soc-ph stat.ML
A Review of Physics-Informed Machine Learning Methods with Applications to Condition Monitoring and Anomaly Detection
McMaster University(麦克马斯特大学)
本文综述 PIML 将物理定律与约束融入机器学习的方法,分析其在状态监测和异常检测中的优劣、适用性及案例价值。
2024-01-22 cs.AI cs.LG cs.SY
On the Impact of Entropy-based Features
Federal University of Rio Grande do Sul - UFRGS(鲁西南联邦大学);Federal University of Santa Maria - UFSM(圣玛丽亚联邦大学);Federal University of Rio Grande - FURG(里奥格兰德联邦大学)
研究网络异常检测中传统统计特征的不足,提出将熵作为附加特征补充传统描述符,集成到机器学习流程中。通过实验对比有无该特征的模型,结果显示能提升分类性能、降低误分类,为增强异常检测流程提供实用方法。
2026-07-20 cs.CR cs.LG
CSTS: A Canonical Security Telemetry Substrate for AI-Native Cyber Detection
本文提出CSTS,一种通用安全遥测基础结构,旨在通过统一异构网络安全数据表示,提升AI原生网络安全检测的可重用性和可扩展性。
2026-04-06 cs.CR cs.LG
Feature Extraction for Novelty Detection in Network Traffic
Columbia University(哥伦比亚大学);University of Chicago(芝加哥大学)
数据表示在机器学习中的新颖性检测(或"异常检测“)方法的性能中起着关键作用。网络流量的数据表示往往决定了这些模型的有效性,就像模型本身一样。网络运营商需要检测的各种各样的新事件(例如,攻击、恶意软件、新应用程序、业务需求的变化)引入了广泛的可能模型和数据表示的可能性。在每个场景中,从业者都必须花费大量的精力来提取和设计对该情况或应用程序最具预测性的功能。虽然异常检测在计算机网络中得到了很好的研究,但许多现有的工作开发了假定特定表示的特定模型-通常是IPFIX/NetFlow。然而,其他表示可能会导致更高的模型准确性,可编程网络的兴起现在使得探索更广泛的表示变得更加实际。为了促进这种探索,我们开发了一个系统的框架,开源工具包和公共Python库,使其能够轻松地从网络流量中提取和生成特征,并在最流行的现代新奇检测模型中对这些表示进行端到端的评估。我们首先开发并公开发布了一个开源工具,一个附带的Python库(NetML)和端到端管道,用于网络流量中的新奇检测。其次,我们将此工具应用于网络中的五个不同的新奇检测问题,从攻击检测到新颖设备检测,涵盖了一系列场景。我们的研究结果一般的见解和指导方针,哪些功能似乎更适合于特定的情况。
2021-06-10 cs.LG cs.NI
Fault Detection in Solar Thermal Systems using Probabilistic Reconstructions
University of Tübingen(图宾根大学);Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所)
针对太阳能热系统故障检测问题,提出基于概率重构的异常检测框架,在PaSTS数据集上验证其可检测多样故障且泛化至未见过的系统,还证明异方差不确定性估计的重要性,论证简单深度学习模型的合理性。
2025-11-13 cs.LG cs.SY eess.SY
Unsupervised Machine Learning for Networking: Techniques, Applications and Research Challenges
Information Technology University (ITU)-Punjab(旁遮普信息技术大学);National University of Sciences and Technology (NUST)(国立科技大学);Sunway University(双威大学);Lancaster University(兰卡斯特大学);University of Stirling(斯特灵大学);Western Michigan University(西密歇根大学)
虽然机器学习和人工智能长期以来一直应用于网络研究,但大部分此类工作都集中在监督学习上。最近,使用非结构化原始网络数据来采用无监督机器学习以提高网络性能并提供诸如流量工程、异常检测、互联网流量分类和服务质量优化的服务的趋势正在上升。在网络中应用无监督学习技术的兴趣来自于它们在其他领域的巨大成功,例如计算机视觉、自然语言处理、语音识别和最优控制(例如,用于开发自动驾驶汽车)。无监督学习很有趣,因为它可以使我们摆脱对标记数据和手工特征工程的需求,从而促进灵活,通用和自动化的机器学习方法。这篇综述论文的重点是概述无监督学习在网络领域的应用。我们提供了一个全面的调查,突出了无监督学习技术的最新进展,并描述了它们在网络环境中的各种学习任务的应用。我们还提供了关于未来方向和开放研究问题的讨论,同时也确定了潜在的陷阱。虽然之前已经发表了一些关于机器学习在网络中应用的调查论文,但文献中缺少类似范围和广度的调查。通过本文,我们通过仔细综合这些调查论文的见解,同时提供对最新进展的当代报道,来推进知识状态。
2017-09-19 cs.LG cs.NI
SERVIMON: AI-Driven Predictive Maintenance and Real-Time Monitoring for Astronomical Observatories
INAF, Osservatorio Astrofisico di Catania(意大利国家天体物理研究所,卡塔尼亚天文物理观测站)
ServiMon提出一种结合云原生技术与机器学习的可扩展智能流水线,用于天文望远镜系统的预测性维护、实时异常检测与监控,有效提升系统弹性与科学数据质量。
2025-10-31 astro-ph.IM cs.LG
End-to-End Learning for Partially-Observed Time Series with PyPOTS
PyPOTS Research(PyPOTS研究)
本文介绍PyPOTS,一个用于部分观测时间序列的端到端数据挖掘和机器学习工具,涵盖缺失值处理、预处理、模型训练与评估,提升可重复性和性能。
2026-04-27 cs.AI cs.LG
Improving Image Clustering with Artifacts Attenuation via Inference-Time Attention Engineering
Kioxia Corporation(铠侠公司)
针对预训练ViT模型(尤其DINOv2)中多头注意力高范数伪影降低零样本图像聚类准确率的问题,提出推理时注意力工程(ITAE)方法,无需重训练/微调,通过识别并衰减伪影对应注意力值,在多个数据集上提升了聚类准确率。
2024-10-07 cs.CV cs.LG
Diffuse to Detect: Generative Diffusion Models for Unsupervised IC Anomaly Detection
Department of Electrical and Computer Engineering, University of California Santa Barbara, CA, USA(加州大学圣芭芭拉分校电子与计算机工程系)
提出首个结合扩散Transformer的无监督异常检测框架,通过自编码器压缩、结构化令牌序列和噪声预测误差实现晶圆级快速筛选,在16nm IC测试数据上达到最优性能。
2026-05-26 cs.AI cs.LG
Graph Contrastive Learning for Anomaly Detection
Tsinghua University(清华大学);Renmin University of China(中国人民大学);Mininglamp Technology(明略科技);Bosch Center for Artificial Intelligence(博世人工智能中心);University of Oslo(奥斯陆大学)
基于图的异常检测已被广泛用于检测真实世界应用中的恶意活动。解决这个问题的现有尝试迄今为止集中在结构特征工程或学习的二进制分类制度。在这项工作中,我们建议利用图对比编码,并提出监督GraphCAD模型,用于根据异常节点与正常节点到全局上下文的距离(例如,所有节点的平均值)。为了处理具有稀缺标签的场景,我们通过设计用于生成合成节点标签的图破坏策略,进一步使GraphCAD成为一个自监督框架。为了达到对比的目的,我们设计了一个图神经网络编码器,可以推断和进一步删除可疑的链接在消息传递过程中,以及学习输入图的全局上下文。我们在四个公共数据集上进行了广泛的实验,证明1)GraphCAD显著且持续优于各种高级基线,2)其无需微调的自监督版本可以实现与其完全监督版本相当的性能。
2022-08-29 cs.LG
Filter-then-Verify: A Multiphase GNN and ModernBERT Framework for Social Engineering Detection in Email Networks
School of Computing Sciences and Computer Engineering, The University of Southern Mississippi(计算机科学与计算机工程学院,密西西比大学)
本文提出了一种结合图神经网络和现代BERT的多阶段框架,用于检测电子邮件网络中的社会工程攻击,通过结构异常检测和内容验证相结合,实现了高召回率和高精确度。
2026-05-17 cs.CR cs.LG
Time-Series Anomaly Classification for Launch Vehicle Propulsion Systems: Fast Statistical Detectors Enhancing LSTM Accuracy and Data Quality
The Aerospace Corporation(航空航天公司)
本文提出基于马哈拉诺斯距离和前向-后向检测分数的统计检测器,用于优化LSTM分类器的训练标签,从而提升发射车辆推进系统时间序列异常分类的准确性和数据质量。
2026-01-07 cs.LG stat.AP stat.ML
Evaluating Anomaly Detectors for Simulated Highly Imbalanced Industrial Classification Problems
Department of Computing and Software, McMaster University(计算与软件系,麦斯特大学);Center for Mechatronics and Hybrid Technologies, McMaster University(机电与混合技术中心,麦斯特大学)
本文评估了不同异常检测器在高度不平衡工业分类问题中的性能,发现最佳检测器依赖于训练数据中的故障示例数量,半监督和监督方法在特定条件下表现更优。
2026-01-14 cs.AI cs.LG
OMASGAN: Out-of-Distribution Minimum Anomaly Score GAN for Sample Generation on the Boundary
Cranberry-Lemon University(蔓越莓-柠檬大学)
以无监督方式训练的生成模型可以为分布外(OoD)样本设置高可能性和低重建损失。这增加了II类错误,并导致遗漏异常,从而总体上降低了异常检测(AD)性能。此外,由于异常的罕见性,AD模型表现不佳。为了解决这些限制,我们提出了OoD最小异常分数GAN(OMASGAN)。OMASGAN以负数据增强方式在估计的分布边界上生成异常样本。然后,这些样本被用于改进AD模型,从而更准确地估计底层数据分布,包括具有断开模式的多模态支持。OMASGAN通过以自监督学习方式包括在分布边界上生成的异常最小异常分数OoD样本来执行再训练。对于推理,对于AD,我们设计了一个训练器,该训练器使用生成的(阴性或阳性)或真实的(仅阳性)阴性和阳性样本进行训练。OMASGAN通过仅使用正态类数据在分布边界上生成强和对抗性OoD样本来解决异常的罕见性,有效地解决了模式坍塌。我们模型的一个关键特征是,它在其变分表示中使用任何f-发散分布度量,不要求可逆性。OMASGAN不使用特征工程,也不对数据分布做任何假设。使用留一法对图像数据进行的OMASGAN评估表明,与其他AD基准和最先进的模型相比,在MNIST和CIFAR-10数据集上,它分别实现了AUROC平均至少0.24和0.07点的改善。
2022-02-02 cs.LG stat.ML
A Semi-supervised Object Detection Algorithm for Underwater Imagery
University of Sydney(悉尼大学);Norwegian University of Science and Technology(挪威科技大学)
针对AUV水下图像数据集无标注、类别不平衡导致目标检测难的问题,提出基于VAE的半监督异常检测框架,结合隐空间聚类与重建误差异常分数,在真实海底无标注数据集上实现0.64的平均精度。
2023-06-07 cs.CV cs.LG
Federated Semi-Supervised Classification of Multimedia Flows for 3D Networks
University of Pisa(比萨大学);CNR, Institute of Informatics and Telematics(意大利国家研究委员会信息学与电信研究所);CNR, Institute of Information Science and Technologies(意大利国家研究委员会信息科学与技术研究所)
自动业务分类在业务工程中正日益变得重要,因为加密传输信息(例如,在HTTP加密隧道之后)防止中间结点访问端到端分组报头。然而,该信息对于流量整形、网络切片和服务质量(QoS)管理、防止网络入侵和异常检测至关重要。3D网络提供多条路由,可以保证不同级别的QoS。因此,服务分类和分离对于通过适当的网络干线向每个业务子流保证所需的QoS水平是必不可少的。本文提出了一种联合特征选择和特征约简学习方案,以半监督协作方式对网络流量进行分类。3D网络的联合网关有助于增强网络流量的全局知识,以提高异常和入侵检测以及新流量的服务识别的准确性。
2022-05-01 cs.LG cs.NI
DUNE: A Machine Learning Deep UNet++ based Ensemble Approach to Monthly, Seasonal and Annual Climate Forecasting
University of Maryland Baltimore County(马里兰大学巴尔的摩分校)
本研究提出基于深度UNet++的DUNE集成气候预测架构,利用ERA5数据训练,可快速生成高分辨率的多尺度全球温度预测,性能优于传统方法及部分AI模型,可应用于集成数据同化。
2024-08-12 cs.LG physics.ao-ph
Engineering Attack Vectors and Detecting Anomalies in Additive Manufacturing
New Mexico Institute of Mining and Technology(新墨西哥州矿业与技术研究所)
本研究提出了一种基于Transformer的无监督入侵检测系统,用于检测增材制造过程中由中间人攻击引起的隐蔽异常。
2026-01-01 cs.AI cs.CR cs.LG