Dynamic Graph-Based Anomaly Detection in the Electrical Grid
Carnegie Mellon University(卡内基梅隆大学);National University of Singapore(新加坡国立大学)
鉴于传感器读数随时间推移从电网,我们如何才能准确地检测到何时发生异常?实现这一目标的一个关键部分是使用电网传感器网络实时快速检测电网上发生的任何异常事件,无论是自然故障还是恶意事件。业内现有的不良数据检测器缺乏强大的复杂性,无法鲁棒地检测广泛类型的异常,尤其是那些由于新出现的网络攻击而导致的异常,因为它们一次只对电网的单个测量快照进行操作。新的ML方法适用范围更广,但通常不考虑拓扑变化对传感器测量的影响,因此无法适应历史数据中的定期拓扑调整。因此,我们提出了DYNWATCH,一个领域知识为基础的和拓扑感知算法的异常检测使用传感器放置在一个动态的网格。我们的方法是准确的,在实验中超过现有的方法20%或更多(F-测量);和快速,运行在60 K+分支情况下,使用膝上计算机,每个传感器的平均每个时间刻度小于1.7毫秒,并在图的大小线性缩放。
2021-12-02 cs.LG
Flex-GAD : Flexible Graph Anomaly Detection
IIT Bhilai(比哈尔理工学院)
检测属性网络中的异常节点,其中每个节点都与结构连接和描述性属性相关联,对于识别社交网络,学术引文图和电子商务平台等领域中的欺诈,错误信息和可疑行为至关重要。我们提出了Flex-GAD,一种新的无监督框架,用于在节点级别进行图异常检测。Flex-GAD集成了两个编码器来捕获图形数据的互补方面。该框架采用了一种新的基于社区的GCN编码器,将社区内和社区间的信息建模到节点嵌入中,从而确保结构的一致性,以及标准的属性编码器。这些不同的表示融合使用基于自我注意力的表示融合模块,它使自适应加权和有效的整合的编码信息。这种融合机制允许跨不同编码器自动强调最相关的节点表示。我们评估Flex-GAD在七个真实世界的属性图具有不同的大小,节点度和属性同质性。Flex-GAD的平均AUC比之前表现最好的方法GAD-NR提高了7.98%,证明了其在不同图形结构中的有效性和灵活性。此外,它还显著缩短了训练时间,在7个基准数据集上,平均每个epoch的运行速度比Anomaly DAE快102倍,比GAD-NR快3倍。
2025-10-29 cs.LG cs.SI
Federated Isolation Forest for Efficient Anomaly Detection on Edge IoT Systems
University of Novi Sad(诺维萨德大学)
本研究基于现有联邦学习框架开发了面向MicroPython边缘物联网设备的孤立森林温度异常检测系统,在低内存占用下实现了高准确率与精确率,兼顾资源适配性与数据隐私。
2025-09-04 cs.DC cs.LG
Deep learning guided Android malware and anomaly detection
University of Manchester(曼彻斯特大学);University of Bristol(布里斯托尔大学)
在过去的十年中,与移动设备有关的网络犯罪有所增加。移动设备,特别是运行在Android操作系统上的移动设备对恶意软件创建者特别感兴趣,因为用户通常在其移动设备上保存最大数量的个人信息,例如他们的联系人,社交媒体配置文件,电子邮件和银行账户。动态和静态恶意软件分析对于预防和检测恶意软件都是必要的,因为这两种技术都有各自的优点和缺点。在本文中,我们提出了一种深度学习技术,该技术依赖于LSTM和编码器-解码器神经网络架构,用于基于CPU,内存和电池使用情况的动态恶意软件分析。所提出的系统能够检测并通知用户系统中的异常,这可能是恶意软件行为的后果。该方法作为OWASP Seraphimdroids反恶意软件机制的一部分实现,并通知用户设备上的异常情况。证明该方法的F1评分为79.2%。
2019-10-23 cs.CR cs.CY cs.LG
Anomaly Detection in a Large-scale Cloud Platform
IBM Canada Lab(IBM加拿大实验室);IBM(IBM公司);Ryerson University(瑞尔森大学)
云计算无处不在:越来越多的公司正在将工作负载迁移到云中。然而,这种普及率的上升对云服务提供商提出了挑战,因为他们需要有效地监控其不断增长的产品的质量。为了应对这一挑战,我们为IBM Cloud Platform设计并实现了一个自动化监控系统。该监控系统利用深度学习神经网络同时近实时检测多个平台组件中的异常。在运行系统一年后,我们观察到,所提出的解决方案将DevOps团队的时间和人力资源从手动监控数千个云组件中解放出来。此外,它通过降低云中断的风险来提高客户满意度。在本文中,我们将分享我们的解决方案架构、实施说明以及在监控系统发展过程中出现的最佳实践。其他研究人员和从业人员可以利用它们来构建复杂系统的异常检测器。
2021-02-11 cs.DC cs.LG cs.SE
CAMLPAD: Cybersecurity Autonomous Machine Learning Platform for Anomaly Detection
Academy of Science(科学院);TJHSST
随着机器学习和网络安全在数字生态系统的背景下持续爆炸,网络安全数据的复杂性与复杂且规避的机器学习算法相结合,导致在设计用于智能自动异常分类的端到端系统时遇到巨大困难。另一方面,传统的系统使用基本的统计技术,往往不准确,导致集中式数据分析平台薄弱。在本文中,我们提出了一个新的系统,解决这两个问题,名为CAMLPAD,网络安全自主机器学习平台异常检测。CAMLPAD系统简化的整体方法首先使用elasticsearch实时的检索大量不同种类的网络安全数据,然后运行几种机器学习算法,即隔离森林,基于直方图的离群值得分(HBOS),基于聚类的局部离群值因子(CBLOF)和K均值聚类,以处理数据。接下来,使用Kibana将计算出的异常可视化,并为其分配一个离群值分数,该分数作为是否应向系统管理员发送网络中存在潜在异常的警报的指标。在模拟环境中对我们的平台进行全面测试后,CAMLPAD系统达到了95%的调整后rand分数,显示了系统可靠的准确性和精度。总而言之,CAMLPAD系统为实时的网络安全异常检测提供了一种准确、简化的方法,提供了一种有可能彻底改变网络安全领域的新型解决方案。
2019-07-23 cs.CR cs.LG cs.NI
Anomaly Detection in Power Generation Plants with Generative Adversarial Networks
Rhodes University(罗德斯大学);University of Limerick(利默里克大学);AIMS(非洲数学科学研究所)
本文针对发电厂燃料消耗异常检测问题,构建并微调GANs模型,结合随机森林特征重要性分析与数据增强,将准确率由66.45%提升至98.99%。
2023-09-30 cs.LG math.OC stat.ML
ADIC: Anomaly Detection Integrated Circuit in 65nm CMOS utilizing Approximate Computing
Mentor Graphics(明导国际);Delta-NTU Corporate Laboratory for Cyber-Physical Systems(台达-南洋理工大学网络物理系统联合实验室);Pandit Deendayal Petroleum University(潘迪特·迪恩达亚尔石油大学)
提出了一种基于单类分类器(OCC)神经网络的低功耗异常检测集成电路(ADIC)。ADIC通过以下两方面的结合实现低功耗工作:(a)精心选择在线学习算法;(b)采用近似计算技术降低平均能耗。特别是,在线伪逆更新方法(OPIUM)被用来训练一个随机神经网络快速和资源有效的学习。当使用较轻版本的OPIUM方法进行相同数量的数据样本的训练时,可以实现额外的42%的节能,从而不会对推理质量产生显着影响。该方法采用K基集成学习器代替单个神经元分类器,将学习记忆降低了K倍。这也使得通过基于异常检测动态地改变神经网络大小来进行近似计算成为可能。该ADIC采用65 nm CMOS工艺制造,具有K = 7个基本学习器(BL),每个BL中有32个神经元,当所有7个BL都被启用时,在学习和推理过程中分别消耗11.87pJ/OP和3.35pJ/OP。此外,在NASA轴承数据集上进行评估,大约80%的芯片可以在99%的寿命内关闭,从而导致0.48pJ/OP的能量效率,比在整个寿命内以1.2V运行的全精度计算降低了18.5倍。
2020-08-21 cs.AR cs.LG eess.SP
SmoothGNN: Smoothing-aware GNN for Unsupervised Node Anomaly Detection
The Chinese University of Hong Kong(香港中文大学);City University of Hong Kong(香港城市大学)
针对图学习平滑问题,提出无监督节点异常检测框架SmoothGNN,利用个体和邻域平滑模式设计学习组件、谱图神经网络与异常度量,在9个数据集上AUC平均提升14.66%,运行加速75倍。
2024-10-17 cs.LG
A Hierarchical Approach to Conditional Random Fields for System Anomaly Detection
PES University(PES大学)
在许多行业中,以时间敏感的方式识别大规模系统中的异常事件的异常检测是至关重要的,例如。银行欺诈、企业系统、医疗警报等。大规模系统的规模和复杂性通常会随着时间的推移而增长,异常检测算法需要适应不断变化的结构。层次化方法利用了复杂系统和局部环境中的隐含关系。复杂系统中的功能在数据分布方面可能会有很大的不同,从多个数据源捕获不同的方面,并在放在一起时提供更完整的系统视图。在本文中,考虑两个数据集,第一个包括来自运行在云服务上的机器的系统度量,第二个是来自大规模分布式软件系统的应用度量,其系统节点之间具有固有的层次结构和互连。通过比较基于变点的PELT算法、基于认知学习的分层时间记忆算法、支持向量机和条件随机场的算法,为提出分层全局-局部条件随机场方法提供了基础,该方法可以准确地捕获复杂系统中各种特征的异常。分层算法可以学习特定特征的复杂性,并在全局抽象表示中利用这些特征来鲁棒地检测多源特征数据和分布式系统中的异常模式。对复杂系统的图形网络分析可以进一步微调数据集,以基于可用特征挖掘关系,这可以使分层模型受益。此外,分层解决方案可以很好地适应本地级别的变化,在系统的某些部分进行大修时学习新数据和不断变化的环境,并将这些学习转化为系统的全局视图。
2022-10-28 cs.DC cs.LG
A Giant-Step Baby-Step Classifier For Scalable and Real-Time Anomaly Detection In Industrial Control Systems and Water Treatment Systems
Swansea University(斯旺西大学)
本文提出了一种基于线性化非线性关系的异常检测方法,通过水处理测试平台验证,实现毫秒级异常检测,兼具速度与可解释性,准确率达97.72%。
2026-04-08 cs.CR cs.LG
On the Effectiveness of Log Representation for Log-based Anomaly Detection
Polytechnique Montreal(蒙特利尔理工学院)
本文系统比较了六种日志表示技术在四个公开日志数据集和七种机器学习模型上的异常检测效果,并分析了日志解析与特征聚合的影响,为自动化日志分析工作流中的表示技术选择提供了实证指导。
2024-04-08 cs.LG cs.SE
Using a Neural Network to Detect Anomalies given an N-gram Profile
University of the District of Columbia(哥伦比亚特区大学)
为了检测计算机程序的未知入侵和运行时错误,网络安全社区已经开发了各种检测技术。异常检测是一种被设计成剖析计算机程序的正常运行时行为以便将入侵和错误检测为与所观察到的正常的异常偏差的方法。然而,正常但未观察到的行为可能会引发误报。这一限制大大降低了异常检测技术的实际可行性。报告的方法,这一限制跨越一个简单的警报阈值定义的分布模型,近似所有的正常行为的基础上,有限的观察。然而,每一种假设或近似都可能导致更高的假阳性率。本文介绍了我们的研究如何解释异常的存在,使用神经网络,特别是长短期记忆,独立于实际的数据分布。我们提出并比较了三种异常检测模型,并报告了我们在Apache超文本传输协议服务器上运行不同类型攻击的经验。我们进行了一项比较研究,重点是每个模型检测每次攻击的能力,同时避免由未知的正常行为导致的误报。我们性能最好的模型检测到了每一次攻击的真正开始,并且没有误报。
2021-06-01 cs.CR cs.LG
Fault Detection in Solar Thermal Systems using Probabilistic Reconstructions
University of Tübingen(图宾根大学);Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所)
针对太阳能热系统故障检测问题,提出基于概率重构的异常检测框架,在PaSTS数据集上验证其可检测多样故障且泛化至未见过的系统,还证明异方差不确定性估计的重要性,论证简单深度学习模型的合理性。
2025-11-13 cs.LG cs.SY eess.SY
MINES: Explainable Anomaly Detection through Web API Invariant Inference
National University of Singapore(国立新加坡大学);Shanghai Jiao Tong University(上海交通大学);Singapore Management University(新加坡管理学院);GovTech Singapore(新加坡政府科技局);Chongqing University(重庆大学)
提出MINES方法,通过从模式级别推断可解释的API不变式来检测Web应用异常,显著降低误报率并提高召回率。
2026-05-30 cs.CR cs.DB cs.LG
UN-AVOIDS: Unsupervised and Nonparametric Approach for Visualizing Outliers and Invariant Detection Scoring
University of Victoria(维多利亚大学);Helwan University(赫尔万大学)
异常(离群值)的可视化和检测对许多领域至关重要,特别是网络安全。在这些领域已经提出了几种方法,但据我们所知,没有一种方法在一个连贯的框架内同时或合作地实现了这两个目标。这些方法的可视化方法被引入用于解释检测算法的输出,而不是用于促进独立视觉检测的数据探索。这是我们的出发点:UN-AVOIDS,一种用于异常值可视化(人类过程)和检测(算法过程)的无监督和非参数方法,它分配不变的异常分数(归一化为$[0,1]$),而不是硬二进制决策。UN-AVOIDS的主要新颖之处在于它将数据转换到一个新的空间,本文将其引入邻域累积密度函数(NCDF),在该空间中进行可视化和检测。在该空间中,异常值在视觉上是显著可区分的,因此由检测算法分配的异常评分实现了高的ROC曲线下面积(AUC)。我们在模拟和两个最近发布的网络安全数据集上评估了UN-AVOIDS,并将其与三种最成功的异常检测方法进行了比较:LOF,IF和FABOD。在AUC方面,联合国艾滋病规划署几乎是全面赢家。文章最后为联合国艾滋病规划署提供了一个新的理论和实践途径的预览。其中之一是设计一个可视化辅助异常检测(VAAD),这是一种通过提供UN-AVOIDS的检测算法(在后台引擎中运行),NCDF可视化空间(渲染为图)以及原始特征空间中的其他传统可视化方法来帮助分析人员的软件,所有这些都在一个交互式环境中链接。
2022-08-18 cs.LG stat.AP stat.ML
Towards an Efficient Anomaly-Based Intrusion Detection for Software-Defined Networks
Ozyegin University(奥兹耶金大学);Ege University(埃格大学)
软件定义网络(SDN)是允许开发更灵活的网络应用的新范例。SDN控制器是一个集中式的控制点,负责运行各种网络应用,并维护不同的网络服务和功能。选择高效的入侵检测系统有助于减少运行控制器的开销,并创建更安全的网络。在这项研究中,我们研究了著名的基于异常的入侵检测方法的准确性,误报率,精度,召回率,f1-措施,ROC曲线下的面积,执行时间和Mc Nemar的测试方面的性能。准确地说,我们专注于监督机器学习方法,其中我们使用以下分类器:决策树(DT)、极限学习机(ELM)、朴素贝叶斯(NB)、线性判别分析(LDA)、神经网络(NN)、支持向量机(SVM)、随机森林(RT)、K最近邻(KNN)、AdaBoost、RUSBoost、LogitBoost和BaggingTrees,我们使用著名的NSL-KDD基准数据集来比较这些分类器中每一个的性能。
2018-08-19 cs.CR cs.LG
Unsupervised Anomaly Detection via Deep Metric Learning with End-to-End Optimization
Bilkent University(比尔肯特大学);DataBoss A.S.(DataBoss公司)
我们研究了高维数据的无监督异常检测,并介绍了一个基于深度度量学习(DML)的框架。特别是,我们通过深度神经网络学习距离度量。通过这个度量,我们将数据投影到度量空间中,更好地将异常数据与正常数据分开,并减少高维数据的维数灾难的影响。我们提出了一种新的数据蒸馏方法,通过自我监督,以弥补传统的做法,假设所有的数据是正常的。我们还采用了硬挖掘技术,从DML文献。我们表明,这些组件提高了我们的模型的性能,并显着减少运行时间。通过对14个真实世界数据集的广泛实验,与最先进的无监督异常检测方法相比,我们的方法表现出显着的性能提升,例如,14个数据集的平均绝对改善率在4.44%和11.74%之间。此外,我们在Github上分享了我们的方法的源代码,以方便进一步的研究。
2020-05-12 cs.LG stat.ML
Anomaly Correction of Business Processes Using Transformer Autoencoder
Anhui University of Science and Technology(安徽理工大学);Anhui Province Engineering Laboratory for Big Data Analysis and Early Warning Technology of Coal Mine Safety(安徽省煤矿安全大数据分析与预警技术工程实验室)
针对现有事件日志异常处理依赖阈值且难以兼顾检测、修正与效率的问题,提出基于 Transformer 自编码器和自监督分类的方法,可直接修正任意长度流程实例并提升检测准确性。
2024-04-16 cs.AI cs.LG
Anomaly detecting and ranking of the cloud computing platform by multi-view learning
Liaoning Normal University(辽宁师范大学)
异常检测作为云计算中的一项重要技术,用于支持云平台的平稳运行。传统的基于统计、分析等的检测方法由于参数设置的非适应性和敏感性,导致虚警率高。提出了一种基于机器学习理论的在线异常检测模型。然而,现有的大多数基于机器学习的方法都是将不同子系统的所有特征直接连接成一个长的特征向量,既难以充分利用子系统间的互补信息,又忽略了多视角特征对分类性能的提升。针对这一问题,该方法自动融合多视角特征,并优化判别模型,以提高准确率。该模型利用极限学习机(ELM)提高检测效率。ELM是一种单隐层神经网络,它将迭代求解输出权值转化为求解线性方程组,避免了局部最优解。然后根据样本与分类边界的关系对异常进行排序,并为排序后的异常分配权重,最后对分类模型进行再训练。该方法充分利用了子系统间的互补信息,避免了不平衡数据集的影响,从而能够应对云计算平台带来的各种挑战。我们通过Openstack部署私有云平台,验证了所提出的模型,并将结果与最先进的方法进行比较,具有更好的效率和简单性。
2019-01-27 cs.LG stat.ML
TrajMind: Chaining Role-Specialized LoRAs for Fast-and-Slow Collective Trajectory Anomaly Diagnosis
The Hong Kong Polytechnic University(香港理工大学)
TrajMind是一种快慢结合的框架,通过角色专用LoRA实现群体轨迹异常诊断,慢路径TrajMind_slow性能优于基线,快路径TrajMind_fast延迟低且准确率高,可用于城市交通治理。
2026-09-07 cs.LG
Robust Errant Beam Prognostics with Conditional Modeling for Particle Accelerators
Oak Ridge National Laboratory(橡树岭国家实验室);University of Houston(休斯顿大学)
针对粒子加速器系统配置变化导致的数据变异性挑战,采用条件孪生神经网络(CSNN)和条件变分自编码器(CVAE)预测异常束流脉冲,实验证明CSNN性能优于CVAE。
2024-02-19 cs.LG physics.acc-ph
TBDetector:Transformer-Based Detector for Advanced Persistent Threats with Provenance Graph
本文提出TBDetector,一种基于Transformer和溯源图的APT检测方法,利用自注意力编码器-解码器提取系统状态长期特征,并引入异常分数,在五个公开数据集上验证了优于现有方法的检测性能。
2025-07-17 cs.AI cs.CR cs.LG
Self-Adaptive Anomaly Detection with Reinforcement Learning and Human Feedback in Connected Vehicles
本文针对车联网运行中行为监测的挑战,提出集成强化学习、统计监测和人工反馈的在线异常检测框架,通过自注意力选择检测器、多检测器集成及人工再训练机制,在测试平台上实现持续自适应且避免灾难性遗忘。
2026-07-10 cs.AI cs.LG