Unsupervised Anomalous Data Space Specification
University of Waterloo(滑铁卢大学)
编写计算机算法的意图是,当运行时,它们执行有用的功能。通常,获得的任何信息在算法运行之前都是未知的。然而,如果一个算法的行为可以通过预先计算一次该算法在任何输入上执行时将如何响应来完全描述,那么这个预先计算的结果为问题域中的所有解决方案提供了完整的规范。我们将这个想法应用到以前的异常检测算法,并在这样做时,将其从一个只检测个别异常时,要求发现潜在的异常值,到一个算法也能够生成一个完整的规范,它会认为是异常的值。该规范是通过检查不超过一个小的训练数据而得出的,可以在非常小的恒定时间内获得,并且本质上比通过重复执行该工具获得的结果有用得多。例如,有了这样一个规范,人们可以问一个异常与被认为是正常的有多接近,并且可以通过检查这样生成的规范是否确实正确而不是通过详尽地测试算法来验证这个答案。这个强大的思想可以应用于任何算法,其运行时行为可以从其构造中恢复,因此具有广泛的适用性。
2018-10-18 cs.LG stat.ML
Unsupervised Network Intrusion Detection System for AVTP in Automotive Ethernet Networks
Télécom Paris, IP Paris(巴黎电信学院,巴黎理工学院)
网络入侵检测系统(NIDS)被广泛认为是保护车载网络免受各种网络攻击的有效工具。然而,由于网络攻击总是在不断发展,基于特征的入侵检测系统不再被采用。另一种解决方案可以是部署基于深度学习的入侵检测系统,该系统在检测网络流量中的未知攻击模式方面发挥重要作用。因此,在本文中,我们比较了不同的无监督深度和基于机器学习的异常检测算法的性能,用于实时检测音频视频传输协议(AVTP)上的异常,AVTP是最近基于汽车以太网的车载网络中实现的应用层协议。在最近发布的“汽车以太网入侵数据集”上进行的数值结果表明,在不同的实验设置下,深度学习模型在机器学习中的表现明显优于其他最先进的传统异常检测模型。
2022-04-25 cs.CR cs.LG cs.NI
Unsupervised Machine Learning for Networking: Techniques, Applications and Research Challenges
Information Technology University (ITU)-Punjab(旁遮普信息技术大学);National University of Sciences and Technology (NUST)(国立科技大学);Sunway University(双威大学);Lancaster University(兰卡斯特大学);University of Stirling(斯特灵大学);Western Michigan University(西密歇根大学)
虽然机器学习和人工智能长期以来一直应用于网络研究,但大部分此类工作都集中在监督学习上。最近,使用非结构化原始网络数据来采用无监督机器学习以提高网络性能并提供诸如流量工程、异常检测、互联网流量分类和服务质量优化的服务的趋势正在上升。在网络中应用无监督学习技术的兴趣来自于它们在其他领域的巨大成功,例如计算机视觉、自然语言处理、语音识别和最优控制(例如,用于开发自动驾驶汽车)。无监督学习很有趣,因为它可以使我们摆脱对标记数据和手工特征工程的需求,从而促进灵活,通用和自动化的机器学习方法。这篇综述论文的重点是概述无监督学习在网络领域的应用。我们提供了一个全面的调查,突出了无监督学习技术的最新进展,并描述了它们在网络环境中的各种学习任务的应用。我们还提供了关于未来方向和开放研究问题的讨论,同时也确定了潜在的陷阱。虽然之前已经发表了一些关于机器学习在网络中应用的调查论文,但文献中缺少类似范围和广度的调查。通过本文,我们通过仔细综合这些调查论文的见解,同时提供对最新进展的当代报道,来推进知识状态。
2017-09-19 cs.LG cs.NI
Machine Learning based Anomaly Detection for 5G Networks
Macquarie University(麦考瑞大学)
保护未来的网络将是一个具有挑战性的领域,因为物联网(IoT)造成的网络安全威胁和攻击面不断扩大,网络异构性增加,虚拟化技术和分布式架构的使用增加。本文提出了SDS(软件定义安全)作为一种手段,提供一个自动化,灵活和可扩展的网络防御系统。SDS将利用当前机器学习的进步,设计一个使用NAS(神经架构搜索)的CNN(卷积神经网络)来检测异常网络流量。SDS可以应用于入侵检测系统,为5G网络创建更主动和端到端的防御。为了测试这一假设,从一个模拟的环境中正常和异常的网络流量已经收集和分析与CNN。该方法的结果是有希望的,因为该模型已经识别出良性流量的准确率为100%,异常流量的检测率为96.4%。这证明了网络流量分析对各种常见恶意攻击的有效性,也为检测加密的恶意网络流量提供了一种可行的选择。
2020-03-07 cs.CR cs.LG stat.ML
ARCADE: Adversarially Regularized Convolutional Autoencoder for Network Anomaly Detection
Technology and Innovation Institute(技术创新研究所)
随着异构IP连接设备数量和流量的增加,安全漏洞的可能性也在增加。未被发现的对这些漏洞的利用可能会带来严重的网络安全和隐私风险。基于异常的\acp{IDS}在网络安全中起着至关重要的作用。在本文中,我们提出了一种实用的基于无监督异常的深度学习检测系统,称为ARCADE(用于无监督网络异常检测的逆正则卷积自动编码器)。通过卷积\ac{AE},ARCADE使用网络流的几个初始数据包的原始字节子集自动构建正常流量的配置文件,以便在潜在的网络异常和入侵对网络造成更大损害之前有效地检测到它们。ARCADE只接受正常交通的训练。提出了一种对抗性训练策略,以正则化和降低\ac{AE}重构非正态分布网络流的能力,从而提高其异常检测能力。所提出的方法比最先进的深度学习方法更有效地进行网络异常检测。即使只检查网络流的两个初始数据包,ARCADE也可以有效地检测恶意软件感染和网络攻击。ARCADE提供的参数比基线少20倍,实现了更快的检测速度和反应时间。
2022-12-14 cs.CR cs.LG cs.NI
Deep Unsupervised Image Anomaly Detection: An Information Theoretic Framework
Shanghai Jiao Tong University(上海交通大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
代理任务为基础的方法,最近显示出很大的希望,无监督的图像异常检测。然而,不能保证代理任务与异常检测共享一致的优化方向。在本文中,我们回到一个直接的目标函数异常检测与信息论,最大限度地提高正常和异常数据之间的距离的联合分布的图像和他们的代表。不幸的是,这个目标函数在训练期间没有提供异常数据的无监督设置下不能直接优化。通过对上述目标函数的数学分析,我们将其分解为四个部分。为了在无监督的方式进行优化,我们表明,在正常和异常数据的分布在潜在空间中是可分离的假设下,其下限可以被认为是一个函数的权重之间的权衡互信息和熵。该目标函数能够解释基于代理任务的异常检测方法的有效性,并进一步指出了潜在的改进方向。基于这个目标函数,我们引入了一个新的信息理论框架的无监督图像异常检测。大量的实验表明,所提出的框架显着优于几个国家的最先进的多个基准数据集。
2020-12-09 cs.CV cs.LG stat.ML
Unraveling Anomalies in Time: Unsupervised Discovery and Isolation of Anomalous Behavior in Bio-regenerative Life Support System Telemetry
本研究针对南极 EDEN ISS 空间温室遥测数据,利用时间序列聚类对异常检测结果进行分类,评估了识别系统性异常行为的有效性,并证实 MDI 和 DAMP 方法能产生互补结果。
2024-09-26 cs.AI cs.IR cs.LG
Rule Extraction in Unsupervised Anomaly Detection for Model Explainability: Application to OneClass SVM
Telefónica(西班牙电信);Universidad Politécnica de Madrid(马德里理工大学)
单类支持向量机是一种流行的无监督异常检测方法。与许多其他方法一样,它也存在黑箱问题:很难以直观和简单的方式证明为什么决策前沿将数据点识别为异常或非异常。这种类型的问题在监督模型中得到了广泛的解决。然而,它仍然是一个未知领域的无监督学习。在本文中,我们评估了OneClass SVM模型的几种规则提取技术,以及其中一些算法的替代设计。与此同时,我们提出了计算与可解释人工智能(XAI)相关的指标的算法,这些指标涉及提取规则的“可理解性”、“代表性”、“稳定性”和“多样性”。我们使用不同的数据集来评估我们的提案,包括来自行业的真实数据。有了这个,我们的建议有助于扩展XAI技术的无监督机器学习模型。
2021-04-01 cs.AI cs.LG
Unsupervised Contextual Anomaly Detection using Joint Deep Variational Generative Models
提出了一种用于无监督上下文异常检测的方法,该方法使用交叉链接的变分自动编码器对来为观察分配正态性分数。该方法能够将上下文属性与行为属性区分开,并且对于异常或新颖的上下文属性的存在是鲁棒的。该方法可以用包含异常的数据集进行训练,而无需任何特殊的预处理。
2019-04-01 cs.LG stat.ML
Learning to Detect Anomalous Wireless Links in IoT Networks
Jožef Stefan Institute(约瑟夫·斯特凡研究所);Jožef Stefan International Postgraduate School(约瑟夫·斯特凡国际研究生院);Bitlis Eren University(比特利斯·埃伦大学);University of Ljubljana(卢布尔雅那大学)
经过数十年的研究,物联网(IoT)终于渗透到现实生活中,并有助于提高基础设施和流程的效率以及我们的健康。随着大量物联网设备的部署,它们自然会产生巨大的运营成本,以确保预期的运营。为了有效地处理大规模物联网网络中的此类预期操作,自动检测故障,即异常检测,成为一项关键但具有挑战性的任务。在本文中,受现实世界实验性物联网部署的启发,我们介绍了在链路层识别的四种类型的无线网络异常。我们研究的性能阈值和机器学习(ML)为基础的分类器自动检测这些异常。我们检查了三种有监督和三种无监督ML技术在非编码和编码(自动编码器)特征表示上的相对性能。我们的研究结果表明,i)选定的监督方法能够检测F1分数高于0.98的异常,而无监督方法也能够检测F1分数平均为0.90的所述异常,以及ii)OC-SVM优于所有其他无监督ML方法,对于SuddenD,F1分数为0.99,对于SuddenR,F1分数为0.95,对于InstaD,F1分数为0.93,对于SlowD,F1分数为0.95。
2020-11-23 cs.LG cs.NI eess.SP
Lossy Compression for Robust Unsupervised Time-Series Anomaly Detection
Advanced Center for Electrical and Electronic Engineering(先进电子电气工程中心);University of Chile(智利大学)
提出了一种新的用于异常检测的有损因果时间卷积神经网络自编码器。我们的框架使用率失真损失和熵瓶颈来学习任务的压缩潜在表示。使用率失真损失的主要思想是引入表示的灵活性,忽略或变得鲁棒的不太可能的事件与独特的模式,如异常。这些异常表现为独特的失真特征,可以在测试条件下准确检测。这种新的架构允许我们训练一个完全无监督的模型,该模型在从失真分数检测异常时具有很高的准确性,尽管是用一些未标记的异常数据进行训练的。这种设置与许多最先进的无监督方法形成鲜明对比,这些方法要求模型仅在“正常数据”上进行训练。我们认为,这部分违反了异常检测的无监督训练的概念,因为模型使用了一个明智的决策,从异常中选择正常的训练。此外,有证据表明,它也影响模型的泛化能力。我们证明了,在只对正常数据进行训练的范例中取得成功的模型在异常数据注入训练时无法保持稳健。相比之下,我们的基于压缩的方法收敛到一个强大的表示,容忍一些异常失真。通过使用率失真损失的模型实现的鲁棒表示可以用于更现实的无监督异常检测方案中。
2022-12-05 cs.IT cs.LG math.IT
Unsupervised Anomaly Detection for Tabular Data Using Noise Evaluation
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出一种通过评估数据噪声量进行表格数据无监督异常检测的新方法,利用干净与噪声数据训练神经网络,提供理论保证,在60多个数据集上平均AUC达92.27%,优于12种基线方法且更易实现。
2024-12-16 cs.AI cs.LG
Likelihood-Based Unsupervised Anomaly Detection in CMS Dijet Events
Mohan Babu University(莫汉·巴布大学);VIT-AP University(VIT-AP大学)
本文利用神经样条流密度估计对CMS双喷注事件进行无监督异常检测,无需信号假设,识别出与标准模型本底显著偏离的异常事件,为LHC新物理搜索提供模型无关的探索工具。
2026-09-09 cs.LG hep-ex
Anomalous Sound Detection as a Simple Binary Classification Problem with Careful Selection of Proxy Outlier Examples
Johannes Kepler University(约翰内斯·开普勒大学);Software Competence Center Hagenberg GmbH(哈根贝格软件能力中心有限公司)
无监督的异常声音检测涉及识别偏离定义为“正常”的声音,而不明确指定异常的类型。一个重要的障碍是异常值的多样性和稀有性,这通常会阻止我们收集一组有代表性的异常声音。因此,大多数异常检测方法使用无监督而不是有监督的机器学习方法。尽管如此,我们将表明,异常声音检测可以有效地框架作为一个监督分类问题,如果一组异常样本被仔细替换我们所谓的代理离群值。代理异常值的候选者大量可用,因为它们可能包括既不正常也不异常的声音的所有录音。我们对2020年DCASE挑战赛的机器状态监测数据集进行了实验,发现了具有匹配记录条件和与目标声音高度相似性的代理异常值,这些异常值特别具有信息性。如果没有具有相似声音和匹配记录条件的数据可用,则优选在这两个维度上具有较大多样性的数据集。我们的模型基于有代理离群值的监督训练,在DCASE2020挑战赛的任务2中排名第三。
2020-11-05 cs.LG cs.SD eess.AS
Diminishing Empirical Risk Minimization for Unsupervised Anomaly Detection
Australian Artificial Intelligence Institute, University of Technology Sydney(悉尼科技大学澳大利亚人工智能研究所);Centre for Medical Research, The University of Western Australia(西澳大学医学研究中心)
无监督异常检测在实际应用中是一项具有挑战性的任务。近年来,利用深度神经网络(DNN)检测异常的趋势越来越明显。然而,大多数流行的深度AD检测器不能保护网络免受异常数据带来的学习污染信息的影响,导致检测性能不理想和过拟合问题。在这项工作中,我们确定了阻碍大多数现有的基于DNN的异常检测方法执行的一个原因是经验风险最小化(ERM)的广泛采用。ERM假设算法在未知分布上的性能可以通过对已知训练集上的损失进行平均来近似。因此,这种平均方案忽略了正常情况和异常情况之间的区别。为了突破ERM的局限性,我们提出了一个新的递减经验风险最小化(DERM)框架。具体来说,DERM通过精心设计的聚合策略自适应地调整个人损失的影响。理论上,我们提出的DERM可以直接修改优化过程中每个个体损失的梯度贡献,以抑制离群值的影响,从而产生鲁棒的异常检测器。从经验上讲,DERM在由18个数据集组成的无监督AD基准测试中表现优于最先进的技术。
2022-05-29 cs.LG
Sequence Aggregation Rules for Anomaly Detection in Computer Network Traffic
KeyW Corporation(KeyW公司)
我们评估的方法,将无监督的异常检测应用到网络安全应用程序上的计算机网络流量数据,或流。我们从自然语言处理文献中借用,并将流概念化为机器之间的一种“语言”。评估了五个序列聚合规则在标记流数据集CICIDS2017中标记多种攻击类型的有效性。对于序列建模,我们依赖于长短期记忆(LSTM)递归神经网络(RNN)。此外,还描述了一个简单的基于频率的模型,并将其在攻击检测方面的性能与LSTM模型进行了比较。我们的结论是,对于手头的任务,基于频率的模型往往表现得与LSTM模型一样好或更好,但有一些明显的例外。
2018-05-14 cs.CR cs.CY cs.LG
SmoothGNN: Smoothing-aware GNN for Unsupervised Node Anomaly Detection
The Chinese University of Hong Kong(香港中文大学);City University of Hong Kong(香港城市大学)
针对图学习平滑问题,提出无监督节点异常检测框架SmoothGNN,利用个体和邻域平滑模式设计学习组件、谱图神经网络与异常度量,在9个数据集上AUC平均提升14.66%,运行加速75倍。
2024-10-17 cs.LG
Quorum: Zero-Training Unsupervised Anomaly Detection using Quantum Autoencoders
Rice University(莱斯大学);Stanford University(斯坦福大学)
针对量子机器学习模型训练困难及异常检测需无监督方法的问题,提出首个无需训练的无监督量子异常检测框架Quorum,利用量子计算解决多行业关键异常检测挑战。
2025-04-17 cs.ET cs.LG
Context-Dependent Anomaly Detection for Low Altitude Traffic Surveillance
Aarhus University(奥胡斯大学)
背景异常的检测是一项具有挑战性的任务,因为在特定的环境背景下,观察可以被认为是异常的或正常的。无人驾驶飞行器(UAV)可以利用其空中监测能力并采用多个传感器来收集关于环境的上下文信息并执行上下文异常检测。在这项工作中,我们引入了一种基于深度神经网络的方法(CADNet)来发现点异常(即,单实例异常数据)和上下文异常(即,特定环境异常)。该方法是基于一个变分自编码器(VAE)与上下文子网络。上下文子网络使用GPS和时间数据提取关于环境的上下文信息,然后将其馈送到VAE以预测以上下文为条件的异常。据我们所知,我们的方法是第一个上下文异常检测方法的无人机辅助空中监视。我们评估我们的方法上的AU-AIR数据集在交通监控场景。对几个基线的定量比较表明,我们的方法在异常检测任务的优越性。代码和数据将在www.example.com上提供。
2021-04-14 cs.CV cs.LG
Towards Multiple Missing Values-resistant Unsupervised Graph Anomaly Detection
针对不完整图上无监督异常检测存在的插补偏差与跨视图误差干扰问题,提出M²V-UGAD框架,通过双路径独立重构、潜在空间正则化与困难负样本采样,在多缺失率场景下取得更优检测效果。
2025-11-13 cs.LG
Time Series Anomaly Detection; Detection of anomalous drops with limited features and sparse examples in noisy highly periodic data
Google, Inc.(谷歌公司)
Google使用来自行业合作伙伴的连续数据流,以便向用户提供准确的结果。意外的流量下降可能是潜在问题的指示,也可能是需要采取补救措施的早期警告。检测这样的丢弃是不平凡的,因为流是可变的和有噪声的,在流量数据中具有大致规则的尖峰(以许多不同的形状)。我们研究了我们是否可以预测这些数据流中的异常的问题。我们的目标是利用机器学习和统计方法对周期性但有噪声的流量模式中的异常下降进行分类。由于我们没有大量的标记示例来直接应用监督学习进行异常分类,因此我们分两部分处理这个问题。首先,我们使用TensorFlow来训练我们的各种模型,包括DNN、RNN和LSTM,以执行回归并预测时间序列中的期望值。其次,我们创建了异常检测规则,将实际值与预测值进行比较。由于这个问题需要找到持续的异常,而不仅仅是数据中的短暂延迟或瞬间不活动,因此我们的两种检测方法专注于连续的活动部分,而不仅仅是单个点。我们尝试了模型和规则的多种组合,发现使用两种异常检测方法的交集被证明是检测几乎所有模型异常的有效方法。在这个过程中,我们还发现并非所有数据都符合我们的实验假设,因为一个数据流没有周期性,因此没有基于时间的模型可以预测它。
2017-08-11 cs.LG stat.ML
GCTAM: Global and Contextual Truncated Affinity Combined Maximization Model For Unsupervised Graph Anomaly Detection
School of Software, Yunnan University, Kunming, China(云南大学软件学院,昆明,中国)
本文提出GCTAM模型,结合上下文和全局亲和力截断,提升无监督图异常检测效果。
2026-03-02 cs.GR cs.LG cs.SI
Unsupervised anomaly detection in large-scale estuarine acoustic telemetry data
Rhodes University(罗德斯大学);South African Institute for Aquatic Biodiversity(南非水生生物多样性研究所)
本研究针对南非布里德河口超过三百万条声学遥测数据,开发无监督自动异常检测分类器,提出阈值寻找算法辅助的神经网络自编码器(NN-AE),实现高召回率且无误报正常,显著优于其他模型。
2025-02-03 cs.LG
Call Detail Records Driven Anomaly Detection and Traffic Prediction in Mobile Cellular Networks
University of Science and Technology Beijing(北京科技大学);COMSATS University Islamabad(COMSATS伊斯兰堡大学)
移动网络拥有关于用户以及网络的信息。这些信息对于使网络端到端可见和智能化非常有用。大数据分析可以有效地分析用户和网络信息,在机器学习工具的帮助下挖掘有意义的见解。利用大数据分析和机器学习,这项工作在三个方面做出了贡献。首先,我们利用呼叫详细记录(CDR)数据来检测网络中的异常。对于异常的认证和验证,我们使用k-means聚类,一种无监督的机器学习算法。通过对异常的有效检测,我们可以进行适当的资源分配设计以及故障检测和避免。其次,我们通过去除异常活动来准备无异常数据,并训练神经网络模型。通过将异常数据和无异常数据通过该模型,我们观察了异常活动对模型训练的影响,并观察了异常数据和无异常数据的均方误差。最后,我们使用自回归综合移动平均(ARIMA)模型来预测未来的流量为用户。通过简单的可视化,我们表明,无异常数据更好地概括了学习模型,并在预测任务上表现得更好。
2018-07-30 cs.AI cs.LG stat.ML
Coincident Learning for Unsupervised Anomaly Detection
Stanford University(斯坦福大学);SLAC National Laboratory(SLAC国家实验室)
本文提出CoAD方法,利用特征空间不同切片间的巧合行为,通过无监督指标$\hat{F}_β$训练异常检测算法,适用于多模态任务,并在合成、MNIST及两个真实数据集上验证了有效性。
2023-09-05 cs.LG
Anomaly Detection in Soil Heavy Metal Contamination Using Unsupervised Learning for Environmental Risk Assessment
Institute of Environment and Sanitation Studies(环境与卫生研究所);Department of Mathematics(数学系);Department of Actuarial Science(精算科学系)
本文利用无监督学习方法检测土壤中重金属污染模式,识别异常样本,通过HI和ILCR指数评估健康风险,发现六个稳健异常点,揭示不同类型的污染特征,为环境管理提供精准依据。
2026-04-29 cs.AI cs.LG physics.data-an
Few-Shot Adaptation for Anomalous Sound Detection at Low False-Positive Rate
University of Genoa(热那亚大学);TU Graz(格拉茨工业大学);voestalpine Stahl GmbH(奥钢联钢铁公司)
针对工业机械异常声音检测的高误报率问题,提出两步式方法,结合正则化无监督模型与少样本适配策略,显著提升了AUPR和低误报率区域的检测性能。
2026-10-15 cs.LG cs.SD eess.AS
Learning Representation for Anomaly Detection of Vehicle Trajectories
Northwestern University(西北大学);University of California, Irvine(加州大学欧文分校)
根据周围车辆的历史轨迹预测其未来轨迹是自动驾驶中的一项关键任务。然而,当小的精心制作的扰动被引入到这些历史轨迹中时,所得到的异常(或对抗性)轨迹可以显著地误导自我车辆的未来轨迹预测模块,这可能导致不安全的规划甚至致命的事故。因此,它是非常重要的,以检测周围车辆的异常轨迹的系统安全,但很少有工作已经解决了这个问题。在这项工作中,我们提出了两种新的方法来学习有效和高效的表示在线异常检测的车辆轨迹。与一般的时间序列异常检测不同,异常车辆轨迹检测处理的是道路上更丰富的上下文和异常轨迹本身更少的可观察模式。为了解决这些挑战,我们的方法利用对比学习技术和轨迹语义来捕获驾驶场景下的模式,分别在监督和无监督设置下进行有效的异常检测。我们进行了大量的实验,以证明我们的监督方法的基础上对比学习和无监督方法的基础上重建与语义潜在空间可以显着提高异常轨迹检测的性能,在其相应的设置在各种基线方法。我们还展示了我们的方法的泛化能力,以检测看不见的异常模式。
2023-03-09 cs.LG
Deep Dense and Convolutional Autoencoders for Unsupervised Anomaly Detection in Machine Condition Sounds
CCG ZGDV Institute(CCG ZGDV研究所);Bosch Car Multimedia, Portugal(博世汽车多媒体(葡萄牙)公司)
本技术报告描述了为DCASE 2020挑战任务2开发的两种方法。挑战涉及到无监督学习来检测异常声音,因此在训练过程中只有正常的机器工作条件样本可用。这两种方法涉及深度自动编码器,基于使用melspectogram处理的声音特征的密集和卷积架构。使用挑战的六种机器类型数据集进行实验。总体而言,所提出的密集和卷积AE实现了具有竞争力的结果,优于基线挑战方法。
2020-06-19 cs.LG cs.SD eess.AS
Unsupervised Abnormal Traffic Detection through Topological Flow Analysis
University of Bucharest(布加勒斯特大学)
网络威胁是我们现代技术世界中的一个永久性问题。近年来,复杂的流量分析技术和异常检测(AD)算法被用来应对越来越多的颠覆性对抗攻击。恶意入侵,定义为意图非法利用私有资源的入侵行为,通过不寻常的数据流量和/或异常连接模式表现出来。尽管过多的统计或基于签名的检测器,目前在文献中提供的拓扑连接组件的恶意流是利用较少。此外,现有的统计入侵检测器中有很大一部分是基于监督学习的,它依赖于标记数据。通过将网络流视为一对节点之间的加权有向交互,本文提出了一种简单的方法,便于在无监督异常检测算法中使用连接图特征。我们在真实的网络流量数据集上测试了我们的方法,并观察到了标准AD的几个改进。
2022-05-14 cs.CR cs.LG
Unsupervised Anomaly Detection in NSL-KDD Using $β$-VAE: A Latent Space and Reconstruction Error Approach
Université de Reims Champagne-Ardenne(兰斯香槟-阿登大学);Seckiot
本文提出基于β-VAE的无监督异常检测方法,通过潜在空间结构和重构误差在NSL-KDD数据集上验证了其在网络流量异常检测中的有效性。
2026-02-23 cs.LG cs.NE stat.ML
Anomaly Detection in Predictive Maintenance: A New Evaluation Framework for Temporal Unsupervised Anomaly Detection Algorithms
University of Granada(格拉纳达大学);ArcelorMittal Global R&D(安赛乐米塔尔全球研发中心)
异常检测的研究缺乏一个统一的定义,什么代表一个异常的实例。异常本身性质的离散性导致算法设计和实验的多种范式。预测性维护是一种特殊情况,其中异常表示必须防止的故障。相关的时间序列研究,如离群值和新颖性检测或时间序列分类不适用于这一领域的异常概念,因为它们不是以前没有见过的单一点,可能无法精确注释。此外,由于缺乏注释的异常数据,许多基准是从监督的情况下改编的。为了解决这些问题,我们概括的概念,积极和消极的情况下,以间隔能够评估无监督的异常检测算法。我们还保留了不平衡计划的评估,通过建议的前窗ROC,一个概括的ROC曲线的计算时间序列的情况。我们还适应机制,从一个既定的时间序列异常检测基准建议的概括,以奖励早期检测。因此,该提案为不同的设想方案提供了一个灵活的评价框架。为了证明这个定义的有用性,我们包括了一个由ArcelorMittal公司提供的大数据算法与现实世界时间序列问题的案例研究,并将该建议与评估方法进行了比较。
2021-09-02 cs.LG
Unsupervised Baseline Clustering and Incremental Adaptation for IoT Device Traffic Profiling
The Beacom College of Computer \& Cyber Sciences Dakota State University Madison, SD, USA
提出两阶段无监督流量分析流程,使用DBSCAN进行基线聚类(NMI 0.78),BIRCH实现增量自适应(纯度0.87),揭示静态高纯度与增量灵活性之间的权衡。
2026-02-27 cs.CR cs.LG cs.NI
Post-Hoc Calibrated Anomaly Detection
RHEINLAND-PFÄLZISCHE TECHNISCHE UNIVERSITÄT(莱茵兰-普法尔茨技术大学)
本研究探索事后校准在深度无监督异常检测中的应用,发现Platt缩放和Beta校准结合梯度扰动可提升性能,且异常暴露仅对初始训练更有效。
2025-03-25 cs.LG
Unsupervised anomaly detection for discrete sequence healthcare data
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
医疗保健中的欺诈行为很普遍,因为医生可以开不必要的治疗来增加账单。保险公司希望检测到这些异常的欺诈性账单,并减少他们的损失。传统的欺诈检测方法使用专家规则和人工数据处理。最近,机器学习技术使这一过程自动化,但手工标记的数据成本极高,而且通常已经过时。我们提出了一个机器学习模型,以无监督的方式自动化欺诈检测。两种深度学习方法包括用于预测下一次患者就诊的LSTM神经网络和seq2seq模型。为了对产生的异常分数进行标准化,我们提出了经验分布函数(EDF)方法。因此,该算法适用于高类别不平衡问题。我们使用安联公司的患者就诊数据序列的真实数据进行验证。这些模型为医疗保健中的欺诈检测提供了无监督异常检测的最新结果。我们的EDF方法进一步提高了LSTM模型的质量。
2020-10-12 cs.LG stat.ML
A Coarse-to-Fine Pseudo-Labeling (C2FPL) Framework for Unsupervised Video Anomaly Detection
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学)
本文提出由粗到细伪标签(C2FPL)框架,通过分层分裂聚类和统计假设检验生成片段级伪标签,用于训练无监督视频异常检测器,在UCF-Crime和XD-Violence上优于现有OCC和US方法并接近WS方法性能。
2023-10-26 cs.CV cs.LG
Anomaly Detection with Inexact Labels
NTT Communication Science Laboratories(NTT通信科学实验室);NTT Software Innovation Center(NTT软件创新中心)
我们提出了一种监督异常检测方法的数据与不准确的异常标签,其中每个标签,这是分配给一组实例,表明至少有一个实例中的集合是异常的。虽然已经提出了许多异常检测方法,但它们不能处理不精确的异常标记。为了测量不精确异常标签的性能,我们定义了不精确AUC,这是我们对不精确标签的ROC曲线下面积(AUC)的扩展。所提出的方法训练异常得分函数,使得不精确AUC的平滑近似增加,而非异常实例的异常分数变低。我们通过基于神经网络的无监督异常检测方法对异常得分函数进行建模,例如,自动编码器。所提出的方法执行良好,即使只有少量的不精确的标签是通过将一个无监督的异常检测机制与不精确的AUC最大化。使用各种数据集,我们的实验证明,我们提出的方法提高了异常检测性能与不准确的异常标签,并优于现有的无监督和监督异常检测和多实例学习方法。
2019-09-11 cs.LG stat.ML
Unsupervised anomaly detection in MeV ultrafast electron diffraction
本文提出一种无监督方法,通过卷积自编码器计算衍射图案的重建均方误差,用于检测和去除异常图案,实验表明该方法在低误报率下有效。
2026-03-13 cs.LG physics.ins-det
AnoViT: Unsupervised Anomaly Detection and Localization with Vision Transformer-based Encoder-Decoder
Korea University(高丽大学)
图像异常检测问题的目的是确定图像是否异常,并检测异常区域。这些方法在制造业、医疗保健、智能信息等各个领域得到了积极应用。编码器-解码器结构已经被广泛用于异常检测领域,因为它们可以在无监督学习环境中容易地学习正常模式,并且通过指示输入图像和重构图像之间的差异的重构误差来计算用于识别异常的分数。因此,目前的图像异常检测方法普遍采用卷积编解码器,通过图像的局部特征提取正常信息。然而,它们的局限性在于,由于使用固定大小的滤波器的卷积运算的特性,在构造正常表示时只能利用图像的局部特征。因此,我们提出了一个基于视觉Transformer的编码器-解码器模型,命名为AnoViT,旨在反映正常的信息,通过额外的学习图像块之间的全局关系,这是能够图像异常检测和定位。所提出的方法构造了一个特征图,保持现有的位置信息的个人补丁,通过使用嵌入的所有补丁通过多个自我注意层。所提出的AnoViT模型在三个基准数据集上的表现优于基于卷积的模型。在MVTecAD中,这是异常定位的代表性基准数据集,与基线相比,15个类别中有10个类别的结果有所改善。此外,所提出的方法表现出良好的性能,无论类和类型的异常区域定位结果进行定性评价。
2022-03-21 cs.CV cs.LG
DeepHTTP: Semantics-Structure Model with Attention for Anomalous HTTP Traffic Detection and Pattern Mining
Beihang University(北京航空航天大学);National Computer Network Emergency Response Technical Team/Coordination Center of China(国家计算机网络应急技术处理协调中心);Beijing University of Posts and Telecommunications(北京邮电大学)
网络时代,网络攻击频繁发生,类型复杂。访问活动产生的流量可以记录网站状态和用户请求信息,这为网络攻击检测带来了很大的机会。在众多的网络协议中,超文本传输协议(HTTP)被广泛应用于政府、组织和企业。在这项工作中,我们提出了DeepHTTP,一个语义结构集成模型,利用双向长短期记忆(Bi-LSTM)和注意力机制将HTTP流量建模为自然语言序列。除了提取交通内容信息,我们整合结构信息,以提高模型的泛化能力。此外,注意力机制的应用可以帮助发现异常流量的关键部分,并进一步挖掘攻击模式。此外,我们演示了如何增量更新数据集和重新训练模型,使其能够适应新的异常流量。通过大量流量数据的实验评估表明,DeepHTTP在流量检测和模式发现方面具有出色的性能。
2018-10-30 cs.CR cs.LG
Spatio-Temporal Meta-Graph Learning for Traffic Forecasting
The University of Tokyo(东京大学);Toyota Motor Corporation(丰田汽车公司)
交通量预测作为多元时间序列预测的一个典型任务,一直是人工智能领域的重要研究课题。为了解决交通流中隐含的时空异质性和非平稳性,在这项研究中,我们提出了时空元图学习作为一种新的时空数据的图结构学习机制。具体来说,我们将这个想法实现到元图卷积递归网络(MegaCRN)中,将由元节点库驱动的元图学习器插入GCRN编码器-解码器。我们对两个基准数据集(即,METR-LA和PEMS-BAY)以及一个名为EXPY-TKY的新的大规模交通速度数据集,该数据集覆盖了东京的1843条高速公路。我们的模型在所有三个数据集上都优于最先进的模型。此外,通过一系列的定性评估,我们证明了我们的模型可以明确地解开道路连接和时隙与不同的模式,并鲁棒地适应任何异常的交通情况。代码和数据集可在https://github.com/deepkashiwa20/MegaCRN上获得。
2023-03-06 cs.AI cs.LG
Generative Anomaly Detection for Time Series Datasets
Vanderbilt University(范德堡大学);Cisco Systems, Inc.(思科系统公司)
交通拥堵异常检测是智能交通系统中的一个重要环节。交通机构的目标有两个方面:监测感兴趣区域的一般交通状况和定位异常拥堵状态下的路段。建模拥堵模式可以实现这些目标的城市范围内的道路,这相当于学习多变量时间序列(MTS)的分布。然而,现有的工作要么是不可扩展的或无法捕获的时空信息在MTS的同时。为此,我们提出了一个原则性和全面的框架,包括一个数据驱动的生成方法,可以执行易于处理的密度估计检测流量异常。我们的方法首先在特征空间中对片段进行聚类,然后在无监督的情况下使用条件归一化流来识别聚类级别的异常时间快照。然后,我们通过使用核密度估计的异常集群在段级别上识别异常。在人工数据集上的大量实验表明,该方法在召回率和F1分数方面明显优于几种最先进的拥塞异常检测和诊断方法。我们还使用生成模型对标记数据进行采样,这可以在监督设置中训练分类器,从而缓解稀疏设置中异常检测的标记数据的缺乏。
2022-06-28 cs.AI cs.LG eess.SP
Unsupervised anomaly detection in digital pathology using GANs
Linköping University(林雪平大学);Sectra AB(Sectra AB公司)
机器学习(ML)算法针对训练数据所表示的分布进行优化。对于离群数据,它们通常以相同的置信度提供预测,即使这些预测不应该被信任。为了在临床实践中部署基于ML的数字病理学解决方案,用于检测异常数据的有效方法对于避免异常情况下的错误决策至关重要。提出了一种基于生成对抗网络(GANs)的组织病理学数据异常检测的无监督学习方法。与医学成像中使用的现有基于GAN的方法相比,所提出的方法显着提高了病理数据的性能。我们的研究结果表明,组织病理学图像比以前的方法所针对的数据要复杂得多。这种复杂性不仅需要更先进的GAN架构,还需要适当的异常度量来捕获重建图像的质量。
2021-03-16 cs.CV cs.LG eess.IV
AIOps-Driven Enhancement of Log Anomaly Detection in Unsupervised Scenarios
BITS Pilani(比尔拉科学技术学院皮拉尼校区);Sardar Patel Institute of Technology(萨达尔·帕特尔技术学院)
本研究针对AIOps领域无监督日志异常检测研究不足的问题,提出融合PCA与ANN并搭配自定义损失函数的混合框架,可处理原始日志,在多数据集上实现伪阳性率显著降低,推动AIOps日志检测技术发展。
2023-11-05 cs.AI cs.IR cs.IT
Autoencoder-based Unsupervised Intrusion Detection using Multi-Scale Convolutional Recurrent Networks
网络流量数据的大量增长导致了大量的数据集。标记这些数据集以识别入侵攻击是非常费力且容易出错的。此外,网络流量数据具有复杂的时变非线性关系。现有的最先进的入侵检测解决方案使用各种监督方法的组合以及基于流量数据中的相关性的融合特征子集。这些解决方案通常需要很高的计算成本,手动支持微调入侵检测模型,并标记限制网络流量实时处理的数据。无监督解决方案确实减少了标记数据的计算复杂性和手动支持,但当前的无监督解决方案没有考虑交通数据中的时空相关性。为了解决这个问题,我们提出了一种基于多尺度卷积神经网络和长短期记忆(MSCNN-LSTM-AE)相结合的统一自动编码器,用于网络流量中的异常检测。该模型首先采用多尺度卷积神经网络自动编码器(MSCNN-AE)对数据集的空间特征进行分析,然后采用基于长短期记忆(LSTM)的自动编码器网络对数据集的时间特征进行处理。我们的模型进一步采用两个隔离森林算法作为纠错机制来检测假阳性和假阴性,以提高检测精度。此外,协方差矩阵形成自然嵌入有距离度量的黎曼流形,其促进用于检测恶意网络流量的描述性模式。我们评估了我们的模型NSL-KDD,UNSW-NB 15和CICDDoS 2019数据集,并表明我们提出的方法显着优于传统的无监督方法和其他现有的数据集研究。
2022-04-07 cs.CR
Unsupervised Network Anomaly Detection with Autoencoders and Traffic Images
Faculty of Inform. Tech. and Com. Sciences(信息技术与计算机科学学院);Tampere University(塔尔皮奥大学)
本文提出基于图像的网络流量表示方法,结合自编码器实现无监督的网络异常检测,有效减少复杂处理架构需求。
2025-05-22 cs.CR cs.CV eess.IV
X-SPUR: Explainable Surprisal-Based Protocol-Aware Unsupervised Reasoning for Automotive Ethernet Intrusion Detection
Sookmyung Women’s University(淑明女子大学)
X-SPUR提出基于惊异度的协议感知无监督推理框架,以令牌序列表示数据包,结合双模态融合与双top-k%校准,在TOW-IDS上AUC达0.9987,并消除手工特征工程。
2026-09-21 cs.CR cs.NI
Unsupervised Detection and Clustering of Malicious TLS Flows
恶意软件滥用TLS来加密其恶意流量,阻止通过内容签名和深度数据包检测进行检查。恶意TLS流的网络检测是一个重要但具有挑战性的问题。先前的工作已经提出了使用TLS特征的监督机器学习检测器。然而,通过尝试表示所有恶意流量,监督二进制检测器产生的模型过于松散,从而引入错误。此外,它们不区分由不同恶意软件生成的流。另一方面,有监督的多类检测器产生更紧密的模型,可以通过恶意软件家族对流进行分类,但需要家族标签,这对于许多样本来说是不可用的。为了解决这些限制,这项工作提出了一种新的无监督方法来检测和聚类恶意TLS流。我们的方法需要从沙箱输入网络跟踪。它使用90个功能来捕获TLS客户端,TLS服务器,证书和加密有效载荷的属性,并使用集群来构建一个无监督的检测器,可以将恶意流分配给它所属的集群,或者确定它是良性的。我们使用来自商业沙箱的972K跟踪和来自研究网络的35M TLS流来评估我们的方法。我们的聚类显示出非常高的精确度和召回率,F1得分为0.993。我们将我们的无监督检测器与两种最先进的方法进行比较,结果表明它优于两者。我们的检测器的错误检测率是0.032%,超过四个月的流量测量。
2022-12-23 cs.CR
Detecting Unknown Encrypted Malicious Traffic in Real Time via Flow Interaction Graph Analysis
在本文中,我们提出了HyperVision,一个实时无监督的机器学习(ML)的恶意流量检测系统。特别是,HyperVision能够通过利用基于流量模式构建的紧凑内存图来检测加密恶意流量的未知模式。该图捕获由图结构特征表示的流交互模式,而不是特定已知攻击的特征。我们开发了一种无监督的图学习方法,通过分析图的连通性,稀疏性和统计特征来检测异常交互模式,这使得HyperVision可以检测各种加密的攻击流量,而不需要任何已知攻击的标记数据集。此外,我们建立了一个信息论模型,证明了图所保持的信息接近理想的理论界。我们通过92个数据集的真实实验展示了HyperVision的性能,其中包括48次加密恶意流量的攻击。实验结果表明,HyperVision实现了至少0.92 AUC和0.86 F1,显著优于最先进的方法。特别是在我们的实验中,超过50%的攻击可以逃避所有这些方法。此外,HyperVision实现了至少80.6 Gb/s的检测吞吐量,平均检测延迟为0.83 s。
2023-01-31 cs.CR
Self-adaptive Traffic Anomaly Detection System for IoT Smart Home Environments
本文提出由蜜罐服务器与网关构成的 IoT 自适应流量异常检测系统,利用实时流量持续更新模型,以检测已知与未知网络攻击。
2024-03-05 cs.CR
Filtering DDoS Attacks from Unlabeled Network Traffic Data Using Online Deep Learning
National University of Singapore(新加坡国立大学)
DDoS攻击简单、有效,即使在二十多年后仍然构成重大威胁。鉴于机器学习最近取得的成功,研究如何利用深度学习来过滤应用层攻击请求是很有趣的。由于不断变化的配置文件、缺乏标记数据以及在线设置的限制,采用深度学习解决方案存在挑战。离线无监督学习方法可以通过从正常日流量${\mathcal N}$学习异常检测器$N$来避开这些障碍。然而,异常检测不利用在攻击期间获得的信息,并且它们的性能通常不令人满意。在本文中,我们提出了两个框架,利用历史${\mathcal N}$和混合${\mathcal M}$流量在攻击过程中获得的,由未标记的请求。我们还介绍了一个机器学习优化问题,旨在筛选出使用${\mathcal N}$和${\mathcal M}$的攻击。首先,我们提出的方法,启发统计方法,扩展了无监督的异常检测器$N$来解决这个问题,使用估计的条件概率分布。我们采用迁移学习的方法,将$N$分别有效地应用于${\mathcal N}$和${\mathcal M}$,并将结果结合起来,得到一个在线学习者。其次,我们制定了一个更适合深度学习的特定损失函数,并在在线设置中使用迭代训练来解决它。在公开的数据集上,与基线检测方法相比,我们的在线学习者在假阳性率上实现了$99.3\%$改进。在离线环境中,我们的方法与在标记数据上训练的分类器具有竞争力。
2020-12-12 cs.CR cs.LG
Anomaly Detection of Command Shell Sessions based on DistilBERT: Unsupervised and Supervised Approaches
JPMorgan Chase(摩根大通)
本文提出利用预训练DistilBERT模型,结合无监督与监督学习方法检测Unix shell会话异常,实验证明该方法能有效识别异常行为并减少数据标注需求。
2023-10-20 cs.CL cs.CR
Detecting Anomalous Network Communication Patterns Using Graph Convolutional Networks
Ben-Gurion University of the Negev(本-古里安内盖夫大学)
本文提出GCNetOmaly,一种基于图卷积网络和变分自编码器的异常检测模型,利用连接矩阵与节点特征重构分数,在真实金融ATM与AD服务器数据上验证了无监督异常检测的有效性。
2023-11-30 cs.CR cs.LG
Hunter in the Dark: Discover Anomalous Network Activity Using Deep Ensemble Network
基于机器学习(ML)的入侵检测系统(IDS)在发现大规模网络空间中的未知威胁方面发挥着关键作用。它们已被许多组织,如金融机构,制造公司和政府机构采用作为主流的狩猎方法。然而,现有的设计实现了高的威胁检测性能的代价是大量的假警报,导致警报疲劳。为了解决这个问题,在本文中,我们提出了一种基于神经网络的防御机制,名为DarkHunter。DarkHunter在设计中结合了监督学习和无监督学习。它使用深度集成网络(通过监督学习进行训练)来检测异常网络活动,并利用基于无监督学习的方案来修剪错误检测结果。对于每个检测到的威胁,DarkHunter可以追踪其来源,并以原始流量格式呈现威胁。我们基于UNSW-NB 15数据集的评估表明,DarkHunter优于现有的基于ML的IDS,并且能够在保持低误报率的同时实现高检测精度。
2021-09-01 cs.CR