Detecting Spacecraft Anomalies Using LSTMs and Nonparametric Dynamic Thresholding
NASA Jet Propulsion Laboratory（美国国家航空航天局喷气推进实验室）；California Institute of Technology（加州理工学院）
随着航天器发回越来越多的遥测数据，需要改进异常检测系统，以减轻操作工程师的监测负担并降低操作风险。目前的航天器监测系统仅针对异常类型的子集，并且由于涉及规模和复杂性的挑战，通常需要昂贵的专业知识来开发和维护。我们证明了长短期记忆（LSTMs）网络，一种递归神经网络（RNN），在克服这些问题，使用专家标记的遥测异常数据从土壤水分主动被动（SMAP）卫星和火星科学实验室（MSL）漫游车，Currency。我们还提出了一个补充的无监督和非参数异常阈值的方法，在试点实施的异常检测系统SMAP，并提供误报缓解策略以及其他关键的改进和发展过程中吸取的经验教训。
2018-06-06 cs.LG stat.ML
Detecting Anomalies Using Rotated Isolation Forest
Semnan University（塞姆南大学）
本文提出Rotated Isolation Forest (RIF)算法，通过随机旋转数据集有效解决了iForest的轴对齐幽灵簇和Extended Isolation Forest的幽灵间簇问题，在合成和真实数据集上均优于现有方法。
2025-01-29 cs.LG
Memory-augmented Adversarial Autoencoders for Multivariate Time-series Anomaly Detection with Deep Reconstruction and Prediction
Beijing Jiaotong University（北京交通大学）
由于当今IT监控系统的维度和复杂性的增加，在没有人工监督的情况下检测多变量时间序列的异常仍然是一个具有挑战性的问题。无监督时间序列异常检测的最新进展主要使用深度自编码器来解决这个问题，即在正常样本上进行训练，并在异常输入上产生显著的重建误差。然而，在实践中，由于神经网络的强大功能，自编码器可以很好地重建异常。此外，这些方法对于识别非点异常（例如，上下文异常和集体异常）可能是无效的，因为它们仅利用逐点重建目标。为了解决上述问题，我们提出了MemAAE（\textit{Memory-augmented Adversarial Autoencoders with Deep Reconstruction and Prediction}），一种新的无监督的时间序列异常检测方法。通过联合训练两个互补的代理任务，重建和预测，与共享的网络架构，我们表明，通过多个任务检测异常获得优越的性能，而不是单任务训练。此外，引入压缩记忆模块来保存正常模式，避免对异常输入的意外泛化。通过广泛的实验，MemAAE在四个公共数据集上的总体F1得分为0.90，显著优于最佳基线0.02。
2021-10-15 cs.LG
A Taxonomy of Anomalies in Log Data
Technische Universität Berlin（柏林工业大学）
日志数据异常检测是面向IT运营的人工智能领域的核心组成部分。然而，大量的现有方法使得很难为特定系统选择正确的方法。更好地了解不同类型的异常，以及哪些算法适合检测它们，将为研究人员和IT运营商提供支持。虽然已经存在一种常见的异常分类法，但它尚未专门应用于日志数据，指出了该领域的特征和特殊性。本文提出了不同类型日志数据异常的分类法，并介绍了一种在标记数据集中分析此类异常的方法。我们将我们的分类应用于三个常见的基准数据集Thunderbird，Spirit和BGL，并训练了五种最先进的无监督异常检测算法，以评估它们在检测不同类型异常时的性能。我们的研究结果表明，最常见的异常类型也是最容易预测的。此外，基于深度学习的方法在所有异常类型中都优于基于数据采掘的方法，尤其是在检测上下文异常时。
2021-11-26 cs.DB cs.GL cs.LG
Ensemble Grammar Induction For Detecting Anomalies in Time Series
George Mason University（乔治梅森大学）；Sandia National Laboratories（桑迪亚国家实验室）
时间序列异常检测是一项重要的任务，在广泛的领域中具有应用。近年来，已经提出了许多方法，但它们通常需要预先知道异常的长度并将其作为输入参数提供。这限制了算法的实用性，因为这些信息通常是事先未知的，或者不同长度的异常可能共存于数据中。为了解决这个问题，以前，一个线性时间异常检测算法的基础上语法归纳已经提出。虽然该算法可以找到可变长度的模式，但它仍然需要在离散化步骤中预先选择至少两个参数的值。如何正确地选择这些参数值仍然是一个悬而未决的问题。在本文中，我们介绍了一种基于语法归纳的异常检测方法，利用集成学习。该方法不是使用特定选择的参数值进行异常检测，而是基于使用不同参数值获得的一组结果来生成最终结果。我们证明了所提出的集成方法可以优于现有的语法归纳为基础的方法与不同的标准选择的参数值。我们还表明，所提出的方法可以实现性能类似的国家的最先进的基于距离的异常检测算法。
2020-01-29 cs.DB cs.LG stat.ML
On Identifying Anomalies in Tor Usage with Applications in Detecting Internet Censorship
University of Oxford（牛津大学）
我们开发了一种方法来检测Tor匿名通信网络的日常使用指标中正在进行的每个国家的异常，并证明了这种技术的适用性，以确定可能的互联网审查和相关事件的时期。所提出的方法确定连续的异常期间，而不是每天的峰值或下降，并允许异常根据预期行为的偏差进行排名。所开发的方法作为一个运行的工具，每天发布的邮件列表的输出。该列表突出了每个国家的异常Tor使用情况，并根据检测到的异常行为水平对国家进行每日排名。该列表自2016年8月以来一直处于活跃状态，并被许多个人、学者和非政府组织用作潜在审查事件的预警系统。我们专注于Tor，然而，所提出的方法更普遍地适用于其他服务的使用数据，无论是单独的还是组合的。我们证明，结合多个数据源可以更具体地识别可能的Tor阻塞事件。我们展示了我们的方法相比，现有的异常检测工具，并对已知的历史互联网审查事件和合成数据集。最后，我们详细介绍了我们的工具识别的一些重要的近期异常事件和行为。
2018-04-12 cs.CY cs.LG cs.NI
Detecting Anomalies in Blockchain Transactions using Machine Learning Classifiers and Explainability Analysis
Premier University（总理大学）；United International University（联合国际大学）；Cyber Security Cooperative Research Centre（网络安全合作研究中心）；Edith Cowan University（埃迪斯科文大学）
本研究将XAI技术与异常规则集成到树集成分类器中检测比特币异常交易，提出欠采样算法XGBCLUS平衡数据，实验证明该方法在准确率、TPR和FPR等指标上优于传统方法。
2024-01-07 cs.CR cs.LG
Detecting Clusters of Anomalies on Low-Dimensional Feature Subsets with Application to Network Traffic Flow Data
The Pennsylvania State University（宾夕法尼亚州立大学）
在各种应用中，人们希望检测异常数据样本的组，其中一个组潜在地在完整测量的特征集的低维子集上表现出其相似性（相对于参考模型）。样本可能只是弱非典型的个别，而他们可能是强烈的非典型时，共同考虑。是什么使得这个组异常检测问题相当具有挑战性的是，它是一个先验未知的特征的子集共同体现了一个特定的异常组。此外，不知道在给定的数据批次中存在多少异常组。在这项工作中，我们开发了一个组异常检测（GAD）计划，以确定样本的子集和子集的功能，共同指定一个异常的集群。我们将我们的方法应用于网络入侵检测，以检测僵尸网络和对等流集群。与以前的研究不同，我们的方法捕获和利用测量功能之间可能存在的统计依赖关系。真实世界的网络流量数据的实验表明，我们所提出的系统的优势，并强调利用特征依赖结构的重要性，相比以前的研究中的特征（或测试）的独立性假设。
2015-06-10 cs.CR cs.LG cs.NI
Leveraging GPT-4o Efficiency for Detecting Rework Anomaly in Business Processes
University of Milan（米兰大学）
本文研究GPT-4o-2024-08-06检测业务流程返工异常的有效性，开发相关工具并在特定合成数据集上用三种提示技术测试不同异常分布，结果显示模型性能优异，且异常分布和提示策略影响性能。
2025-02-10 cs.AI cs.LG
GAD-NR: Graph Anomaly Detection via Neighborhood Reconstruction
Purdue University（普渡大学）；HKUST（香港科技大学）；Emory University（埃默里大学）；Sony（索尼公司）；Georgia Institute of Technology（佐治亚理工学院）
针对图自编码器仅依赖直接链接重构导致难以检测非聚类复杂结构异常的问题，提出GAD-NR方法，通过重构节点邻域的局部结构与属性来计算重构损失，实现对三种异常的全面检测，AUC最高提升30%。
2025-01-25 cs.LG
Latent Laplacian Maximum Entropy Discrimination for Detection of High-Utility Anomalies
University of Michigan（密歇根大学）；PARC（帕洛阿尔托研究中心）
数据驱动的异常检测方法的缺点是检测统计上罕见的所有实例，而不管检测到的实例是否具有现实意义。在本文中，我们感兴趣的问题，具体检测异常的情况下，已知具有较高的现实世界的效用，而忽略低效用的统计异常的情况。为此，我们提出了一种新的方法，称为潜在的拉普拉斯最大熵歧视（LatLapMED）作为一个潜在的解决方案。该方法使用期望最大化算法同时结合几何熵最小化原理来识别统计异常，并结合最大熵判别原理来结合效用标签，以检测高效用异常。我们将我们的方法应用于模拟和真实数据集，以证明它具有优于现有替代方案的性能，这些替代方案在分类之前独立地使用无监督异常检测算法进行预处理。
2017-12-14 cs.CR cs.LG stat.ML
Revisiting Deep Feature Reconstruction for Logical and Structural Industrial Anomaly Detection
University of Mons（蒙斯大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出统一框架ULSAD，通过改进深度特征重建并引入注意力损失机制，高效检测工业图像中的结构与逻辑异常，在五个基准上优于八种先进方法。
2024-10-21 cs.CV cs.LG
Incorporating Feedback into Tree-based Anomaly Detection
Oregon State University（俄勒冈州立大学）
异常检测器通常用于生成统计异常的排名列表，由人类分析师检查，以提取感兴趣的实际异常。不幸的是，在现实世界的应用程序中，这个过程对分析师来说可能非常困难，因为大部分高级别的异常都是误报，从应用程序的角度来看并不有趣。在本文中，我们的目标是使分析师的工作更容易，允许在调查过程中的分析师反馈。理想地，反馈以减少在发现感兴趣的异常之前必须检查的误报的数量的方式影响异常检测器的排名。特别是，我们介绍了一种新的技术，将简单的二进制反馈到基于树的异常检测器。我们专注于隔离森林算法作为一个代表性的基于树的异常检测器，并表明，我们可以显着提高其性能，通过将反馈，与基线算法相比，不纳入反馈。我们的技术是简单的，规模以及数据的大小增加，这使得它适合在大型数据集的异常交互式发现。
2017-08-30 cs.AI cs.LG stat.ML
AEGR: A simple approach to gradient reversal in autoencoders for network anomaly detection
异常检测是指一个过程，其目的是检测遵循与大多数数据点不同模式的数据点。异常检测方法受到几个众所周知的挑战，阻碍了他们的性能，如高维。自动编码器是无监督的神经网络，用于降低维数，并检测大型数据集中的网络异常。当训练集包含噪声和异常时，自动编码器的性能会减弱。本文提出了一种新的梯度反转方法，以克服异常对训练阶段的影响，以检测网络异常。该方法与其他方法不同，因为它不需要无异常的训练集，并且基于重建误差。一旦从网络中提取出潜在变量，就可以使用局部离群值因子将正常数据点与异常数据点分开。还添加了简单的修剪方法和数据增强以进一步提高性能。实验结果表明，该模型的性能优于其他众所周知的方法。
2020-02-28 cs.LG stat.ML
Open-Set Graph Anomaly Detection via Normal Structure Regularisation
Monash University（蒙纳士大学）；Singapore Management University（新加坡管理大学）；The University of Tokyo（东京大学）；The University of Melbourne（墨尔本大学）
针对开放集图异常检测中未知异常易被漏检的问题，提出正常结构正则化方法，利用结构关系学习正常表示，避免过拟合已知异常，在七个数据集上显著提升检测性能。
2025-06-20 cs.AI cs.LG cs.SI
Implementing Active Learning in Cybersecurity: Detecting Anomalies in Redacted Emails
University of Toronto（多伦多大学）；Sun Life Financial Inc.（永明金融有限公司）
对电子邮件异常检测的研究通常依赖于专门准备的数据集，这些数据集可能无法充分反映行业环境中发生的数据类型。在我们的研究中，在一家大型金融服务公司，隐私问题阻止了对电子邮件和附件细节的检查（尽管主题标题和附件文件名是可用的）。这使得在由此产生的编辑电子邮件中标记可能的异常变得更加困难。另一个困难的来源是大量的电子邮件加上资源的稀缺，使得机器学习（ML）成为必要，但也需要更有效的ML模型的人工训练。主动学习（AL）已经被提出作为一种使ML模型的人类训练更有效的方法。然而，由于潜在的人类分析师不确定性，主动学习方法的实施是以人为中心的人工智能挑战，并且在诸如网络安全领域（或医疗保健、航空等）的领域中，标记任务可能进一步复杂化。标签上的错误可能会产生非常不利的后果。在本文中，我们提出的研究成果有关的应用程序的主动学习异常检测在编辑的电子邮件，比较效用不同的方法来实现主动学习在这种情况下。我们评估不同的AL策略及其对模型性能的影响。我们还研究了如何评级的信心，专家在他们的标签可以通知AL。获得的结果进行了讨论，他们的影响AL方法和模型辅助电子邮件异常筛选的专家的作用。
2023-03-03 cs.CR cs.HC cs.LG
Peek Inside the Closed World: Evaluating Autoencoder-Based Detection of DDoS to Cloud
USC/ISI（南加州大学信息科学研究所）；Microsoft（微软）
基于机器学习的异常检测（ML-based AD）在实验室中已经成功检测到DDoS事件。然而，已发表的基于ML的AD的评估仅使用了有限的数据，并且对它为什么有效提供了最少的见解。为了解决对真实世界数据的有限评估，我们将现有的ML-AD模型autoencoder应用于从主要云提供商的5个云IP捕获的57个DDoS攻击事件。我们表明，我们的模型检测到几乎所有的恶意流量为2的4个云IP攻击（至少99.99%）和检测大多数恶意流量（94.75%和91.37%）的其余2个IP。我们的模型还保持了接近零的误报对所有5个IP的良性流量。我们的主要贡献是提高我们的理解，为什么基于ML的AD的作品在一些恶意流量，而不是其他人。我们用特征归因和反事实解释来解释我们的检测结果。我们表明，我们的模型在检测允许列出的功能异常（只有少数良性值）的恶意流量比拒绝列出的功能异常（大多数是良性值）的流量更好，因为我们的模型更有可能学习允许列出的功能正确的正常性。然后，我们证明了我们的模型在检测无序特征异常（其值之间没有顺序）的恶意流方面比有序特征异常的流更好，因为即使不完全正常，我们的模型仍然可以检测到无序特征的异常，具有高召回率。最后，我们总结了我们在生产中应用基于自动编码器的AD时所学到的知识的含义：使用嘈杂的真实世界数据进行训练是可能的，自动编码器可以可靠地检测到真实世界中代表性良好的无序特征的异常，并且基于自…
2020-06-21 cs.LG cs.NI
ATD: Anomalous Topic Discovery in High Dimensional Discrete Data
Pennsylvania State University（宾夕法尼亚州立大学）
我们提出了一个算法，用于检测高维离散数据中异常簇所表现出的模式。与大多数检测单个异常的异常检测（AD）方法不同，我们提出的方法检测异常的组（簇）;即共同表现出异常模式的点集。在许多应用中，这可以导致更好地理解非典型行为的性质，并识别异常的来源。此外，我们考虑的情况下，非典型模式只表现在一个很小的（显着）子集的非常高维的特征空间。单独的AD技术和使用所有特征检测异常的技术通常无法检测到此类异常，但我们的方法可以共同检测此类实例，发现它们所表现出的共享异常模式，并识别显著特征的子集。本文针对文本文档中的异常主题检测问题，提出了一种基于主题模型的异常主题检测算法。我们的实验结果表明，我们的方法可以准确地检测异常主题和显着特征（词）下的每个这样的主题在合成数据集和两个真实世界的文本语料库，并取得更好的性能相比，标准组AD和个人AD技术。复制我们的实验所需的所有代码都可以从https://github.com/hsoleimani/ATD获得
2016-05-20 cs.LG stat.ML
State Frequency Estimation for Anomaly Detection
Delft University of Technology（代尔夫特理工大学）；Thales SIX GTS France（泰雷兹法国SIX公司）
本文提出无监督方法 SEQUENT，通过状态机的状态访问频率动态调整异常评分并生成根因，在三个 NetFlow 数据集上验证了其检测网络异常的有效性。
2025-03-10 cs.CR cs.LG
A unified framework for detecting point and collective anomalies in operating system logs via collaborative transformers
CoLog通过协作变换器统一检测操作系统日志中的点异常和集体异常，实现高精度和召回率。
2025-12-29 cs.AI cs.CV cs.LG
Rare anomalies require large datasets: About proving the existence of anomalies
TU Dortmund University（杜伊斯堡-埃森大学）
本文研究何时能确凿判定数据集中存在异常，通过超300万次统计测试，发现数据集大小、污染率与算法常数 $ α_{\text{algo}} $ 间的关系，提出证明异常存在所需样本数下界为 $ N \ge \frac{α_{\text{algo}}}{ν^2} $。
2025-08-13 cs.AI cs.LG
Financial Anomaly Detection for the Canadian Market
本文评估了三种金融异常检测方法在TSX-60数据上的表现，发现拓扑数据分析和神经网络方法在识别加拿大股市压力事件中表现最佳。
2026-04-02 cs.LG q-fin.ST
Detecting Anomalous User Behavior in Remote Patient Monitoring
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；Tennessee Technological University（田纳西理工大学）；Texas A & M University-San Antonio（德克萨斯农工大学圣安东尼奥分校）
使用可穿戴和非可穿戴医疗物联网（IoMT）的远程患者监护（RPM）服务的增长有望提高诊断质量，并促进对各种医疗状况的及时治疗。与此同时，IoMT设备的扩散增加了恶意活动的可能性，这些活动可能导致灾难性的结果，包括个人信息被盗，数据泄露和医疗设备受损，使人类生命处于危险之中。IoMT设备生成大量数据，反映用户行为模式，包括个人和日常社交活动以及日常健康监测。在这种情况下，由于各种原因，包括意外的用户行为，故障传感器或来自恶意/受损设备的异常值，可能会产生异常。为了解决这个问题，迫切需要开发一个框架来保护智能医疗基础设施，以识别和缓解异常情况。在本文中，我们提出了一个异常检测模型RPM利用IoMT和灵巧家庭设备。我们提出了基于隐马尔可夫模型（HMM）的异常检测，分析正常的用户行为的RPM包括灵巧家庭和智能健康设备的上下文中，并识别异常的用户行为。我们设计了一个带有多个IoMT设备和家庭传感器的测试床来收集数据，并使用HMM模型来使用网络和用户行为数据进行训练。所提出的基于HMM的异常检测模型在RPM环境中识别异常的准确率达到98%以上。
2021-06-22 cs.CY cs.LG
Anomaly Detection and Interpretation using Multimodal Autoencoder and Sparse Optimization
NTT Corporation（日本电报电话公司）；International Christian University（国际基督教大学）；Toyo University（东洋大学）
自动化异常检测对于管理信息和通信技术（信通技术）系统以维持可靠的服务并尽量减少运营商的负担至关重要。为了检测与正常状态不同的变化和不断出现的异常，了解信通技术系统监测的跨域数据之间的正常关系至关重要。因此，使用自动编码器（AE）的基于深度学习的异常检测对于这种复杂的学习是有希望的;然而，其解释仍然存在问题。由于导致检测到的异常的输入数据的维度没有在AE中直接指示，因此它们不适合于定位由大量设备组成的大型ICT系统中的异常。我们提出了一种算法，使用稀疏优化估计贡献维度检测到的AE异常。我们还提出了一个多模态AE（MAE），有效地学习跨域数据之间的关系，这可能会导致非线性和数据类型之间的可学习性的差异。我们评估了我们的算法与几个数据集，包括实际测量数据与传统算法相比，并确认了我们的估计算法在指定异常数据的贡献维度和我们的MAE在检测跨域数据中的异常的优越性。
2018-12-18 cs.LG stat.ML
Anomaly Detection in Video Data Based on Probabilistic Latent Space Models
University of Genova（热那亚大学）；University Carlos III de Madrid（马德里卡洛斯三世大学）
提出了一种视频数据异常检测方法。变分自编码器（VAE）用于降低视频帧的维度，生成与低维传感数据（例如，定位、转向角度），使得为自动驾驶车辆开发一致的多模式架构成为可能。一个自适应马尔可夫跳粒子滤波定义的离散和连续的推理水平被用来预测后续帧和检测新的视频序列中的异常。我们的方法在不同的视频场景中进行评估，其中半自动驾驶车辆在封闭环境中执行一组任务。
2020-03-17 cs.CV cs.LG
Detecting and Ranking Causal Anomalies in End-to-End Complex System
National Chiao Tung University（国立交通大学）
本文针对现有RCA方法忽略状态多样性和不同时间滞后相关性的问题，提出RCAE2E框架，用于端到端系统中因果异常的检测与排序，并通过合成数据与真实光电工厂数据验证其有效性。
2024-05-03 cs.LG
Set Features for Anomaly Detection
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
针对由正常元素异常组合构成的异常难以检测的问题，提出用集合特征基于样本元素分布建模，结合密度估计计算异常分数，在图像与时间序列异常检测任务上超越现有最优水平。
2025-03-18 cs.CV cs.LG
Algorithmic Frameworks for the Detection of High Density Anomalies
HEINEKEN（喜力）
本研究探讨了高密度异常的概念。与孤立出现的异常的传统概念相反，高密度异常是位于数据空间的最正常区域中的异常情况。这些异常与各种实际用例相关，例如不当行为检测和数据质量分析。当分析非常大或有噪声的集合时，识别它们的有效方法特别重要，因为传统的异常检测算法会返回许多误报。为了能够识别高密度异常，本研究介绍了几种非参数算法框架的无监督检测。这些框架能够利用现有的底层异常检测算法，并为该检测任务中固有的平衡问题提供不同的解决方案。该框架与合成和真实世界的数据集进行评估，并与现有的基线算法检测传统的异常进行比较。迭代部分推送（IPP）框架被证明可以产生最佳的检测结果。
2021-04-04 cs.DB cs.LG stat.ML
Detecting Abnormal Operations in Concentrated Solar Power Plants from Irregular Sequences of Thermal Images
University of Mons（蒙斯大学）
针对聚光太阳能电站热图像序列不规则、含日周期模式且高低温异常难区分的问题，提出基于深度序列预测的异常检测方法，性能优于多个SOTA基线并已落地部署。
2024-06-23 cs.CV cs.LG
Self-Supervised and Interpretable Anomaly Detection using Network Transformers
Virginia Commonwealth University（弗吉尼亚联邦大学）；Idaho National Laboratory（爱达荷国家实验室）
监控计算机网络中的流量是保护关键基础设施免受网络攻击的核心方法之一。机器学习（ML）和深度神经网络（DNN）在过去已经被提出作为识别计算机网络中异常的工具。虽然检测到这些异常提供了攻击的指示，但是仅仅检测到异常并不足以让用户理解异常。现成ML模型的黑盒性质阻止了提取重要信息，这些信息对于隔离故障/攻击源并采取纠正措施至关重要。在本文中，我们介绍了网络Transformer（NeT），DNN模型的异常检测，结合了通信网络的图形结构，以提高可解释性。所提出的方法具有以下优点：1）通过结合计算机网络的图结构来增强可解释性; 2）提供分层特征集，其使得能够在不同粒度级别进行分析; 3）不需要标记数据的自监督训练。所提出的方法进行了测试，通过评估在工业控制系统（ICS）的异常的成功检测。所提出的方法成功地识别了异常、受影响的设备以及导致异常的特定连接，提供了一种数据驱动的分层方法来分析网络行为。
2022-02-25 cs.AI cs.CR cs.LG
Is it worth it? Comparing six deep and classical methods for unsupervised anomaly detection in time series
German Aerospace Center（德国航空航天中心）；Friedrich-Schiller University（弗里德里希-席勒大学）
检测时间序列数据中的异常在各种领域都很重要，包括系统监控、医疗保健和网络安全。虽然可用方法的丰富性使得很难为给定的应用选择最合适的方法，但每种方法在检测某些类型的异常方面都有其优势。在这项研究中，我们比较了六种不同复杂度的无监督异常检测方法，以确定更复杂的方法是否通常表现更好，以及某些方法是否更适合某些类型的异常。我们使用UCR异常存档（最近的异常检测基准数据集）评估了这些方法。在调整每种方法所需的超参数后，我们分析了数据集和异常类型级别的结果。此外，我们评估了每种方法结合有关异常的先验知识的能力，并检查了逐点和逐序列特征之间的差异。我们的实验表明，经典的机器学习方法在一系列异常类型上通常优于深度学习方法。
2023-02-02 cs.AI cs.IR cs.LG
Using Ensemble Classifiers to Detect Incipient Anomalies
University of California, Berkeley（加州大学伯克利分校）；University of California, Davis（加州大学戴维斯分校）；University of Chicago（芝加哥大学）
与严重异常相比，早期异常的症状较轻，并且由于其与正常操作条件的相似性而更难以检测和诊断。训练数据中缺乏早期异常示例可能会对基于机器学习（ML）技术构建的异常检测方法造成严重风险，因为这些异常很容易被误认为是正常操作条件。为了应对这一挑战，我们建议利用集成学习提供的不确定性信息来识别潜在的错误分类的初期异常。我们在本文中表明，集成学习方法可以提高早期异常的性能，并通过对两个真实数据集的广泛实验来识别这些模型中的常见陷阱。然后，我们讨论了如何设计更有效的集成模型检测早期异常。
2020-08-20 cs.LG cs.SY eess.SY
Detecting Anomalies Through Contrast in Heterogeneous Data
Virginia Tech（弗吉尼亚理工大学）
检测异常一直是检测潜在欺诈活动的基本方法。我们的任务是检测威胁生态系统和经济的非法木材贸易，并与其他非法活动的关联，我们制定我们的问题作为异常检测之一。在其他挑战中，注释对于我们具有异构特征（分类和连续）的大规模交易数据不可用，这可以帮助构建自动化系统来检测欺诈交易。将任务建模为无监督的异常检测，提出了一种新的基于对比学习模型的异构异常检测器，以解决现有模型的缺点。我们的模型使用了一个非对称的自动编码器，可以有效地处理大的arity分类变量，但避免了对低维潜在空间中数据结构的假设，并且对超参数的变化具有鲁棒性。数据的可能性通过估计器网络来近似，该估计器网络使用负采样与自动编码器联合训练。此外，一个有效的负样本生成方法的异质性数据的细节和直观的概述。我们提供了一个定性的研究，以展示我们的模型在检测木材贸易异常的有效性。
2021-04-02 cs.LG
Detecting Anomalies within Smart Buildings using Do-It-Yourself Internet of Things
Cardiff University（卡迪夫大学）
在发生异常时进行检测对于识别潜在的网络攻击至关重要。本文讨论了各种机制，以检测异常，一旦他们发生。我们阐明了构建机器学习模型时的关键考虑因素。我们从多个具有不同原位传感器的自建（DIY）物联网设备中构建和收集数据，并找到了有效的方法来找到点，上下文和组合异常。我们还讨论了在处理以不同采样率产生数据的传感设备时面临的几个挑战和潜在的解决方案，以及我们需要如何在机器学习模型中对它们进行预处理。本文还研究了基于环境条件提取子数据集的优点和缺点。
2022-10-04 cs.AI cs.LG
CaPulse: Detecting Anomalies by Tuning in to the Causal Rhythms of Time Series
National University of Singapore（新加坡国立大学）；Alibaba Group（阿里巴巴集团）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Squirrel AI
CaPulse提出基于因果的异常检测框架，通过结构因果模型和周期化归一化流应对标签稀缺等挑战，在七个数据集上AUROC提升3%-17%。
2025-08-06 cs.LG
A Weak Supervision Approach to Detecting Visual Anomalies for Automated Testing of Graphics Units
Intel（英特尔）
我们提出了一个深度学习系统，通过检测视频中的新视觉损坏来测试图形单元。与以前的工作中，手动标记需要收集标记的训练数据，我们的弱监督方法是全自动的，不需要人工标记。这是通过复制增加生成损坏概率的驱动程序错误，并利用多实例学习（MIL）设置的思想和方法来实现的。在我们的实验中，我们的表现明显优于基于GAN的模型等无监督方法，并发现了基线未检测到的新腐败，同时遵守对实时系统准确性和效率的严格要求。
2021-08-09 cs.LG stat.ML
Detecting Anomalous Event Sequences with Temporal Point Processes
Technical University of Munich（慕尼黑工业大学）；Amazon Research（亚马逊研究院）
自动检测事件数据中的异常可以在诸如医疗保健、DevOps和信息安全等领域提供实质性价值。在本文中，我们框架的时间点过程（TPPs）的分布外（OoD）检测问题的检测异常连续时间事件序列。首先，我们展示了如何使用拟合优度（GoF）测试来解决这个问题。然后，我们展示了流行的GoF统计TPP的局限性，并提出了一个新的测试，解决这些缺点。所提出的方法可以与各种TPP模型，如神经TPP相结合，并且易于实现。在我们的实验中，我们表明，所提出的统计量优于传统的GoF测试，以及在模拟和真实世界的数据中检测异常。
2021-12-17 cs.LG
Detecting semantic anomalies
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）
我们批判性地评价最近的兴趣在分布（OOD）检测和现有基准的实际相关性的问题。虽然目前普遍的趋势是考虑不同的数据集OOD，我们认为，实际利益的外分布的区别是语义的性质为指定的上下文，和评估任务应该更密切地反映这一点。假设对象识别的背景下，我们建议一组基准，由实际应用的动机。我们通过探索基于多任务学习的方法在这些基准测试中取得了进展，表明提高语义感知的辅助目标可以改善语义异常检测，并具有相应的泛化优势。
2019-11-21 cs.CV cs.LG
WBHT: A Generative Attention Architecture for Detecting Black Hole Anomalies in Backbone Networks
Istanbul Technical University, Department of Computer Engineering, Türkiye（伊斯坦布尔技术大学计算机工程系）；Istanbul Technical University, Department of Artificial Intelligence（伊斯坦布尔技术大学人工智能系）；Memorial University, Canada（纪念大学）；ITU AI Research and Application Center, Istanbul, Türkiye（ITU人工智能研究与应用中心）
本研究提出WBHT框架，融合Wasserstein生成对抗网络、注意力机制、长短期记忆层与卷积层等，用于检测通信网络黑洞异常，在真实数据上F1分数提升显著，可助力主动网络监控与安全防护。
2025-07-27 cs.AI cs.LG
Beyond the Benchmark: Detecting Diverse Anomalies in Videos
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
针对现有VAD基准侧重单帧简单异常、限制模型发展的问题，研究构建两个基于动作异常的新数据集，提出融合长程时序特征与逻辑回归的MFAD方法，在各类异常检测场景中均优于现有模型。
2023-10-03 cs.CV cs.LG
Detecting Network Anomalies using Rule-based machine learning within SNMP-MIB dataset
Department of Computer Science, Princess Sumaya University for Technology（科技大学公主苏玛亚计算机科学系）
针对网络犯罪分子限制网络性能的最有效威胁之一是拒绝服务（DOS）攻击。因此，这种类型的攻击可能会严重损害数据的安全性、完整性和效率。本文开发了一个网络流量系统，它依赖于所采用的数据集来区分DOS攻击和正常流量。检测模型使用五种基于规则的机器学习分类器（DecisionTable、JRip、OneR、PART和ZeroR）构建。研究结果表明，使用PART分类器，可以以约99.7%的高准确率识别恶意攻击，HTTP洪水攻击和Slowloris。此外，PART分类器已成功地将来自不同DOS攻击的正常流量100%分类。
2020-01-18 cs.CR cs.LG
LogGD:Detecting Anomalies from System Logs by Graph Neural Networks
The University of Adelaide（阿德莱德大学）；The University of Newcastle（纽卡斯尔大学）
日志分析是大型软件系统故障诊断的主要技术之一。在过去的几十年中，许多日志分析方法已被提出来检测日志反映的系统异常。它们通常将日志事件计数或顺序日志事件作为输入，并利用包括深度学习模型在内的机器学习算法来检测系统异常。这些异常通常被识别为违反了日志序列中日志事件的定量关系模式或序列模式。然而，现有的方法无法利用日志事件之间的空间结构关系，导致潜在的误报和不稳定的性能。在这项研究中，我们提出了一种新的基于图的日志异常检测方法，LogGD，有效地解决了这个问题，通过将日志序列转化为图。利用图Transformer神经网络的强大功能，结合图结构和节点语义进行基于日志的异常检测。我们在四个广泛使用的公共日志数据集上评估了所提出的方法。实验结果表明，LogGD可以优于最先进的基于定量和基于序列的方法，并在不同的窗口大小设置下实现稳定的性能。实验结果证实了LogGD在基于日志的异常检测中的有效性。
2022-09-16 cs.LG cs.SE
Detecting Contextual Network Anomalies with Graph Neural Networks
Barcelona Neural Networking Center（巴塞罗那神经网络中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Telefónica Research（西班牙电信研究公司）
本文提出基于 GNN 的网络流量上下文异常检测方法，在 Abilene 六个月真实数据上相较 PCA、EWMA、RNN 展现出互补检测能力，并经专家验证与案例分析确认其有效性。
2023-12-11 cs.AI cs.LG cs.NI
A linear time method for the detection of point and collective anomalies
Lancaster University（兰卡斯特大学）
有效识别数据序列中的异常是一个重要的统计问题，现在出现在许多应用中。虽然已经有大量的工作旨在使统计分析对离群值或点异常具有鲁棒性，但是在检测异常段或集体异常方面的工作要少得多，特别是在也可能发生点异常的那些设置中。在这篇文章中，我们介绍了集体和点异常（CAPA），一种计算效率高的方法，适用于集体异常的特点是无论是变化的均值，方差，或两者兼而有之，并将它们与点异常。理论结果建立CAPA在检测集体异常的一致性，作为一个副产品，一个流行的惩罚成本为基础的变化的均值和方差检测方法的一致性。实验结果表明，CAPA具有接近线性的计算成本，以及更准确地检测和定位集体异常比其他方法。我们证明了CAPA的实用性，通过它的能力，从开普勒望远镜的光变曲线数据检测系外行星。
2019-04-11 cs.LG stat.AP stat.ME
GEE: A Gradient-based Explainable Variational Autoencoder for Network Anomaly Detection
National University of Singapore（新加坡国立大学）；Trustwave（Trustwave（特鲁斯特威）公司）
本文探讨了通过分析NetFlow记录来检测网络异常的问题。虽然许多以前的工作已经以监督的方式使用统计模型和机器学习技术，但这些解决方案具有限制，即它们需要大量的标记数据进行训练，并且不太可能检测到零日攻击。现有的异常检测解决方案也没有提供解释或识别异常流量中的攻击的简单方法。为了解决这些局限性，我们开发并提出了GEE，一个框架，用于检测和解释网络流量中的异常。GEE包括两个组件：（i）变分自编码器（VAE）-一种用于检测异常的无监督深度学习技术，以及（ii）用于解释异常的基于梯度的指纹识别技术。在最近的UGR数据集上对GEE的评估表明，我们的方法在检测不同的异常以及识别这些各种攻击的良好代表的指纹方面是有效的。
2019-03-15 cs.LG stat.ML
SLADE: Detecting Dynamic Anomalies in Edge Streams without Labels via Self-Supervised Learning
KAIST（韩国科学技术院）
提出自监督框架SLADE，通过训练神经网络最小化节点表示漂移并从短期模式生成长期模式，在无标签边流中实现常数时间的动态异常检测，性能优于多种有监督方法。
2024-07-25 cs.LG cs.SI
A Comparative Study of Detecting Anomalies in Time Series Data Using LSTM and TCN Models
Texas Tech University（德克萨斯理工大学）；Rutgers University（罗格斯大学）
存在几种数据驱动的方法，使我们能够对时间序列数据进行建模，包括传统的基于回归的建模方法（即，ARIMA）。最近，深度学习技术已经在时间序列分析和预测的背景下被引入和探索。要问的一个主要研究问题是深度学习技术的这些变体在预测时间序列数据时的性能。本文比较了两种主要的深度学习建模技术。比较了基于递归神经网络（RNN）的长短期记忆（LSTM）和基于卷积神经网络（CNN）的时间卷积网络（TCN），并报告了它们的性能和训练时间。根据我们的实验结果，这两种建模技术的性能都优于基于TCN的模型，略优于LSTM。此外，基于CNN的TCN模型比基于RNN的LSTM模型更快地建立稳定的模型。
2021-12-17 cs.LG cs.PF
HOTSPOT-YOLO: A Lightweight Deep Learning Attention-Driven Model for Detecting Thermal Anomalies in Drone-Based Solar Photovoltaic Inspections
Technical University of Denmark（丹麦技术大学）
提出轻量级AI模型HOTSPOT-YOLO，集成CNN骨干与注意力机制，用于无人机光伏巡检热异常检测，mAP达90.8%，兼具实时性与鲁棒性。
2025-08-26 cs.AI cs.LG eess.IV
GraphSAC: Detecting anomalies in large-scale graphs
Heinz College of Information Systems and Public Policy, Carnegie Mellon University（卡内基梅隆大学海因茨信息系统与公共政策学院）
为了有效地检测大规模图中的异常节点，提出了一种基于图的采样和一致性（GraphSAC）方法.现有的方法依赖于所有节点的连接性和属性来为每个节点分配异常分数。然而，节点属性和网络链路可能会受到对手的损害，使这些整体方法变得脆弱。为了缓解这一限制，GraphSAC随机绘制节点子集，并在采用半监督学习（SSL）模块来估计每个节点的标称标签分布之前，依靠图形感知标准来明智地过滤出被异常节点污染的集合。这些学习的标称分布受异常节点的影响最小，因此可以直接用于异常检测。严格的分析通过限制所需的绘制次数为GraphSAC提供了性能保证。每次绘制的复杂性随着边的数量线性增长，这意味着高效的SSL，而绘制可以并行运行，从而确保大型图形的可扩展性。GraphSAC在不同的异常生成模型下进行了测试，这些模型基于随机游走、聚类异常以及图数据的当代对抗攻击。使用真实世界图形的实验展示了GraphSAC相对于最先进的替代方案的优势。
2019-10-21 cs.LG stat.ML
Detecting and Learning the Unknown in Semantic Segmentation
University of Wuppertal（伍珀塔尔大学）
语义分割是自动驾驶中感知的关键组成部分。深度神经网络（DNN）通常用于此任务，并且它们通常在出现在封闭操作域中的对象类的封闭集合上进行训练。然而，这与DNN部署到自动驾驶中的开放世界假设形成对比。因此，DNN必须面对以前从未遇到过的数据，也称为异常，这对于正确处理非常安全。在这项工作中，我们首先从信息论的角度对异常进行了概述。接下来，我们回顾了在语义分割中检测语义未知对象的研究。我们证明了对异常物体的高熵响应的训练优于其他最近的方法，这与我们的理论研究结果一致。此外，我们研究了一种方法来评估异常的发生频率，以选择异常类型，包括到一个模型的一组语义类别。我们证明了这些异常可以以无监督的方式学习，这特别适合基于深度学习的在线应用程序。
2022-02-17 cs.CV cs.LG
Detecting Nighttime Anomalies from NASA Black Marble Using a Generalized Spatio-Temporally Robust Framework of Machine Leaning Ensembles
Universities Space Research Association（大学空间研究协会）
提出联合建模Black Marble M波段与DNB信号的机器学习集成框架，构建时空稳健的异常检测器，提升真实检测率并减少误报，适用于灾害监测与能源开采。
2026-10-06 cs.CV cs.LG
Rank the triplets: A ranking-based multiple instance learning framework for detecting HPV infection in head and neck cancers using routine H&E images
University of Warwick（华威大学）；University of Sheffield（谢菲尔德大学）；The Alan Turing Institute（艾伦·图灵研究所）
头颈部鳞状细胞癌（HNSCC）的病因涉及多种致癌物，如酒精、烟草和人乳头瘤病毒（HPV）感染。由于HPV感染影响HNSCC患者的预后，治疗和生存，因此确定这些肿瘤的HPV状态非常重要。在本文中，我们提出了一种新的三重排序损失函数和多实例学习管道的HPV状态预测。这在HPV检测中实现了新的最先进的性能，仅使用两个HNSCC队列的常规H&E染色的WSI。此外，还进行了全面的肿瘤微环境分析，从基因组学、免疫学和细胞学角度描述了HPV+/- HNSCC之间的独特模式。确定了拟定评分与不同T细胞亚型（例如T细胞滤泡辅助细胞、CD 8 + T细胞）的正相关性以及与巨噬细胞和结缔细胞（例如成纤维细胞）的负相关性，这与临床结果一致。独特的基因表达谱也确定了HPV感染状态，并与现有的研究结果。
2022-06-16 cs.CV cs.LG
Anomaly detecting and ranking of the cloud computing platform by multi-view learning
Liaoning Normal University（辽宁师范大学）
异常检测作为云计算中的一项重要技术，用于支持云平台的平稳运行。传统的基于统计、分析等的检测方法由于参数设置的非适应性和敏感性，导致虚警率高。提出了一种基于机器学习理论的在线异常检测模型。然而，现有的大多数基于机器学习的方法都是将不同子系统的所有特征直接连接成一个长的特征向量，既难以充分利用子系统间的互补信息，又忽略了多视角特征对分类性能的提升。针对这一问题，该方法自动融合多视角特征，并优化判别模型，以提高准确率。该模型利用极限学习机（ELM）提高检测效率。ELM是一种单隐层神经网络，它将迭代求解输出权值转化为求解线性方程组，避免了局部最优解。然后根据样本与分类边界的关系对异常进行排序，并为排序后的异常分配权重，最后对分类模型进行再训练。该方法充分利用了子系统间的互补信息，避免了不平衡数据集的影响，从而能够应对云计算平台带来的各种挑战。我们通过Openstack部署私有云平台，验证了所提出的模型，并将结果与最先进的方法进行比较，具有更好的效率和简单性。
2019-01-27 cs.LG stat.ML
A Machine Learning Approach to Detecting Albedo Anomalies on the Lunar Surface
University of Murcia（穆尔西亚大学）；University of Alabama（阿拉巴马大学）；Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）；University of Georgia（佐治亚大学）
本研究提出一种基于机器学习的月球表面反照率异常探测方法，利用多类行星数据集与自适应高斯模糊技术，通过优化的极端梯度提升回归模型实现反照率预测，并开发交互式分析工具，为月球及其他天体表面研究提供框架。
2024-07-11 astro-ph.EP cs.LG
