Uncertainty-aware Evaluation of Auxiliary Anomalies with the Expected Anomaly Posterior
KU Leuven(鲁汶大学);Bosch Center for AI(博世人工智能中心);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对辅助合成异常质量评估缺失问题,提出基于不确定性的期望异常后验(EAP)评分函数,在40个基准数据集上优于12种现有估计器。
2024-05-22 cs.AI cs.LG
SECODA: Segmentation- and Combination-Based Detection of Anomalies
UWV(荷兰乌得勒支工作与收入机构)
本研究介绍SECODA,一种新的通用无监督非参数异常检测算法的数据集包含连续和分类属性。该方法保证识别具有唯一或稀疏属性值组合的情况。连续属性被反复离散化,以便正确确定这种值组合的频率。星座的概念,指数增长的权重和离散化切割点,以及修剪启发式的最佳迭代次数来检测异常。此外,该算法具有较低的内存印记,其运行时性能与数据集的大小呈线性关系。模拟和真实数据集的评估表明,该算法能够识别许多不同类型的异常,包括复杂的多维实例。对一个真实数据集的数据质量用例的评估表明,SECODA可以为现实世界的设置带来相关和实用的价值。
2020-08-16 cs.AI cs.DB cs.LG
Am I Rare? An Intelligent Summarization Approach for Identifying Hidden Anomalies
Macquarie University(麦考瑞大学);Arizona State University(亚利桑那州立大学)
监控网络流量数据以检测任何隐藏的异常模式是一项具有挑战性且耗时的任务,需要大量的计算资源。为此,适当的摘要技术是非常重要的,它可以替代原始数据。然而,汇总的数据受到消除异常的威胁。因此,创建能够反映与原始数据相同模式的摘要至关重要。因此,在本文中,我们提出了一个智能总结方法来识别隐藏的异常,称为智能。所提出的方法保证了在汇总数据中保持原始数据的分布。我们的方法是一个基于聚类的算法,动态映射到一个新的特征空间的原始特征空间,在每个集群的本地加权功能。因此,在新的特征空间中,相似的样本更接近,因此,离群值更容易检测。此外,根据聚类大小选择代表,在汇总数据中保持与原始数据相同的分布。异常检测算法既可以作为异常检测算法执行前的预处理方法,也可以作为异常检测算法执行前的预处理方法。在基准数据集上的实验结果证明,在异常检测任务中,数据摘要可以替代原始数据。
2021-12-19 cs.AI cs.LG
A Taxonomy of Anomalies in Log Data
Technische Universität Berlin(柏林工业大学)
日志数据异常检测是面向IT运营的人工智能领域的核心组成部分。然而,大量的现有方法使得很难为特定系统选择正确的方法。更好地了解不同类型的异常,以及哪些算法适合检测它们,将为研究人员和IT运营商提供支持。虽然已经存在一种常见的异常分类法,但它尚未专门应用于日志数据,指出了该领域的特征和特殊性。本文提出了不同类型日志数据异常的分类法,并介绍了一种在标记数据集中分析此类异常的方法。我们将我们的分类应用于三个常见的基准数据集Thunderbird,Spirit和BGL,并训练了五种最先进的无监督异常检测算法,以评估它们在检测不同类型异常时的性能。我们的研究结果表明,最常见的异常类型也是最容易预测的。此外,基于深度学习的方法在所有异常类型中都优于基于数据采掘的方法,尤其是在检测上下文异常时。
2021-11-26 cs.DB cs.GL cs.LG
Unravel Anomalies: An End-to-end Seasonal-Trend Decomposition Approach for Time Series Anomaly Detection
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学)
针对传统时间序列异常检测方法难以处理复杂复合数据与多样异常的问题,提出端到端模型TADNet,结合季节-趋势分解关联异常与分解分量,采用合成数据预训练加微调的训练策略,在真实数据集上实现了当前最优的多类型异常检测性能。
2023-12-14 cs.AI cs.LG
Algorithmic Frameworks for the Detection of High Density Anomalies
HEINEKEN(喜力)
本研究探讨了高密度异常的概念。与孤立出现的异常的传统概念相反,高密度异常是位于数据空间的最正常区域中的异常情况。这些异常与各种实际用例相关,例如不当行为检测和数据质量分析。当分析非常大或有噪声的集合时,识别它们的有效方法特别重要,因为传统的异常检测算法会返回许多误报。为了能够识别高密度异常,本研究介绍了几种非参数算法框架的无监督检测。这些框架能够利用现有的底层异常检测算法,并为该检测任务中固有的平衡问题提供不同的解决方案。该框架与合成和真实世界的数据集进行评估,并与现有的基线算法检测传统的异常进行比较。迭代部分推送(IPP)框架被证明可以产生最佳的检测结果。
2021-04-04 cs.DB cs.LG stat.ML
Enhancing Anomaly Detection via Generating Diversified and Hard-to-distinguish Synthetic Anomalies
Chung-Ang University(中央大学);Korea University(高丽大学)
针对无监督异常检测中特定领域变换难定义、合成异常易区分的问题,提出带条件扰动器和判别器的领域无关方法,通过扰动正交与近邻约束生成多样难区分的合成异常,在图像与表格数据上性能优于SOTA,且适配半监督场景。
2024-09-16 cs.AI cs.LG
A Causal Approach to Detecting Multivariate Time-series Anomalies and Root Causes
Salesforce Research(赛富时研究院);Carnegie Mellon University(卡内基梅隆大学)
检测多变量时间序列中的异常和相应的根本原因在监控各种现实世界系统的行为中起着重要作用,例如,IT系统运营或制造业。以前的异常检测方法对联合分布进行建模,而没有考虑多变量时间序列的潜在机制,这使得它们计算量很大,难以识别根本原因。在本文中,我们制定的异常检测问题,从因果关系的角度来看,并认为异常的情况下,不遵循定期的因果机制,以产生多变量数据。然后,我们提出了一个基于cavity检测异常和根本原因的框架。它首先从数据中学习因果结构,然后推断实例是否是相对于局部因果机制的异常,其条件分布可以直接从数据中估计。根据因果系统的模块化特性(产生不同变量的因果过程是不相关的模块),将原问题分解为一系列独立的、简单的、低维的异常检测问题,从而可以直接识别异常发生的位置(根本原因)。我们评估我们的方法与模拟和公共数据集,以及对现实世界的AIOps应用程序的案例研究,显示其有效性,鲁棒性和实际可行性。
2022-09-29 cs.AI cs.LG
When Will It Fail?: Anomaly to Prompt for Forecasting Future Anomalies in Time Series
Department of Artificial Intelligence, Kyung Hee University, Yongin, Republic of Korea(韩国成均馆大学人工智能系);Department of Artificial Intelligence, Korea University, Seoul, Republic of Korea(韩国大学人工智能系)
针对时间序列异常预测任务,提出A2P框架,通过异常关系学习与异常提示池模拟,实现对未来异常时间点的精确预测,优于现有方法。
2025-06-30 cs.AI cs.LG
AnoOnly: Semi-Supervised Anomaly Detection with the Only Loss on Anomalies
University of Electronic Science and Technology of China(电子科技大学);Juntendo University(顺天堂大学);RIKEN(理化学研究所)
AnoOnly提出一种仅对异常进行损失监督的半监督异常检测框架,通过暂停对正常数据的严格监督并利用批归一化实现弱监督,以平衡数据不平衡,提升检测性能并增强对标签噪声的鲁棒性。
2023-09-06 cs.AI cs.LG
High Significant Fault Detection in Azure Core Workload Insights
Microsoft(微软)
本文研究Azure Core时间序列数据中的高显著性故障检测,提出自动识别具有高用户感知度和高重建误差的异常(如每小时5-20个)及其关联信息,以便在仪表板上向用户突出显示。
2024-07-25 cs.AI cs.DC cs.LG
Contrastive Time Series Forecasting with Anomalies
Center for Applied Intelligent Systems Research(应用智能系统研究中心);Halmstad University(哈马碧大学)
Co-TSFA通过对比学习区分异常事件的影响,提升时间序列预测在异常条件下的性能。
2026-10-06 cs.AI cs.LG stat.ML
gen2Out: Detecting and Ranking Generalized Anomalies
Carnegie Mellon University(卡内基梅隆大学);Barrow Neurological Institute(巴罗神经学研究所)
在m维数据点的云中,我们如何发现单点异常和组异常,并对其进行排序?我们是第一个在两个维度上概括异常检测的人:第一个维度是我们在统一的视图下处理点异常和组异常-我们将其称为广义异常。第二个维度是gen 2 Out不仅检测,而且还按可疑顺序对异常进行排名。异常的检测和排序有许多应用:例如,在癫痫患者的EEG记录中,异常可能表示癫痫发作;在计算机网络流量数据中,它可能表示电源故障或DoS/DDoS攻击。我们首先设置一些合理的公理;令人惊讶的是,没有一个早期的方法通过所有的公理。我们的主要贡献是gen 2 Out算法,它具有以下理想的属性:(a)原则和声音异常评分,遵守检测器的公理,(b)双一般,它检测,以及排名广义异常-点和组异常,(c)可扩展性,它是快速和可扩展的,线性的输入大小。(d)有效的,对真实世界癫痫记录(200 GB)的实验证明了gen 2 Out的有效性,并得到了临床医生的证实。在27个真实世界基准数据集上的实验表明,gen 2 Out检测地面真值组,在准确性上匹配或优于点异常基线算法,而没有组异常的竞争,并且在股票机器上需要大约2分钟的时间才能获得100万个数据点。
2021-11-15 cs.LG
Robust and Explainable Detector of Time Series Anomaly via Augmenting Multiclass Pseudo-Anomalies
SANKEN, University of Osaka(大阪大学SANKEN研究所)
针对时间序列无监督异常检测中异常污染问题,提出RedLamp方法,通过多样化数据增强生成多类伪异常并采用软标签多类分类,实现鲁棒且可解释的异常检测。
2025-05-27 cs.LG
RobustTSF: Towards Theory and Design of Robust Time Series Forecasting with Anomalies
University of California, Santa Cruz(加州大学圣克鲁兹分校);Alibaba Group(阿里巴巴集团)
本文针对含异常时间序列的鲁棒预测问题,定义了三种异常类型,分析损失与样本鲁棒性,提出简单高效算法,实验证明其优于现有方法。
2024-02-03 cs.LG
Autoencoding Binary Classifiers for Supervised Anomaly Detection
NTT Secure Platform Laboratories(NTT安全平台实验室);NTT Communication Science Laboratories(NTT通信科学实验室);NTT Software Innovation Center(NTT软件创新中心)
我们提出了自动编码二进制分类器(ABC),一种新的监督异常检测器的基础上的自动编码器(AE)。异常检测主要有两种方法:有监督的和无监督的。监督方法可以准确地检测训练数据中包含的已知异常,但无法检测未知异常。同时,无监督方法可以检测远离正常数据点的已知和未知异常。然而,它不能像监督方法那样准确地检测已知的异常。此外,即使我们标记了正常数据点和异常数据点,无监督方法也无法利用这些标签。ABC是一种概率二元分类器,它有效地利用了标签信息,其中使用AE作为组件对正常数据点进行建模。通过最大化可能性,所提出的ABC中的AE被训练以最小化正常数据点的重建误差,并最大化已知异常的重建误差。由于我们的方法能够准确地重建正常数据点,而无法重建已知和未知的异常,因此它可以准确地将已知和未知的异常与正常数据点区分开来。实验结果表明,该算法比已有的监督和非监督方法具有更高的检测性能.
2019-03-26 cs.LG stat.ML
Detection of Thin Boundaries between Different Types of Anomalies in Outlier Detection using Enhanced Neural Networks
Islamic Azad University(伊斯兰阿扎德大学);Institute for Advanced Studies in Basic Sciences(基础科学高级研究所);Petanux GmbH(佩塔努克斯有限公司)
离群点检测在各个领域都受到了特别的关注,主要是那些处理机器学习和人工智能的领域。异常作为强异常,分为点异常、上下文异常和集体异常。异常值检测中最重要的挑战包括远程点和自然区域之间的薄边界、新数据和噪声模仿真实数据的趋势、未标记的数据集以及不同应用中异常值的不同定义。考虑到上述挑战,我们定义了新类型的异常,称为集合正态异常和集合点异常,以提高对不同类型异常之间的薄边界的更好检测。基本的领域独立的方法被引入到检测这些定义的异常在无监督和监督数据集。利用遗传算法对多层感知器神经网络进行了增强,以更高的精度检测新定义的异常,从而确保测试误差小于传统多层感知器神经网络的计算误差。在基准数据集上的实验结果表明,与基线相比,异常检测过程的错误减少。
2020-01-24 cs.LG cs.NE stat.ML
Graph-Augmented LSTM for Forecasting Sparse Anomalies in Graph-Structured Time Series
University of Massachusetts Dartmouth(马萨诸塞大学达特茅斯分校)
针对多变量时间序列中稀疏异常检测的跨节点依赖捕捉难题,提出将关系图显式整合到 LSTM 的图增强预测模型,在两个基准数据集上 F1 分数较最佳基线提升达 10%。
2025-03-05 cs.LG
Explaining Anomalies in Groups with Characterizing Subspace Rules
Heinz College, Carnegie Mellon University(卡内基梅隆大学海因茨学院)
异常检测有许多应用,并已被广泛研究。我们考虑一个互补的问题,有一个稀疏的文献:异常描述。对异常的解释对于从业者进行意义判断、故障排除和计划行动至关重要。为此,我们提出了一种新的方法称为x-PACS(eXplaining Patterns of Anomalies with Characterizing Subspaces),它通过识别(1)它们形成的组(或模式)以及(2)将每个异常模式与正常实例分开的特征子空间和特征规则来“逆向工程”已知异常。分组解释异常不仅可以节省分析时间并深入了解各种类型的异常,还可以引起对潜在关键的重复异常的注意。在发展x-PACS,我们首先构建一个异常描述问题的desiderata。从描述性数据采掘的角度来看,我们的方法表现出五个所需的属性在我们的desiderata。也就是说,它可以发现异常模式(i)多种不同类型,(ii)隐藏在高维空间的任意子空间中,(iii)可由分析师解释,(iv)不同于数据的正常模式,以及最后(v)简洁,提供最短的数据描述。此外,x-PACS是高度并行化的,并在数据大小方面线性扩展。没有现有的工作异常描述同时满足所有这些属性。虽然不是我们的主要目标,但我们发现的异常模式可以作为可解释的“签名”,并可用于检测。我们展示了x-PACS在解释和检测现实世界的数据集相比,国家的最先进的有效性。
2018-05-02 cs.LG stat.ML
Sensing Anomalies as Potential Hazards: Datasets and Benchmarks
Dalle Molle Institute for Artificial Intelligence (IDSIA)(达勒·莫尔人工智能研究所(IDSIA));USI-SUPSI(瑞士意大利语区大学-瑞士南部应用科学与艺术大学);Hovering Solutions Ltd(Hovering Solutions有限公司)
我们考虑在自主移动机器人的视觉传感数据流中检测不寻常的语义模式(即,异常)相对于机器人在类似环境中的先前经验。这些异常可能指示不可预见的危险,并且在失败代价高昂的情况下,可以用于触发避免行为。我们贡献了三个新的基于图像的数据集在机器人探索的情况下,包括超过200k的标记帧,跨越各种类型的异常。在这些数据集上,我们研究了基于在不同尺度上操作的自动编码器的异常检测方法的性能。
2022-09-20 cs.AI cs.CV cs.RO
Multiple Instance Learning for Detecting Anomalies over Sequential Real-World Datasets
George Mason University(乔治梅森大学)
在真实世界的数据集上检测异常仍然是一项具有挑战性的任务。数据标注是一个密集的人工劳动问题,特别是在连续数据集,其中异常的开始和结束时间是未知的。因此,从连续的真实世界过程中收集的数据可能在很大程度上是未标记的或包含不准确的标签。这些特点对基于监督学习的异常检测技术的应用提出了挑战。相比之下,多实例学习(MIL)在训练数据集中标签知识不完整的问题上表现出了有效性,这主要是由于袋子的概念。虽然在很大程度上未充分利用异常检测,MIL提供了一个有吸引力的公式异常检测在现实世界的数据集,这是本文的主要贡献。在本文中,我们提出了一个基于MIL的配方和各种算法的框架的基础上,不同的设计决策的框架的关键组成部分的实例。我们评估了四个数据集,捕捉不同的物理过程沿不同的方式所产生的算法。实验评估得出了几个意见。基于MIL的公式在易于缓和的数据集上的性能并不比单实例学习差,并且在更具挑战性的数据集上的性能优于单实例学习。总的来说,结果表明,该框架概括了不同的数据集,从不同的现实世界的应用领域。
2022-10-04 cs.LG
Exploiting Autoencoder's Weakness to Generate Pseudo Anomalies
University of Science and Technology(科学技术大学);Electronics and Telecommunications Research Institute(电子通信研究院);University of Luxembourg(卢森堡大学);Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对自编码器异常检测中异常数据常被良好重构的问题,提出利用该弱点通过自适应噪声生成伪异常的方法,在多数据集上验证了其可有效提升自编码器的异常检测判别能力。
2024-05-17 cs.CV cs.LG
Learning Feature Encoder with Synthetic Anomalies for Weakly Supervised Graph Anomaly Detection
Sichuan University(四川大学);University of Connecticut(康涅狄格大学);University of Electronic Science and Technology of China(电子科技大学);University of Adelaide(阿德莱德大学)
本文提出一种弱监督图异常检测方法,通过合成异常生成鲁棒特征表示,结合多任务学习策略提升异常检测性能。
2026-05-12 cs.LG
Reconstruction Error-based Anomaly Detection with Few Outlying Examples
University of Calabria(卡拉布里亚大学)
本研究提出一种利用少量异常样本增强重建误差对比度的方法,使自编码器能将已知异常排除在正常数据域之外,从而提升半监督异常检测性能。
2024-06-05 cs.LG
Sensor Data Simulation for Anomaly Detection of the Elderly Living Alone
Graduate School of Information Science and Technology(信息科学与技术学院);Hokkaido University(北海道大学)
本文提出一种新型传感器数据仿真器,可建模长期状态转移和异常间相关性,生成包含状态、活动和移动三类异常的10年独居老人数据,并在模拟真实日常变化上优于现有方法。
2023-12-28 cs.HC cs.LG eess.SP
Using Ensemble Classifiers to Detect Incipient Anomalies
University of California, Berkeley(加州大学伯克利分校);University of California, Davis(加州大学戴维斯分校);University of Chicago(芝加哥大学)
与严重异常相比,早期异常的症状较轻,并且由于其与正常操作条件的相似性而更难以检测和诊断。训练数据中缺乏早期异常示例可能会对基于机器学习(ML)技术构建的异常检测方法造成严重风险,因为这些异常很容易被误认为是正常操作条件。为了应对这一挑战,我们建议利用集成学习提供的不确定性信息来识别潜在的错误分类的初期异常。我们在本文中表明,集成学习方法可以提高早期异常的性能,并通过对两个真实数据集的广泛实验来识别这些模型中的常见陷阱。然后,我们讨论了如何设计更有效的集成模型检测早期异常。
2020-08-20 cs.LG cs.SY eess.SY
Anomaly Detection using Principles of Human Perception
Airbus(空中客车公司)
在统计学和无监督机器学习领域中,一个基本的和充分研究的问题是异常检测。异常很难定义,但已经提出了许多算法。这些方法的基础是模糊的理解,即异常是罕见的,不寻常的或与大多数数据不一致的。目前的工作提供了一个哲学论文,以明确定义异常,并开发了一种算法,以最小的用户干预,他们的有效检测。受格式塔心理学和亥姆霍兹人类感知原理的启发,异常被假设为相对于大多数数据所做的某些分组而意外发生的观察结果。在适当的随机变量建模下,通过对观测的组成元素的分布进行均匀且独立的随机假设,在一组数据中直接发现异常,其中异常对应于给定视图中元素出现次数的期望值为$<1$的那些观测。从人类感知的基本原理出发,开发了一种简单、实时、无参数的无监督异常检测算法。实验表明,它作为一个竞争的选择,单变量数据与有前途的结果检测全局异常的多元数据。
2022-05-13 cs.CR cs.LG stat.ML
siForest: Detecting Network Anomalies with Set-Structured Isolation Forest
University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对网络威胁演变下高效准确检测网络异常的需求,本文提出集合结构数据的iForest扩展siForest,将同IP多扫描集合视为内聚单元,实验显示其在部分互联网扫描数据上性能优于传统方法。
2024-12-08 cs.CR cs.LG
Augment to Detect Anomalies with Continuous Labelling
Western University(西安大略大学)
异常检测是识别在某些方面与训练观察不同的样本。这些不符合正态分布的样本被称为离群值或异常值。在现实世界的异常检测问题中,离群值是不存在的,没有很好地定义,或具有非常有限的实例数量。目前最先进的基于深度学习的异常检测方法存在计算成本高、复杂度高、训练过程不稳定以及实现复杂等问题,这使得它们难以部署在现实世界的应用中。为了解决这个问题,我们利用一个简单的学习过程来训练一个轻量级的卷积神经网络,在异常检测中达到最先进的性能。在本文中,我们提出解决异常检测作为一个监督回归问题。我们使用连续值的两个可分离分布来标记正常和异常数据。为了补偿训练期间异常样本的不可用性,我们利用简单的图像增强技术来创建一组不同的样本作为异常。增广集的分布是类似的,但稍微偏离正常数据,而真正的异常预计有一个更进一步的分布。因此,在这些增强样本上训练回归量将导致正常和真实异常数据点的标签分布更加可分离。在图像和视频数据集上的异常检测实验表明了该方法的优越性。
2022-07-03 cs.AI cs.CV
Reimagining Anomalies: What If Anomalies Were Normal?
本文提出一种生成多个替代修改以解释异常检测机制的方法,通过语义解释帮助用户探索异常的"如果"场景。
2026-01-12 cs.CV cs.LG stat.ML
Worldwide city transport typology prediction with sentence-BERT based supervised learning via Wikipedia
New York University(纽约大学)
世界人口的绝大多数生活在城市地区和城市。了解一个城市的交通类型对于规划者和政策制定者来说是非常有价值的,他们的决策可能会影响数百万城市居民。尽管了解城市类型学的价值,但标记数据(城市及其类型学)是稀缺的,并且在当前的交通文献中最多跨越几百个城市。为了打破这一障碍,我们提出了一个监督机器学习的方法来预测一个城市的类型在其维基百科页面的信息。我们的方法利用了自然语言处理的最新突破,即基于文本的BERT,并展示了如何从维基百科的信息可以有效地用作数据源的城市类型预测任务,可以应用于全球2000多个城市。我们提出了一种新的方法,低维城市表示使用城市的维基百科页面,这使得监督学习的城市类型标签易于处理,即使有几百个标记的样本。这些特征与标记的城市样本一起用于训练四种不同城市类型的二元分类器(逻辑回归):(i)拥堵,(ii)自动重,(iii)交通重,和(iv)自行车友好城市,分别产生合理的高AUC分数0.87,0.86,0.61和0.94。我们的方法提供了足够的灵活性,将额外的变量在城市类型学模型,并可以应用于研究其他城市类型学以及。我们的研究结果可以帮助交通和城市规划领域的不同利益相关者,并为使用维基百科(或类似平台)的文本信息作为这些领域的数据源开辟了新的机会。
2022-03-29 cs.CL cs.LG
Explaining Anomalies Detected by Autoencoders Using SHAP
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
异常检测算法通常被认为是有限的,因为它们不便于领域专家执行的验证结果的过程。相比之下,用于异常检测的深度学习算法(如自动编码器)会指出异常值,从而为专家节省了检查正常情况以发现异常的耗时任务。大多数离群值检测算法为数据库中的每个实例输出一个分数。将前k个最强烈的离群值返回给用户进行进一步检查;然而,如果没有额外的线索,手动验证结果变得具有挑战性。解释一个实例为什么是异常的,使专家能够将他们的调查集中在最重要的异常上,并可能增加他们对算法的信任。最近,一个基于博弈论的框架被称为SHapley加法解释(SHAP)已被证明是有效的,在解释各种监督学习模型。在这项研究中,我们扩展SHAP来解释自动编码器(一种无监督模型)检测到的异常。所提出的方法提取和可视化描绘的功能,最有助于异常和抵消it.A使用真实世界的数据进行了初步的实验研究表明,所提出的方法在帮助领域专家了解异常和过滤掉不感兴趣的异常,旨在最大限度地减少误报率检测异常。
2020-06-30 cs.GT cs.LG stat.ML
Revealing the temporal dynamics of antibiotic anomalies in the infant gut microbiome with neural jump ODEs
本研究提出基于神经跳跃常微分方程的非均匀采样时间序列异常检测框架,可准确识别合成数据异常,揭示婴儿肠道微生物组抗生素扰动的时间动态特征,且预测抗生素事件性能优于基线方法,为优化干预方案提供支撑。
2025-09-30 cs.LG math.PR q-bio.QM
Corruptions of Supervised Learning Problems: Typology and Mitigations
Tübingen AI Center, University of Tübingen(图宾根人工智能中心,图宾根大学)
本文提出了一种通用的腐败理论,通过马尔可夫核分析底层概率分布的变化,统一了不同类型的腐败模型,并探讨了针对各种腐败类型的缓解方法。
2026-05-18 cs.LG stat.ML
Detecting Anomalies within Smart Buildings using Do-It-Yourself Internet of Things
Cardiff University(卡迪夫大学)
在发生异常时进行检测对于识别潜在的网络攻击至关重要。本文讨论了各种机制,以检测异常,一旦他们发生。我们阐明了构建机器学习模型时的关键考虑因素。我们从多个具有不同原位传感器的自建(DIY)物联网设备中构建和收集数据,并找到了有效的方法来找到点,上下文和组合异常。我们还讨论了在处理以不同采样率产生数据的传感设备时面临的几个挑战和潜在的解决方案,以及我们需要如何在机器学习模型中对它们进行预处理。本文还研究了基于环境条件提取子数据集的优点和缺点。
2022-10-04 cs.AI cs.LG
Learning Traffic Anomalies from Generative Models on Real-Time Observations
LIP6, LPNHE Sorbonne Université CNRS, IN2P3 Paris, France(LIP6、LPNHE 索邦大学 CNRS、IN2P3 巴黎,法国);Department of Mathematics Lund University Lund, Scania, Sweden(数学系 哥德堡大学 哥德堡、斯卡纳,瑞典)
本研究提出基于STGAN框架结合图神经网络与LSTM,利用瑞典哥德堡42个摄像头的实时数据,高精度、低误报地检测交通异常。
2025-07-12 cs.AI cs.CV cs.LG
Robust learning of data anomalies with analytically-solvable entropic outlier sparsification
Universitá della Svizzera Italiana (USI)(瑞士意大利语区大学)
熵离群稀疏化(Entropic Outlier Sparsification,EOS)是一种鲁棒的计算策略,用于在广泛的学习方法中检测数据异常,包括无监督问题(如在大多数高斯数据中检测非高斯离群值)和有监督的错误标记数据学习。EOS详细说明了香农熵正则化的(加权)预期误差最小化问题的解析闭式解。与常见的正则化策略需要的计算成本,规模多项式与数据维度相比,确定的封闭形式的解决方案被证明施加额外的迭代成本,线性依赖于统计量的大小,是独立的数据维度。得到的分析结果也解释了为什么球对称高斯的混合物-在许多流行的数据分析算法中被广泛使用-在使用平方欧几里德距离时代表非参数概率分布的最佳选择,结合预期误差最小化,最大熵/无偏性和线性成本缩放。EOS的性能进行了比较,一系列常用的工具合成的问题和部分错误标记的监督分类问题,从生物医学。
2021-12-22 cs.AI cs.LG stat.ME
Unsupervised Detection of Spatiotemporal Anomalies in PMU Data Using Transformer-Based BiGAN
West Virginia University(西弗吉尼亚大学)
本文提出T-BiGAN框架,利用窗口注意力Transformer和双向生成对抗网络,实现实时检测电力系统中细微频率和电压异常,其在硬件在环PMU基准测试中表现出色。
2026-04-11 cs.AI cs.LG cs.SY
Detecting Anomalies Through Contrast in Heterogeneous Data
Virginia Tech(弗吉尼亚理工大学)
检测异常一直是检测潜在欺诈活动的基本方法。我们的任务是检测威胁生态系统和经济的非法木材贸易,并与其他非法活动的关联,我们制定我们的问题作为异常检测之一。在其他挑战中,注释对于我们具有异构特征(分类和连续)的大规模交易数据不可用,这可以帮助构建自动化系统来检测欺诈交易。将任务建模为无监督的异常检测,提出了一种新的基于对比学习模型的异构异常检测器,以解决现有模型的缺点。我们的模型使用了一个非对称的自动编码器,可以有效地处理大的arity分类变量,但避免了对低维潜在空间中数据结构的假设,并且对超参数的变化具有鲁棒性。数据的可能性通过估计器网络来近似,该估计器网络使用负采样与自动编码器联合训练。此外,一个有效的负样本生成方法的异质性数据的细节和直观的概述。我们提供了一个定性的研究,以展示我们的模型在检测木材贸易异常的有效性。
2021-04-02 cs.LG
Deep Anomaly Detection and Search via Reinforcement Learning
半监督异常检测(Semi-supervised Anomaly Detection,AD)是一种数据采掘任务,旨在从部分标记的数据集中学习特征,以帮助检测离群点。本文将现有的半监督AD方法分为基于无监督和基于监督两大类,指出它们大多存在对标记数据利用不足和对未标记数据利用不足的问题。为了解决这些问题,我们提出了深度异常检测和搜索(DADS),它应用强化学习(RL)来平衡开发和探索。在训练过程中,智能体使用分层结构的数据集搜索可能的异常,并使用搜索到的异常来提高性能,这在本质上借鉴了集成学习的思想。实验上,我们比较了DADS与几个国家的最先进的方法,利用标记的已知异常的设置,以检测其他已知的异常和未知的异常。实验结果表明,DADS能够高效、准确地从未标记数据中发现异常并从中学习,取得了良好的性能。
2022-10-26 cs.LG
Measuring anomalies in cigarette sales by using official data from Spanish provinces: Are there only the anomalies detected by the Empty Pack Surveys (EPS) used by Transnational Tobacco Companies (TTCs)?
University of Huelva(韦尔瓦大学);International University of La Rioja(拉里奥哈国际大学)
有文献质疑跨国烟草公司为衡量非法烟草贸易而委托进行的研究的准确性。此外,有研究表明,TTC订购的空包装调查(EPS)过大。这项研究的新颖之处在于,除了发现EPS中分析的异常之外,还有一些省份的卷烟销售高于合理值,而这是TTC忽略的。这项研究同时分析,首先,如果在西班牙的47个省建立的EPS完成。第二,对销售额超过预期值的省份观察到的异常情况进行测量。为了实现本文的目标,使用了各省的卷烟销售、价格和人均GDP数据。这些数据通过机器学习技术进行建模,这些技术广泛用于检测其他领域的异常情况。结果表明,销售额低于合理值的省份(如EPS所检测到的)呈现出明显的地理模式。此外,如以前的文献所示,西班牙环境保护局提供的数值稍大。最后,有些地区与其他国家接壤,或具有较高的旅游影响力,其中观察到的销售额高于预期值。
2022-03-13 cs.LG econ.EM stat.AP
Koopman-theoretic Approach for Identification of Exogenous Anomalies in Nonstationary Time-series Data
University of Washington(华盛顿大学);NASA Global Modeling and Assimilation Office, Goddard Space Flight Center(美国国家航空航天局戈达德太空飞行中心全球建模与同化办公室);Morgan State University(摩根州立大学)
在许多情况下,有必要通过时间序列观测来监测复杂系统,并确定异常外源事件何时发生,以便采取相关行动。确定当前观察结果是否异常具有挑战性。它需要从历史数据中学习动态的外推概率模型,并使用有限数量的当前观测进行分类。我们利用长期概率预测的最新进展,即{ \em Deep ProbabilityKoopman},建立一个通用的方法来分类多维时间序列数据中的异常。我们还展示了如何利用模型与域知识的动态,以减少I型和II型错误。我们证明了我们提出的方法对全球大气污染监测的重要现实世界的任务,将其与美国宇航局的全球地球系统模型。该系统成功检测到因COVID-19封锁和野火等事件而导致的局部空气质量异常。
2022-09-18 cs.LG
G2A2: An Automated Graph Generator with Attributes and Anomalies
Virginia Tech(弗吉尼亚理工大学)
许多数据挖掘应用程序使用动态属性图来表示关系信息;但由于安全和隐私问题,缺乏可用的数据集可以表示为动态属性图。即使有这样的数据集,它们也没有可用于训练深度学习模型的地面实况。因此,我们提出了G2 A2,一个具有属性和异常的自动图形生成器,它包括(1)生成动态二分图的概率模型,表示两组独立实体之间随时间变化的连接,(2)使用一种新颖的算法来捕获跨域图形异常的一般属性的异常的现实注入,以及(3)从现有的真实世界数据集学习的用于产生真实属性的深度生成模型。使用最大平均差异(MMD)度量来评估G2 A2生成的图与三个真实世界图的真实性,G2 A2通过将MMD距离减少多达六倍(6x)而优于Kronecker图生成。
2022-10-14 cs.LG cs.SI
A linear time method for the detection of point and collective anomalies
Lancaster University(兰卡斯特大学)
有效识别数据序列中的异常是一个重要的统计问题,现在出现在许多应用中。虽然已经有大量的工作旨在使统计分析对离群值或点异常具有鲁棒性,但是在检测异常段或集体异常方面的工作要少得多,特别是在也可能发生点异常的那些设置中。在这篇文章中,我们介绍了集体和点异常(CAPA),一种计算效率高的方法,适用于集体异常的特点是无论是变化的均值,方差,或两者兼而有之,并将它们与点异常。理论结果建立CAPA在检测集体异常的一致性,作为一个副产品,一个流行的惩罚成本为基础的变化的均值和方差检测方法的一致性。实验结果表明,CAPA具有接近线性的计算成本,以及更准确地检测和定位集体异常比其他方法。我们证明了CAPA的实用性,通过它的能力,从开普勒望远镜的光变曲线数据检测系外行星。
2019-04-11 cs.LG stat.AP stat.ME
Estimation of Dimensions Contributing to Detected Anomalies with Variational Autoencoders
NTT Network Technology Laboratories, NTT Corporation(NTT公司NTT网络技术实验室);Faculty of Natural Sciences, International Christian University(国际基督教大学自然科学学院)
利用降维进行异常检测已成为监测多维数据的重要技术。尽管基于深度学习的方法因其出色的检测性能而得到了很好的研究,但其可解释性仍然是一个问题。在本文中,我们提出了一种新的算法估计的尺寸有助于检测到的异常,通过使用变分自动编码器(VAE)。我们的算法是基于一个近似的概率模型,考虑数据中存在的异常,并通过最大化对数似然,我们估计哪些维度有助于确定数据为异常。在基准数据集上的实验结果表明,该算法比基线方法更准确地提取出贡献维度。
2018-12-21 cs.LG stat.ML
Federated Continual Learning to Detect Accounting Anomalies in Financial Auditing
University of St.Gallen(圣加仑大学);Rutgers, The State University of New Jersey(罗格斯大学,新泽西州立大学)
《国际审计准则》要求审计员对财务报表不存在重大错报收集合理保证。与此同时,持续保证的一个核心目标是对数字会计分录进行实时评估。最近,在人工智能进步的推动下,深度学习技术已经出现在财务审计中,以检查大量的会计数据。然而,在分散和动态环境中学习高度适应性的审计模型仍然具有挑战性。它需要研究多个客户端和多个时间段上的数据分布偏移。在这项工作中,我们提出了一个联邦持续学习框架,使审计师学习审计模型从分散的客户不断。我们评估框架的能力,以检测会计异常的组织活动的常见情况。我们的实证结果,使用真实世界的数据集和联合联邦持续学习策略,证明了学习模型的能力,以检测异常的数据分布偏移的审计设置。
2022-10-26 cs.LG
Criticality in Dissimilar Decomposition and Undersampling of Random Datasets with Anomalies
University of Bristol(布里斯托大学)
本文研究含异常随机数据集的强不同分解与欠采样临界性,证明相变现象并给出规模界限,为LLM训练数据分解提供理论指导。
2026-09-15 cs.IT cs.LG math.IT
Beyond the Benchmark: Detecting Diverse Anomalies in Videos
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
针对现有VAD基准侧重单帧简单异常、限制模型发展的问题,研究构建两个基于动作异常的新数据集,提出融合长程时序特征与逻辑回归的MFAD方法,在各类异常检测场景中均优于现有模型。
2023-10-03 cs.CV cs.LG
LogLAB: Attention-Based Labeling of Log Data Anomalies via Weak Supervision
Technische Universität Berlin(柏林工业大学)
随着云操作的规模和复杂性不断增加,自动检测日志等监控数据中的异常将成为管理未来IT基础设施的重要组成部分。然而,许多基于人工智能的方法,如监督式深度学习模型,需要大量标记的训练数据才能表现良好。在实践中,这些数据很少可用,因为标记日志数据是昂贵的,耗时的,并且需要深入了解底层系统。我们提出了LogLAB,一种新的建模方法,自动标记的日志消息,而不需要手动工作的专家。我们的方法依赖于监测系统提供的估计故障时间窗口,以在回顾中产生精确的标记数据集。它基于注意力机制,并使用自定义目标函数用于弱监督深度学习技术,该技术考虑了不平衡的数据。我们的评估表明,LogLAB在三个不同的数据集上始终优于九种基准方法,即使在大的故障时间窗口下,F1分数也保持在0.98以上。
2021-11-25 cs.LG
CaPulse: Detecting Anomalies by Tuning in to the Causal Rhythms of Time Series
National University of Singapore(新加坡国立大学);Alibaba Group(阿里巴巴集团);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Squirrel AI
CaPulse提出基于因果的异常检测框架,通过结构因果模型和周期化归一化流应对标签稀缺等挑战,在七个数据集上AUROC提升3%-17%。
2025-08-06 cs.LG
Detecting and Ranking Causal Anomalies in End-to-End Complex System
National Chiao Tung University(国立交通大学)
本文针对现有RCA方法忽略状态多样性和不同时间滞后相关性的问题,提出RCAE2E框架,用于端到端系统中因果异常的检测与排序,并通过合成数据与真实光电工厂数据验证其有效性。
2024-05-03 cs.LG
Urban Anomaly Analytics: Description, Detection, and Prediction
Hong Kong University of Science and Technology(香港科技大学);University of Helsinki(赫尔辛基大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学);JD Finance(京东金融)
如果处理不当,城市异常现象可能导致生命或财产损失。在异常的早期阶段自动报警甚至在异常发生之前预测异常对于种群具有重要价值。近年来,数据驱动的城市异常分析框架正在形成,该框架利用城市大数据和机器学习算法来自动检测和预测城市异常。在本次调查中,我们对城市异常分析的最新研究进行了全面的回顾。首先,我们概述了四种主要类型的城市异常,交通异常,意外人群,环境异常,和个人异常。接下来,我们总结了从不同设备获得的各种类型的城市数据集,即,轨迹、行程记录、CDR、城市传感器、事件记录、环境数据、社交媒体和监控摄像头。随后,提出了一个全面的调查问题的检测和预测技术的城市异常。最后,讨论了研究的挑战和有待解决的问题.
2020-04-25 cs.LG cs.SI