Credit Card Fraud Detection in e-Commerce: An Outlier Detection Approach
eBay Inc(eBay公司)
通常,与欺诈和垃圾邮件检测等任务相关的挑战是缺乏训练合适的监督学习模型所需的所有可能模式。当欺诈模式不仅稀少,而且随着时间的推移而变化时,这一问题就更加突出。欺诈模式的变化是因为欺诈者不断创新新方法来规避为防止欺诈而采取的措施。有限的数据和不断变化的模式使学习变得非常困难。我们假设良好行为不随时间变化,并且代表良好行为的数据点在不同分组下具有一致的空间特征。基于这一假设,我们提出了一种方法,通过使用聚类方法的集成为每个数据点分配一个一致性得分来检测大数据集中的离群值。我们的主要贡献是提出了一种新的方法,可以检测大型数据集中的离群值,并对不断变化的模式具有鲁棒性。我们还认为,ROC曲线下面积,虽然一个常用的指标来评估离群值检测方法是不是正确的度量。由于异常值检测问题具有类别的偏斜分布,因此精确度-召回率曲线更适合,因为精确度将假阳性与真阳性(异常值)而不是真阴性(内值)进行比较,因此不受类别不平衡问题的影响。我们的经验表明,精确度-召回率曲线下的面积是一个比ROC更好的评估指标。所提出的方法进行了测试的修改版本的Landsat卫星数据集,修改版本的ann甲状腺数据集和一个大型的现实世界的信用卡欺诈检测数据集,通过Kaggle,我们表现出显着的改善基线方法。
2019-05-07 cs.LG stat.ML
Robust Outlier Detection and Low-Latency Concept Drift Adaptation for Data Stream Regression: A Dual-Channel Architecture
School of Mathematical Sciences(数学科学学院);School of Future Science and Engineering(未来科学与工程学院)
本文提出了一种双通道架构,用于数据流回归中的鲁棒异常检测和低延迟概念漂移适应,通过EWMAD-DT检测器实现对突发和渐进漂移的区分。
2025-12-13 cs.LG stat.ME
Outlier detection in regression: conic quadratic formulations
University of Southern California(南加州大学);Télécom SudParis(南巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院)
针对线性回归异常值检测中含二元变量与二次项乘积的混合整数优化问题,提出不含 big-M 约束的更强二阶锥松弛公式,计算速度较现有方法快数个数量级。
2023-07-12 cs.LG math.OC stat.ME
Real-Time Outlier Detection with Dynamic Process Limits
Institute of Information Engineering, Automation and Mathematics(信息工程、自动化与数学研究所);Slovak University of Technology in Bratislava(布拉迪斯拉发斯洛伐克理工大学)
异常检测方法是系统的一部分,其中罕见事件可能危及运营的盈利能力,安全性和环境方面。尽管迄今为止已经开发了许多最先进的异常检测方法,但它们的部署仅限于模型训练期间存在的操作条件。在线异常检测能够适应模型开发期间可能无法表示的数据漂移和变化点,从而延长使用寿命。针对现有实时的【形】基础设施,提出了一种在线异常检测算法。在线逆累积分布为基础的方法,以消除离线异常检测器的共同问题,同时提供动态过程限制正常运行。所提出的方法的好处是易于使用,快速计算,和部署的两个案例研究中所示的实际微电网运行数据。
2023-01-31 cs.AI cs.LG stat.ML
ECOD: Unsupervised Outlier Detection Using Empirical Cumulative Distribution Functions
Northeastern University-Toronto(东北大学多伦多分校);Arima Inc.(Arima公司);Heinz College of Information Systems and Public Policy, Carnegie Mellon University(卡内基梅隆大学海因茨信息系统与公共政策学院);Potsdam Institute for Climate Impact Research(波茨坦气候影响研究所);Deggendorf Institute of Technology(代根多夫应用技术大学)
离群点检测是指识别偏离一般数据分布的数据点。现有的无监督方法通常存在计算成本高、超参数调整复杂和可解释性有限的问题,特别是在处理大型高维数据集时。为了解决这些问题,我们提出了一个简单而有效的算法称为ECOD(经验累积分布为基础的离群值检测),这是受到这样一个事实,即离群值往往是“罕见事件”,出现在分布的尾部。简而言之,ECOD首先通过计算数据的每个维度的经验累积分布,以非参数方式估计输入数据的潜在分布。然后,ECOD使用这些经验分布来估计每个数据点的每个维度的尾部概率。最后,ECOD通过聚合各个维度的估计尾部概率来计算每个数据点的离群值得分。我们的贡献如下:(1)我们提出了一种新的离群点检测方法ECOD,它既无参数又易于解释;(2)我们在30个基准数据集上进行了广泛的实验,我们发现ECOD在准确性,效率和可扩展性方面优于11个最先进的基线;以及(3)我们发布了一个易于使用和可扩展(具有分布式支持)的Python实现,以实现可访问性和可重复性。
2022-08-25 cs.DB cs.LG stat.AP
Learning under Commission and Omission Event Outliers
Fudan University(复旦大学)
本文提出一种基于时间点过程的权重函数方法,动态调整事件重要性,同时处理误报和漏报异常值,在分类任务中验证了有效性与统计优势。
2025-01-23 cs.LG stat.ML
ICS for complex data with application to outlier detection for density data
本文在抽象欧几里得空间中提出ICS的无坐标定义,将其扩展到函数型和分布型复杂数据,用于异常检测,并在低异常比例模拟及越南气温分布数据中验证了有效性。
2025-05-26 math.ST stat.ME stat.TH
Falsifying Causal Graphs With Outlier Events
University of Cambridge(剑桥大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Amazon Research(亚马逊研究)
研究如何在无真实因果关系时评估因果图,提出基于异常事件传播证伪候选因果图的方法,利用弱异常很少导致强异常原则,给出相关统计检验,有控制误报等功效,可单样本运行。
2026-07-15 cs.LG stat.ML
A Functional Data Analysis Approach to Evolution Outlier Detection for Grouped Smart Meters
智能计量基础设施以细粒度长时间序列的形式几乎连续地收集数据。这些海量数据系列通常具有共同的日常模式,这些模式在相似的日子或季节之间重复,并在分组仪表之间共享。在此背景下,我们提出了一种无监督的方法来突出具有异常日常依赖模式的个体,我们称之为进化离群值。为此,我们从功能数据分析(FDA)的角度来处理这个问题,我们使用功能深度的概念来利用动态组结构,并隔离具有不同演变的单个仪表。该建议的性能首先通过不同的演变情景下的模拟演习经验评估。随后,通过使用对应于光伏能量产生和电路电压记录的实际智能计量数据,示出了演化离群值检测方法的重要性和需要。在这里,我们的建议检测离群值,这些离群值可能被文献中的其他方法所忽视,这些方法已被证明可以有效地捕获幅度和形状异常。
2022-10-07 stat.AP stat.ME
Outlier detection for mixed-type data: A novel approach
针对同时含离散与连续变量的混合型数据,本文提出一种低用户交互的异常值检测方法,并给出超参数选择指南,模拟表明其能有效检出多数异常值且误报较少。
2023-12-09 stat.ME
Multivariate cumulants in outlier detection for financial data analysis
有许多研究论文产生了金融数据模型,其中回报与基本面分析或投资者的个人行为(通常是非理性的)有关。在第二种情况下,市场上可能会出现泡沫,然后是危机。这种泡沫或危机反映在许多资产的交叉相关的极端正或负回报上。此类回报由具有有意义的尾部依赖关系的copula建模。这种互相关的典型模型提供了t-Student copula。作者证明了与该Copula相关的互信息可以用四阶多元累积量来度量。通过对人工数据的检验,将四阶累积量方法成功地应用于金融危机的检测。为此,作者介绍了离群点检测算法。此外,该算法显示了潜在的应用危机预测,交叉相关的极端事件可能会出现在危机之前,在类比的自相关的赫斯特指数测量。
2020-02-26 stat.ME
Multiple Outlier Detection in Samples with Exponential & Pareto Tails: Redeeming the Inward Approach & Detecting Dragon Kings
本文提出两种基于比率的稳健检验统计量MRS和SRS,重新引入内向顺序检验方法以降低掩蔽敏感性,无需复杂的I类错误控制,并在多个案例中验证其检测“龙王”异常事件的有效性。
2024-09-25 stat.ME
Unsupervised Event Outlier Detection in Continuous Time
McGill University(麦吉尔大学);Borealis AI(博雷亚利斯人工智能公司)
本文提出首个基于GAN和强化学习的无监督事件异常检测框架,通过生成器在线纠正异常并辅助判别器学习,实验证明其检测准确率优于现有方法。
2024-11-25 cs.AI cs.LG
DeepAg: Deep Learning Approach for Measuring the Effects of Outlier Events on Agricultural Production and Policy
Virginia Polytechnic Institute and State University(弗吉尼亚理工学院暨州立大学);University of Georgia(佐治亚大学)
衡量全球经济平衡的量化指标与农业供应链和国际贸易流动有着密切和相互依存的关系。这些过程中由贸易战、流行病或天气等异常事件引起的突然冲击可能对全球经济产生复杂影响。在本文中,我们提出了一个新的框架,即:DeepAg,它采用计量经济学,并使用深度学习(DL)来测量异常事件检测的效果,以确定普通金融指数(如道琼斯指数)和农产品(如奶酪和牛奶)的生产价值之间的关系。我们采用了一种称为长短期记忆(LSTM)网络的DL技术,成功地以高精度预测了商品产量,并提出了五种流行的模型(回归和提升)作为基线来衡量异常事件的影响。结果表明,考虑离群值的DeepAg(使用隔离森林)优于基线模型,以及没有离群值检测的相同模型。在根据金融指数预测商品生产时,异常事件会产生相当大的影响。此外,我们还介绍了DeepAg对公共政策的影响,为政策制定者和农民以及农业生态系统的运营决策提供了见解。收集数据,开发模型,记录和展示结果。
2021-11-06 cs.LG
Robust and Fully-Dynamic Coreset for Continuous-and-Bounded Learning (With Outliers) Problems
University of Science and Technology of China(中国科学技术大学);ByteDance AI Lab(字节跳动人工智能实验室)
在许多机器学习任务中,处理大规模数据的常见方法是构建小摘要,{ \em e.g.} coreset,它可以有效地表示原始输入。然而,现实世界的数据集通常包含离群值,并且大多数现有的coreset构造方法对离群值没有弹性(特别是,离群值可以由对抗性攻击者在空间中任意定位)。在本文中,我们提出了一种新的鲁棒coreset方法,用于{ \em continuous-and-bounded learning}问题(具有离群值),其中包括机器学习中广泛的流行优化目标,{ \em e.g.}逻辑回归和$ k $ -均值聚类。此外,我们的鲁棒coreset可以有效地保持在全动态环境中。据我们所知,这是第一个强大的和完全动态的coreset建设方法,这些优化问题。另一个亮点是,我们的核心集大小可以取决于参数空间的双倍维数,而不是目标函数的VC维数,这可能非常大,甚至难以计算。最后,我们在真实世界的数据集上进行实验,以评估我们提出的鲁棒coreset方法的有效性。
2022-01-21 cs.DS cs.LG stat.ML
Detecting Outliers in Data with Correlated Measures
Pennsylvania State University(宾夕法尼亚州立大学)
传感器技术的进步使大规模数据集的收集成为可能。这样的数据集可能非常嘈杂,并且通常包含大量由传感器故障或人为操作故障引起的离群值。为了将这些数据用于现实世界的应用,检测异常值至关重要,这样从这些数据集构建的模型就不会被异常值扭曲。在本文中,我们提出了一种新的离群值检测方法,利用数据中的相关性(例如,出租车行程距离与行程时间)。与现有的离群点检测方法不同,我们建立了一个鲁棒的回归模型,显式地对离群点进行建模,并在模型拟合的同时检测离群点。我们在现实世界的数据集上验证了我们的方法,这些方法是针对每个数据集专门设计的方法以及最先进的离群值检测器。我们的离群点检测方法取得了更好的性能,证明了我们的方法的鲁棒性和通用性。最后,我们报告了一些有趣的案例研究,结果从非典型事件的离群值。
2018-08-26 cs.LG stat.ML
How to find a unicorn: a novel model-free, unsupervised anomaly detection method for time series
Wigner Research Center for Physics(维格纳物理研究中心);Semmelweis University(塞梅尔维斯大学)
在许多科学和工业领域,异常事件的识别是一项具有挑战性但关键的任务,特别是当异常的属性未知时。在本文中,我们引入了一个新的异常的概念,称为“独角兽”或独特的事件,并提出了一个新的,无模型,无监督的检测算法来检测独角兽。新算法的关键组成部分是时间离群因子(TOF)来衡量事件的唯一性,在连续的数据集从动态系统。独特事件的概念在许多方面与传统的异常值有很大的不同:虽然重复的异常值不再是独特的事件,但独特的事件不一定是异常值;它不一定从正常活动的分布中消失。我们的算法的性能进行了检查,在识别独特的事件在不同类型的模拟数据集的异常,并与本地离群因子(LOF)和不和谐的发现算法进行了比较。即使在识别传统的离群值方面,TOF也具有比LOF和不一致算法更优越的性能,并且它还识别了那些没有识别的独特事件。来自不同科学领域的数据集实例说明了独角兽概念和新探测方法的好处。我们的算法成功地识别了已知的独特事件,例如LIGO探测器数据上的二元黑洞合并引力波和ECG数据系列上的呼吸衰竭迹象。此外,在过去30年的LIBOR数据集上发现了独特的事件。
2021-06-15 cs.LG eess.SP physics.data-an
A review on outlier/anomaly detection in time series data
Ikerlan Technology Research Centre(伊克兰技术研究中心);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU));Basque Center for Applied Mathematics (BCAM)(巴斯克应用数学中心(BCAM))
最近的技术进步为数据汇集带来了重大突破,使大量数据能够随着时间的推移而收集,从而生成时间序列。在过去的几年里,挖掘这些数据已经成为研究人员和从业人员的一项重要任务,包括检测可能代表错误或感兴趣事件的离群值或异常。本文旨在提供一个结构化的和全面的国家的最先进的离群检测技术的背景下,时间序列。为此,提出了一个分类的基础上的主要方面,特征的离群值检测技术。
2020-02-11 cs.LG stat.ML
Cellwise Robust Twoblock Dimension Reduction
Snow Stallion AI(雪 Stallion 人工智能);University of Antwerp(安特卫普大学)
本文提出CRTB方法,首次实现对多变量预测器和响应块的同时降维,适用于密集和稀疏变量选择场景。通过列向量预过滤和迭代加权M估计循环,有效处理单元级异常值,保持部分污染行的清洁单元,提升鲁棒性和效率。
2026-04-16 stat.ME
Robust Tensor Recovery with Fiber Outliers for Traffic Events
Vanderbilt University(范德堡大学)
事件检测在智慧城市研究中越来越受到关注。大规模的移动数据是揭示城市交通系统动态的重要工具,而数据集往往是不完整的。在这篇文章中,我们开发了一种方法来检测大型交通数据集中的极端事件,并在常规条件下估算缺失数据。具体来说,我们提出了一个强大的张量恢复问题,以恢复低秩张量下的纤维稀疏腐败与部分观测,并使用它来识别事件,并在典型条件下的缺失数据。我们的方法是可扩展的大城市地区,充分利用交通模式的时空相关性。我们开发了一个有效的算法来解决张量恢复问题的交替方向方法的乘数(ADMM)框架的基础上。与现有的$l_1$范数正则化张量分解方法相比,该算法能够在较温和的条件下准确地恢复低秩张量的未受损纤维的值,并找到受损纤维的位置.数值实验表明,该算法在数据丢失率高达40%的情况下,仍能准确地检测出异常点,条件是异常点损坏率和低秩张量的Tucker秩.最后,我们将我们的方法应用于与美国田纳西州纳什维尔市中心相对应的真实交通数据集,并成功地检测到严重车祸,施工车道关闭以及其他导致重大交通中断的大型事件。
2019-08-27 cs.LG cs.SY eess.SP
OutlierDetection.jl: A modular outlier detection ecosystem for the Julia programming language
BMW Group(宝马集团);Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);University of Applied Sciences Upper Austria(上奥地利应用科学大学);University of Auckland(奥克兰大学)
jl是Julia中用于离群值检测的开源生态系统。它提供了一系列直接在Julia中实现的高性能离群值检测算法。与以前的包相比,我们的生态系统使用高级程序设计语言开发高度可扩展的离群值检测算法。此外,它为未来的离群值检测算法提供了一个标准化但灵活的接口,并允许在以前的包中看不到的模型组合。单元测试、持续集成和代码覆盖率报告等最佳实践在整个生态系统中得到实施。最新版本的OutlierDetection.jl可从https://github.com/OutlierDetectionJL/OutlierDetection.jl获得。
2022-11-08 cs.LG
Continuous Outlier Mining of Streaming Data in Flink
Department of Informatics, Aristotle University of Thessaloniki, Greece(塞萨洛尼基亚里士多德大学信息学系);The University of Manchester, UK(曼彻斯特大学)
在这项工作中,我们专注于度量空间中基于距离的离群值,其中实体是否是离群值的状态是基于其邻域中其他实体的数量。近年来,有几种解决方案已经解决了数据流中基于距离的离群值问题,其中离群值必须随着新元素的可用而不断挖掘。一个有趣的研究问题是将流环境与大规模并行系统相结合,以提供可扩展的基于流的算法。然而,先前提出的技术中没有一个涉及大规模并行设置。我们的提案填补了这一空白,并调查了将最先进的技术转移到Apache Flink的挑战,这是一个用于密集流媒体分析的现代平台。我们全面介绍了遇到的技术挑战和可能应用的替代方案。我们显示的速度高达117(分别。2076)倍于一个天真的平行(resp.非并行)解决方案,只使用一个普通的四核机器和一个真实世界的数据集。当迁移到三台机器集群时,由于竞争较少,我们能够在窗口幻灯片大小和数据维度方面实现更好的可扩展性,甚至更高的加速,例如,是510倍总的来说,我们的研究结果表明,oulier挖掘可以以一种高效和可扩展的方式实现。由此产生的技术已作为开源软件公开提供。
2019-02-21 cs.DB cs.DC cs.LG
Outlier Detection as Instance Selection Method for Feature Selection in Time Series Classification
Graz University of Technology(格拉茨技术大学)
为了让机器学习算法从原始数据中提取知识,这些数据必须首先被清理、转换并转换成适合机器的形式。这些通常非常耗时的阶段被称为预处理。预处理阶段的一个重要步骤是特征选择,其目的是通过减少数据集的特征量来提高预测模型的性能。在这些数据集中,不同事件的实例通常是不平衡的,这意味着某些正常事件被过度代表,而其他罕见事件非常有限。通常,这些罕见事件是特别感兴趣的,因为它们比正常事件具有更大的区分力。这项工作的目的是过滤提供给这些罕见的情况下,特征选择方法的实例,从而积极影响的特征选择过程。在这项工作的过程中,我们能够证明这种过滤对分类模型的性能有积极的影响,并且离群值检测方法适用于这种过滤。对于某些数据集,性能仅提高了几个百分点,但对于其他数据集,我们能够实现高达16%的性能提升。这项工作将导致预测模型的改进和预处理阶段过程中特征选择的更好的可解释性。本着开放科学的精神,为了提高我们研究领域的透明度,我们将所有的源代码和实验结果都放在了一个公开的资源库中。
2021-11-16 cs.LG
IPOF: An Extremely and Excitingly Simple Outlier Detection Booster via Infinite Propagation
Brandeis University(布兰迪斯大学);Adobe Research(奥多比研究院)
离群点检测是数据采掘领域中最热门且不断兴起的研究课题之一,具有重要的学术价值和广泛的工业应用前景。在各种背景下,无监督离群点检测是最具挑战性和实用性的一个,吸引了来自不同角度的巨大努力。在本文中,我们考虑了基于分数的离群点检测类别,并指出,目前的离群点检测算法的性能可能会进一步提高分数传播。具体来说,我们提出了离群值因子的无限传播(iPOF)算法,这是一种通过无限传播的极其简单且令人兴奋的离群值检测助推器。通过采用基于分数的离群值检测器进行初始化,iPOF通过对其最近的公共邻居的离群值因子进行平均来更新每个数据点的离群值分数。在不同领域的大量数据集上进行的大量实验结果表明,iPOF的有效性和效率显着超过几个经典和最近的最先进的方法。我们还提供了参数分析的邻居的数量,在iPOF的唯一参数,和不同的初始离群检测器的一般验证。值得注意的是,iPOF带来了平均2%到46%的积极改进,在某些情况下,iPOF比原始离群值检测算法的性能提高了3000%以上。
2021-08-01 cs.LG
Long-Term Outlier Prediction Through Outlier Score Modeling
Nara Institute of Science and Technology(奈良科学技术大学);Kyoto University(京都大学);Panasonic Holdings Corporation(松下电器控股公司)
本文提出长期异常预测新方法,通过两层结构实现对异常事件长期趋势的预测,实验表明该方法在检测和预测任务中表现优异。
2026-03-22 cs.AI cs.LG
Score-based Outlier Generation via Controlling the Radon-Nikodym Derivative
University of Waterloo(滑铁卢大学);Royal Bank of Canada(加拿大皇家银行)
本文提出一种基于控制Radon-Nikodym导数的分数式异常值生成方法,通过似然重加权修改扩散分数,无需重新训练即可生成低似然样本,并保持数据几何一致性。
2026-09-14 cs.LG math.AP math.OC
Hyperparameter Optimization for Unsupervised Outlier Detection
Carnegie Mellon University(卡内基梅隆大学)
给定一个无监督的离群值检测(OD)算法,我们如何在没有任何标签的情况下在新数据集上优化其超参数(HP)?在这项工作中,我们解决了这个具有挑战性的超参数优化的无监督OD问题,并提出了第一个系统的方法,称为HPOD是基于元学习。HPOD利用现有OD基准数据集上大量HP的先前性能,并传输此信息以在没有标签的新数据集上进行HP评估。此外,HPOD采用突出的采样范式,以有效地识别有前途的HP。广泛的实验表明,HPOD与深度(例如,鲁棒自动编码器)和浅(例如,局部异常值因子(LOF)和隔离森林(iForest))OD算法在离散和连续HP空间上的表现优于各种基线,与LOF和iForest的默认HP相比,平均性能提高了58%和66%。
2022-10-10 cs.LG
Benefits of Online Tilted Empirical Risk Minimization: A Case Study of Outlier Detection and Robust Regression
MLIP Research Group, KUIS AI Center \& Department of EEE, Koç University İstanbul, Turkey
本文提出一种在线倾斜经验风险最小化方法,通过去除经典目标中的对数项保留倾斜效应,以与ERM相当的单样本计算成本在流式学习中同时实现异常值鲁棒性与少数类公平性。
2025-09-18 cs.LG stat.ML
zGAN: An Outlier-focused Generative Adversarial Network For Realistic Synthetic Data Generation
针对黑天鹅现象下机器学习模型性能受异常值影响的问题,提出zGAN生成对抗网络,可生成带异常值的逼真表格合成数据,增强特征相关性,在公私数据集上验证了其数据生成与模型性能提升效果。
2024-10-29 cs.LG
Adaptive PCA-Based Outlier Detection for Multi-Feature Time Series in Space Missions
KTH Royal Institute of Technology, Computer Science Dept.(皇家理工学院);Johns Hopkins University Applied Physics Laboratory(约翰·霍普金斯大学应用物理实验室)
本文提出一种基于增量PCA重建误差的自适应异常检测算法,用于航天任务多特征时间序列的实时事件检测,并通过MMS和THEMIS数据验证了其有效性。
2025-10-23 cs.LG physics.space-ph
Enhancing Traffic Flow Prediction using Outlier-Weighted AutoEncoders: Handling Real-Time Changes
Eindhoven University of Technology(埃因霍温理工大学)
针对交通异常和实时变化,提出OWAM框架,利用自编码器检测异常并生成相关性分数加权邻近传感器数据,实现高效准确的实时交通流预测。
2023-12-27 cs.LG
Outlier Detection of Poisson-Distributed Targets Using a Seabed Sensor Network
Georgia Southern University(佐治亚南方大学);Virginia Polytechnic Institute and State University(弗吉尼亚理工大学和州大学);Johns Hopkins University Applied Physics Laboratory(约翰霍普金斯大学应用物理实验室)
本文提出基于海底声学传感器网络和对数高斯考克斯过程的异常检测框架,通过二阶概率近似和动态传感器部署,提高海事空间异常的分类与检测性能。
2025-08-18 cs.IT cs.LG math.IT
Hierarchical Reference Sets for Robust Unsupervised Detection of Scattered and Clustered Outliers
School of Computer Science and Technology, Guangdong University of Technology(计算机科学与技术学院,广东技术大学)
本文提出利用图结构的层次化参考集方法,有效识别散落异常并隔离聚类异常,通过多视角评估提升无监督异常检测性能。
2026-03-13 cs.AI cs.LG
RoseCDL: Robust and Scalable Convolutional Dictionary Learning for Rare event and Anomaly Detection
Université Paris-Saclay, Inria, CEA(巴黎-萨克雷大学,法国国家信息与自动化研究所,法国国家科学研究中心);Université Paris-Saclay, Inria, CNRS, Laboratoire Interdisciplinaire des Sciences du Numériques(巴黎-萨克雷大学,法国国家信息与自动化研究所,法国国家科学研究中心,跨学科数字科学实验室)
RoseCDL通过高效训练和在线异常检测方法,提升大规模信号中稀有事件和异常检测的鲁棒性和效率。
2026-04-28 cs.LG
Adversarial Stress Testing of Outlier Detection in Subjective Image Quality Assessment
Department of Computer and Information Science, University of Konstanz, Konstanz, Germany(计算机与信息科学系,康斯坦茨大学,康斯坦茨,德国)
针对主观图像质量评估中异常值检测方法的性能评估缺口,提出通用经验最坏情况框架,验证其能揭示方法的最坏情况表现,还提出低复杂度异常值检测方法,实现出色的最坏情况性能。
2026-09-03 cs.LG cs.MM eess.IV
Cost Trade-offs in Matrix Inversion Updates for Streaming Outlier Detection
LAAS-CNRS, University of Toulouse, CNRS(LAAS-CNRS大学、图卢兹大学、国家科学研究中心)
本文比较了三种矩阵逆更新方法,提出适用于不同场景的优化规则,为高效在线异常检测提供理论支持。
2026-03-17 cs.AI cs.LG
Incremental Outlier Detection Modelling Using Streaming Analytics in Finance & Health Care
National Institute of Technology Warangal(瓦朗加尔国家理工学院);Jawaharlal Nehru Technological University – Gurajada Vizianagaram (JNTU-GV)(贾瓦哈拉尔·尼赫鲁技术大学古拉贾达维齐亚纳格拉姆分校)
本文提出一个结合传统与增量学习的混合异常检测框架,采用8种模型在7个金融和医疗任务上评估,发现增量学习显著提升不平衡数据集性能,且IForest ASD模型表现最佳。
2025-04-04 cs.LG
Imputing Missing Events in Continuous-Time Event Streams
Johns Hopkins University(约翰斯·霍普金斯大学);Peking University(北京大学)
世界上的事件可能是由其他未观察到的事件引起的。我们考虑连续时间中的事件序列。给出了一个完整序列的概率模型,我们提出了粒子平滑-一种序列重要性采样-来估算不完整序列中的缺失事件。我们基于一种双向连续时间LSTM开发了一个可训练的建议分布族:双向性让建议以未来的观察为条件,而不仅仅是像粒子滤波那样以过去为条件。我们的方法可以对可能的完整序列(粒子)的集合进行采样,从中我们形成一个单一的共识预测,该预测在我们选择的损失度量下具有低贝叶斯风险。我们在多个合成和真实域中进行实验,使用不同的缺失机制,并使用神经Hawkes过程对每个域中的完整序列进行建模(Mei & Reynner 2017)。在不完整的序列上,我们的方法可以有效地推断出未观察到的地面实况事件,粒子平滑不断提高粒子滤波。
2019-05-14 cs.AI cs.LG stat.ML
Augmenting The Weather: A Hybrid Counterfactual-SMOTE Algorithm for Improving Crop Growth Prediction When Climate Changes
College of Computer & Cyber Sciences, University of Prince Mugrin(穆格林王子大学计算机与网络科学学院);School of Computer Science, University College Dublin(都柏林大学学院计算机科学学院);Insight Centre for Data Analytics, University College Dublin(都柏林大学学院洞察数据分析中心);VistaMilk SFI Research Centre, University College Dublin(都柏林大学学院VistaMilk SFI研究中心)
针对气候变化导致的作物生长预测中历史数据分布外异常事件样本不足问题,提出混合反事实-SMOTE(CFA-SMOTE)数据增强方法,通过生成气候异常合成样本提升预测性能,并在爱尔兰农场牧草生长预测任务中验证了效果。
2025-11-14 cs.AI cs.LG
PyGOD: A Python Library for Graph Outlier Detection
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Visa Research(Visa研究院);Carnegie Mellon University(卡内基梅隆大学);Arizona State University(亚利桑那州立大学);Alibaba Group(阿里巴巴集团);Kunming University of Science and Technology(昆明理工大学);Shantou University(汕头大学);Lehigh University(理海大学)
PyGOD是首个用于图异常检测的开源Python库,支持多种检测方法、模块化组件、深度模型扩展及实用工具,旨在为研究者和从业者提供易用、可靠的检测平台。
2024-06-02 cs.LG cs.SI
AUTO: Adaptive Outlier Optimization for Test-Time OOD Detection
State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA(多模态人工智能系统国家重点实验室,CASIA);Center for Research on Intelligent Perception and Computing, CASIA(智能感知与计算研究中心,CASIA);Center for Excellence in Brain Science and Intelligence Technology, CAS(脑科学与智能技术卓越中心,CAS);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
针对预收集任务特定异常值的隐私与性能难题,该研究提出测试时OOD检测新设置及AUTO方法,通过三组件实现检测器持续自适应,在多种场景下性能优于现有最优方法。
2025-05-17 cs.CV cs.LG
Unleashing the Potential of Unsupervised Deep Outlier Detection through Automated Training Stopping
East China Normal University(华东师范大学);Shanghai Jiao Tong University(上海交通大学)
针对深度异常检测模型对训练时间等超参数高度敏感且无标签难以选优的问题,提出损失熵指标与自动化训练停止算法,无需标签即可在最优迭代终止训练,提升模型鲁棒性与性能并显著减少训练时间。
2023-05-26 cs.LG
Online anomaly detection using statistical leverage for streaming business process events
Ulsan National Institute of Science and Technology (UNIST)(蔚山国家科学技术研究所)
虽然最近在文献中出现了几种用于在离线设置中检测事件日志中的跟踪级异常的技术,但目前缺乏在线设置的这种技术。在线设置中的事件日志异常检测对于发现流程执行中的异常至关重要,一旦异常发生,就可以立即采取早期纠正措施。本文介绍了一种新的方法,事件日志异常检测的事件流,使用统计杠杆。杠杆作用已被广泛用于统计,以制定措施,以确定离群值,它已在本文中的事件流数据的特定场景。所提出的方法已在人工和真实事件流上进行了评估。
2021-03-01 cs.LG stat.CO
Pattern Recognition and Event Detection on IoT Data-streams
University of Patras(帕特雷大学)
大数据流可能是最重要的基本概念之一。然而,由于数据流速度快,信息寿命有限,因此往往难以处理。在整个流甚至大部分流上存储、传输和计算函数时,很难收集和传输流样本。为了解决这个研究问题,开发了许多流特定的解决方案。流技术意味着一个或多个资源的有限容量,例如计算能力和存储器,以及时间或准确性限制。储层采样算法选择并存储概率显著的结果。一个加权随机抽样的方法,使用一个通用的抽样算法框架,以检测独特的事件是这项工作的主要研究目标。简而言之,跨所有可行分量的联合流分布的逐渐发展的估计保持k个流元素被判断为代表完整流。一旦估计置信度高,则均匀地选择k个样本。复杂度为O(min(k,n-k)),其中n是检查的项目数。由于事件通常被认为是离群值,因此提取元素模式并将其推送到这里提出的k-means的替代版本就足够了。建议的技术计算每个聚类的平方误差(SSE)的总和,这不仅是用来作为收敛的措施,但也作为一个量化和间接评估的元素分布的近似精度。这种聚类使得能够基于异常值与通常事件质心的距离来检测流中的异常值。研究结果表明,加权采样和res-均值优于流事件识别的典型方法。检测到的事件显示为知识图谱以及典型的事件集群。
2022-03-02 cs.DB cs.DS cs.IR
Modeling Continuous Time Sequences with Intermittent Observations using Marked Temporal Point Processes
Indian Institute of Technology Delhi(印度理工学院德里分校);Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);Indian Institute of Technology Bombay(印度理工学院孟买分校)
通过人类活动(如在线购买,健康记录,空间移动等)生成的大部分数据可以表示为连续时间内的事件序列。在这些连续时间事件序列上学习深度学习模型是一项重要的任务,因为它涉及对不断增加的事件时间戳、事件间时间间隔、事件类型以及不同序列内和跨不同序列的不同事件之间的影响进行建模。近年来,标记时间点过程(MTPP)的神经增强已经成为一个强大的框架,以模拟在连续时间内本地化的异步事件的生成机制。然而,MTPP框架中的大多数现有模型和推理方法仅考虑完整的观察场景,即被建模的事件序列被完全观察到,没有丢失事件-这是一个理想的设置,在现实世界的应用中很少适用。在训练MTPP的同时考虑缺失事件的最近的工作路线利用监督学习技术,该技术需要序列中每个事件的缺失或观察标签的附加知识,这进一步限制了其实用性,因为在若干场景中,缺失事件的细节不是先验已知的。在这项工作中,我们提供了一种新的无监督模型和推理方法来学习MTPP存在的事件序列与丢失的事件。具体来说,我们首先使用两个MTPP模型的观测事件和缺失事件的生成过程,其中缺失事件表示为潜在的随机变量。然后,我们设计了一种无监督的训练方法,通过变分推理联合学习MTPP。这样的公式可以有效地估算观测事件中的缺失数据,并可以确定序列中缺失事件的最佳位置。
2022-06-23 cs.LG
(k, l)-Medians Clustering of Trajectories Using Continuous Dynamic Time Warping
University of Sydney(悉尼大学);TU Eindhoven(埃因霍温理工大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
由于可用地理空间数据的数量大量增加,并且需要以可理解的方式呈现它,因此对这些数据进行聚类比以往任何时候都更加重要。由于集群可能包含大量的对象,因此为每个集群提供一个代表可以极大地促进对集群的理解。依赖于这些代表的聚类方法被称为基于中心的。在这项工作中,我们考虑基于中心的轨迹聚类的问题。在这种情况下,集群的代表再次是轨迹。为了获得聚类的紧凑表示并避免过拟合,我们通过参数l来限制代表性轨迹的复杂性。然而,这种限制使得离散距离测量(如动态时间规整(DTW))不太适合。最近的工作是基于中心的聚类的轨迹与连续的距离测量,即弗雷谢距离。虽然Fréchet距离允许限制中心复杂度,但它也可能对离群值敏感,而平均型距离度量,如DTW,则不那么敏感。为了获得一个轨迹聚类算法,允许限制中心的复杂性,是更强大的离群值,我们建议使用连续版本的DTW作为距离度量,我们称之为连续动态时间规整(CDTW)。我们的贡献是双重的:1。针对CDTW缺乏实用算法的问题,提出了一种计算CDTW的近似算法。我们开发的第一个聚类算法下的距离测量,并显示一个实用的方法来计算一组轨迹的中心,随后迭代地改进it. To获得深入了解下的实际数据的CDTW聚类结果,我们进行了广泛的实验。
2020-12-01 cs.CG cs.LG
CERiL: Continuous Event-based Reinforcement Learning
University of Surrey(萨里大学)
本文探讨了事件摄像机的潜力,使连续时间强化学习。我们正式这个问题,其中一个连续的流的非同步观测是用来产生相应的输出动作的环境流。这种同步的缺乏使得反应性大大增强。我们提出了一种方法来训练事件流来自标准的强化学习环境,从而解决了建议的连续时间强化学习问题。CERiL算法使用专门的网络层,直接对事件流进行操作,而不是将事件聚合到量化的图像帧中。我们展示了事件流在不太频繁的RGB图像上的优势。所提出的系统优于RL中通常使用的网络,甚至在传统上无法解决的任务上也取得了成功。我们还证明了我们的CERiL方法的价值超过标准SNN基线使用事件流。
2023-02-15 cs.AI cs.CV cs.LG
Towards In-distribution Compatibility in Out-of-distribution Detection
Zhejiang University(浙江大学);Tencent Data Platform(腾讯数据平台部);Ningbo Zhoushan Port Group Co.,Ltd.(宁波舟山港集团有限公司)
深度神经网络尽管具有区分目标分布内样本的显著能力,但在检测异常分布外数据时表现不佳。为了解决这个缺陷,最先进的解决方案选择在离群值的辅助数据集上训练深度网络。基于启发式直觉,提出了这些辅助离群值的各种训练标准。然而,我们发现这些直观设计的离群值训练标准可能会损害分布内学习并最终导致较差的性能。为此,我们确定了三个原因的分布不相容:矛盾梯度,假似然,和分布偏移。基于我们的新认识,我们提出了一种新的分布外检测方法,通过调整深度模型的顶层设计和损失函数。我们的方法实现了在分布的兼容性,通过追求较少的干扰分布特征的概率特性。在几个基准测试中,我们的方法不仅达到了最先进的分布外检测性能,而且提高了分布内的准确性。
2022-08-29 cs.CV cs.LG
Non-Autoregressive Diffusion-based Temporal Point Processes for Continuous-Time Long-Term Event Prediction
针对自回归事件预测的误差累积问题,提出基于扩散的非自回归时间点过程,通过双向映射和新型去噪网络整体预测未来事件序列,并在实验中优于现有方法。
2023-11-02 cs.AI cs.LG cs.SI
Discrete Event, Continuous Time RNNs
University of Colorado(科罗拉多大学);Imagen Technologies
我们研究了用于事件序列处理的递归神经网络架构。事件序列,其特征在于离散的观察与连续值的发生时间,是具有挑战性的,由于潜在的广泛的动态范围的相关时间尺度以及时间尺度之间的相互作用。我们描述了四种形式的归纳偏见,应该有利于事件序列的架构:时间的局部性,位置和规模的同质性,规模的相互依赖性。我们扩展了流行的门控递归单元(GRU)架构,通过内在的时间动态将这些偏见,获得一个连续时间GRU。CT-GRU通过将GRU的门解释为选择存储器的时间尺度而产生,并且CT-GRU通过合并多个存储器的时间尺度并执行用于信息存储和检索的时间尺度的上下文相关选择来概括GRU。事件时间戳驱动CT-GRU的衰减动力学,而它们充当GRU的通用附加输入。尽管这两个模型考虑时间的方式非常不同,但它们在我们检查的11个数据集上的表现基本相同。我们令人惊讶的结果表明GRU和LSTM架构在处理连续时间方面的鲁棒性,以及将连续动态纳入神经架构的潜力。
2017-10-11 cs.LG cs.NE
Outlier detection of vital sign trajectories from COVID-19 patients
University of Manchester(曼彻斯特大学);Christie NHS Foundation Trust(克里斯蒂NHS基金会信托);University of Oxford(牛津大学)
提出一种基于动态时间规整距离的生命体征轨迹比较算法,通过180分钟非重叠时段的平均成对距离检测异常并聚类相似轨迹,在合成数据和8名COVID-19出院患者数据中验证了其识别恶化与再入院风险的能力。
2023-04-20 cs.HC cs.LG eess.SP
EarCough: Enabling Continuous Subject Cough Event Detection on Hearables
Tsinghua University(清华大学);University of Washington(华盛顿大学)
咳嗽监测可以实现新的个人肺部健康应用。受试者咳嗽事件检测是持续咳嗽监测的基础。最近,智能耳机的快速增长为此类需求提供了新的机会。本文提出了EarCough,它通过利用始终开启的有源噪声消除(ANC)麦克风,在边缘计算听觉设备上实现连续的受试者咳嗽事件检测。具体来说,我们提出了一个轻量级的端到端神经网络模型-- EarCoughNet。为了评估我们的方法的有效性,我们通过用户研究构建了一个同步的运动和音频数据集。结果显示,EarCough的准确率为95.4%,F1评分为92.9%,空间需求仅为385 kB。我们设想EarCough作为未来助听器的低成本附加设备,以实现连续的受试者咳嗽事件检测。
2023-03-18 cs.HC cs.LG cs.SD