Redefining Maritime Anomaly Detection via Equation-Grounded Synthetic Anomalies
Seoul National University(首尔国立大学);KRISO(韩国海洋研究组织)
针对海上异常检测中缺乏标签和交互驱动异常的问题,提出基于方程引导的异常分类法,并构建统一评分-合成-标注流程,生成时间戳级标签,评估多种模型性能。
2026-06-29 cs.AI cs.LG
FracAug: Fractional Augmentation boost Graph-level Anomaly Detection under Limited Supervision
The Chinese University of Hong Kong(香港中文大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
提出FracAug,一种即插即用的分数增强框架,通过生成语义一致的图变体和相互验证的伪标注,在有限监督下提升图级异常检测性能,实验显示在多种GNNs和数据集上显著提升AUROC、AUPRC和F1分数。
2025-09-25 cs.AI cs.LG
Disruption Precursor Onset Time Study Based on Semi-supervised Anomaly Detection
Huazhong University of Science and Technology(华中科技大学);Institute of Plasma Physics, Chinese Academy of Sciences(中国科学院等离子体物理研究所)
针对托卡马克破裂前兆固定时间标注导致误标的问题,提出基于异常检测推断各炮前兆起始时间并优化标签的方法,在 J-TEXT 和 EAST 上提升了监督预测器性能。
2023-03-27 cs.AI cs.LG physics.plasm-ph
Multi-Tier Labeling and Physics-Informed Learning for Orbital Anomaly Detection at Scale
Substratum Labs, Inc(Substring实验室)
本文提出多层级标签方法,结合物理规则、IMM-UKF和补充元素校准,实现大规模轨道异常检测,通过Transformer模型提升召回率,探讨神经ODE在轨道世界模型中的应用。
2026-05-10 cs.AI cs.DC cs.LG
AnoRand: A Semi Supervised Deep Learning Anomaly Detection Method by Random Labeling
Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心)
本文提出半监督异常检测方法 AnoRand,通过随机扰动少量样本生成合成异常,结合前馈感知器与自编码器学习多数类,在合成及57个真实数据集上优于17种无监督方法,并在监督场景下表现优异。
2023-05-28 cs.LG
DQS: A Low-Budget Query Strategy for Enhancing Unsupervised Data-driven Anomaly Detection Approaches
Leiden University(莱顿大学);Mercedes-Benz AG(梅赛德斯-奔驰集团)
本研究提出低预算查询策略DQS,结合主动学习优化无监督异常检测的阈值,在低预算场景下表现最优,优于传统无监督阈值。
2026-08-12 cs.LG
SPADE: Semi-supervised Anomaly Detection under Distribution Mismatch
Google Cloud AI(谷歌云人工智能)
半监督异常检测是一个常见的问题,因为包含异常的数据集通常是部分标记的。我们提出了一个规范的框架:半监督的伪标签异常检测与集成(SPADE),它不受标记和未标记数据来自相同分布的假设的限制。事实上,在许多应用中,这一假设经常被违反-例如,标记数据可能只包含与未标记数据不同的异常,或者未标记数据可能包含不同类型的异常,或者标记数据可能只包含“易于标记”的样本。SPADE利用一类分类器的集成作为伪标记器,以提高伪标记对分布失配的鲁棒性。提出了部分匹配方法,在没有验证数据的情况下自动选择伪标记的关键超参数,这对于有限的标记数据至关重要。SPADE在表格和图像域中具有分布不匹配的各种场景中显示了最先进的半监督异常检测性能。在一些常见的现实环境中,例如面对新类型的未标记异常的模型,SPADE的平均性能优于最先进的替代品5%的AUC。
2022-11-30 cs.LG
MadSGM: Multivariate Anomaly Detection with Score-based Generative Models
Yonsei University(延世大学);Samsung SDS(三星SDS);LG AI Research(LG人工智能研究院)
MadSGM提出基于分数生成模型的多变量时间序列异常检测方法,综合重构、密度和梯度三类异常度量,在五个基准数据集上取得最稳健准确的预测结果。
2023-08-29 cs.AI cs.LG
Trustworthy Anomaly Detection: A Survey
Utah State University(犹他州立大学);University of Arkansas(阿肯色大学)
异常检测有着广泛的实际应用,如银行欺诈检测和网络入侵检测。在过去的十年中,各种异常检测模型已经被开发出来,这导致在准确检测各种异常方面取得了很大的进展。尽管取得了成功,异常检测模型仍然面临许多限制。最重要的是我们是否可以相信模型的检测结果。近年来,研究界花费了大量的精力来设计可信的机器学习模型,例如开发可信的分类模型。然而,对异常检测任务的关注还远远不够。考虑到许多异常检测任务是涉及人类的改变生活的任务,将某人标记为异常或欺诈者应该非常谨慎。因此,确保以可信赖的方式进行异常检测模型是部署模型以在现实世界中进行自动决策的基本要求。在这个简短的调查中,我们总结了现有的努力,并讨论了开放的问题,值得信赖的异常检测的可解释性,公平性,鲁棒性和隐私保护的角度。
2022-02-15 cs.AI cs.LG
Good Enough to Learn: LLM-based Anomaly Detection in ECU Logs without Reliable Labels
Dept. of AI, Big Data and Cloud(人工智能、大数据和云计算部门)
本文提出一种基于仅解码器大语言模型的ECU通信日志异常检测方法,通过熵正则化和最小示例学习,解决标签不一致与人工标注成本高的问题。
2025-07-01 cs.LG
Adversarial Augmentation and Active Sampling for Robust Cyber Anomaly Detection
New York University, NYUAD, Division of Science.(纽约大学,NYUAD,科学学院)
针对APT检测中标注数据稀缺的问题,本文提出结合注意力对抗双自动编码器与主动学习的异常检测框架,在多系统真实不平衡数据集上实现了检测率的显著提升,降低了标注成本。
2025-09-05 cs.AI cs.CR cs.CY
LLM-Assisted Logic Rule Learning: Scaling Human Expertise for Time Series Anomaly Detection
本文提出利用大语言模型学习逻辑规则,用于提升供应链时间序列异常检测的准确性和可解释性,通过三阶段框架实现专家知识的系统编码与自动化优化。
2026-01-27 cs.AI cs.LG
Anomaly Detection and Automated Labeling for Voter Registration File Changes
VoteShield(投票盾牌);Protect Democracy(保护民主组织)
美国选举中的选民资格是由各州数据库拼凑而成的,这些数据库包含了哪些公民有资格投票的信息。州和地方一级的管理人员面临着极其困难的任务,即确保其每个管辖区得到适当管理,同时还要监测对数据库的不当修改。监测选民登记文件(VRF)的变化至关重要,因为希望破坏美国民主进程的恶意行为者将被建议操纵这些文件的内容以实现其目标。2020年,我们看到选举官员在管理美国历史上最具争议的选举之一时表现令人钦佩,但仍有许多工作要做,以保护和监控美国人所依赖的选举系统。使用通过比较随时间推移拍摄的VRF快照而创建的数据,我们提出了一套利用机器学习的方法,以减轻分析师和管理员在保护选民名册方面的负担。我们首先评估了多个无监督异常检测方法的有效性,在检测VRF修改建模异常变化稀疏加性噪声。在这种情况下,我们确定,统计模型比较行政区在很短的时间跨度和非负矩阵分解是最有效的浮出水面的异常事件进行审查。这些方法在2019-2020年期间部署在我们组织的监测系统中,并与爱荷华州国务卿办公室合作使用。此外,我们提出了一个新部署的模型,它使用历史和人口统计元数据来标记数据库修改的可能根本原因。我们希望使用这个模型来预测哪些修改具有已知的原因,从而更好地识别潜在的异常修改。
2021-06-16 cs.CR cs.CY cs.LG
Ranking-Enhanced Anomaly Detection Using Active Learning-Assisted Attention Adversarial Dual AutoEncoders
New York University(纽约大学);NYUAD, Division of Science(纽约大学亚当分校,科学学院);The University of Edinburgh(爱丁堡大学);School of Informatics(信息学院)
本文提出一种结合主动学习和注意力对抗双自编码器的异常检测方法,通过减少标注成本提升检测精度,适用于APT检测的不平衡数据集。
2025-11-25 cs.AI cs.CR cs.LG
Abuse and Fraud Detection in Streaming Services Using Heuristic-Aware Machine Learning
Netflix(网飞公司)
这项工作提出了一个欺诈和滥用检测框架流媒体服务建模用户流媒体行为。目标是发现异常和可疑事件,并通过创建描述用户行为的模型来扩展调查工作。我们研究了使用半监督以及监督的异常检测方法。在半监督方法中,通过仅利用一组经过验证的无异常数据样本,我们展示了使用一类分类算法以及自动编码器深度神经网络进行异常检测。在有监督的异常检测任务中,我们提出了一个所谓的统计感知的数据标记策略,用于创建标记的数据样本。我们执行二进制分类以及多类多标签分类任务,不仅用于检测异常样本,还用于识别与每个异常样本相关的潜在异常行为。最后,使用一个系统的特征重要性研究,我们提供了一套基本的功能,表征不同的流欺诈类别的见解。据我们所知,这是第一篇使用机器学习方法在真实世界规模的流媒体服务中进行欺诈和滥用检测的论文。
2022-03-04 cs.AI cs.LG
Data Augmentation is a Hyperparameter: Cherry-picked Self-Supervision for Unsupervised Anomaly Detection is Creating the Illusion of Success
Heinz College of Information Systems and Public Policy(海因茨信息系统与公共政策学院);Carnegie Mellon University(卡内基梅隆大学);School of Architecture(建筑学院)
本文通过3个模型和420个任务的实验,证明数据增强与异常生成机制的对齐是基于图像的自监督异常检测成功的关键,否则可能损害准确率,并指出这是该领域的首次元分析。
2023-07-28 cs.AI cs.LG
An Improved Time Series Anomaly Detection by Applying Structural Similarity
School of Computer Science and Engineering, Beihang University, Beijing, China(计算机科学与工程学院,北航,北京,中国);School of Software, Beihang University, Beijing, China(软件学院,北航,北京,中国)
针对基于重构的时间序列异常检测忽略结构特征的问题,提出结构增强方法StrAD,在优化目标中融入趋势、季节性和形状,提升对逐点和模式级异常的检测性能。
2025-09-24 cs.AI cs.LG
Rare Yet Popular: Evidence and Implications from Labeled Datasets for Network Anomaly Detection
Huawei Technologies, co. Ltd(华为技术有限公司)
异常检测研究工作通常提出算法或端到端系统,旨在自动发现数据集或流中的异常值。虽然关于算法或更好的评估指标的定义的文献比比皆是,但它们被评估的基础事实的质量很少受到质疑。在本文中,我们提出了一个系统的分析,可用的公共(以及我们的私人)地面真相异常检测的背景下,网络环境中,数据本质上是时间的,多变量的,特别是,表现出空间属性,据我们所知,我们是第一个探索。我们的分析表明,虽然根据定义,异常是时间上罕见的事件,但它们的空间特征清楚地表明,某些类型的异常比其他异常更受欢迎。我们发现,简单的聚类可以将人类标记的需求减少2倍至10倍,这是我们首次在野外进行定量分析。
2022-11-18 cs.AI cs.LG cs.NI
A Supervised Embedding and Clustering Anomaly Detection method for classification of Mobile Network Faults
University of Tehran(德黑兰大学);Clarity Global Co.(Clarity全球公司)
提出SEMC-AD方法,利用深度神经网络监督嵌入和多元高斯聚类,在移动网络告警日志中高效识别异常,检测率达99%,优于随机森林和XGBoost。
2023-10-10 cs.AI cs.LG
Rethinking the Unsupervised Paradigm in Time Series Anomaly Detection: An Empirical Study and Minimalist Baseline
School of Future Technology, South China University of Technology(华南理工大学未来技术学院);Pengcheng Laboratory(鹏城实验室);School of Computer Science and Engineering, South China University of Technology(华南理工大学计算机科学与工程学院)
本文挑战了时间序列异常检测中算法复杂度最优的假设,通过实验表明在有限标注预算下,简单监督模型优于复杂无监督方法,强调标签利用的重要性。
2026-11-04 cs.AI cs.LG
Is Hyperbolic Space All You Need for Medical Anomaly Detection?
University of Basel(巴塞尔大学);Lucerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学);University Hospital of Basel(巴塞尔大学医院)
针对医学异常检测中欧几里得空间无法有效捕捉特征层次关系的问题,提出将特征投影至双曲空间并基于置信度聚合分类的方法,在多个基准上取得更高AUROC且在少样本场景表现优异。
2025-05-27 cs.AI cs.CV cs.LG
MOSPAT: AutoML based Model Selection and Parameter Tuning for Time Series Anomaly Detection
Meta
组织利用异常和变点检测算法来检测用户行为或服务可用性和性能的变化。许多现成的检测算法虽然有效,但不能容易地用于大型组织,其中数千名用户监视数百万个用例和具有不同时间序列特征和异常模式的指标。对于每个用例,算法和参数的选择都需要精确:手动调优无法扩展,自动调优需要基本事实,而这很少可用。在本文中,我们探讨MOSPAT,一个端到端的自动化的机器学习为基础的模型和参数选择的方法,结合生成模型,以产生标记的数据。我们的可扩展端到端系统允许大型组织中的个人用户根据其特定用例和数据特征定制时间序列监控,而无需异常检测算法的专业知识或费力的手动标记。我们对真实数据和合成数据的大量实验表明,该方法始终优于使用任何单一算法。
2022-05-24 cs.LG
Label-based Graph Augmentation with Metapath for Graph Anomaly Detection
Chungnam National University(忠南国立大学);Ulsan National Institute of Science & Technology(蔚山国家科学技术研究院);University of Vermont(佛蒙特大学)
针对无监督图异常检测因缺乏先验易检出无意义异常、标注异常数量有限的问题,提出基于元路径的MGAD框架,通过带GCN的双编码器-解码器传播上下文信息,在7个真实网络上性能优于前沿方法。
2024-04-12 cs.AI cs.LG
uTRAND: Unsupervised Anomaly Detection in Traffic Trajectories
Eindhoven University of Technology(埃因霍温理工大学)
uTRAND通过将异常轨迹预测从像素空间转移到语义拓扑域,实现无监督且可解释的交通异常检测,并在真实数据集上优于现有方法。
2024-04-19 cs.AI cs.CV cs.LG
Toward Supervised Anomaly Detection
Technische Universität Berlin(柏林工业大学);Memorial Sloan-Kettering Cancer Center(纪念斯隆-凯特琳癌症中心);University of Göttingen(哥廷根大学);Technische Universität Darmstadt(达姆施塔特工业大学);German Institute for International Educational Research(德国国际教育研究所)
异常检测被认为是一个无监督学习任务,因为异常源于具有未知分布的对抗性或不太可能的事件。然而,纯无监督异常检测的预测性能在许多任务中往往无法匹配所需的检测率,并且需要标记数据来指导模型生成。我们的第一个贡献表明,经典的半监督方法,起源于监督分类器,是不合适的,很难检测到新的和未知的异常。我们认为,半监督异常检测需要地面上的无监督学习范式,并设计一种新的算法,满足这一要求。虽然本质上是非凸的,我们进一步表明,优化问题有一个凸等价相对温和的假设。此外,我们提出了一个主动学习策略来自动过滤候选标签。在对网络入侵检测数据的实证研究中,我们观察到,所提出的学习方法需要的标记数据比最先进的少得多,同时实现了更高的检测精度。
2014-01-23 cs.LG
Refining the Optimization Target for Automatic Univariate Time Series Anomaly Detection in Monitoring Services
eBay Inc.(eBay公司)
针对工业时间序列异常检测需大量标注与手动调参的问题,提出含三类优化目标的自动参数优化框架,无需先验与标注即可适配多模型,在线及公开数据集实验均验证了其有效性。
2023-07-20 cs.LG
Adversarial Anomaly Detection using Gaussian Priors and Nonlinear Anomaly Scores
eMundo GmbH(eMundo 公司);Gofore Oyj(Gofore 公司);LMU Munich(慕尼黑大学);University of Vienna(维也纳大学)
本文提出β-VAEGAN模型,结合VAE与GAN,并通过核化SVM学习非线性异常分数及利用高斯先验偏差构造新分量,在MITBIH心律失常数据库上将异常检测F1分数从0.85提升至0.92。
2023-10-27 cs.LG stat.ML
What is Wrong with One-Class Anomaly Detection?
Ajou University(亚洲大学)
从安全的角度来看,需要一种嵌入到现实世界应用中的机器学习方法来区分不规则的情况。由于这个原因,人们对异常检测(AD)任务越来越感兴趣。由于我们不能观察到异常的样本的大多数情况下,最近的AD方法试图制定它作为一个任务的分类是否正常或不。然而,当给定的正常样本从不同的语义标签继承时,它们可能会失败。为了解决这个问题,我们引入了一个潜在的类条件为基础的AD场景。此外,我们提出了一个基于信心的自标记AD框架,适合我们提出的方案。由于我们的方法利用了隐藏的类信息,它成功地避免了产生不希望的松散的决策区域,一类方法遭受。我们提出的框架在潜在的多类场景中优于最近的一类AD方法。
2021-04-20 cs.CV cs.LG
Implementing Active Learning in Cybersecurity: Detecting Anomalies in Redacted Emails
University of Toronto(多伦多大学);Sun Life Financial Inc.(永明金融有限公司)
对电子邮件异常检测的研究通常依赖于专门准备的数据集,这些数据集可能无法充分反映行业环境中发生的数据类型。在我们的研究中,在一家大型金融服务公司,隐私问题阻止了对电子邮件和附件细节的检查(尽管主题标题和附件文件名是可用的)。这使得在由此产生的编辑电子邮件中标记可能的异常变得更加困难。另一个困难的来源是大量的电子邮件加上资源的稀缺,使得机器学习(ML)成为必要,但也需要更有效的ML模型的人工训练。主动学习(AL)已经被提出作为一种使ML模型的人类训练更有效的方法。然而,由于潜在的人类分析师不确定性,主动学习方法的实施是以人为中心的人工智能挑战,并且在诸如网络安全领域(或医疗保健、航空等)的领域中,标记任务可能进一步复杂化。标签上的错误可能会产生非常不利的后果。在本文中,我们提出的研究成果有关的应用程序的主动学习异常检测在编辑的电子邮件,比较效用不同的方法来实现主动学习在这种情况下。我们评估不同的AL策略及其对模型性能的影响。我们还研究了如何评级的信心,专家在他们的标签可以通知AL。获得的结果进行了讨论,他们的影响AL方法和模型辅助电子邮件异常筛选的专家的作用。
2023-03-03 cs.CR cs.HC cs.LG
A Hybrid Deep Learning Anomaly Detection Framework for Intrusion Detection
ST Engineering(新加坡科技工程有限公司)
网络入侵攻击危及用户的关键和敏感数据的数量和强度不断上升,特别是随着我们的日常生活与互联网之间的联系越来越多。这种入侵攻击的数量之大和复杂性之高阻碍了大多数传统防御技术的有效性。与此同时,机器学习方法,特别是深度学习在计算机视觉中的出色表现,引起了网络安全界的研究兴趣,以进一步增强和自动化入侵检测。然而,昂贵的数据标记和异常数据的限制使得以完全监督的方式训练入侵检测器具有挑战性。因此,基于无监督异常检测的入侵检测也是一个重要的特征。提出了一种基于三阶段深度学习异常检测的网络入侵攻击检测框架。该框架包括无监督(K均值聚类),半监督(GANomaly)和监督学习(CNN)算法的集成。然后,我们在三个基准数据集上评估并展示了我们实现的框架的性能:NSL-KDD,CIC-IDS 2018和TON_IoT。
2022-12-02 cs.AI cs.CR cs.LG
Unsupervised Graph Modeling for Anomaly Detection in Accounting Subject Relationships
Columbia University(哥伦比亚大学);Georgetown University(乔治城大学);Pepperdine University(佩珀德雷大学);Walsh College(沃什学院);Brandeis University(布兰迪斯大学)
本文提出基于图神经网络的无监督判别框架,用于检测会计科目关联结构中的异常,通过构建科目关联图并分析结构偏差,实现局部和跨社区异常检测。
2026-04-29 cs.LG
Self-supervise, Refine, Repeat: Improving Unsupervised Anomaly Detection
Google Cloud AI(谷歌云人工智能)
异常检测(AD)将异常与正常数据分离,在从安全到医疗保健的各个领域都有许多应用。虽然大多数以前的工作被证明是有效的情况下,完全或部分标记的数据,该设置是在实践中不太常见,由于标记是特别繁琐的这项任务。在本文中,我们专注于完全无监督的AD,其中包含正常和异常样本的整个训练数据集是未标记的。为了有效地解决这个问题,我们建议使用数据细化过程来提高在自监督表示上训练的一类分类的鲁棒性。我们提出的数据细化方法是基于一类分类器(OCC),其中每一个训练的训练数据的不相交的子集的合奏。随着数据细化的改进,通过自监督学习对细化数据学习的表示会迭代更新。我们展示了我们的方法在各种无监督的AD任务与图像和表格数据。在CIFAR-10图像数据上的异常率为10%/甲状腺表格数据上的异常率为2.5%的情况下,所提出的方法以6.3 AUC和12.5平均精度/ 22.9 F1分数优于最先进的一类分类器。
2022-08-05 cs.LG
AI on the Pulse: Real-Time Health Anomaly Detection with Wearable and Ambient Intelligence
Sapienza University of Rome(罗马大学)
本文提出AI on the Pulse系统,基于UniTS模型融合可穿戴与环境智能进行实时异常检测,优于12种方法,F1提升约22%,并已在居家场景部署,实现无需临床设备的持续监测与可解释告警。
2025-08-05 cs.LG
Anomaly Detection with HMM Gauge Likelihood Analysis
本文描述了一种使用隐马尔可夫模型和聚类来检测离散时间序列中异常的新方法,即HMM规范似然分析(GLA)。该方法的核心在于对双折射率的比较。为了实现这一点,他们首先使用Baum-Welch算法分配给他们的隐马尔可夫模型。接下来,这些模型通过它们定义的概率分布的近似表示来描述。最后,然后借助一些聚类技术或其他离群值检测工具分析该表示,并检测异常。很明显,可以用一些其他合适的模型来代替Hacker,例如一些其他的动态贝叶斯网络。我们的学习算法是无监督的,因此它不需要标记大量的数据。通过将其应用于合成和真实世界的系统日志数据,证明了该方法的可用性。
2020-09-19 cs.LG stat.ML
A Novel Short-Term Anomaly Prediction for IIoT with Software Defined Twin Network
Department of Software Engineering Manisa Celal Bayar University(软件工程系曼萨拉·塞拉尔·贝亚尔大学)
本文提出了一种基于软件定义双胞网络的物联网短期异常检测框架,通过时间感知特征标注和机器学习模型评估,实现了高召回率和强分类性能的平衡。
2025-09-24 cs.LG cs.NI cs.SE
Semi-supervised anomaly detection algorithm based on KL divergence (SAD-KL)
Jeju National University(济州大学)
在半监督学习的异常数据检测中,通常将未标记数据假设为正常数据。然而,当未标记数据的分布不同于标记正态数据集的分布时,这种假设会导致不可避免的检测错误。针对标记数据和未标记数据之间的分布差距所带来的问题,提出了一种基于KL散度的半监督异常检测算法(SAD-KL)。该方法由两个步骤组成:(1)估计已标记正态数据和未标记数据的局部离群因子的概率密度函数的KL散度;(2)利用KL散度估计未标记数据中正态数据的检测概率和检测阈值。我们表明,PDF的LOFs遵循伯尔分布,并使用它们进行检测。一旦计算出阈值,SAD-KL就迭代地运行,直到标记变化率低于预定义阈值。实验结果表明,SAD-KL算法在学习时间较短的情况下,仍具有较好的检测概率。
2022-03-28 cs.CV cs.LG
Learning image representations for anomaly detection: application to discovery of histological alterations in drug development
Boehringer Ingelheim Pharma GmbH and Co.(勃林格殷格翰制药有限公司)
提出一种基于辅助任务训练CNN并结合中心损失的组织病理学图像异常检测系统,用于早期药物毒性评估以减少后期药物流失。
2024-01-08 cs.AI cs.CV cs.LG
Statistical Decision Making for Optimal Budget Allocation in Crowd Labeling
UC Berkeley(加州大学伯克利分校);University of Iowa(爱荷华大学);Microsoft Research(微软研究院)
在群体标记中,大量未标记的数据实例被外包给一群工人。工人将为他们提供的每个标签支付报酬,但标签请求者通常只有有限的预算。由于数据实例具有不同级别的标记难度,并且工作者具有不同的可靠性,因此期望具有最优策略来在所有实例-工作者对之间分配预算,使得整体标记准确性最大化。我们认为分类标签的任务和制定的预算分配问题作为一个贝叶斯马尔可夫决策过程(MDP),同时进行学习和决策。利用动态规划(DP)递推算法,可以得到最优分配策略。然而,当问题的大小增加时,DP很快变得计算上难以处理。为了解决这个问题,我们提出了一个计算效率高的近似策略,称为乐观知识梯度策略。我们的MDP是一个非常通用的框架,适用于具有同质工人的拉式众包市场和具有异质工人的推式市场。它还可以在实例可用时合并实例的上下文信息。仿真和真实数据上的实验表明,在相同的预算水平下,该策略比现有的其他策略具有更高的标记准确率。
2014-04-24 cs.LG math.OC stat.ML
AdaStop: Cost-Aware Early Stopping for DNN Test Selection
Independent Researcher(独立研究者)
研究DNN测试中停止问题,提出AdaStop框架,将测试视为成本效益决策过程,通过估计边际故障发现率并与阈值比较决定是否停止标注,实验表明该方法能以较少标注预算发现较多故障。
2026-07-08 cs.AI cs.LG
FUN-AD: Fully Unsupervised Learning for Anomaly Detection with Noisy Training Data
Hanyang University(汉阳大学)
本文提出FUN-AD方法,利用最近邻距离区分正常与异常样本,并通过迭代重建记忆库伪标签和同质性损失函数,实现含噪训练数据下的全无监督异常检测。
2024-11-25 cs.CV cs.LG
Early Failure Prediction from Near-Anomaly Detection: A Proactive Approach
Schaeffler(舍弗勒);LAAS-CNRS(法国国家科学研究中心自动化与系统分析实验室);University of Toulouse(图卢兹大学);INSA(法国国立应用科学学院);CNRS(法国国家科学研究中心)
该研究提出CANARI无监督方法,利用克里斯托费尔函数检测近异常,在印刷电路板工业测试数据上验证,性能优于双阈值基线,可主动预测故障,助力弹性维护与质量控制。
2026-08-04 cs.LG stat.ML
A Marketplace Price Anomaly Detection System at Scale
Walmart Global Tech(沃尔玛全球科技)
针对在线市场因缺乏集中管控易出现价格异常、损害体验与收益的问题,提出可扩展框架MoatPlus,通过集成模型、优化加权构建实时价格上限,将高漏洞商品的精确锚点覆盖率最高提升46.6%。
2023-10-09 cs.LG stat.ML
Semi-supervised learning via DQN for log anomaly detection
Huazhong University of Science and Technology(华中科技大学)
提出半监督日志异常检测方法 DQNLog,通过深度强化学习结合少量标记与大规模未标记数据,设计偏向异常的状态转移函数与联合奖励函数,有效解决了数据不平衡与误报漏报高的问题。
2024-07-30 cs.LG cs.SE
Mining Drifting Data Streams on a Budget: Combining Active Learning with Self-Labeling
Virginia Commonwealth University(弗吉尼亚联邦大学)
挖掘数据流带来了许多挑战,包括数据的连续性和非平稳性,需要处理的大量信息以及对计算资源的限制。虽然在文献中针对这个问题提出了许多有监督的解决方案,但其中大多数都假设对基础事实(以类别标签的形式)的访问是无限的,并且在更新学习系统时可以立即利用这些信息。这是远远不现实的,因为人们必须考虑获得标签的潜在成本。因此,需要能够降低流传输场景中对地面实况的要求的解决方案。在本文中,我们提出了一种新的框架,挖掘漂移的数据流的预算,结合信息来自主动学习和自标记。我们介绍了几种策略,可以利用智能实例选择和半监督程序,同时考虑到概念漂移的潜在存在。这种混合方法允许在现实的标记预算内有效地探索和利用流式传输数据结构。由于我们的框架作为包装器工作,它可以应用于不同的学习算法。实验研究,进行了一组不同的现实世界的数据流与各种类型的概念漂移,证明了所提出的策略的有用性时,处理高度有限的访问类标签。所提出的混合方法是特别可行的,当一个不能增加预算的标签或更换一个低效的分类。我们提供了一套关于我们战略适用领域的建议。
2021-12-21 cs.LG
Little Help Makes a Big Difference: Leveraging Active Learning to Improve Unsupervised Time Series Anomaly Detection
Paris Research Center, Huawei Technologies France(华为技术法国巴黎研究中心);École des Ponts ParisTech(巴黎桥路学院)
本文针对无监督时间序列异常检测误报过多的问题,提出利用主动学习引入操作员反馈,通过三种查询策略和孤立森林权重更新与阈值调整,在降低标注预算的同时将F1分数提升超过50%。
2022-01-25 cs.LG
Using anomaly detection to support classification of fast running (packaging) processes
Fraunhofer Institute for Process Engineering and Packaging (IVV)(弗劳恩霍夫工艺工程与包装研究所)
提出基于异常检测的数据标注方法,通过特定指标解决无真实基准的模型验证问题,应用于食品包装行业,辅助高速生产过程中的故障分类与自学习系统训练。
2020-02-14 cs.LG cs.SY eess.SY
Self-Tuning Self-Supervised Image Anomaly Detection
Carnegie Mellon University(卡内基梅隆大学)
本文提出首个面向自监督异常检测的端到端增强调优方法ST-SSAD,通过无监督验证损失和可微增强函数自动搜索数据增强,在语义异常和工业缺陷检测上显著超越现有方法。
2025-07-21 cs.CV cs.LG
A versatile anomaly detection method for medical images with a flow-based generative model in semi-supervision setting
The University of Tokyo Hospital(东京大学医院);The University of Tokyo(东京大学);RIKEN(理化学研究所)
医学图像中的监督是一个关键问题,并且期望医学图像的及时报告。因此,强烈需要一种能够检测给定图像中几乎所有类型的病变/疾病的通用异常检测方法。然而,很少有商业上可用的和通用的异常检测方法的医学图像已经提供到目前为止。最近,基于深度学习方法的异常检测方法迅速普及,这些方法似乎为问题提供了合理的解决方案。然而,标记深度学习训练所需的图像的工作量仍然很大。在这项研究中,我们提出了一个异常检测方法的基础上,两个训练流为基础的生成模型。使用这种方法,后验概率可以计算为任何给定图像的正态性度量。生成模型的训练需要两组图像:一组仅包含正常图像,另一组包含正常和异常图像,没有任何标签。在后一组中,每个样本不必被标记为正常或异常;因此,图像的任何混合(例如,医院中的所有病例)可以用作数据集,而无需繁琐的手动标记。两种类型的医学图像的方法进行了验证:胸部X射线摄影(CXR)和脑计算机断层扫描(BCT)。CXR(肺炎样阴影为0.868)和BCT(梗死为0.904)的对数后验概率的受试者工作特征曲线下面积与先前使用其他异常检测方法的研究中的受试者工作特征曲线下面积相当。这一结果显示了我们的方法的通用性。
2020-10-20 cs.CV cs.LG eess.IV
Online Adaptive Asymmetric Active Learning with Limited Budgets
South China University of Technology(华南理工大学);Tencent AI Lab(腾讯人工智能实验室)
在线主动学习(OAL)通过有选择地查询数据的标签来管理未标记的数据流。OAL适用于许多现实问题,如医疗保健和金融领域的异常检测。在这些问题中,有两个关键的挑战:查询预算往往是有限的,类之间的比例是高度不平衡的。在实践中,当只有有限的标签预算可以查询用于训练时,处理不平衡的未标记数据流是相当困难的。为了解决这个问题,以前的OAL研究采用非对称损失或查询(一个孤立的非对称策略)来解决不平衡,并使用一阶方法来优化成本敏感的措施。然而,孤立策略限制了它们在类不平衡中的性能,而一阶方法限制了它们的优化性能。在本文中,我们提出了一种新的在线自适应非对称主动学习算法,基于一种新的非对称策略(合并非对称损失和查询策略),和二阶优化。从理论上分析了它的错误界和代价敏感度量界。此外,为了更好地平衡性能和效率,我们通过草图技术增强了我们的算法,这大大加快了计算速度,性能略有下降。实验结果表明了所提方法的有效性和高效性。
2019-11-18 cs.LG stat.ML
Evaluating ML-Based Anomaly Detection Across Datasets of Varied Integrity: A Case Study
Budapest University of Technology and Economics(布达佩斯技术与经济大学);HUN-REN-BME Information Systems Research Group(HUN-REN-BME信息系统研究组)
本文通过引入基于 NFStream 处理的 CICIDS-2017 精炼数据集 NFS-2023-nTE 和 NFS-2023-TE,对比随机森林算法在不同质量数据集上的异常检测性能,发现 RF 对数据完整性具有较强鲁棒性,并强调数据集生成方法严谨性的重要性。
2024-06-25 cs.LG cs.NI
Anomaly Detection in Medical Imaging -- A Mini Review
Salzburg University of Applied Sciences(萨尔茨堡应用技术大学);University of Salzburg(萨尔茨堡大学)
本文综述120篇医学影像异常检测论文,归纳应用、结果与经验,指出研究重点在于减少标注依赖,并展示向OCT和胸部X光等领域拓展的潜力。
2024-12-02 cs.CV cs.LG eess.IV
Transferring self-supervised pre-trained models for SHM data anomaly detection with scarce labeled data
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Singapore-ETH Centre(新加坡-ETH中心);ETH Zurich(苏黎世联邦理工学院);Tongji University(同济大学);Shanghai Qi Zhi Institute(上海期智研究院);The Hong Kong University of Science and Technology(香港科技大学)
针对结构健康监测(SHM)数据异常检测中标记数据稀缺的问题,本研究探索自监督学习(SSL)框架,通过无监督预训练利用未标记数据、监督微调学习少量标记数据,在两座在役桥梁数据上验证其优于传统监督训练,为稀缺标签场景提供高效工具。
2024-12-05 cs.CE cs.LG
Unsupervised Anomaly Detection in Multi-Agent Trajectory Prediction via Transformer-Based Models
Electrical Engineering and Computer Sciences(电气工程与计算机科学)
本文提出基于Transformer的多智能体轨迹预测无监督异常检测框架,通过预测残差和双评估方案识别安全关键场景,有效捕捉多智能体风险并提供可解释的风险类型。
2026-01-28 cs.LG cs.SY eess.SY
LogPurge: Log Data Purification for Anomaly Detection via Rule-Enhanced Filtering
Nankai University(南开大学);Huawei(华为);Tsinghua University(清华大学)
针对日志异常检测中干净训练数据获取成本高、现有自动清洗方法未结合日志特性的问题,提出规则增强的两阶段过滤净化框架LogPurge,在多数据集上实现了更优的异常净化与检测性能。
2025-11-18 cs.LG cs.SE