Toward Deep Supervised Anomaly Detection: Reinforcement Learning from Partially Labeled Anomaly Data
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；The University of Adelaide（阿德莱德大学）；Advanced Analytics Institute（高级分析研究所）；University of Technology Sydney（悉尼科技大学）
我们考虑的问题的异常检测与一个小的部分标记的异常的例子和一个大规模的未标记的数据集。这是许多重要应用中的常见场景。现有的相关方法要么专门适合通常不跨越整个异常集的有限异常示例，要么从未标记的数据进行无监督学习。相反，我们在这里提出了一种基于深度强化学习的方法，该方法可以对标记和未标记异常的检测进行端到端的优化。该方法通过自动地与异常偏置的模拟环境交互来学习已知的异常，同时连续地将所学习的异常扩展到新的异常类别（即，未知的异常），通过主动探索未标记数据中可能的异常。这是通过联合优化小标记异常数据的利用和罕见的未标记异常的探索来实现的。在48个真实世界数据集上进行的广泛实验表明，我们的模型明显优于五种最先进的竞争方法。
2021-06-10 cs.AI cs.CR cs.CV
Sequential Anomaly Detection using Inverse Reinforcement Learning
Columbia University（哥伦比亚大学）
异常检测中最有趣的应用场景之一是针对连续数据的情况。例如，在安全关键环境中，至关重要的是要有一个自动检测系统来筛选监控传感器收集的流数据，并在实时检测到异常观察结果时报告。通常情况下，当这些潜在的异常是故意的或目标导向的时，风险要高得多。我们提出了一个端到端的框架顺序异常检测使用逆强化学习（IRL），其目标是确定决策代理的底层功能，触发他/她的行为。所提出的方法需要的目标代理（和可能的其他Meta信息）的动作序列作为输入。代理的正常行为，然后理解的奖励功能，这是通过IRL推断。我们使用一个神经网络来表示一个奖励函数。使用学习的奖励函数，我们评估来自目标代理的新观察是否遵循正常模式。为了构建一个可靠的异常检测方法，并考虑到预测的异常得分的置信度，我们采用贝叶斯方法IRL。公开的真实世界数据的实证研究表明，我们提出的方法是有效的，在识别异常。
2020-04-22 cs.LG stat.ML
Anomaly Detection for Scalable Task Grouping in Reinforcement Learning-based RAN Optimization
Samsung AI Center（三星人工智能中心）
针对RAN优化中大量基站的模型训练难题，提出基于异常检测的可扩展强化学习策略库框架，通过评估任务与策略的兼容性实现策略复用，高效构建高性能策略库，适配现实计算约束。
2023-12-06 cs.LG
Semantic Pareto-DQN: A Multi-Objective Reinforcement Learning Framework for Financial Anomaly Detection
A3Data（A3数据公司）
针对金融异常检测的类不平衡问题，提出语义帕累托深度Q网络框架，合成交易特征，优化向量奖励，映射帕累托前沿，经实验验证可打破零召回陷阱，提升少数类召回率，为金融异常发现提供新途径。
2026-07-13 cs.AI cs.LG
DRTA: Dynamic Reward Scaling for Reinforcement Learning in Time Series Anomaly Detection
School of Computer Science Portland State University Portland, Oregon, United States（计算机科学学院波特兰州立大学波特兰俄勒冈州美国）
针对时间序列异常检测标注少、误报高和新型异常泛化难的问题，提出融合动态奖励塑形、VAE与主动学习的强化学习框架DRTA，并在Yahoo基准上验证其优于现有方法。
2025-08-25 cs.AI cs.LG
Semi-supervised Anomaly Detection via Adaptive Reinforcement Learning-Enabled Method with Causal Inference for Sensor Signals
College of Computer and Cyber Security, Fujian Normal University（福建师范大学计算机与网络空间安全学院）；Fujian Provincial Key Laboratory of Network Security and Cryptology（福建省网络安全与密码技术重点实验室）
针对传感器信号半监督异常检测中现有方法忽略因果关系、强化学习方法存在先验利用不足等问题，提出融合因果推断的三重辅助因果强化学习检测模型Tri-CRLAD，在7个数据集上优于9种SOTA方法，稳定性最高提升23%。
2024-05-16 cs.AI cs.LG
Dynamic Reward Scaling for Multivariate Time Series Anomaly Detection: A VAE-Enhanced Reinforcement Learning Approach
School of Computer Science Portland State University Portland, Oregon, United States（计算机科学学院波特兰州立大学波特兰俄勒冈州美国）
针对多元时间序列异常检测中高维、标注少、传感器依赖弱的问题，本文提出融合VAE、LSTM-DQN、动态奖励与主动学习的强化学习框架DRSMT，在两个基准上取得优于基线的检测效果。
2025-11-15 cs.AI cs.LG
CroTad: A Contrastive Reinforcement Learning Framework for Online Trajectory Anomaly Detection
The University of Queensland（昆士兰大学）；The Hong Kong Polytechnic University（香港理工大学）；The Hong Kong University of Science and Technology（香港科学与技术大学）
CroTad通过对比强化学习框架实现在线轨迹异常检测，无需阈值且对噪声和不规则数据具有鲁棒性，有效区分子轨迹和点级别异常行为。
2025-11-21 cs.DB cs.LG
Calibrated Unsupervised Anomaly Detection in Multivariate Time-series using Reinforcement Learning
Concordia Univerity（康考迪亚大学）
针对多变量时间序列无监督异常检测中异常数据有限导致假阴性高的问题，提出结合自编码器潜在空间、强化学习（平衡探索利用防过拟合）和小波分析（多分辨率捕获异常）并通过合成异常校准决策边界的方法，提升检测能力。
2025-02-10 cs.LG cs.SY eess.SP
Simulating Battery-Powered TinyML Systems Optimised using Reinforcement Learning in Image-Based Anomaly Detection
School of Electrical and Information Engineering, University of the Witwatersrand（威特沃特斯兰德大学电气与信息工程学院）；Digital Matter（数字物质公司）
本研究针对电池供电的TinyML图像异常检测IoT系统，提出用强化学习优化系统运行的方案，经仿真验证其电池续航较静态、动态优化方法分别提升22.86%和10.86%，且内存仅800B，适合资源受限硬件部署。
2024-04-10 cs.LG
A Distance-based Anomaly Detection Framework for Deep Reinforcement Learning
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出基于马氏距离的深度强化学习异常检测框架MDX，可同时处理离线与在线场景下的随机、对抗和分布外异常，并通过鲁棒扩展与共形推断提升可靠性，在控制、游戏和自动驾驶实验中验证了有效性。
2024-10-18 cs.AI cs.LG
Meta-AAD: Active Anomaly Detection with Deep Reinforcement Learning
Texas A&M University（德克萨斯A&M大学）
高误报率是异常检测算法长期面临的挑战，特别是在高风险应用中。为了识别真正的异常，在实践中，分析师或领域专家将被雇用来逐个调查由异常检测系统识别的异常的排名列表中的顶级实例。此验证程序生成信息标签，可用于对异常进行重新排序，以帮助分析师在给定时间预算的情况下发现更多真实的异常。已经提出了一些重新排序策略来近似上述顺序决策过程。具体而言，现有的策略已经集中在基于反馈使顶部实例更可能是异常的。然后，他们会选择前1名的实例进行查询。然而，这些贪婪策略可能是次优的，因为从长远来看，一些低排名的实例可能更有帮助。在这项工作中，我们提出了主动异常检测与元策略（元AAD），一种新的框架，学习元策略查询选择。具体而言，Meta-AAD利用深度强化学习来训练元策略，以选择最合适的实例，从而显式优化整个查询过程中发现的异常数量。Meta-AAD易于部署，因为经过训练的元策略可以直接应用于任何新数据集，而无需进一步调优。在24个基准数据集上进行的大量实验表明，Meta-AAD显著优于最先进的重排序策略和无监督基线。实证分析表明，训练后的元策略是可转移的，内在地实现了长期和短期回报之间的平衡。
2020-09-16 cs.LG stat.ML
An Unsupervised Anomaly Detection in Electricity Consumption Using Reinforcement Learning and Time Series Forest Based Framework
American University of Beirut（贝鲁特美国大学）
本文提出一种结合时间序列森林与强化学习的无监督异常检测模型选择框架，可动态选择AD技术，在多个数据集上取得优于现有模型和GPT-4的F1分数。
2024-12-30 cs.AI cs.LG
LogNEO: A GPT-Neo Reinforcement Learning Framework for Accurate Real-Time Log Anomaly Detection
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
提出LogNEO，利用GPT-Neo模型和基于位置感知奖励的PPO微调，在HDFS、BGL和Thunderbird基准上达到F1分数0.927、0.913和0.984，召回率比LogGPT提升6%，并在生产部署中实现45ms端到端延迟。
2026-06-06 cs.AI cs.LG
Anomalous State Sequence Modeling to Enhance Safety in Reinforcement Learning
Damascus University（大马士革大学）
提出AnoSeqs方法，通过离线收集安全状态序列构建异常检测模型，在目标环境中调整奖励以惩罚访问异常状态，从而训练风险规避的RL策略，在自动驾驶等基准环境中提升安全性。
2024-07-29 cs.AI cs.LG
Anomaly Detection Under Controlled Sensing Using Actor-Critic Reinforcement Learning
Syracuse University（雪城大学）
我们认为，一组给定的过程中，使用其嘈杂的二进制传感器测量检测异常的问题。对应于正常过程的无噪声传感器测量值为0，如果过程异常，则测量值为1。假设决策算法不知道异常过程的数量。算法允许在每个时刻选择传感器的子集，直到决策的置信水平超过期望值。我们的目标是设计一个顺序的传感器选择策略，动态地确定哪些进程观察在每个时间和何时终止检测算法。选择策略的设计，使得异常过程被检测到所需的置信水平，同时招致最小的成本，其中包括检测的延迟和感测的成本。我们将这个问题转化为马尔可夫决策过程框架内的序列假设检验问题，并使用Actor-Critic深度强化学习算法解决它。这种基于深度神经网络的算法提供了一种低复杂度的解决方案，具有良好的检测精度。我们还研究了算法性能的进程之间的统计依赖性的效果。通过数值实验，我们表明，我们的算法是能够适应任何未知的统计依赖模式的过程。
2020-05-26 cs.LG eess.SP
Active Reinforcement Learning -- A Roadmap Towards Curious Classifier Systems for Self-Adaptation
University of Kiel（基尔大学）
智能系统有能力随着时间的推移，通过观察，经验或明确的反馈来改善其行为。传统的方法将学习问题分开，并孤立地使用来自不同机器学习领域的技术，例如强化学习、主动学习、异常检测或迁移学习。在这种情况下，基本的强化学习方法有几个缺点，阻碍了它们在现实世界系统中的应用：试错，纯粹的反应行为或孤立的问题处理。本文的想法是提出一个概念，通过建立一个研究议程，我们所谓的"主动强化学习"在智能系统中，以减轻这些缺点。
2022-01-11 cs.LG
Self-Adaptive Anomaly Detection with Reinforcement Learning and Human Feedback in Connected Vehicles
本文针对车联网运行中行为监测的挑战，提出集成强化学习、统计监测和人工反馈的在线异常检测框架，通过自注意力选择检测器、多检测器集成及人工再训练机制，在测试平台上实现持续自适应且避免灾难性遗忘。
2026-07-10 cs.AI cs.LG
Uncertainty-aware Diffusion and Reinforcement Learning for Joint Plane Localization and Anomaly Diagnosis in 3D Ultrasound
Medical Ultrasound Image Computing (MUSIC) Lab, School of Biomedical Engineering, Medical School, Shenzhen University, Shenzhen, China The People’s Hospital of Guangxi Zhuang Autonomous Region, Nanning, China Centre for CIMIM, Manchester University, Manchester, UK School of Artificial Intelligence, Shenzhen University, Shenzhen, China National Engineering Laboratory for Big Data System Computing Technology, Shenzhen University, Shenzhen, China School of Biomedical Engineering；Informatics, Nanjing Medical University, Nanjing, China
提出一种结合不确定性感知扩散模型与强化学习的智能系统，用于三维超声中自动平面定位和先天性子宫异常诊断，实验验证其有效性。
2025-09-11 cs.AI cs.CV cs.LG
Learning Rewards, Not Labels: Adversarial Inverse Reinforcement Learning for Machinery Fault Detection
Deakin University（德肯大学）
本文提出对抗性逆强化学习方法，用于机械故障检测，通过学习奖励动态实现无需标签的故障识别。
2026-02-25 cs.AI cs.LG
Online Cyber-Attack Detection in Smart Grid: A Reinforcement Learning Approach
Columbia University（哥伦比亚大学）
网络攻击的早期检测对于智能电网的安全可靠运行至关重要。在文献中，离群点检测方案进行样本的样本决策和在线检测方案，需要完美的攻击模型已经提出。在本文中，我们制定了在线攻击/异常检测问题的部分可观察马尔可夫决策过程（POMDP）的问题，并提出了一个通用的鲁棒在线检测算法使用的框架无模型强化学习（RL）的POMDP。数值实验结果表明，该算法能够及时准确地检测出针对智能电网的网络攻击。
2018-09-14 cs.CR cs.LG stat.ML
LogGuardQ: A Cognitive-Enhanced Reinforcement Learning Framework for Cybersecurity Anomaly Detection in Security Logs
Universidade de Uberaba（乌贝拉巴大学）
针对传统强化学习在动态环境中探索效率低的问题，提出认知增强框架 LogGuardQ，结合双记忆系统与自适应探索策略，在安全日志异常检测中实现了 96.0% 的高检测率与优越稳定性。
2025-09-02 cs.AI cs.CR cs.LG
Context-aware Domain Adaptation for Time Series Anomaly Detection
Rice University（莱斯大学）；Visa Research（维萨研究院）
本文提出一种上下文感知的时间序列领域自适应框架，将上下文采样建模为马尔可夫决策过程并用深度强化学习优化，以生成领域不变特征，缓解异常检测中的负向知识迁移问题。
2023-04-15 cs.AI cs.LG
Learning Retrospective Knowledge with Reverse Reinforcement Learning
University of Oxford（牛津大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
我们提出了一个反向强化学习（反向RL）的方法来表示回顾性知识。一般价值函数（GVF）在表示预测知识方面取得了巨大成功，即，回答关于未来可能结果的问题，例如“如果我们从A开车到B，预计会消耗多少燃料？".然而，GVF不能回答这样的问题：“在时间$t$，我们期望一辆车在B点给它加多少油？”".为了回答这个问题，我们需要知道这辆车什么时候油箱是满的，以及这辆车是如何到达B点的。由于这类问题强调过去可能发生的事件对现在的影响，我们把它们的答案称为回顾性知识。在本文中，我们展示了如何用反向GVF表示回溯知识，这些GVF是通过反向RL训练的。我们实证证明了反向GVF在表示学习和异常检测中的实用性。
2020-11-01 cs.AI cs.LG
TimeRLM: Recursive Language Models Enable Precise Anomaly Localization in Long-Context Time-Series
提出TimeRLM（基于递归语言模型的时序异常定位框架），结合强化学习后训练后，在合成基准AnomalyXL及真实世界数据上，均优于现有时序语言模型，可实现长时序数据的精准异常定位。
2026-09-09 cs.LG
A Scalable Algorithm for Anomaly Detection via Learning-Based Controlled Sensing
Syracuse University（雪城大学）
我们解决的问题，顺序选择和观察过程中，从一个给定的集合中找到其中的异常。决策者每次观察一个过程，并获得相应过程是否异常的噪声二进制指标。在这种情况下，我们开发了一种异常检测算法，该算法选择在给定时刻要观察的过程，决定何时停止观察，并做出关于异常过程的决定。检测算法的目标是以超过期望值的准确度得出决策，同时最小化决策中的延迟。我们的算法依赖于一个马尔可夫决策过程定义的边缘概率的每个过程是正常的或异常的，条件的观察。我们使用深度演员-评论家强化学习框架实现检测算法。不像以前的工作在这个主题上，具有指数复杂性的进程数，我们的算法的计算和内存的要求，都是多项式的进程数。我们证明了我们的算法的有效性，使用数值实验，通过比较它与国家的最先进的方法。
2021-05-12 cs.LG eess.SP
JUDO: A Juxtaposed Domain-Oriented Multimodal Reasoner for Industrial Anomaly QA
Sungkyunkwan University（成均馆大学）；Seoul National University（首尔国立大学）
本文提出JUDO框架，通过结合领域知识和上下文提升多模态推理能力，以解决工业异常检测中模型缺乏领域知识的问题，实验表明其在MMAD基准上优于Qwen2.5-VL-7B和GPT-4o。
2026-05-19 cs.AI cs.CV cs.LG
Improving log-based anomaly detection through learned adaptive filter
National University of Singapore（新加坡国立大学）
针对基于日志的异常检测中固定过滤配置忽略序列动态特性的问题，提出基于深度强化学习的自适应滤波器，为不同日志序列动态设置过滤阈值，在HDFS和BGL数据集上显著提升了DeepLog和LogAnomaly的检测性能。
2025-04-03 cs.DB cs.LG
Novelty Detection in Reinforcement Learning with World Models
Georgia Institute of Technology（佐治亚理工学院）
本文提出基于世界模型的强化学习新颖性检测方法，利用幻觉状态与真实观测状态的错位作为异常评分，在突变环境中优于传统机器学习与现有RL检测算法。
2025-05-28 cs.AI cs.LG cs.SY
Reasoner for Real-World Event Detection: Scaling Reinforcement Learning via Adaptive Perplexity-Aware Sampling Strategy
Meituan（美团）
本文提出自适应困惑度感知强化学习框架APARL，通过双环动态课程学习架构提升大语言模型在真实客服对话中异常事件检测的OOD泛化能力，F1平均提升17.19%。
2025-07-02 cs.AI cs.LG
Contextual-Bandit Anomaly Detection for IoT Data in Distributed Hierarchical Edge Computing
Singapore University of Technology and Design（新加坡科技设计大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Missouri University of Science and Technology（密苏里科技大学）；CNRS（法国国家科学研究中心）；Telecom Sud Paris（南巴黎电信学院）；Institut Mines Telecom（矿业电信学院）；Paris-Saclay University（巴黎-萨克雷大学）
深度神经网络（DNN）的进步极大地支持了异常物联网数据的实时检测。然而，物联网设备很难负担复杂的DNN模型，并且将异常检测任务卸载到云端会导致长时间的延迟。在本文中，我们提出并构建了一个用于分布式分层边缘计算（HEC）系统的自适应异常检测方法的演示，以解决单变量和多变量物联网数据的这个问题。首先，我们构建了多个异常检测DNN模型，其复杂度不断增加，并将每个模型与HEC中的一个层从下到上相关联。然后，我们设计了一个自适应方案，选择这些模型之一的飞行，从每个输入数据提取的上下文信息的基础上。模型的选择制定为一个上下文的强盗问题，其特征在于一个单步马尔可夫决策过程，并使用强化学习策略网络解决。我们构建了一个HEC测试平台，实现了我们提出的方法，并使用真实的物联网数据集对其进行了评估。演示表明，我们提出的方法显着降低了检测延迟（例如，单变量数据集的71.4%），而不会牺牲准确性，而不是将检测任务卸载到云端。我们还将其与其他基线方案进行了比较，并证明了它实现了最佳的精度-延迟权衡。我们的演示也可在线获得：https://rebrand.ly/91a71
2020-04-15 cs.DC cs.LG cs.NI
Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach
Singapore University of Technology and Design（新加坡科技设计大学）；Missouri University of Science and Technology（密苏里科技大学）
深度神经网络（DNN）的进步显著增强了物联网应用中异常数据的实时检测。然而，复杂性-准确性-延迟的困境仍然存在：复杂的DNN模型提供更高的准确性，但典型的物联网设备几乎无法承受计算负载，并且将负载卸载到云端的补救措施会导致长时间的延迟。在本文中，我们提出了一个自适应异常检测方案与层次边缘计算（HEC）来解决这一挑战。具体来说，我们首先构建复杂度不断增加的多个异常检测DNN模型，并将每个模型与相应的HEC层相关联。然后，我们设计了一个自适应的模型选择方案，制定为一个上下文强盗问题，并解决了使用强化学习策略网络。我们还采用了并行策略训练方法，利用分布式模型来加速训练过程。我们使用真实的物联网设备构建了一个HEC测试平台，使用单变量和多变量物联网数据集实现并评估了我们的上下文-强盗方法。与基线和最先进的方案相比，我们的自适应方法在单变量数据集上取得了最佳的准确性-延迟权衡，并在多变量数据集上取得了最佳的准确性和F1分数，延迟仅比最佳（但不灵活）方案长得可以忽略不计。
2021-08-09 cs.AI cs.DC cs.LG
Scalable and Decentralized Algorithms for Anomaly Detection via Learning-Based Controlled Sensing
Delft University of Technology（代尔夫特理工大学）；Syracuse University（雪城大学）
我们解决的问题，顺序选择和观察过程中，从一个给定的集合中找到其中的异常。决策者在任何给定时刻观察过程的子集，并获得相应过程是否异常的噪声二进制指示符。在这种情况下，我们开发了一个异常检测算法，选择在给定的时刻要观察的过程，决定何时停止观察，并宣布异常过程的决定。检测算法的目标是以超过期望值的精度识别异常，同时最小化决策延迟。我们设计了一个集中式的算法，其中的过程是由一个共同的代理，以及一个分散的算法，其中的决定是否选择一个过程是独立的每个过程。我们的算法依赖于一个马尔可夫决策过程定义的边缘概率的每个过程是正常的或异常的，条件的观察。我们使用深度演员-评论家强化学习框架实现检测算法。不像以前的工作在这个主题上，具有指数复杂性的进程数，我们的算法的计算和内存的要求，都是多项式的进程数。我们证明了这些算法的有效性，通过比较它们与国家的最先进的方法使用数值实验。
2021-12-08 cs.LG eess.SP stat.ML
Anomaly Detection via Learning-Based Sequential Controlled Sensing
Delft Technical University（代尔夫特理工大学）；Syracuse University（雪城大学）
本文针对二元过程异常检测问题，提出基于深度强化学习和深度主动推断的序贯受控感知策略，以最小化决策延迟和感知成本，并能适应未知统计依赖模式。
2023-11-30 cs.LG cs.SY eess.SP
Searching for New Physics with Reinforcement Learning
Université de Montréal（蒙特利尔大学）
本文提出一种强化学习方法，用于在标准模型有效场论中自动搜索能解释异常（如CDF W质量异常）的算子，无需人工唯象直觉，可高效探索完整算子空间。
2026-09-10 cs.LG hep-ph
DeFRiS: Silo-Cooperative IoT Applications Scheduling via Decentralized Federated Reinforcement Learning
本文提出DeFRiS框架，通过去中心化联邦强化学习解决物联网应用在异构孤岛间协作调度中的隐私保护与效率问题，实验表明其在响应时间、能耗和延迟风险方面均有显著提升。
2026-03-16 cs.DC cs.LG
Safe Urban Traffic Control via Uncertainty-Aware Conformal Prediction and World-Model Reinforcement Learning
Dept. of CST, BNRIST, Tsinghua University, Beijing, China（计算机科学与技术系，北京理工大学，北京，中国）；Dept. of CST, Tsinghua University, Beijing, China（计算机科学与技术系，清华大学，北京，中国）；Independent Researcher, Bihar, India（独立研究者，印度比哈尔）
STREAM-RL通过不确定性感知的置信区间预测和世界模型强化学习，实现安全的城市交通控制，提升安全性和效率。
2026-02-04 cs.AI cs.LG
HERO: Human-Feedback Efficient Reinforcement Learning for Online Diffusion Model Finetuning
Sony AI（索尼人工智能公司）；Graduate Institute of Communication Engineering, National Taiwan University（台湾大学通信工程研究所）；University of Southern California（南加利福尼亚大学）；Stanford University（斯坦福大学）
HERO框架通过在线人类反馈和反馈对齐表示学习及反馈引导图像生成机制，以4倍效率提升扩散模型微调，仅需0.5K反馈即可处理多种任务。
2025-03-13 cs.AI cs.CV cs.HC
Hiding in Plain Sight: Differential Privacy Noise Exploitation for Evasion-resilient Localized Poisoning Attacks in Multiagent Reinforcement Learning
University of Nevada, Reno（内华达大学里诺分校）
本文针对协作式多智能体强化学习中的差分隐私机制，提出利用 DP 噪声绕过异常检测的局部投毒攻击 PeLPA，并通过多环境实验验证其对收敛、步数和计算开销的显著破坏。
2023-07-13 cs.CR cs.LG cs.MA
A Comparative Analysis of Machine Learning Techniques for IoT Intrusion Detection
Polytechnic of Porto（波尔图理工学院）；School of Engineering, Polytechnic of Porto (ISEP/IPP)（波尔图理工学院工程学院（ISEP/IPP））；Research Group on Intelligent Engineering and Computing for Advanced Innovation and Development (GECAD)（高级创新与发展智能工程与计算研究组（GECAD））
数字化转型面临巨大的安全挑战。特别是，越来越多的针对物联网（IoT）系统的网络攻击重申了对恶意网络活动的可靠检测的需求。本文对IoT-23数据集的九个恶意软件捕获进行了监督、无监督和强化学习技术的比较分析，同时考虑了二进制和多类分类场景。开发的模型包括支持向量机（SVM），极端梯度提升（XGBoost），轻梯度提升机（LightGBM），隔离森林（iForest），局部离群因子（LOF）和深度强化学习（DRL）模型的基础上的双深度Q-网络（DDQN），适应入侵检测上下文。LightGBM实现了最可靠的性能。尽管如此，iForest显示出良好的异常检测结果，DRL模型证明了采用这种方法来不断改进检测的可能好处。总体而言，所获得的结果表明，所分析的技术非常适合物联网入侵检测。
2022-06-01 cs.AI cs.CR cs.LG
Learning to Trigger: Reinforcement Learning at the Large Hadron Collider
University of Chicago（芝加哥大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Fermi National Accelerator Laboratory（费米国家加速器实验室）
针对大型强子对撞机实时触发系统在带宽、延迟和存储约束下的阈值调优问题，提出基于强化学习的在线阈值控制方法，在模拟和真实数据上分别提升48%和56%的容忍时间比例。
2026-06-25 cs.AI cs.LG hep-ex
An Adaptive Multi-Layered Honeynet Architecture for Threat Behavior Analysis via Deep Learning
Georgia Institute of Technology Atlanta, United States of America（佐治亚理工学院亚特兰大分校，美国）
本文提出了一种基于深度学习的自适应多层蜜罐架构，通过强化学习实现威胁行为分析，旨在提高威胁情报质量并降低运营成本。
2025-12-08 cs.CR cs.DC cs.LG
ANSR-DT: A Neuro-Symbolic Framework for Adaptive and Explainable Digital Twins
Department of Information Systems, University of Maryland Baltimore County（信息系统系，马里兰大学巴尔的摩县分校）；Department of Computer Science and Engineering, University at Buffalo（计算机科学与工程系，布法罗大学）；Department of Computer Science, University of Colorado Boulder（计算机科学系，科罗拉多大学波德分校）
提出ANSR-DT框架，结合CNN-LSTM、Prolog推理和PPO强化学习，实现数字孪生的异常检测、符号推理与自适应决策，在多个基准上表现优异。
2026-07-28 cs.AI cs.HC cs.LG
Machine Learning for Intrusion Detection in Industrial Control Systems: Applications, Challenges, and Recommendations
DHA Suffa University（DHA Suffa大学）；Karachi Institute of Economics and Technology（卡拉奇经济技术学院）；DNNae Inc.（DNNae公司）；Singapore University of Technology and Design（新加坡科技设计大学）
来自机器学习的方法正被应用于设计能够抵御网络攻击的工业控制系统。这种方法集中在两个主要领域：使用通过网络数据包获取的信息在网络级检测入侵，以及使用代表系统物理行为的数据在物理过程级检测异常。本综述主要介绍了机器学习中用于入侵和异常检测的四种方法，即监督、半监督、无监督和强化学习。在公共领域的文献进行了仔细的选择，分析，并放置在一个7维空间，便于比较。该调查的对象是研究人员、学生和从业人员。在使用的方法和研究差距相关联的挑战，并提出建议，以填补空白。
2022-02-24 cs.CR cs.LG
TRACE: Training Reasoning Agents for Causal Exploration with Synthesized Rewards
本文提出TRACE，通过模拟器注入干预生成合成奖励，将模糊的诊断推理转化为可扩展强化学习任务，在数字广告诊断中超越强基线。
2026-09-10 cs.AI cs.LG
Reinforcement Neighborhood Selection for Unsupervised Graph Anomaly Detection
Zhejiang University（浙江大学）；New York University Shanghai（上海纽约大学）；The Hong Kong Polytechnic University（香港理工大学）
针对无监督图异常检测中异常污染邻域的问题，本文提出RAND，通过强化学习选择可靠邻居并进行异常感知聚合，在合成与真实数据集上优于现有方法。
2023-12-09 cs.AI cs.LG
Q-MIND: Defeating Stealthy DoS Attacks in SDN with a Machine-learning based Defense Framework
Technische Universität Chemnitz（开姆尼茨工业大学）；Hanoi University of Science and Technology（河内理工大学）
软件定义网络（SDN）支持灵活且可扩展的网络控制和管理。但是，它也引入了可被攻击者利用的新漏洞。特别是，低速率和缓慢或隐蔽的拒绝服务（DoS）攻击最近吸引了研究人员的注意，因为他们的检测挑战。在本文中，我们提出了一种新的机器学习为基础的防御框架命名为Q-MIND，有效地检测和减轻基于SDN的网络中的隐形拒绝服务攻击。首先分析了隐蔽拒绝服务攻击的攻击模型、基于SDN的网络中的相关漏洞以及隐蔽拒绝服务攻击的关键特征。接下来，我们描述和分析了一个异常检测系统，该系统使用基于Q学习的强化学习方法，以最大限度地提高其检测性能。最后，我们概述了完整的Q-MIND防御框架，该框架结合了来自Q-Learning代理的最佳策略，可以有效地击败基于SDN的网络中的隐形DoS攻击。Q-MIND框架和现有方法的广泛比较表明，Q-MIND在攻击检测和缓解性能方面取得了显着改善。
2019-09-03 cs.CR cs.LG cs.NI
LogLLaMA: Transformer-based log anomaly detection with LLaMA
University of California, Irvine（加州大学欧文分校）
本研究提出基于LLaMA2的日志异常检测框架LogLLaMA，先在三个大规模正常日志数据集微调实现日志生成，再经强化学习训练识别异常，在多个基准数据集上性能超越现有最优方法。
2025-03-19 cs.CL cs.LG
Risk and Anomaly Identification for Distribution Network Optimal Operation Based on Reinforcement Learning and Uncertainty Quantification
College of Automation Engineering, Nanjing University of Aeronautics and Astronautics（南京航空航天大学自动化工程学院）
针对配电网优化运行的联合风险与异常识别问题，提出显式感知不确定性的深度强化学习框架，分解不确定性为两类以分别表征风险与异常，仿真验证了方法的性能与有效性。
2026-09-04 cs.LG cs.MA cs.SY
OOD-RL-Bench: A Benchmark Framework for Out-of-Distribution Detection in Reinforcement Learning
Deakin University（迪肯大学）；Federation University Australia（澳大利亚联邦大学）
该研究针对强化学习中分布外检测问题，提出OOD-RL-Bench框架，通过共享接口集成检测器与异常注入器，在LunarLander-v3环境评估其效用，揭示不同异常类型性能差异，还公开相关成果以便重现。
2026-07-15 cs.AI cs.LG
LogGPT: Log Anomaly Detection via GPT
Utah State University（犹他州立大学）；Nokia Bell Labs（诺基亚贝尔实验室）
针对语言建模目标与日志异常检测不直接匹配的问题，本文提出 LogGPT 框架，利用 GPT 预测下一条日志，并通过强化学习微调以提升异常检测性能。
2023-12-11 cs.LG
ASTRO: Adaptive Spatio-Temporal Reinforcement Optimization for GNN Powered Anomly Detection in Cyber Physical Systems
Department of Computer Science, FAST NUCES（计算机科学系，FAST NUCES）；Department of Information Technology, Riphah International University（信息技术系，Riphah国际大学）
提出ASTRO框架，结合深度Q网络与图神经网络、时间建模和多头注意力机制，通过强化学习动态优化阈值，在SWaT和WADI数据集上实现高F1分数，优于现有方法。
2026-05-24 cs.AI cs.LG
Smart Anomaly Detection in Sensor Systems: A Multi-Perspective Review
异常检测涉及识别明显偏离预期行为的数据模式。这是一个重要的研究问题，由于其广泛的应用领域，从数据分析到电子健康，网络安全，预测性维护，故障预防和工业自动化。在此，我们回顾了可用于检测传感器系统的特定区域中的异常的最先进的方法，这些方法在信息融合、数据量、数据速度和网络/能源效率方面提出了严峻的挑战，但这些都是最紧迫的挑战。在这种情况下，异常检测是一个特别困难的问题，因为需要在受约束的环境中找到计算能量精度的权衡。我们分类的方法，从传统的技术（统计方法，时间序列分析，信号处理等）到数据驱动技术（监督学习、强化学习、深度学习等）。我们还研究了不同架构环境（云、雾、边缘）对传感器生态系统的影响。该评论指出了最有前途的智能传感方法，并指出了一系列有趣的开放问题和挑战。
2020-10-31 cs.LG
DeepADMR: A Deep Learning based Anomaly Detection for MANET Routing
Episys Science Inc（Episys科学公司）；The Boeing Company（波音公司）
我们开发了DeepADMR，这是一种新的神经异常检测器，用于基于深度强化学习（DRL）的DeepCQ+ MANET路由策略。基于DRL的算法（如DeepCQ+）的性能仅在经过训练和测试的环境中得到验证，因此它们在战术领域的部署会带来高风险。DeepADMR基于时间差误差（TD误差）实时监控DeepCQ+策略的意外行为，并使用经验和非参数累积和统计来检测异常情况。通过多代理权重共享近端策略优化（PPO）的DeepCQ+设计略有修改，以实现TD错误的实时估计。我们报告了DeepADMR在信道中断，高移动性水平和超出训练环境的网络规模的情况下的性能，这表明了它的有效性。
2023-01-24 cs.LG cs.NI
