DocHRL: A Hierarchical Reinforcement Learning Framework for Cost-Optimised Document Classification
研究针对文档分类中资源利用低效问题，提出分层强化学习框架DocHRL，将其作为顺序决策问题，以负总预期成本为奖励信号，经近端策略优化训练，在提升分类性能同时降低文档处理成本。
2026-07-28 cs.AI cs.CV cs.LG
Image Captioning based on Deep Reinforcement Learning
Chinese Academy of Sciences（中国科学院）
最近已经表明，用于强化学习的策略梯度方法已被用于对自然语言处理任务进行深度端到端系统的训练。此外，由于图像内容理解的复杂性和自然语言描述图像内容的多样性，图像描述成为一个具有挑战性的问题。据我们所知，大多数最先进的方法都遵循序列模型的模式，例如递归神经网络（RNN）。然而，在本文中，我们提出了一种新的图像字幕架构，采用深度强化学习来优化图像描述任务。我们利用两个网络称为“政策网络”和“价值网络”，以协同生成图像的字幕。在Microsoft COCO数据集上进行了实验，实验结果验证了该方法的有效性。
2018-09-13 cs.CV cs.LG
Deep Reinforcement Learning for Imbalanced Classification
South China University of Technology（华南理工大学）
实际应用中的数据往往呈现出倾斜的类分布，这对机器学习提出了严峻的挑战。传统的分类算法在数据分布不平衡的情况下是无效的，并且当数据分布高度不平衡时可能失败。为了解决这个问题，我们提出了一种基于深度强化学习的通用不平衡分类模型。我们将分类问题描述为一个顺序决策过程，并通过深度Q学习网络解决它。代理在每个时间步对一个样本执行分类操作，环境评估分类操作并向代理返回奖励。来自少数类样本的奖励更大，因此代理对少数类更敏感。在特定的奖励函数和有利的学习环境的指导下，智能体最终在不平衡数据中找到最优分类策略。实验结果表明，该模型的分类性能优于其他不平衡分类算法，能够识别出更多的少数样本，具有良好的分类性能。
2019-01-05 cs.AI cs.LG stat.ML
Enhancing Classification Performance via Reinforcement Learning for Feature Selection
本研究针对分类模型性能提升问题，采用Q-learning、SARSA两种强化学习算法进行特征选择，在BCCDS数据集结合三种归一化方法测试，最高准确率达88%，验证了强化学习特征选择的有效性。
2024-03-09 cs.LG
Multi-Agent Image Classification via Reinforcement Learning
Lehigh University（理海大学）
本文研究了利用多个能够收集未知环境部分姿态依赖观测的移动智能体进行图像分类的问题，提出了一种网络架构，用于指导智能体形成局部信念、采取局部行动并从原始部分观测中提取相关特征，通过与邻居智能体交换信息更新自身信念，并利用强化学习技术实现分类问题的去中心化实现。
2019-08-06 cs.CV cs.LG cs.MA
Reinforcement Learning in Medical Image Analysis: Concepts, Applications, Challenges, and Future Directions
Emory University（埃默里大学）；Winship Cancer Institute（温希普癌症研究所）；School of Medicine, Emory University（埃默里大学医学院）
动机：医学图像分析涉及协助医生对病变或解剖结构进行定性和定量分析的任务，显著提高诊断和预后的准确性和可靠性。传统上，这些任务由医生或医学物理学家完成，并导致两个主要问题：（i）效率低;（ii）受个人经验的影响。在过去的十年中，许多机器学习方法已被应用于加速和自动化图像分析过程。与监督和无监督学习模型的大量部署相比，在医学图像分析中使用强化学习的尝试很少。这篇综述文章可以作为相关研究的垫脚石。重要性：从我们的观察来看，尽管强化学习近年来逐渐获得了发展势头，但许多医学分析领域的研究人员发现很难理解并在临床上部署。原因之一是缺乏针对缺乏专业计算机科学背景的读者的组织良好的评论文章。本文不是提供医学图像分析中所有强化学习模型的全面列表，而是帮助读者学习如何将医学图像分析研究作为强化学习问题来制定和解决。方法和结果：我们选择了来自Google Scholar和PubMed的已发表文章。考虑到相关文章的稀缺性，我们还包括一些优秀的最新预印本。这些论文被仔细审查，并根据图像分析任务的类型进行分类。我们首先回顾了强化学习的基本概念和流行模型。然后，我们探讨了强化学习模型在地标检测中的应用。最后，我们通过讨论所回顾的强化学习方法的局限性和可能的改进来结束本文。
2022-06-28 cs.CV cs.LG
Reinforcement Learning Approach to Active Learning for Image Classification
Stiftung Universität Hildesheim（希尔德斯海姆大学基金会）
机器学习需要大量的标记数据来拟合模型。许多数据集已经是公开可用的，然而迫使机器学习的应用可能性到这些公共数据集的领域。机器学习算法在新的应用领域中不断增长的渗透需要解决方案来满足这些新领域中的数据需求。本文将主动学习作为一种可能的解决方案，通过只处理那些特别有利于训练任务的强模型的数据点，来减少需要手工处理的数据量。一个新提出的框架框架的主动学习工作流作为一个强化学习的问题，适用于图像分类和一系列的三个实验进行。每个实验进行了评估，并概述了该方法的潜在问题。接下来的每个实验都对框架提出了改进建议，并评估了它们的影响。在最后一个实验之后，得出了最终结论，不幸的是，拒绝了这项工作的假设，并概述了目前提出的框架不能够用经过训练的强化学习代理来改进图像分类的主动学习。
2021-08-12 cs.LG
Efficient Symptom Inquiring and Diagnosis via Adaptive Alignment of Reinforcement Learning and Classification
Tsinghua University（清华大学）
医学自动诊断的目标是模仿人类医生在现实世界中的诊断过程，并通过与患者的交互来实现准确的诊断。该任务被制定为一系列的症状查询步骤和最终诊断的顺序决策问题。最近的研究已经分别研究了将强化学习用于症状查询和分类技术用于疾病诊断。然而，如何有效地将这两种程序结合起来的研究仍然缺乏。为了解决这个问题，我们设计了一个自适应机制，以调整强化学习和分类方法使用分布熵作为媒介。此外，我们创建了一个新的患者模拟数据集，以解决缺乏大规模评估基准的问题。该数据集是从MedlinePlus知识库中提取的，与现有数据集相比，包含了更多的疾病和更全面的症状和检查信息。实验结果表明，该方法在不同数据集上的性能优于目前三种最先进的方法，可以以更少的查询次数获得更高的医疗诊断准确率。
2022-06-05 cs.AI cs.LG
PixelRL: Fully Convolutional Network with Reinforcement Learning for Image Processing
Tokyo University of Science（东京理科大学）；The University of Tokyo（东京大学）
本文解决了一个新的问题设置：强化学习与逐像素奖励（pixelRL）的图像处理。在引入深度Q网络之后，深度RL取得了巨大的成功。然而，深度强化学习（RL）在图像处理中的应用仍然有限。因此，我们将深度RL扩展到pixelRL，用于各种图像处理应用。在pixelRL中，每个像素都有一个agent，agent通过采取行动来改变像素值。我们还提出了一种有效的pixelRL学习方法，通过不仅考虑自己像素的未来状态，还考虑相邻像素的未来状态，显着提高了性能。所提出的方法可以应用于一些图像处理任务，需要逐像素的操作，深度RL从未被应用。此外，可以可视化在每次迭代时对每个像素采用什么样的操作，这将有助于我们理解为什么以及如何选择这样的操作。我们还相信，我们的技术可以增强深层神经网络的可解释性和可解释性。此外，由于在每个像素处执行的操作是可视化的，因此我们可以在必要时更改或修改操作。我们将所提出的方法应用于各种图像处理任务：图像去噪，图像复原，局部颜色增强和显着性驱动的图像编辑。我们的实验结果表明，所提出的方法达到了相当或更好的性能，与国家的最先进的方法相比，基于监督学习。源代码可在https://github.com/rfuruta/pixelRL上获得。
2019-12-16 cs.CV cs.LG eess.IV
Classification with Costly Features using Deep Reinforcement Learning
Czech Technical University in Prague（捷克技术大学）
我们研究的分类问题，每个功能可以获得的成本和目标是优化预期的分类错误和功能成本之间的权衡。我们重新审视了以前的方法，该方法将问题框定为顺序决策问题，并通过线性近似的Q学习来解决它，其中个人行为要么是对特征值的请求，要么通过提供分类决策来终止事件。在一组八个问题，我们证明，通过取代线性近似与神经网络的方法变得可比的国家的最先进的算法专门为这个问题。该方法是灵活的，因为它可以用任何新的强化学习增强来改进，它允许包括预先训练的高性能分类器，并且与现有技术不同，它的性能在所有评估的数据集上都是鲁棒的。
2018-11-12 cs.AI cs.LG stat.ML
MedSelect: Selective Labeling for Medical Image Classification Combining Meta-Learning with Deep Reinforcement Learning
Stanford University（斯坦福大学）；Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）
我们提出了一种选择性学习方法，使用元学习和深度强化学习的医学图像判读在有限的标签资源的设置。我们的方法MedSelect由一个可训练的深度学习选择器和一个非参数选择器组成，前者使用从对比预训练中获得的图像嵌入来确定要标记哪些图像，后者使用余弦相似性来对未见过的图像进行分类。我们证明，MedSelect学习一个有效的选择策略优于基线选择策略，在可见和不可见的医疗条件下进行胸部X射线解释。我们还对MedSelect进行的选择进行了分析，比较了潜在嵌入和临床特征的分布，并发现与最强基线相比存在显著差异。我们相信，我们的方法可以广泛适用于医疗成像设置中的标签是昂贵的收购。
2021-03-26 cs.AI cs.CV cs.LG
Reinforcement Learning for Relation Classification from Noisy Data
Microsoft Research Asia（微软亚洲研究院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Tsinghua University（清华大学）
现有的依赖于远程监督的关系分类方法假设一袋提到实体对的句子都描述了实体对的关系。这样的方法，在袋级执行分类，不能识别关系和句子之间的映射，并在很大程度上遭受噪声标记问题。在本文中，我们提出了一种新的模型，用于从有噪数据中进行句子级别的关系分类。该模型有两个模块：实例选择器和关系分类器。实例选择器通过强化学习选择出高质量的句子，并将选择出的句子输入到关系分类器中，关系分类器进行句子级别预测并向实例选择器提供奖励。这两个模块联合训练，以优化实例选择和关系分类过程。实验结果表明，该模型能有效地处理数据中的噪声，在句子层次上取得较好的关系分类性能。
2018-08-24 cs.IR cs.LG stat.ML
Robustness and Visual Explanation for Black Box Image, Video, and ECG Signal Classification with Reinforcement Learning
Hewlett Packard Enterprise（慧与公司）
提出一种通用强化学习框架，通过最小畸变制作对抗攻击并生成定位掩码，在图像、视频和ECG信号分类中优于现有方法，提升了模型的鲁棒性与可解释性。
2024-04-22 cs.AI cs.CR cs.CV
Unsupervised Reinforcement Adaptation for Class-Imbalanced Text Classification
University of Memphis（孟菲斯大学）
不同领域的模型在训练和测试时，自然存在着类的不平衡。无监督领域自适应（UDA）增强了模型的性能，只有来自源域的可访问注释和来自目标域的未标记数据。然而，现有的最先进的UDA模型学习域不变表示，并主要评估跨域的类平衡数据。在这项工作中，我们提出了一种无监督的领域自适应方法，通过强化学习，联合利用跨域的特征变量和不平衡的标签。我们实验了文本分类任务，其易于访问的数据集，并比较所提出的方法与五个基线。在三个数据集上的实验证明，我们提出的方法可以有效地学习鲁棒的域不变表示，并成功地适应文本分类器的不平衡类域。该代码可在https://github.com/woqingdoua/ImbalanceClass上获得。
2022-05-26 cs.CL cs.LG
Noise Pollution in Hospital Readmission Prediction: Long Document Classification with Reinforcement Learning
Emory University（埃默里大学）
本文提出了一种强化学习方法来提取长临床文档中的噪声，用于肾移植后再入院预测的任务。我们面临着在小数据集上开发鲁棒模型的挑战，其中每个文档可能由超过10K的令牌组成，充满了噪音，包括表格文本和与任务无关的句子。我们首先实验了四种类型的编码器来凭经验决定最佳的文档表示，然后应用强化学习从长文档中去除噪声文本，将噪声提取过程建模为顺序决策问题。我们的研究结果表明，旧的词袋编码器在这项任务上优于基于深度学习的编码器，而强化学习能够在基线上进行改进，同时修剪掉25%的文本片段。我们的分析表明，强化学习能够识别典型的噪声令牌和特定于任务的噪声文本。
2020-05-23 cs.CL cs.LG
Image Augmentation Is All You Need: Regularizing Deep Reinforcement Learning from Pixels
New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
我们提出了一种简单的数据增强技术，可以应用于标准的无模型强化学习算法，使强大的学习直接从像素，而不需要辅助损失或预训练。该方法利用计算机视觉任务中常用的输入扰动来正则化价值函数。现有的无模型方法，如Soft Actor-Critic（SAC），无法从图像像素有效地训练深度网络。然而，我们的增强方法的加入大大提高了SAC的性能，使其在DeepMind控制套件上达到最先进的性能，超过了基于模型的方法（Dreamer，PlaNet和SLAC）和最近提出的对比学习（CURL）。我们的方法可以与任何无模型强化学习算法相结合，只需要很小的修改。可以在https://sites.google.com/view/data-regularized-q找到实现。
2021-03-07 cs.CV cs.LG eess.IV
Balancing the Scales: Reinforcement Learning for Fair Classification
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Utrecht University（乌得勒支大学）
针对分类任务的公平性问题，本文提出利用强化学习，通过缩放奖励函数并适配三种RL算法至上下文多臂老虎机框架，来缓解不平衡分类中的偏差。
2024-07-15 cs.CL cs.CY cs.LG
Scope Loss for Imbalanced Classification and RL Exploration
RBC CM（加拿大皇家银行资本市场）；University of Toronto（多伦多大学）
本文提出Scope Loss，通过揭示强化学习探索-利用权衡与监督分类数据不平衡的等价性，以梯度调整方式同时缓解过度利用和类别不平衡问题，无需调参，并在强化学习基准和偏斜分类数据集上验证其优于现有损失函数。
2023-08-08 cs.AI cs.LG
Reinforcement Learning Based Handwritten Digit Recognition with Two-State Q-Learning
University of Kashmir（克什米尔大学）
我们提出了一个简单而有效的基于深度学习和强化学习的混合分类器。Q-Learning使用两个Q-state和四个action。传统技术使用从卷积神经网络（CNN）提取的特征图，并将它们与过去的历史一起包括在Q状态中。这导致了这些方法的困难，因为由于特征图的高维数，状态的数量非常大。由于我们的方法仅使用两个Q状态，因此它很简单，需要优化的参数数量少得多，因此具有简单的奖励函数。此外，该方法相对于其他当代技术使用未探索的动作进行图像处理。三个数据集已被用于基准的方法。它们是MNIST数字图像数据集、USPS数字图像数据集和MATLAB数字图像数据集。所提出的混合分类器的性能进行了比较，与其他当代技术，如一个完善的强化学习技术，AlexNet，CNN最近邻分类器和CNN支持向量机分类器。我们的方法在所有三个数据集上都优于这些当代混合分类器。
2020-08-10 cs.CV cs.LG eess.IV
Partial Policy-based Reinforcement Learning for Anatomical Landmark Localization in 3D Medical Images
Hankuk University of Foreign Studies
强化学习部署长期累积回报的思想，在各个领域都表现出了显著的表现。我们提出了一个制定的地标定位在三维医学图像作为一个强化学习问题。而基于值的方法已被广泛用于解决类似的问题，我们采用了一个基于行动者-评论家的直接策略搜索方法的时间差异学习方法的框架。成功的行为学习在大的状态和/或动作空间中具有挑战性，需要多次尝试。我们引入了基于部分策略的强化学习，通过在较小的部分域上学习最优策略来解决大型本地化问题。独立的参与者有效地学习相应的部分策略，每个参与者都利用自己的独立评论家。建议的政策重建部分政策，确保了一个强大的和有效的本地化利用子代理解决简单的二元决策问题，在其相应的部分行动空间。提出的强化学习与原始的行为学习方案相比，需要少量的试验来学习最优行为。
2018-12-31 cs.CV cs.LG
Reinforcement Learning Algorithms: An Overview and Classification
Western University（韦仕敦大学）
使应用程序和机器更加智能的愿望以及在没有人类交互的情况下实现其操作的愿望一直在推动神经网络，深度学习和其他机器学习技术的创新。虽然强化学习主要用于视频游戏，但最近的进步和各种强大强化算法的发展使强化学习社区能够从玩视频游戏转向解决自动驾驶汽车，无人机和自动机器人等自动系统中的复杂现实问题。了解应用程序的环境和算法的局限性对于选择适当的强化学习算法以有效的方式成功解决手头的问题起着至关重要的作用。因此，在这项研究中，我们确定了三种主要的环境类型，并根据这些环境类型对强化学习算法进行分类。此外，在每个类别中，我们确定算法之间的关系。每个算法的概述提供了对算法基础的深入了解，并回顾了算法之间的相似性和差异。这项研究提供了一个视角，并帮助从业者和研究人员为他们的用例选择合适的算法。
2022-09-29 cs.AI cs.LG
ClaHF: A Human Feedback-inspired Reinforcement Learning Framework for Improving Classification Tasks
School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院）
本文提出ClaHF，一种基于人类反馈的强化学习框架，用于改进文本分类任务，通过整合偏好建模和强化学习优化，无需额外人工标注，在分类流程中提升分类性能和置信度校准。
2026-05-17 cs.LG
A Layered Architecture for Active Perception: Image Classification using Deep Reinforcement Learning
Lehigh University（理海大学）
为了解决图像分类问题，我们提出了一种机器人（代理）的规划和感知机制，它只能部分地观察底层环境。一个三层架构的建议，包括一个元层，决定中间目标，一个行动层，选择本地行动的代理导航到一个目标，和一个分类层，评估奖励，并作出预测。我们使用深度强化学习来设计和实现这些层。一个广义的策略梯度算法被用来学习这些层的参数，以最大化期望的回报。我们提出的方法进行测试的MNIST数据集的手写数字，这为我们提供了一个层次的解释，同时解释代理的中间目标和行动过程。
2019-09-20 cs.AI cs.LG cs.RO
Reinforcement Based Learning on Classification Task Could Yield Better Generalization and Adversarial Accuracy
IIT Kanpur（印度理工学院坎普尔分校）
深度学习在计算机视觉中变得非常流行，在各种视觉任务中大多达到接近或超过人类水平的性能。但最近的研究也表明，这些深度神经网络非常容易受到对抗性示例的影响（对抗性示例--模型的输入与原始数据自然相似，但在将其分类为错误的类别时会愚弄模型）。人类对这种扰动非常强大;一个可能的原因可能是人类不会根据“目标标签”和“预测标签”之间的错误来学习分类，但可能是由于他们在预测中得到的强化。在这项工作中，我们提出了一种新的方法来对图像分类任务进行训练深度学习模型。我们使用了一个基于奖励的优化函数，类似于强化学习中使用的香草策略梯度方法，来训练我们的模型，而不是传统的交叉熵损失。对cifar 10数据集的实证评估表明，我们的方法比使用交叉熵损失函数（对抗训练）训练的相同模型架构学习更鲁棒的分类器。同时，我们的方法显示出更好的推广与测试精度和训练精度$< 2\%$的差异，在大多数时间相比，交叉熵，其差异的大部分时间保持$> 2\%$。
2020-12-08 cs.CV cs.LG cs.NE
Top K Enhanced Reinforcement Learning Attacks on Heterogeneous Graph Node Classification
School of Electrical and Electronic Engineering（电子与电气工程学院）；Nanyang Technological University（南洋理工大学）；Singapore Institute of Manufacturing Technology (SIMTech)（新加坡制造技术研究所）
本文提出HeteroKRLAttack，一种结合强化学习与Top-K算法的异构图黑盒逃逸攻击方法，通过缩减动作空间高效破坏节点分类，并在多个数据集上验证了其攻击有效性。
2025-09-18 cs.AI cs.LG
Multibit Tries Packet Classification with Deep Reinforcement Learning
Southern Illinois University（南伊利诺伊大学）
高性能数据包分类是支持防火墙、入侵检测和区分服务等可扩展网络应用的关键组件。随着核心网线路速率的不断提高，如何设计一个可扩展的、高性能的分组分类方案成为一个巨大的挑战。在本文中，我们提出了一个可扩展的基于学习的数据包分类引擎和它的性能评估。该算法利用规则集的稀疏性，使用少量的有效位（EB），以较少的内存访问量提取大量的候选规则。这些有效位是通过深度强化学习学习的，它们被用来创建位图，以过滤掉大多数不需要完全匹配的规则，以提高在线系统的性能。此外，我们的基于EBs学习的选择方法是独立的规则集，它可以应用于不同的规则集。我们的多位尝试分类引擎优于查找时间在最坏和平均情况下的55%，减少内存占用，相比传统的决策树没有EB。
2022-05-17 cs.LG cs.NI cs.PF
Reinforcement Learning for Neural Model Editing
Shaivi Malik
提出将神经模型编辑形式化为强化学习问题，通过奖励反馈学习编辑策略，在偏见缓解和机器遗忘任务上取得良好效果。
2026-06-12 cs.CV cs.LG
Visual Pre-Training on Unlabeled Images using Reinforcement Learning
该研究将无标注图像视觉预训练建模为强化学习问题，通过智能体变换图像训练价值函数，可借助奖励函数利用精选图像或弱标注字幕优化特征学习，在多类真实无标注数据上实现了更好的图像表征。
2025-06-13 cs.CV cs.LG
Improving Post-Processing of Audio Event Detectors Using Reinforcement Learning
National and Kapodistrian University of Athens（雅典国立卡波迪斯特里安大学）；University of Piraeus（比雷埃夫斯大学）
我们将后处理应用于音频事件分类模型的类概率分布输出，并采用强化学习来联合发现后处理堆栈各个阶段的最佳参数，例如用于平滑模型预测的分类阈值和中值滤波算法的内核大小。为了实现这一点，我们定义了一个强化学习环境，其中：1）状态是由模型为给定音频样本提供的类概率分布，2）动作是为后处理堆栈的每个参数选择候选最佳值，3）奖励基于我们旨在优化的分类准确度度量，在我们的情况下是基于音频事件的宏F1分数。我们将我们的后处理应用于提交给DCASE Task 4 2020挑战的两个音频事件分类模型的类概率分布输出。我们发现，通过使用强化学习来发现应用于音频事件分类模型输出的后处理堆栈的最佳每类参数，与使用具有手动调整参数的相同后处理堆栈相比，我们可以将基于音频事件的宏F1分数（DCASE挑战中用于比较音频事件分类准确性的主要指标）提高4-5%。
2022-08-19 cs.LG cs.SD eess.AS
S2P: State-conditioned Image Synthesis for Data Augmentation in Offline Reinforcement Learning
Seoul National University（首尔国立大学）
离线强化学习（Offline RL）由于无法在训练过程中与物理环境交互，因此会受到先天分布偏移的影响。为了缓解这种限制，基于状态的离线RL利用从记录的经验中学习的动态模型，并增强预测的状态转换以扩展数据分布。为了在基于图像的RL上利用这种好处，我们首先提出了一个生成模型S2P（State2Pixel），它从代理的相应状态合成代理的原始像素。它能够弥合RL算法中状态和图像域之间的差距，并通过状态空间中基于模型的转换来虚拟地探索不可见的图像分布。通过实验，我们证实了我们的基于S2P的图像合成不仅提高了基于图像的离线RL性能，而且在看不见的任务上显示出强大的泛化能力。
2022-09-30 cs.CV cs.LG cs.RO
Balancing Classification and Calibration Performance in Decision-Making LLMs via Calibration Aware Reinforcement Learning
University of Southern California（南加州大学）；AWS AI Labs（AWS AI实验室）
本文提出一种校准感知强化学习方法，通过调整决策标记概率，在保持准确性的同时减少过度自信，提升决策LLM的校准性能。
2026-01-19 cs.LG
Uncertainty-Based Out-of-Distribution Classification in Deep Reinforcement Learning
LMU Munich（慕尼黑大学）；MaibornWolff
对分布外（OOD）数据的鲁棒性是构建可靠的机器学习系统的重要目标。特别是在自治系统中，OOD输入的错误预测可能导致安全关键情况。作为解决方案的第一步，我们考虑在基于值的深度强化学习（RL）设置中检测此类数据的问题。建模这个问题作为一类分类问题，我们提出了一个框架，基于不确定性的OOD分类：UBOOD。它是基于这样的效果，即代理的认知不确定性在训练期间遇到的情况（分布）减少，因此低于未遇到的情况（OOD）。由于对用于估计认知不确定性的方法不可知，因此可以组合不同的不确定性估计方法，例如近似贝叶斯推理方法或集成技术。我们进一步提出了第一个可行的解决方案，用于计算动态分类阈值，基于训练数据的不确定性分布。评估表明，该框架产生可靠的分类结果时，结合基于集合的估计，而与具体的辍学为基础的估计相结合，无法可靠地检测OOD的情况。总之，UBOOD提出了一种可行的方法，OOD分类在深度RL设置利用认知的不确定性代理的价值函数。
2019-12-31 cs.AI cs.LG stat.ML
Improved Reinforcement Learning through Imitation Learning Pretraining Towards Image-based Autonomous Driving
Korea Advanced Institute of Science and Technology（韩国科学技术院）
我们为自动驾驶任务提供了一个训练管道，给定当前相机图像和车辆速度作为输入，以产生油门，刹车和转向控制输出。模拟器Airsim方便的天气和照明API在训练过程中提供了足够的多样性，这对提高训练策略的鲁棒性非常有帮助。为了不限制可能的策略的性能，我们使用连续的和确定性的控制策略设置。我们使用ResNet-34作为我们的演员和评论家网络，在完全连接的层中有一些轻微的变化。考虑到人类对这项任务的掌握和这项任务的高复杂性，我们首先使用模仿学习来模仿给定的人类策略，并将训练好的策略及其权重利用到我们使用DDPG的强化学习阶段。与纯模仿学习和纯DDPG相比，这种组合在自动驾驶任务中表现出相当大的性能提升。
2019-07-16 cs.AI cs.CV cs.LG
Synthetic Sample Selection via Reinforcement Learning
College of Information Sciences and Technology, The Pennsylvania State University（宾夕法尼亚州立大学信息科学与技术学院）；National Library of Medicine, National Institutes of Health（美国国立卫生研究院国家医学图书馆）；College of Medicine, The Pennsylvania State University（宾夕法尼亚州立大学医学院）
合成逼真的医学图像为解决基于深度学习的医学图像识别系统中训练数据不足的问题提供了一种可行的解决方案。然而，用于数据增强目的的合成图像的质量控制研究不足，并且一些生成的图像不真实，并且可能包含误导性特征，这些特征在与真实图像混合时使数据分布失真。因此，当这些合成图像在没有质量保证的情况下被随机添加时，这些合成图像在医学图像识别系统中的有效性不能得到保证。在这项工作中，我们提出了一个基于强化学习（RL）的合成样本选择方法，学习选择包含可靠和信息丰富的特征的合成图像。使用验证分类准确性作为奖励，通过近端策略优化（PPO）来训练基于Transformer的控制器。将所选择的图像与原始训练数据混合，以改进图像识别系统的训练。为了验证我们的方法，我们以病理图像识别为例，并进行了广泛的实验上的两个组织病理学图像数据集。在宫颈数据集和淋巴结数据集上的实验中，当利用我们的RL框架选择的高质量合成图像时，图像分类性能分别提高了8.1%和2.3%。我们提出的综合样本选择方法是通用的，有很大的潜力，以提高各种医学图像识别系统的性能有限的注释。
2020-08-26 cs.CV cs.LG
Harnessing Image Question Dependence for Better VLM Test-time Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对VLM测试时强化学习中共识信号不可靠的问题，提出TTIQ框架，利用图像与问题的依赖性构建奖励，在多个VQA数据集上取得最优平均性能。
2026-09-15 cs.CV cs.LG
Multiple Instance Reinforcement Learning for Efficient Weakly-Supervised Detection in Images
Institute of Mathematics of the Romanian Academy of Science（罗马尼亚科学院数学研究所）；University of Toronto（多伦多大学）；Lund University（隆德大学）
最先进的视觉识别和检测系统越来越依赖于大量的训练数据和复杂的分类器。因此，手动注释数据集和将运行时间保持在实际应用可接受的水平上变得越来越昂贵。在本文中，我们提出了两个解决方案来解决这些问题。首先，我们引入了一种弱监督的，基于分割的方法来学习准确的检测器和图像分类器从弱监督信号，只提供近似的约束目标定位。我们使用人类视觉搜索模式作为我们的训练信号，说明了我们的系统在静态图像中的动作检测问题（Pascal VOC Actions 2012）。其次，从人类视觉系统的扫视和注视操作原理的启发，我们使用强化学习技术来训练有效的搜索模型进行检测。我们的顺序方法是弱监督和一般的（它不需要眼球运动），找到最佳的搜索策略为任何给定的检测置信度函数，并实现性能类似于穷举滑动窗口搜索的一小部分，其计算成本。
2014-11-29 cs.CV cs.LG
Improving Document Image Understanding with Reinforcement Finetuning
Cinnamon AI（肉桂人工智能公司）；Hung Yen University of Technology and Education（兴安技术教育大学）；Deakin University（迪肯大学）
成功的人工智能系统通常需要大量的标记数据来从文档图像中提取信息。在本文中，我们调查的问题，提高性能的人工智能系统在理解文档图像，特别是在训练数据是有限的情况下。我们提出了一种新的微调方法，使用强化学习解决这个问题。我们的方法将信息抽取模型视为一个策略网络，并使用策略梯度训练来更新模型，以最大化补充传统交叉熵损失的组合奖励函数。我们在四个数据集上使用标签和专家反馈的实验表明，我们的微调机制始终提高了最先进的信息提取器的性能，特别是在小训练数据制度。
2022-09-26 cs.CV cs.IR cs.LG
Reinforcement Learning for Improving Object Detection
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
经过训练的目标检测神经网络的性能在很大程度上取决于图像质量。通常，在将图像馈送到神经网络之前对图像进行预处理，并且使用关于图像数据集的领域知识来选择预处理技术。在本文中，我们引入了一种称为ObjectRL的算法来选择要应用的特定预处理量，以提高预训练网络的目标检测性能。ObjectRL的主要动机是，人眼看起来很好的图像可能不一定是预训练对象检测器检测对象的最佳图像。
2020-08-18 cs.CV cs.LG
Reinforcement Learning with Generative Models for Compact Support Sets
University of Alberta（阿尔伯塔大学）
提出利用强化学习控制基础模型生成紧凑合成支持集的框架，通过优化提示与奖励反馈机制，在无额外标注成本下显著提升小样本分类准确率。
2024-04-25 cs.CV cs.LG
Improving Reinforcement Learning Based Image Captioning with Natural Language Prior
Tencent（腾讯）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
最近，强化学习（RL）方法已经通过直接优化用于测试的度量在图像描述中展示了先进的性能。然而，这种形状的奖励引入了学习偏差，这降低了生成文本的可读性。此外，大样本空间使得训练不稳定且缓慢。为了缓解这些问题，我们提出了一个简单的连贯的解决方案，使用n-gram语言先验约束动作空间。对基准测试的定量和定性评估表明，具有简单附加模块的RL在可读性和收敛速度方面都优于其对应物。人类的评价结果表明，我们的模型是更人性化的可读性和优雅。在该文件被接受后，该实现将公开提供。
2018-09-13 cs.CV cs.LG stat.ML
Adaptable image quality assessment using meta-reinforcement learning of task amenability
University College London（伦敦大学学院）；InstaDeep；University College Hospital NHS Foundation Trust（伦敦大学学院医院NHS基金会信托）；Stanford School of Medicine（斯坦福医学院）
许多医学图像分析任务的性能与图像数据质量密切相关。在开发现代深度学习算法时，任务顺应性可能会提供特定于任务的图像质量的客观度量，而不是依赖于主观（基于人类的）图像质量评估（IQA）。为了预测任务可服从性，使用具有同时优化的任务预测器（诸如分类或分割神经网络）的强化学习（RL）来训练IQA代理。在这项工作中，我们开发了迁移学习或适应策略，以提高IQA代理和任务预测器的适应性，使它们更少地依赖于高质量的专家标记的训练数据。提出的迁移学习策略重新制定了原来的强化学习问题的任务顺从性的Meta强化学习（元RL）框架。由此产生的算法有利于有效地适应代理的图像质量的不同定义，每个都有自己的马尔可夫决策过程环境，包括不同的图像，标签和自适应的任务预测。我们的工作表明，IQA代理预先训练的非专家任务标签可以适应预测任务的顺从性定义的专家任务标签，只使用一小组的专家标签。使用来自249名前列腺癌患者的6644张临床超声图像，我们的图像分类和分割任务的结果表明，所提出的IQA方法可以使用分别只有19.7%和29.6%专家评审共识标签的数据进行调整，并且仍然可以实现相当的IQA和任务性能，否则需要具有100%专家标签的训练数据集。
2021-07-31 cs.CV cs.LG
RL-LOGO: Deep Reinforcement Learning Localization for Logo Recognition
FA Research, Fast Accounting Co., Ltd.（FA研究，快会计株式会社）
本文提出RL-LOGO，一种基于深度强化学习的标志定位方法，无需位置标注即可识别标志区域，在Logo-2K+数据集上相比现有方法提升18个百分点准确性。
2023-12-28 cs.AI cs.CV cs.LG
Next-Best-View Estimation based on Deep Reinforcement Learning for Active Object Classification
University of Koblenz（科布伦茨大学）；York University（约克大学）
从单个视点呈现和分析图像数据通常不足以解决任务。为了获得更多的信息，需要几个视角。下一个最佳视图问题试图为底层任务找到具有最大信息增益的最佳视角。在这项工作中，一个机器人手臂持有的对象在其末端执行器，并搜索一系列的下一个最佳视图，以明确地识别对象。我们使用Soft Actor-Critic（SAC），一种深度强化学习的方法，来学习这些特定对象集的下一个最佳视图。评估结果表明，代理可以学习，以确定机器人手臂应该移动对象的对象姿势。这导致提供更准确的预测以更好地将这样的对象与其他对象区分开的视点。我们向科学界公开提供代码并确保其可重复性。
2021-10-14 cs.LG cs.RO
DRL-ISP: Multi-Objective Camera ISP with Deep Reinforcement Learning
KAIST（韩国科学技术院）
在本文中，我们提出了一个多目标相机ISP框架，该框架利用深度强化学习（DRL）和相机ISP工具箱，包括基于网络的ISP工具和传统的ISP工具。所提出的基于DRL的相机ISP框架迭代地从工具箱中选择合适的工具并将其应用于图像，以最大化给定的视觉任务特定的奖励函数。为此，我们实现了总共51个ISP工具，包括曝光校正，色彩和色调校正，白平衡，锐化，去噪等。我们还提出了一个有效的DRL网络架构，可以提取图像的各个方面，并使图像和大量的动作之间的刚性映射关系。我们提出的基于DRL的ISP框架有效地提高了图像质量，根据每个视觉任务，如RAW到RGB图像复原，2D目标检测，和单目深度估计。
2022-07-07 cs.AI cs.CV cs.LG
DPOK: Reinforcement Learning for Fine-tuning Text-to-Image Diffusion Models
Google Research（谷歌研究院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；UC Berkeley（加州大学伯克利分校）；Amazon（亚马逊）；KAIST（韩国科学技术院）
本文提出DPOK，将文本到图像扩散模型微调建模为在线强化学习问题，通过带KL正则化的策略梯度最大化人类反馈奖励，并在图文对齐与图像质量上优于监督微调。
2023-11-01 cs.CV cs.LG
Optimal Interpretability-Performance Trade-off of Classification Trees with Black-Box Reinforcement Learning
INRIA（法国国家信息与自动化研究所）
本文提出将决策树学习建模为完全可观测MDP，证明无需部分可观测建模即可通过强化学习实现分类树可解释性与性能的最优权衡，并在多个经典数据集上验证了有效性。
2023-04-11 cs.AI cs.LG
Is Value Functions Estimation with Classification Plug-and-play for Offline Reinforcement Learning?
ETH Zürich（苏黎世联邦理工学院）
本文实证研究了在离线强化学习中用交叉熵分类目标替代均方误差回归的影响，发现该替换对不同算法和任务的效果差异显著，对其实际应用具有重要指导意义。
2024-11-16 cs.AI cs.LG
EmoRL: Continuous Acoustic Emotion Classification using Deep Reinforcement Learning
University of Hamburg（汉堡大学）
声音表达的情感可以使与机器人的交流更有效。检测愤怒等情绪可以为机器人提供指示不安全/不期望情况的线索。最近，已经提出了几种基于深度神经网络的模型，这些模型在情感状态评估中建立了新的最先进的结果。这些模型通常在每个话语结束时开始处理，这不仅需要检测话语结束的机制，而且还使得难以在实时通信场景中使用它们，例如人机交互。我们提出了一种新的情感分类模型，当它在听一个人说话时获得足够的信心时，它就会触发情感分类。因此，我们最大限度地减少了对音频信号进行分段以进行分类的需要，并在音频信号被增量处理时实现了较低的延迟。该方法是一个强大的基线模型的准确性竞争，同时允许更早的预测。
2018-04-03 cs.CL cs.HC cs.LG
Hierarchical Object Detection with Deep Reinforcement Learning
Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心 (BSC)）；Universitat Politècnica de Catalunya (UPC)（加泰罗尼亚理工大学 (UPC)）
我们提出了一种在深度强化学习代理的指导下在图像中执行分层目标检测的方法。关键的想法是关注图像中包含更丰富信息的部分并放大它们。我们训练一个智能代理，给定一个图像窗口，能够决定在五个不同的预定义区域候选人（较小的窗口）中的注意力集中在哪里。这个过程是迭代提供一个层次图像分析。我们比较了两种不同的候选人建议策略，以指导对象搜索：有和没有重叠。此外，我们的工作比较了两种不同的策略，以从每个区域提案的卷积神经网络中提取特征：第一种策略为每个区域提案计算新的特征图，第二种策略为整个图像计算特征图，以便稍后为每个区域提案生成裁剪。实验结果表明，重叠候选建议策略的效果更好，由于空间分辨率的损失，裁剪后的图像特征的性能损失。我们认为，虽然在处理大量候选对象时这种损失似乎是不可避免的，但我们的强化学习代理生成的区域建议数量减少得多，可以考虑为每个位置提取特征，而无需在区域之间共享卷积计算。
2016-11-25 cs.CV cs.LG
NAVREN-RL: Learning to fly in real environment via end-to-end deep reinforcement learning using monocular images
Georgia Institute of Technology（佐治亚理工学院）
我们提出了NAVREN-RL，一种通过端到端强化学习RL在室内真实环境中导航无人机的方法。考虑到微型无人机的成本和重量约束，设计了一个合适的奖励函数，使传感器的数量最少。少量专家数据的收集和基于知识的数据聚合被集成到RL过程中，以帮助收敛。在Parrot AR无人机上进行了不同室内场景的实验，并将结果与其他基线技术进行了比较。我们展示了无人机如何成功地避开障碍物并在不同的领域导航。
2018-07-22 cs.CV cs.LG cs.RO
Optimal Control with Natural Images: Efficient Reinforcement Learning using Overcomplete Sparse Codes
University of New England（新英格兰大学）
本文通过过完备稀疏编码实现自然图像的高效最优控制，证明强化学习在无需深度学习的情况下可有效解决复杂控制任务。
2026-05-05 cs.AI cs.LG cs.SY
A Comparative study of Artificial Neural Networks Using Reinforcement learning and Multidimensional Bayesian Classification Using Parzen Density Estimation for Identification of GC-EIMS Spectra of Partially Methylated Alditol Acetates
本研究报告的模式识别搜索引擎的开发，基于万维网的数据库的气相色谱-电子轰击质谱（GC-EIMS）的部分甲基化糖醇乙酸酯（PMAAs）。在这里，我们还报告了本研究所采用的两种模式识别技术的比较结果。第一种技术是使用贝叶斯分类器和Parzen密度估计器的统计技术。第二种技术涉及用强化学习训练的人工神经网络模块。我们在这里证明，这两个系统在识别光谱与少量的噪声表现良好。这两种系统的性能都随着信噪比（SNR）的降低而降低。当处理部分光谱（缺失数据）时，人工神经网络系统表现得更好。所开发的系统是在万维网上实现的，并打算使用提交的光谱记录在任何GC-EIMS仪器上的这些分子来识别PMAAs。因此，该系统对GC-EIMS光谱中的仪器和色谱柱相关变化不敏感。
2020-07-31 cs.LG cs.NE eess.SP
Image Classification with Deep Reinforcement Active Learning
School of Computer and Artificial Intelligence, Zhengzhou University（郑州大学计算机与人工智能学院）；Engineering Research Center of Intelligent Swarm Systems, Ministry of Education, China（教育部智能群系统工程研究中心）；National Supercomputing Center in Zhengzhou, China（郑州国家超级计算中心）；Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）；LIP6（巴黎第六大学计算机实验室）；Luoyang float glass group Co.,Ltd（洛阳浮法玻璃集团有限责任公司）；State Key Laboratory of Advanced Technology for Float Glass, China（浮法玻璃先进技术国家重点实验室）
本文提出一种基于马尔可夫决策过程和深度确定性策略梯度的自适应主动学习方法，将深度强化学习与主动学习结合，在三个图像分类基准上优于现有主动学习策略。
2024-12-27 cs.CV
Learning of feature points without additional supervision improves reinforcement learning from images
Aalto University（阿尔托大学）
在包括视觉的许多控制问题中，最优控制可以从场景中对象的位置推断。该信息可以使用特征点来表示，特征点是输入图像的学习特征图中的空间位置列表。以前的工作表明，使用无监督预训练或人工监督学习的特征点可以为控制任务提供良好的特征。在本文中，我们证明了端到端学习有效的特征点表示是可能的，而不需要无监督的预训练，解码器或额外的损失。我们提出的架构包括一个微分特征点提取器，饲料的估计特征点的坐标直接到一个软演员评论家代理。所提出的算法在DeepMind Control Suite任务上产生了与最先进技术相媲美的性能。
2022-06-04 cs.CV cs.LG cs.RO
