Learning Rewards, Not Labels: Adversarial Inverse Reinforcement Learning for Machinery Fault Detection
Deakin University(德肯大学)
本文提出对抗性逆强化学习方法,用于机械故障检测,通过学习奖励动态实现无需标签的故障识别。
2026-02-25 cs.AI cs.LG
LICORICE: Label-Efficient Concept-Based Interpretable Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
针对可解释强化学习中概念标注成本高的问题,提出LICORICE算法,通过交错训练、主动选样本标注和数据去相关,大幅减少标注量且不损失性能,提升了可解释RL的实用性。
2025-03-20 cs.AI cs.LG
Semantically Labelled Automata for Multi-Task Reinforcement Learning with LTL Instructions
University of Oxford(牛津大学);Technical University of Munich(慕尼黑技术大学);Masaryk University Brno(布拉格马萨里克大学)
本文提出一种基于语义标注自动机的多任务强化学习方法,利用LTL指令实现高效任务嵌入和泛化能力,实验表明其在复杂规范下的优越性能。
2026-08-17 cs.AI cs.LG
Statistical Context Detection for Deep Lifelong Reinforcement Learning
Loughborough University(拉夫堡大学);The Alan Turing Institute(艾伦·图灵研究所);Vanderbilt University(范德堡大学)
本文提出利用Wasserstein距离和Kolmogorov-Smirnov统计检验在在线深度强化学习中检测任务上下文,并结合回滚程序学习多策略,无需任务标签预言机即可优化终身强化学习智能体。
2024-09-03 cs.AI cs.LG
Label-free steering: Compressing test-time reinforcement learning into bias-only subspaces
University of Turku(图尔库大学);ELLIS Institute Finland(芬兰ELLIS研究所)
本文提出无标签仅偏置测试时强化学习,仅优化约10万偏置参数,在MATH-500上达76.67%准确率,且可迁移至其他任务,证明极小参数空间可实现有效适应。
2026-10-09 cs.AI cs.LG
What If Consensus Lies? Selective-Complementary Reinforcement Learning at Test Time
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);NLPR & MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Nanjing University(南京大学)
本文提出SCRL框架,通过选择性正伪标签和熵门控负伪标签减少标签噪声影响,提升测试时强化学习的鲁棒性和泛化能力。
2026-04-19 cs.AI cs.LG
Which Rewards Matter? Reward Selection for Reinforcement Learning under Limited Feedback
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对有限反馈下强化学习的奖励标注样本选择问题,本文形式化了RLLF问题框架,研究两类选择策略,发现关键奖励需引导最优轨迹与偏差恢复,仅用少量标签即可实现近最优策略,为反馈受限场景的强化学习规模化提供了新范式。
2025-09-30 cs.AI cs.LG
MedSelect: Selective Labeling for Medical Image Classification Combining Meta-Learning with Deep Reinforcement Learning
Stanford University(斯坦福大学);Harvard T.H. Chan School of Public Health(哈佛陈曾熙公共卫生学院)
我们提出了一种选择性学习方法,使用元学习和深度强化学习的医学图像判读在有限的标签资源的设置。我们的方法MedSelect由一个可训练的深度学习选择器和一个非参数选择器组成,前者使用从对比预训练中获得的图像嵌入来确定要标记哪些图像,后者使用余弦相似性来对未见过的图像进行分类。我们证明,MedSelect学习一个有效的选择策略优于基线选择策略,在可见和不可见的医疗条件下进行胸部X射线解释。我们还对MedSelect进行的选择进行了分析,比较了潜在嵌入和临床特征的分布,并发现与最强基线相比存在显著差异。我们相信,我们的方法可以广泛适用于医疗成像设置中的标签是昂贵的收购。
2021-03-26 cs.AI cs.CV cs.LG
Graph-based Reinforcement Learning for Active Learning in Real Time: An Application in Modeling River Networks
University of Pittsburgh(匹兹堡大学);Univesity of Texas - Rio Grande Valley(得克萨斯大学里奥格兰德谷分校);U.S. Geological Survey(美国地质调查局)
高级ML模型的有效训练需要大量的标记数据,考虑到收集标记数据的大量人力和物力成本,这在科学问题中通常是稀缺的。这对确定我们应该在何时何地部署测量仪器提出了挑战(例如,原位传感器)以有效地收集标记的数据。这个问题与传统的基于池的主动学习设置不同,因为在我们观察到以时间序列出现的输入数据之后,必须立即做出标记决策。在本文中,我们开发了一种实时主动学习方法,使用的空间和时间的上下文信息,选择有代表性的查询样本的强化学习框架。为了减少对大训练数据的需求,我们进一步提出了从现有的基于物理的模型生成的仿真数据中学习的策略。我们证明了所提出的方法的有效性,通过预测在特拉华河流域的流量和水温有限的预算收集标记的数据。我们进一步研究了所选样本的空间和时间分布,以验证该方法在空间和时间上选择信息样本的能力。
2020-12-08 cs.AI cs.LG
Reinforcement Learning-Guided Semi-Supervised Learning
本文提出RLGSSL方法,将半监督学习建模为单臂老虎机问题,通过强化学习损失和奖励函数自适应利用有标签与无标签数据,并结合教师-学生框架,在多个基准数据集上取得优于现有SSL方法的性能。
2024-05-02 cs.AI cs.LG
Label-Free Reinforcement Learning via Cross-Model Entropy
Independent Researcher(独立研究者);San Diego State University(圣地亚哥州立大学)
提出跨模型熵(CME)作为无标签奖励信号,用于强化学习后训练大语言模型,在开放指令遵循任务上优于基线方法。
2026-05-27 cs.AI cs.LG
TraPO: A Semi-Supervised Reinforcement Learning Framework for Boosting LLM Reasoning
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
TraPO通过结合少量标注样本与大量未标注样本,提升大语言模型在数学推理任务中的表现。
2025-12-15 cs.AI cs.LG
Reinforced Labels: Multi-Agent Deep Reinforcement Learning for Point-Feature Label Placement
Brno University of Technology(布尔诺理工大学);Czech Technical University in Prague(布拉格捷克理工大学)
本文首次将多智能体深度强化学习引入点要素标签放置问题,训练智能体学习标签放置策略,在标签放置完整性上显著优于随机策略和人工设计方法,适用于制图、技术图纸和医学图谱等可预先计算且完整性至关重要的场景。
2023-09-18 cs.LG
Reinforced Coloring for End-to-End Instance Segmentation
Ulsan National Institute of Science and Technology (UNIST)(蔚山科学技术院);Korea University(高丽大学)
实例分割是计算机视觉中的一个研究热点,它需要对多个感兴趣的对象进行分割。虽然许多前馈网络在不同类型的图像上产生高质量的分割,但它们的结果往往会因许多对象的分割而出现拓扑错误(合并或分裂),需要进行后处理。另一方面,现有的迭代法使用基于知识的属性(形状、边界等)一次提取单个对象。而不依赖于后处理,但它们的扩展性不好。为了在不影响可扩展性的情况下利用传统的每步单个对象分割方法的优势,我们提出了一种新的迭代深度强化学习代理,它学习如何并行区分多个对象。我们的可训练代理的奖励函数的设计有利于分组像素属于同一个对象使用图着色算法。我们证明,该方法可以有效地执行实例分割的许多对象,而无需繁重的后处理。
2020-05-19 cs.CV cs.LG eess.IV
Fast Task-Adaptation for Tasks Labeled Using Natural Language in Reinforcement Learning
University of Antwerp - imec(安特卫普大学-imec)
在其生命周期中,强化学习代理通常被赋予不同的任务。如何有效地适应以前学习的控制策略从一个任务到另一个任务,仍然是一个开放的研究问题。在本文中,我们研究如何制定自然语言的指令可以使更快,更有效的任务适应。这可以作为发展语言指导技能的基础,这些技能可以在终身学习环境中使用。我们的方法是能够评估,给定一组发达的基础控制政策,该政策将最好地适应一个新的看不见的任务。
2019-10-09 cs.AI
Reinforcement Learning with Symbolic Reward Machines
TU Dortmund University Research Center Trustworthy Data Science
本文提出符号奖励机及学习算法,以解决传统奖励机在强化学习中的应用限制,通过符号公式处理观察并提供可解释的任务表示。
2026-03-03 cs.AI cs.LG
Combining Supervised Learning and Reinforcement Learning for Multi-Label Classification Tasks with Partial Labels
Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院);Zhejiang University(浙江大学);UCLA(加利福尼亚大学洛杉矶分校)
针对仅部分正类有标注的多标签正样本-未标记学习问题,提出结合强化学习探索能力与监督学习利用能力的MLPAC框架,在多类任务上验证了其泛化性与有效性。
2024-06-24 cs.AI cs.CL
READ: Reinforcement-based Adversarial Learning for Text Classification with Limited Labeled Data
Microsoft Corporation(微软公司)
针对预训练Transformer模型文本分类需大量标注数据的问题,提出READ方法,融合强化学习文本生成与半监督对抗学习,利用无标注数据生成多样合成文本提升泛化性,在多数据集上性能超越现有最优方法。
2025-01-14 cs.AI cs.CL
Exploiting Verification-Generation Gap: Test-Time Reinforcement Learning with Confidence-Conditioned Verification
Sun Yat-Sen University(中山大学);University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学)
提出TTRL-CoCoV框架,通过置信度自适应机制解决无标签设置下Pass@k优化中的伪标签错误和多样性崩溃问题,显著提升Pass@1和Pass@k性能。
2026-06-02 cs.AI cs.LG
Flexible Blood Glucose Control: Offline Reinforcement Learning from Human Feedback
University of Bristol(布里斯托尔大学);University Hospital Southampton(南安普顿大学医院)
本文提出PAINT框架,通过基于草图的奖励学习和安全约束离线RL算法,从患者记录中学习灵活的胰岛素给药策略,在模拟T1D患者中显著降低血糖风险并有效结合患者偏好与专业知识。
2025-01-27 cs.AI cs.LG
Easy Samples Are All You Need: Self-Evolving LLMs via Data-Efficient Reinforcement Learning
Peking University(北京大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Nankai University(南开大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文提出EasyRL方法,通过结合易标注数据的知识转移与逐步分治策略,实现大语言模型的数据高效自演化,实验表明仅使用10%的易标注数据即可超越现有最佳基线。
2026-04-19 cs.AI cs.LG
ORIS: Online Active Learning Using Reinforcement Learning-based Inclusive Sampling for Robust Streaming Analytics System
George Mason University(乔治梅森大学);Amazon(亚马逊公司)
针对流分析系统中标记数据收集的挑战,提出ORIS方法,通过基于强化学习的包容性采样进行在线主动学习,在情感识别任务中其人类标记性能和模型性能均优于传统基线。
2024-11-27 cs.LG
Labeled TrustSet Guided: Batch Active Learning with Reinforcement Learning
Prime Video, Amazon(亚马逊Prime视频);Nvidia(英伟达)
本文提出BRAL-T框架,结合TrustSet和强化学习,解决批量主动学习中样本选择的不确定性与多样性平衡问题,提升模型性能和数据效率。
2026-04-14 cs.LG
How to Leverage Unlabeled Data in Offline Reinforcement Learning
Stanford University(斯坦福大学);Google Research(谷歌研究院);UC Berkeley(加州大学伯克利分校)
离线强化学习(RL)可以从静态数据集学习控制策略,但与标准RL方法一样,它需要对每个转换进行奖励注释。在许多情况下,用奖励来标记大型数据集可能是昂贵的,特别是如果这些奖励必须由人类标记者提供,而收集各种未标记的数据可能相对便宜。我们如何在离线RL中最好地利用这些未标记的数据?一个自然的解决方案是从标记的数据中学习一个奖励函数,并用它来标记未标记的数据。在本文中,我们发现,也许令人惊讶的是,一个简单得多的方法,简单地应用零奖励未标记的数据导致有效的数据共享在理论和实践中,而无需学习任何奖励模型。虽然这种方法一开始看起来很奇怪(也不正确),但我们提供了广泛的理论和实证分析,说明了它如何权衡奖励偏差,样本复杂性和分布变化,通常会产生良好的结果。我们描述了这种简单策略有效的条件,并进一步表明,用一个简单的重新加权方法扩展它可以进一步减轻使用不正确的奖励标签引入的偏见。我们的实证评估证实了这些研究结果在模拟机器人运动,导航和操作设置。
2022-07-08 cs.AI cs.LG cs.RO
Semi-Supervised Offline Reinforcement Learning with Action-Free Trajectories
Meta AI Research(元人工智能研究院);UCLA(加州大学洛杉矶分校)
本文提出半监督离线强化学习设置,利用逆动力学模型为无动作轨迹生成代理标签,配合离线RL算法,在仅标记10%次优轨迹时即可匹配全标记性能,并系统研究了数据属性与算法选择的影响。
2023-06-22 cs.AI cs.LG cs.RO
Exploring Parity Challenges in Reinforcement Learning through Curriculum Learning with Noisy Labels
Queen Mary University of London(伦敦玛丽女王大学)
本文针对策略游戏中的奇偶性挑战,提出在课程学习框架中引入噪声标签模拟自对弈过程,发现微小标签噪声会显著阻碍神经网络学习有效策略,并强调需开发更鲁棒的强化学习训练方法。
2024-01-14 cs.AI
Specializing Inter-Agent Communication in Heterogeneous Multi-Agent Reinforcement Learning using Agent Class Information
FEI University Center(FEI大学中心)
受图神经网络在智能体通信方面的最新进展的启发,提出了一种多智能体通信能力的有向标记异构智能体图表示方法,其中节点标签表示智能体类,边标签表示两类智能体之间的通信类型.我们还介绍了一个神经网络架构,专门在完全合作的异构多智能体任务的通信,通过学习个人的转换,每对代理类之间的交换消息。通过采用编码和动作选择模块与异构代理的环境中的参数共享,我们表现出相当或优越的性能,在环境中,有大量的代理类操作。
2021-03-10 cs.AI cs.LG cs.MA
DRL-CLBA: A Clean Label Backdoor Attack for Speech Classification via DDPG Reinforcement Learning
Xiangtan University(湘潭大学);Peking University(北京大学)
提出DRL-CLBA,一种利用深度确定性策略梯度(DDPG)强化学习和深度音频隐写术的干净标签后门攻击方法,无需标签迁移即可污染目标样本,在多个数据集和模型上实现高攻击成功率并绕过多种防御。
2026-07-03 cs.AI cs.SD
Toward Deep Supervised Anomaly Detection: Reinforcement Learning from Partially Labeled Anomaly Data
Australian Institute for Machine Learning(澳大利亚机器学习研究所);The University of Adelaide(阿德莱德大学);Advanced Analytics Institute(高级分析研究所);University of Technology Sydney(悉尼科技大学)
我们考虑的问题的异常检测与一个小的部分标记的异常的例子和一个大规模的未标记的数据集。这是许多重要应用中的常见场景。现有的相关方法要么专门适合通常不跨越整个异常集的有限异常示例,要么从未标记的数据进行无监督学习。相反,我们在这里提出了一种基于深度强化学习的方法,该方法可以对标记和未标记异常的检测进行端到端的优化。该方法通过自动地与异常偏置的模拟环境交互来学习已知的异常,同时连续地将所学习的异常扩展到新的异常类别(即,未知的异常),通过主动探索未标记数据中可能的异常。这是通过联合优化小标记异常数据的利用和罕见的未标记异常的探索来实现的。在48个真实世界数据集上进行的广泛实验表明,我们的模型明显优于五种最先进的竞争方法。
2021-06-10 cs.AI cs.CR cs.CV
Binary Reward Labeling: Bridging Offline Preference and Reward-Based Reinforcement Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出二元奖励标注框架,将偏好反馈转换为标量奖励以复用基于奖励的离线强化学习算法,并在 D4RL 偏好数据集上验证其性能。
2024-10-23 cs.LG
LLM-Enhanced Reinforcement Learning for Time Series Anomaly Detection
dept. Computer Science Portland State University(计算机科学系波特兰州立大学);dept. Computer Science Smith College(计算机科学系史密斯学院)
本文提出结合大语言模型与强化学习的统一框架,通过奖励塑造、动态奖励缩放和主动学习提升时间序列异常检测的准确性和效率。
2026-01-05 cs.LG
Annotating Motion Primitives for Simplifying Action Search in Reinforcement Learning
Naval Surface Warfare Center(海军水面战中心);Naval Sea Systems Command(海军系统司令部);University of Florida(佛罗里达大学)
大规模环境中的强化学习具有挑战性,因为在特定情况下可以采取许多可能的行动。我们以前已经开发了一种约束的手段,从而加快,通过使用运动原语的搜索过程;运动原语是一系列预先指定的动作采取跨状态系列。作为这项工作的副产品,我们发现,如果运动原语的运动和动作被标记,那么搜索可以进一步加快。由于运动原语最初可能缺乏这样的细节,我们提出了一个理论上的视点不敏感和速度不敏感的方式自动注释的基本运动和动作。我们这样做是通过一个微分几何,时空运动学描述符,它分析了如何在两个运动序列中的实体的姿势随着时间的推移而变化。我们使用这个描述符结合加权最近邻分类器使用一组有限的训练样本来标记原语。在我们的实验中,我们实现了高的运动和动作注释率的人类动作衍生的基元少到一个训练样本。我们还证明,使用准确标记的轨迹的强化学习比标准的强化学习技术更快地产生高性能的策略。这部分是因为运动基元对先前的领域知识进行编码,并在训练期间抢占重新发现该知识的需要。这也是因为智能体可以利用标签来系统地忽略不促进任务目标的动作类,从而减少动作空间。
2021-11-26 cs.AI cs.LG cs.RO
Offline Reinforcement Learning using Human-Aligned Reward Labeling for Autonomous Emergency Braking in Occluded Pedestrian Crossing
CAV-Lab, School of Engineering(CAV实验室、工程学院);School of Artificial Intelligence and Computer Science(人工智能与计算机科学学院)
本文提出了一种生成人类对齐奖励标签的方法,用于提升自动驾驶车辆在遮挡行人横穿场景中的安全性能。
2026-01-23 cs.LG cs.RO
Strategyproof Reinforcement Learning from Human Feedback
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(ETH人工智能中心);Department of Computer Science University of Oxford(牛津大学计算机科学系);Department of Computer Science University of Warwick(Warwick大学计算机科学系)
针对多标注者策略性虚报反馈的RLHF问题,证明现有算法非策略证明且存在根本权衡,提出悲观中位数MLE算法实现近似策略证明并收敛至最优策略。
2025-10-16 cs.LG
When Self-Belief Misleads: Active Label Acquisition for Reinforcement Learning with Verifiable Rewards
Meituan(美团);Beihang University(北京航空航天大学);Nanyang Technological University(新加坡国立大学)
提出RLAVR框架,通过主动获取少量真实标签并与伪标签结合,利用CAG指标和CARE策略稳定训练并提升有限标注预算下的性能。
2026-05-25 cs.CL cs.LG
Integrating Reinforcement Learning to Self Training for Pulmonary Nodule Segmentation in Chest X-rays
VUNO Inc.(VUNO公司);Imperial College London(帝国理工学院)
医学成像中的机器学习应用经常受到缺乏高质量标记数据的限制。在本文中,我们探讨了自我训练方法,一种半监督学习的形式,以解决标记负担。通过集成强化学习,我们能够将自训练的应用扩展到复杂的分割网络,而无需任何进一步的人工注释。所提出的方法,加强自我训练(ReST),微调语义分割网络通过引入一个政策网络,学习生成伪标签。我们结合了一个专家示范网络,基于逆强化学习,以提高临床有效性和收敛的政策网络。该模型在胸部X射线中的肺结节分割任务上进行了测试,并通过利用未标记数据,仅使用50%的标记数据,实现了标准U-Net的性能。当使用相同数量的标记数据时,根据所使用的标记的绝对数量,实现了中度至显著的交叉验证准确度提高。
2018-11-21 cs.LG stat.ML
Hierarchical Imitation and Reinforcement Learning
California Institute of Technology(加州理工学院);Microsoft Research(微软研究院);University of Maryland(马里兰大学)
我们研究如何有效地利用专家反馈来学习顺序决策政策。我们专注于稀疏奖励和长时间视野的问题,这通常会给强化学习带来重大挑战。我们提出了一个算法框架,称为分层指导,它利用底层问题的层次结构来集成不同的专家交互模式。我们的框架可以在不同层次上结合模仿学习(IL)和强化学习(RL)的不同组合,从而大大减少专家的努力和探索成本。使用长期基准测试,包括Montezuma的Revenge,我们证明了我们的方法可以比分层RL更快地学习,并且比标准IL更有效。我们还从理论上分析了我们的框架的某些实例的标签成本。
2018-06-09 cs.AI cs.LG stat.ML
SARL: Label-Free Reinforcement Learning by Rewarding Reasoning Topology
Purdue University(普渡大学);Texas Instruments(德州仪器)
本文提出SARL框架,通过奖励推理拓扑而非最终结果来提升大模型的推理能力,在可验证数学任务和非可验证开放任务中均取得显著性能提升。
2026-05-10 cs.AI
Similarity as Reward Alignment: Robust and Versatile Preference-based Reinforcement Learning
研究基于偏好的强化学习中对标注错误的鲁棒性问题,提出简单对比框架SARA,通过学习潜在表示计算奖励。在连续控制离线RL基准测试中性能有竞争力且更稳定,计算的奖励与环境奖励相关性更高。
2026-07-17 cs.AI cs.LG stat.ML
Reinforcement Learning for Transition-Based Mention Detection
IBM T.J. Watson Research Center(IBM T.J. 沃森研究中心)
本文描述了强化学习在提及检测任务中的应用。我们定义了一个新的基于动作的配方提到检测任务,其中一个模型可以灵活地修改过去的标记决策分组在一起的令牌和分配部分提到标签。我们设计了一种方法来创建提及级事件,我们训练一个模型,通过奖励正确标记的完整提及,而不管创建的内部结构。该模型产生的结果与有竞争力的监督对应物相当,同时在通过奖励建模和生成内部提及结构(特别是较长的提及)实现目标行为方面更加灵活。
2017-03-13 cs.AI cs.CL
Rewards Encoding Environment Dynamics Improves Preference-based Reinforcement Learning
Apple(苹果公司)
基于偏好的强化学习(RL)算法通过从人类偏好反馈中提取奖励函数来帮助避免手工制作的奖励函数的陷阱,但由于即使对于相对简单的任务,也需要人类提供大量的标签,因此它们仍然不切实际。在这项工作中,我们证明了在奖励函数(REED)中对环境动态进行编码可以大大减少最先进的基于偏好的RL框架所需的偏好标签数量。我们假设基于REED的方法更好地划分状态-动作空间,并促进泛化到偏好数据集中不包括的状态-动作对。REED通过自我监督的时间一致性任务在状态-动作表示中编码环境动态,并从状态-动作表示中自举基于偏好的奖励函数。而以前的方法训练只在偏好标记的轨迹对,REED暴露的状态动作表示在政策培训期间经历的所有过渡。我们在PrefPPO [1]和PEBBLE [2]偏好学习框架中探索了REED的好处,并证明了在实验条件下对策略学习速度和最终策略性能的改进。例如,在具有50个偏好标签的四足步行和步行者步行中,基于REED的奖励函数恢复了83%和66%的地面真实奖励策略性能,而没有REED,仅恢复了38%和21%。对于某些领域,基于REED的奖励函数会产生优于在地面真实奖励上训练的策略的策略。
2022-11-12 cs.AI cs.HC cs.LG
Interpret Policies in Deep Reinforcement Learning using SILVER with RL-Guided Labeling: A Model-level Approach to High-dimensional and Multi-action Environments
研究针对深度强化学习缺乏可解释性问题展开,提出带强化学习引导标记的SILVER,通过提取特征、进行归因、生成数据集及训练代理模型来解释策略,在雅达利环境评估并经人体研究验证,提升透明度与人类理解,推进可解释强化学习发展。
2026-11-16 cs.LG
Deep reinforcement learning with automated label extraction from clinical reports accurately classifies 3D MRI brain volumes
Memorial Sloan Kettering Cancer Center(纪念斯隆-凯特琳癌症中心);Indian Institute of Technology, Madras(马德拉斯印度理工学院)
目的:图像分类可能是成像AI中最基本的任务。然而,标记图像是耗时且繁琐的。我们最近已经证明,强化学习(RL)可以高精度地对MRI脑图像的2D切片进行分类。在这里,我们做了两个重要的步骤,加快图像分类:首先,我们自动提取类标签的临床报告。其次,我们将我们之前的2D分类工作扩展到我们机构的全3D图像卷。因此,我们继续如下:在第1部分中,我们使用SBERT自然语言处理方法自动从报告中提取标签。然后,在第2部分中,我们将这些标签与RL一起用于训练3D图像体积的分类Deep-Q网络(DQN)。方法:对于第1部分,我们用90份放射学报告印象训练SBERT。然后,我们使用经过训练的SBERT来预测第2部分中使用的类标签。在第2部分中,我们应用了多步图像分类,以允许使用3D卷积和TD(0)Q学习的组合Deep-Q学习。我们训练了一组90张图片。我们在一组单独的61张图像上进行了测试,再次使用第1部分中经过训练的SBERT从患者报告中预测的类别。为了进行比较,我们还使用相同的标签在同一组训练和测试图像上训练和测试了一个有监督的深度学习分类网络。结果如下:第一部分:在使用放射学报告的语料库进行训练后,SBERT模型对于正常和包含转移的扫描都具有100%的准确性。第二部分:然后,使用这些标签,而监督方法快速过拟合训练数据,并且正如预期的那样在测试集上表现不佳(66%的准确率,略高于随机猜测),强化学习方…
2021-06-17 cs.AI cs.CV
PLASTIC: Improving Input and Label Plasticity for Sample Efficient Reinforcement Learning
KAIST(韩国科学技术院);Kim Jaechul Graduate School of AI(金在哲人工智能研究生院)
针对强化学习中多次更新导致模型可塑性丧失、样本效率受限的问题,研究将可塑性分为输入与标签两类,通过实验找到对应优化方法并提出PLASTIC算法,以极小架构改动在基准测试中取得有竞争力的性能,验证了保持可塑性对提升样本效率的作用。
2023-12-08 cs.LG
Stepwise Guided Policy Optimization: Coloring your Incorrect Reasoning in GRPO
Department of Industrial Engineering and Operations Research(工业工程与运营管理系);Department of Mathematics(数学系);Columbia University(哥伦比亚大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Stern School of Business, New York University(纽约大学斯特恩商学院)
SGPO通过引入组内响应多样性,解决GRPO在所有负样本组时无法更新策略的问题,提升推理模型性能。
2026-03-10 cs.AI cs.CL cs.LG
A Unified Manifold Similarity Measure Enhancing Few-Shot, Transfer, and Reinforcement Learning in Manifold-Distributed Datasets
Western Sydney University(西悉尼大学)
本研究提出一种新的流形结构相似性度量方法,可判定数据集是否适合迁移学习,还据此构建了少样本分类器实现高准确率,并探讨了该度量在强化学习、图像识别中的应用。
2024-08-12 cs.LG
Inference Aided Reinforcement Learning for Incentive Mechanism Design in Crowdsourcing
Nanyang Technological University(南洋理工大学);University of California, Los Angeles(加州大学洛杉矶分校);Harvard University(哈佛大学)
众包的激励机制旨在激励在经济上自利的工作者制作和报告高质量的标签。现有的机制通常是作为一次性静态解决方案开发的,假设对工作者模型有一定程度的了解(专业知识水平,努力的成本等)。在本文中,我们提出了一种新的推理辅助强化机制,它可以学习顺序地激励高质量的数据,并且不需要这样的先验假设。具体来说,我们首先设计了一个吉布斯抽样增强贝叶斯推理算法估计工人的标签策略,从收集的标签在每一步。然后,我们提出了一种强化激励学习(RIL)方法,建立在上述估计的基础上,以揭示工人对不同报酬的反应。RIL动态确定付款,而无需访问任何地面实况标签。我们从理论上证明了RIL能够激励理性的工人提供高质量的标签。实证结果表明,我们的机制表现一贯良好的理性和非完全理性(自适应学习)的工人模型。此外,与现有的一次性机制相比,RIL提供的付款更稳健,差异更小。
2018-06-01 cs.GT cs.HC cs.LG
Weakly Supervised Scene Text Detection using Deep Reinforcement Learning
Hasso Plattner Institute, University of Potsdam(波茨坦大学哈索·普拉特纳学院)
具有挑战性的场景文本检测领域需要复杂的数据注释,这是耗时和昂贵的。诸如弱监管等技术可以减少所需的数据量。本文提出了一种基于强化学习的弱监督场景文本检测方法。RL代理收到的奖励由神经网络估计,而不是从地面实况标签推断。首先,我们通过几种训练优化增强了现有的监督RL文本检测方法,使我们能够缩小与基于回归的算法的性能差距。然后,我们使用我们提出的系统在现实世界的数据上进行弱监督和半监督训练。我们的研究结果表明,在弱监督环境中进行训练是可行的。然而,我们发现在半监督环境中使用我们的模型,例如,当将标记的合成数据与未注释的真实世界数据相结合时,会产生最佳结果。
2022-01-13 cs.AI cs.CV cs.LG
Leveraging Unlabeled Data Sharing through Kernel Function Approximation in Offline Reinforcement Learning
National Taiwan University(台湾大学);MediaTek Research(联发科技研究院)
本文提出一种基于核函数近似的离线强化学习算法,有效利用低成本无标签数据,并给出理论保证与复杂度条件。
2025-05-28 cs.LG
Deep Anomaly Detection and Search via Reinforcement Learning
半监督异常检测(Semi-supervised Anomaly Detection,AD)是一种数据采掘任务,旨在从部分标记的数据集中学习特征,以帮助检测离群点。本文将现有的半监督AD方法分为基于无监督和基于监督两大类,指出它们大多存在对标记数据利用不足和对未标记数据利用不足的问题。为了解决这些问题,我们提出了深度异常检测和搜索(DADS),它应用强化学习(RL)来平衡开发和探索。在训练过程中,智能体使用分层结构的数据集搜索可能的异常,并使用搜索到的异常来提高性能,这在本质上借鉴了集成学习的思想。实验上,我们比较了DADS与几个国家的最先进的方法,利用标记的已知异常的设置,以检测其他已知的异常和未知的异常。实验结果表明,DADS能够高效、准确地从未标记数据中发现异常并从中学习,取得了良好的性能。
2022-10-26 cs.LG
Adaptable image quality assessment using meta-reinforcement learning of task amenability
University College London(伦敦大学学院);InstaDeep;University College Hospital NHS Foundation Trust(伦敦大学学院医院NHS基金会信托);Stanford School of Medicine(斯坦福医学院)
许多医学图像分析任务的性能与图像数据质量密切相关。在开发现代深度学习算法时,任务顺应性可能会提供特定于任务的图像质量的客观度量,而不是依赖于主观(基于人类的)图像质量评估(IQA)。为了预测任务可服从性,使用具有同时优化的任务预测器(诸如分类或分割神经网络)的强化学习(RL)来训练IQA代理。在这项工作中,我们开发了迁移学习或适应策略,以提高IQA代理和任务预测器的适应性,使它们更少地依赖于高质量的专家标记的训练数据。提出的迁移学习策略重新制定了原来的强化学习问题的任务顺从性的Meta强化学习(元RL)框架。由此产生的算法有利于有效地适应代理的图像质量的不同定义,每个都有自己的马尔可夫决策过程环境,包括不同的图像,标签和自适应的任务预测。我们的工作表明,IQA代理预先训练的非专家任务标签可以适应预测任务的顺从性定义的专家任务标签,只使用一小组的专家标签。使用来自249名前列腺癌患者的6644张临床超声图像,我们的图像分类和分割任务的结果表明,所提出的IQA方法可以使用分别只有19.7%和29.6%专家评审共识标签的数据进行调整,并且仍然可以实现相当的IQA和任务性能,否则需要具有100%专家标签的训练数据集。
2021-07-31 cs.CV cs.LG
Gradient Imitation Reinforcement Learning for Low Resource Relation Extraction
Tsinghua University(清华大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Amazon(亚马逊)
低资源关系抽取(LRE)的目标是在人工标注不足的情况下,从有限的标注语料中抽取关系事实。现有的工作要么利用自我训练计划,以产生伪标签,将导致逐渐漂移的问题,或利用元学习计划,不征求反馈显式。为了减轻由于现有LRE学习范例中缺乏反馈回路而导致的选择偏差,我们开发了梯度模仿强化学习方法,以鼓励伪标签数据模仿标签数据上的梯度下降方向,并通过试错来引导其优化能力。我们还提出了一个框架,称为GradLRE,它处理两个主要的情况下,低资源关系抽取。除了未标记的数据是足够的情况下,GradLRE处理的情况下,没有未标记的数据是可用的,通过利用上下文增强方法来生成数据。在两个公开数据集上的实验结果表明,与基线相比,GradLRE在低资源关系抽取上是有效的。
2021-09-14 cs.AI cs.CL
Weakly Supervised Video Summarization by Hierarchical Reinforcement Learning
The University of Tokyo(东京大学)
传统的基于强化学习的视频摘要方法存在的问题是只有在生成完整摘要后才能收到奖励。这种奖励是稀疏的,它使得强化学习难以收敛。另一个问题是标记每个帧是繁琐和昂贵的,这通常会阻止大规模数据集的构建。为了解决这些问题,我们提出了一个弱监督的分层强化学习框架,它将整个任务分解成几个子任务,以提高摘要质量。该框架由管理者网络和工作者网络组成。对于每个子任务,管理者被训练成仅通过任务级二进制标签来设置子目标,这比传统方法需要少得多的标签。在子目标的指导下,工作者根据全局奖励和新定义的子奖励,通过策略梯度预测子任务中视频帧的重要性得分,克服了稀疏问题.在两个基准数据集上的实验表明,我们的建议取得了最好的性能,甚至优于监督方法。
2020-02-29 cs.CV cs.LG cs.MM
Mapping Smarter, Not Harder: A Test-Time Reinforcement Learning Agent That Improves Without Labels or Model Updates
AI Lab, TrendMicro(趋势科技人工智能实验室)
本文提出一种无需标签或模型更新的测试时强化学习智能体,通过识别模糊映射、搜索外部证据和置信度奖励迭代优化,将日志映射准确率从56.4%提升至93.94%,并减少85%的专家审查需求。
2025-10-16 cs.AI cs.CR