Supervised and Reinforcement Learning from Observations in Reconnaissance Blind Chess
JKU Linz(林茨约翰·开普勒大学);University of Alberta(阿尔伯塔大学)
在这项工作中,我们采用了一种受原始AlphaGo系统启发的训练方法来玩侦察盲棋的不完全信息游戏。只使用观察结果而不是对游戏状态的完整描述,我们首先在公开的游戏记录上训练一个受监督的代理。接下来,我们通过策略上强化学习算法近端策略优化的自我发挥来提高代理的性能。我们不使用任何搜索来避免由博弈状态的部分可观测性引起的问题,并且在玩游戏时仅使用策略网络来生成移动。通过这种方法,我们在RBC排行榜上获得了1330的ELO,在撰写本文时,我们的代理位于第27位。我们看到,自我发挥显着提高性能,代理发挥可以接受的好,没有搜索,没有对真正的游戏状态的假设。
2022-08-03 cs.AI
Deep reinforcement learning to detect brain lesions on MRI: a proof-of-concept application of reinforcement learning to medical images
Memorial Sloan Kettering Cancer Center(纪念斯隆凯特琳癌症中心);Indian Institute of Technology Madras(马德拉斯印度理工学院)
目的:放射学中的人工智能主要受到以下因素的阻碍:1)需要大型注释数据集。2)非通用性限制了新扫描仪/机构的部署。(3)可解释性和可解释性不足。我们相信,强化学习可以解决所有这三个缺点,具有强大而直观的算法,可在小数据集上训练。据我们所知,强化学习尚未直接应用于放射图像的计算机视觉任务。在这项原理证明工作中,我们训练了一个深度强化学习网络来预测脑肿瘤的位置。材料和方法:使用BraTS脑肿瘤成像数据库,我们在70个对比后T1加权2D图像切片上训练深度Q网络。我们这样做是与图像探索相一致的,奖励和惩罚旨在定位病变。为了与监督式深度学习进行比较,我们在相同的70张图像上训练了一个关键点检测卷积神经网络。我们将这两种方法应用于一个单独的30个图像测试集。结果:强化学习的预测在训练过程中不断提高,而监督式深度学习的预测则迅速出现分歧。强化学习预测测试集病变位置的准确率为85%,而监督深度网络的准确率约为7%。结论:强化学习预测病变的准确性很高,这对于如此小的训练集来说是前所未有的。我们相信,强化学习可以推动放射学AI超越监督式深度学习的固有局限性,进行更多临床医生驱动的研究,最终走向真正的临床应用。
2020-08-06 cs.AI
Systematic Evaluation of Large Language Models for Post-Discharge Clinical Action Extraction
Centific AI Research(Centific AI研究);Centific Global Solutions, Inc.(Centific全球解决方案公司)
本文系统评估了零样本和少样本大型语言模型在安全关键的出院后临床行动提取中的表现,提出两阶段提取框架以提升临床任务的可操作性,并分析标注不一致性和模型推理与标注规范的对齐问题。
2026-05-07 cs.AI
Doctor-R1: Mastering Clinical Inquiry with Experiential Agentic Reinforcement Learning
Dept. of Comp. Sci. & Tech., Institute for AI, Tsinghua University(计算机科学与技术系,人工智能研究院,清华大学);College of AI, Tsinghua University(人工智能学院,清华大学);Institute for AI Industry Research (AIR), Tsinghua University(人工智能产业研究院(AIR),清华大学)
Doctor-R1通过经验代理强化学习提升临床决策与患者咨询能力,实现更高效的医疗咨询和决策支持。
2026-03-01 cs.AI
Intrinsically Motivated Self-supervised Learning in Reinforcement Learning
Peking University(北京大学);Tsinghua University(清华大学)
在基于视觉的强化学习(RL)任务中,为了获得更多的语义表示并提高样本效率,通常采用代理自监督损失来分配辅助任务。然而,由于表示学习部分和决策部分被分离,自监督辅助任务中的丰富信息被忽视。为了充分利用辅助任务中的信息,我们提出了一个简单而有效的想法,采用自我监督损失作为内在奖励,称为强化学习中的内在激励自监督学习(IM-SSR)。我们正式表明,自我监督的损失可以分解为探索新的状态和鲁棒性的提高,从滋扰消除。IM-SSR可以毫不费力地插入任何具有自监督辅助目标的强化学习,几乎没有额外的成本。结合IM-SSR,以前的底层算法在DeepMind控制套件的各种基于视觉的机器人任务中,特别是在奖励信号稀疏时,在样本效率和泛化方面都取得了显着的改进。
2022-05-13 cs.AI cs.LG
Applying supervised and reinforcement learning methods to create neural-network-based agents for playing StarCraft II
近年来,人们提出了多种方法来创建用于玩各种复杂的实时计算机游戏(如星际争霸II或Dota 2)的代理,然而,它们要么将大量的专家知识嵌入到代理中,要么使用对大多数研究人员来说过于庞大的计算资源。我们提出了一个神经网络架构,用于玩星际争霸II的完整双人比赛,该架构采用通用监督和强化学习进行训练,可以在具有单个GPU的单个消费级PC上进行训练。我们还表明,我们的实现了一个不平凡的性能相比,在游戏中脚本机器人。除了在一张选定的地图上进行游戏外,我们对游戏没有任何简化的假设,而且我们使用很少的专业知识。原则上,我们的方法可以应用于任何RTS游戏的小修改。虽然我们的结果在最终性能方面远远落后于最先进的大规模方法,但我们相信我们的工作可以作为其他小规模实验的坚实基线。
2021-09-26 cs.AI
Reinforcement Learning for Evidence-Seeking Diagnostic Reasoning with Large Language Models
Qing Yuan Research Institute, Shanghai Jiao Tong University(上海交通大学清源研究院);Shanghai Innovation Institute(上海创新院);Shanghai AI Laboratoty(上海人工智能实验室)
将医学诊断形式化为迭代证据寻求任务,利用带可验证奖励的强化学习,引入基于检索增强生成的检查模拟器,使大语言模型从被动响应转变为自主助手。
2026-07-07 cs.AI
A Self-Supervised Reinforcement Learning Approach for Fine-Tuning Large Language Models Using Cross-Attention Signals
UC Berkeley School of Information(加州大学伯克利分校信息学院)
该研究提出一种无需人类在环反馈的自监督强化学习框架,利用大型语言模型内部的交叉注意力信号构建奖励,引导模型微调,在提示相关性和一致性上优于非RL基线,为低标注对齐扩展提供方向。
2025-04-16 cs.AI
MedReasoner: Reinforcement Learning Drives Reasoning Grounding from Clinical Thought to Pixel-Level Precision
MedReasoner 通过强化学习实现从临床推理到像素级精度的医学影像 grounding,提出统一医学推理 grounding 任务和 U-MRG-14K 数据集,展示其在医学影像分析中的优越性能。
2026-02-18 cs.AI cs.CV
Exploring Reinforcement Learning for Fluid Transitions Between Clinical Mental Healthcare and Everyday Wellness Support
Cornell University(康奈尔大学)
本研究探索强化学习(RL)构建数字健康系统,动态选择临床与健康干预措施,以优化整体健康目标(持续日记),发现RL优化序列的益处常在干预结束后显现,且高参与度用户随时间深化参与,而恒定干预组易倦怠退出。
2026-06-05 cs.AI cs.HC
Language Agents for Hypothesis-driven Clinical Decision Making with Reinforcement Learning
Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出了一种基于强化学习的假设驱动语言代理LA-CDM,用于提升临床诊断的准确性和效率。
2026-02-28 cs.AI cs.CL cs.LG
MORE-CLEAR: Multimodal Offline Reinforcement learning for Clinical notes Leveraged Enhanced State Representation
Seoul National University Hospital(首尔国立大学医院)
提出MORE-CLEAR多模态离线强化学习框架,利用LLM提取临床笔记语义表征并结合门控融合与跨模态注意力整合多模态数据,显著提升了脓毒症管理的生存率与策略性能。
2025-08-11 cs.AI cs.LG
Reverse Probing: Supervised Token-level Uncertainty Quantification for Large Language Models in Clinical Text
University of Florida(佛罗里达大学);U.S. National Library of Medicine(美国国家医学图书馆)
提出反向探测框架,利用预标注摘要从模型内部激活中提取词级不确定性信号,在临床文本中实现高效、可解释的不确定性量化。
2026-09-01 cs.AI cs.CL
Monitoring Fidelity of Online Reinforcement Learning Algorithms in Clinical Trials
School of Engineering and Applied Sciences(工程与应用科学学院);Harvard University(哈佛大学);Graduate School of Business(商学院);Columbia University(哥伦比亚大学);Institute for Social Research(社会研究所);University of Michigan(密歇根大学);Schools of Dentistry & Engineering(牙科学院与工程学院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对高风险医疗场景下在线强化学习算法部署的质量管控难题,提出算法保真度要求及配套的部署前规划与实时监测框架,并通过Oralytics临床试验的实际应用验证了其可行性。
2024-08-12 cs.AI cs.CY cs.LG
Reinforcement Learning over Patient Trajectories for Clinical Reasoning in EHR Foundation Models
MIT(麻省理工学院);Microsoft Research(微软研究院)
针对EHR基础模型临床推理受限的问题,提出强化学习微调框架,通过时间感知奖励优化轨迹生成,使小模型在数据有限时超越大模型并实现跨任务正向迁移。
2026-11-11 cs.AI cs.CY cs.LG
Process-Supervised Reinforcement Learning for Code Generation
Beijing Institute of Technology(北京理工大学);Beijing Normal University(北京师范大学)
本文提出基于语句变异/重构与编译执行验证的逐行过程监督数据构建方法,并集成到 PRLCoder 框架中,证明过程监督强化学习在代码生成任务上显著优于仅依赖结果监督的方法。
2025-02-03 cs.AI cs.SE
A Deployed Online Reinforcement Learning Algorithm In An Oral Health Clinical Trial
Harvard University(哈佛大学);Imperial College London(帝国理工学院);University of Michigan(密歇根大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对牙科疾病患者口腔自我护理依从性不佳的问题,开发了结合在线强化学习算法的mHealth干预系统Oralytics,并在临床试验中部署,同时通过重采样分析评估了算法设计决策。
2024-12-18 cs.AI cs.HC
Supervised Fine-Tuning or In-Context Learning? Evaluating LLMs for Clinical NER
Andrei Baroian(独立研究者)
本研究在CADEC语料库上比较了BERT类编码器、GPT-4o的上下文学习与监督微调在临床NER中的表现,发现监督微调性能最优(F1约87.1%),且简化任务可提升准确率。
2025-10-25 cs.AI cs.CL
TRIMMER: A New Paradigm for Video Summarization through Self-Supervised Reinforcement Learning
Universitat Pompeu Fabra(庞培法布拉大学);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
TRIMMER通过自监督强化学习框架,在视频摘要中实现高效且可扩展的语义表示,优于传统方法在长时序依赖和语义结构的捕捉能力。
2026-05-03 cs.AI cs.CV
Causal Reinforcement Learning based Agent-Patient Interaction with Clinical Domain Knowledge
本文提出基于因果强化学习的Agent-患者交互框架,通过整合因果发现与推理提升医疗场景中的决策可解释性和适应性。
2025-11-17 cs.AI cs.RO
Reinforcement Learning In Partially Verifiable Environments for Colon Cancer Treatment Planning
University of California, San Francisco(加利福尼亚大学旧金山分校);Weill Cancer Hub(威尔癌症中心);West Vokram Inc.(West Vokram公司);OpenEvidence
本研究将结肠癌治疗规划建模为部分可观测下的交互式强化学习问题,用GRPO、GDPO优化Llama-3.1-8B-Instruct,使策略的临床奖励显著提升,为交互式临床RL提供了有效学习信号。
2026-10-14 cs.AI cs.LG
Learning to Select the Best Forecasting Tasks for Clinical Outcome Prediction
Google(谷歌公司)
提出一种元学习自监督患者轨迹预测学习规则的方法,通过优化表征在临床结局预测中的效用,在MIMIC-III数据集上验证了其在低资源下优于直接监督学习和全观测预训练。
2024-07-28 cs.AI cs.LG
Self-Supervised Reinforcement Learning for Recommender Systems
University of Glasgow(格拉斯哥大学);Telefonica Research(西班牙电信研究院);Google Research(谷歌研究院)
在基于会话或顺序推荐中,重要的是要考虑许多因素,如长期用户参与,多种类型的用户-项目交互,如点击,购买等,当前最先进的监督方法无法适当地建模。将顺序推荐任务转化为强化学习(RL)问题是一个很有前途的研究方向。强化学习方法的一个主要组成部分是通过与环境的交互来训练智能体。然而,由于需要将用户暴露于不相关的推荐,因此以在线方式训练推荐器通常是有问题的。因此,从记录的隐式反馈中学习策略是至关重要的,这是具有挑战性的,因为纯粹的政策设置和缺乏负奖励(反馈)。在本文中,我们提出了自监督强化学习的顺序推荐任务。我们的方法增加了标准推荐模型的两个输出层:一个用于自监督学习,另一个用于RL。RL部分充当正则化器以驱动监督层关注特定奖励(例如,推荐可能导致购买而不是点击的项目),而具有交叉熵损失的自监督层为参数更新提供强梯度信号。基于这种方法,我们提出了两个框架,即自监督Q学习(SQN)和自监督演员-评论家(SAC)。我们将建议的框架与四个国家的最先进的推荐模型。在两个真实数据集上的实验结果证明了该方法的有效性。
2020-06-11 cs.AI cs.LG
Towards Scalable SOAP Note Generation: A Weakly Supervised Multimodal Framework
Department of Computer Science, University of Maryland, Baltimore County(计算机科学系,马里兰大学巴尔的摩县分校);Department of Dermatology, Johns Hopkins University School of Medicine(皮肤科系,约翰霍普金斯大学医学院)
针对临床手动生成SOAP病历负担重、标注数据需求大的问题,提出弱监督多模态框架,可基于有限输入生成结构化SOAP病历,性能对标主流大模型,并推出两个新的临床质量评估指标。
2025-06-12 cs.AI cs.CV cs.LG
Combining Supervised Learning and Reinforcement Learning for Multi-Label Classification Tasks with Partial Labels
Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院);Zhejiang University(浙江大学);UCLA(加利福尼亚大学洛杉矶分校)
针对仅部分正类有标注的多标签正样本-未标记学习问题,提出结合强化学习探索能力与监督学习利用能力的MLPAC框架,在多类任务上验证了其泛化性与有效性。
2024-06-24 cs.AI cs.CL
Improving Context-Based Meta-Reinforcement Learning with Self-Supervised Trajectory Contrastive Learning
University of California, Berkeley(加利福尼亚大学伯克利分校);Tsinghua University(清华大学);Facebook Research(Facebook研究院)
Meta-强化学习通常需要比单任务强化学习方法多几个数量级的样本。这是因为元训练需要处理更多样化的分布和训练额外的组件,如上下文编码器。为了解决这个问题,我们提出了一种新的自监督学习任务,我们称之为轨迹对比学习(TCL),以改善元训练。TCL采用对比学习并训练上下文编码器来预测是否从同一轨迹采样两个过渡窗口。TCL利用了基于上下文的元RL的自然层次结构,并做出了最少的假设,使其能够普遍适用于基于上下文的元RL算法。它加速了上下文编码器的训练,并从整体上改进了元训练。实验表明,在大多数环境中,TCL在元RL MuJoCo(6个中的5个)和元世界基准测试(50个中的44个)上的表现都优于或优于强元RL基线。
2021-03-10 cs.AI cs.LG
Weakly Supervised Scene Text Detection using Deep Reinforcement Learning
Hasso Plattner Institute, University of Potsdam(波茨坦大学哈索·普拉特纳学院)
具有挑战性的场景文本检测领域需要复杂的数据注释,这是耗时和昂贵的。诸如弱监管等技术可以减少所需的数据量。本文提出了一种基于强化学习的弱监督场景文本检测方法。RL代理收到的奖励由神经网络估计,而不是从地面实况标签推断。首先,我们通过几种训练优化增强了现有的监督RL文本检测方法,使我们能够缩小与基于回归的算法的性能差距。然后,我们使用我们提出的系统在现实世界的数据上进行弱监督和半监督训练。我们的研究结果表明,在弱监督环境中进行训练是可行的。然而,我们发现在半监督环境中使用我们的模型,例如,当将标记的合成数据与未注释的真实世界数据相结合时,会产生最佳结果。
2022-01-13 cs.AI cs.CV cs.LG
Skin-SOAP: A Weakly Supervised Framework for Generating Structured SOAP Notes
Department of Computer Science, University of Maryland, Baltimore County(计算机科学系,马里兰大学巴尔的摩县分校);Department of Dermatology, Johns Hopkins University School of Medicine(皮肤科系,约翰霍普金斯大学医学院)
本文提出Skin-SOAP弱监督多模态框架,从病变图像和稀疏文本生成结构化SOAP笔记,性能媲美GPT-4o等模型,并引入两个新评估指标,减轻临床负担。
2025-08-07 cs.AI cs.CV cs.LG
Hybrid Code Networks: practical and efficient end-to-end dialog control with supervised and reinforcement learning
Microsoft Research(微软研究院);Brown University(布朗大学);JPMorgan Chase(摩根大通)
递归神经网络(RNN)的端到端学习是对话系统的一个有吸引力的解决方案;然而,目前的技术是数据密集型的,需要数千个对话框来学习简单的行为。我们介绍了混合代码网络(HCN),它将RNN与编码为软件和系统动作模板的特定领域知识相结合。与现有的端到端方法相比,HCN大大减少了所需的训练数据量,同时保留了推断对话状态的潜在表示的关键优势。此外,HCN可以用监督学习、强化学习或两者的混合来优化。HCN在bAbI对话数据集上获得了最先进的性能,并且优于两个商业部署的面向客户的对话系统。
2017-04-24 cs.AI cs.CL
Learning Interpretable Policies in Hindsight-Observable POMDPs through Partially Supervised Reinforcement Learning
Washington University in St. Louis(圣路易斯华盛顿大学)
提出部分监督强化学习(PSRL)框架,通过融合监督语义状态和无监督潜在表示作为策略网络输入,在部分可观测环境中提升模型可解释性,同时在奖励和收敛速度上保持或显著超越传统方法。
2024-02-14 cs.AI cs.LG
Learning from Bootstrapping and Stepwise Reinforcement Reward: A Semi-Supervised Framework for Text Style Transfer
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
文本风格迁移是可控语言生成中的一项重要任务。监督方法已经推动了面向风格的重写的性能改进,如形式转换。然而,由于许多领域缺乏大规模并行数据,挑战仍然存在。虽然无监督方法不依赖于每种风格的注释句子对,但它们经常受到不稳定性问题的困扰,例如模式坍塌或质量下降。为了利用监督和无监督范式并应对挑战,在这项工作中,我们提出了一个半监督的文本风格转换框架。首先,学习过程是引导与监督指导自动构建的伪并行对使用基于词汇和语义的方法。然后,模型通过强化奖励从未标记的数据中学习。具体来说,我们建议通过逐步奖励优化来提高序列到序列的策略梯度,提供细粒度的学习信号并稳定强化学习过程。实验结果表明,该方法在多个数据集上具有最佳的性能,并且仅需10%的训练数据就能产生有效的生成结果.
2022-05-19 cs.AI cs.CL
Self-Supervised Reinforcement Learning that Transfers using Random Features
Massachusetts Institute of Technology(麻省理工学院);University of Washington(华盛顿大学);University of Maryland(马里兰大学)
本文提出一种自监督强化学习方法,通过以随机特征为奖励对无模型RL进行预训练来隐式建模环境动态,并结合模型预测控制实现跨不同奖励任务的快速迁移,在多种操作与运动仿真任务中验证了有效性。
2023-05-26 cs.AI cs.LG
Benchmark Success, Clinical Failure: When Reinforcement Learning Optimizes for Benchmarks, Not Patients
Fraunhofer IAIS(弗劳恩霍夫人工智能研究所);University of Bonn(波恩大学);Lamarr Institute(拉马尔研究所);Department of Health Queensland(昆士兰健康部);Griffith University(格里菲斯大学);University Hospital Bonn(波恩大学医院)
ChexReason通过低资源强化学习在医学影像基准上表现优异,但其跨数据集迁移性下降,揭示了RL范式在临床应用中的局限性。
2026-01-02 cs.AI cs.LG
Self-supervised reinforcement learning for speaker localisation with the iCub humanoid robot
Italian Institute of Technology(意大利理工学院);University of Genova(热那亚大学);University of Lethbridge(莱斯布里奇大学)
在未来,机器人将与人类进行越来越多的互动,并且必须进行自然和有效的沟通。自动语音识别系统(ASR)将在创造自然交互和使机器人成为更好的伴侣方面发挥重要作用。人类擅长在嘈杂环境中进行语音识别,能够滤除噪音。在这种嘈杂的环境中,看一个人的脸是人类过滤语音所依赖的机制之一。拥有一个可以看向说话者的机器人可以在具有挑战性的环境中提高ASR的性能。为了实现这一目标,我们提出了一个基于自我监督强化学习的框架,该框架受到人类早期发展的启发,允许机器人自主创建一个数据集,该数据集后来用于学习使用深度学习网络来定位扬声器。
2020-11-12 cs.AI cs.RO
ResidencyRL: Reinforcement Learning in Simulated Clinical Environments
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院);Houston Methodist Hospital(休斯顿卫理公会医院);Trinity Health Group(三一健康集团);Stanford Oncology Partners(斯坦福肿瘤学伙伴);St. Luke Hospital(圣卢克医院)
本研究提出 ResidencyRL,通过多轮强化学习训练临床 AI 智能体,在模拟临床环境中提升诊断准确性、降低漏报率,且能力可迁移至多个医学基准测试,为临床 AI 发展提供了新路径。
2026-10-12 cs.AI cs.CL
CLEF: Clinically-Guided Contrastive Learning for Electrocardiogram Foundation Models
University College London(伦敦大学学院);Nokia Bell Labs(诺基亚贝尔实验室);University of Glasgow(格拉斯哥大学);Heart Hospital, Tampere University(塔尔皮奥大学心医院)
CLEF通过临床指导的对比学习方法,在未标注的ECG数据上预训练单导联基础模型,提升分类和回归任务的性能,实现更准确的远程健康监测。
2025-12-01 cs.AI cs.LG
SECRET: Semi-supervised Clinical Trial Document Similarity Search
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Medidata Solutions(Medidata解决方案)
该研究提出SECRET半监督方法,通过总结临床试验方案实现相似历史试验检索,在多项任务上显著优于基线,为优化试验设计提供参考。
2025-05-16 cs.AI cs.LG
Self-supervised learning of imaging and clinical signatures using a multimodal joint-embedding predictive architecture
Vanderbilt University(范德堡大学);Vanderbilt University Medical Center(范德堡大学医学中心)
本文提出利用未标注CT与电子健康记录进行JEPA自监督预训练,以改善肺结节多模态诊断,并展示其在内部队列中的优势及外部队列中的局限。
2025-09-18 cs.AI cs.CV
DISCO-TAB: A Hierarchical Reinforcement Learning Framework for Privacy-Preserving Synthesis of Complex Clinical Data
Computational Science Research Center, San Diego State University(圣地亚哥州立大学计算科学研究中心);School of Nursing and Department of Computer Science, University of California, Irvine(加州大学尔湾分校护理学院与计算机科学系);Fowler College of Business, San Diego State University(圣地亚哥州立大学福勒商学院);Department of Computer Science, San Diego State University(圣地亚哥州立大学计算机科学系)
本文提出DISCO-TAB框架,结合微调LLM与多目标判别器,通过强化学习优化,解决临床数据生成中的复杂依赖和类别不平衡问题,提升合成数据的临床有效性与统计真实性。
2026-04-01 cs.AI cs.LG
Trajectory Inspection: A Method for Iterative Clinician-Driven Design of Reinforcement Learning Studies
MIT(麻省理工学院);Harvard Medical School(哈佛医学院);Harvard Pilgrim Healthcare Institute(哈佛朝圣者医疗保健研究所)
强化学习(RL)具有显著改善临床决策的潜力。然而,通过RL从观察数据中学习的治疗策略对研究设计中的微妙选择很敏感。我们强调了一种简单的方法,轨迹检查,使临床医生进入一个迭代的设计过程,基于模型的RL研究。我们确定模型在哪里推荐了意想不到的积极治疗或期望从其建议中获得令人惊讶的积极结果。然后,我们检查临床轨迹与学习的模型和政策一起模拟实际的医院课程。将这种方法应用于最近关于RL用于脓毒症管理的工作,我们发现了对出院的模型偏倚,可能与小样本量有关的高血管加压药剂量的偏好,以及在不停用血管加压药的情况下出院的临床不合理预期。我们希望通过迭代检测和解决我们的方法发现的问题,将导致RL政策,激发更多的部署信心。
2020-12-21 cs.AI cs.LG
Multi-Modal Multi-Agent Reinforcement Learning for Radiology Report Generation
Department of Cardiovascular Medicine(心血管医学科)
本文提出MARL-Rad框架,通过多智能体强化学习提升放射学报告生成的临床效果,通过联合优化区域特定智能体和全局整合智能体,提高报告的准确性和一致性。
2026-05-08 cs.AI cs.CV cs.LG
Similarities between policy gradient methods (PGM) in Reinforcement learning (RL) and supervised learning (SL)
A.I Square Connect;Lamsade PSL(巴黎文理研究大学Lamsade实验室)
强化学习(RL)是关于顺序决策的,传统上与监督学习(SL)和无监督学习(USL)相反。在RL中,给定当前状态,代理做出可能影响下一状态的决策,而不是SL(和USL),其中下一状态保持不变,无论在批处理或在线学习中做出的决策如何。虽然SL和RL之间的这种差异是根本性的,但也有一些联系被忽视了。特别地,我们证明了在本文中,梯度策略方法可以被转换为一个监督学习的问题,真正的标签被替换为折扣奖励。我们提供了一个新的证明策略梯度方法(PGM),强调了紧密联系的交叉熵和监督学习。我们提供了一个简单的实验,我们交换标签和伪奖励。我们的结论是,如果我们明智地修改奖励函数,可以与SL的其他关系。
2019-05-02 cs.AI cs.LG stat.ML
Reinforcement Learning-Guided Semi-Supervised Learning
本文提出RLGSSL方法,将半监督学习建模为单臂老虎机问题,通过强化学习损失和奖励函数自适应利用有标签与无标签数据,并结合教师-学生框架,在多个基准数据集上取得优于现有SSL方法的性能。
2024-05-02 cs.AI cs.LG
Multi-Modal Mutual Information (MuMMI) Training for Robust Self-Supervised Deep Reinforcement Learning
National University of Singapore(新加坡国立大学)
这项工作的重点是使用多个可能不可靠的传感器来学习有用且鲁棒的深度世界模型。我们发现,目前的方法不足以鼓励模态之间的共享表示,这可能会导致下游任务的性能不佳和过度依赖特定的传感器。作为解决方案,我们贡献了一个新的多模态深层潜在状态空间模型,使用互信息下限进行训练。关键的创新是一个专门设计的密度比估计,鼓励每一种形式的潜在代码之间的一致性。我们的任务是在多模态Natural MuJoCo基准和具有挑战性的Table Wiping任务上学习策略(以自我监督的方式)。实验表明,我们的方法明显优于最先进的深度强化学习方法,特别是在存在缺失观测的情况下。
2021-07-06 cs.AI cs.LG cs.RO
Supervised Fine-Tuning as Inverse Reinforcement Learning
University of Cambridge(剑桥大学)
本文质疑偏好数据集的有效性,提出用示范数据对齐LLM,借鉴逆强化学习与模仿学习构建序贯决策框架,分析多种散度最小化方法及监督微调的优劣。
2024-03-18 cs.AI cs.CL cs.LG
There Is No Turning Back: A Self-Supervised Approach for Reversibility-Aware Reinforcement Learning
Inria(法国国家信息与自动化研究所);CRIStAL(里尔计算机科学、信号与自动化研究中心);CNRS(法国国家科学研究中心);Université de Lille(里尔大学);Google Research(谷歌研究院)
我们建议学习区分可逆和不可逆的动作,以便在强化学习(RL)中做出更明智的决策。从理论上考虑,我们表明,近似可逆性可以通过一个简单的替代任务:随机采样的轨迹事件按时间顺序排列。直觉上,总是以相同顺序观察到的事件对可能被不可逆的动作序列分开。方便的是,学习事件的时间顺序可以以完全自我监督的方式完成,我们使用这种方式来根据经验估计动作的可逆性,而无需任何先验知识。我们提出了两种不同的策略,将可逆性在RL代理,一个战略探索(RAE)和一个战略控制(RAC)。我们展示了可逆性感知代理在几个环境中的潜力,包括具有挑战性的推箱子游戏。在合成任务中,我们证明了我们可以学习永远不会失败的控制策略,并将交互的副作用减少到零,即使没有获得奖励功能。
2021-10-29 cs.AI cs.LG
Optimizing Medical Treatment for Sepsis in Intensive Care: from Reinforcement Learning to Pre-Trial Evaluation
Imperial College London(帝国理工学院)
我们的目标是建立一个框架,其中强化学习(RL)的优化干预措施回顾性地允许我们的监管合规的途径,在临床部署的前瞻性临床测试的学习政策。我们专注于重症监护病房的感染,这是死亡的主要原因之一,由于复杂和不透明的患者动态,以及临床上有争议的,每个患者所需的高度分歧的干预政策,而重症监护病房自然数据丰富。在我们的工作中,我们建立在医疗保健中的RL方法(“AI临床医生”)的基础上,并使用部分可观察MDP(POMDP)下的历史重症监护数据来学习用于脓毒症治疗的药物的政策外连续给药政策。POMPD通过吸收所有历史信息更好地捕捉患者状态的不确定性,从而产生有效的表示,我们通过消融进行调查。我们弥补了缺乏探索,在我们的回顾性数据,评估每个遇到的状态,最好的优先树搜索。我们减轻状态分布的转变,优化我们的政策在附近的临床医生的复合政策。至关重要的是,我们不仅使用传统的政策评估来评估我们的模型建议,而且还使用了一个新的框架,该框架包含了人类专家:一种与模型无关的临床前评估方法,用于评估临床医生的决策与我们的系统建议的准确性和不确定性,当面对相同的个体患者病史时(“阴影模式”)。
2020-03-18 cs.AI cs.LG
CREMA: A Contrastive Regularized Masked Autoencoder for Robust ECG Diagnostics across Clinical Domains
AI Group, Medical AI Co., Ltd.(医疗AI公司人工智能小组)
CREMA通过对比正则化掩码自编码与信号Transformer架构,在12导联心电图上进行自监督预训练,实现跨临床领域稳健且优于现有方法的心电图诊断基础模型。
2025-08-21 cs.AI cs.LG eess.SP
Shaping Sparse Rewards in Reinforcement Learning: A Semi-supervised Approach
Department of Mathematics, The University of Hong Kong (HKU)(香港大学数学系);Department of Data and Systems Engineering, HKU(香港大学数据与系统工程系);Musketeers Foundation Institute of Data Science, HKU(穆斯克特基金会数据科学研究所)
本文提出一种半监督方法,通过利用非零奖励转移和数据增强学习轨迹空间表示,提升稀疏奖励下的奖励塑造效果,在Atari和机器人操控任务中优于监督方法。
2026-05-15 cs.AI cs.LG
Instructions are all you need: Self-supervised Reinforcement Learning for Instruction Following
Shanghai Key Laboratory of Data Science, College of Computer Science and Artificial Intelligence, Fudan University(上海数据科学 key laboratory,复旦大学计算机科学与人工智能学院);School of Data Science, Fudan University(复旦大学数据科学学院);Ant Group(蚂蚁集团)
本文提出一种无需外部监督的自监督强化学习框架,通过直接从指令中生成奖励信号和伪标签来解决多约束任务中稀疏奖励问题,实验表明其在多个领域数据集上表现优异。
2026-04-14 cs.AI cs.CL
SURF: Semi-supervised Reward Learning with Data Augmentation for Feedback-efficient Preference-based Reinforcement Learning
KAIST(韩国科学技术院);University of Michigan(密歇根大学);LG AI Research(LG人工智能研究院);UC Berkeley(加州大学伯克利分校)
基于偏好的强化学习(RL)已经显示出潜在的教学代理执行目标任务,而无需昂贵的,预定义的奖励函数,通过学习奖励与监督者的偏好之间的两个代理行为。然而,基于偏好的学习通常需要大量的人类反馈,这使得这种方法很难应用于各种应用程序。另一方面,这个数据效率问题通常通过在监督学习的上下文中使用未标记的样本或数据增强技术来解决。受这些方法最近取得的成功的启发,我们提出了SURF,这是一种半监督奖励学习框架,它利用大量未标记样本和数据增强。为了利用未标记样本进行奖励学习,我们根据偏好预测器的置信度推断未标记样本的伪标签。为了进一步提高奖励学习的标记效率,我们引入了一种新的数据增强,从原始行为中临时裁剪连续的连续性。我们的实验表明,我们的方法显着提高了反馈效率的最先进的基于偏好的方法在各种运动和机器人操作任务。
2022-03-18 cs.AI cs.LG
Deep reinforcement learning with automated label extraction from clinical reports accurately classifies 3D MRI brain volumes
Memorial Sloan Kettering Cancer Center(纪念斯隆-凯特琳癌症中心);Indian Institute of Technology, Madras(马德拉斯印度理工学院)
目的:图像分类可能是成像AI中最基本的任务。然而,标记图像是耗时且繁琐的。我们最近已经证明,强化学习(RL)可以高精度地对MRI脑图像的2D切片进行分类。在这里,我们做了两个重要的步骤,加快图像分类:首先,我们自动提取类标签的临床报告。其次,我们将我们之前的2D分类工作扩展到我们机构的全3D图像卷。因此,我们继续如下:在第1部分中,我们使用SBERT自然语言处理方法自动从报告中提取标签。然后,在第2部分中,我们将这些标签与RL一起用于训练3D图像体积的分类Deep-Q网络(DQN)。方法:对于第1部分,我们用90份放射学报告印象训练SBERT。然后,我们使用经过训练的SBERT来预测第2部分中使用的类标签。在第2部分中,我们应用了多步图像分类,以允许使用3D卷积和TD(0)Q学习的组合Deep-Q学习。我们训练了一组90张图片。我们在一组单独的61张图像上进行了测试,再次使用第1部分中经过训练的SBERT从患者报告中预测的类别。为了进行比较,我们还使用相同的标签在同一组训练和测试图像上训练和测试了一个有监督的深度学习分类网络。结果如下:第一部分:在使用放射学报告的语料库进行训练后,SBERT模型对于正常和包含转移的扫描都具有100%的准确性。第二部分:然后,使用这些标签,而监督方法快速过拟合训练数据,并且正如预期的那样在测试集上表现不佳(66%的准确率,略高于随机猜测),强化学习方…
2021-06-17 cs.AI cs.CV
Self-Supervised Exploration via Temporal Inconsistency in Reinforcement Learning
National University of Defense Technology(国防科技大学)
本文针对稀疏外部奖励下的强化学习挑战,提出了一种受人类学习启发的内在奖励机制,通过自监督预测模型参数快照间的核范数时间不一致性及变分加权机制驱动探索,在基准环境中表现优于现有方法且无额外训练成本。
2023-06-27 cs.AI cs.LG
SUGAR: Subgraph Neural Network with Reinforcement Pooling and Self-Supervised Mutual Information Mechanism
Beihang University(北京航空航天大学);Macquarie University(麦考瑞大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Lehigh University(理海大学)
图表示学习越来越受到人们的关注。然而,大多数现有的研究融合了所有的结构特征和节点属性,以提供一个总体视图的图,忽略了更精细的子结构的语义,并遭受解释之谜。本文提出了一种新的分层子图级选择和嵌入的图神经网络的图分类,即糖,学习更多的判别子图表示和响应的解释性的方式。SUGAR通过提取显著子图作为原始图的代表部分来重建草图图,以揭示子图级模式。为了在不需要先验知识的情况下自适应地选择攻击子图,我们提出了一种增强池机制,提高了模型的泛化能力。为了区分图之间的子图表示,我们提出了一个自我监督的互信息机制,鼓励子图嵌入要注意的全局图的结构特性,最大限度地提高他们的互信息。在六个典型的生物信息学数据集上进行的大量实验表明,模型质量得到了显着和一致的改善,具有竞争力的性能和可解释性。
2021-05-24 cs.AI cs.LG