DeepSport: A Multimodal Large Language Model for Comprehensive Sports Video Reasoning via Agentic Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）；Rice University（Rice大学）；Johns Hopkins University（约翰霍普金斯大学）；University of California, Irvine（加州大学 Irvine分校）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
DeepSport通过代理强化学习实现多运动视频理解，首次端到端训练多任务模型，显著提升性能与泛化能力。
2026-03-11 cs.AI cs.CV
Multimodal Machine Translation with Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
多模态机器翻译是计算机视觉与语言处理相结合的应用之一。鉴于在机器翻译领域，许多最先进的算法仍然只采用文本信息，这是一项独特的任务。在这项工作中，我们探讨了强化学习在多模态机器翻译中的有效性。我们提出了一种基于Advantage Actor-Critic（A2 C）算法的新算法，该算法专门针对EMNLP 2018第三届机器翻译会议（WMT 18）的多模态机器翻译任务。我们在Multi 30 K多语言英语-德语图像描述数据集和Flickr 30 K图像实体数据集上实验了我们提出的算法。该模型采用图像和文本两种输入通道，使用翻译评价指标作为训练奖励，并取得了比监督学习MLE基线模型更好的结果。此外，我们还讨论了将强化学习用于机器翻译的前景和局限性。我们的实验结果表明，一个有前途的强化学习解决方案的一般任务的多模态序列到序列学习。
2018-05-07 cs.AI cs.CL cs.IR
Eliciting Self-Verification in Multimodal Reasoning Agents with Reinforcement Learning
University of Washington（华盛顿大学）；Amazon（亚马逊公司）
本文提出SVRL框架，通过强化学习训练多模态智能体在推理中自我验证和过滤检索证据，并引入搜索惩罚与查询多样性奖励，仅用5000个样本微调Qwen-2.5-VL-7B即显著提升多跳VQA泛化与工具效率。
2026-09-09 cs.AI cs.CL cs.CV
Effective Multimodal Reinforcement Learning with Modality Alignment and Importance Enhancement
University of Science and Technology of China（中国科学技术大学）；Netease Fuxi AI Lab（网易伏羲人工智能实验室）
许多现实世界的应用需要代理使用多模态信息（例如，具有多传感器输入的机器人）。然而，由于不同模态的异质性和动态重要性，通过强化学习（RL）训练智能体是非常具有挑战性的。具体来说，我们观察到这些问题使得传统的RL方法难以在具有多模态信息的端到端训练中学习有用的状态表示。为了解决这个问题，我们提出了一种新的多模态强化方法，可以做多模态对齐和重要性增强，根据它们的相似性和重要性方面的强化任务。通过这样做，我们能够学习有效的状态表示，从而改善RL训练过程。我们在几个多模态RL域上测试了我们的方法，表明它在学习速度和策略质量方面优于最先进的方法。
2023-02-18 cs.AI cs.LG
MM-R5: MultiModal Reasoning-Enhanced ReRanker via Reinforcement Learning for Document Retrieval
本文提出MM-R5，一种通过强化学习训练的多模态推理增强重排序器，采用SFT和RL两阶段训练，在MMDocIR基准上达到最先进性能，recall@1提升超4%。
2025-06-22 cs.AI cs.CL cs.CV
DeepEyesV2: Toward Agentic Multimodal Model
DeepEyesV2通过两阶段训练方法实现代理多模态模型，结合数据构建、训练优化和评估，提升现实世界推理与工具调用能力。
2026-03-11 cs.AI cs.CV
Consolidating Reinforcement Learning for Multimodal Discrete Diffusion Models
University of Chinese Academy of Sciences（中国科学院大学）
针对离散扩散模型强化学习优化的难题，提出MaskGRPO方法，通过构建适配的重要性估计器与视觉序列滚动推演方案，在多类基准上实现更稳定高效的优化，提升推理与生成效果。
2025-10-03 cs.AI
Training an Interactive Humanoid Robot Using Multimodal Deep Reinforcement Learning
University of Lincoln（林肯大学）；University of Toulouse III（图卢兹第三大学）
训练机器人使用多种模式进行感知、行动和通信仍然是一个具有挑战性的问题，特别是如果机器人希望从少量的示例交互中有效学习的话。我们描述了一种学习方法，作为朝着这个方向迈出的一步，我们教一个人形机器人如何玩零和十字架的游戏。考虑到可以训练多种多模态技能来玩这个游戏，我们将注意力集中在训练机器人感知游戏，并在这个游戏中进行交互。我们的多模态深度强化学习代理感知多模态特征，并在玩耍时表现出言语和非言语动作。使用模拟的实验结果表明，机器人可以学习赢得或绘制高达98%的游戏。一个试点测试所提出的多模式系统的目标游戏-整合语音，视觉和手势-报告，合理和流畅的互动，可以实现使用所提出的方法。
2016-11-26 cs.AI cs.LG cs.RO
VideoSearcher: Empowering Video Deep Research with Multi-Tool Agentic Reasoning via Reinforcement Learning
Stephengzk
针对视频理解局限，提出VideoSearcher框架，统一多任务于单推理轨迹，用强化学习算法BiSPO优化推理轨迹，构建新基准，实验表明其在多基准中显著优于开源基线。
2026-07-07 cs.AI cs.CV
Breaking the SFT Plateau: Multimodal Structured Reinforcement Learning for Chart-to-Code Generation
本文提出多模态结构强化学习（MSRL）以突破SFT平台，通过大规模实验构建最大训练语料库，并采用双阶段课程训练策略，提升图表到代码生成的高阶指标。
2026-03-16 cs.AI cs.CV
Applying Reinforcement Learning to Optimize Traffic Light Cycles
KAIST（韩国科学技术院）
本文提出用强化学习实时优化交通信号灯周期，并通过 Simulation Urban Mobility 模拟器训练 Deep Q-Network，实验显示紧急停车平均次数减少 44.16%，证明其能有效缓解拥堵并改善交通流。
2024-02-22 cs.AI cs.LG
Chain-of-Adaptation: Surgical Vision-Language Adaptation with Reinforcement Learning
University at Buffalo（布法罗大学）
本文提出链式适应框架，通过强化学习整合领域知识，保持模型推理和感知能力，在手术基准测试中实现更高的准确性和更稳定的性能。
2026-03-20 cs.AI cs.CV
PeRL: Permutation-Enhanced Reinforcement Learning for Interleaved Vision-Language Reasoning
Tsinghua University（清华大学）；Microsoft（微软）；CASIA（中国科学院自动化研究所）
PeRL通过图像序列置换与展开过滤机制，增强交错多模态强化学习的探索-利用平衡，在多图像基准上超越现有基线，同时保持单图像任务性能。
2025-06-17 cs.AI cs.CV
On the convergence of cycle detection for navigational reinforcement learning
我们考虑了一个强化学习框架，其中代理必须从开始状态导航到目标状态。我们证明了收敛的周期检测学习算法的一类任务，我们称之为可简化的。可归约任务有一个非循环的解决方案。我们还在句法上描述了最终策略的形式。该特征可用于精确检测仿真中的收敛点。我们的研究结果表明，即使是简单的算法可以成功地学习一大类的非平凡的任务。此外，我们的框架是初级的，因为我们只使用基本概念来正式证明收敛性。
2016-01-05 cs.AI cs.LG
IVR-R1: Refining Trajectories through Iterative Visual-Grounded Reasoning in Reinforcement Learning
Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院）；School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院）；Kuaishou Technology（快手科技）；Shenzhen Institute of Advanced Integration Technology, Shenzhen（深圳先进集成技术研究院）
提出IVR-R1框架，利用奖励驱动的筛选机制和迭代再推理循环，在强化学习中动态校正多模态推理轨迹，以解决视觉幻觉和逻辑错误问题。
2026-05-18 cs.AI cs.CV cs.LG
Scaling Multimodal Search and Recommendation with Small Language Models via Upside-Down Reinforcement Learning
Adobe（Adobe公司）；Meta
本文通过倒置强化学习和合成数据蒸馏，利用小语言模型实现高效多模态搜索与推荐，显著降低推理延迟和内存开销。
2025-12-03 cs.AI cs.CL cs.LG
MORE-CLEAR: Multimodal Offline Reinforcement learning for Clinical notes Leveraged Enhanced State Representation
Seoul National University Hospital（首尔国立大学医院）
提出MORE-CLEAR多模态离线强化学习框架，利用LLM提取临床笔记语义表征并结合门控融合与跨模态注意力整合多模态数据，显著提升了脓毒症管理的生存率与策略性能。
2025-08-11 cs.AI cs.LG
E-MRL: Cross-view Aligned Evidence-driven Multimodal Reinforcement Learning for Reliable 3D Tumor Analysis
Zhejiang University（浙江大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Hupan Lab（华平实验室）；Huazhong University of Science and Technology（华中科技大学）；East China Normal University（华东师范大学）；Shanghai Jiao Tong University（上海交通大学）
提出跨视图对齐的证据驱动多模态强化学习框架E-MRL，通过将生成过程建模为“诊断-定位-验证”的马尔可夫决策过程，并引入跨视图一致性奖励，减少视觉幻觉并提升3D CT肿瘤诊断准确性。
2026-06-24 cs.AI cs.CV eess.IV
GraMRAG: Orchestrating Multi-Agent Multi-Step Reasoning via Graph Memory with Reinforcement Learning
Beihang University（北京航空航天大学）
针对多智能体RAG系统推理深度不足与状态盲区问题，提出图记忆引导框架GraMRAG，结合视觉-文本桥接推理与拓扑感知策略优化，在复杂多模态长时程推理任务上取得最先进性能。
2026-09-15 cs.AI cs.CL cs.CV
Omni-AutoThink: Adaptive Multimodal Reasoning via Reinforcement Learning
The Chinese University of Hong Kong（香港中文大学）；Meituan（美团）
Omni-AutoThink通过强化学习实现自适应多模态推理，提升模型在不同任务难度下的推理能力。
2025-12-04 cs.AI cs.SD
RLEMMO: Evolutionary Multimodal Optimization Assisted By Deep Reinforcement Learning
South China University of Technology（华南理工大学）；Xidian University（西安电子科技大学）
针对现有多模态优化人工自适应策略灵活性不足的问题，提出融合强化学习与注意力机制的元黑箱优化框架RLEMMO，可灵活调整个体搜索策略，在CEC2013基准上性能优于多个强基线。
2024-04-12 cs.AI cs.NE
MORE-3S:Multimodal-based Offline Reinforcement Learning with Shared Semantic Spaces
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Waterloo（滑铁卢大学）
本文提出MORE-3S，通过将图像状态与文本动作对齐到共享语义空间，把离线强化学习转化为有监督学习任务，在Atari和OpenAI Gym上显著超越现有基线。
2024-02-20 cs.AI cs.GT
Fly, Fail, Fix: Iterative Game Repair with Reinforcement Learning and Large Multimodal Models
本文提出将强化学习智能体作为游戏测试者、大型多模态模型作为设计者的迭代框架，通过分析行为轨迹自动修订游戏配置，实现AI辅助游戏设计的实用化。
2025-07-16 cs.AI cs.LG
Finding path and cycle counting formulae in graphs with Deep Reinforcement Learning
University of Rouen Normandy（鲁昂诺曼底大学）；University of Tours（图尔大学）
本文提出文法强化学习（GRL），结合蒙特卡洛树搜索与变压器建模下推自动机，在上下文无关文法中自动发现新的矩阵公式，使图路径和环计数效率较最先进方法提升2至6倍。
2025-01-23 cs.AI cs.FL
Meta-TTRL: A Metacognitive Framework for Self-Improving Test-Time Reinforcement Learning in Unified Multimodal Models
Tsinghua University（清华大学）
Meta-TTRL通过元认知信号实现测试时间参数优化，提升统一多模态模型的自改进能力，在文本到图像生成任务中取得显著成果。
2026-03-16 cs.AI cs.LG
Sense, Imagine, Act: Multimodal Perception Improves Model-Based Reinforcement Learning for Head-to-Head Autonomous Racing
University of Michigan（密歇根大学）
本文提出一种自监督多模态传感器融合方法，结合LiDAR和RGB相机观测改进Dreamer智能体的世界模型，在零样本头对头赛车中提升鲁棒性并赢得最多比赛。
2023-05-08 cs.AI cs.LG cs.RO
ThinkDeception: A Progressive Reinforcement Learning Framework for Interpretable Multimodal Deception Detection
Xi'an Jiaotong-Liverpool University（西安交通大学利物浦大学）
提出ThinkDeception框架，将多模态大语言模型引入欺骗检测，通过逐步推理和视觉-音频一致性组相对策略优化（VAC-GRPO）实现可解释的认知推理，在主流基准上达到新SOTA。
2026-06-18 cs.AI
Multimodal Sentiment Analysis with Word-Level Fusion and Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
随着YouTube和Facebook等视频分享网站的日益普及，多模态情感分析越来越受到科学界的关注。与以前的多模态情感分析的工作，专注于整体信息的语音段，如袋的话表示和平均面部表情强度，我们开发了一种新的深度架构多模态情感分析，执行模态融合在单词级别。在本文中，我们提出了具有时间注意力的门控多模态嵌入LSTM（GME-LSTM（A））模型，该模型由2个模块组成。门控多模态嵌入技术解决了多模态噪声情况下的融合问题。具有时间注意力的LSTM以输入模态之间更精细的融合分辨率执行单词级融合，并关注最重要的时间步长。因此，GME-LSTM（A）能够更好地对语音的多模态结构进行建模，并执行更好的情感理解。我们通过实现最先进的情感分类和回归结果，在公开的情感强度和主观性分析（CMU-MOSI）数据集上证明了这种方法的有效性。对我们的模型的定性分析强调了时间注意层在情感预测中的重要性，因为附加的声学和视觉模态是嘈杂的。我们还证明了门控多模态嵌入的有效性，有选择地过滤这些嘈杂的方式。我们的研究结果和分析开辟了人类交流中情感分析研究的新领域，并为多模态融合提供了新的模型。
2018-02-03 cs.AI cs.CL cs.LG
Multimodal Reward Shaping for Efficient Exploration in Reinforcement Learning
The Chinese University of Hong Kong Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
保持智能体的长期探索能力仍然是深度强化学习的关键挑战之一。一个代表性的解决方案是利用奖励塑造来为智能体提供内在奖励以鼓励探索。然而，大多数现有的方法遭受消失的内在奖励，这不能提供可持续的勘探激励。此外，它们严重依赖于复杂的模型和额外的存储器来记录学习过程，导致高计算复杂性和低鲁棒性。为了解决这个问题，提出了基于熵的方法来评估全局探索性能，鼓励代理更公平地访问状态空间。然而，估计状态访问熵的样本复杂性是禁止处理高维观测环境时。在本文中，我们引入了一种新的度量称为Jain的公平性指数（JFI），以取代熵正则化，从一个全新的角度解决了探索问题。与熵正则化器形成鲜明对比的是，JFI更具可计算性和鲁棒性，并且可以很容易地推广到任意任务中。此外，我们利用变分自动编码器（VAE）模型来捕获状态的终身新颖性，并将其与全局JFI得分相结合，以形成多模态内在奖励。最后，大量的仿真结果表明，我们的多模态奖励塑造（MMRS）方法可以实现更高的性能比其他基准计划。
2021-09-18 cs.AI cs.LG
ToolSciVer: Multimodal Scientific Claim Verification with Visual Tool Augmented Reinforcement Learning
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Waterloo（滑铁卢大学）
研究多模态科学声明验证问题，提出ToolSciVer框架，为视觉语言模型配备三种类型感知视觉工具，用组相对策略优化训练策略，实验证明该方法在多模型上性能优于竞争基线。
2026-07-20 cs.AI cs.CL
Dual-Flow Reinforcement Learning with State-Aware Exploration
State Key Laboratory of Intelligent Green Vehicle and Mobility, Tsinghua University（智能绿色车辆与移动国家重点实验室，清华大学）；Tsinghua University-Toyota Joint Center（清华大学-丰田联合中心）；Tsinghua University–SAIC GM Wuling Joint Research Center（清华大学-上汽通用五菱联合研究中心）
提出Dual-Flow RL框架，利用条件流匹配联合建模回报分布和多模态策略，并引入熵-协方差探索调节器实现状态感知探索，在连续控制任务中达到最优性能。
2026-06-29 cs.AI cs.LG
Anticipatory Planning for Multimodal AI Agents
University of Maryland, College Park（马里兰大学学院公园分校）；The Ohio State University（俄亥俄州立大学）；Adobe Research（Adobe研究）；State University of New York at Buffalo（纽约州立大学布法罗分校）
本文提出TraceR1框架，通过前瞻性轨迹推理提升多模态代理的规划能力，实现更稳定的执行和泛化性能。
2026-03-17 cs.AI
OmniVerifier-M1: Multimodal Meta-Verifier with Explicit Structured Recalibration
Tsinghua University（清华大学）；Pennsylvania State University（宾夕法尼亚州立大学）；University of Southern California（南加州大学）；Microcyto；Princeton University（普林斯顿大学）
提出OmniVerifier-M1，通过符号化元验证（如边界框）和解耦强化学习，实现多模态大模型的可靠细粒度验证与动态区域级自校正。
2026-05-27 cs.AI cs.CL cs.CV
Interpretable Deep Reinforcement Learning for Element-level Bridge Life-cycle Optimization
Portland State University（波特兰州立大学）
本文提出一种可解释的深度强化学习方法，通过构件级状态表示寻找最优生命周期策略，采用可解释的斜决策树结构，结合可微软树模型、温度退火和正则化剪枝，提升政策可解释性和可审计性。
2026-04-02 cs.AI cs.LG
RAMAC: Multimodal Risk-Aware Offline Reinforcement Learning and the Role of Behavior Regularization
University of California, Davis（加州大学戴维斯分校）
提出RAMAC框架，结合分布性评论家与生成式演员（如扩散模型），通过条件风险价值与行为克隆的复合目标实现离线强化学习中的风险敏感学习，抑制分布外动作并提升CVaR。
2026-06-15 cs.AI cs.LG
Process-Supervised Reinforcement Learning for Interactive Multimodal Tool-Use Agents
Johns Hopkins University（约翰霍普金斯大学）
本文提出轮次级裁定强化学习（TARL），利用LLM裁判进行过程监督，结合语音-文本交错沙盒与混合任务课程，在$τ$-bench上提升任务通过率超6%，并成功赋予多模态基础模型工具使用能力。
2025-09-17 cs.AI cs.CL cs.MA
Multimodal Reinforcement Learning with Adaptive Verifier for AI Agents
Microsoft Research（微软研究院）；UMass Amherst（马萨诸塞大学阿默斯特分校）；ETH Zurich（苏黎世联邦理工学院）；UW–Madison（威斯康星大学麦迪逊分校）
本文提出Argos验证器，通过结合SFT数据筛选与RL训练，提升多模态推理模型在空间推理、视觉幻觉及机器人任务中的性能，同时减少奖励黑客问题。
2026-08-03 cs.AI
Dynamic multi-agent deep reinforcement learning-based pricing and incentivization approach in multimodal transportation networks
University of California, Berkeley（加州大学伯克利分校）；Technical University of Denmark（丹麦技术大学）
提出多智能体深度强化学习框架，通过动态定价和激励策略协调公共交通与共享出行服务，平衡效率、公平与收益，实验表明可降低通勤成本20%、排放10%并提升公平性。
2026-06-23 cs.AI cs.LG math.OC
Removing Temporal Note Redundancy Improves Multimodal Reinforcement Learning for Medicine
该研究针对机械通气决策的RL方法缺失笔记临床信息的问题，提出冗余感知多模态框架，通过两种策略去除笔记冗余，在ICU数据上显著提升了RL临床决策性能。
2026-08-17 cs.AI cs.LG
Multimodal Dreaming: A Global Workspace Approach to World Model-Based Reinforcement Learning
Univ Toulouse, CNRS, CerCo, and ANITI, Artificial and Natural Intelligence Toulouse Institute（图卢兹大学、法国国家科学研究中心、CerCo以及ANITI人工智能与自然智能图卢兹研究所）
该研究提出结合全局工作空间（GW）与世界模型的强化学习系统GW-Dreamer，通过在GW潜空间进行做梦模拟减少训练交互步数，还具备单观测模态缺失下的强鲁棒性，为提升强化学习智能体决策能力提供新方向。
2025-10-28 cs.AI cs.LG q-bio.NC
FlowPortrait: Reinforcement Learning for Audio-Driven Portrait Video Generation
Johns Hopkins University（约翰霍普金斯大学）
FlowPortrait通过强化学习框架结合多模态模型和人类对齐评估系统，提升音频驱动肖像视频生成的质量和表现力。
2026-02-25 cs.AI cs.CV cs.MM
HyperEyes: Dual-Grained Efficiency-Aware Reinforcement Learning for Parallel Multimodal Search Agents
Xiaohongshu Inc.（小红书公司）；University of Cambridge（剑桥大学）
HyperEyes通过双粒度效率感知强化学习，实现并行多模态搜索代理，提升搜索效率与准确性，其在六个基准测试中超越现有开源代理。
2026-05-11 cs.AI cs.LG
Optimization of geological carbon storage operations with multimodal latent dynamic model and deep reinforcement learning
College of Engineering, Peking University（北京大学工学院）；Ningbo Institute of Digital Twin, Eastern Institute of Technology（东方理工大学宁波数字孪生研究院）；The University of Hong Kong（香港大学）；Peng Cheng Laboratory（鹏城实验室）
本文提出多模态潜在动态（MLD）深度学习模型，结合软演员-评论家（SAC）深度强化学习，用于地质碳封存井控优化，在将计算资源降低60%以上的同时实现最高净现值，并展现出对新场景的强泛化能力。
2024-06-07 cs.AI cs.LG stat.AP
Data-Driven Transferred Energy Management Strategy for Hybrid Electric Vehicles via Deep Reinforcement Learning
Chongqing University（重庆大学）；Chongqing Normal University（重庆师范大学）；Chongqing University of Arts and Sciences（重庆文理学院）
实时应用的能源管理策略（EMS）的混合动力电动汽车（HEV）的研究人员和工程师的最苛刻的要求。受深度强化学习（DRL）出色的问题解决能力的启发，本文提出了一种通过结合DRL方法和迁移学习（TL）的实时EMS。相关的EMS是来自和评估的真实世界收集的驾驶循环数据集从交通安全数据中心（TSDC）。具体的DRL算法是策略梯度技术中的邻近策略优化算法。为了规范，利用许多源驱动循环来训练基于PPO的深度网络的参数。在TL框架下，将学习到的参数转换为目标驾驶循环。在不同的训练条件下，估计和比较与目标驾驶循环相关的EMS。仿真结果表明，所提出的基于转移DRL的EMS可以有效地减少时间消耗，并保证控制性能。
2022-12-13 cs.AI eess.SP
Nonprehensile Planar Manipulation through Reinforcement Learning with Multimodal Categorical Exploration
The University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）
提出基于分类分布的多模态探索强化学习方法，解决了非抓握式平面推动任务中精度低和运动简单的问题，实现了对任意位姿的高精度、鲁棒操作及仿真到真实机器人的迁移。
2023-08-04 cs.AI cs.LG cs.RO
C2F-Thinker: Coarse-to-Fine Reasoning with Hint-Guided Reinforcement Learning for Multimodal Sentiment Analysis
School of Computer Science, South China Normal University（华南师范大学计算机科学学院）；School of Electronic and Information Engineering, South China University of Technology（华南理工大学电子与信息工程学院）
本文提出C2F-Thinker框架，通过粗到细结构推理与提示引导强化学习，提升多模态情感分析的可解释性和泛化能力。
2026-04-12 cs.AI cs.CL
Towards Robust On-Ramp Merging via Augmented Multimodal Reinforcement Learning
Michigan Technological University（密歇根理工大学）；University of Science and Technology of China（中国科学技术大学）
尽管人工智能车载感知取得了成功，但入口匝道合并一直是自动驾驶面临的主要挑战之一。由于车载传感器的感知范围有限，并道车辆很难观察到主干道的路况并道。通过利用联网车辆和自动驾驶车辆（CAV）之间的无线通信，合并CAV有可能主动获取附近车辆的意图。然而，CAV可能容易出现不准确的观测，例如嘈杂的基本安全信息（BSM）和质量差的监视图像。在本文中，我们提出了一种新的方法，通过增强和多模态强化学习，命名为RAMRL的CAV的鲁棒入口匝道合并。具体来说，我们制定了一个马尔可夫决策过程（MDP）的入口匝道合并问题，考虑到驾驶安全，舒适的驾驶行为，和交通效率。为了提供可靠的合并操作，我们同时利用BSM和监控图像进行多模态观察，用于通过近端策略优化（PPO）学习策略模型。此外，为了提高数据效率并提供更好的泛化性能，我们训练增强数据（例如，噪声BSM和噪声监视图像）。在两种典型的合流场景下，利用城市移动性仿真平台（SUMO）进行了大量的实验。实验结果表明，我们的鲁棒入口匝道合并设计的有效性和效率。
2022-07-21 cs.AI cs.LG cs.RO
DEFT: Diverse Ensembles for Fast Transfer in Reinforcement Learning
深度集成已经被证明可以将典型集成学习中的积极效果扩展到神经网络和强化学习（RL）。然而，仍有许多工作要做，以提高这种集成模型的效率。在这项工作中，我们提出了用于RL中快速传输的多样化集成（DEFT），这是一种新的基于集成的方法，用于高度多模态环境中的强化学习，并改进了对未知环境的传输。该算法被分解为两个主要阶段：训练集合成员，以及将集合成员合成（或微调）为在新环境中工作的策略。该算法的第一阶段涉及并行地训练常规策略梯度或行动者-批评者代理，但是向损失添加一个项，该项鼓励这些策略彼此不同。这使得个体单峰代理探索最优政策的空间，并比单个行为者捕获更多的环境多模态。DEFT的第二阶段涉及将组件策略合成为一个新策略，该新策略以两种方式之一在修改后的环境中工作良好。为了评估DEFT的性能，我们从一个基本版本的近端策略优化（PPO）算法开始，并扩展它与DEFT的修改。我们的研究结果表明，预训练阶段是有效的，在多模态环境中产生不同的政策。DEFT通常比其他方法更快地收敛到高回报，例如没有DEFT的随机初始化和对集合成员的微调。虽然在理论上分析DEFT并将其扩展到更强大方面还有更多的工作要做，但我们相信它提供了一个强大的框架，可以在环境中捕获多模态，同时仍然使用具有简单策略表示的RL方法。
2022-09-26 cs.AI cs.LG
Cycle-of-Learning for Autonomous Systems from Human Interaction
US Army Research Laboratory（美国陆军研究实验室）；Columbia University（哥伦比亚大学）；Texas A&M University（得克萨斯农工大学）
我们讨论了不同类型的人与机器人的交互模式的培训端到端的强化学习算法的上下文中。我们提供了一个分类来分类人类互动的类型，并提出了我们的学习周期框架的自治系统，结合不同的人类互动方式与强化学习。我们的学习周期框架提供的两个关键概念是它如何处理不同的人机交互方式（演示，干预和评估）的整合，以及如何定义它们之间的切换标准。
2018-10-09 cs.AI cs.HC cs.RO
Secure Tug-of-War (SecTOW): Iterative Defense-Attack Training with Reinforcement Learning for Multimodal Model Security
Institute of Artificial Intelligence (TeleAI), China Telecom, China（人工智能研究院（TeleAI），中国电信，中国）；Northwestern Polytechnical University（西北工业大学）；China Telecom, China（中国电信，中国）
针对多模态大语言模型安全训练数据稀疏、现有方法存在内在脆弱性或过度拒绝问题，提出基于GRPO强化学习的迭代攻防训练框架SecTOW，通过攻防迭代扩展越狱数据并优化防御，兼顾安全性与通用性能。
2025-07-29 cs.AI cs.CR
Token-Sparse Medical Multimodal Reasoning via Dual-Stream Reinforcement Learning
提出双流强化学习框架ViToS，通过主动视觉令牌剪枝实现令牌稀疏的医学多模态推理，在七个医学基准上减少77%令牌并提升性能。
2026-07-01 cs.AI cs.CV
CH-MARL: A Multimodal Benchmark for Cooperative, Heterogeneous Multi-Agent Reinforcement Learning
Alexa AI, Amazon Inc（亚马逊公司Alexa人工智能部门）；University of Southern California（南加州大学）
我们提出了一个多模态（视觉和语言）合作和异构多智能体学习的基准。我们引入了一个基准多模态数据集，其任务涉及在丰富的多房间家庭环境中多个模拟异构机器人之间的协作。我们提供了一个集成的学习框架，最先进的多智能体强化学习技术的多模态实现，以及一致的评估协议。我们的实验研究了不同模式对多智能体学习性能的影响。我们还介绍了一个简单的代理之间的消息传递方法。研究结果表明，多模态引入了独特的挑战，合作多智能体学习和有显着的空间，在这种情况下，推进多智能体强化学习方法。
2022-08-26 cs.AI cs.CV cs.LG
EMO-R3: Reflective Reinforcement Learning for Emotional Reasoning in Multimodal Large Language Models
School of Computer Science, Wuhan University（武汉大学计算机学院）；MiLM Plus, Xiaomi Inc.（小米公司）
针对多模态大语言模型情感推理难题，提出EMO-R3框架。引入结构化情感思维并设计反射情感奖励，经大量实验验证，该框架显著提升模型可解释性与情商，在多视觉情感理解基准测试中表现出色。
2026-07-09 cs.AI cs.CV
Difference Feedback: Generating Multimodal Process-Level Supervision for VLM Reinforcement Learning
Shenzhen International Graduate School, Tsinghua University, China（清华大学深圳国际研究生院）
本文提出差分反馈方法，通过修复错误推理轨迹自动构建token/步骤级监督掩码，实现多模态推理中的过程级视觉对齐，实验显示在MMMStar和MathVista基准上平均提升3%。
2026-03-29 cs.AI cs.CV
