VideoSearcher: Empowering Video Deep Research with Multi-Tool Agentic Reasoning via Reinforcement Learning
Stephengzk
针对视频理解局限,提出VideoSearcher框架,统一多任务于单推理轨迹,用强化学习算法BiSPO优化推理轨迹,构建新基准,实验表明其在多基准中显著优于开源基线。
2026-07-07 cs.AI cs.CV
Opportunities and Challenges from Using Animal Videos in Reinforcement Learning for Navigation
Boston University(波士顿大学)
我们研究了使用动物视频(观察)来提高强化学习(RL)在具有稀疏奖励的导航任务中的效率和性能。出于理论考虑,我们将加权策略优化用于非策略RL,并描述了从动物视频中学习时的主要挑战。我们提出解决方案,并在一系列2D导航任务上测试我们的想法。我们展示了我们的方法如何利用动物视频来提高RL算法的性能,而RL算法不利用这些观察结果。
2022-11-10 cs.AI cs.CV cs.LG
TRIMMER: A New Paradigm for Video Summarization through Self-Supervised Reinforcement Learning
Universitat Pompeu Fabra(庞培法布拉大学);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
TRIMMER通过自监督强化学习框架,在视频摘要中实现高效且可扩展的语义表示,优于传统方法在长时序依赖和语义结构的捕捉能力。
2026-05-03 cs.AI cs.CV
ActionSpotter: Deep Reinforcement Learning Framework for Temporal Action Spotting in Videos
ONERA(法国航空航天实验室);Sorbonne Université(索邦大学);Université Paris Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心)
摘要视频内容是许多应用中的重要任务。该任务可以定义为计算视频中存在的动作的有序列表。可以使用动作检测算法来提取这样的列表。然而,没有必要确定动作的时间边界来知道它们的存在。此外,定位精确的边界通常需要密集的视频分析才能有效。在这项工作中,我们建议通过稀疏浏览视频并选择每个动作实例的一帧来直接计算此有序列表,该任务在文献中称为动作定位。为了做到这一点,我们提出了一种定位算法,它利用深度强化学习来有效地定位动作,同时调整其视频浏览速度,而无需额外的监督。在数据集THUMOS 14和ActivityNet上进行的实验表明,我们的框架优于最先进的检测方法。特别是,THUMOS 14上的点样平均精度从59.7%显著提高到65.6%,同时跳过23%的视频。
2020-11-10 cs.AI cs.CV cs.LG
VideoZoomer: Reinforcement-Learned Temporal Focusing for Long Video Reasoning
Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学)
VideoZoomer通过强化学习实现动态时序聚焦,提升长视频推理性能和效率。
2025-12-26 cs.AI cs.CV
Reinforcement Learning with Videos: Combining Offline Observations with Interaction
University of Pennsylvania(宾夕法尼亚大学);University of California Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
强化学习是机器人从经验中获取技能的强大框架,但通常需要大量的在线数据汇集。因此,很难收集机器人广泛推广所需的足够多样化的经验。另一方面,人类的视频是广泛而有趣的经验的现成来源。在本文中,我们考虑这样一个问题:我们可以直接对人类收集的经验进行强化学习吗?这个问题是特别困难的,因为这样的视频没有用动作注释,并且相对于机器人的实施例表现出显著的视觉域偏移。为了应对这些挑战,我们提出了一个视频强化学习(RLV)的框架。RLV使用人类收集的经验结合机器人收集的数据来学习策略和价值函数。在我们的实验中,我们发现RLV能够利用这些视频来学习具有挑战性的基于视觉的技能,其样本数量不到从头开始学习的RL方法的一半。
2021-11-04 cs.AI cs.CV cs.LG
Learning to Identify Critical States for Reinforcement Learning from Videos
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);The Swiss AI Lab IDSIA/USI/SUPSI(瑞士人工智能实验室(IDSIA/USI/SUPSI));NNAISENSE(NNAISENSE公司)
本文提出 Deep State Identifier,无需标注即可从强化学习视频中预测回报,并通过基于掩码的敏感性分析识别关键状态,从而理解和改进智能体行为。
2023-08-15 cs.AI cs.CV
Contribution-aware Token Compression for Efficient Video Understanding via Reinforcement Learning
CaCoVID通过强化学习优化token选择策略,以提高视频理解任务的效率。
2026-02-28 cs.AI cs.CV
Reinforcement Learning with Action-Free Pre-Training from Videos
KAIST(韩国科学技术院);UC Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
最近的无监督预训练方法已被证明是有效的语言和视觉领域通过学习有用的表示多个下游任务。在本文中,我们研究这种无监督的预训练方法是否也可以有效地用于基于视觉的强化学习(RL)。为此,我们引入了一个框架,通过生成预训练视频来学习对理解动态有用的表示。我们的框架包括两个阶段:我们预训练一个无动作的潜在视频预测模型,然后利用预训练的表示在看不见的环境中有效地学习动作条件世界模型。为了在微调过程中加入额外的动作输入,我们引入了一种新的架构,将动作条件潜在预测模型堆叠在预训练的无动作预测模型之上。此外,为了更好地探索,我们提出了一个基于视频的内在奖励,它利用了预先训练的表示。我们证明,我们的框架显着提高了最终的性能和基于视觉的RL在各种操作和运动任务的采样效率。代码可在https://github.com/younggyoseo/apv上获得。
2022-06-16 cs.AI cs.CV
A Deep Reinforcement Learning Approach for Ramp Metering Based on Traffic Video Data
Tongji University(同济大学);New York University(纽约大学)
匝道控制是利用交通信号来调节匝道上的车流量,以提高高速公路的机动性。以往的研究通常基于点检测器收集的预定义交通测量值(如交通量和占用率)实时更新信号配时。与点检测器相比,交通摄像机可以覆盖更大的区域,提供更详细的交通信息,并已越来越多地部署在道路网络中。在这项工作中,我们提出了一种深度强化学习(DRL)方法,以探索交通视频数据在提高匝道控制效率方面的潜力。该方法使用交通视频帧作为输入,并直接从高维视觉输入中学习最优控制策略。一个真实的案例研究表明,与一个国家的实践方法相比,建议的日间行车线方法的结果在1)更低的旅行时间在主线,2)更短的车辆排队在入口匝道,和3)更高的交通流量下游的合并区。结果表明,该方法能够从视频数据中提取有用的信息,更好地匝道控制。
2020-12-09 cs.AI cs.CV
FlowPortrait: Reinforcement Learning for Audio-Driven Portrait Video Generation
Johns Hopkins University(约翰霍普金斯大学)
FlowPortrait通过强化学习框架结合多模态模型和人类对齐评估系统,提升音频驱动肖像视频生成的质量和表现力。
2026-02-25 cs.AI cs.CV cs.MM
Read, Watch, and Move: Reinforcement Learning for Temporally Grounding Natural Language Descriptions in Videos
Baidu Inc.(百度公司);Research Center for Social Computing and Information Retrieval, Harbin Institute of Technology(哈尔滨工业大学社会计算与信息检索研究中心)
视频接地的任务,即在时间上定位视频中的自然语言描述,在理解视频中起着重要的作用。现有的研究采用了在整个视频上滑动窗口或在预分割的视频中对所有可能的剪辑句子对进行详尽排名的策略,这不可避免地会受到详尽列举的候选人的影响。为了缓解这个问题,我们制定了这个任务作为一个问题的顺序决策,通过学习的代理,逐步规范其政策的基础上的时间接地边界。具体来说,我们提出了一个基于强化学习的框架,通过多任务学习进行改进,并且通过在训练过程中考虑额外的监督边界信息,显示出稳定的性能增益。我们提出的框架在ActivityNet'18 DenseCaption数据集和Charades-STA数据集上实现了最先进的性能,同时每个视频只观察10个或更少的剪辑。
2019-01-21 cs.CV
Thinking With Videos: Multimodal Tool-Augmented Reinforcement Learning for Long Video Reasoning
针对多模态大模型长视频推理中跨模态交互不足、幻觉多的问题,提出端到端工具增强推理框架VITAL,构建多任务数据集并设计难度感知强化学习算法,在11个基准上实现性能提升。
2025-09-03 cs.CV
Oracle-RLAIF: An Improved Fine-Tuning Framework for Multi-modal Video Models using Reinforcement Learning from Ranking Feedback
Stanford University(斯坦福大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Microsoft(微软公司)
提出Oracle-RLAIF框架,用通用排序器替代奖励模型,结合基于GRPO的排名损失函数GRPO_rank,实现更高效的多模态视频模型微调,在多个基准上优于现有方法。
2026-06-23 cs.AI cs.CV
STRIVE: Structured Spatiotemporal Exploration for Reinforcement Learning in Video Question Answering
University of Bonn(波恩大学);Microsoft(微软);Meta;Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔人工智能与机器学习研究所)
STRIVE通过构建多时空变体和联合归一化提升视频问答的奖励信号,采用重要性感知采样机制增强策略更新稳定性,实验表明在多个大模型上提升了视频推理性能。
2026-05-10 cs.CV
VideoSSR: Video Self-Supervised Reinforcement Learning
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);Shanghai Jiao Tong University(上海交通大学);Wuhan University(武汉大学)
本文提出 VideoSSR 视频自监督强化学习框架,通过异常定位、目标计数和时间拼图三个代理任务从视频内在信息中自生成可验证训练数据,并在 17 个基准上平均提升超过 5%。
2025-11-09 cs.CV
DeepSport: A Multimodal Large Language Model for Comprehensive Sports Video Reasoning via Agentic Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院);Rice University(Rice大学);Johns Hopkins University(约翰霍普金斯大学);University of California, Irvine(加州大学 Irvine分校);University of California, Santa Barbara(加州大学圣巴巴拉分校)
DeepSport通过代理强化学习实现多运动视频理解,首次端到端训练多任务模型,显著提升性能与泛化能力。
2026-03-11 cs.AI cs.CV
VideoCuRL: Video Curriculum Reinforcement Learning with Orthogonal Difficulty Decomposition
School of Electronic and Computer Engineering, Peking University(电子与计算机工程学院,北京大学)
VideoCuRL通过正交分解视频理解中的视觉复杂性和认知复杂性,提出了一种新的课程强化学习框架,提升了视频推理和感知任务的性能。
2025-12-31 cs.CV
Datasets and Recipes for Video Temporal Grounding via Reinforcement Learning
Bytedance(字节跳动);Zhejiang University(浙江大学)
针对视频时序定位模型时序感知与泛化不足的问题,本文提出结合高质量冷启动SFT与难度可控强化学习的两阶段框架,并在多个基准上验证其性能提升。
2025-07-24 cs.AI cs.CV
FrameMind: Frame-Interleaved Video Reasoning via Reinforcement Learning
University of California, Merced(加州大学默塞德分校);University of California, Los Angeles(加州大学洛杉矶分校);The University of Queensland(昆士兰大学)
针对固定帧采样策略无法适配视频推理需求的问题,提出强化学习训练的FrameMind框架,结合FiCOT实现多轮动态视觉信息请求,通过DRFS和DRFS-GRPO优化采样策略,在多个基准上取得SOTA性能。
2025-10-05 cs.AI cs.CV
Reinforcement Learning with Dual-Observation for General Video Game Playing
Southern University of Science and Technology(南方科技大学);University of Birmingham(伯明翰大学);New York University(纽约大学)
强化学习算法在玩具有挑战性的棋盘游戏和视频游戏时表现良好。提高强化学习算法的泛化能力是越来越多的研究重点。通用视频游戏AI学习竞赛旨在开发能够学习玩在训练期间看不到的不同游戏级别的代理。本文总结了五年来通用视频游戏AI学习竞赛的版本。在每一个版本中,都设计了三个新游戏。在前三个版本中,培训和测试级别是分开设计的。自2020年起,每场比赛的三个测试级别通过扰动或合并两个训练级别产生。然后,我们提出了一种新的强化学习技术与一般的视频游戏玩双观察,假设它更有可能观察到类似的局部信息在不同的水平,而不是全球信息。我们提出的一般技术不是直接输入当前游戏屏幕的单个原始基于像素的屏幕截图,而是将游戏屏幕的编码,转换的全局和局部观察作为两个同时输入,旨在学习用于玩新关卡的局部信息。我们提出的技术是用三种最先进的强化学习算法实现的,并在2020年通用视频游戏AI学习竞赛的游戏集上进行了测试。消融研究显示了使用编码、转换的全局和局部观测值作为输入的出色性能。
2022-03-31 cs.AI
Tree-Structured Policy based Progressive Reinforcement Learning for Temporally Language Grounding in Video
Sun Yat-sen University(中山大学);Beihang University(北京航空航天大学);DarkMatter AI Research(DarkMatter AI研究院)
未裁剪视频中的时间语言基础是视频理解领域的一个新课题。现有的方法大多效率低下,缺乏可解释性,偏离了人类的感知机制。受人类从粗到细的决策范式的启发,我们提出了一种新型的基于树结构策略的渐进式强化学习(TSP-PRL)框架,通过迭代细化过程顺序调节时间边界。语义概念被显式地表示为策略中的分支,这有助于有效地将复杂的策略分解为可解释的原始动作。渐进式强化学习通过两个任务导向的奖励机制提供正确的信用分配,鼓励树结构策略中的相互促进。我们在Charades-STA和ActivityNet数据集上对TSP-PRL进行了广泛的评估,实验结果表明,TSP-PRL与现有的最先进的方法相比具有竞争力的性能。
2020-01-18 cs.CV
Robustness Evaluation for Video Models with Reinforcement Learning
Hewlett Packard Enterprise(慧与科技)
本文提出一种多智能体强化学习方法,协同学习视频的敏感时空区域,在保持时间连贯性的同时生成精细扰动,实现更有效的鲁棒性评估,并在Lp指标和平均查询次数上优于现有方法。
2025-06-05 cs.AI cs.CV cs.LG
Reinforcement Learning for Unsupervised Video Summarization with Reward Generator Training
本文提出基于强化学习的无监督视频摘要方法,通过奖励生成器训练提升摘要质量与稳定性。
2025-12-22 cs.AI cs.CV cs.LG
Learning Spatiotemporal Sensitivity in Video LLMs via Counterfactual Reinforcement Learning
Hong Kong University of Science and Technology(香港科技大学);Tencent(腾讯)
本文提出CRPO方法,通过反事实强化学习提升视频大语言模型对时空动态的敏感性,通过构建反事实视频并引入反事实关系奖励,有效抑制了依赖静态线索的简略策略,从而在DyBench基准测试中提升了模型的时空敏感性。
2026-09-29 cs.AI cs.CV
Video-Enhanced Offline Reinforcement Learning: A Model-Based Approach
针对离线强化学习因缺乏环境交互存在的行为次优、价值估计不准问题,提出基于模型的VeoRL方法,利用无标注在线视频构建世界模型并迁移常识知识,在多类视觉控制任务上实现显著性能提升。
2025-05-17 cs.AI cs.LG cs.RO
Heterogeneous 360 Degree Videos in Metaverse: Differentiated Reinforcement Learning Approaches
Nanyang Technological University(南洋理工大学)
本文针对元宇宙中非VR与VR 360度视频混合传输场景,提出基于帧时隙结构的差异化深度强化学习方法,设计SIDO和MIDO两种结构进行逐帧优化,并通过实验验证其在满足不同帧率和晕动症要求方面的有效性。
2023-08-08 cs.AI cs.NI
Dynamic Token Compression for Efficient Video Understanding through Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室)
本文提出SCORE框架,通过强化学习学习自适应令牌压缩策略,有效解决视频理解中的计算成本和上下文旋转问题,实现16倍的预填充加速且性能损失仅0.5%。
2026-03-27 cs.CV
VideoChat-R1: Enhancing Spatio-Temporal Perception via Reinforcement Fine-Tuning
Shanghai AI Laboratory(上海人工智能实验室);Nanjing University(南京大学);Zhejiang University(浙江大学);University of Science and Technology of China(中国科学技术大学);Shanghai Innovation Institute(上海创新研究院);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究所)
本文针对视频理解的长程时间关联等挑战,提出通过强化微调(RFT)将时空特定奖励整合到多模态大语言模型中,开发出VideoChat-R1,在时间定位等任务上显著提升,为真实世界视频理解智能体奠定基础。
2025-11-11 cs.CV
Deep Reinforcement Learning Using a Low-Dimensional Observation Filter for Visual Complex Video Game Playing
Universidade Federal de Santa Maria(圣玛丽亚联邦大学);Universidade Federal de Rio Grande(里奥格兰德联邦大学);Universidad Tecnológica del Uruguay(乌拉圭技术大学)
深度强化学习(Deep Reinforcement Learning,DRL)自提出以来已经取得了巨大的成就,包括处理原始视觉输入数据的可能性。然而,训练智能体根据图像反馈执行任务仍然是一个挑战。它需要逐帧处理来自高维观测空间的大量数据,并且根据深度神经网络策略端到端计算代理的动作。图像预处理是减少这些高维空间、消除场景中存在的不必要信息、支持特征提取及其在智能体的神经网络中的表示的有效方法。现代视频游戏是DRL算法面临这类挑战的例子,因为它们的视觉复杂性。在本文中,我们提出了一个低维的观察过滤器,允许深度Q-网络代理成功地发挥在视觉上复杂的和现代的视频游戏,称为霓虹灯驱动器。
2022-04-24 cs.AI cs.CV cs.RO
Retrieval of surgical phase transitions using reinforcement learning
University College London(伦敦大学学院);University Hospital Leuven(鲁汶大学医院)
在微创手术中,从视频分析中分割手术流程是一个很好的研究课题。传统的方法将其定义为多类分类问题,其中各个视频帧被赋予手术阶段标签。我们介绍了一种新的强化学习制定离线相变检索。我们识别每个相变的时间戳,而不是试图对每个视频帧进行分类。通过构造,我们的模型不会产生杂散和噪声相变,而是连续的相位块。我们研究两种不同的配置,这个模型。第一种方法不需要处理视频中的所有帧(在2种不同的应用中仅处理<60%和<20%的帧),同时产生的结果略低于最先进的精度。第二种配置处理所有视频帧,并以可比的计算成本优于最先进的技术。我们将我们的方法与最近在公共数据集Cholec 80和腹腔镜骶骨阴道固定术的内部数据集上表现最好的基于帧的方法TeCNO和Trans-SVNet进行了比较。我们对我们的算法进行了基于帧的(准确度,精度,召回率和F1分数)和基于事件的(事件比率)评估。
2022-08-01 cs.AI cs.CV
OmniNFT: Modality-wise Omni Diffusion Reinforcement for Joint Audio-Video Generation
University of Science and Technology of China(中国科学技术大学);Peking University(北京大学);JD Explore Academy(京东探索研究院)
本文提出OmniNFT,通过模态感知强化学习框架解决多模态联合生成中的模态一致性、梯度不平衡和信用分配问题,提升音频视频感知质量与同步性能。
2026-05-12 cs.AI cs.CV
Diagnosing and exploiting the computational demands of videos games for deep reinforcement learning
Carney Institute for Brain Science, Brown University(布朗大学卡尼脑科学研究所)
本文提出 LCD 工具,用于分别量化电子游戏任务的感知与强化学习需求,并据此重构 Procgen 挑战分类、指导 dRL 算法开发。
2023-09-22 cs.AI cs.CV cs.LG
Unsupervised Video Object Segmentation for Deep Reinforcement Learning
University of Waterloo(滑铁卢大学)
我们提出了一种新的深度强化学习技术,可以自动检测移动对象并使用相关信息进行动作选择。通过从运动中利用运动恢复结构,以无监督的方式进行运动对象的检测。该代理不是直接从原始图像中学习策略,而是首先通过利用视频序列中的流信息来学习检测和分割移动对象。然后使用学习的表示将代理的策略集中在移动对象上。随着时间的推移,智能体识别哪些对象对决策至关重要,并根据相关的移动对象逐步建立策略。这种方法我们称之为面向运动的强化学习(MOREL),它在一系列Atari游戏中得到了演示,其中检测移动物体的能力减少了获得良好策略所需的与环境的交互量。此外,所产生的策略比直接将图像映射到具有黑盒神经网络的动作或值的策略更可解释。我们可以通过检查代理检测到的每个对象的分割和运动来深入了解策略。这使得从业人员能够确认政策是否基于合理的信息做出决策。
2018-05-20 cs.AI cs.CV cs.LG
Energy-Efficient Parking Analytics System using Deep Reinforcement Learning
University of Pittsburgh(匹兹堡大学)
深度视觉技术的进步和无处不在的智能摄像头将推动下一代视频分析。然而,视频分析应用程序消耗大量的能量,因为深度学习技术和相机都是耗电的。在本文中,我们专注于停车视频分析平台,并提出了RL-CamSleep,一种基于深度强化学习的技术,来驱动摄像机,以减少能源足迹,同时保持系统的实用性。我们的主要见解是,许多视频分析应用程序并不总是需要运行,我们可以设计策略,仅在必要时激活视频分析。此外,我们的工作是对专注于提高硬件和软件效率的现有工作的补充。我们评估我们的方法在城市规模的停车数据集有76个街道遍布城市。我们的分析展示了街道如何有各种停车模式,强调了适应性政策的重要性。我们的方法可以学习这种自适应策略,可以将平均能耗降低76.38%,并在执行视频分析时实现98%以上的平均准确度。
2022-04-20 cs.AI cs.CV cs.LG
Inverse reinforcement learning for video games
UC Berkeley(加州大学伯克利分校)
深度强化学习在一系列视频游戏环境中实现了超人的性能,但需要设计师手动指定奖励函数。提供目标行为的演示通常比设计描述该行为的奖励函数更容易。逆强化学习(IRL)算法可以从低维连续控制环境中的演示中推断出奖励,但将IRL应用于高维视频游戏的工作很少。在我们的CNN-AIRL基线中,我们修改了最先进的对抗IRL(AIRL)算法,将CNN用于生成器和迭代器。为了稳定训练,我们将奖励标准化,并增加训练数据集的大小。我们还学习了一个低维的状态表示使用一种新的自动编码器架构调整为视频游戏环境。这种嵌入被用作奖励网络的输入,提高了专家演示的样本效率。我们的方法在简单的Catcher视频游戏上实现了高水平的性能,大大优于CNN-AIRL基线。我们还在Enduro Atari赛车游戏上得分,但与专家性能不匹配,突出了进一步工作的必要性。
2018-10-24 cs.AI cs.LG stat.ML
ChronoForge-RL: Chronological Forging through Reinforcement Learning for Enhanced Video Understanding
本文提出ChronoForge-RL框架,通过时序顶点蒸馏与关键帧感知的分组相对策略优化实现高效关键帧选择与时序推理,在VideoMME和LVBench上显著超越基线,使7B模型达到72B模型的性能。
2025-09-19 cs.AI cs.CV
ViaRL: Adaptive Temporal Grounding via Visual Iterated Amplification Reinforcement Learning
Fudan University(复旦大学);Microsoft(微软公司)
针对现有视频理解框架缺乏有效帧选择训练信号、标注成本高的问题,提出ViaRL框架,用基于规则的强化学习结合迭代放大策略训练帧选择器,在多个基准上实现更优时序定位性能与泛化性。
2025-05-21 cs.AI cs.CV
TimeSearch-R: Adaptive Temporal Search for Long-Form Video Understanding via Self-Verification Reinforcement Learning
ByteDance(字节跳动);School of Computer Science, Peking University(北京大学计算机科学学院)
TimeSearch-R 将长视频时序搜索重构为交错文本-视频推理,通过带完整性自验证的强化学习(GRPO-CSV)优化搜索策略,在多个长视频理解基准上取得显著提升并刷新 LongVideoBench 最优结果。
2025-11-07 cs.AI cs.CV
Real-world Video Adaptation with Reinforcement Learning
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Facebook
客户端视频播放器采用自适应比特率(ABR)算法来优化用户体验质量(QoE)。我们评估最近提出的基于RL的ABR方法在Facebook的基于Web的视频流媒体平台。现实世界的ABR包含几个挑战,需要定制的设计超出了现成的RL算法-我们实现了一个可扩展的神经网络架构,支持视频与任意比特率编码;我们设计了一种训练方法,以应对由网络条件的随机性造成的差异;我们利用约束贝叶斯优化奖励塑造,以优化冲突的QoE目标。在为期一周的全球部署中,超过3000万个视频流会话,我们的RL方法优于现有的人工ABR算法。
2020-08-28 cs.AI cs.NI
Training LLMs with Reinforcement Learning over Digital Twin Representations for Reasoning-Intensive Surgical VideoQA
Johns Hopkins University(约翰霍普金斯大学)
提出强化学习框架,通过手术基础模型构建数字孪生表示,解耦视觉感知与推理,并引入分层表示与新型奖励,在三个基准上取得最优性能。
2026-06-17 cs.CV
Fast Retinomorphic Event Stream for Video Recognition and Reinforcement Learning
Rice University(莱斯大学);IIT-Delhi(德里印度理工学院);Olin College of Engineering(奥林工程学院);Baylor College of Medicine(贝勒医学院)
良好的时间表示对于视频理解是至关重要的,并且最先进的视频识别框架基于双流网络。在这种框架中,除了负责RGB帧输入的常规ConvNets之外,还引入了第二个网络来处理时间表示,通常是光流(OF)。然而,OF或其他面向任务的流在计算上是昂贵的,并且因此通常是预先计算的。重要的是,这阻止了双流方法应用于强化学习(RL)应用,例如视频游戏,其中下一个状态取决于当前状态和动作选择。受哺乳动物和昆虫的早期视觉系统的启发,我们提出了一种快速事件驱动表示(EDR),它对早期视网膜回路的几个主要特性进行了建模:(1)对数输入响应,(2)多时间尺度时间平滑以过滤噪声,以及(3)用于原始事件检测的双极(ON/OFF)通路[12]。EDR将方向信息与快速(> 9000 fps)相权衡,在需要智能体与世界之间交互的视频应用中(例如游戏、虚拟机器人和领域自适应)实现快速实时推理/学习。在这种情况下,我们使用EDR来证明Atari游戏的最先进的强化学习算法的性能改进,这是预先计算的OF不可能实现的。此外,与UCF-101视频动作识别实验,我们表明,EDR执行接近国家的最先进的准确性,同时实现了1,500倍的加速,在输入表示处理,相比,光流。
2018-05-19 cs.CV
GIRL-DETR: Gradient-Isolated Reinforcement Learning for Video Moment Retrieval
College of Electronics and Information Engineering, Sichuan University(四川大学电子信息工程学院);School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院)
针对视频时刻检索中连续代理损失与非可微指标不匹配导致的优化停滞问题,提出梯度隔离强化学习框架GIRL-DETR,通过冻结骨干网络并采用三阶段渐进强化学习策略直接优化tIoU指标,在轻量级模型中实现定位精度提升。
2026-05-30 cs.AI cs.CV
Deep Reinforcement Learning for Visual Object Tracking in Videos
University of California at Santa Barbara(加州大学圣塔芭芭拉分校);Samsung Research America(三星美国研究院)
在本文中,我们介绍了一个完全端到端的方法,视觉跟踪的视频,学习预测的限界框位置的目标对象在每一帧。一个重要的见解是,跟踪问题可以被认为是一个顺序的决策过程和历史语义编码高度相关的信息,为未来的决策。基于这种直觉,我们将我们的模型制定为与视频超时交互的递归卷积神经网络代理,并且我们的模型可以使用强化学习(RL)算法进行训练,以学习良好的跟踪策略,这些策略关注连续的帧间相关性,并从长远来看最大化跟踪性能。所提出的跟踪算法在现有的跟踪基准中实现了最先进的性能,并且以比实时更快的帧速率操作。据我们所知,我们的跟踪器是第一个将卷积和递归网络与RL算法相结合的神经网络跟踪器。
2017-04-10 cs.CV cs.LG
VidForensics-M1: Meta-Detection Reinforcement Learning with Verifiable Temporal Grounding for AI-Generated Video Forensics
Tsinghua University(清华大学);Peking University(北京大学);Renmin University of China(中国人民大学);Microsoft(微软公司)
该研究针对AI生成视频检测泛化性不足的问题,首次将元检测引入该领域,提出结合可验证时间证据的VidForensics-M1模型及相关机制,实现了鲁棒可泛化的检测。
2026-08-12 cs.CV
Combining Reinforcement Learning and Behavior Trees for NPCs in Video Games with AMD Schola
Advanced Micro Devices (AMD)(先进微器件(AMD))
本文针对商业游戏中RL驱动的NPC应用缓慢问题,提出结合RL与传统行为树的方法,并利用AMD Schola在复杂3D环境中验证了多任务NPC的可行性,提供了联合训练的详细方法论。
2025-10-15 cs.AI cs.LG
Exploring the Effect of Reinforcement Learning on Video Understanding: Insights from SEED-Bench-R1
The University of Hong Kong(香港大学);ARC Lab, Tencent PCG(腾讯平台与内容事业群ARC实验室);The Chinese University of Hong Kong(香港中文大学)
本文提出 SEED-Bench-R1 基准,系统评估强化学习在多模态大模型视频理解中的训练后效果,发现 RL 比监督微调更具数据效率且性能更优,但存在推理链逻辑连贯性不足等问题。
2025-03-31 cs.AI cs.CL cs.CV
Reinforcement Learning Tuning for VideoLLMs: Reward Design and Data Efficiency
BUAA(北京航空航天大学);NUS(国立大学新加坡);Meituan(美团)
本文提出基于GRPO的双奖励强化学习调优方法,结合方差感知数据选择策略,以更少训练数据提升VideoLLM在视频语义与时序推理任务上的性能。
2025-06-02 cs.CV
TeViR: Text-to-Video Reward with Diffusion Models for Efficient Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
本文提出TeViR方法,利用预训练文本到视频扩散模型生成密集奖励,在11个机器人任务中无需真实环境奖励即超越SOTA方法,显著提升了样本效率和性能。
2025-06-24 cs.AI cs.RO
Test-time Reinforcement Learning for Anomalous Video Understanding
针对异常视频理解中视频大模型适应不足的问题,提出测试时强化学习框架,通过双查询过滤、熵感知奖励和虚拟负锚点机制,在VAU-Bench上显著提升准确率至90%。
2026-09-23 cs.CV
AvatarShield: Visual Reinforcement Learning for Human-Centric Synthetic Video Detection
Peking University(北京大学);South China University of Technology(华南理工大学);RabbitPre AI
针对以人为中心的全身合成视频检测的研究空白,提出AvatarShield多模态检测框架,结合离散视觉塔与残差提取器,引入FakeHumanVid基准数据集,在域内和跨域检测中均优于现有方法。
2025-09-23 cs.AI cs.CV
MVR: Multi-view Video Reward Shaping for Reinforcement Learning
School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院);State Key Laboratory of General Artificial Intelligence, BIGAI(通用人工智能国家重点实验室)
MVR通过多视角视频和视觉语言模型提升强化学习中的奖励塑造,有效解决复杂动态任务中的状态相关性和视角偏见问题。
2026-03-02 cs.AI cs.CV cs.LG
Deep Reinforcement Learning in Computer Vision: A Comprehensive Survey
深度强化学习增强了强化学习框架,并利用了深度神经网络的强大表示。最近的工作已经证明了深度强化学习在各个领域的显着成功,包括金融,医学,医疗保健,视频游戏,机器人和计算机视觉。在这项工作中,我们提供了一个详细的审查和国家的最先进的研究进展,深度强化学习在计算机视觉。我们从理解深度学习、强化学习和深度强化学习的理论开始。然后,我们提出了一个分类的深度强化学习方法,并讨论其优点和局限性。特别是,我们根据深度强化学习在计算机视觉中的应用将其分为七个主要类别,即(i)地标定位(ii)目标检测;(iii)目标跟踪;(iv)2D图像和3D图像体积数据的配准(v)图像分割;(vi)视频分析;以及(vii)其他应用。这些类别中的每一个都将通过强化学习技术、网络设计和性能进行进一步分析。此外,我们还对现有的公开数据集进行了全面的分析,并检查了源代码的可用性。最后,我们提出了一些开放的问题,并讨论了计算机视觉中深度强化学习的未来研究方向
2021-08-25 cs.AI cs.CV
Robustness and Visual Explanation for Black Box Image, Video, and ECG Signal Classification with Reinforcement Learning
Hewlett Packard Enterprise(慧与公司)
提出一种通用强化学习框架,通过最小畸变制作对抗攻击并生成定位掩码,在图像、视频和ECG信号分类中优于现有方法,提升了模型的鲁棒性与可解释性。
2024-04-22 cs.AI cs.CR cs.CV