Reinforcement Learning with Action-Free Pre-Training from Videos
KAIST(韩国科学技术院);UC Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
最近的无监督预训练方法已被证明是有效的语言和视觉领域通过学习有用的表示多个下游任务。在本文中,我们研究这种无监督的预训练方法是否也可以有效地用于基于视觉的强化学习(RL)。为此,我们引入了一个框架,通过生成预训练视频来学习对理解动态有用的表示。我们的框架包括两个阶段:我们预训练一个无动作的潜在视频预测模型,然后利用预训练的表示在看不见的环境中有效地学习动作条件世界模型。为了在微调过程中加入额外的动作输入,我们引入了一种新的架构,将动作条件潜在预测模型堆叠在预训练的无动作预测模型之上。此外,为了更好地探索,我们提出了一个基于视频的内在奖励,它利用了预先训练的表示。我们证明,我们的框架显着提高了最终的性能和基于视觉的RL在各种操作和运动任务的采样效率。代码可在https://github.com/younggyoseo/apv上获得。
2022-06-16 cs.AI cs.CV
A Deep Reinforcement Learning Approach for Ramp Metering Based on Traffic Video Data
Tongji University(同济大学);New York University(纽约大学)
匝道控制是利用交通信号来调节匝道上的车流量,以提高高速公路的机动性。以往的研究通常基于点检测器收集的预定义交通测量值(如交通量和占用率)实时更新信号配时。与点检测器相比,交通摄像机可以覆盖更大的区域,提供更详细的交通信息,并已越来越多地部署在道路网络中。在这项工作中,我们提出了一种深度强化学习(DRL)方法,以探索交通视频数据在提高匝道控制效率方面的潜力。该方法使用交通视频帧作为输入,并直接从高维视觉输入中学习最优控制策略。一个真实的案例研究表明,与一个国家的实践方法相比,建议的日间行车线方法的结果在1)更低的旅行时间在主线,2)更短的车辆排队在入口匝道,和3)更高的交通流量下游的合并区。结果表明,该方法能够从视频数据中提取有用的信息,更好地匝道控制。
2020-12-09 cs.AI cs.CV
Video Prediction Models as Rewards for Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
本文提出VIPER算法,利用预训练视频预测模型从无标签专家视频中提取奖励信号,在DMC、Atari和RLBench任务中实现无需程序化奖励的专家级控制,并支持跨具身泛化。
2023-05-30 cs.AI cs.CV cs.LG
Oracle-RLAIF: An Improved Fine-Tuning Framework for Multi-modal Video Models using Reinforcement Learning from Ranking Feedback
Stanford University(斯坦福大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Microsoft(微软公司)
提出Oracle-RLAIF框架,用通用排序器替代奖励模型,结合基于GRPO的排名损失函数GRPO_rank,实现更高效的多模态视频模型微调,在多个基准上优于现有方法。
2026-06-23 cs.AI cs.CV
ActionSpotter: Deep Reinforcement Learning Framework for Temporal Action Spotting in Videos
ONERA(法国航空航天实验室);Sorbonne Université(索邦大学);Université Paris Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心)
摘要视频内容是许多应用中的重要任务。该任务可以定义为计算视频中存在的动作的有序列表。可以使用动作检测算法来提取这样的列表。然而,没有必要确定动作的时间边界来知道它们的存在。此外,定位精确的边界通常需要密集的视频分析才能有效。在这项工作中,我们建议通过稀疏浏览视频并选择每个动作实例的一帧来直接计算此有序列表,该任务在文献中称为动作定位。为了做到这一点,我们提出了一种定位算法,它利用深度强化学习来有效地定位动作,同时调整其视频浏览速度,而无需额外的监督。在数据集THUMOS 14和ActivityNet上进行的实验表明,我们的框架优于最先进的检测方法。特别是,THUMOS 14上的点样平均精度从59.7%显著提高到65.6%,同时跳过23%的视频。
2020-11-10 cs.AI cs.CV cs.LG
DeepSport: A Multimodal Large Language Model for Comprehensive Sports Video Reasoning via Agentic Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院);Rice University(Rice大学);Johns Hopkins University(约翰霍普金斯大学);University of California, Irvine(加州大学 Irvine分校);University of California, Santa Barbara(加州大学圣巴巴拉分校)
DeepSport通过代理强化学习实现多运动视频理解,首次端到端训练多任务模型,显著提升性能与泛化能力。
2026-03-11 cs.AI cs.CV
Datasets and Recipes for Video Temporal Grounding via Reinforcement Learning
Bytedance(字节跳动);Zhejiang University(浙江大学)
针对视频时序定位模型时序感知与泛化不足的问题,本文提出结合高质量冷启动SFT与难度可控强化学习的两阶段框架,并在多个基准上验证其性能提升。
2025-07-24 cs.AI cs.CV
FrameMind: Frame-Interleaved Video Reasoning via Reinforcement Learning
University of California, Merced(加州大学默塞德分校);University of California, Los Angeles(加州大学洛杉矶分校);The University of Queensland(昆士兰大学)
针对固定帧采样策略无法适配视频推理需求的问题,提出强化学习训练的FrameMind框架,结合FiCOT实现多轮动态视觉信息请求,通过DRFS和DRFS-GRPO优化采样策略,在多个基准上取得SOTA性能。
2025-10-05 cs.AI cs.CV
Opportunities and Challenges from Using Animal Videos in Reinforcement Learning for Navigation
Boston University(波士顿大学)
我们研究了使用动物视频(观察)来提高强化学习(RL)在具有稀疏奖励的导航任务中的效率和性能。出于理论考虑,我们将加权策略优化用于非策略RL,并描述了从动物视频中学习时的主要挑战。我们提出解决方案,并在一系列2D导航任务上测试我们的想法。我们展示了我们的方法如何利用动物视频来提高RL算法的性能,而RL算法不利用这些观察结果。
2022-11-10 cs.AI cs.CV cs.LG
Learning Spatiotemporal Sensitivity in Video LLMs via Counterfactual Reinforcement Learning
Hong Kong University of Science and Technology(香港科技大学);Tencent(腾讯)
本文提出CRPO方法,通过反事实强化学习提升视频大语言模型对时空动态的敏感性,通过构建反事实视频并引入反事实关系奖励,有效抑制了依赖静态线索的简略策略,从而在DyBench基准测试中提升了模型的时空敏感性。
2026-09-29 cs.AI cs.CV
Reinforcement Learning with Videos: Combining Offline Observations with Interaction
University of Pennsylvania(宾夕法尼亚大学);University of California Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
强化学习是机器人从经验中获取技能的强大框架,但通常需要大量的在线数据汇集。因此,很难收集机器人广泛推广所需的足够多样化的经验。另一方面,人类的视频是广泛而有趣的经验的现成来源。在本文中,我们考虑这样一个问题:我们可以直接对人类收集的经验进行强化学习吗?这个问题是特别困难的,因为这样的视频没有用动作注释,并且相对于机器人的实施例表现出显著的视觉域偏移。为了应对这些挑战,我们提出了一个视频强化学习(RLV)的框架。RLV使用人类收集的经验结合机器人收集的数据来学习策略和价值函数。在我们的实验中,我们发现RLV能够利用这些视频来学习具有挑战性的基于视觉的技能,其样本数量不到从头开始学习的RL方法的一半。
2021-11-04 cs.AI cs.CV cs.LG
Retrieval of surgical phase transitions using reinforcement learning
University College London(伦敦大学学院);University Hospital Leuven(鲁汶大学医院)
在微创手术中,从视频分析中分割手术流程是一个很好的研究课题。传统的方法将其定义为多类分类问题,其中各个视频帧被赋予手术阶段标签。我们介绍了一种新的强化学习制定离线相变检索。我们识别每个相变的时间戳,而不是试图对每个视频帧进行分类。通过构造,我们的模型不会产生杂散和噪声相变,而是连续的相位块。我们研究两种不同的配置,这个模型。第一种方法不需要处理视频中的所有帧(在2种不同的应用中仅处理<60%和<20%的帧),同时产生的结果略低于最先进的精度。第二种配置处理所有视频帧,并以可比的计算成本优于最先进的技术。我们将我们的方法与最近在公共数据集Cholec 80和腹腔镜骶骨阴道固定术的内部数据集上表现最好的基于帧的方法TeCNO和Trans-SVNet进行了比较。我们对我们的算法进行了基于帧的(准确度,精度,召回率和F1分数)和基于事件的(事件比率)评估。
2022-08-01 cs.AI cs.CV
EVA: Efficient Reinforcement Learning for End-to-End Video Agent
SenseTime Research(商汤科技研究院)
EVA通过迭代总结-计划-行动-反思推理实现先规划后感知,提升长视频理解效率,采用三阶段学习流程和高质量数据集,在六个视频理解基准上取得显著提升。
2026-03-26 cs.AI cs.CL cs.CV
OmniNFT: Modality-wise Omni Diffusion Reinforcement for Joint Audio-Video Generation
University of Science and Technology of China(中国科学技术大学);Peking University(北京大学);JD Explore Academy(京东探索研究院)
本文提出OmniNFT,通过模态感知强化学习框架解决多模态联合生成中的模态一致性、梯度不平衡和信用分配问题,提升音频视频感知质量与同步性能。
2026-05-12 cs.AI cs.CV
Video-RTS: Rethinking Reinforcement Learning and Test-Time Scaling for Efficient and Enhanced Video Reasoning
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Nanyang Technological University(南洋理工大学)
Video-RTS通过结合数据高效的纯强化学习与稀疏到密集的自适应测试时缩放策略,跳过监督微调,仅用3.6%训练样本即在视频推理基准上超越现有模型2.4%,实现高效且增强的视频推理。
2025-10-24 cs.AI cs.CL cs.CV
FlowPortrait: Reinforcement Learning for Audio-Driven Portrait Video Generation
Johns Hopkins University(约翰霍普金斯大学)
FlowPortrait通过强化学习框架结合多模态模型和人类对齐评估系统,提升音频驱动肖像视频生成的质量和表现力。
2026-02-25 cs.AI cs.CV cs.MM
ChronoForge-RL: Chronological Forging through Reinforcement Learning for Enhanced Video Understanding
本文提出ChronoForge-RL框架,通过时序顶点蒸馏与关键帧感知的分组相对策略优化实现高效关键帧选择与时序推理,在VideoMME和LVBench上显著超越基线,使7B模型达到72B模型的性能。
2025-09-19 cs.AI cs.CV
ViaRL: Adaptive Temporal Grounding via Visual Iterated Amplification Reinforcement Learning
Fudan University(复旦大学);Microsoft(微软公司)
针对现有视频理解框架缺乏有效帧选择训练信号、标注成本高的问题,提出ViaRL框架,用基于规则的强化学习结合迭代放大策略训练帧选择器,在多个基准上实现更优时序定位性能与泛化性。
2025-05-21 cs.AI cs.CV
TimeSearch-R: Adaptive Temporal Search for Long-Form Video Understanding via Self-Verification Reinforcement Learning
ByteDance(字节跳动);School of Computer Science, Peking University(北京大学计算机科学学院)
TimeSearch-R 将长视频时序搜索重构为交错文本-视频推理,通过带完整性自验证的强化学习(GRPO-CSV)优化搜索策略,在多个长视频理解基准上取得显著提升并刷新 LongVideoBench 最优结果。
2025-11-07 cs.AI cs.CV
Reinforcement Learning with Dual-Observation for General Video Game Playing
Southern University of Science and Technology(南方科技大学);University of Birmingham(伯明翰大学);New York University(纽约大学)
强化学习算法在玩具有挑战性的棋盘游戏和视频游戏时表现良好。提高强化学习算法的泛化能力是越来越多的研究重点。通用视频游戏AI学习竞赛旨在开发能够学习玩在训练期间看不到的不同游戏级别的代理。本文总结了五年来通用视频游戏AI学习竞赛的版本。在每一个版本中,都设计了三个新游戏。在前三个版本中,培训和测试级别是分开设计的。自2020年起,每场比赛的三个测试级别通过扰动或合并两个训练级别产生。然后,我们提出了一种新的强化学习技术与一般的视频游戏玩双观察,假设它更有可能观察到类似的局部信息在不同的水平,而不是全球信息。我们提出的一般技术不是直接输入当前游戏屏幕的单个原始基于像素的屏幕截图,而是将游戏屏幕的编码,转换的全局和局部观察作为两个同时输入,旨在学习用于玩新关卡的局部信息。我们提出的技术是用三种最先进的强化学习算法实现的,并在2020年通用视频游戏AI学习竞赛的游戏集上进行了测试。消融研究显示了使用编码、转换的全局和局部观测值作为输入的出色性能。
2022-03-31 cs.AI
Robustness Evaluation for Video Models with Reinforcement Learning
Hewlett Packard Enterprise(慧与科技)
本文提出一种多智能体强化学习方法,协同学习视频的敏感时空区域,在保持时间连贯性的同时生成精细扰动,实现更有效的鲁棒性评估,并在Lp指标和平均查询次数上优于现有方法。
2025-06-05 cs.AI cs.CV cs.LG
GIRL-DETR: Gradient-Isolated Reinforcement Learning for Video Moment Retrieval
College of Electronics and Information Engineering, Sichuan University(四川大学电子信息工程学院);School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院)
针对视频时刻检索中连续代理损失与非可微指标不匹配导致的优化停滞问题,提出梯度隔离强化学习框架GIRL-DETR,通过冻结骨干网络并采用三阶段渐进强化学习策略直接优化tIoU指标,在轻量级模型中实现定位精度提升。
2026-05-30 cs.AI cs.CV
Deep Reinforcement Learning Using a Low-Dimensional Observation Filter for Visual Complex Video Game Playing
Universidade Federal de Santa Maria(圣玛丽亚联邦大学);Universidade Federal de Rio Grande(里奥格兰德联邦大学);Universidad Tecnológica del Uruguay(乌拉圭技术大学)
深度强化学习(Deep Reinforcement Learning,DRL)自提出以来已经取得了巨大的成就,包括处理原始视觉输入数据的可能性。然而,训练智能体根据图像反馈执行任务仍然是一个挑战。它需要逐帧处理来自高维观测空间的大量数据,并且根据深度神经网络策略端到端计算代理的动作。图像预处理是减少这些高维空间、消除场景中存在的不必要信息、支持特征提取及其在智能体的神经网络中的表示的有效方法。现代视频游戏是DRL算法面临这类挑战的例子,因为它们的视觉复杂性。在本文中,我们提出了一个低维的观察过滤器,允许深度Q-网络代理成功地发挥在视觉上复杂的和现代的视频游戏,称为霓虹灯驱动器。
2022-04-24 cs.AI cs.CV cs.RO
Reinforcement Learning for Unsupervised Video Summarization with Reward Generator Training
本文提出基于强化学习的无监督视频摘要方法,通过奖励生成器训练提升摘要质量与稳定性。
2025-12-22 cs.AI cs.CV cs.LG
Unsupervised Video Object Segmentation for Deep Reinforcement Learning
University of Waterloo(滑铁卢大学)
我们提出了一种新的深度强化学习技术,可以自动检测移动对象并使用相关信息进行动作选择。通过从运动中利用运动恢复结构,以无监督的方式进行运动对象的检测。该代理不是直接从原始图像中学习策略,而是首先通过利用视频序列中的流信息来学习检测和分割移动对象。然后使用学习的表示将代理的策略集中在移动对象上。随着时间的推移,智能体识别哪些对象对决策至关重要,并根据相关的移动对象逐步建立策略。这种方法我们称之为面向运动的强化学习(MOREL),它在一系列Atari游戏中得到了演示,其中检测移动物体的能力减少了获得良好策略所需的与环境的交互量。此外,所产生的策略比直接将图像映射到具有黑盒神经网络的动作或值的策略更可解释。我们可以通过检查代理检测到的每个对象的分割和运动来深入了解策略。这使得从业人员能够确认政策是否基于合理的信息做出决策。
2018-05-20 cs.AI cs.CV cs.LG
Heterogeneous 360 Degree Videos in Metaverse: Differentiated Reinforcement Learning Approaches
Nanyang Technological University(南洋理工大学)
本文针对元宇宙中非VR与VR 360度视频混合传输场景,提出基于帧时隙结构的差异化深度强化学习方法,设计SIDO和MIDO两种结构进行逐帧优化,并通过实验验证其在满足不同帧率和晕动症要求方面的有效性。
2023-08-08 cs.AI cs.NI
ReVSeg: Incentivizing the Reasoning Chain for Video Segmentation with Reinforcement Learning
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院);LIGHTSPEED
ReVSeg通过强化学习优化视频分割的多步推理链,实现可解释的推理轨迹和先进的性能。
2025-12-02 cs.AI cs.CL cs.CV
Energy-Efficient Parking Analytics System using Deep Reinforcement Learning
University of Pittsburgh(匹兹堡大学)
深度视觉技术的进步和无处不在的智能摄像头将推动下一代视频分析。然而,视频分析应用程序消耗大量的能量,因为深度学习技术和相机都是耗电的。在本文中,我们专注于停车视频分析平台,并提出了RL-CamSleep,一种基于深度强化学习的技术,来驱动摄像机,以减少能源足迹,同时保持系统的实用性。我们的主要见解是,许多视频分析应用程序并不总是需要运行,我们可以设计策略,仅在必要时激活视频分析。此外,我们的工作是对专注于提高硬件和软件效率的现有工作的补充。我们评估我们的方法在城市规模的停车数据集有76个街道遍布城市。我们的分析展示了街道如何有各种停车模式,强调了适应性政策的重要性。我们的方法可以学习这种自适应策略,可以将平均能耗降低76.38%,并在执行视频分析时实现98%以上的平均准确度。
2022-04-20 cs.AI cs.CV cs.LG
AvatarShield: Visual Reinforcement Learning for Human-Centric Synthetic Video Detection
Peking University(北京大学);South China University of Technology(华南理工大学);RabbitPre AI
针对以人为中心的全身合成视频检测的研究空白,提出AvatarShield多模态检测框架,结合离散视觉塔与残差提取器,引入FakeHumanVid基准数据集,在域内和跨域检测中均优于现有方法。
2025-09-23 cs.AI cs.CV
Deep Reinforcement Learning in Computer Vision: A Comprehensive Survey
深度强化学习增强了强化学习框架,并利用了深度神经网络的强大表示。最近的工作已经证明了深度强化学习在各个领域的显着成功,包括金融,医学,医疗保健,视频游戏,机器人和计算机视觉。在这项工作中,我们提供了一个详细的审查和国家的最先进的研究进展,深度强化学习在计算机视觉。我们从理解深度学习、强化学习和深度强化学习的理论开始。然后,我们提出了一个分类的深度强化学习方法,并讨论其优点和局限性。特别是,我们根据深度强化学习在计算机视觉中的应用将其分为七个主要类别,即(i)地标定位(ii)目标检测;(iii)目标跟踪;(iv)2D图像和3D图像体积数据的配准(v)图像分割;(vi)视频分析;以及(vii)其他应用。这些类别中的每一个都将通过强化学习技术、网络设计和性能进行进一步分析。此外,我们还对现有的公开数据集进行了全面的分析,并检查了源代码的可用性。最后,我们提出了一些开放的问题,并讨论了计算机视觉中深度强化学习的未来研究方向
2021-08-25 cs.AI cs.CV
Video-Enhanced Offline Reinforcement Learning: A Model-Based Approach
针对离线强化学习因缺乏环境交互存在的行为次优、价值估计不准问题,提出基于模型的VeoRL方法,利用无标注在线视频构建世界模型并迁移常识知识,在多类视觉控制任务上实现显著性能提升。
2025-05-17 cs.AI cs.LG cs.RO
Manifold-Aware Exploration for Reinforcement Learning in Video Generation
Tencent Hunyuan(腾讯文脉)
本文提出SAGE-GRPO方法,通过在微和宏观层面约束探索,确保在视频数据流形附近进行,提升视频生成的质量和奖励估计的可靠性。
2026-03-23 cs.AI cs.CV
ReFoCUS: Reinforcement-guided Frame Optimization for Contextual Understanding
Korea Advanced Institute of Science & Technology(韩国科学技术院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出ReFoCUS框架,首次将在线策略梯度强化学习集成到视频大语言模型的帧级优化中,通过自回归和查询条件选择架构学习帧选择策略,无需显式帧级监督,提升视频问答推理准确性。
2026-06-12 cs.AI cs.CV
Diagnosing and exploiting the computational demands of videos games for deep reinforcement learning
Carney Institute for Brain Science, Brown University(布朗大学卡尼脑科学研究所)
本文提出 LCD 工具,用于分别量化电子游戏任务的感知与强化学习需求,并据此重构 Procgen 挑战分类、指导 dRL 算法开发。
2023-09-22 cs.AI cs.CV cs.LG
Inverse reinforcement learning for video games
UC Berkeley(加州大学伯克利分校)
深度强化学习在一系列视频游戏环境中实现了超人的性能,但需要设计师手动指定奖励函数。提供目标行为的演示通常比设计描述该行为的奖励函数更容易。逆强化学习(IRL)算法可以从低维连续控制环境中的演示中推断出奖励,但将IRL应用于高维视频游戏的工作很少。在我们的CNN-AIRL基线中,我们修改了最先进的对抗IRL(AIRL)算法,将CNN用于生成器和迭代器。为了稳定训练,我们将奖励标准化,并增加训练数据集的大小。我们还学习了一个低维的状态表示使用一种新的自动编码器架构调整为视频游戏环境。这种嵌入被用作奖励网络的输入,提高了专家演示的样本效率。我们的方法在简单的Catcher视频游戏上实现了高水平的性能,大大优于CNN-AIRL基线。我们还在Enduro Atari赛车游戏上得分,但与专家性能不匹配,突出了进一步工作的必要性。
2018-10-24 cs.AI cs.LG stat.ML
Real-world Video Adaptation with Reinforcement Learning
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Facebook
客户端视频播放器采用自适应比特率(ABR)算法来优化用户体验质量(QoE)。我们评估最近提出的基于RL的ABR方法在Facebook的基于Web的视频流媒体平台。现实世界的ABR包含几个挑战,需要定制的设计超出了现成的RL算法-我们实现了一个可扩展的神经网络架构,支持视频与任意比特率编码;我们设计了一种训练方法,以应对由网络条件的随机性造成的差异;我们利用约束贝叶斯优化奖励塑造,以优化冲突的QoE目标。在为期一周的全球部署中,超过3000万个视频流会话,我们的RL方法优于现有的人工ABR算法。
2020-08-28 cs.AI cs.NI
MVR: Multi-view Video Reward Shaping for Reinforcement Learning
School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院);State Key Laboratory of General Artificial Intelligence, BIGAI(通用人工智能国家重点实验室)
MVR通过多视角视频和视觉语言模型提升强化学习中的奖励塑造,有效解决复杂动态任务中的状态相关性和视角偏见问题。
2026-03-02 cs.AI cs.CV cs.LG
Combining Reinforcement Learning and Behavior Trees for NPCs in Video Games with AMD Schola
Advanced Micro Devices (AMD)(先进微器件(AMD))
本文针对商业游戏中RL驱动的NPC应用缓慢问题,提出结合RL与传统行为树的方法,并利用AMD Schola在复杂3D环境中验证了多任务NPC的可行性,提供了联合训练的详细方法论。
2025-10-15 cs.AI cs.LG
TeViR: Text-to-Video Reward with Diffusion Models for Efficient Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
本文提出TeViR方法,利用预训练文本到视频扩散模型生成密集奖励,在11个机器人任务中无需真实环境奖励即超越SOTA方法,显著提升了样本效率和性能。
2025-06-24 cs.AI cs.RO
FactGuard: Agentic Video Misinformation Detection via Reinforcement Learning
Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China(中国科学院计算技术研究所);University of Chinese Academy of Sciences, Beijing, China(中国科学院大学);University of Science and Technology Beijing(北京科技大学);The University of Queensland, Brisbane, Australia(昆士兰大学)
FactGuard通过强化学习和代理框架,提升视频虚假信息检测的鲁棒性和泛化能力。
2026-02-26 cs.AI
Robustness and Visual Explanation for Black Box Image, Video, and ECG Signal Classification with Reinforcement Learning
Hewlett Packard Enterprise(慧与公司)
提出一种通用强化学习框架,通过最小畸变制作对抗攻击并生成定位掩码,在图像、视频和ECG信号分类中优于现有方法,提升了模型的鲁棒性与可解释性。
2024-04-22 cs.AI cs.CR cs.CV
LL-GABR: Energy Efficient Live Video Streaming Using Reinforcement Learning
University at Buffalo(布法罗大学);IBM Research(IBM研究院)
本文提出基于深度强化学习的直播视频流方法 LL-GABR,通过感知视频质量而非比特率建模 QoE 并结合能耗等指标,在无需额外重训练的情况下,较现有方法提升 44% 感知 QoE 和 73% 能效。
2024-02-14 cs.AI cs.MM
Deep Reinforcement Learning for General Video Game AI
New York University(纽约大学);Southern University of Science and Technology(南方科技大学);Queen Mary University of London(伦敦玛丽女王大学)
通用视频游戏AI(GVGAI)竞赛及其相关的软件框架提供了一种在大量以特定领域描述语言编写的游戏上对AI算法进行基准测试的方法。虽然竞争已经看到了很多的兴趣,它迄今为止一直集中在在线规划,提供了一个前向模型,允许使用算法,如蒙特卡罗树搜索。在本文中,我们描述了如何将GVGAI接口到OpenAI Gym环境,这是一种将代理连接到强化学习问题的广泛使用的方式。使用这个接口,我们描述了几种深度强化学习算法在一些GVGAI游戏中的广泛使用的实现。我们进一步分析结果,以提供这些游戏相对于彼此的相对难度的第一个指标,以及在类似条件下相对于街机学习环境中的相对难度。
2018-06-06 cs.AI cs.LG cs.NE
Reward-Decomposed Reinforcement Learning for Immersive Video Role-Playing
Nanjing University(南京大学);Shanghai Jiao Tong University(上海交通大学);University of California, San Diego(加州大学圣地亚哥分校);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);School of Information Engineering, Beijing Institute of Graphic Communication(北京印刷学院信息工程学院);Ant International, Ant Group(蚂蚁集团国际部);Independent Researcher(独立研究者)
提出EBM-RL框架,通过奖励分解的强化学习优化视频角色扮演中的视觉感知、推理与生成过程,提升场景一致性与角色真实性。
2026-09-28 cs.AI
Reinforcement Learning -based Adaptation and Scheduling Methods for Multi-source DASH
International University - Vietnam National University(越南国家大学国际大学);Kyung Hee University(庆熙大学);Wroclaw University of Science and Technology(弗罗茨瓦夫科技大学)
针对多源DASH视频流中块乱序影响QoE的问题,提出两种结合强化学习的自适应与调度算法,经真实轨迹仿真验证了有效性。
2023-07-25 cs.AI cs.NI
A Survey of Deep Reinforcement Learning in Video Games
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
深度强化学习(Deep Reinforcement Learning,DRL)自提出以来取得了巨大的成就。一般来说,DRL代理在每一步都接收高维输入,并根据基于深度神经网络的策略进行操作。这种学习机制通过端到端的方法来更新策略以最大化回报。本文综述了DRL方法的研究进展,包括基于值的算法、策略梯度算法和基于模型的算法,并对它们的主要技术和性能进行了比较。此外,DRL在游戏人工智能(AI)中发挥着重要作用。我们还回顾了DRL在各种视频游戏中的成就,包括经典的街机游戏,第一人称视角游戏和多智能体实时策略游戏,从2D到3D,从单智能体到多智能体。大量具有DRL的视频游戏AI已经实现了超人的性能,但在这一领域仍然存在一些挑战。因此,我们也讨论了DRL方法在该领域应用的一些关键问题,包括探索-开发、样本效率、泛化和迁移、多智能体学习、不完美信息和延迟剩余报酬等,以及一些研究方向。
2019-12-26 cs.AI cs.LG cs.MA
Distilling Reinforcement Learning Tricks for Video Games
University of Eastern Finland(东芬兰大学);University of Applied Sciences Northwestern Switzerland(瑞士西北应用科学与艺术大学)
强化学习(RL)研究的重点是可以应用于不同领域的通用解决方案。这导致RL从业者可以在几乎任何领域使用的方法。然而,最近的研究往往缺乏有效使用强化学习所需的工程步骤(“技巧”),例如奖励塑造,课程学习,以及将大任务分成小块。这些技巧是常见的,如果不是必要的,以实现国家的最先进的结果和赢得RL比赛。为了简化工程工作,我们从最先进的结果中提取技巧的描述,并研究这些技巧如何改善标准的深度Q学习代理。这项工作的长期目标是通过提供统一的软件框架和多个领域的相关见解,将经过验证的RL方法与特定领域的技巧相结合。
2021-07-01 cs.AI cs.LG
A Deep Graph Reinforcement Learning Model for Improving User Experience in Live Video Streaming
KTH Royal Institute of Technology(KTH皇家理工学院);Hive Streaming AB(Hive流媒体公司);University of Thessaly(色萨利大学)
在本文中,我们提出了一个深度图强化学习模型,以预测和改善用户体验在直播视频流事件,精心策划的代理/跟踪器。我们首先将用户体验预测问题制定为分类任务,考虑到由于低带宽连接和与跟踪器的有限交互,事件开始时大多数观众的体验质量较差。在我们的模型中,我们考虑不同的因素,影响用户体验的质量和训练不同的状态动作转换时,观众与跟踪器交互的模型。此外,假设过去的事件具有各种用户体验特征,我们遵循梯度提升策略来计算从不同事件学习的全局模型。我们的实验与实时视频流事件的三个真实世界的数据集证明了所提出的模型对几个基线策略的优越性。此外,由于大多数观众在活动开始时体验不佳,我们表明我们的模型可以显着增加具有高质量体验的观众数量,在第一个流媒体分钟内至少增加75%。我们的评估数据集和实施可在https://publicresearch.z13.web.core.windows.net上公开获取
2021-07-28 cs.AI cs.LG
Watch-Think-Interact: Bootstrapping Long-Horizon Multi-Turn Streaming Video Reasoning with Reinforcement Learning
East China Normal University(华东师范大学);University of Science and Technology of China(中国科学技术大学);Xiamen University(厦门大学)
针对流式视频多轮推理中在线状态遗漏视觉细节的问题,提出WTI闭环框架,结合自然语言记忆与选择性回忆,并构建WTI-82K数据集及Stream-GDPO强化学习算法,在StreamingBench和OVO-Bench上取得最优性能。
2026-09-30 cs.AI
eBandit: Kernel-Driven Reinforcement Learning for Adaptive Video Streaming
University of Southern California(南加州大学)
eBandit通过将网络监控和ABR算法选择移至Linux内核,利用eBPF实现更高效的自适应视频流传输,实验证明其在异构移动环境下能显著提升QoE。
2026-04-14 cs.AI cs.NI
Exploring the Effect of Reinforcement Learning on Video Understanding: Insights from SEED-Bench-R1
The University of Hong Kong(香港大学);ARC Lab, Tencent PCG(腾讯平台与内容事业群ARC实验室);The Chinese University of Hong Kong(香港中文大学)
本文提出 SEED-Bench-R1 基准,系统评估强化学习在多模态大模型视频理解中的训练后效果,发现 RL 比监督微调更具数据效率且性能更优,但存在推理链逻辑连贯性不足等问题。
2025-03-31 cs.AI cs.CL cs.CV
DeePref: Deep Reinforcement Learning For Video Prefetching In Content Delivery Networks
University of South Carolina(南卡罗来纳大学);Roblox(罗布乐思)
本文提出DeePref,一种基于深度强化学习的视频预取智能体,用于内容分发网络,相比基于流行度的基线方法,预取准确率提升17%,覆盖率提升28%,并支持跨边缘网络迁移学习。
2023-10-11 cs.AI cs.LG cs.NI
DeepCrawl: Deep Reinforcement Learning for Turn-based Strategy Games
Università degli Studi di Firenze(佛罗伦萨大学);University of Cambridge(剑桥大学)
在本文中,我们介绍了DeepCrawl,这是一个适用于iOS和Android的完全可玩的Roguelike原型,其中所有代理都由使用深度强化学习(DRL)训练的策略网络控制。我们的目标是了解DRL的最新进展是否可以用于为视频游戏中的非玩家角色开发令人信服的行为模型。我们首先分析了这样一个AI系统应该满足的要求,以便在视频游戏开发中实际应用,并确定了DeepCrawl原型中使用的DRL模型的元素。DeepCrawl的成功和局限性通过在最终游戏上进行的一系列可玩性测试来记录。我们相信,我们提出的技术为视频游戏中非玩家角色的行为发展提供了创新的新途径,因为它们提供了克服关键问题的潜力,
2020-12-03 cs.AI cs.LG
Meta-Reinforcement Learning via Buffering Graph Signatures for Live Video Streaming Events
KTH Royal Institute of Technology(瑞典皇家理工学院);Hive Streaming AB(Hive Streaming公司);University of Thessaly(色萨利大学)
在这项研究中,我们提出了一个元学习模型,以适应观众之间的网络容量的预测谁参加了现场视频流媒体事件。我们提出了MELANIE模型,其中事件被制定为马尔可夫决策过程,对强化学习任务执行元学习。通过考虑一个新的事件作为一个任务,我们设计了一个行动者-评论家学习计划来计算估计观众的高带宽连接的最优策略。为了确保快速适应新的连接或观众之间的变化在一个事件中,我们实现了一个优先重放内存缓冲区的基础上的回报/吞吐量的观众的连接的Kullback-Leibler分歧。此外,我们采用了一个模型不可知的元学习框架,从过去的事件中生成一个全局模型。由于观众很少参与几个事件,挑战在于如何解释不同事件的低结构相似性。为了解决这个问题,我们设计了一个图签名缓冲区来计算几个流事件的结构相似性,并相应地调整全局模型的训练。我们评估所提出的模型的链接权重预测任务上的三个真实世界的数据集的实时视频流媒体事件。我们的实验证明了我们所提出的模型的有效性,与最先进的策略相比,平均相对增益为25%。出于复制目的,我们的评估数据集和实现可在https://github.com/stefanosantaris/melanie上公开获取
2021-10-03 cs.AI cs.LG cs.NI