Reinforcement Learning of Active Vision for Manipulating Objects under Occlusions
Carnegie Mellon University(卡内基梅隆大学)
我们认为人工代理,学会共同控制他们的gripper和相机,以加强学习操纵策略的存在遮挡干扰对象。干扰物经常遮挡感兴趣的对象,并使其从视野中消失。我们提出了手/眼控制器,它学会移动相机以保持物体在视野内可见,协调操纵它以实现预期的目标,例如,将其推到目标位置。我们将以对象为中心的注意力的结构偏差纳入我们的行动者-批评者架构,我们的实验表明这是良好表现的关键。我们的研究结果进一步强调了课程与环境难度的重要性。由此产生的主动视觉/操作策略优于静态相机设置的各种杂乱的环境。
2019-02-16 cs.CV cs.LG cs.RO
End-to-End Vision-Based Adaptive Cruise Control (ACC) Using Deep Reinforcement Learning
Center for Environmental Research and Technology(环境研究与技术中心)
提出了一种深度强化学习方法--双深度Q网络,用于设计端到端的基于视觉的自适应巡航控制(ACC)系统。在Unity中建立了一个高速公路场景的仿真环境,Unity是一个游戏引擎,它提供了车辆的物理模型和用于训练和测试的特征数据。在强化学习模型中,针对内燃机(ICE)汽车和电动汽车(EV),设计了与跟车距离和油门/制动力相关的奖励函数,以实现自适应巡航控制。对不同车型的间隙统计和总能耗进行了评估,以探索奖励函数与动力系统特性之间的关系。与传统的基于雷达的ACC系统或人在回路仿真相比,所提出的基于视觉的ACC系统可以根据预设的奖励函数生成更好的间隙调节轨迹或更平滑的速度轨迹。该系统能很好地适应前车不同的速度轨迹,并能实时运行。
2020-01-24 cs.CV cs.LG cs.RO
Improving Vision-Language-Action Model with Online Reinforcement Learning
University of Twente(特温特大学);Wright State University(莱特州立大学)
本文提出iRe-VLA框架,通过在强化学习和监督学习之间迭代,解决在线强化学习应用于大型视觉-语言-动作模型时的训练不稳定性和计算负担问题,在模拟和真实世界实验中验证了有效性。
2025-01-28 cs.CV cs.LG cs.RO
Towards Vision-Based Deep Reinforcement Learning for Robotic Motion Control
ARC Centre of Excellence for Robotic Vision (ACRV)(ARC机器人视觉卓越中心(ACRV));Queensland University of Technology (QUT)(昆士兰科技大学(QUT))
介绍了一种基于机器学习的机器人视觉控制系统。第一次展示了仅从原始像素图像并且没有任何配置的先验知识的自主学习机器人控制器的能力。我们建立在最近的深度强化学习的成功,并开发了一个系统,学习目标达到与三关节机器人机械手使用外部视觉观察。在仿真中,演示了深度Q网络(DQN)在训练后执行目标到达。将网络转移到真实的硬件和真实的观察中失败了,但实验表明,当用合成图像替换相机图像时,网络可以工作。
2015-11-13 cs.CV cs.LG cs.RO
Enhancing Rating-Based Reinforcement Learning to Effectively Leverage Feedback from Large Vision-Language Models
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
针对强化学习奖励函数设计依赖人力、反馈获取成本高的问题,提出增强型基于评分的RL方法ERL-VLM,通过查询VLM获取轨迹绝对评分并解决数据不平衡等问题,性能优于现有方法,助力高效自主的奖励学习。
2025-06-15 cs.LG cs.RO
Vision-Guided Outdoor Flight and Obstacle Evasion via Reinforcement Learning
College of Engineering, Department of Electrical Engineering and Computer Science, University of California Berkeley(加州大学伯克利分校工程学院电气工程与计算机科学系)
提出一种基于立体视觉深度和视觉惯性里程计的传感器运动策略,通过强化学习和特权学习在仿真中训练,实现零样本迁移到未知户外环境和无人机平台进行自主避障导航。
2026-05-23 cs.LG cs.RO
Deep Reinforcement Learning for Vision-Based Robotic Grasping: A Simulated Comparative Evaluation of Off-Policy Methods
Google Brain(谷歌大脑);University of California, Berkeley(加州大学伯克利分校)
在本文中,我们探索基于视觉的机器人抓取的深度强化学习算法。无模型深度强化学习(RL)已成功应用于一系列具有挑战性的环境,但算法的激增使得很难辨别哪种特定的方法最适合像抓取这样丰富多样的任务。为了回答这个问题,我们提出了一个模拟的机器人抓基准,强调离策略学习和泛化看不见的对象。离策略学习使得能够利用各种各样的对象上的抓取数据,并且多样性对于使得该方法能够推广到在训练期间未看到的新对象是重要的。我们评估的基准任务对各种Q函数估计方法,一种方法以前提出的机器人抓深神经网络模型,和一种新的方法的基础上结合蒙特卡洛返回估计和政策外校正。我们的研究结果表明,几种简单的方法提供了一个令人惊讶的强大的竞争对手流行的算法,如双Q学习,我们的稳定性分析揭示了算法之间的相对权衡。
2018-03-28 cs.LG cs.RO stat.ML
Pretraining the Vision Transformer using self-supervised methods for vision based Deep Reinforcement Learning
Instituto Superior Técnico(高等技术学院);INESC-ID(里斯本系统与计算机工程研究所);NeuralShift
本研究针对视觉强化学习中CNN仍占主导的问题,用多种自监督方法预训练ViT,提出带时间顺序验证的VICReg扩展,在ALE上提升了RL数据效率并取得最优表现。
2023-07-18 cs.LG
Active Vision Reinforcement Learning under Limited Visual Observability
Stony Brook University(石溪大学)
针对部分可观测环境下主动视觉强化学习的双策略协调难题,提出SUGARL框架,以可学习的内在感觉运动奖励联合训练运动与感知策略,在多可观测性条件下有效且适配现有RL算法。
2023-11-06 cs.CV cs.LG cs.RO
Learning to Fly: Stable Vision-Guided UAV Servoing with Compact Target-Centric Cues and Reinforcement Learning
Indian Institute of Technology Bombay(印度理工学院孟买分校)
本研究提出利用紧凑目标中心线索与低维传感器测量,结合课程强化学习实现无人机长时程视觉伺服,在鲁棒性和抗扰动方面优于经典控制器。
2026-09-10 cs.LG cs.RO
Hierarchical DLO Routing with Reinforcement Learning and In-Context Vision-language Models
Department of Electrical and Computer Engineering, University of Minnesota(明尼苏达大学电气与计算机工程系);Princeton University(普林斯顿大学)
本文提出了一种自主分层框架,利用视觉-语言模型进行上下文高层推理,结合强化学习训练的低层技能,解决长视距DLO路由任务,实现92%的成功率。
2026-04-15 cs.LG cs.RO
How to Spend Your Robot Time: Bridging Kickstarting and Offline Reinforcement Learning for Vision-based Robotic Manipulation
DeepMind(深度思维)
强化学习(RL)已被证明是有效的学习控制经验。然而,RL通常需要与环境进行大量的在线交互。这限制了它对现实世界的适用性,例如在机器人技术中,这种交互是昂贵的。在这项工作中,我们研究的方法,以尽量减少在线互动的目标任务,通过重用一个次优的政策,我们可能会访问,例如从相关的先前任务的培训,或在模拟。为此,我们开发了两种RL算法,不仅可以使用教师策略的动作分布,还可以使用这些策略在手头任务上收集的数据来加快训练速度。我们进行了一个彻底的实验研究,如何使用次优教师在一个具有挑战性的机器人操作基准基于视觉的堆叠与不同的对象。我们将我们的方法与离线,在线,离线到在线和kickstarting RL算法进行比较。通过这样做,我们发现,对教师和学生的数据进行训练,可以在有限的数据预算下实现最佳性能。我们研究如何最好地分配有限的数据预算-目标任务-教师和学生之间的政策,并报告实验使用不同的预算,两个教师不同程度的次优,和五个堆叠任务,需要一套不同的行为。我们在模拟和现实世界中的分析表明,我们的方法在数据预算中是最好的,而当提供足够的数据时,教师推出的标准离线RL是令人惊讶的有效。
2022-05-06 cs.LG cs.RO
Real-time Active Vision for a Humanoid Soccer Robot Using Deep Reinforcement Learning
Qazvin Azad University(加兹温伊斯兰阿扎德大学);University of Leeds(利兹大学)
在本文中,我们提出了一种主动视觉方法,使用深度强化学习方法的人形足球机器人。所提出的方法自适应优化的机器人的观点,以获得最有用的地标自我定位,同时保持球进入其观点。主动视觉对于具有有限视野的类人决策机器人至关重要。为了处理主动视觉问题,先前已经提出了几种基于概率熵的方法,这些方法高度依赖于自定位模型的准确性。然而,在这项研究中,我们将这个问题描述为一个情景强化学习问题,并采用深度Q学习方法来解决它。所提出的网络只需要相机的原始图像将机器人的头部移向最佳视点。该模型显示出非常有竞争力的80%的成功率,在实现最佳的观点。我们实现了所提出的方法在Webots模拟器中模拟的人形机器人。我们的评估和实验结果表明,所提出的方法优于基于熵的方法在RoboCup的上下文中,在高自我定位错误的情况下。
2020-11-27 cs.AI cs.CV cs.LG
QT-Opt: Scalable Deep Reinforcement Learning for Vision-Based Robotic Manipulation
Google Brain(谷歌大脑);University of California Berkeley(加州大学伯克利分校)
在本文中,我们研究的问题,学习基于视觉的动态操作技能,使用可扩展的强化学习方法。我们研究这个问题的背景下把握,机器人操作的一个长期的挑战。与选择抓取点然后执行所需抓取的静态学习行为相反,我们的方法实现了基于视觉的闭环控制,机器人根据最近的观察结果不断更新其抓取策略,以优化长期抓取成功。为此,我们引入了QT-Opt,这是一个可扩展的基于自监督视觉的强化学习框架,可以利用超过58万次的真实世界抓取尝试来训练一个具有超过120万个参数的深度神经网络Q函数,以执行闭环的真实世界抓取,从而在看不见的物体上实现96%的抓取成功率。除了获得非常高的成功率外,我们的方法还表现出与更标准的抓取系统截然不同的行为:仅使用来自肩扛式摄像机的基于RGB视觉的感知,我们的方法自动学习重新抓取策略,探测对象以找到最有效的抓取,学习重新定位对象并执行其他非可伸缩的预抓取操作,并动态响应干扰和扰动。
2018-11-28 cs.AI cs.CV cs.LG
Simple Recipe Works: Vision-Language-Action Models are Natural Continual Learners with Reinforcement Learning
University of Southern California(南加州大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);University of California, Berkeley(加州大学伯克利分校)
本文通过系统研究发现,对于大型预训练视觉-语言-动作模型,简单的顺序微调结合低秩适配在持续强化学习中表现出高可塑性、几乎无遗忘和强零样本泛化,优于复杂方法。
2026-07-14 cs.LG cs.RO
Vision-Based Deep Reinforcement Learning of UAV Autonomous Navigation Using Privileged Information
针对部分可观测环境下无人机高速自主导航难题,提出结合深度强化学习与特权学习的DPRL算法,采用非对称Actor-Critic架构和多智能体探索策略,仿真验证其在飞行效率等方面性能优于现有算法。
2024-12-09 cs.CV cs.LG cs.RO
StructRL: Online Structured Reinforcement Learning for Long-Horizon Vision-Language-Action Tasks
The Pennsylvania State University(宾夕法尼亚州立大学);Amazon AWS AI(亚马逊AWS人工智能)
针对长时程VLA任务中终端奖励稀疏的问题,提出StructRL在线强化学习框架,通过可验证子任务分解构建结构化中间奖励,在RoboCasa365和LIBERO-Long上超越基线。
2026-09-30 cs.CV cs.LG cs.RO
Vision-Based Mobile Robotics Obstacle Avoidance With Deep Reinforcement Learning
Technical University of Munich(慕尼黑工业大学);Technische Hochschule Ingolstadt(英戈尔施塔特应用科学大学)
避障问题是移动机器人自主导航的一个基本而又具有挑战性的问题。在本文中,我们考虑在简单的3D环境中,机器人必须完全依赖于一个单目摄像机的避障问题。特别是,我们有兴趣解决这个问题,而不依赖于本地化,映射,或规划技术。现有的研究大多将避障问题视为两个独立的问题,即障碍物检测和控制。受Atari游戏中深度强化学习和理解Go中高度复杂情况的最新优势的启发,我们将避障问题作为数据驱动的端到端深度学习方法来解决。我们的方法将原始图像作为输入,并生成控制命令作为输出。我们表明,离散的行动空间优于连续控制命令在迷宫般的环境中的预期平均奖励。此外,我们展示了如何通过生成对抗网络结合预测深度图来加速学习并提高策略的鲁棒性。
2021-03-08 cs.CV cs.LG cs.RO
Temporal GRPO: Beyond Trajectory-Level Credit in Vision-Language-Action Reinforcement Learning
针对视觉-语言-动作强化学习中轨迹级信用混叠问题,提出时间差分GRPO方法,在RoboTwin 2.0和LIBERO-Long上提升了任务性能与样本效率。
2026-08-14 cs.RO
Reward Generation via Large Vision-Language Model in Offline Reinforcement Learning
KAIST(韩国科学技术院)
针对离线强化学习中设计奖励信号成本高的问题,提出基于大型视觉语言模型的奖励生成方法RG-VLM,无需人类参与即可从离线数据生成奖励,能提升长时任务泛化能力和稀疏奖励下的性能。
2025-04-03 cs.AI cs.LG
A Champion-level Vision-based Reinforcement Learning Agent for Competitive Racing in Gran Turismo 7
KAIST(韩国科学技术院);Sony AI(索尼人工智能);Coventry University(科文特大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出了一种基于视觉的自主赛车代理,通过仅使用车载传感器数据和摄像头视角,在Gran Turismo 7中实现了冠军级的赛车性能。
2026-03-08 cs.LG
Generalization through Simulation: Integrating Simulated and Real Data into Deep Reinforcement Learning for Vision-Based Autonomous Flight
Berkeley AI Research (BAIR), University of California, Berkeley(伯克利人工智能研究中心(BAIR),加州大学伯克利分校)
深度强化学习为基于视觉的机器人控制提供了一种很有前途的方法。然而,这些模型的推广在很大程度上取决于可用于训练的数据的数量和种类。对于某些类型的机器人系统,例如脆弱的小型四旋翼机,这些数据可能难以获得。模拟渲染和物理可以提供更大的数据集,但这些数据本身质量较低:许多使现实世界的自主飞行问题具有挑战性的现象,如复杂的物理和气流,建模很差或根本没有,并且模拟和现实世界之间的系统差异通常是不可能消除的。在这项工作中,我们研究了如何将模拟和现实世界的数据结合到混合深度强化学习算法中。我们的方法使用真实世界的数据来了解系统的动态,并使用模拟数据来学习一个可推广的感知系统,该系统可以使机器人仅使用单目摄像机来避免碰撞。我们在一个真实世界的纳米飞行器碰撞避免任务上展示了我们的方法,表明只有一个小时的真实数据,四旋翼可以在各种照明条件和几何形状的新环境中避免碰撞。代码、建造飞行器的说明和实验视频可以在github.com/gkahn13/GtS上找到。
2019-02-11 cs.LG cs.RO stat.ML
Continual Vision-based Reinforcement Learning with Group Symmetries
Carnegie Mellon University(卡内基梅隆大学);Toyota Motor North America(北美丰田汽车公司)
针对现有持续视觉强化学习忽略群对称等价任务导致效率与泛化性差的问题,提出带等变特征提取器和任务分组机制的COVERS方法,按等价任务组学习策略,在桌面操作任务上实现更优泛化性能。
2023-06-14 cs.LG
PF-RL: Progress Field Reinforcement Learning via Goal-Conditioned Value Geometry for Vision-Language-Action Models
PF-RL通过学习目标条件进度场几何,将中间进度转换为密集信用,用于VLA策略的离线改进和在线强化微调,在多个基准上超越现有方法。
2026-09-29 cs.RO
Towards Automated Semantic Interpretability in Reinforcement Learning via Vision-Language Models
Georgia Institute of Technology(佐治亚理工学院);Purdue University(普渡大学)
提出iTRACE框架,利用预训练视觉-语言模型自动提取语义特征并蒸馏为轻量级模型,训练可解释的基于树的强化学习策略,在Atari等三个领域匹配黑盒策略性能。
2025-10-31 cs.AI cs.LG
Iterative Grasp Pose Refinement: A Deep Reinforcement Learning Approach for 2D Vision
University of Tehran(德黑兰大学)
本研究提出结合关键点表征与DQN的强化学习框架,通过迭代优化抓取位姿,在Dex-Net数据集300个物体上对几何判定不可抓取物体实现100%成功率,且可实现仿真到真实的迁移,为接触丰富的操作任务提供解决方案。
2026-08-19 cs.AI cs.LG cs.RO
VLRLA: Deployment-Time Adaptation of Vision-Language-Action Models through In-Context Reinforcement Learning
Zhejiang University(浙江大学);Westlake University(西湖大学)
针对传统VLA模型缺乏部署时渐进适配机制的问题,提出VLRLA框架,通过为VLA模型添加强化学习模块实现部署时适配,经仿真与真实实验验证其适配未见场景的能力。
2026-10-15 cs.AI cs.RO
A Super-human Vision-based Reinforcement Learning Agent for Autonomous Racing in Gran Turismo
KTH Royal Institute of Technology(皇家理工学院);Sony AI(索尼人工智能研究院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对现有超人类赛车智能体依赖车外全局特征的问题,提出仅用本地视觉与车载传感输入的强化学习智能体,通过训练时用全局特征辅助,在《Gran Turismo 7》中实现计时赛超人类表现,是首个基于视觉的超人类赛车智能体。
2024-06-18 cs.CV cs.LG cs.RO
Distributed Reinforcement Learning of Targeted Grasping with Active Vision for Mobile Manipulators
Preferred Networks, Inc.(优选网络公司)
开发能够在非结构化环境中执行各种操作任务的个人机器人需要解决机器人抓取系统的几个挑战。我们向这个更广泛的目标迈出了一步,提出了第一个基于RL的系统,据我们所知,移动机械手,可以(a)实现有针对性的把握概括到看不见的目标对象,(b)学习复杂的抓取策略,为混乱的场景与闭塞的对象,和(c)通过其可移动的手腕相机执行主动视觉,以更好地定位对象。系统以该对象的单个任意姿态RGB图像的形式被告知所需的目标对象,使得系统能够概括为未见过的对象而无需重新训练。为了实现这样一个系统,我们结合了深度强化学习的几个进步,并提出了一个使用同步SGD的大规模分布式训练系统,该系统可以无缝扩展到多节点,多GPU基础设施,使快速原型更容易。我们在模拟环境中对系统进行训练和评估,确定提高性能的关键组件,分析其行为,并将其转换为真实世界的设置。
2020-10-14 cs.AI cs.DC cs.LG
Graph Neural Networks for Relational Inductive Bias in Vision-based Deep Reinforcement Learning of Robot Control
Technical University of Munich(慕尼黑工业大学)
最先进的强化学习算法主要从数值状态向量或图像中学习策略。这两种方法通常不考虑任务的结构知识,这在机器人应用中特别普遍,如果利用,可以有益于学习。这项工作引入了一种神经网络架构,该架构结合了关系归纳偏差和视觉反馈,以学习机器人操作的有效位置控制策略。我们推导出一个图形表示模型的机械手的物理结构,并结合机器人的内部状态与低维描述的图像编码网络生成的视觉场景。在此基础上,用强化学习训练的图神经网络预测关节速度来控制机器人。我们进一步介绍了一种不对称的方法,训练图像编码器单独的政策,使用监督学习。实验结果表明,对于一个2自由度的平面机器人在一个几何简单的2D环境中,学习表示的视觉场景可以取代访问的显式坐标的到达目标,而不损害的质量和样本效率的政策。我们进一步展示了该模型的能力,以提高样本效率的6自由度的机器人手臂在视觉上逼真的3D环境。
2022-03-11 cs.CV cs.LG cs.RO
Self-Predictive Dynamics for Generalization of Vision-based Reinforcement Learning
Sungkyunkwan University(顺天乡大学)
本文提出自预测动力学(SPD)方法,通过并行弱增强与强增强并预测双向转移来学习任务相关表征,从而提升视觉强化学习在未见观测下的泛化能力,并在 MuJoCo 和 CARLA 任务中验证其优越性。
2025-06-05 cs.AI cs.CV cs.LG
RL-VLM-F: Reinforcement Learning from Vision Language Foundation Model Feedback
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人学院);University of Southern California(南加利福尼亚大学)
本文提出 RL-VLM-F,利用视觉语言基础模型对智能体观测图像的成对偏好自动学习奖励函数,从而在无需人工监督的情况下完成多类控制与操作任务。
2024-06-14 cs.AI cs.LG cs.RO
STARE-VLA: Progressive Stage-Aware Reinforcement for Fine-Tuning Vision-Language-Action Models
Munich Research Center, Huawei Technologies(慕尼黑研究中心,华为技术)
STARE-VLA通过渐进式阶段感知强化方法,提升视觉-语言-动作模型的动作准确性,实现SimplerEnv和ManiSkill3任务中的高成功率。
2025-12-23 cs.RO
Sample Efficient Reinforcement Learning via Large Vision Language Model Distillation
Robotics Program KAIST(韩国釜山科学技术院机器人计划);Electrical Engineering KAIST(韩国釜山科学技术院电子工程)
针对多模态基础模型部署资源需求高、强化学习样本复杂度高的问题,提出LVLM2P框架,将大视觉语言模型知识蒸馏到高效RL智能体中,以教师指导减少无效探索、无需手动文本描述,显著提升RL算法的样本效率。
2025-05-16 cs.LG
Multi-Objective Reinforcement Learning for Large Language Model Optimization: Visionary Perspective
Fraunhofer Institute for Applied Information Technology FIT, Germany(弗劳恩霍夫应用信息科技研究所);Soochow University, China(苏州大学);University Hospital of Cologne, Germany(科隆大学医院)
本文提出多目标强化学习(MORL)分类法,分析其在优化大语言模型中的优劣,并展望了元策略MORL及基准框架以提升效率与灵活性。
2025-09-25 cs.AI cs.CL cs.LG
Integrating Vision Foundation Models with Reinforcement Learning for Enhanced Object Interaction
University of Arkansas at Little Rock(阿拉伯塔大学拉夫洛克分校)
本文提出将视觉基础模型(SAM和YOLOv5)与强化学习(PPO)结合,在AI2-THOR环境中提升物体交互能力,实验显示累积奖励、交互成功率和导航效率分别提升68%、52.5%和33%。
2025-08-07 cs.AI cs.CV cs.LG
ExToken: Structured Exploration for Efficient Vision-Language-Action Reinforcement Fine-tuning
Nanyang Technological University(南洋理工大学);ACE Robotics(ACE机器人公司);Zhejiang University(浙江大学)
研究VLA模型强化学习中探索停滞问题,提出ExToken框架,基于离线演示导出的离散行为先验调整VLA策略进行结构化探索,通过不同令牌鼓励多样行为模式,提升了探索效率与任务性能,在多任务实验中表现良好。
2026-07-15 cs.RO
From Language to Goals: Inverse Reinforcement Learning for Vision-Based Instruction Following
Google AI Research(谷歌人工智能研究院);Google AI(谷歌人工智能)
强化学习是解决控制问题的一个很有前途的框架,但它在实际情况中的使用受到奖励函数通常难以设计的事实的阻碍。自主机器(如机器人)的目标和任务是一个重大挑战:传统上,奖励函数和目标状态已被用于传达目标。但人们可以通过简单地描述或演示来相互传达目标。我们如何才能建立学习算法,让我们告诉机器我们想让他们做什么?在这项工作中,我们调查的问题接地语言命令作为奖励功能使用逆强化学习,并认为语言条件的奖励比语言条件的政策更可转移到新的环境。我们提出了语言条件奖励学习(LC-RL),它将语言命令作为由深度神经网络表示的奖励函数。我们证明,我们的模型学习奖励,转移到新的任务和环境中的现实,高维的视觉环境与自然语言命令,而直接学习的语言条件的政策导致性能不佳。
2019-02-20 cs.LG stat.ML
HASARD: A Benchmark for Vision-Based Safe Reinforcement Learning in Embodied Agents
Eindhoven University of Technology(埃因霍温理工大学);University of Liverpool(利物浦大学)
HASARD是首个面向具身智能体、以自我为中心视觉学习的安全强化学习基准,通过Doom构建多难度多动作空间任务,评估安全RL方法的性能与边界。
2025-03-11 cs.AI cs.CV cs.LG
Financial Vision Based Reinforcement Learning Trading Strategy
Soochow University(苏州大学);National Taiwan University(台湾大学);Brookhaven National Laboratory(布鲁克海文国家实验室)
用于量化交易的人工智能(AI)的最新进展导致其在显著的交易表现中表现出普遍的超人表现。然而,人工智能交易的潜在风险是一个“黑箱”决策。一些AI计算机制非常复杂,难以理解。如果我们在没有适当监督的情况下使用人工智能,人工智能可能会导致错误的选择并造成巨大损失。因此,我们需要询问人工智能的“黑匣子”,包括为什么人工智能决定这样做或不这样做?为什么人们可以信任AI或不信任?人们如何纠正自己的错误?这些问题也凸显了AI技术在交易领域可以解释的挑战。
2022-02-03 cs.AI cs.CE cs.LG
Pathfinding in Random Partially Observable Environments with Vision-Informed Deep Reinforcement Learning
Clarkson University(克拉克森大学)
深度强化学习是一种用于解决各种环境中问题的技术,从Atari视频游戏到股票交易。该方法利用深度神经网络模型来基于对给定环境的观察做出决策,目标是最大化奖励函数,该奖励函数可以包含实现目标的成本和奖励。为了寻路,奖励条件可以包括到达指定的目标区域以及移动的成本。在这项工作中,多个深度Q网络(DQN)代理被训练在部分可观察的环境中运行,目标是在最短的旅行时间内到达目标区域。代理基于其周围环境的视觉表示进行操作,因此具有有限的观察环境的能力。对DQN、DQN-GRU和DQN-LSTM进行了比较,以检查每个模型在两种不同类型输入下的能力。通过这种评估,它被证明,具有等效的训练和类似的模型架构,DQN模型能够优于其经常性的同行。
2022-09-11 cs.CV cs.LG
Bootstrapping Reinforcement Learning with Imitation for Vision-Based Agile Flight
University of Zurich(苏黎世大学);Robotics and Perception Group(机器人与感知组)
针对视觉敏捷四旋翼飞行中策略探索低效的问题,提出结合强化学习与模仿学习的三阶段框架,通过教师策略训练、蒸馏与自适应微调,在模拟与真实场景中显著提升了鲁棒性与性能。
2024-11-12 cs.CV cs.LG cs.RO
Real-World Offline Reinforcement Learning from Vision Language Model Feedback
Indian Institute of Technology, Kharagpur(印度理工学院,克哈格浦尔分校);IIIS, Tsinghua University(清华大学人工智能研究所);Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
本文提出一种利用视觉语言模型偏好反馈自动为离线数据集生成奖励标签的系统,结合离线强化学习(隐式Q学习)在真实穿衣和模拟操作任务中显著优于基线方法。
2025-08-06 cs.AI cs.LG cs.RO
Clarification as Supervision: Reinforcement Learning for Vision-Language Interfaces
ILLC, University of Amsterdam(伊拉斯谟范例学院、阿姆斯特丹大学);ILCC, University of Edinburgh(爱丁堡大学)
针对视觉-语言模型生成的字幕遗漏推理关键细节导致的接口不匹配问题,提出自适应澄清强化学习AC-RL,以澄清请求为隐式监督,通过交互训练模型生成全面初始字幕,在7个视觉数学推理基准上准确率提升4.4个百分点,且可减少最多39%的澄清请求。
2025-09-30 cs.CL cs.CV cs.LG
Imminent Collision Mitigation with Reinforcement Learning and Vision
Oxford Robotics Institute(牛津机器人研究所);University of Oxford(牛津大学)
这项工作研究了强化学习在减少道路碰撞的严重程度,通过控制速度和转向的情况下,接触是迫在眉睫的作用。我们构建了一个模型,给定摄像机图像作为输入,能够学习和预测障碍物,汽车和行人的动态,并使用此模型训练我们的政策。控制制动和转向的两种策略与基线进行比较,其中所采取的唯一行动是(传统的)直线制动。这两种策略使用两种不同的奖励结构进行训练,一种是任何和所有碰撞都会产生固定的惩罚,第二种是根据已经建立的伤害严重程度的delta-v模型计算惩罚。结果表明,这两种策略都超过了基线的性能,使用损伤模型训练的策略具有最高的性能。
2019-01-03 cs.AI cs.CV cs.LG
Investigating Pre-Training Objectives for Generalization in Vision-Based Reinforcement Learning
KAIST(韩国科学技术院)
本文提出Atari-PB基准,在50款Atari游戏上预训练ResNet-50,发现学习任务无关特征的预训练目标比任务特定目标更能提升跨环境泛化能力。
2024-06-10 cs.AI cs.CV cs.LG
MAT: Multi-Fingered Adaptive Tactile Grasping via Deep Reinforcement Learning
Columbia University(哥伦比亚大学);Robotics at Google(谷歌机器人)
基于视觉的抓取系统通常采用开环执行计划的抓取。此策略可能由于许多原因而失败,包括普遍存在的校准错误。从失败的抓取中恢复会因视觉遮挡而进一步复杂化,因为手在尝试另一个开环重新抓取时通常会遮挡视觉传感器。这项工作提出了MAT,触觉闭环方法能够实现粗的初始定位的手以上的对象所提供的把握。我们的算法是一种深度强化学习(RL)策略,通过最大熵RL框架内的裁剪代理目标进行优化,以平衡开发和探索。该方法利用触觉和本体感受信息,通过精细的手指运动和较大的重握运动来执行稳定的抓握。一个新颖的动作动作幅度课程,使学习更容易驾驭,并有助于把常见的失败案例变成成功。仔细选择表现出小的模拟与真实差距的特征,使这种触觉抓取策略,纯粹在模拟中训练,能够很好地转移到现实世界的环境中,而不需要额外的学习。实验上,这种方法大大提高了多指机器人手的视觉抓取成功率。当这种方法被用来实现从粗略的初始位置由视觉规划器提供的把握,系统是显着更强大的相机机器人变换中的校准误差。
2019-10-10 cs.AI cs.LG cs.RO
GRPO-TTA: Test-Time Visual Tuning for Vision-Language Models via GRPO-Driven Reinforcement Learning
School of Artificial Intelligence, Optics and Electronics (iOPEN), Northwestern Polytechnical University(人工智能、光学与电子学院(iOPEN),西北工业大学)
提出GRPO-TTA方法,将GRPO应用于测试时适应,通过将类特定提示预测重构为组策略优化问题,并设计对齐奖励和分散奖励,在多种基准上优于现有方法。
2026-06-01 cs.CV cs.LG
VisionThink: Smart and Efficient Vision Language Model via Reinforcement Learning
CUHK(香港中文大学);HKU(香港大学);HKUST(香港科技大学)
本文提出VisionThink,通过强化学习让视觉语言模型按样本自主决定是否请求更高分辨率图像,在保持OCR任务精度的同时大幅节省简单任务的视觉token。
2025-07-17 cs.AI cs.CL cs.CV
On Practical Reinforcement Learning: Provable Robustness, Scalability, and Statistical Efficiency
Deakin University(迪肯大学)
本论文对现代实际应用中的基本强化学习方法进行了深入研究,包括鲁棒强化学习、分布式强化学习和离线神经函数逼近强化学习。本文首先为读者提供了RL的总体概述以及统计和优化方面的关键技术背景。在每一个设置,论文激励的问题进行研究,回顾了目前的文献,提供计算效率的算法,可证明的效率保证,并得出结论,未来的研究方向。本文在算法、理论和经验方面对上述三种设置做出了基本贡献,同时与实际考虑保持相关。
2022-03-03 cs.AI cs.LG stat.ML
Vision-based Navigation Using Deep Reinforcement Learning
Delft University of Technology(代尔夫特理工大学);Czech Institute of Informatics, Robotics and Cybernetics(捷克信息学、机器人学与控制论研究所);Czech Technical University in Prague(捷克布拉格技术大学)
深度强化学习(RL)已成功应用于各种类似游戏的环境。然而,将深度强化学习应用于具有真实环境的视觉导航是一项具有挑战性的任务。我们提出了一种新的学习体系结构,能够导航代理,例如移动机器人,由图像给定的目标。为了实现这一目标,我们扩展了批量A2 C算法与辅助任务,旨在提高视觉导航性能。我们提出了三个额外的辅助任务:预测的观察图像和目标图像的分割和预测的深度图。这些任务使得能够使用监督学习来预训练网络的大部分,并大大减少训练步骤的数量。随着时间的推移逐渐增加环境的复杂性,训练性能得到了进一步提高。提出了一种有效的神经网络结构,它能够在多种环境下对多个目标进行学习。我们的方法在连续状态空间中导航,并在AI 2-THOR环境模拟器上优于文献中最先进的面向目标的视觉导航方法。
2019-11-09 cs.AI cs.LG cs.RO
AcceRL: A Distributed Asynchronous Reinforcement Learning and World Model Framework for Vision-Language-Action Models
IROOTECH TECHNOLOGY Wolf 1069 b Lab, Sany Group(伊罗科技沃尔夫1069b实验室,三一集团)
提出AcceRL框架,通过物理隔离环境交互、模型推理和梯度更新实现分布式异步强化学习,消除同步系统的空闲气泡,提升硬件利用率,并支持即插即用的世界模型集成,在LIBERO任务上实现2.4倍吞吐加速和200倍样本效率提升。
2026-06-15 cs.LG
Visual Foresight: Model-Based Deep Reinforcement Learning for Vision-Based Robotic Control
Georgia Institute of Technology(佐治亚理工学院);Twentieth Century Fox(二十世纪福克斯公司);Starfleet Academy(星际舰队学院)
深度强化学习(RL)算法可以从原始的感官输入中学习复杂的机器人技能,但尚未实现深度学习方法在监督领域中所展示的广泛推广和适用性。我们提出了一种深度RL方法,该方法适用于现实世界的机器人任务,例如机器人操作,并有效地推广到从未见过的任务和对象。在这些环境中,地面真实奖励信号通常不可用,因此我们提出了一种基于自监督模型的方法,其中预测模型学习直接从原始感官读数(如相机图像)预测未来。在测试时,我们探索三种不同的目标规范方法:指定像素,其中用户指定所需的对象操作任务,通过选择特定的像素在图像和相应的目标位置,目标图像,其中所需的目标状态指定的图像,和图像分类器,定义空间的目标状态。我们的深度预测模型是使用机器人与数百个对象交互而自主和连续收集的数据进行训练的,无需人工监督。我们证明了视觉MPC可以推广到以前从未见过的对象-刚性和可变形-并使用相同的模型解决一系列用户定义的对象操作任务。
2018-12-03 cs.AI cs.CV cs.LG
MoRE: Unlocking Scalability in Reinforcement Learning for Quadruped Vision-Language-Action Models
Zhejiang University(浙江大学);Westlake University(西湖大学);Monash University(莫纳什大学)
本文提出四足机器人视觉-语言-动作模型MoRE,通过在稠密多模态大语言模型中集成低秩适配专家并以强化学习训练为Q函数,利用混合质量数据实现高效多任务学习,在六种技能和真实场景中均优于基线方法。
2025-03-11 cs.AI cs.RO