A State Augmentation based approach to Reinforcement Learning from Human Preferences
SCAI, Arizona State University（亚利桑那州立大学SCAI）
即使在足够简单的领域，强化学习也存在奖励规范不佳以及奖励投机问题。基于偏好的强化学习试图通过利用循环中的人对查询轨迹对的二进制反馈来学习奖励模型来解决这个问题。在这项工作中，我们提出了一种状态增强技术，允许代理的奖励模型是强大的，并遵循不变性的一致性，显着提高性能，即奖励恢复和随后的回报计算使用我们的基线PEBBLE的学习策略。我们验证了我们的方法在三个领域，山地车，四足步行的运动任务，和机器人操作任务的扫入，并发现，使用建议的增强代理不仅有利于整体性能，但这样做，相当早在代理的训练阶段。
2023-02-17 cs.AI cs.LG
Green Screen Augmentation Enables Scene Generalisation in Robotic Manipulation
Dyson Robot Learning Lab（戴森机器人学习实验室）
针对机器人操作策略难以跨视觉场景泛化的问题，本文提出在绿幕环境采集演示并用GreenAug替换背景，实验证明其优于多种现有增强方法。
2024-09-08 cs.AI cs.CV cs.LG
Safe Inference-Time Alignment via Lagrangian Reward Augmentation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Independent Researcher（独立研究者）
研究提出拉格朗日奖励增强框架，从含奖励与成本模型的约束目标出发，经对偶化将问题转化为一维凸问题，校准对偶变量获增强奖励，提升推理时对齐的有益性与无害性权衡。
2026-10-06 cs.AI cs.CL cs.LG
Shaping Sparse Rewards in Reinforcement Learning: A Semi-supervised Approach
Department of Mathematics, The University of Hong Kong (HKU)（香港大学数学系）；Department of Data and Systems Engineering, HKU（香港大学数据与系统工程系）；Musketeers Foundation Institute of Data Science, HKU（穆斯克特基金会数据科学研究所）
本文提出一种半监督方法，通过利用非零奖励转移和数据增强学习轨迹空间表示，提升稀疏奖励下的奖励塑造效果，在Atari和机器人操控任务中优于监督方法。
2026-05-15 cs.AI cs.LG
View-Invariant Pixelwise Anomaly Detection in Multi-object Scenes with Adaptive View Synthesis
University of Houston（休斯顿大学）
针对多目标场景视角变化、无异常标注等真实场景异常检测难题，提出Scene AD任务与ToyCity数据集，通过视图合成增强和改进反向蒸馏的OmniAD方法，大幅提升逐像素异常定位性能。
2025-05-19 cs.AI cs.CV
Student/Teacher Advising through Reward Augmentation
迁移学习是多智能体强化学习的一个重要的新分支，旨在帮助智能体通过使用解决另一个问题所获得的知识来学习问题，或者通过使用已经知道问题的智能体所传达的知识来学习问题。这是有用的，当一个人希望改变架构或学习算法的代理（以便新的知识不需要建立“从头开始”），当新的代理频繁地引入到环境中没有知识，或当代理必须适应类似的，但不同的问题。使用Torrey和Taylor提出的教师/学生框架，在代理人对代理人的情况下取得了很大进展（2013年）。然而，这种方法要求从教师那里学习的方法与在其他强化学习环境中学习的方法不同。在本文中，我提出了一种方法，它允许教师/学生框架被应用的方式，适合直接和自然地到更一般的强化学习框架，通过整合教师的反馈到奖励信号接收的学习代理。我表明，这种方法可以显着提高学习速度的代理玩一个球员的随机游戏，我给的方法的潜在陷阱的例子，我提出了进一步的研究领域建立在这个框架。
2020-02-07 cs.AI
Adapting Technical-Service LLM Agents with Latent Logic Augmentation, Robust Noise Reduction, and Hybrid Reward Modeling
School of Mathematics and Sciences, Fudan University, Shanghai, China（复旦大学数学科学学院，上海，中国）；Shanghai Center for Mathematical Sciences, Fudan University, Shanghai, China（复旦大学上海数学中心，上海，中国）；Alibaba Group, Hangzhou, China（阿里巴巴集团，杭州，中国）；Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University, Shanghai, China（脑启发式智能科学技术研究院，复旦大学，上海，中国）；Center for Applied Mathematics & Shanghai Key Laboratory of Contemporary Applied Mathematics, Fudan University, Shanghai, China（应用数学中心及上海当代应用数学重点实验室，复旦大学，上海，中国）
本文提出轻量级适应框架，通过潜在逻辑增强和鲁棒噪声消除提升技术服务代理的稳定性和性能，同时采用混合奖励机制降低训练成本。
2026-09-09 cs.AI cs.IR cs.LG
SpatialThinker: Reinforcing Scene Graph-Grounded Spatial Reasoning via Dense Rewards
University of Oxford（牛津大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
研究针对多模态大语言模型空间推理难题，提出SpatialThinker，通过在线强化学习统一场景图生成与视觉推理，构建心理场景图并借助密集奖励推理，贡献包括基于SGG推理、高质量训练数据集及密集奖励设计。
2026-07-07 cs.AI cs.CL cs.CV
3D-RFT: Reinforcement Fine-Tuning for Video-based 3D Scene Understanding
University of Science and Technology of China（中国科学技术大学）
提出3D-RFT框架，将可验证奖励的强化学习（RLVR）扩展到视频3D感知与推理，通过直接优化评估指标（如3D IoU和F1分数）提升性能，4B模型超越8B模型。
2026-06-15 cs.AI cs.CV
Device-Robust Acoustic Scene Classification via Impulse Response Augmentation
Institute of Computational Perception（计算感知研究所）；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University（约翰内斯开普勒大学）
本文提出用预录设备冲激响应增强训练音频，以提升声学场景分类对未见录音设备的泛化能力，并证明其与 Freq-MixStyle 互补，达到新最优性能。
2023-06-27 cs.AI cs.LG cs.SD
PRISM: Projection-based Reward Integration for Scene-Aware Real-to-Sim-to-Real Transfer with Few Demonstrations
National Key Laboratory of Human-Machine Hybrid Augmented Intelligence（人机混合增强智能国家级实验室）；Institute of Artificial Intelligence and Robotics（人工智能与机器人研究院）；Xi’an Jiaotong University（西安交通大学）
提出真实到仿真到真实流程PRISM，通过图像识别物体构建仿真环境，并利用VLM监督的投影奖励模型与专家示范训练RL策略，实现少样本下鲁棒的机器人控制。
2025-04-29 cs.AI cs.RO
Adaptive Stress Testing with Reward Augmentation for Autonomous Vehicle Validation
Stanford University（斯坦福大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
确定可能的故障场景是评估自动驾驶汽车系统的关键步骤。真实世界的车辆测试通常用于自动驾驶车辆验证，但成本和时间要求很高。因此，模拟驱动的方法，如自适应压力测试（AST）已被提出来帮助验证。AST将寻找最可能的故障场景的问题表述为马尔可夫决策过程，可以使用强化学习来解决。在实践中，AST倾向于发现故障不可避免的场景，并且倾向于重复发现系统的相同类型的故障。这项工作解决了这些问题，通过编码域相关的信息到搜索过程中。通过这种修改，AST方法发现了一个更大的和更有表现力的子集的故障空间相比，原来的AST制定。我们表明，我们的方法是能够识别有用的自动驾驶汽车政策的失败场景。
2019-08-06 cs.AI cs.LG cs.RO
Improving Text-to-Image Generation with Intrinsic Self-Confidence Rewards
POSTECH（POSTECH大学）；RLWRLD（RLWRLD实验室）；GenGenAI（GenGenAI研究院）
本文提出SOLACE框架，通过模型自身输出的重建误差生成自信心信号，用于强化学习，提升生成内容的组成、文本渲染和文本图像对齐能力。
2026-05-10 cs.AI cs.CV
Stream4D: 4D-Consistency for Streaming Autoregressive Diffusion Video Models
UCLA（加州大学洛杉矶分校）；Tsinghua University（清华大学）
Stream4D用显式建模场景动力学的前馈4D重建奖励替代静态评判器，结合运动先验与感知锚，提升流式自回归扩散视频模型的4D重建质量、运动保留效果及人类对齐偏好。
2026-08-21 cs.AI cs.CV
Goal Exploration Augmentation via Pre-trained Skills for Sparse-Reward Long-Horizon Goal-Conditioned Reinforcement Learning
University of Manchester（曼彻斯特大学）
针对稀疏奖励长程任务中GCRL目标探索效率低的问题，提出优化已实现与待探索目标熵的新学习目标，利用相似环境的目标转移模式预训练技能增强探索，在多基准任务上显著提升现有GCRL方法的探索效率与性能。
2023-12-19 cs.AI cs.LG cs.RO
ViGoR: Improving Visual Grounding of Large Vision Language Models with Fine-Grained Reward Modeling
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；AWS AI（AWS人工智能）
ViGoR通过细粒度奖励建模提升大视觉语言模型的视觉 grounding 能力，采用更经济的人类评估和自动化方法，有效提高视觉推理准确性。
2025-12-22 cs.AI cs.CV
Simple and Effective Synthesis of Indoor 3D Scenes
Google Research（谷歌研究院）；Georgia Institute of Technology（佐治亚理工学院）；University of Michigan（密歇根大学）；Apple（苹果公司）
我们研究的问题，从一个或多个图像合成沉浸式三维室内场景。我们的目标是从新的视点生成高分辨率的图像和视频，包括远超出输入图像的视点，同时保持3D一致性。现有的方法非常复杂，有许多单独训练的阶段和组件。我们提出了一个简单的替代方案：图像到图像GAN，直接从不完整的点云的重投影映射到完整的高分辨率RGB-D图像。在Matterport 3D和RealEstate 10 K数据集上，我们的方法在人类评估以及FID分数上的表现明显优于之前的工作。此外，我们表明，我们的模型是有用的生成数据增强。通过我们的模型进行空间扰动的轨迹训练的视觉和语言导航（VLN）代理在R2 R基准测试的最新基线上将成功率提高了1.5%。我们的代码将用于促进生成数据增强和应用于下游机器人和嵌入式AI任务。
2022-12-01 cs.AI cs.CV cs.LG
Learning Visual Robotic Control Efficiently with Contrastive Pre-training and Data Augmentation
New York University（纽约大学）；University of California, Berkeley（加州大学伯克利分校）
无监督表示学习的最新进展显着提高了模拟环境中训练强化学习策略的样本效率。然而，类似的收益还没有看到真正的机器人强化学习。在这项工作中，我们专注于从像素实现数据高效的真实机器人学习。我们提出了用于高效机器人学习（CoDER）的对比预训练和数据增强，这是一种利用数据增强和无监督学习来实现稀疏奖励的真实机器人手臂策略的样本有效训练的方法。虽然对比预训练、数据增强、演示和强化学习本身不足以实现有效的学习，但我们的主要贡献是将这些不同的技术结合起来，从而产生了一种简单但数据高效的方法。我们证明，只要给出10个演示，一个机器人手臂就可以从像素中学习稀疏奖励操作策略，例如在30分钟的平均真实训练时间内达到，拾取，移动，拉动大型物体，翻转开关和打开抽屉。我们在项目网站上提供了视频和代码：https://sites.google.com/view/efficient-robotic-manipulation/home
2022-10-17 cs.AI cs.LG cs.RO
Simulating Emergent Properties of Human Driving Behavior Using Multi-Agent Reward Augmented Imitation Learning
Stanford University（斯坦福大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
多智能体模仿学习的最新发展已经显示出对人类驾驶员行为建模的有希望的结果。然而，它是具有挑战性的捕捉紧急交通行为，在现实世界中观察到的数据集。这种行为的出现是由于代理之间的许多局部交互作用，而这些交互作用通常在模仿学习中不被考虑。本文提出了奖励增强模仿学习（RAIL），它集成了奖励增强到多智能体模仿学习框架，并允许设计者指定先验知识的原则性的方式。我们证明了收敛保证的模仿学习过程中保留的应用程序的奖励增强。该方法在驾驶场景中进行了验证，其中整个交通场景由使用我们提出的算法学习的驾驶策略控制。此外，我们证明了改进的性能相比，传统的模仿学习算法在一个单一的代理的本地行动和复杂的，多代理设置的紧急属性的行为。
2019-03-14 cs.AI cs.LG cs.MA
AffectOmni: RL-Verifiable People-Centric Grounded Affective Reasoning for Social and Art-Related Scenes
Lanzhou University（兰州大学）；Hainan University（海南大学）；National University of Singapore（新加坡国立大学）
AffectOmni是面向社交与艺术场景的可验证情感推理框架，通过GRPO训练，引入两类奖励优化以人为中心的证据选择与时间推理，经多数据集实验较7B基线实现显著性能提升。
2026-08-28 cs.AI
LookPlanGraph: Embodied Instruction Following Method with VLM Graph Augmentation
MIRAI；Cognitive AI Systems Lab（认知人工智能系统实验室）
LookPlanGraph通过动态更新场景图实现具身指令跟随，利用视觉语言模型增强环境感知，优于静态场景图方法。
2025-12-24 cs.AI cs.LG cs.RO
Generate Any Scene: Scene Graph Driven Data Synthesis for Visual Generation Training
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（人工智能研究院）
本文提出Generate Any Scene，通过系统生成场景图来合成高质量数据，用于提升视觉生成模型的合成能力与语义对齐。
2026-03-17 cs.AI cs.CV cs.LG
It Takes Two: On the Seamlessness between Reward and Policy Model in RLHF
ByteDance（字节跳动）
本文提出“无缝性”概念和自动度量指标 SEAM，用于衡量 RLHF 中奖励模型与策略模型判断的差异，并通过数据筛选和模型增强分别提升 RLHF 性能 4.5% 和 4%。
2024-06-13 cs.AI cs.CL cs.LG
Building Generalizable Agents with a Realistic and Rich 3D Environment
UC Berkeley（加州大学伯克利分校）；Facebook AI Research（Facebook人工智能研究院）
教智能体在看不见的3D环境中导航是一项具有挑战性的任务，即使在模拟环境中也是如此。为了推广到看不见的环境，智能体需要对低级变化（例如颜色，纹理，对象变化）以及高级变化（例如环境的布局变化）具有鲁棒性。为了提高整体的泛化能力，必须通过不同级别的数据增强步骤来考虑环境中的所有类型的变化。为此，我们提出了House3D，这是一个丰富，可扩展和高效的环境，包含45，622个人类设计的视觉逼真房屋的3D场景，从单室工作室到多层房屋，配备了一组不同的完全标记的3D对象，纹理和场景布局，基于SUNC数据集（Song等人）。House3D的多样性为场景级增强打开了大门，而House3D丰富的标签特性使我们能够注入像素级和任务级增强，如域随机化（Toubin et.（见上文）多任务训练。使用House3D中的房屋子集，我们表明，在导航成功率方面，经过不同增强级别增强训练的强化学习代理在看不见的环境中的表现要比我们的原始RGB输入基线好得多。House3D可在http://github.com/facebookresearch/House3D上公开获得。
2018-04-08 cs.AI cs.LG
Reward Redistribution for CVaR MDPs using a Bellman Operator on L-infinity
提出一种基于状态增强的静态 CVaR 目标新公式，通过奖励再分配得到稠密奖励和压缩 Bellman 算子，并开发风险厌恶值迭代和无模型 Q 学习算法，具有收敛保证和离散化误差界。
2026-07-01 cs.AI cs.LG
CLEAR: Context Augmentation from Contrastive Learning of Experience via Agentic Reflection
AWS AI Labs（亚马逊云科技人工智能实验室）
CLEAR通过对比学习经验的代理反思生成上下文，提升任务完成率和奖励。
2026-10-23 cs.AI
STRAPPER: Preference-based Reinforcement Learning via Self-training Augmentation and Peer Regularization
Zhejiang University（浙江大学）；Westlake University（西湖大学）
针对基于偏好的强化学习中人类标注成本高、一致性正则化受相似性陷阱影响失效的问题，提出结合同伴正则化的自训练方法，可高效学习多种运动与机器人操作行为。
2023-07-19 cs.AI cs.LG
FoundObj: Self-supervised Foundation Models as Rewards for Label-free 3D Object Segmentation
Shenzhen Research Institute, The Hong Kong Polytechnic University（深圳研究院，香港理工大学）；vLAR Group, The Hong Kong Polytechnic University（vLAR小组，香港理工大学）
提出FoundObj框架，利用自监督2D/3D基础模型的语义和几何先验作为奖励，通过强化学习引导超点合并，实现无标注复杂场景3D物体分割。
2026-05-26 cs.AI cs.CV cs.LG
From Seeing to Simulating: Generative High-Fidelity Simulation with Digital Cousins for Generalizable Robot Learning and Evaluation
Peking University（北京大学）；Lightwheel
本文提出一种生成框架，将真实世界全景映射到高保真模拟场景，并通过语义和几何编辑合成多样化的亲属场景，结合高质量物理引擎和真实资产，支持交互式操作任务，并通过多房间拼接构建一致的大规模环境，验证了平台的保真度和数据扩展对泛化能力的提升。
2026-04-17 cs.AI cs.RO
Experience Augmentation: Boosting and Accelerating Off-Policy Multi-Agent Reinforcement Learning
Zhejiang University（浙江大学）
高维状态动作空间的探索是强化学习（RL）的最大挑战之一，特别是在多智能体领域。我们提出了一种称为经验增强的新技术，它可以在快速，公平和彻底探索环境的基础上实现时间效率和增强学习。它可以与任意非策略MARL算法相结合，适用于同构或异构环境。我们证明了我们的方法相结合，它与MADDPG和验证的性能在两个同质和异构环境。在性能最好的场景下，经验增强的MADDPG在1/4真实时间内达到了普通MADDPG的收敛效果，并且其收敛性明显优于原模型。我们的消融研究表明，经验增强是加速训练过程并促进收敛的关键因素。
2020-05-20 cs.AI cs.LG cs.MA
Estimating Material Properties of Interacting Objects Using Sum-GP-UCB
Carnegie Mellon University（卡内基梅隆大学）
提出基于Sum-GP-UCB的贝叶斯优化方法，通过分别建模各场景观测奖励并引入部分评估，高效估计交互物体材料属性参数，实现快速优化与增量学习。
2023-10-18 cs.AI cs.LG cs.RO
