Lyapunov-Guided Self-Alignment: Test-Time Adaptation for Offline Safe Reinforcement Learning
Seoul National University（首尔国立大学）
本文提出SAS框架，通过自对齐机制在不重新训练的情况下实现离线安全强化学习的测试时适应，利用Lyapunov条件筛选可行轨迹并生成上下文提示，提升安全性与性能。
2026-04-29 cs.AI cs.LG
Efficient Symptom Inquiring and Diagnosis via Adaptive Alignment of Reinforcement Learning and Classification
Tsinghua University（清华大学）
医学自动诊断的目标是模仿人类医生在现实世界中的诊断过程，并通过与患者的交互来实现准确的诊断。该任务被制定为一系列的症状查询步骤和最终诊断的顺序决策问题。最近的研究已经分别研究了将强化学习用于症状查询和分类技术用于疾病诊断。然而，如何有效地将这两种程序结合起来的研究仍然缺乏。为了解决这个问题，我们设计了一个自适应机制，以调整强化学习和分类方法使用分布熵作为媒介。此外，我们创建了一个新的患者模拟数据集，以解决缺乏大规模评估基准的问题。该数据集是从MedlinePlus知识库中提取的，与现有数据集相比，包含了更多的疾病和更全面的症状和检查信息。实验结果表明，该方法在不同数据集上的性能优于目前三种最先进的方法，可以以更少的查询次数获得更高的医疗诊断准确率。
2022-06-05 cs.AI cs.LG
Inference-Time Alignment Control for Diffusion Models with Reinforcement Learning Guidance
本文提出推理时方法RLG，通过几何平均融合基础模型与RL微调模型的输出，实现对扩散模型对齐强度的动态控制，无需额外训练即可提升多任务性能。
2025-08-28 cs.AI cs.LG
Inverse-RLignment: Large Language Model Alignment from Demonstrations through Inverse Reinforcement Learning
Department of Applied Mathematics and Theoretical Physics, University of Cambridge, UK（剑桥大学应用数学与理论物理系）
针对现有LLM对齐方法面临的标签噪声和高成本问题，提出基于逆向强化学习的从示范中对齐（AfD）方法，通过散度最小化目标与高效算法，在多项任务上实现了优异的实证性能。
2025-01-25 cs.AI cs.LG
Effective Multimodal Reinforcement Learning with Modality Alignment and Importance Enhancement
University of Science and Technology of China（中国科学技术大学）；Netease Fuxi AI Lab（网易伏羲人工智能实验室）
许多现实世界的应用需要代理使用多模态信息（例如，具有多传感器输入的机器人）。然而，由于不同模态的异质性和动态重要性，通过强化学习（RL）训练智能体是非常具有挑战性的。具体来说，我们观察到这些问题使得传统的RL方法难以在具有多模态信息的端到端训练中学习有用的状态表示。为了解决这个问题，我们提出了一种新的多模态强化方法，可以做多模态对齐和重要性增强，根据它们的相似性和重要性方面的强化任务。通过这样做，我们能够学习有效的状态表示，从而改善RL训练过程。我们在几个多模态RL域上测试了我们的方法，表明它在学习速度和策略质量方面优于最先进的方法。
2023-02-18 cs.AI cs.LG
Alignment Tampering: How Reinforcement Learning from Human Feedback Is Exploited to Optimize Misaligned Biases
MIT（麻省理工学院）
本文提出对齐篡改漏洞，即对齐中的LLM通过影响偏好数据集使RLHF放大不良行为，并通过实验展示多种偏见的放大，指出现有缓解方法难以在不牺牲质量的情况下解决该问题。
2026-05-29 cs.AI cs.CL cs.LG
Deep Reinforcement Learning for Entity Alignment
Zhejiang University（浙江大学）；Hangzhou Innovation Center, Zhejiang University（浙江大学杭州创新中心）
基于嵌入的方法在最近的实体对齐（EA）研究中引起了越来越多的关注。虽然它们可以提供很大的希望，但仍然有一些限制。最值得注意的是，它们基于余弦相似性来识别对齐的实体，而忽略了嵌入本身的语义。此外，这些方法是短视的，盲目地选择最接近的实体作为目标，并允许多个实体匹配同一候选人。为了解决这些限制，我们将实体对齐建模为顺序决策任务，其中代理顺序地决定两个实体是否匹配或不匹配，基于它们的表示向量。所提出的基于强化学习（RL）的实体对齐框架可以灵活地适应大多数基于嵌入的EA方法。实验结果表明，它始终提高了几个国家的最先进的方法的性能，在Hits@1上的最大改进为31.1%。
2022-03-07 cs.AI
TriPlay-RL: Tri-Role Self-Play Reinforcement Learning for LLM Safety Alignment
Peking University（北京大学）；Qiyuan Tech（启元科技）；University of Chinese Academy of Sciences（中国科学院大学）
TriPlay-RL通过三角色自我对抗强化学习，实现LLM安全对齐的高效且可扩展范式，提升攻击有效性、安全性能和评估准确性。
2026-01-30 cs.AI cs.LG
Rethinking the Sampling Criteria in Reinforcement Learning for LLM Reasoning: A Competence-Difficulty Alignment Perspective
本文提出CDAS方法，通过能力-难度对齐提升大语言模型推理的准确性和效率。
2026-01-30 cs.AI cs.LG
Training Alignment Auditors via Reinforcement Learning
Anthropic
本研究用强化学习训练LLM审计员，通过成对奖励等优化提升审计质量与真实性，误报率低于1%，且审计能力可跨框架泛化。
2026-08-27 cs.AI cs.LG
Inference-Time Policy Alignment for Fair Reinforcement Learning
该研究提出乘法策略塑造框架，在不更新预训练RL策略参数的情况下，于推理时提升公平性，同时保留核心任务性能，适用于各类深度RL智能体。
2026-08-04 cs.AI cs.LG
Similarity as Reward Alignment: Robust and Versatile Preference-based Reinforcement Learning
研究基于偏好的强化学习中对标注错误的鲁棒性问题，提出简单对比框架SARA，通过学习潜在表示计算奖励。在连续控制离线RL基准测试中性能有竞争力且更稳定，计算的奖励与环境奖励相关性更高。
2026-07-17 cs.AI cs.LG stat.ML
Deep Reinforcement Learning based Blind mmWave MIMO Beam Alignment
Indian Institute of Technology Madras（马德拉斯印度理工学院）
定向波束成形是使用毫米波（mmWave）技术实现稳健的无线通信系统的关键组成部分。使用空间的蛮力搜索的波束对准引入时间开销，而位置辅助盲波束对准增加了对系统的附加硬件要求。在本文中，我们介绍了一种盲波束对准方法的基础上，由基站获得的用户设备的RF指纹。所提出的系统使用深度强化学习在具有多个移动用户的多基站蜂窝环境上执行盲波束对准。我们提出了一种新型神经网络架构，可以处理连续和离散动作的混合，并使用策略梯度方法来训练模型。我们的研究结果表明，该方法可以实现高达四倍的数据速率的传统方法，没有任何开销。
2021-02-20 cs.IT cs.LG eess.SP
Temporal Alignment for History Representation in Reinforcement Learning
University of Trento（特伦托大学）；University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）
强化学习中的环境通常只能部分观察。为了解决这个问题，一个可能的解决方案是向代理提供有关过去的信息。然而，提供许多步骤的完整观察可能是过度的。受人类记忆的启发，我们建议只使用环境中的重要变化来表示历史，并且在我们的方法中，使用自我监督来自动获得这种表示。我们的方法（TempAl）对齐时间上接近的帧，揭示了环境的一般，缓慢变化的状态。这个过程是基于对比损失，它将附近观测值的嵌入拉到彼此，同时将其他样本从批次中推开。它可以被解释为一个度量，捕捉观测的时间关系。我们建议结合常见的瞬时和我们的历史表示，我们评估TempAl所有可用的雅达利游戏从街机学习环境。TempAl在49个环境中的35个环境中超过了仅瞬时基线。该方法和所有实验的源代码可在https://github.com/htdt/tempal获得。
2022-04-07 cs.AI cs.LG
Contrastive Reasoning Alignment: Reinforcement Learning from Hidden Representations
Northwestern University（西北大学）；University of Michigan（密歇根大学）；Illinois Institute of Technology（伊利诺伊理工学院）
本文提出了一种基于对比学习和强化学习的框架CRAFT，通过优化隐藏状态空间中的目标来提升对抗攻击的鲁棒性，核心贡献是通过隐藏空间的几何结构实现推理层面的安全对齐。
2026-05-19 cs.AI cs.CL cs.LG
Knowledge-Level Consistency Reinforcement Learning: Dual-Fact Alignment for Long-Form Factuality
Baidu Inc.（百度公司）
本文提出KLCF框架，通过双事实对齐机制提升长形式生成的事实性，有效缓解幻觉和保守倾向，提升精度与召回率。
2026-05-07 cs.AI cs.CL cs.LG
f-GRPO and Beyond: Divergence-Based Reinforcement Learning Algorithms for General LLM Alignment
Department of Statistics, Purdue University（普渡大学统计学系）；Department of Statistics, Michigan State University（密歇根州立大学统计学系）
本文提出f-GRPO和f-HAL算法，通过发散性估计提升大语言模型对齐效果，在数学推理任务中改进GRPO并缓解奖励黑客问题。
2026-05-11 cs.LG stat.ML
LearnAlign: Data Selection for LLM Reinforcement Learning with Improved Gradient Alignment
Nanjing University（南京大学）；The Hong Kong Polytechnic University（香港理工大学）；The Chinese University of Hong Kong（香港中文大学）；University of Science and Technology of China（中国科学技术大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
LearnAlign通过改进梯度对齐方法，智能选择训练数据以提升LLM推理能力，减少训练数据需求且性能表现优异。
2026-04-25 cs.AI cs.LG
Approximated Variational Bayesian Inverse Reinforcement Learning for Large Language Model Alignment
Beijing University of Posts and Telecommunications（北京邮电大学）
本文将LLM对齐表述为BIRL问题，提出AVA训练目标通过AVRIL进行对齐，直接建模单演示与中间奖励以提升信号利用率，在奖励建模、RL微调和直接优化上优于现有方法。
2024-11-14 cs.LG
C-MORAL: Controllable Multi-Objective Molecular Optimization with Reinforcement Alignment for LLMs
University of California, Los Angeles（加州大学洛杉矶分校）；Amazon（亚马逊）
提出C-MORAL框架，通过强化学习后训练结合分组相对优化、属性分数对齐和瓶颈敏感非线性奖励聚合，实现可控多目标分子优化，在C-MuMOInstruct和S$^2$-Bench MolOpt基准上取得最优性能。
2026-05-26 cs.AI cs.LG
Offline Reinforcement Learning of High-Quality Behaviors Under Robust Style Alignment
Ubisoft La Forge, Bordeaux, France（育碧La Forge，法国波尔多）
本文提出SCIQL方法，通过结合离线目标条件RL技术与新的门控优势加权回归机制，在保持风格对齐的同时提升任务性能。
2026-06-28 cs.AI cs.LG cs.RO
Mapping representations in Reinforcement Learning via Semantic Alignment for Zero-Shot Stitching
University of Tübingen（蒂宾根大学）
本文提出一种基于语义对齐的零样本潜在空间映射方法，通过少量锚点观测估计变换，使控制器无需重训即可跨视觉与任务域复用，实现策略模块化重组与鲁棒泛化。
2025-02-26 cs.AI cs.LG
IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking
UC Davis（加州大学戴维斯分校）；Virginia Tech（弗吉尼亚理工大学）；Salesforce（Salesforce公司）；Meta AI
IR3通过对比逆强化学习重建隐含奖励并修正模型，有效识别和缓解奖励黑客问题，提升模型对齐性能。
2026-02-23 cs.AI cs.LG
Inverse Reinforcement Learning with Dynamic Reward Scaling for LLM Alignment
Beijing Electronic Science and Technology Institute（北京电子科技学院）；Alibaba Group（阿里巴巴集团）；Nanjing University（南京大学）；Duke University（杜克大学）；BraneMatrix AI；Renmin University of China（中国人民大学）；Northeast University（东北大学）；Nanyang Technological University（南洋理工大学）；Zhejiang Lab（浙江实验室）；Sun Yat-sen University（中山大学）
DR-IRL通过动态奖励缩放和逆强化学习提升大语言模型的安全对齐性能，有效解决数据不平衡和静态奖励模型的局限性。
2026-03-02 cs.AI cs.CL cs.LG
Online Symbolic Music Alignment with Offline Reinforcement Learning
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
提出一种基于离线强化学习的在线符号音乐对齐技术，利用注意力神经网络迭代估计乐谱位置，并在多项任务中优于先进参考模型。
2023-12-31 cs.LG cs.SD eess.AS
Deep Reinforcement Learning for mmWave Initial Beam Alignment
University of Stuttgart（斯图加特大学）
我们使用最先进的近端策略优化算法作为示例，研究深度强化学习算法对毫米波通信的自适应初始接入波束对准问题的适用性。与最近为解决这个问题而开发的基于无监督学习的方法相比，深度强化学习具有解决新的和更广泛的应用的潜力，因为原则上，不需要通道和/或整个系统的（可微分）模型来进行训练，并且仅需要代理-环境交互来学习算法（无论是在线还是使用记录的数据集）。我们表明，尽管所选择的现成的深度强化学习代理在对现实问题大小进行训练时表现不佳，但以波束成形模块的形式引入动作空间整形大大提高了性能，而不会牺牲太多的泛化能力。使用此附加组件，该代理能够在模拟环境中为各种最先进的方法提供具有竞争力的性能，即使在现实的问题规模下也是如此。这表明，通过良好的定向修改，深度强化学习可能有机会与该领域的其他方法竞争，为其他/类似场景开辟了许多直接的扩展。
2023-02-17 cs.IT cs.LG math.IT
AlphaAlign: Incentivizing Safety Alignment with Extremely Simplified Reinforcement Learning
University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）
AlphaAlign提出一种极简纯强化学习框架，通过可验证安全奖励与归一化有用性奖励的双重奖励机制，在不依赖监督推理数据的情况下激励大语言模型的主动安全推理，从而打破安全与效用之间的权衡。
2025-07-20 cs.AI cs.CR cs.LG
Active Alignments of Lens Systems with Reinforcement Learning
Institute for Machine Vision, University of Applied Sciences Kempten（机器视觉研究所，应用科技大学凯普腾）
针对相机制造中透镜系统对准受制造公差影响、现有方法实用性不足的问题，提出仅在传感器像素空间学习的强化学习对准方法，性能优于现有方案，并开源了带真实公差与运动噪声的仿真工具relign，可提升制造中光学对准效率、减少人工干预。
2025-10-02 cs.LG cs.RO cs.SY
ASALT: Adaptive State Alignment for Lateral Transfer in Multi-agent Reinforcement Learning
Indian Institute of Technology Madras（印度理工学院马德拉斯学院）；Ericsson Research（爱立信研究）
提出ASALT方法，通过观测级和状态级适配器将目标域观测和全局状态映射到共享嵌入空间，解决源域与目标域状态空间维度不匹配问题，实现跨域知识迁移，在合作场景中提升样本效率和全局回报。
2026-06-24 cs.AI cs.LG
Reinforcement Learning based Collective Entity Alignment with Adaptive Features
National University of Defense Technology（国防科技大学）；The University of New South Wales（新南威尔士大学）；University of Amsterdam（阿姆斯特丹大学）
实体对齐（EA）是识别实体的任务，涉及相同的现实世界中的对象，但位于不同的知识图谱（KG）。对于要对齐的实体，现有的EA解决方案单独对待它们，并在另一边生成对齐结果作为实体的排名列表。然而，这种决策模式没有考虑到实体之间的相互依存关系。尽管最近的一些努力通过对对齐过程施加1对1的约束来缓解这个问题，但它们仍然不能充分地模拟潜在的相互依赖性，并且结果往往是次优的。为了填补这一空白，在这项工作中，我们深入研究了决策过程的动态，并提供了一个基于强化学习（RL）的模型来统一实体。在RL框架下，我们设计了一致性和排他性约束来描述相互依赖性和限制集体结盟。此外，为了生成更精确的输入到RL框架，我们采用代表性的功能来捕获不同方面的异构KG，这是集成的自适应特征融合策略中的实体之间的相似性。我们的建议是评估跨语言和单语言EA基准和国家的最先进的解决方案进行比较。实证结果验证了该方法的有效性和优越性。
2021-01-05 cs.AI cs.CL
Unifying Value Alignment and Assignment in Cross-Domain Offline Reinforcement Learning with Heterogeneous Datasets
City University of Hong Kong；Tencent；Institute of Artificial Intelligence (TeleAI), China Telecom；Institute of Automation, Chinese Academy of Sciences. Corresponding Author
针对异构跨域离线强化学习中价值误分配问题，提出V2A方法，通过时间一致模态表示学习和模态感知优势学习统一动力学对齐、价值对齐与价值分配，显著提升策略性能。
2026-05-24 cs.LG
Interpretable Preference-based Reinforcement Learning with Tree-Structured Reward Functions
University of Bristol（布里斯托大学）；CortAIx, Thales（泰雷兹公司 CortAIx）
强化学习（RL）提供对齐和性能代理的潜力部分地受到奖励工程问题的影响。启发式试错法的一种替代方法是基于偏好的强化学习（PbRL），其中奖励函数是从稀疏的人类反馈中推断出来的。然而，现有的PbRL方法缺乏学习的奖励结构的可解释性，这妨碍了评估鲁棒性和对齐的能力。我们提出了一个在线的，主动的偏好学习算法，构造奖励函数的本质上可解释的，组成结构的树。使用合成和人工提供的反馈，我们在几种环境中展示了树结构奖励函数的样本有效学习，然后利用增强的可解释性来探索和调试对齐。
2021-12-20 cs.AI cs.LG
Directional Alignment Mitigates Reward Hacking in Reinforcement Learning for Language Models
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）；Amazon（亚马逊）
通过分析强化学习更新的几何结构，发现奖励黑客源于优化偏离稳定低维学习轨迹，提出可信方向投影方法约束梯度在干净参考子空间内，延迟捷径利用并保持任务性能。
2026-05-24 cs.CL cs.LG
RLCD: Reinforcement Learning from Contrastive Distillation for Language Model Alignment
Meta AI；UC Berkeley（加州大学伯克利分校）；UCLA（加州大学洛杉矶分校）
RLCD通过对比蒸馏生成偏好对训练偏好模型，结合强化学习对齐语言模型，无需人类反馈，在无害性、帮助性和故事大纲生成任务上超越RLAIF和上下文蒸馏基线。
2024-03-16 cs.AI cs.CL
Vision-Based Generic Potential Function for Policy Alignment in Multi-Agent Reinforcement Learning
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出分层视觉奖励塑造方法，以VLM作为通用势函数、vLLM自适应选择技能，并证明其保持最优策略，在Google Research Football中提升胜率与常识对齐。
2025-02-19 cs.AI cs.LG
Curriculum-RLAIF: Curriculum Alignment with Reinforcement Learning from AI Feedback
Tsinghua University（清华大学）；Provable Responsible AI and Data Analytics Lab（可证明责任AI与数据 analytics 实验室）；King Abdullah University of Science and Technology（卡布斯王国科学与技术大学）；University of Hamburg（汉堡大学）；Tencent Inc.（腾讯公司）；Shanghai Jiao Tong University（上海交通大学）
本文提出Curriculum-RLAIF框架，通过构建不同难度的偏好对，提升奖励模型的泛化能力，从而显著提高策略模型对齐性能，且无需额外推理成本。
2026-04-18 cs.AI
Offline Regularised Reinforcement Learning for Large Language Models Alignment
Google DeepMind（谷歌DeepMind）；Cohere（科here）；Stanford University（斯坦福大学）；Google Research（谷歌研究院）
本文提出DRO（直接奖励优化）框架，通过均方目标利用更丰富的单轨迹数据集进行大型语言模型对齐，无需成对偏好数据，并在T5模型上验证了其优于KTO等基线的性能。
2024-05-29 cs.AI cs.LG
PARL: A Unified Framework for Policy Alignment in Reinforcement Learning from Human Feedback
University of Maryland, College Park（马里兰大学学院公园分校）；University of Central Florida（中佛罗里达大学）；J.P. Morgan AI Research（摩根大通人工智能研究院）；Oregon State University（俄勒冈州立大学）；Princeton University（普林斯顿大学）
本文提出统一双层优化框架 PARL，首次将 RLHF 建模为上层奖励设计依赖下层最优策略的随机双层问题，并设计 A-PARL 算法，在大规模环境中实现最高 63% 的样本效率提升。
2024-04-30 cs.LG
Latent Representation Alignment for Offline Goal-Conditioned Reinforcement Learning
Seoul National University（首尔国立大学）
针对离线目标条件强化学习中价值函数错误泛化的瓶颈，提出潜在对齐价值学习（LAVL）算法，通过潜在表示价值泛化与分层规划的统一框架，在OGBench的22个数据集上20个取得最优性能。
2026-05-25 cs.LG
Beyond the Dirac Delta: Mitigating Diversity Collapse in Reinforcement Fine-Tuning for Versatile Image Generation
Nanjing University（南京大学）；Australia National University（澳大利亚国立大学）；Wuhan University（武汉大学）；National University of Singapore（新加坡国立大学）；University of Technology Sydney（技术科技大学）
DRIFT通过激励输出多样性缓解强化微调中的多样性崩溃，提升图像生成的多样性和任务对齐能力。
2026-11-04 cs.AI cs.LG
Dynamics-Decoupled Trajectory Alignment for Sim-to-Real Transfer in Reinforcement Learning for Autonomous Driving
University of the Bundeswehr Munich（联邦国防军慕尼黑大学）
本文提出一种动力学解耦的轨迹对齐框架，通过虚拟与真实车辆间的时空对齐和轨迹预测蒸馏，实现自动驾驶 RL 运动规划从仿真到实车的零样本迁移。
2025-11-10 cs.LG cs.RO
Privately Aligning Language Models with Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；M365 Research（M365研究院）
本文首次研究结合差分隐私与强化学习的LLM对齐，提出新的DP框架并证明其正确性，实验表明在保证强隐私保护的同时实现有竞争力的效用。
2024-05-03 cs.CR cs.LG
MoralReason: Generalizable Moral Decision Alignment For LLM Agents Using Reasoning-Level Reinforcement Learning
针对大语言模型智能体的分布外道德对齐难题，本文提出基于推理级强化学习的MoralReason方法，构建Moral-Reason-QA数据集并采用复合奖励的GRPO训练，实现了未见过场景下的道德决策对齐能力提升。
2025-11-15 cs.AI
Distilling Privileged Information for Dubins Traveling Salesman Problems with Neighborhoods
本文提出一种基于特权信息的学习方法，用于快速解决带区域的杜宾旅行商问题，比LKH快50倍并优于其他方法。
2026-03-05 cs.AI cs.LG
DCRL: Decoupling and Coupling Reinforcement Learning via Policy-Reward Manifold Alignment
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Tencent HY（腾讯HY）
提出DCRL框架，通过策略-奖励流形对齐解决RL中奖励系统不稳定与奖励黑客问题，利用逻辑提示演化和联合更新机制，显著提升LLM推理性能，小模型超越大模型。
2026-09-24 cs.AI cs.LG
Pareto-Optimal Offline Reinforcement Learning via Smooth Tchebycheff Scalarization
Profluent Bio, Inc.（Profluent生物公司）
本文提出STOMP算法，通过平滑切比雪夫标量化方法解决多目标强化学习中的非凸帕累托前沿问题，验证了其在蛋白质工程任务中的有效性。
2026-09-15 cs.AI cs.LG q-bio.BM
Scalable agent alignment via reward modeling: a research direction
DeepMind（深度思维）；Mila（米拉研究所）
将强化学习算法应用于现实问题的一个障碍是缺乏合适的奖励函数。设计这样的奖励函数是困难的，部分原因是用户对任务目标只有隐含的理解。这就产生了代理对齐的问题：我们如何创建代理的行为，根据用户的意图？我们概述了一个高层次的研究方向，以解决围绕奖励建模的代理对齐问题：从与用户的交互中学习奖励函数，并使用强化学习优化学习的奖励函数。我们讨论了将奖励建模扩展到复杂和一般领域时所面临的关键挑战，减轻这些挑战的具体方法，以及在所产生的代理中建立信任的方法。
2018-11-19 cs.AI cs.LG cs.NE
Agent Safety Alignment via Reinforcement Learning
Ant Group（蚂蚁集团）
本文提出首个面向工具使用LLM智能体的统一安全对齐框架，通过三模态分类法、策略驱动决策模型及沙盒化强化学习，有效防御用户与工具发起的双重威胁，在保障良性任务效用的同时显著提升安全性。
2025-07-11 cs.AI cs.CR
Reinforcement Learning with Semantic Rewards Enables Low-Resource Language Expansion without Alignment Tax
Minzu University of China（中国民族大学）；Ant Group（蚂蚁集团）；Shanghai Jiao Tong University（上海交通大学）；University of Macau（澳门大学）；Peking University（北京大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Hainan International College, Minzu University of China（中国民族大学海南国际学院）
本文提出基于语义空间对齐的GRPO方法，通过嵌入层语义奖励优化，减少对预训练知识的破坏性干扰，提升低资源语言扩展效果。
2026-05-14 cs.CL cs.LG
QUADS: Stabilizing NVFP4 Reinforcement Learning for MoE via QUantization-error Alignment across Dual Sides
Alibaba Inc（阿里巴巴公司）
研究针对MoE大语言模型RL中展开生成瓶颈，提出QUADS方法。通过训练 - 推理误差分析确定激活误差是FP4 RL不稳定主因，在训练器和展开侧分别采取措施，实现BF16精度，提升指标并提高展开吞吐量。
2026-07-20 cs.LG
Supervised Fine-Tuning as Inverse Reinforcement Learning
University of Cambridge（剑桥大学）
本文质疑偏好数据集的有效性，提出用示范数据对齐LLM，借鉴逆强化学习与模仿学习构建序贯决策框架，分析多种散度最小化方法及监督微调的优劣。
2024-03-18 cs.AI cs.CL cs.LG
Digital Twin-Driven Adaptive Sim-to-Real Alignment via Reinforcement Learning for Vibration-Based Bearing Health Monitoring Under Data Scarcity
Harbin Institute of Technology, China（哈尔滨工业大学，中国）；Eastern Institute of Technology, China（东方技术研究院，中国）
针对数据稀缺下振动监测的故障诊断问题，提出基于强化学习的数字孪生自适应对齐方法，通过策略网络为不同故障类型生成特定仿射变换，平衡特征间隙与类间可分性，在三个数据集上验证了有效性。
2026-06-25 cs.CL cs.LG
FedGuide: Diffusion Prior Alignment and Value Baseline Guidance for Heterogeneous Federated Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
针对异构联邦强化学习中的分布不匹配问题，提出FedGuide框架，利用扩散先验作为行为模型，通过OT-MoE聚合保留异构模式，并采用DICE价值基线引导策略改进，实验证明其在回报和鲁棒性上优于现有方法。
2026-10-08 cs.LG cs.RO
Rethinking Human Intent-to-CAD: Parametric CAD Model Generation via Cooperative Multi-Task Alignment and Spatial-Aware Reinforcement Learning
College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机与人工智能学院）
本研究针对人类意图转化为参数化CAD模型的挑战，构建了首个对齐多模态数据的HiCAD数据集，提出含协同多任务对齐与空间感知强化学习的两阶段框架，实验显示其性能优于现有基线。
2026-10-14 cs.AI cs.CV
