Aligning Data Selection with Performance: Performance-driven Reinforcement Learning for Active Learning in Object Detection
The University of Hong Kong（香港大学）；SenseTime（秒速）
本文提出MGRAL方法，通过基于LSTM的强化学习智能体以mAP提升为奖励直接优化目标检测中的批量样本选择，并在PASCAL VOC和MS COCO上验证其有效性。
2025-05-06 cs.CV cs.LG
SynRL: Aligning Synthetic Clinical Trial Data with Human-preferred Clinical Endpoints Using Reinforcement Learning
针对现有合成临床试验数据生成方法忽视使用需求、仅依赖事后评估的问题，提出SynRL框架，通过强化学习定制生成数据以满足用户指定的结果和终点要求，在四个数据集上证明其提升数据质量且保持低隐私风险的优势。
2025-02-18 cs.LG
Aligning Frozen LLMs by Reinforcement Learning: An Iterative Reweight-then-Optimize Approach
University of Minnesota（明尼苏达大学）；Texas A&M University（德克萨斯A&M大学）；University of California, Davis（加利福尼亚大学戴维斯分校）；Amazon（亚马逊）；The Chinese University of Hong Kong（香港中文大学）
本文提出迭代重加权后优化（IRO）框架，通过训练轻量级价值函数并以搜索优化方式引导冻结大语言模型的解码过程，实现无需访问模型权重的强化学习式对齐。
2025-07-03 cs.AI cs.CL cs.LG
Stabilizing MoE Reinforcement Learning by Aligning Training and Inference Routers
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机学院，北京大学）；LLM-Core Xiaomi（小米LLM-Core）
针对MoE大模型强化学习中路由机制导致的训练不稳定甚至崩溃问题，提出R3方法通过重放推理阶段路由分布对齐训练与推理路由，有效稳定训练且性能优于现有方法。
2026-11-10 cs.AI cs.CL cs.LG
ReMax: A Simple, Effective, and Efficient Reinforcement Learning Method for Aligning Large Language Models
School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Pazhou Laboratory (Huangpu)（琶洲实验室（黄埔））；China Shenzhen International Center For Industrial and Applied Mathematics（中国深圳国际工业与应用数学中心）
针对PPO算法用于大语言模型RLHF对齐时复杂度高、计算负担重的问题，提出基于REINFORCE的ReMax方法，结合方差缩减技术，简化实现、降低显存占用并提升训练效率，在7B开源模型上取得SOTA性能。
2024-05-16 cs.LG
Answer First, Reason Later: Aligning Search Relevance via Mode-Balanced Reinforcement Learning
Qwen Applications Business Group, Alibaba Group（阿里集团文应用业务组）；Peking University（北京大学）
本研究提出AFRL范式，通过模式平衡优化策略结合SFT与RL，实现低延迟高精度的搜索相关性模型，并有效知识蒸馏。
2026-02-10 cs.LG
Supervised Fine-Tuning as Inverse Reinforcement Learning
University of Cambridge（剑桥大学）
本文质疑偏好数据集的有效性，提出用示范数据对齐LLM，借鉴逆强化学习与模仿学习构建序贯决策框架，分析多种散度最小化方法及监督微调的优劣。
2024-03-18 cs.AI cs.CL cs.LG
True Knowledge Comes from Practice: Aligning LLMs with Embodied Environments via Reinforcement Learning
Nanyang Technological University（南洋理工大学）；Zhejiang University（浙江大学）；Skywork AI（天工智能）
针对大语言模型知识与具身环境不对齐、传统强化学习难融先验的问题，提出TWOSOME在线框架，通过基于LLM的行为策略、归一化与提示设计、共享LoRA的PPO架构，实现高效对齐与强泛化，且不损失LLM原有能力。
2024-03-11 cs.AI cs.CL cs.LG
Boosting Offline Reinforcement Learning via Data Rebalancing
Sea AI Lab（Sea人工智能实验室）；Tsinghua University（清华大学）
离线强化学习（RL）面临着学习策略和数据集之间分布变化的挑战。为了解决这个问题，现有的工作主要集中在设计复杂的算法，显式或隐式地限制学习的政策接近的行为政策。该约束不仅适用于性能良好的动作，也适用于性能较差的动作，这限制了学习策略的性能上限。与对齐两个分布的密度不同，对齐支撑给出了一个放松的约束，同时仍然能够避免分布外的动作。因此，我们提出了一种简单而有效的方法来提高离线RL算法，该方法基于对数据集的重新排序保持分布支持不变的观察。更具体地说，我们构造了一个更好的行为策略，根据其情节回报，在一个旧的数据集的每个转换重新排序。我们称我们的方法为ReD（基于返回的数据再平衡），它可以用不到10行的代码更改来实现，并且增加了微不足道的运行时间。大量的实验表明，ReD在提高离线RL性能方面是有效的，并且与长尾分类中的解耦策略正交。在D4RL基准上实现了新的最先进技术。
2022-10-17 cs.LG
Sim2Real Transfer for Reinforcement Learning without Dynamics Randomization
KUKA Deutschland GmbH（库卡德国有限公司）
在这项工作中，我们展示了如何使用联合和carbohydrates约束下的操作空间控制框架（OSC）的强化学习在carbohydrates空间。因此，我们的方法能够快速学习，并具有可调节的自由度，同时我们能够在KUKA LBR iiwa桩孔内任务中传输策略，而无需额外的动态随机化。在模拟学习开始之前，我们执行系统辨识，以尽可能地使模拟环境与真实机器人的动态一致。向OSC控制器添加约束允许我们在真实机器人上以安全的方式学习，或者学习可以容易地从仿真转移到真实机器人的灵活的目标条件化策略。
2020-02-19 cs.AI cs.LG cs.RO
Aligning GPTRec with Beyond-Accuracy Goals with Reinforcement Learning
University of Glasgow（格拉斯哥大学）
针对传统Top-K推荐模型难优化超越准确率指标的问题，提出两阶段训练GPTRec的方法：先以师生法模拟Top-K模型，再用强化学习对齐多样性、降流行度偏差等目标，实验显示多数情况下其在准确率与次要指标间权衡更优。
2024-03-07 cs.IR cs.LG
Robust Point Cloud Reinforcement Learning via PCA-Based Canonicalization
Purdue University（普渡大学）
针对点云强化学习对相机位姿不匹配敏感的问题，提出基于PCA的点云规范化框架PPC，将点云对齐到统一规范位姿，提升了机器人任务对未见相机位姿的鲁棒性。
2025-10-28 cs.LG cs.RO
RL from Physical Feedback: Aligning Large Motion Models with Humanoid Control
PKU（北京大学）；BeingBeyond；WHU（武汉大学）
针对文本生成运动物理可行性不足难部署的问题，提出RLPF框架，结合物理反馈强化学习与对齐验证模块，实现兼具物理合理性与语义对齐性的运动生成，可部署于真实人形机器人。
2025-06-15 cs.LG cs.RO
MORAL: Aligning AI with Human Norms through Multi-Objective Reinforced Active Learning
Delft University of Technology（代尔夫特理工大学）
从演示和成对偏好中推断奖励函数是将强化学习（RL）代理与人类意图对齐的好方法。然而，现有技术的方法通常集中于学习单个奖励模型，从而使得难以权衡来自多个专家的不同奖励函数。我们提出了多目标强化主动学习（MORAL），一种新的方法，结合不同的示范社会规范到帕累托最优的政策。通过保持标量化权重的分布，我们的方法能够交互式地将深度RL代理调整到各种偏好，同时消除了计算多个策略的需要。我们实证证明了道德的有效性，在两种情况下，模型的交付和紧急任务，需要一个代理人采取行动的规范冲突的存在。总的来说，我们认为我们的研究是朝着多目标RL学习奖励迈出的一步，弥合了当前奖励学习和机器伦理文献之间的差距。
2021-12-30 cs.AI cs.LG
LinguaFluid: Language Guided Fluid Control via Semantic Rewards in Reinforcement Learning
College of Environmental and Resource Sciences, Zhejiang University, Hangzhou, China（浙江大学环境与资源学院）；School of Engineering, Westlake University, Hangzhou, China（西湖大学工程学院）
提出一种基于SBERT语义对齐的强化学习方法，利用文本描述间的余弦相似度作为语义奖励指导流体控制，无需手工设计奖励函数即可实现具竞争力的控制行为，并促进了LLMs与流体控制应用的整合。
2025-08-14 cs.LG physics.flu-dyn
Aligning AI With Shared Human Values
UC Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）；UChicago（芝加哥大学）；Microsoft（微软）
我们将展示如何评估一个语言模型的知识的基本概念的道德。我们介绍了伦理数据集，这是一个新的基准，涵盖了正义，福祉，责任，美德和常识道德的概念。模型预测广泛的道德判断不同的文本场景。这需要将物理和社会世界知识与价值判断联系起来，这种能力可以使我们能够引导聊天机器人输出或最终规范开放式强化学习代理。使用ETHICS数据集，我们发现当前的语言模型具有预测基本人类道德判断的有希望但不完整的能力。我们的工作表明，今天可以在机器伦理方面取得进展，它为实现与人类价值观一致的人工智能提供了一块垫脚石。
2023-02-17 cs.AI cs.CL cs.CY
A Critical Evaluation of AI Feedback for Aligning Large Language Models
Stanford University（斯坦福大学）；Toyota Research Institute（丰田研究所）
本文批判性评估了RLAIF范式，发现RL步骤的提升主要源于SFT阶段使用较弱教师模型，而非RL本身；使用强模型（如GPT-4）进行简单SFT即可超越现有RLAIF流程，并提供了机制解释与改进建议。
2024-02-19 cs.AI cs.CL cs.LG
Implicitly Aligning Humans and Autonomous Agents through Shared Task Abstractions
University of Colorado Boulder（科罗拉多大学博尔德分校）；Johannes-Gutenberg Universität Mainz（美因茨约翰尼斯-古特门大学）
本文提出HA²框架，利用分层强化学习构建共享任务抽象，以提升自主智能体在协作任务中的零样本协调能力，并在Overcooked环境中显著优于现有方法。
2025-05-07 cs.LG cs.MA
Enhancing Control Policy Smoothness by Aligning Actions with Predictions from Preceding States
本文提出ASAP方法，通过与前一状态预测对齐来增强控制策略的平滑性，有效抑制动作振荡并提升策略性能。
2026-01-26 cs.LG
Optimal Execution Using Reinforcement Learning
The Hong Kong University of Science and Technology（香港科技大学）
本研究探讨加密货币的最优订单执行问题，首次通过对齐多交易所数据提取跨交易所信号，并验证了该信号能为基于强化学习的智能体决策提供额外信息，从而促进最优执行过程。
2023-06-19 cs.LG q-fin.TR
EduAlign: Aligning Educational LLMs for Helpfulness, Personalization, and Creativity
Shanghai Innavation Institute（上海创新研究院）；Shanghai Institute of AI for Education（上海人工智能教育研究院）；School of Computer Science and Technology（计算机科学与技术学院）；Department of Educational Information Technology（教育信息技术系）
本文提出EduAlign框架，通过构建HPC多维奖励模型并结合GRPO强化学习微调LLM，提升AI导师在有用性、个性化和创造力培养上的教学对齐。
2026-10-06 cs.AI cs.LG
Aligning Audio Captions with Human Preferences
Qualcomm Technologies, Inc.（高通技术公司）
提出基于人类反馈强化学习的音频字幕生成框架，通过CLAP奖励模型微调基线系统，无需真实标注即可生成更符合人类偏好的字幕。
2026-06-24 cs.LG cs.SD eess.AS
Aligning language models with human preferences
Faculty of Engineering and Informatics（工程与信息学院）；Department of Informatics（信息学系）
本论文探讨将语言模型与人类偏好对齐的多种方法，视其为贝叶斯推理，证明RLHF是分布匹配的特例，并发现预训练阶段引入人类反馈更有效。
2024-04-18 cs.CL cs.LG
Aligning Language Models for Icelandic Legal Text Summarization
Department of Computer Science Reykjavik University（计算机科学系雷克雅未克大学）
本研究探讨了基于偏好的训练技术（RLHF和DPO）在提升冰岛语法律文本摘要生成中的效果，发现其能提高法律准确性但未显著改善语言整体质量，并强调了人工定性评估的重要性。
2025-04-25 cs.AI cs.CL cs.LG
PCPO: Proportionate Credit Policy Optimization for Aligning Image Generation Models
KAIST（韩国科学技术院）
PCPO通过稳定的目标重构和时间步重新加权，解决图像生成模型训练中的不稳定性问题，从而提升收敛速度和图像质量。
2026-02-24 cs.AI cs.CV cs.LG
Adaptive Alignment: Dynamic Preference Adjustments via Multi-Objective Reinforcement Learning for Pluralistic AI
Deakin University（迪肯大学）；Federation University（联邦大学）；CSIRO（澳大利亚联邦科学与工业研究组织）；University of New South Wales（新南威尔士大学）
针对多元AI对齐中适配多样动态用户偏好的问题，提出基于多目标强化学习的学习后策略选择调整的动态对齐框架，分析其优势、假设与实现细节，并探讨该回溯对齐方法的社会技术影响。
2024-10-31 cs.AI cs.LG
SHALA-LLM: Smartly Handling Ambiguous Labels in Aligning LLMs
MIT Media Lab, Massachusetts Institute of Technology（麻省理工学院媒体实验室、麻省理工学院）；National University of Singapore（新加坡国立大学）
提出SHALA-LLM强化学习框架，通过从标注者分布中学习并动态优先处理高模糊样本，改善LLM对模糊标签的建模，在NLI和情感识别任务中提升与标注者分布的一致性及分类性能。
2026-06-03 cs.LG
Offline Reinforcement Learning of High-Quality Behaviors Under Robust Style Alignment
Ubisoft La Forge, Bordeaux, France（育碧La Forge，法国波尔多）
本文提出SCIQL方法，通过结合离线目标条件RL技术与新的门控优势加权回归机制，在保持风格对齐的同时提升任务性能。
2026-06-28 cs.AI cs.LG cs.RO
PerturbCellRL: Aligning Distributions and Grounding Biology via Post-Training Perturbation Generators
Stanford University（斯坦福大学）；Peking University（北京大学）
提出PerturbCellRL框架，通过强化学习后训练预训练的单细胞转录组生成器，利用细胞级验证器奖励确保生物一致性，在多个基准上提升预测性能。
2026-10-05 cs.LG
Flow-Factory: A Unified Framework for Reinforcement Learning in Flow-Matching Models
本文提出Flow-Factory框架，通过模块化注册机制解耦算法、模型和奖励，支持多种算法和架构，提供内存优化和分布式训练支持。
2026-03-15 cs.CV cs.LG
Statistical Impossibility and Possibility of Aligning LLMs with Human Preferences: From Condorcet Paradox to Nash Equilibrium
Massachusetts Institute of Technology（麻省理工学院）；University of Pennsylvania（宾夕法尼亚大学）；Princeton University（普林斯顿大学）
本文探讨了对齐大语言模型与人类偏好的统计限制，证明在一般概率偏好模型下，康德斯循环几乎必然存在，从而表明基于奖励的方法无法完全对齐偏好。同时，研究了非奖励方法下LLM采用混合策略的条件，证明在Luce模型下，少数群体偏好得以保留的统计可能性。
2026-04-30 cs.GT cs.LG econ.TH
Aligning Large Language Models through Synthetic Feedback
NAVER Cloud（NAVER云）；NAVER AI Lab（NAVER人工智能实验室）；KAIST AI（韩国科学技术院人工智能学院）；SNU AI Center（首尔国立大学人工智能中心）
提出不依赖大量人类标注和专有LLMs的合成反馈对齐学习框架，通过对比不同原始LLMs的回复进行奖励建模，并利用强化学习优化模型，最终在对齐基准和人类评估中优于近期开源模型。
2023-10-21 cs.AI cs.CL cs.LG
Human Implicit Preference-Based Policy Fine-tuning for Multi-Agent Reinforcement Learning in USV Swarm
Korea Military Academy (KMA)（韩国军事学院）；KAIST（韩国科学技术院）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；University of California, Riverside（加州大学河滨分校）
提出一种基于人类反馈的MARL方法，通过Agent-Level Feedback系统解决信用分配问题，并利用LLM评估器在多场景下验证，有效优化了USV集群策略。
2025-03-07 cs.AI cs.LG cs.MA
Efficient Reinforcement Learning from Human Feedback via Bayesian Preference Inference
本文提出一种混合框架，将PBO的主动查询模块集成到RLHF流程中，以统一RLHF的可扩展性与PBO的样本效率，并在高维偏好优化和LLM微调任务中验证了样本效率与整体性能的一致提升。
2025-11-06 cs.AI cs.LG
Align to Structure: Aligning Large Language Models with Structural Information
University of Minnesota Twin Cities（明尼苏达大学双城分校）；Amazon（亚马逊）
通过整合语言学话语框架到强化学习中，结构对齐方法提升LLMs在长文本生成和摘要任务中的连贯性和结构组织能力。
2026-02-03 cs.AI cs.CL cs.LG
Unsupervised Domain Adaptation with Dynamics-Aware Rewards in Reinforcement Learning
Zhejiang University（浙江大学）；Westlake University（西湖大学）；UC Berkeley（加州大学伯克利分校）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院前沿技术研究所）
无监督强化学习的目标是在没有预先目标表示的情况下获得技能，其中智能体自动探索开放式环境来表示目标并学习目标条件策略。然而，这个过程通常是耗时的，限制了在一些潜在的昂贵的目标环境中的推出。由于动态变化，在另一个互动丰富的环境中进行训练的直观方法会破坏目标环境中训练技能的可重复性，从而抑制直接转移。假设自由访问源环境，我们提出了一个无监督的领域自适应方法来识别和获取技能的动态。特别是，我们引入了KL正则化的目标，以鼓励出现的技能，奖励代理发现技能和调整其行为尊重动态变化。这表明，两种动力（源和目标）都塑造了奖励，以促进适应技能的学习。我们还进行了实证实验，以证明我们的方法可以有效地学习技能，可以顺利部署在目标。
2021-10-26 cs.LG
MusicRL: Aligning Music Generation to Human Preferences
Google DeepMind（谷歌DeepMind）；Cohere（Cohere公司）；Kyutai（Kyutai公司）
MusicRL是首个从人类反馈微调的音乐生成系统，结合强化学习与RLHF，利用30万偏好数据训练，显著提升文本遵循与音频质量，并揭示主观性在音乐偏好中的重要性。
2024-02-06 cs.LG cs.SD eess.AS
On Reality and the Limits of Language Data: Aligning LLMs with Human Norms
University of Cambridge（剑桥大学）；Monash University（莫纳什大学）
本文通过新型ART测试比较GPT-3与人类规范，揭示LLM在部分常识关系上表现不足，提出结合符号世界接地以提升物理世界理解。
2023-05-09 cs.AI cs.CL cs.LG
Flowing Through States: Neural ODE Regularization for Reinforcement Learning
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Technical University of Munich（慕尼黑工业大学）
该研究提出一种基于神经ODE的正则化方法，将其集成到Actor-Critic算法中，在A2C的Atari基准和PPO的网格世界环境中显著提升了强化学习智能体的性能。
2026-08-10 cs.AI cs.LG
Aligning Agents like Large Language Models
School of Informatics, University of Edinburgh, Edinburgh, United Kingdom（爱丁堡大学信息学院）；Micosoft Research, Cambridge, United Kingdom（微软研究院）
本文提出通过像训练大型语言模型一样训练代理，以实现更通用、稳健和对齐的行为，并通过3D视频游戏环境中的概念验证展示方法。
2025-12-28 cs.AI cs.LG
Scores as Actions: a framework of fine-tuning diffusion models by continuous-time reinforcement learning
Department of IEOR, Columbia University（哥伦比亚大学工业工程与运筹学系）；Department of CS, Stony Brook University（石溪大学计算机科学系）
该研究将扩散模型微调任务建模为连续时间随机控制问题，提出把分数匹配函数作为动作的统一RL微调框架，并构建了对应的连续时间RL理论，相关文本到图像生成实验将在配套论文呈现。
2024-09-12 cs.AI cs.LG
Aligning Diffusion Behaviors with Q-functions for Efficient Continuous Control
Tsinghua University（清华大学）；Institute for AI（人工智能研究院）；Pazhou Lab（琶洲实验室）
该研究借鉴大语言模型对齐思路，提出两阶段离线强化学习框架EDA，用标量网络导数表示扩散策略以适配对齐理论，扩展DPO实现扩散行为与Q函数对齐，在D4RL基准上性能超基线，且低标注数据下仍保持优异表现。
2024-10-30 cs.LG
Reinforced Self-Training (ReST) for Language Modeling
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
该研究提出强化自训练算法ReST，通过离线生成样本构建数据集并结合离线RL优化大语言模型，在机器翻译任务上以高效方式显著提升了翻译质量。
2023-08-21 cs.CL cs.LG
Aligning Flow Map Policies with Optimal Q-Guidance
Imperial College London（帝国理工学院伦敦分校）；Mila
本文提出流映射策略，通过学习任意大小的跳跃提升动作生成速度，并引入FMQ和QGBS方法，在12个机器人任务中实现最优性能。
2026-05-12 cs.LG
On Distributional Reinforcement Learning in Chaotic Dynamical Systems
Centre for Artificial Intelligence（人工智能中心）；Department of Computer Science（计算机科学系）；University College London（伦敦大学学院）；University of Bologna（博洛尼亚大学）
针对混沌动力系统中强化学习面临的高方差和梯度病态问题，提出分布强化学习通过1-Wasserstein度量下的分布贝尔曼目标实现更稳定的优化。
2026-05-28 cs.AI cs.LG
Distributional Reinforcement Learning with Regularized Wasserstein Loss
University of Alberta（阿尔伯塔大学）；Harbin Engineering University（哈尔滨工程大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出SinkhornDRL算法，利用正则化Wasserstein损失（Sinkhorn散度）最小化Bellman回报分布差异，理论证明其收缩性质，并在Atari游戏及多维奖励设定中表现优异。
2024-10-14 cs.LG stat.ML
Diffusion Classifier-Driven Reward for Offline Preference-based Reinforcement Learning
针对离线偏好强化学习中轨迹级偏好难以精确学习逐步奖励的问题，提出扩散分类器驱动的奖励方法（DPR及条件变体C-DPR），通过判别性推断提升奖励质量，实验验证优于Bradley-Terry模型。
2025-09-24 cs.LG
VLM Q-Learning: Aligning Vision-Language Models for Interactive Decision-Making
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Salesforce AI Research（Salesforce人工智能研究）
本文提出VLM Q-Learning方法，从离线到在线强化学习视角微调视觉-语言模型，使其在保留SFT稳定性的同时能从失败决策和低质量数据中自我改进，并在三个多模态智能体领域验证了有效性。
2025-05-06 cs.LG
Toward Information Theoretic Active Inverse Reinforcement Learning
University of Oxford（牛津大学）；Alan Turing Institute（阿兰·图灵研究所）
本文针对主动逆强化学习中人类示范成本高的问题，提出收集更长轨迹并设计信息论获取函数及高效近似方案，通过网格世界实验验证其有效性。
2024-12-31 cs.LG stat.ML
Improved Off-policy Reinforcement Learning in Biological Sequence Design
Mila - Quebec AI Institute（魁北克人工智能研究所）；Valence Labs（Valence实验室）
针对生物序列设计中代理模型分布外易偏差的问题，提出$δ$-保守搜索的离策略强化学习方法，通过限制探索区域、自适应调整保守度提升鲁棒性，在多类生物序列设计任务中优于现有方法。
2025-06-16 cs.LG q-bio.BM
Mitigating Relative Over-Generalization in Multi-Agent Reinforcement Learning
University of Warwick（华威大学）；Alan Turing Institute（阿兰·图灵研究所）；Nanyang Technological University（南洋理工大学）
针对多智能体强化学习中孤立学习导致的相对过度泛化问题，提出MaxMax Q-Learning方法，通过迭代采样和评估下一状态并选择最大Q值进行学习，有效提升协作任务的收敛性与样本效率。
2024-11-17 cs.AI cs.LG stat.ML
AlphaRLM: Aligning Language Models for Literature-Grounded Symbolic Factor Discovery
Harbin Institute of Technology（哈尔滨工业大学）；University of Science and Technology of China（中国科学技术大学）
AlphaRLM是一种强化学习框架，通过文献引导算子组装（LEGO）训练LLM从金融文献构建可执行符号因子，在沪深300、沪深1000和标普500上的年化超额收益优于基线，8B模型展现出良好跨市场性能。
2026-10-16 cs.AI cs.CL cs.LG
Inverse-RLignment: Large Language Model Alignment from Demonstrations through Inverse Reinforcement Learning
Department of Applied Mathematics and Theoretical Physics, University of Cambridge, UK（剑桥大学应用数学与理论物理系）
针对现有LLM对齐方法面临的标签噪声和高成本问题，提出基于逆向强化学习的从示范中对齐（AfD）方法，通过散度最小化目标与高效算法，在多项任务上实现了优异的实证性能。
2025-01-25 cs.AI cs.LG
On Efficient Bayesian Exploration in Model-Based Reinforcement Learning
The Alan Turing Institute（艾伦·图灵研究所）
本文针对强化学习中数据高效探索问题，提出基于贝叶斯探索的预测轨迹采样框架PTS-BE，将信息论探索奖励与基于模型的规划相结合，并在稀疏奖励和纯探索环境中验证其显著优于基线方法。
2025-07-03 cs.LG
