语言大模型 / LLM

Aligning Agents like Large Language Models

像大型语言模型一样对齐代理

Adam Jelley, Yuhan Cao, Dave Bignell, Amos Storkey, Sam Devlin, Tabish Rashid

机构 * School of Informatics, University of Edinburgh, Edinburgh, United Kingdom（爱丁堡大学信息学院） ； Micosoft Research, Cambridge, United Kingdom（微软研究院） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；post-training(abstract)

AI总结 本文提出通过像训练大型语言模型一样训练代理，以实现更通用、稳健和对齐的行为，并通过3D视频游戏环境中的概念验证展示方法。

Role-Based Fault Tolerance System for LLM RL Post-Training

基于角色的LLM强化学习后训练容错系统

Zhenqian Chen, Baoquan Zhong, Xiang Li, Qing Dai, Xinkui Zhao, Miao Ye, Ren Cheng, Lufei Zhang, Jianwei Yin

机构 * Zhejiang University（浙江大学） ； State Key Laboratory of Mathematical Engineering and Advanced Computing（数学工程与先进计算国家重点实验室） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；LLM(title)；分类 cs.AI、cs.LG

AI总结 RobustRL通过基于角色的故障隔离技术，有效提升LLM强化学习后训练的容错性能，实现训练时间比率提升80%以上。

Comments 16 pages, 19 figures

A Survey of Reinforcement Learning from Human Feedback

从人类反馈强化学习的综述

Timo Kaufmann, Paul Weng, Viktor Bengs, Eyke Hüllermeier

机构 * LMU Munich（慕尼黑大学） ； MCML Munich（慕尼黑马克斯·普朗克研究所） ； DFKI（德国人工智能研究中心） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；RLHF(abstract)

AI总结 本文综述了从人类反馈强化学习的基本原理、核心方法及在多个领域中的应用与贡献。

Comments Published version (TMLR): https://openreview.net/pdf?id=f7OkIurx4b

Journal ref Transactions on Machine Learning Research, 2025

APO: Alpha-Divergence Preference Optimization

APO：Alpha-散度偏好优化

Wang Zixian

机构 * China Mobile Communications Group Shandong Co., Ltd. Tai’an Branch（中国移动通信集团山东公司泰安分公司） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；分类 cs.AI、cs.LG

AI总结 APO通过alpha-散度在锚定几何中插值正反KL散度，实现稳定训练与探索平衡，提升模型性能。

C2PO: Diagnosing and Disentangling Bias Shortcuts in LLMs

C2PO：诊断和解构大语言模型中的偏见捷径

Xuan Feng, Bo An, Tianlong Gu, Liang Chang, Fengrui Hao, Peipeng Yu, Shuai Zhao

机构 * Jinan University（济南大学） ； Nanyang Technological University（南洋理工大学） ； Engineering Research Center of Trustworthy AI (Ministry of Education)（可信人工智能工程研究中心） ； Guangxi Key Laboratory of Trusted Software（广西可信软件重点实验室） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.CL

AI总结 C2PO通过因果对比偏好优化框架，解决大语言模型中的偏见问题，同时保持推理能力。

Evaluating GRPO and DPO for Faithful Chain-of-Thought Reasoning in LLMs

评估GRPO和DPO在LLM中的忠实链式推理能力

Hadi Mohammadi, Tamas Kozak, Anastasia Giachanou

机构 * Utrecht University, Department of Information and Computing Sciences（乌特勒支大学信息与计算科学系） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.CL

AI总结 本文评估GRPO和DPO在提升LLM链式推理忠实性方面的性能，发现GRPO在大模型中表现更优，有助于开发更透明可信的推理方法。

HY-Motion 1.0: Scaling Flow Matching Models for Text-To-Motion Generation

HY-Motion 1.0：基于流匹配模型的文本到运动生成规模化研究

Yuxin Wen, Qing Shuai, Di Kang, Jing Li, Cheng Wen, Yue Qian, Ningxin Jiao, Changhai Chen, Weijie Chen, Yiran Wang, Jinkun Guo, Dongyue An, Han Liu, Yanyu Tong, Chao Zhang, Qing Guo, Juan Chen, Qiao Zhang, Youyi Zhang, Zihao Yao, Cheng Zhang, Hong Duan, Xiaoping Wu, Qi Chen, Fei Cheng, Liang Dong, Peng He, Hao Zhang, Jiaxin Lin, Chao Zhang, Zhongyi Fan, Yifan Li, Zhichao Hu, Yuhong Liu, Linus, Jie Jiang, Xiaolong Li, Linchao Bao

机构 * Tencent Hunyuan 3D Digital Human Team（腾讯文盈3D数字人团队） 纠错

专题命中 后训练与偏好优化 ：pretraining(abstract)；分类 cs.AI

AI总结 HY-Motion 1.0通过大规模流匹配模型实现文本到3D人体运动的生成，采用全流程训练范式提升运动生成精度和多样性。

Comments Github: see https://github.com/Tencent-Hunyuan/HY-Motion-1.0