语言大模型 / LLM

Emergent Introspective Awareness in Large Language Models

大语言模型中的涌现自我意识

Jack Lindsey

机构 * Anthropic 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 研究发现大语言模型在特定条件下能识别自身内部状态，但其自我意识仍不成熟且依赖上下文。

Unified Generation and Self-Verification for Vision-Language Models via Advantage Decoupled Preference Optimization

通过优势解耦偏好优化实现视觉语言模型的统一生成与自验证

Xinyu Qiu, Heng Jia, Zhengwen Zeng, Shuheng Shen, Changhua Meng, Yi Yang, Linchao Zhu

机构 * College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； Venus Team, Ant Group（蚂蚁集团 Venus 团队） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；language model(title)

AI总结 ADPO通过统一生成与自验证的强化学习框架，提升视觉语言模型的验证性能和推理效率。

Fine-Grained Preference Optimization Improves Spatial Reasoning in VLMs

细粒度偏好优化提升视觉语言模型的空间推理能力

Yifan Shen, Yuanzhe Liu, Jingyuan Zhu, Xu Cao, Xiaofeng Zhang, Yixiao He, Wenming Ye, James Matthew Rehg, Ismini Lourentzou

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；language model(abstract)；分类 cs.CL

AI总结 细粒度偏好优化方法SpatialReasoner-R1通过改进空间推理能力，在空间推理任务中取得显著性能提升。

GDRO: Group-level Reward Post-training Suitable for Diffusion Models

GDRO：适用于扩散模型的组级奖励后训练

Yiyang Wang, Xi Chen, Xiaogang Xu, Yu Liu, Hengshuang Zhao

机构 * The University of Hong Kong（香港大学） ； The Chinese University of Hong Kong（香港中文大学） ； Tongyi Lab（通义实验室） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.LG

AI总结 GDRO通过组级奖励后训练优化，提升扩散模型奖励分数并增强抗奖励黑客能力。

Counterfactual Self-Questioning for Stable Policy Optimization in Language Models

反事实自问法用于语言模型中的稳定策略优化

Mandar Parab

专题命中 后训练与偏好优化 ：language model(title,abstract)；分类 cs.AI

AI总结 反事实自问法通过内部生成的监督提升语言模型的推理准确性和训练稳定性，实现自我改进。

ScRPO: From Errors to Insights

ScRPO：从错误到洞察

Lianrui Li, Dakuan Lu, Jiawei Shao, Xuelong Li

机构 * Institute of Artificial Intelligence (TeleAI)（人工智能研究院（TeleAI）） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

AI总结 ScRPO通过自我反思和错误纠正机制，提升大语言模型的数学推理能力，在多个基准测试中优于基线方法。

VisionReward: Fine-Grained Multi-Dimensional Human Preference Learning for Image and Video Generation

VisionReward: 面向图像和视频生成的细粒度多维人类偏好学习

Jiazheng Xu, Yu Huang, Jiale Cheng, Yuanming Yang, Jiajun Xu, Yuan Wang, Wenbo Duan, Shen Yang, Qunlin Jin, Shurun Li, Jiayan Teng, Zhuoyi Yang, Wendi Zheng, Xiao Liu, Dan Zhang, Ming Ding, Xiaohan Zhang, Xiaotao Gu, Shiyu Huang, Minlie Huang, Jie Tang, Yuxiao Dong

专题命中 后训练与偏好优化 ：preference optimization(abstract)

AI总结 VisionReward通过细粒度多维人类偏好学习框架，提升图像和视频生成的偏好对齐效果，实验显示其在准确性与胜率上均优于现有方法。

Comments 27 pages