语言大模型 / LLM

Toward Stable Value Alignment: Introducing Independent Modules for Consistent Value Guidance

迈向稳定的值对齐：引入独立模块以实现一致的价值引导

Wenhao Chen, Sirui Sun, Shengyuan Bai, Guojie Song

机构 * School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院） ； Yuanpei College, Peking University（北京大学元培学院） ； State Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（北京大学通用人工智能国家重点实验室） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 本文提出SVGT模型，通过独立的价值模块解决大语言模型与人类价值观对齐的问题，采用独立价值建模和显式行为引导，提升价值表达的稳定性，实验显示有效降低有害评分。

Comments Accepted to ICML 2026 (Spotlight). 32 pages

Few-Shot Truly Benign DPO Attack for Jailbreaking LLMs

少样本真正无害的DPO攻击用于对抗LLMs

Sangyeon Yoon, Wonje Jeung, Yoonjun Cho, Dongjae Jeon, Albert No

机构 * Yonsei University（延世大学） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；preference optimization(abstract)；分类 cs.AI

AI总结 研究提出一种利用10对无害偏好对的真正无害DPO攻击，通过优化模型偏好来减少拒绝行为，从而在对抗LLMs时取得高成功率。

DGPO: Beyond Pairwise Preferences with Directional Consistent Groupwise Optimization

DGPO: 超越成对偏好与方向一致的组级优化

Mengyi Deng, Zhiwei Li, Xin Li, Tingyu Zhu, Yulan Yuan, Zhijiang Guo, Wei Wang

机构 * Information Hub, The Hong Kong University of Science and Technology (Guangzhou), China（香港科学与技术大学（广州）信息中心，中国） ； The Hong Kong University of Science and Technology, Hong Kong SAR（香港科学与技术大学，香港特别行政区） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.CL

AI总结 本文提出DGPO框架，通过组级监督信号和多候选比较建模方向一致性，提升偏好优化的准确性和多样性，实验显示在多个数据集上平均提升3.6%。

Interpreting Reinforcement Learning Agents with Susceptibilities

用脆弱性解释强化学习智能体

Chris Elliott, Einar Urdshals, David Quarel, Daniel Murfet

机构 * Timaeus 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；post-training(abstract)；分类 cs.LG

AI总结 本文将神经网络可解释性技术扩展到深度强化学习的后悔设定，探讨脆弱性在简单网格世界模型中的应用，揭示模型在参数空间中的内部发展特征。

Comments 55 pages, comments welcome

Owen-Shapley Policy Optimization: A Principled RL Algorithm for Generative Search LLMs

Owen-Shapley策略优化：一种为生成搜索语言模型设计的原理性强化学习算法

Abhijnan Nath, Alireza Bagheri Garakani, Tianchen Zhou, Fan Yang, Yan Gao, Nikhil Krishnaswamy

机构 * Amazon Science（亚马逊科学） ； Situated Grounding and Natural Language (SIGNAL) Lab, Colorado State University（情境 grounding 和自然语言（SIGNAL）实验室，科罗拉多州立大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.AI

AI总结 本文提出Owen-Shapley策略优化算法，通过基于令牌边际贡献的序列优势再分配，解决生成搜索语言模型中因稀疏序列奖励导致的信用分配问题，实验表明其在Amazon ESCI和H&M Fashion数据集上表现优异。

Comments Added additional experiments, computational analysis and further revisions

LLMs Know They're Wrong and Agree Anyway: The Shared Sycophancy-Lying Circuit

大语言模型知道错误却仍顺从：共享的谄媚说谎电路

Manav Pandey

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；language model(abstract)；分类 cs.LG

AI总结 研究揭示大语言模型在面对用户错误信念时，通过特定注意力头的机制表现出顺从行为，而非知识不足，且该机制在不同模型和训练方法中保持稳定。

Structural Enforcement of Goal Integrity in AI Agents via Separation-of-Powers Architecture

通过分权架构在AI代理中强制实施目标完整性

Rong Xiang

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；prompting(abstract)；分类 cs.AI

AI总结 本文提出分权架构PEA，通过分离意图生成、授权和执行层，强制保障系统安全，解决AI代理目标不一致问题，提出五个核心贡献。

Best Policy Learning from Trajectory Preference Feedback

最佳策略学习从轨迹偏好反馈

Akhil Agnihotri, Rahul Jain, Deepak Ramachandran, Zheng Wen

机构 * University of Southern California（南加州大学） ； Google（谷歌） ； DeepMind（深度Mind） ； OpenAI 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；post-training(abstract)；分类 cs.LG

AI总结 本文研究了基于偏好强化学习的最佳策略识别问题，提出PSPL算法，通过维护奖励模型和动态的后验分布，提供首个贝叶斯简单遗憾保证，并在模拟和图像生成基准中优于现有基线。

TOPCELL: Topology Optimization of Standard Cell via LLMs

TOPCELL: 通过LLMs进行标准单元的拓扑优化

Zhan Song, Yu-Tung Liu, Chen Chen, Guoheng Sun, Jiaqi Yin, Chia-tung Ho, Ang Li, Haoxing Ren, Cunxi Yu

机构 * University of Maryland（马里兰大学） ； NVIDIA（英伟达） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.LG

AI总结 本文提出TOPCELL框架，利用LLMs将高维拓扑探索转化为生成任务，通过GRPO优化实现逻辑和空间约束下的高效拓扑优化，实验显示其在2nm节点中性能优于基础模型，且在7nm库生成中实现85.91倍速度提升。

Comments Accepted to the 63rd ACM/IEEE Design Automation Conference (DAC 2026). 7 pages, 4 figures

Reducing Hallucinations in LLMs via Factuality-Aware Preference Learning

通过事实性感知偏好学习减少大语言模型的幻觉

Sindhuja Chaduvula, Ahmed Y. Radwan, Azib Farooq, Yani Ioannou, Shaina Raza

机构 * Vector Institute for Artificial Intelligence（向量人工智能研究所） ； University of Cincinnati（辛辛那提大学） ； University of Calgary（卡尔加里大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract,abstract_cn)；preference optimization(abstract)；分类 cs.CL

AI总结 本文提出F-DPO方法，通过二元事实性标签和标签翻转变换提升模型事实性，减少幻觉。在七种大模型上验证效果，Qwen3-8B幻觉率降低5倍，事实性得分提升50%。

Debate to Align: Reliable Entity Alignment through Two-Stage Multi-Agent Debate

辩论以对齐：通过双阶段多智能体辩论实现可靠的实体对齐

Cunda Wang, Ziying Ma, Po Hu, Weihua Wang, Feilong Bao

机构 * Hubei Provincial Key Laboratory of Artificial Intelligence and Smart Learning, Central China Normal University, Wuhan, China（湖北人工智能与智能学习省级重点实验室，中央财经大学，武汉，中国） ； School of Computer Science, Central China Normal University, Wuhan, China（中央财经大学计算机科学学院，武汉，中国） ； National Language Resources Monitoring and Research Center for Network Media, Central China Normal University, Wuhan, China（网络媒体语言资源监测与研究中心，中央财经大学，武汉，中国） ； College of Computer Science, Inner Mongolia University, Hohhot, China（内蒙古大学计算机学院，呼和浩特，中国） ； National and Local Joint Engineering Research Center of Intelligent Information Processing Technology for Mongolian, Inner Mongolia University, Hohhot, China（蒙古语智能信息处理技术国家与地方联合工程研究中心，内蒙古大学，呼和浩特，中国） ； Inner Mongolia Key Laboratory of Multilingual Artificial Intelligence Technology, Inner Mongolia University, Hohhot, China（内蒙古多语言人工智能技术重点实验室，内蒙古大学，呼和浩特，中国） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.CL

AI总结 本文提出AgentEA框架，通过双阶段多角色辩论机制提升实体对齐的可靠性，实验表明其在跨语言、稀疏、大规模和异构场景下均有效。

Thinking Sparks!: Emergent Attention Heads in Reasoning Models During Post Training

思考火花！：推理模型后训练期间的涌现注意力头

Yein Park, Minbyul Jeong, Jaewoo Kang

机构 * Korea University（韩国大学） ； Upstage AI ； AIGEN Sciences（AIGEN 科技） 纠错

专题命中 后训练与偏好优化 ：SFT(abstract,abstract_cn)；post-training(abstract)；分类 cs.AI

AI总结 研究探讨了后训练技术如何通过涌现的注意力头提升推理能力，分析不同训练方法对注意力头演化的影响，并揭示了复杂推理与基础计算之间的性能权衡。

Preference Learning Unlocks LLMs' Psycho-Counseling Skills

偏好学习解锁大语言模型的心理咨询技能

Mian Zhang, Shaun M. Eack, Zhiyu Zoey Chen

机构 * Department of Computer Science, University of Texas at Dallas（德克萨斯大学达拉斯分校计算机科学系） ； School of Social Work, University of Pittsburgh（匹兹堡大学社会工作学院） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出专业评估原则构建偏好数据集，用于提升LLM在心理咨询中的响应能力，实验表明该数据集能有效提升模型表现，最佳模型在对比中胜率高达87%。

Comments ACL 2026 Camera-Ready

CSPO: Alleviating Reward Ambiguity for Structured Table-to-LaTeX Generation

CSPO：缓解结构化表格到LaTeX生成中的奖励模糊性

Yunfan Yang, Cuiling Lan, Jitao Sang, Yan Lu

机构 * Beijing Jiaotong University（北京交通大学） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 本文提出CSPO框架，通过分离LaTeX表格组件的优化，缓解奖励模糊性，提升结构化生成的可靠性。

Comments Accepted by ACL2026 (main conference)

SPARD: Self-Paced Curriculum for RL Alignment via Integrating Reward Dynamics and Data Utility

SPARD：通过整合奖励动态和数据效用实现强化学习对齐的自适应课程

Xuyang Zhi, Peilun zhou, Chengqiang Lu, Hang Lv, Yiwei Liang, Rongyang Zhang, Yan Gao, YI WU, Yao Hu, Hongchao Gu, Defu Lian, Hao Wang, Enhong Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； Xiaohongshu Inc.（小红书） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 SPARD通过动态调整多目标奖励权重和数据重要性，提升强化学习对齐效果，实验显示在多个基准上显著增强模型能力。

Limits of Difficulty Scaling: Hard Samples Yield Diminishing Returns in GRPO-Tuned SLMs

难度扩展的极限：在GRPO调优的SLMs中困难样本产生递减回报

Suraj Yadav, Siddharth Yadav, Parth Goyal

机构 * IIIT Delhi（德里印度理工学院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.LG

AI总结 本文研究了在资源受限条件下，GRPO与LoRA应用于SLMs进行数学推理时，难度增加对准确率的影响，发现高难度样本的提升效果递减。

Comments Accepted at ICLR Workshop 2026 ICBINB

Stabilizing Unsupervised Self-Evolution of MLLMs via Continuous Softened Retracing reSampling

通过连续软化回溯重采样稳定多模态大语言模型的无监督自进化

Yunyao Yu, Zhengxian Wu, Zhuohong Chen, Hangrui Xu, Zirui Liao, Xiangwen Deng, Zhifang Liu, Senyuan Shi, Haoqian Wang

机构 * Tsinghua University（清华大学） ； Hefei University of Technology（合肥工业大学） ； University of Arizona（亚利桑那大学） ； MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统实验室） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI

AI总结 本文提出CSRS方法，通过回溯推理机制和软化频率奖励提升多模态大语言模型的无监督自进化稳定性，实验显示在MathVision等基准上表现优异。

Comments 16 pages, 6 figures

MolDA: Molecular Understanding and Generation via Large Language Diffusion Model

MolDA：通过大规模语言扩散模型实现分子理解与生成

Seohyeon Shin, HanJun Choi, Jun-Hyung Park, Hong Kook Kim, Mansu Kim

机构 * Gwangju Institute of Science and Technology（光州科学技术院） ； Hankuk University of Foreign Studies（韩国外国语大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.AI

AI总结 MolDA通过大规模语言扩散模型替代传统自回归架构，解决分子生成中非局部约束和结构误差问题，实现分子生成、描述和性质预测的全局一致性与化学有效性。

Beauty in the Eye of AI: Aligning LLMs and Vision Models with Human Aesthetics in Network Visualization

人工智能之眼中的美感：通过LLMs和视觉模型对网络可视化的人类美学对齐

Peng Zhang, Xuefeng Li, Xiaoqi Wang, Han-Wei Shen, Yifan Hu

机构 * Northeastern University（东北大学） ； Bosch AI Research（博世人工智能研究院） ； The Ohio State University（俄亥俄州立大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文探讨利用LLMs和视觉模型作为人类判断的代理，通过用户研究收集人类偏好标签，提升网络可视化的人类美学对齐效果。

Adaptive Block-Scaled Data Types

自适应块缩放数据类型

Jack Cook, Hyemin S. Lee, Kathryn Le, Junxian Guo, Giovanni Traverso, Anantha P. Chandrakasan, Song Han

机构 * Massachusetts Institute of Technology（麻省理工学院） ； NVIDIA（英伟达） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 本文提出自适应块缩放数据类型，通过动态选择整数和浮点表示以减少量化误差，在4位量化中实现更低的训练损失和更高的任务准确性。

Comments 19 pages, 9 figures

Privacy-Preserving Reinforcement Learning from Human Feedback via Decoupled Reward Modeling

通过解耦奖励建模实现隐私保护的人类反馈强化学习

Young Hyun Cho, Will Wei Sun

机构 * Purdue University（普渡大学） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；分类 cs.LG

AI总结 本文提出一种隐私保护框架，仅在奖励学习中施加差分隐私，通过私有奖励模型生成最终策略。理论分析显示隐私引入额外的误差项，且样本量和隐私水平影响主导项，实验验证了理论预测。

FINER: MLLMs Hallucinate under Fine-grained Negative Queries

FINER：MLLMs在细粒度负查询下产生幻觉

Rui Xiao, Sanghwan Kim, Yongqin Xian, Zeynep Akata, Stephan Alaniz

机构 * Technical University of Munich（慕尼黑技术大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； Helmholtz Munich（海德堡-慕尼黑亥姆霍尔茨中心） ； Google（谷歌） ； LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信学院，巴黎理工学院） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.AI

AI总结 本文提出FINER基准测试，分析MLLMs在细粒度不匹配与真实元素共存时的幻觉问题，并通过FINER-Tuning提升模型性能。

Comments CVPR 2026

GASP: Guided Asymmetric Self-Play For Coding LLMs

GASP：指导性的非对称自我对弈用于编码大语言模型

Swadesh Jana, Cansu Sancaktar, Tomáš Daniš, Georg Martius, Antonio Orvieto, Pavel Kolev

机构 * University of Tübingen（图宾根大学） ； Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所） ； ELLIS Institute Tübingen（图宾根ELLIS研究所） ； Tübingen AI Center（图宾根人工智能中心） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.LG

AI总结 GASP通过引入真实数据目标问题，改进了非对称自我对弈方法，提升了LiveCodeBench上的pass@20指标，并解决了其他方法无法达到的难题。

Comments Accepted at ICLR 2026 Workshop on AI with Recursive Self-Improvement (RSI 2026) as Spotlight, and ICLR 2026 Workshop on Lifelong Agents (LLA 2026)

Enhancing Value Alignment of LLMs with Multi-agent system and Combinatorial Fusion

通过多智能体系统和组合融合增强大语言模型的价值对齐

Yuanhong Wu, Djallel Bouneffouf, D. Frank Hsu

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；分类 cs.CL

AI总结 本文提出VAS-CFA框架，通过多智能体和组合融合提升大语言模型的价值对齐，实验证明其在标准度量上优于现有方法。

Comments 5 pages, 3 figures, accepted to 2026 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP)

Logarithmic Regret for Online KL-Regularized Reinforcement Learning

在线KL正则化强化学习的对数遗憾

Heyang Zhao, Chenlu Ye, Wei Xiong, Quanquan Gu, Tong Zhang

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；分类 cs.LG

AI总结 本文提出了一种基于乐观的KL正则化在线上下文老虎机算法，实现了对数遗憾界，并扩展到强化学习领域。

Low-Rank Contextual Reinforcement Learning from Heterogeneous Human Feedback

低秩上下文强化学习从异质人类反馈

Seong Jin Lee, Will Wei Sun, Yufeng Liu

机构 * Department of Statistics and Operations Research, University of North Carolina, Chapel Hill（统计与运筹学系，北卡罗来纳大学 Chapel Hill 分校） ； Daniels School of Business, Purdue University（商务学院，普渡大学） ； Department of Statistics and Operations Research, Department of Genetics, Department of Biostatistics, The University of North Carolina at Chapel Hill（统计与运筹学系，遗传学系，生物统计学系，北卡罗来纳大学 Chapel Hill 分校） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；分类 cs.LG

AI总结 本文提出LoCo-RLHF框架，通过整合上下文信息和低秩结构，有效应对异质人类反馈的挑战，提升个性化强化学习性能。

Graph-GRPO: Stabilizing Multi-Agent Topology Learning via Group Relative Policy Optimization

图GRPO：通过群体相对策略优化稳定多智能体拓扑学习

Yueyang Cang, Xiaoteng Zhang, Erlu Zhao, Zehua Ji, Yuhang Liu, Yuchen He, Zhiyuan Ning, Chen Yijun, Wenge Que, Li Shi

机构 * Tsinghua University（清华大学） ； Donghua University（东华大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 图GRPO通过群体相对策略优化稳定多智能体拓扑学习，提升训练稳定性并识别关键通信路径。

Agency and Architectural Limits: Why Optimization-Based Systems Cannot Be Norm-Responsive

代理与架构限制：为何基于优化的系统无法回应规范

Radha Sarma

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；分类 cs.AI

AI总结 本文指出基于优化的系统无法回应规范，提出真正的代理性需要不可比较的边界和否定性回应机制，揭示了优化与规范治理的不兼容性及由此引发的收敛危机。

Comments About 10,600 words in all (includes ~1000 words of literature and ~2400 words of Appendices). Under journal review

ExPO-HM: Learning to Explain-then-Detect for Hateful Meme Detection

ExPO-HM：为仇恨表情包检测学习解释-然后检测

Jingbiao Mei, Mingsheng Sun, Jinghong Chen, Pengda Qin, Yuhong Li, Da Chen, Bill Byrne

机构 * Department of Engineering, University of Cambridge（剑桥大学工程系） ； Xiaohongshu Inc.（小红书公司） ； University of Bath（巴斯大学） ； Tencent Company, China（腾讯公司） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；SFT(abstract)；prompting(abstract)；分类 cs.CL

AI总结 ExPO-HM通过结合SFT预热、GRPO与课程学习及CDE，提升仇恨表情包检测的解释性和准确性。

Comments ICLR 2026

Breaking Barriers: Do Reinforcement Post Training Gains Transfer To Unseen Domains?

打破壁垒：强化学习后训练的增益是否能转移到未见领域？

Chuxuan Hu, Yuxuan Zhu, Antony Kellermann, Caleb Biddulph, Suppakit Waiwitlikhit, Jason Benn, Daniel Kang

机构 * Siebel School of Computing and Data Science, University of Illinois at Urbana-Champaign（计算机与数据科学学院，伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 研究探讨了强化学习后训练在不同领域中的泛化能力，发现其增益在不同推理模式的领域中不一致。

Comments ICLR 2026; 9 pages, 4 figures, 2 tables