语言大模型 / LLM

SafeNeuron: Neuron-Level Safety Alignment for Large Language Models

SafeNeuron: 大语言模型的神经层面安全对齐

Zhaoxin Wang, Jiaming Liang, Fengbin Zhu, Weixiang Zhao, Junfeng Fang, Jiayi Ji, Handing Wang, Tat-Seng Chua

机构 * Xidian University, Xi'an, China（西安电子科技大学） ； Harbin Institute of Technology, Harbin, China（哈尔滨工业大学） ； National University of Singapore,Singapore（新加坡国立大学） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；preference optimization(abstract)；分类 cs.LG

AI总结 SafeNeuron通过神经层面安全对齐框架提升模型鲁棒性，减少攻击风险并保持通用能力。

Provably Convergent Primal-Dual DPO for Constrained LLM Alignment

可证明收敛的约束语言模型对齐的对偶直接偏好优化

Yihan Du, Seo Taek Kong, R. Srikant

机构 * SUTD ESD（新加坡科技设计大学电子与计算机工程系） ； UIUC ECE（伊利诺伊大学厄巴纳-香槟分校电子与计算机工程系） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 本文提出了一种可证明收敛的约束LLM对齐方法，通过改进的DPO技术减少训练模型数量和内存消耗，同时保证约束条件和优化性能。

Mitigating Mismatch within Reference-based Preference Optimization

缓解基于参考的偏好优化中的不匹配

Suqin Yuan, Xingrui Yu, Jiyang Zheng, Lei Feng, Dadong Wang, Ivor Tsang, Tongliang Liu

机构 * Sydney AI Centre, The University of Sydney（悉尼人工智能中心，悉尼大学） ； CFAR, A*STAR（CFAR，A*STAR） ； CSIRO, Data61（CSIRO，Data61） ； Southeast University（东南大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 HyPO通过有条件地去偏参考信号缓解基于参考的偏好优化中的不匹配问题，提升推理对齐性能。

Comments Accepted by ICLR 2026

How Sampling Shapes LLM Alignment: From One-Shot Optima to Iterative Dynamics

采样如何塑造大语言模型对齐：从单次最优到迭代动态

Yurong Chen, Yu He, Michael I. Jordan, Fan Yao

机构 * Inria（法国国家信息与自动化研究所） ； École Normale Supérieure（巴黎高等师范学校） ； PSL Research University（巴黎综合理工研究所） ； Northwestern University（西北大学） ； University of California, Berkeley（加州大学伯克利分校） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 研究探讨了采样对大语言模型对齐的影响，发现适当采样可提升排序保证，而偏向采样可能导致集中问题，并分析了迭代动态中的稳定性问题。

Temperature as a Meta-Policy: Adaptive Temperature in LLM Reinforcement Learning

温度作为元策略：LLM强化学习中的自适应温度

Haoran Dang, Cuiling Lan, Hai Wan, Xibin Zhao, Yan Lu

机构 * Tsinghua University（清华大学） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 TAMPO通过将温度控制转化为可学习的元策略，实现了LLM强化学习中的自适应探索，优于固定或启发式温度方法。

Comments Accepted at ICLR 2026. 10 pages (main text) + supplementary material, 6 figures

Alternating Reinforcement Learning for Rubric-Based Reward Modeling in Non-Verifiable LLM Post-Training

交替强化学习用于非可验证大语言模型后训练的评分标准建模

Ran Xu, Tianci Liu, Zihan Dong, Tony Yu, Ilgee Hong, Carl Yang, Linjun Zhang, Tao Zhao, Haoyu Wang

机构 * Emory University（埃默里大学） ； Purdue University（普渡大学） ； Rutgers University（罗格斯大学） ； Georgia Institute of Technology（佐治亚理工学院） ； University at Albany（阿尔巴尼大学） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；post-training(title)；分类 cs.CL、cs.LG

AI总结 Rubric-ARM通过交替强化学习优化评分标准生成与评判，提升非可验证领域大语言模型后训练的响应质量评估与策略对齐性能。

Comments The first two authors contributed equally

Translate Policy to Language: Flow Matching Generated Rewards for LLM Explanations

将策略翻译为语言：通过生成连续归一化流生成的奖励用于LLM解释

Xinyi Yang, Liang Zeng, Heng Dong, Chao Yu, Xiaoran Wu, Huazhong Yang, Yu Wang, Milind Tambe, Tonghan Wang

机构 * AIPD, Tencent, Shenzhen, China（腾讯人工智能与大数据研究院，深圳，中国） ； IIIS, Tsinghua University, Beijing, China（清华大学人工智能学院，北京，中国） ； EE, Tsinghua University, Beijing, China（清华大学电子工程系，北京，中国） ； CS, Tsinghua University, Beijing, China（清华大学计算机系，北京，中国） ； SEAS, Harvard University, Cambridge, USA（哈佛大学工程学院，剑桥，美国） ； College of AI, Tsinghua University, Beijing, China（清华大学人工智能学院，北京，中国） 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；RLHF(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出通过生成连续归一化流生成奖励，训练LLM生成更准确、逻辑严谨且认知负担更低的解释，以提升智能体与人类共存的可靠性。

Comments Accepted by ICLR 2026

MAPLE: Modality-Aware Post-training and Learning Ecosystem

MAPLE: 多模态感知的后训练与学习生态系统

Nikhil Verma, Minjung Kim, JooYoung Yoo, Kyung-Min Jin, Manasa Bharadwaj, Kevin Ferreira, Ko Keun Kim, Youngjoon Kim

机构 * LG Electronics Toronto AI Lab, Toronto, Canada（LG电子多伦多AI实验室） ； LG Electronics CTO AI Lab, Seoul, Republic of Korea（LG电子CTO AI实验室） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；language model(abstract)；分类 cs.AI

AI总结 MAPLE通过模态感知的后训练与学习生态系统，提升多模态强化学习的准确性、收敛速度和稳定性。

Comments 31 pages

PBP: Post-training Backdoor Purification for Malware Classifiers

PBP: 事后训练后门净化用于恶意软件分类器

Dung Thuy Nguyen, Ngoc N. Tran, Taylor T. Johnson, Kevin Leach

专题命中 后训练与偏好优化 ：post-training(title,abstract)；分类 cs.AI、cs.LG

AI总结 PBP是一种后训练方法，通过调节批量归一化层统计特性，有效净化恶意软件分类器中的后门，显著降低攻击成功率。

Comments The Network and Distributed System Security (NDSS) Symposium 2025

Unifying Stable Optimization and Reference Regularization in RLHF

统一稳定优化与参考正则化在RLHF中

Li He, Qiang Qu, He Zhao, Stephen Wan, Dadong Wang, Lina Yao, Tongliang Liu

机构 * Sydney AI Centre, The University of Sydney（悉尼人工智能中心、悉尼大学） ； CSIRO, Data61（澳大利亚联邦科学与工业研究组织、Data61） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(title,abstract)；分类 cs.LG

AI总结 本文提出了一种统一正则化方法，通过平衡防止奖励黑客和稳定策略更新，提升RLHF的对齐性能和稳定性。

Comments ICLR 2026

P-GenRM: Personalized Generative Reward Model with Test-time User-based Scaling

P-GenRM：具有测试时用户基于缩放的个性化生成奖励模型

Pinyi Zhang, Ting-En Lin, Yuchuan Wu, Jingyang Chen, Zongqi Wang, Hua Yang, Ze Xu, Fei Huang, Kai Zhang, Yongbin Li

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 P-GenRM通过测试时用户基于缩放机制，实现个性化生成奖励模型，提升用户偏好适应性和泛化能力。

Comments Accepted as ICLR 2026 Oral

PINNs for Electromagnetic Wave Propagation

用于电磁波传播的PINNs

Nilufer K. Bulut

机构 * Izmir, Turkiye（土耳其伊兹密尔） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 本文提出混合训练策略，使PINNs在电磁波传播中实现与FDTD相当的精度和能量守恒性能。

Comments v2: corrected typos and improved wording; corrected Poynting loss weight; added an additional high-frequency scenario with corresponding results and discussion

Evaluating Alignment of Behavioral Dispositions in LLMs

评估大语言模型中行为倾向的对齐情况

Amir Taubenfeld, Zorik Gekhman, Lior Nezry, Omri Feldman, Natalie Harris, Shashir Reddy, Romina Stella, Ariel Goldstein, Marian Croak, Yossi Matias, Amir Feder

机构 * Google（谷歌） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；分类 cs.CL

AI总结 本研究通过情境判断测试评估大语言模型行为倾向与人类倾向的对齐情况，发现模型在不同共识场景下表现出过度自信、偏离共识及跨模型特质模式，揭示了LLMs声明价值与实际行为之间的差距。