大模型对齐与安全

Provably Mitigating Corruption, Overoptimization, and Verbosity Simultaneously in Offline and Online RLHF/DPO Alignment

可证明地同时缓解离线和在线RLHF/DPO对齐中的腐败、过度优化和冗余

Ziyi Chen, Junyi Li, Peiran Yu, Heng Huang

专题命中 偏好对齐 ：RLHF(title,abstract)；DPO(title,abstract)；alignment(title)；分类 cs.AI、cs.LG

AI总结 本文提出RLHF-COV和DPO-COV算法，同时缓解离线和在线RLHF/DPO对齐中的腐败、过度优化和冗余问题，并通过理论证明和实验验证其有效性。

Comments Edited a few incorrect numbers in Tables 2 and 3

Mortgage Language Model: Domain-Adaptive Pretraining with Residual Instruction, Alignment Tuning, and Task-Specific Routing

抵押贷款语言模型：带有残差指令、对齐微调和任务特定路由的领域自适应预训练

Manish Jain, Satheesh Kumar Ponnambalam, Salman Faroz, Chandrakanth Lns, Vinay Sharma

机构 * Firstsource 纠错

专题命中 偏好对齐 ：alignment(title)；DPO(abstract)；分类 cs.CL、cs.LG

AI总结 MortgageLLM通过双专家架构和残差指令技术，在抵押贷款领域实现领域自适应预训练，提升对话问答和结构化任务性能。

Rewarding the Journey, Not Just the Destination: A Composite Path and Answer Self-Scoring Reward Mechanism for Test-Time Reinforcement Learning

奖励旅程，而非仅终点：一种复合路径和答案自评分奖励机制用于测试时强化学习

Jingyu Xing, Chenwei Tang, Xinyu Liu, Deng Xiong, Shudong Huang, Wei Ju, Jiancheng Lv, Ziyue Qiao

机构 * Stevens Institute of Technology（史蒂文斯理工学院） ； Great Bay University（大湾大学） 纠错

专题命中 偏好对齐 ：trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 COMPASS通过自评分机制提升测试时强化学习的推理能力，增强模型分析能力。