大模型对齐与安全

Macro: Enhancing Multilingual Counterfactual Explanations through Alignment-as-Preference Optimization

Macro: 通过偏好对齐优化提升多语言反事实解释

Yilong Wang, Qianli Wang, Bohao Chu, Yihong Liu, Jing Yang, Simon Ostermann

机构 * Technische Universität Berlin（柏林技术大学） ； German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心） ； University of Duisburg-Essen（杜伊斯堡- Essen大学） ； LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Saarland Informatics Campus（萨尔兰州信息学校区） ； BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究院） ； Centre for European Research in Trusted AI (CERTAIN)（可信人工智能欧洲研究中心） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出Macro框架，通过直接偏好优化改进多语言反事实解释，提升有效性的同时保持最小性，避免翻译基线的严重最小性问题，并在多个指标上优于监督微调方法。

Comments Camera-ready version accepted to EMNLP 2026 Findings

Does Fine-Tuning Undo Activation Steering? Behavioural Recovery Without Weight-Edit Reversal

微调会撤销激活引导吗？无需权重编辑反转的行为恢复

Philipp E. Glass, Allan Tucker, Yongmin Li, Alina Miron

机构 * Brunel University of London（布鲁内尔伦敦大学） 纠错

专题命中 偏好对齐 ：RLHF(summary_cn,abstract)；alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究语言模型嵌入的激活引导在SFT、RLHF微调后的稳定性，发现其机制耐久但功能脆弱，需下游训练后重新验证行为。

Comments Accepted at EMNLP 2026 Main. Earlier version at ICLR 2026 Re^4-Align Workshop

Mitigating LLM biases toward spurious social contexts using direct preference optimization

通过直接偏好优化减轻LLM对虚假社会情境的偏见

Hyunji Nam, Dorottya Demszky

机构 * Stanford University（斯坦福大学） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了LLM对虚假社会情境的鲁棒性，提出Debiasing-DPO方法，通过自监督训练和监督微调减少偏见并提升预测准确性。

Comments COLM 2026, main text 10 pages

Learning Mixtures of Plackett-Luce Models for Multi-Objective Alignment

学习用于多目标对齐的Plackett-Luce模型混合

Dongyue Li, Ziniu Zhang, Lu Wang, Hongyang R. Zhang

机构 * Northeastern University（东北大学） ； University of Michigan（密歇根大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究针对异质偏好下多向排序的模型混合问题，提出MoPLEx算法，通过扩充排序并结合梯度估计与期望最大化，在偏好优化任务上显著优于基线方法。

Comments 19 pages; To appear in EMNLP 2026

aipsy-judge: A Specialized, Psychologist-Corrected Local Judge for the Psychological Safety of Conversational AI

aipsy-judge：一种针对对话式AI心理安全性的、经心理学家校正的专用本地评判器

Michael Keeman, Anastasia Keeman

专题命中 偏好对齐 ：safety(title,abstract)；分类 cs.AI、cs.CY

AI总结 本研究发现LLM作为评判器评估对话式AI心理安全性存在缺陷，提出经心理学家校正的本地模型aipsy-judge-1.0，其危机检测等性能优于前沿模型，且评分更忠实、数据可本地留存。

Comments 24 pages, 3 figures, 6 tables. Model available at this https URL (https://huggingface.co/keidolabs/aipsy-judge-1.0) (Apache-2.0)

Learning to summarize user information for personalized reinforcement learning from human feedback

学习总结用户信息以实现基于人类反馈的个性化强化学习

Hyunji Nam, Yanming Wan, Mickel Liu, Peter Ahnn, Jianxun Lian, Natasha Jaques

机构 * Stanford University（斯坦福大学） ； University of Washington（华盛顿大学） ； DoorDash ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.AI、cs.LG

AI总结 PLUS通过学习用户信息摘要实现个性化强化学习，提升奖励模型准确性并实现零样本个性化。

Comments ICLR 2026; 10 pages for main text

Beyond Pairwise Feedback: Listwise Vision-Language Supervision for Preference-Based Reward Learning

超越成对反馈：用于基于偏好的奖励学习的列表式视觉-语言监督

Srivalli Katkuri, Maxwell Kawada, Juan Wachs

专题命中 偏好对齐 ：RLHF(abstract,abstract_cn)；分类 cs.LG

AI总结 本研究提出首个结合视觉-语言模型生成偏好与普拉科特-卢斯模型的列表式奖励学习框架，在Meta-World操纵任务中，其表现与基线相当且更灵活，最佳配置达86%平均成功率。

Comments 13 pages, 10 figures. Srivalli Katkuri and Maxwell Kawada contributed equally to this work

Sell More, Play Less: Benchmarking LLM Realistic Selling Skill

多卖少玩：LLM真实销售技能基准测试

Xuanbo Su, Wenhao Hu, Le Zhan, Yuting Xie, Kailin Lyu, Kaijie Chen, Ziwei Li, Yeqiang Wang, Haibo Su, Yunzhang Chen, Ling Huang

机构 * SF Express（顺丰速运） 纠错

专题命中 偏好对齐 ：DPO(abstract,abstract_cn)；分类 cs.CL

AI总结 本文提出SalesLLM基准测试，通过30,074个剧本配置和1,805个多轮场景评估大语言模型的销售能力，采用自动评估流程和用户模型CustomerLM提升模拟真实性，实验显示LLM在销售任务上的表现差异显著。

Localize-Then-Decide Guarantees for LLM Judgments

LLM判断的“先定位后决策”保证

Xinyu Li, Yi Zhou, Guanqun Cao, Zeyu Fu, Tianjin Huang, Gaojie Jin

机构 * University of Exeter（埃克塞特大学） ； Cardiff University（卡迪夫大学） ； University of the West of England（西英格兰大学） ； University of Macau（澳门大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 针对LLM作为评估者时候选响应增多导致置信度假设失效的问题，提出“先定位后决策”框架，结合共形预测与校准规则，提升保证成功率与覆盖率。

Comments Accepted to Findings of the Association for Computational Linguistics: EMNLP 2026. Code: this https URL (https://github.com/llm2409/Localize-Then-Decide)

VGA-BenchV2: An Expanded Unified Benchmark and Multi-Model Framework for Evaluating Video Aesthetics and Generation Quality

VGA-BenchV2：用于评估视频美学与生成质量的扩展统一基准及多模型框架

Longteng Jiang, DanDan Zheng, Qianqian Qiao, Heng Huang, Huaye Wang, Yihang Bo, Bao Peng, Jingdong Chen, Jun Zhou, Xin Jin

机构 * Ant Group（蚂蚁集团） ； Beijing Film Academy（北京电影学院） ； Beijing Institute for General Artificial Intelligence (BIGAI)（北京通用人工智能研究院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 该研究提出扩展的视频评估基准VGA-BenchV2，构建混合评估器架构，并将其作为奖励模型优化视频生成器，实现从基准到模型优化的闭环，提升视频的美学质量与人类偏好对齐性。

Comments IJCAI 2026

PreResQ-R1: Response-Preference Disentangled Ranking-and-Scoring Reinforcement Optimization for Robust Visual Quality Assessment

PreResQ-R1：用于鲁棒视觉质量评估的响应偏好解耦排序与评分强化优化

Zehui Feng, Weichuan Wang, Xiaohan Chen, Ting Han

机构 * Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 本文提出PreResQ-R1框架，通过解耦响应偏好的强化学习统一评分与排序目标，结合GRPO优化，在IQA和VQA基准上取得最优结果，推理轨迹更贴合人类感知。

Comments 27 pages, 16 figures, Accepted as EMNLP 2026 conference paper