大模型对齐与安全

AM$^3$Safety: Towards Data Efficient Alignment of Multi-modal Multi-turn Safety for MLLMs

AM$^3$Safety: 向多模态多轮安全对齐的数据高效方法

Han Zhu, Jiale Chen, Chengkun Cai, Shengjie Sun, Haoran Li, Yujin Zhou, Chi-Min Chan, Pengcheng Wen, Lei Li, Sirui Han, Yike Guo

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Zhongshan School of Medicine, SUN YAT-SEN UNIVERSITY（中山医学院，孙中山大学） ； University of Edinburgh（爱丁堡大学） ； University of Washington（华盛顿大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(title,abstract)；RLHF(abstract)；分类 cs.CL

AI总结 AM$^3$Safety通过结合冷启动拒绝阶段和组相对策略优化，有效提升多模态多轮对话的安全性，降低攻击成功率并增强模型的无害与帮助维度。

SemPA: Improving Sentence Embeddings of Large Language Models through Semantic Preference Alignment

SemPA：通过语义偏好对齐提升大语言模型的句子嵌入

Ziyang Chen, Zhenxuan Huang, Yile Wang, Weiqin Wang, Lu Yin, Hui Huang

机构 * College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机科学与软件工程学院） ； School of Computer Science and Electronic Engineering, University of Surrey（Surrey大学计算机科学与电子工程学院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(abstract)；分类 cs.CL

AI总结 SemPA通过语义偏好对齐提升大语言模型的句子嵌入能力，同时保持其生成能力。

DeepHalo: A Neural Choice Model with Controllable Context Effects

DeepHalo：具有可控上下文效应的神经选择模型

Shuhan Zhang, Zhi Wang, Rui Gao, Shuang Li

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； University of Toronto（多伦多大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 DeepHalo是一种能够控制上下文效应阶数的神经选择模型，通过显式控制交互阶数和原则性解释上下文效应，提升决策建模的可解释性和预测性能。

Internal Reasoning vs. External Control: A Thermodynamic Analysis of Sycophancy in Large Language Models

内部推理 vs. 外部控制：大型语言模型中谄媚现象的热力学分析

Edward Y. Chang

机构 * Department of Computer Science, Stanford University（计算机科学系，斯坦福大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出受控因果锚定（RCA）方法，通过评估推理过程而非结果，有效检测大型语言模型中的谄媚现象，无需真实数据且打破自我强化偏见循环。

Comments 20 pages, 1 figure, 15 tables

Meta-Learning Objectives for Preference Optimization

元学习目标用于偏好优化

Carlo Alfano, Silvia Sapora, Jakob Nicolaus Foerster, Patrick Rebeschini, Yee Whye Teh

机构 * Department of Statistics University of Oxford（统计系牛津大学） ； Department of Engineering University of Oxford（工程系牛津大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于镜像下降的新型偏好优化算法MPO，通过进化策略发现针对特定偏好数据集属性的算法，并在MuJoCo和大语言模型对齐任务中取得显著效果。

Qomhra: A Bilingual Irish and English Large Language Model

Qomhra: 一种双语爱尔兰语和英语大语言模型

Joseph McInerney, Khanh-Tung Tran, Liam Lonergan, Ailbhe Ní Chasaide, Neasa Ní Chiaráin, Barry Devereux

机构 * Trinity College Dublin（三一学院） ； University College Cork（科克大学） ； Queen’s University Belfast（贝尔法斯特女王大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 Qomhra是一种双语爱尔兰语和英语大语言模型，通过低资源约束下的方法生成人类偏好数据，显著提升了爱尔兰语和英语的性能表现。

FlexiVoice: Enabling Flexible Style Control in Zero-Shot TTS with Natural Language Instructions

FlexiVoice: 通过自然语言指令实现零样本语音合成的灵活风格控制

Dekun Chen, Xueyao Zhang, Yuancheng Wang, Kenan Dai, Li Ma, Zhizheng Wu

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

专题命中 偏好对齐 ：DPO(abstract)

AI总结 FlexiVoice通过自然语言指令实现零样本语音合成的灵活风格控制，结合LLM核心和PPT方案，实现风格与音色的精准解耦与可控。