大模型对齐与安全

In-context Learning vs. Instruction Tuning: The Case of Small and Multilingual Language Models

上下文学习与指令微调：小语言模型和多语言情况的案例

David Ponce, Thierry Etchegoyhen

机构 * Fundación Vicomtech, Basque Research and Technology Alliance (BRTA)（维克森科技基金会，巴斯克研究与技术联盟（BRTA）） ； University of the Basque Country UPV/EHU（巴斯克大学UPV/EHU） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 研究评估了上下文学习在非英语语言和不同模型大小下的指令遵循有效性，发现其表现下降，但通过直接偏好优化可部分提升性能。

Bridging Values and Behavior: A Hierarchical Framework for Proactive Embodied Agents

连接价值与行为：一种面向主动具身代理的分层框架

Chunhui Zhang, Yuxuan Wang, Aoyang Qin, Yi-Long Lu, Kunlun Wu, Yizhou Wang, Wei Wang

机构 * State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI） ； School of Computer Science, Peking University（北京大学计算机学院） ； Tsinghua University（清华大学） ； Nat’l Eng. Research Center of Visual Technology, Peking University（北京大学视觉技术国家工程研究中心） ； Institute for AI, Peking University（北京大学人工智能研究院） ； State Key Laboratory of General Artificial Intelligence, Peking University（通用人工智能国家重点实验室，北京大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出ValuePlanner框架，通过分层认知架构分离高阶价值调度与低阶行动执行，结合LLM生成符号子目标并用PDDL规划器转化为行动计划，通过反馈机制提升自主性，实验表明其能生成连贯的长期自主行为。

Beyond Text-Dominance: Understanding Modality Preference of Omni-modal Large Language Models

超越文本主导：理解多模态大语言模型的模态偏好

Xinru Yan, Boxi Cao, Yaojie Lu, Hongyu Lin, Weixiang Zhou, Le Sun, Xianpei Han

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Chinese Information Processing Laboratory（中文信息处理实验室） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） 纠错

专题命中 偏好对齐 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文研究多模态大语言模型的模态偏好现象，通过新基准和模态选择率指标量化发现，大多数模型表现出显著的视觉偏好，并通过层间探测揭示偏好在中后期层逐步出现，进而用于诊断跨模态幻觉，提升模型可信度。

Sparse Personalized Text Generation with Multi-Trajectory Reasoning

稀疏个性化文本生成与多轨迹推理

Bo Ni, Haowei Fu, Qinwen Ge, Franck Dernoncourt, Samyadeep Basu, Nedim Lipka, Seunghyun Yoon, Yu Wang, Nesreen K. Ahmed, Subhojyoti Mukherjee, Puneet Mathur, Ryan A. Rossi, Tyler Derr

机构 * Department of Computer Science, Vanderbilt University, Nashville, Tennessee（范德比尔特大学计算机科学系） ； Adobe Research, San Jose, California（Adobe研究） ； University of Orgeon, Eugene, Oregon（奥尔戈恩大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出PAT框架，通过双轨迹检索和强化学习机制提升冷启动场景下个性化文本生成的质量和对齐度。

Generating Place-Based Compromises Between Two Points of View

在两种观点之间生成基于地点的妥协

Sumanta Bhattacharyya, Francine Chen, Scott Carter, Yan-Ying Chen, Tatiana Lau, Nayeli Suseth Bravo, Monica P. Van, Kate Sieck, Charlene C. Wu

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Toyota Research Institute（丰田研究院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出通过外部共情相似性生成基于地点的妥协方法，提升妥协的可接受性，并通过人偏好对齐训练更高效的模型。

The Tool-Overuse Illusion: Why Does LLM Prefer External Tools over Internal Knowledge?

工具过度使用错觉：为什么大语言模型更倾向于使用外部工具而非内部知识？

Yirong Zeng, Shen You, Yufei Liu, Qunyao Du, Xiao Ding, Yutai Hou, Yuxian Wang, Wu Ning, Haonan Song, Dandan Tu, Bibo Cai, Ting Liu

机构 * Harbin Institute of Technology, SCIR（哈尔滨理工大学SCIR研究所） ； Peking University（北京大学） ； Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文揭示大语言模型在推理中普遍存在工具过度使用现象，通过分析内部知识可用性区域，提出知识感知边界对齐策略，减少工具使用82.8%，并发现仅以结果奖励会鼓励工具过度使用，通过平衡奖励信号可减少66.7%的无用工具调用。

Comments 17 pages, 9 figures

PromptEcho: Annotation-Free Reward from Vision-Language Models for Text-to-Image Reinforcement Learning

PromptEcho：基于视觉语言模型的无标注奖励用于文本到图像强化学习

Jinlong Liu, Wanggui He, Peng Zhang, Mushui Liu, Hao Jiang, Pipei Huang

机构 * Alibaba Group（阿里巴巴集团） ； Zhejiang University（浙江大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 PromptEcho通过冻结的视觉语言模型计算token级交叉熵损失，无需标注或训练奖励模型，提升文本到图像模型的提示跟随能力，实验显示在多个基准上取得显著提升。

Where and What: Reasoning Dynamic and Implicit Preferences in Situated Conversational Recommendation

何处与何物：在情境对话推荐中推理动态和隐性偏好

Dongding Lin, Jian Wang, Yongqi Li, Wenjie Li

机构 * Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） ； College of Computer Science, Sichuan University（四川大学计算机学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出SiPeR框架，通过场景转换估计和贝叶斯逆推推理，提升情境对话推荐的准确性和响应质量。

Comments Accpeted by ACL 2026

CentaurTA Studio: A Self-Improving Human-Agent Collaboration System for Thematic Analysis

CentaurTA Studio：一个自我改进的人机协作系统用于主题分析

Lei Wang, Min Huang, Eduard Dragut

机构 * Temple University（Temple大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出CentaurTA Studio，通过人机协作提升主题分析效率，实现高准确率和可靠评估，验证了反馈循环和持续优化的重要性。

QuantumQA: Enhancing Scientific Reasoning via Physics-Consistent Dataset and Verification-Aware Reinforcement Learning

量子QA：通过物理一致的数据集和验证意识强化学习增强科学推理

Songxin Qu, Tai-Ping Sun, Yun-Jie Wang, Huan-Yu Liu, Cheng Xue, Xiao-Fan Xu, Han Fang, Yang Yang, Yu-Chun Wu, Guo-Ping Guo, Zhao-Yun Chen

机构 * Institute of Advanced Technology, University of Science and Technology of China（中国科学技术大学先进技术研究院） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； School of Physics, University of Science and Technology of China（中国科学技术大学物理学院） ； School of Electronics and Information Engineering, Anhui University（安徽大学电子与信息工程学院） ； School of Computing, National University of Singapore（新加坡国立大学计算机学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出量子QA数据集和验证意识奖励模型，通过物理一致的数据集和强化学习提升科学推理能力，实验证明其在科学领域表现优异。

Comments 25 pages

Culture-Aware Humorous Captioning: Multimodal Humor Generation across Cultural Contexts

具有文化意识的幽默标题生成：跨文化多模态幽默生成

Run Xu, Lu Li, Rongzhao Zhang, Jie Xu

机构 * Nanyang Technological University（南洋理工大学） ； Tongji University（同济大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出一种多模态幽默生成任务，通过文化意识标题生成模型在不同文化背景下生成幽默标题，改进了文化背景下的图像相关性、语境适配性和幽默质量。

PoliLegalLM: A Technical Report on a Large Language Model for Political and Legal Affairs

PoliLegalLM：政治与法律领域大型语言模型的技术报告

Yuting Huang, Yinghao Hu, Qian Xiao, Wenlin Zhong, Yiquan Wu, Taishi Zhou, Moke Chen, Changlong Sun, Kun Kuang, Fei Wu

机构 * Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团） ； Zhejiang University（浙江大学） ； Zhejiang Zhengfa Xinxi Guanli Zhongxin（浙江正法信息警务中心） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出PoliLegalLM，通过统一训练框架提升法律知识和推理能力，针对法律领域挑战实现高性能表现。

More Than Meets the Eye: Measuring the Semiotic Gap in Vision-Language Models via Semantic Anchorage

超越表象：通过语义锚定测量视觉语言模型中的象征性差距

Wei He

机构 * IDSAI, University of Exeter（IDSAI研究所，埃克塞特大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 研究通过引入DIVA基准测试，探讨高视觉保真度是否干扰视觉抽象中的隐喻构成性，提出语义对齐差距和方向偏置指标，发现模型规模无法解决字面偏好，高保真度导致象征性对齐减弱。

Comments 16 pages, 4 figures. Accepted to the Main Conference of ACL 2026

WildFeedback: Aligning LLMs With In-situ User Interactions And Feedback

WildFeedback: 对齐大语言模型与实时用户交互与反馈

Taiwei Shi, Zhuoer Wang, Longqi Yang, Ying-Chun Lin, Zexue He, Mengting Wan, Pei Zhou, Sujay Jauhar, Sihao Chen, Shan Xia, Hongfei Zhang, Jieyu Zhao, Xiaofeng Xu, Xia Song, Jennifer Neville

机构 * Microsoft Corporation（微软公司） ； Purdue University（普渡大学） ； Texas A&M University（德克萨斯农工大学） ； University of California San Diego（加州大学圣地亚哥分校） ； University of Southern California（南加州大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出WildFeedback框架，通过实时用户反馈自动创建偏好数据集，提升大语言模型对用户偏好的对齐能力，解决了现有方法的可扩展性、主观性和偏见问题。

Comments ACL 2026 Camera-ready. 25 pages, 6 figures, 9 tables

GroupDPO: Memory efficient Group-wise Direct Preference Optimization

GroupDPO：内存高效的组级直接偏好优化

Jixuan Leng, Si Si, Hsiang-Fu Yu, Vinod Raman, Inderjit S. Dhillon

机构 * CMU（卡内基梅隆大学） ； Google Deepmind（谷歌DeepMind） ； Google（谷歌） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出GroupDPO，通过解耦样本和保留梯度实现高效的组级偏好优化，减少内存使用，提升大规模训练效果，且在离线和在线对齐中均优于单对训练。

Mind DeepResearch Technical Report

Mind DeepResearch 技术报告

MindDR Team, Li Auto Inc

机构 * MindDR Team（MindDR团队） ； Li Auto Inc（Li Auto公司） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 MindDR通过高效多智能体深度研究框架，在仅30B参数模型下实现领先性能，采用精心设计的数据合成和多阶段训练流程，其核心创新为三智能体架构及四阶段智能体专用训练流程，展现竞争力。

Mirroring Users: Towards Building Preference-aligned User Simulator with User Feedback in Recommendation

镜像用户：构建基于用户反馈的偏好对齐用户模拟器

Tianjun Wei, Huizhong Guo, Yingpeng Du, Zhu Sun, Huang Chen, Dongxia Wang, Jie Zhang

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CY

AI总结 本文提出一种基于用户反馈的用户模拟器构建框架，通过生成高质量模拟数据提升推荐系统与用户偏好的对齐能力，并通过实验验证其有效性。

Comments ACL 2026 Main. Github: https://github.com/Joinn99/UserMirrorer

What Makes LLMs Effective Sequential Recommenders? A Study on Preference Intensity and Temporal Context

是什么让大语言模型（LLMs）成为有效的序列推荐者？对偏好强度和时间上下文的研究

Zhongyu Ouyang, Qianlong Wen, Chunhui Zhang, Yanfang Ye, Soroush Vosoughi

机构 * Department of Computer Science, Dartmouth College（达特茅斯大学计算机科学系） ； ByteDance, US（字节跳动（美国）） ； Department of Computer Science and Engineering, University of Notre Dame（诺丁汉大学计算机科学与工程系） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 本文研究了LLMs在序列推荐中有效性的关键因素，提出RecPO框架通过整合显式和隐式反馈，提升推荐性能，强调偏好强度和时间上下文的重要性。

Comments Accepted The 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)

Robust Reward Modeling for Large Language Models via Causal Decomposition

通过因果分解实现大型语言模型的鲁棒奖励建模

Yunsheng Lu, Zijiang Yang, Licheng Pan, Zhixuan Chu

机构 * College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； Department of Statistics, University of Chicago（芝加哥大学统计系） 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.CL

AI总结 本文提出通过因果分解学习解码器，以增强奖励模型对提示意图的建模，从而提升在数学、帮助性和安全性的基准测试中的表现。

Enhancing Reinforcement Learning for Radiology Report Generation with Evidence-aware Rewards and Self-correcting Preference Learning

通过证据感知奖励和自校正偏好学习增强放射科报告生成

Qin Zhou, Guoyan Liang, Qianyi Yang, Jingyuan Chen, Sai Wu, Chang Yao, Zhe Wang

机构 * Department of Computer Science and Engineering, ECUST（电子科技大学计算机科学与工程系） ； Key Laboratory of Smart Manufacturing in Energy Chemical Process, Ministry of Education, P. R. China（教育部能源化工过程智能制造重点实验室） ； Zhejiang University（浙江大学） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术区（滨江）区块链与数据安全研究院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 本文提出ESC-RL方法，结合证据感知对齐奖励和自校正偏好学习，提升放射科报告生成的临床准确性与持续改进能力，实验表明其在胸部X光数据集上表现优异。

Comments 13 pages,4 figures, ACL2026-main

Incentivizing High-Quality Human Annotations with Golden Questions

通过黄金问题激励高质量的人工标注

Shang Liu, Zhongze Cai, Hanzhao Wang, Zhongyao Ma, Xiaocheng Li

机构 * Imperial College Business School（帝国理工学院商学院） ； Imperial College London（帝国理工学院伦敦分校） ； Meta 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 本文研究如何通过黄金问题激励标注者产生高质量数据，提出基于主代理模型的激励机制，并通过实验验证黄金问题在标注性能监控中的有效性。

Comments Corrected bugs in the proofs by specifying a further assumption. arXiv admin note: text overlap with arXiv:2502.06387

Mobile GUI Agent Privacy Personalization with Trajectory Induced Preference Optimization

基于轨迹诱导的偏好优化的移动GUI代理隐私个性化

Zhixin Lin, Jungang Li, Dongliang Xu, Shidong Pan, Yibo Shi, Yuchi Liu, Yuecong Min, Yue Yao

机构 * Shandong University（山东大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） ； New York University（纽约大学） ； Xi'an Jiaotong University（西安交通大学） ； Australian National University（澳大利亚国立大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文研究移动GUI代理的隐私个性化问题，提出轨迹诱导偏好优化方法，通过偏好强度加权和填充门机制提升隐私保护与任务执行效率。

Comments 10 pages, 6 figures, 3 tables

Enhancing Multilingual RAG Systems with Debiased Language Preference-Guided Query Fusion

通过去偏语言偏好引导查询融合增强多语言RAG系统

Jeonghyun Park, Byeongjeong Kim, Seojin Hwang, Hwanhee Lee

机构 * Chung-Ang University（中央大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出DeLP指标以消除评估基准中的结构偏见，发现多语言检索增强生成系统更倾向单语对齐，由此提出DELTA框架优化跨语言检索与生成，实验表明其在多种语言上优于英语枢纽和mRAG基线。

Comments ACL 2026 Findings

SHE: Stepwise Hybrid Examination Reinforcement Learning Framework for E-commerce Search Relevance

SHE：面向电商搜索相关性的分步混合检验强化学习框架

Pengkun Jiao, Yiming Jin, Jianhui Yang, Chenhe Dong, Zerui Huang, Shaowei Yao, Xiaojiang Zhou, Dan Ou, Haihong Tang

机构 * Fudan University（复旦大学） ； Tsinghua University（清华大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.AI

AI总结 本文提出SHE框架，通过分步奖励策略优化提升电商搜索相关性预测的逻辑一致性与准确性，优于SFT、DPO等基线方法。

SmileyLlama: Modifying Large Language Models for Directed Chemical Space Exploration

SmileyLlama：通过监督微调改进大语言模型以定向探索化学空间

Joseph M. Cavanagh, Kunyang Sun, Andrew Gritsevskiy, Dorian Bagni, Yingze Wang, Thomas D. Bannister, Teresa Head-Gordon

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.LG

AI总结 SmileyLlama通过监督微调和直接偏好优化，改进大语言模型以生成具有特定性质的药物分子，展示了其在药物发现中的应用潜力。

ReRec: Reasoning-Augmented LLM-based Recommendation Assistant via Reinforcement Fine-tuning

ReRec：通过强化微调增强的LLM推荐助手

Jiani Huang, Shijie Wang, Liangbo Ning, Wenqi Fan, Qing Li

机构 * The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 ReRec通过强化微调框架提升LLM在复杂推荐任务中的推理能力，引入双重图增强奖励塑造、推理感知优势估计和在线课程调度器，实验证明其优于现有基线模型。

Comments Accepted by ACL 2026

Limits of Difficulty Scaling: Hard Samples Yield Diminishing Returns in GRPO-Tuned SLMs

难度扩展的极限：在GRPO调优的SLMs中困难样本产生递减回报

Suraj Yadav, Siddharth Yadav, Parth Goyal

机构 * IIIT Delhi（德里印度理工学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 本文研究了在资源受限条件下，GRPO与LoRA应用于SLMs进行数学推理时，难度增加对准确率的影响，发现高难度样本的提升效果递减。

Comments Accepted at ICLR Workshop 2026 ICBINB

AttnDiff: Attention-based Differential Fingerprinting for Large Language Models

AttnDiff：基于注意力的差分指纹法用于大语言模型

Haobo Zhang, Zhenhua Xu, Junxian Li, Shangfeng Sheng, Dezhang Kong, Meng Han

机构 * Zhejiang University of Technology（浙江工业大学） ； Zhejiang University（浙江大学） ； Binjiang Institute of Zhejiang University（浙江大学滨江研究院） ； Shanghai Jiao Tong University（上海交通大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.LG

AI总结 本文提出AttnDiff，一种高效白盒框架，通过内在信息路由行为提取模型指纹，用于验证大语言模型的衍生关系，实现高相似度区分相关衍生模型与无关模型家族。

Comments Accepted at ACL2026 Main

Pressure, What Pressure? Sycophancy Disentanglement in Language Models via Reward Decomposition

压力，何为压力？通过奖励分解实现语言模型中的奉承解缠

Muhammad Ahmed Mohsin, Ahsan Bilal, Muhammad Umer, Emily Fox

机构 * Stanford University（斯坦福大学） ； University of Oklahoma（俄克拉荷马大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出通过奖励分解方法减少语言模型的奉承行为，引入多组件组相对策略优化（GRPO）奖励，分解训练信号为五个维度，有效降低奉承倾向。

Comments Submitted to COLM 2026

Beauty in the Eye of AI: Aligning LLMs and Vision Models with Human Aesthetics in Network Visualization

人工智能之眼中的美感：通过LLMs和视觉模型对网络可视化的人类美学对齐

Peng Zhang, Xuefeng Li, Xiaoqi Wang, Han-Wei Shen, Yifan Hu

机构 * Northeastern University（东北大学） ； Bosch AI Research（博世人工智能研究院） ； The Ohio State University（俄亥俄州立大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.LG

AI总结 本文探讨利用LLMs和视觉模型作为人类判断的代理，通过用户研究收集人类偏好标签，提升网络可视化的人类美学对齐效果。