大模型对齐与安全

Beyond Pairwise: Empowering LLM Alignment With Ranked Choice Modeling

超越成对：通过排名选择建模增强大语言模型对齐

Yuxuan Tang, Yifan Feng

机构 * Institute of Operations Research and Analytics（运营研究与分析研究所） ； National University of Singapore（新加坡国立大学） ； Department of Analytics and Operations（分析与运营系） ； NUS Business School（新加坡国立大学商学院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；DPO(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出RCPO框架，通过最大似然估计结合排名选择建模，提升大语言模型对齐效果，实验显示其在多种模型和设置中均优于基线方法。

Comments Accepted by The Fourteenth International Conference on Learning Representations (ICLR 2026)

UniARM: Towards a Unified Autoregressive Reward Model for Multi-Objective Test-Time Alignment

UniARM: 向多目标测试时间对齐的统一自回归奖励模型迈进

Hongyan Xie, Yikun Ban, Ruiyu Fang, Zixuan Huang, Deqing Wang, Jianxin Li, Yitong Yao, Chao Wang, Shuangyong Song

机构 * School of Computer, Beihang University（北京航空航天大学计算机学院） ； Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究院） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL

AI总结 UniARM通过统一自回归奖励模型实现多目标测试时间对齐，通过共享特征和偏好调节模块减少特征纠缠，提升对偏好权衡的控制能力。

Comments Under Review

Robust Reinforcement Learning from Human Feedback for Large Language Models Fine-Tuning

从人类反馈中鲁棒强化学习用于大语言模型微调

Kai Ye, Hongyi Zhou, Jin Zhu, Francesco Quinzan, Chengchun Shi

机构 * Department of Statistics, LSE（统计系，伦敦经济学院） ； Department of Mathematics, Tsinghua University（数学系，清华大学） ； School of Mathematics, University of Birmingham（数学学院，伯明翰大学） ； Department of Engineering Science, University of Oxford（工程科学系，牛津大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种鲁棒的强化学习算法，用于改进大语言模型微调中从人类反馈学习奖励函数的性能，通过减少方差和改进后悔界，实验证明其在基准数据集上表现优异。

TreeCUA: Efficiently Scaling GUI Automation with Tree-Structured Verifiable Evolution

TreeCUA: 通过树结构可验证进化高效扩展GUI自动化

Deyang Jiang, Jing Huang, Xuanle Zhao, Lei Chen, Liming Zheng, Fanfan Liu, Haibo Qiu, Peng Shi, Zhixiong Zeng

专题命中 偏好对齐 ：DPO(abstract)

AI总结 TreeCUA通过树结构可验证进化高效扩展GUI自动化，提升GUI规划能力。

Comments 14 pages, 7 figures

K-Sort Eval: Efficient Preference Evaluation for Visual Generation via Corrected VLM-as-a-Judge

K-Sort Eval: 通过校正VLM作为评判者实现视觉生成的高效偏好评估

Zhikai Li, Jiatong Li, Xuewen Liu, Wangbo Zhao, Pan Du, Kaicheng Zhou, Qingyi Gu, Yang You, Zhen Dong, Kurt Keutzer

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； University of California, Berkeley（加州大学伯克利分校） ； University of California, Santa Barbara（加州大学圣巴巴拉分校） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 K-Sort Eval通过后验校正和动态匹配策略，实现高效可靠的视觉生成模型偏好评估。

Comments ICLR 2026. Code is available at: https://github.com/zkkli/K-Sort-Eval

A Collaborative Safety Shield for Safe and Efficient CAV Lane Changes in Congested On-Ramp Merging

用于拥堵上坡合并中安全高效CAV变道的协作安全盾

Bharathkumar Hegde, Melanie Bouroche

机构 * School of Computer Science and Statistics, Trinity College Dublin（计算机科学与统计学系，三一学院都柏林） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 本文提出MARL-MASS，通过整合多智能体安全盾和定制奖励函数，在拥堵交通中实现安全且高效的车道变换。

Comments Accepted in IEEE IV 2026

LCLA: Language-Conditioned Latent Alignment for Vision-Language Navigation

LCLA：语言引导的潜在对齐用于视觉-语言导航

Nitesh Subedi, Adam Haroon, Samuel Tetteh, Prajwal Koirala, Cody Fleming, Soumik Sarkar

专题命中 安全训练 ：alignment(title,abstract)

AI总结 LCLA通过将视觉-语言观测对齐到专家策略的潜在空间，实现轻量级的视觉-运动学习，提升在不同环境下的泛化能力。

A Behavioral Fingerprint for Large Language Models: Provenance Tracking via Refusal Vectors

大型语言模型的行为指纹：通过拒绝向量进行溯源追踪

Zhenyu Xu, Victor S. Sheng

机构 * Department of Computer Science, Texas Tech University（计算机科学系，塔尔萨大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文提出通过拒绝向量进行大型语言模型溯源追踪的方法，开发了稳健的行为指纹系统，并验证其在知识产权保护中的有效性。

"Death" of a Chatbot: Investigating and Designing Toward Psychologically Safe Endings for Human-AI Relationships

聊天机器人之死：探索并设计人类与AI关系的心理安全结束

Rachel Poonsiriwong, Chayapatr Archiwaranguprok, Pat Pataranutaporn

机构 * MIT Media Lab（MIT媒体实验室） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 本文探讨了人类与AI伴侣关系终止的心理安全设计，提出四个设计原则和工具，帮助平台提供闭合并促进人类连接。

The Devil behind the mask: An emergent safety vulnerability of Diffusion LLMs

面具背后的魔鬼：扩散语言模型的新兴安全漏洞

Zichen Wen, Jiashu Qu, Zhaorun Chen, Xiaoya Lu, Dongrui Liu, Zhiyuan Liu, Ruixi Wu, Yicun Yang, Xiangqi Jin, Haoyun Xu, Xuyang Liu, Weijia Li, Chaochao Lu, Jing Shao, Conghui He, Linfeng Zhang

机构 * EPIC Lab, Shanghai Jiao Tong University（上海交通大学EPIC实验室） ； Shanghai AI Laboratory（上海人工智能实验室） ； University of Chicago（芝加哥大学） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；alignment(abstract)；jailbreak(abstract)；分类 cs.CL

AI总结 DIJA揭示了扩散语言模型的安全漏洞，通过构造对抗性提示利用双向建模和并行解码机制，使有害内容在对齐训练模型中得以生成。

Comments Accepted by ICLR 2026

The Promptware Kill Chain: How Prompt Injections Gradually Evolved Into a Multistep Malware Delivery Mechanism

提示武器杀链：提示注入如何逐渐演变成多步骤恶意软件交付机制

Oleg Brodt, Elad Feldman, Bruce Schneier, Ben Nassi

机构 * Department of Software and Information Systems Engineering, Ben-Gurion University of the Negev（本·古里安大学软件与信息系统工程系） ； School of Electrical and Computer Engineering, Tel Aviv University（特拉维夫大学电气与计算机工程学院） ； Harvard Kennedy School, Harvard University, and Munk School, University of Toronto（哈佛大学哈佛肯尼迪学校及多伦多大学穆克学校） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.AI

AI总结 本文提出提示武器杀链模型，揭示提示注入演变为多步骤恶意软件攻击机制的过程，并提出针对各阶段的防御策略。

Autonomous Action Runtime Management(AARM):A System Specification for Securing AI-Driven Actions at Runtime

自主动作运行时管理（AARM）：为在运行时安全保护AI驱动的动作制定系统规范

Herman Errico

机构 * Independent Researcher, IEEE Member（独立研究者，IEEE会员） 纠错

专题命中 提示注入 ：alignment(abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 AARM提出了一种开放规范，旨在通过运行时安全机制保护AI驱动的动作，定义了拦截动作、评估策略和记录凭证等核心功能，以应对AI自主执行带来的安全挑战。

Scalpel: Fine-Grained Alignment of Attention Activation Manifolds via Mixture Gaussian Bridges to Mitigate Multimodal Hallucination

Scalpel: 通过混合高斯桥梁实现细粒度注意力激活流形对齐以缓解多模态幻觉

Ziqiang Shi, Rujie Liu, Shanshan Yu, Satoshi Munakata, Koichi Shirahata

机构 * Fujitsu Research & Development Center Co.,LTD.（Fujitsu 研究与开发中心有限公司） ； Fujitsu Limited（Fujitsu 有限公司） 纠错

专题命中 幻觉与事实性 ：alignment(title)

AI总结 Scalpel通过高斯混合模型和熵最优传输减少多模态幻觉，实现注意力激活流形的细粒度对齐，提升视觉-语言模型的输出一致性。

Comments WACV 2026 (It was accepted in the first round, with an acceptance rate of 6%.)

Space AI: Leveraging Artificial Intelligence for Space to Improve Life on Earth

空间AI：利用人工智能推动空间探索，改善地球生活

Ziyang Wang

专题命中 幻觉与事实性 ：safety(abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 本文提出空间AI作为跨学科领域，旨在通过人工智能技术提升太空探索能力，同时为地球带来广泛的社会效益。

Tiered Anonymity on Social-Media Platforms as a Countermeasure against Deepfakes and LLM-Driven Mass Misinformation

社交媒体平台的分层匿名性：作为对抗深度伪造和大语言模型驱动的虚假信息的对策

David Khachaturov, Roxanne Schnyder, Robert Mullins

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.CY

AI总结 本文提出通过三级匿名框架应对深度伪造和大语言模型驱动的虚假信息，通过影响力评分区分用户层级并实施差异化隐私保护措施。

Trustworthy Agentic AI Requires Deterministic Architectural Boundaries

可信的代理AI需要确定性的架构边界

Manish Bhattarai, Minh Vu

专题命中 安全评测 ：trustworthy(title,abstract)；alignment(abstract)

AI总结 本文提出三位一体防御架构，通过确定性的架构执行解决代理AI的安全问题，强调架构调解对可信AI应用的必要性。

Understanding Risk and Dependency in AI Chatbot Use from User Discourse

理解AI聊天机器人使用中的风险与依赖性：从用户话语出发

Jianfeng Zhu, Karin G. Coifman, Ruoming Jin

专题命中 安全评测 ：safety(abstract)；AI safety(abstract)；分类 cs.CL

AI总结 本研究通过分析用户话语揭示AI聊天机器人使用中的心理风险维度，发现自我调节困难和对自主性、控制和技术风险的恐惧为主要特征。

Comments 21 pages, 5 figures

Overview of PAN 2026: Voight-Kampff Generative AI Detection, Text Watermarking, Multi-Author Writing Style Analysis, Generative Plagiarism Detection, and Reasoning Trajectory Detection

PAN 2026概览：Voight-Kampff生成式AI检测、文本水印、多作者写作风格分析、生成式抄袭检测及推理轨迹检测

Janek Bevendorff, Maik Fröbe, André Greiner-Petter, Andreas Jakoby, Maximilian Mayerl, Preslav Nakov, Henry Plutz, Martin Potthast, Benno Stein, Minh Ngoc Ta, Yuxia Wang, Eva Zangerle

机构 * Friedrich Schiller University Jena（耶纳弗里德里希·施勒格尔大学） ； University of Applied Sciences BFI（应用科学大学BFI） ； Mohamed bin Zayed University of Artificial Intelligence（马尔代夫 bin Zayed 人工智能大学） ； University of Kassel（卡塞尔大学） ； INSAIT, Sofia University ``St. Kliment Ohridski''（INSAIT，索菲亚大学『圣克莱门特·奥赫里迪斯』） ； University of Innsbruck（因斯布鲁克大学） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.CL

AI总结 PAN 2026旨在通过客观评估推进计算风格学和文本取证，涵盖生成式AI检测、文本水印、多作者写作分析、抄袭检测及推理轨迹检测等五个新旧任务。

SCORE: Specificity, Context Utilization, Robustness, and Relevance for Reference-Free LLM Evaluation

SCORE：特定性、上下文利用、鲁棒性与相关性用于无参考LLM评估

Homaira Huda Shomee, Rochana Chaturvedi, Yangxinyu Xie, Tanwi Mallick

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Argonne National Laboratory（阿贡国家实验室） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 本文提出了一种无参考评估框架，用于评估LLM在高风险领域任务中的特定性、鲁棒性、相关性和上下文利用，通过精心编纂的数据集和人工评估验证了多指标评估的必要性。

Towards Poisoning Robustness Certification for Natural Language Generation

面向自然语言生成的中毒鲁棒性认证

Mihnea Ghitu, Matthew Wicker

机构 * Department of Computing, Imperial College London, London, UK（计算系，伦敦帝国学院，伦敦，英国） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.LG

AI总结 本文提出TPA算法，通过计算最小中毒预算认证自然语言生成的有效性和稳定性，为安全关键应用提供可证明的鲁棒性保障。

Evaluating Device-First Continuum AI (DFC-AI) for Autonomous Operations in the Energy Sector

评估面向能源行业的设备优先连续AI（DFC-AI）用于自主操作

Siavash M. Alamouti, Fay Arjomandi, Michel Burger, Bashar Altakrouri

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 本文评估了DFC-AI在能源领域自主操作中的应用，证明其在无网络环境下的稳定性和成本优势。

Comments 10 pages, 4 figures, 6 tables

MAPS: A Multilingual Benchmark for Agent Performance and Security

MAPS: 一种多语言评估基准，用于代理性能和安全

Omer Hofman, Jonathan Brokman, Oren Rachmil, Shamik Bose, Vikas Pahuja, Toshiya Shimizu, Trisha Starostina, Kelly Marchisio, Seraphina Goldfarb-Tarrant, Roman Vainshtein

机构 * Fujitsu Research of Europe（富士通欧洲研究部） ； Fujitsu Limited（富士通有限公司） ； Cohere 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

AI总结 MAPS是一个多语言评估基准，用于评估代理AI在不同语言和任务中的性能与安全性。

Comments Accepted to EACL 2026 findings

ALIVE: Animate Your World with Lifelike Audio-Video Generation

ALIVE: 用逼真音频视频生成动画你的世界

Ying Guo, Qijun Gan, Yifu Zhang, Jinlai Liu, Yifei Hu, Pan Xie, Dongjun Qian, Yu Zhang, Ruiqi Li, Yuqi Zhang, Ruibiao Lu, Xiaofeng Mei, Bo Han, Xiang Yin, Bingyue Peng, Zehuan Yuan

机构 * Bytedance ALIVE Team（字节跳动ALIVE团队） 纠错

专题命中 安全评测 ：alignment(abstract)

AI总结 ALIVE通过结合预训练文本到视频模型与新的音频视频生成技术，实现了逼真的音频视频生成和动画，展示了优于开源和商业解决方案的性能。

Comments Technical report for ALIVE. Bytedance ALIVE Team. Homepage: https://foundationvision.github.io/Alive/

Modelling Pedestrian Behaviour in Autonomous Vehicle Encounters Using Naturalistic Dataset

利用自然数据集建模行人与自动驾驶车辆相遇时的行为

Rulla Al-Haideri, Bilal Farooq

机构 * IEEE Intelligent Vehicles Symposium (IV)（IEEE智能车辆会议） 纠错

专题命中 安全评测 ：safety(abstract)

AI总结 本研究利用NuScenes数据集，通过混合模型分析行人与自动驾驶车辆相遇时的行为，发现风险感知和运动效率影响行人运动调整。

Dynamics of Moral Behavior in Heterogeneous Populations of Learning Agents

学习代理异质群体中道德行为的动力学

Elizaveta Tennant, Stephen Hailes, Mirco Musolesi

专题命中 AI治理与伦理 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.CY、cs.LG

AI总结 本文研究了在社会困境环境中，道德异质群体的学习动态，探讨了不同道德类型代理之间的相互作用及对群体行为的影响。

Comments Presented at AIES 2024 (7th AAAI/ACM Conference on AI, Ethics, and Society - San Jose, CA, USA) - see https://ojs.aaai.org/index.php/AIES/article/view/31736

Journal ref Proceedings of the 7th AAAI/ACM Conference on AI, Ethics, and Society (AIES), vol. 7, (2024), pp 1444-1454

Context-Aware Counterfactual Data Augmentation for Gender Bias Mitigation in Language Models

面向上下文的反事实数据增强用于语言模型中的性别偏见缓解

Shweta Parihar, Liu Guangliang, Natalie Parde, Lu Cheng

专题命中 AI治理与伦理 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Context-CDA方法，通过增强上下文和过滤低质量反事实，有效缓解语言模型中的性别偏见，同时保持语言建模能力。

Cross-Modal Redundancy and the Geometry of Vision-Language Embeddings

跨模态冗余与视觉-语言嵌入的几何学

Grégoire Dhimoïla, Thomas Fel, Victor Boutin, Agustin Picard

机构 * Brown University（布朗大学） ； ENS Paris Saclay（巴黎萨克雷大学） ； IRT Saint Exupéry（IRT圣埃克苏佩里） ； Kempner Institute, Harvard University（哈佛大学凯姆纳研究所） 纠错

专题命中 AI治理与伦理 ：alignment(abstract)；分类 cs.LG

AI总结 本文通过等能假设和对齐稀疏自编码器，揭示了视觉-语言模型中跨模态对齐的几何结构，发现稀疏双模态原子承载了跨模态对齐信号，单模态原子解释了模态差距，去除单模态原子可消除差距而不影响性能。

Comments Published as a conference paper at ICLR 2026

Double Fairness Policy Learning: Integrating Action Fairness and Outcome Fairness in Decision-making

双公平性政策学习：在决策中整合行动公平性与结果公平性

Zeyu Bian, Lan Wang, Chengchun Shi, Zhengling Qi

机构 * Department of Statistics（统计系） ； Florida State University（佛罗里达州立大学） ； Department of Management Science（管理科学系） ； University of Miami（迈阿密大学） ； London School of Economics and Political Science（伦敦政治经济学院） ； Department of Decision Sciences（决策科学系） ； George Washington University（乔治华盛顿大学） 纠错

专题命中 AI治理与伦理 ：trustworthy(abstract)；分类 cs.LG

AI总结 本文提出双公平性学习框架，通过整合行动公平与结果公平，提升决策中的公平性并最小化价值损失。

BiSSL: Enhancing the Alignment Between Self-Supervised Pretraining and Downstream Fine-Tuning via Bilevel Optimization

BiSSL: 通过双层优化增强自监督预训练与下游微调之间的对齐

Gustav Wagner Zakarias, Lars Kai Hansen, Zheng-Hua Tan

机构 * Aalborg University（奥胡斯大学） ； Technical University of Denmark（技术大学） ； Pioneer Centre for AI（先锋人工智能中心） 纠错

专题命中 其他安全 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 BiSSL通过双层优化增强自监督预训练与下游微调之间的对齐，提升模型在下游任务中的性能。

Journal ref Transactions on Machine Learning Research (TMLR), (02/2026)

Barycentric alignment for instance-level comparison of neural representations

实例层面神经表示的重心对齐

Shreya Saha, Zoe Wanying He, Meenakshi Khosla

机构 * Department of XXX, University of YYY, Location, Country（YYY大学XXX系） ； School of ZZZ, Institute of WWW, Location, Country（WWW研究所ZZZ学院） ； Department of Electrical and Computer Engineering, UCSD（UCSD电子与计算机工程系） ； Cognitive Science Department, UCSD（UCSD认知科学系） ； Department of Computer Science（计算机科学系） 纠错

专题命中 其他安全 ：alignment(title,abstract)；分类 cs.LG

AI总结 通过实例层面的神经表示重心对齐，揭示了跨视觉和语言模型的表示收敛与发散特性，并展示了人类对齐的跨模态比较能力。