大模型对齐与安全

The 2026 Singapore Consensus on Global AI Safety Research Priorities

2026年新加坡全球AI安全研究优先事项共识

Stephen Casper, Oskar Galeev, Yoshua Bengio, Mohan Kankanhalli, Lee Wan Sie, Tegan Maharaj, Chris Meserole, Luke Ong, Stuart Russell, Dawn Song, Max Tegmark, Brian Tse, Xue Lan, Andrew Yao, Zhang Ya-Qin, Zhou Bowen, Imane Bello, Kwan Yee Ng, Vanessa Wilfred, Erica Liaw, Lee Chein Inn, Lin Wanxuan, Ng En Qi, Jonathan Lee, José Villalobos, Abhishek Aggarwal, Adam Gleave, Alan Chan, Alex Leung, Alvin Kwock, Anthony Tung, Arisa Siong, Arthur Tea, Ben Bucknall, Benjamin Weinstein-Raun, He Bing Sheng, Liu Bo, Bryan Kian Hsiang Low, Chris Ngo, Clement Neo, Cyrus Hodes, Dan Hendrycks, Daniel Ross, Liu Dapeng, Denise Wong, Djordje Zikelic, Elham Tabassi, Fabien Le Voyer, Fazl Barez, Gabriel Nicholas, Henry Papadatos, Jaan Tallinn, James Petrie, Xu Jia, Shao Jing, Jonathan Barry, Julia Chen, Sun Jun, Karson Elmgren, Kat Lyness, Katherine Lee, Kristy Loke, Lee Kwee Geak, Leslie Teo, Meng Ling Yu, Lisa Soder, Madhulika Srikumar, Malcolm Murray, Mark Brakel, Mark Nitzberg, Mary Phuong, Matthew Jagielski, Max Fenkell, Miro Plueckebaum, Kim Myuhng Joo, Hu Naying, Neil Davison, Nicolas Miailhe, Niki Iliadis, Nur Syahidah Sahrom, Ong Chen Hui, Pradeep Varakantham, Rebecca Finlay, Renata Dwan, Robert Opp, Rumman Chowdhury, Saad Siddiqui, Sabina Nong, Sam Ramadori, Sami Jawhar, Samuel Boger, Sara Hooker, Ying Shao Wei, Sebastian Hallensleben, Shinyuk Kang, Sophie Toura, Sreejith Balakrishnan, Stephanie Kasaon, Stephen Clare, Summer Yue, Sunny Yuqing Sun, Supheakmungkol Sarin, Tian Tian, Tim Schreier, Tori Westerhoff, Urvashi Aneja, Wayne Tee, Lu Wei, Xu Wei, Zhang Wenxuan, Hu Xia, Yang Xiaofang, Pan Xudong, Xiao Yajun, Yifan Jia, Tan Yong Khiam, Yuejin Du, Yuma Kurihara, Tan Zhi Xuan, Sören Mindermann

专题命中 AI治理与伦理 ：safety(title,abstract)；AI safety(title,abstract)；分类 cs.CY

AI总结 该研究基于第二届AI安全国际科学交流成果，发布2026年新加坡全球AI安全研究优先事项共识，聚焦技术AI安全、社会韧性及自主AI智能体风险管理，为全球AI安全研究提供方向。

Comments Available at https://aisafetypriorities.org/

Affective AI Safety: The Missing Piece in LLM Safety

情感AI安全：LLM安全中缺失的一环

Carolin Ifländer, Alba Curry, Flor Miriam Plaza-del-Arco, Amanda Cercas Curry

专题命中 AI治理与伦理 ：safety(title,abstract)；AI safety(title,abstract)；分类 cs.CY

AI总结 本文提出情感安全作为AI安全的新类别，分类情感伤害类型，并指出现有框架未能充分应对，呼吁建立专门框架处理累积性、关系性和身份层面的影响。

The Governance of Human-LLM Interaction: Safety Gating, Civility Steering, and Affective Default Lock-In

人类与LLM交互的治理：安全门控、文明引导与情感默认锁定

Manuele Reani, Hongjian Zhang, Hongyu Tian

机构 * School of Management and Economics, The Chinese University of Hong Kong, Shenzhen, China（管理学院与经济学学院，香港中文大学（深圳）） 纠错

专题命中 AI治理与伦理 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI、cs.CY

AI总结 本研究通过确定性多智能体评估流水线，测量LLM在长程对话中的提示可引导性和风格漂移，提出区分安全门控、文明引导和情感默认锁定的治理框架，揭示提供商对交互形式的控制对多元性、自主性和民主能动性的影响。

Sympathetic Framing: Evaluating AI Alignment across Sociodemographic Groups

共情框架：跨社会人口统计群体评估AI对齐

Haran Shani-Narkiss, Michael Fire, Oren Tsur

机构 * University College London（伦敦大学学院） ； Ben Gurion University of the Negev（内盖夫本古里安大学） 纠错

专题命中 AI治理与伦理 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 该研究评估7款LLMs对新闻标题情感框架的理解与人类的对齐度，发现不同模型相关性差异大，领先模型总体对齐但存在人口统计组差异，凸显AI对齐的非普遍性。

Pluralistic-Alignment Urbanism: Operationalizing a Right to AI for Inclusive Public Space

多元对齐城市主义：将人工智能权利操作化以促进包容性公共空间

Rashid Mushkani

专题命中 AI治理与伦理 ：alignment(title,abstract)；safety(abstract)；分类 cs.CY

AI总结 提出多元对齐城市主义（PAU）框架，通过两个蒙特利尔案例研究，将公共空间AI系统视为公民基础设施，并制定程序性AI权利，以处理分歧、亚组差异和偏好判断，实现包容性治理。

Comments Accepted to The 2026 ACM Conference on Fairness, Accountability, and Transparency (FAccT '26), June 25--28, 2026, Montreal, QC, Canada

AI Alignment and Fiduciary Obligation

AI对齐与受托义务

Benjamin Lange

专题命中 AI治理与伦理 ：alignment(title,abstract)；分类 cs.AI、cs.CY

AI总结 本文提出将受托理论应用于长期AI助手部署，以开发者对用户负有的忠诚、注意、善意和坦诚四项受托义务为基础构建AI对齐标准，为AI对齐研究提供新视角。

Comments 10 pages, 1 table. Accepted at the 9th AAAI/ACM Conference on AI, Ethics, and Society (AIES 2026)

Inference-Time Policy Alignment for Fair Reinforcement Learning

用于公平强化学习的推理时策略对齐

Umer Siddique, Peilang Li, Conor Wallace, Yongcan Cao

专题命中 AI治理与伦理 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出乘法策略塑造框架，在不更新预训练RL策略参数的情况下，于推理时提升公平性，同时保留核心任务性能，适用于各类深度RL智能体。

Comments Accepted at the Reinforcement Learning Conference (RLC) 2026. 13 pages main + appendix, 5 figures, 6 tables

The Storyteller in the Model: Narrative Pattern Inheritance, Escalation Dynamics, and Alignment Governance in LLMs

模型中的讲述者：大语言模型中的叙事模式继承、升级动态和对齐治理

Adam Rigby, Raz Saremi, Azadeh Sohrabinejad, Mehdi Rahimi

专题命中 AI治理与伦理 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 探讨大语言模型训练中是否吸收人类写作叙事模式并致输出漂移，通过文献综述和跨论文分析发现三个关键模式，包括复制训练数据模式、出现潜在特征及微调带来意外变化，指出叙事漂移是未监测的升级途径，需专门监测工具。

Comments 2 figures, 11 pages

Two Wrongs, No Right: Auditing Social-Desirability Bias in LLM Annotators for Computational Social Science

两个错误，没有正确：审计计算社会科学中LLM标注者的社会期望偏差

Varun Kotte

机构 * Varun Kotte 纠错

专题命中 AI治理与伦理 ：alignment(abstract)；safety(abstract)；trustworthy(abstract)；分类 cs.CL、cs.CY、cs.LG

AI总结 研究审计了三个开源指令微调模型在TweetEval任务中的社会期望偏差，发现模型存在宽大、过度纠正和中性偏差，且提示干预无法纠正，聚合指标可能掩盖实质结论错误。

Improving Rural Medication Safety with AI: A Scoping Review

用人工智能提升农村用药安全：一项范围综述

Jeong-ah Kim, Muhammad Ashad Kabir, Daniel Terry, Maryam Rouhi

专题命中 AI治理与伦理 ：safety(title,abstract)；分类 cs.AI

AI总结 本范围综述探究AI在农村医疗场景中提升用药安全的应用，发现AI可覆盖用药全流程，机器学习类技术能减少34%-80%的用药错误，但存在基础设施不足等农村特有挑战。

Comments 23 pages

Agreement Is Not Alignment: Divergent Moral Grounds in Human and LLM Ethical Judgments

一致性并非对齐：人类与大语言模型（LLM）伦理判断中的道德依据分歧

Octavian M. Machidon, Alina L. Machidon, Vojko Strahovnik, Mateja Centa Strahovnik, Jonas Miklavčič, Marko Robnik Šikonja

机构 * University of Ljubljana（卢布尔雅那大学） ； Faculty of Computer and Information Science（计算机与信息科学学院） ； Faculty of Theology（神学院） ； Faculty of Arts（艺术学院） 纠错

专题命中 AI治理与伦理 ：alignment(title,abstract)；分类 cs.AI

AI总结 该研究以ETHICS基准的500项道德判断条目为对象，发现LLM与人类的最终伦理判断常一致，但道德依据存在系统性分歧，表明一致性不等同于对齐性，仅靠标签评估易产生误导。

Comments 9 pages, 4 figures, 3 tables. Accepted and presented at the AI Transparency Conference (AITC 2026), Nuremberg, Germany, June 5-6, 2026

People Are Not Just Their Countries. Disentangling Social Determinants of LLM Value Alignment Across Europe

人不只是其所属国家：在欧洲范围内解耦大型语言模型（LLM）价值对齐的社会决定因素

Maria-Louisa Wightman, Guillaume Bied, Tijl De Bie

专题命中 AI治理与伦理 ：alignment(title,abstract)；分类 cs.AI

AI总结 本研究依托欧洲社会调查，发现LLMs与不同社会人口学群体的价值观对齐存在差异，国籍作为单独变量的解释力与全部社会人口学变量相当，国家与社会人口学因素在解释对齐模式上互补。

Comments Accepted at AIES 2026 (9th AAAI/ACM Conference on AI, Ethics, and Society)

OptimismBench: Forecasting Bias and the Alignment Effect in Language Model Judgment

OptimismBench：语言模型判断中的偏差预测与对齐效应

Seonglae Cho, Adriano Koshiyama

机构 * Holistic AI（整体人工智能公司） ； University College London（伦敦大学学院） 纠错

专题命中 AI治理与伦理 ：alignment(title,abstract)；分类 cs.CL

AI总结 本研究推出OptimismBench基准，检测到多数LLM存在乐观方向偏差，且对齐会使模型概率产生偏差，下游流程会默认继承该偏差。

A Critical Analysis of Trustworthy AI Tools, Mark Frameworks, and the Implementation Chasms

对可信人工智能工具、标记框架及实施差距的批判性分析

Michael Papademas, Xenia Ziouvelou, Kostas Karpouzis, Vangelis Karkaletsis

机构 * Panteion University of Social and Political Sciences（潘泰翁社会与政治科学大学） 纠错

专题命中 AI治理与伦理 ：trustworthy(title,abstract)；分类 cs.AI

AI总结 研究对可信人工智能工具和标记框架进行批判性分析，利用经合组织数据集，通过实证映射等方法找出伦理重点等方面的不对称，发现当前存在的问题，建议扩大伦理目标、贯穿伦理于生命周期并促进多利益相关者参与，以推动人工智能治理。

Managed Autonomy at Runtime: Gear-Based Safety and Governance for Single- and Multi-Agent Cyber-Physical Systems

运行时管理自主性：基于档位的单/多智能体信息物理系统安全与治理

Srini Ramaswamy, Wang Miaosheng

机构 * DNRS.ai, USA 纠错

专题命中 AI治理与伦理 ：safety(title,abstract)；分类 cs.AI

AI总结 提出一种离散时间控制系统，通过五个执行档位和效用门控调度，在单智能体场景中证明单调稳定性、执行安全性和最终稳定，在多智能体CPS中结合治理状态实现分布式安全保证，在UR5机器人装配单元上达到99.6%异常检测率。

Comments to be submitted to a Journal, 18 pages

Governance Decay: How Context Compaction Silently Erases Safety Constraints in Long-Horizon LLM Agents

治理衰减：上下文压缩如何悄然消除长周期LLM智能体中的安全约束

Shiyang Chen

机构 * Beijing Institute of Technology（北京理工大学） 纠错

专题命中 AI治理与伦理 ：safety(title,abstract)；分类 cs.AI

AI总结 研究发现LLM智能体的上下文压缩机制会无意中移除安全约束，导致违规行为；提出ConstraintRot基准和Constraint Pinning缓解方法。

The Alignment Problem in Constrained Code Generation

约束代码生成中的对齐问题

Matteo Biagiola, Jahrim Gabriele Cesario, Luca Di Grazia, George Zakhour, Guido Salvaneschi

机构 * University of St. Gallen（圣加尔登大学） ； Università della Svizzera italiana (USI)（瑞士联邦理工学院） 纠错

专题命中 AI治理与伦理 ：alignment(title,abstract)；分类 cs.LG

AI总结 研究约束解码中约束器、语言模型与目标语言之间的对齐问题，发现约束器的不完整性会扭曲模型分布，导致功能正确性下降高达97%，并提出设计约束器的定量见解。

See First, Answer Later: Visual Evidence Pre-Alignment via Sufficiency-Driven RL

先看后答：基于充分性驱动的强化学习实现视觉证据预对齐

Yilian Liu, Sicong Leng, Guoshun Nan, Junyi Zhu, Jiayu Huang, Minghao Sun, Xuancheng Zhu, Yisong Chen, Zexian Wei, Xiaofeng Tao

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Nanyang Technological University（南洋理工大学） ； China Telecom（中国电信） 纠错

专题命中 AI治理与伦理 ：alignment(title,abstract)；分类 cs.AI

AI总结 提出视觉证据预对齐（VEPA）方法，在预训练与后训练之间引入充分性驱动的GRPO优化，以增强多模态大模型对细粒度视觉证据的利用，显著提升视觉密集型任务性能。

Regulating the Machine Contributor: Governance and Policy Alignment in Open Source

调控机器贡献者：开源中的治理与政策对齐

Jassem Manita, Aziz Amari

机构 * Faculty of Sciences of Tunis (FST), University of Tunis El Manar（突尼斯科学学院（FST），突尼斯El Manar大学） ； National Institute of Applied Science and Technology (INSAT), University of Carthage（应用科学和技术国家研究所（INSAT），卡塔赫季大学） 纠错

专题命中 AI治理与伦理 ：alignment(title,abstract)；分类 cs.AI

AI总结 针对AI代理在开源中引发治理问题，通过比较六个组织的政策，提出六维分类法、政策成熟度评分，并映射代理事件，识别监管框架与政策间的缺口，勾勒分层框架。

SafeGesture: Evaluating Fine-Grained Hand Gesture Understanding in Vision-Language Models through Scenario-Conditioned Safety Interpretation

SafeGesture：通过场景条件安全解释评估视觉语言模型的细粒度手势理解能力

Taegang Kim, Saleh Afroogh, Junfeng Jiao

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Urban Information Lab, The University of Texas at Austin（德克萨斯大学奥斯汀分校城市信息实验室） 纠错

专题命中 AI治理与伦理 ：safety(title,abstract)

AI总结 本文提出SafeGesture基准，评估5款视觉语言模型的细粒度手势安全理解能力，发现模型存在感知与推理脱节，瓶颈为场景条件安全推理而非手势识别。

Comments 14 pages, 22 tables, 2 figures. Code and benchmark resources available at https://github.com/The-Responsible-AI-Initiative/SafeGesture

Beyond Random Sampling: Distribution-Aware Alignment for Semi-Supervised Medical Image Segmentation

超越随机采样：用于半监督医学图像分割的分布感知对齐

Weihao Yan, Yeqiang Qian, Yi Dong, Ming Yang

机构 * School of Automation and Intelligent Sensing, Shanghai Jiao Tong University（上海交通大学自动化与智能感知学院） ； Department of Ultrasound, Xinhua Hospital Affiliated to Shanghai Jiao Tong University School of Medicine（上海交通大学医学院附属新华医院超声科） 纠错

专题命中 AI治理与伦理 ：alignment(title,abstract)

AI总结 研究针对半监督医学图像分割中随机采样策略在低数据量时表征偏差的问题，提出基于分布对齐的高效框架，用分布感知样本选择策略和记忆引导复制粘贴模块，提升分割性能。

Comments 19 pages, 5 figures, accepted by ECCV 2026

SAGE-Nav: Leveraging LLM Planning and Alignment Fusion for Hierarchical Scene Graph-Guided Navigation

SAGE-Nav：利用LLM规划与对齐融合的分层场景图引导导航

Hao Su, Yuehao Huang, Yukai Ma, Yong Liu, Jiajun Lv

机构 * Zhejiang University（浙江大学） 纠错

专题命中 AI治理与伦理 ：alignment(title,abstract)

AI总结 提出SAGE-Nav分层框架，结合大语言模型与动态场景图，通过解耦全局语义规划与高频反应控制，实现高效目标导航，在i-THOR和RoboTHOR中达到最优性能。

Comments Accepted by IROS 2026

The Ethical Decision Head: Operationalizing Normative Ethics in Autonomous Vehicles via Reinforcement Learning from Human Feedback

伦理决策头：基于人类反馈的强化学习在自动驾驶中实现规范伦理

Thomas Mbrice, Ammar Ali, Sami Mian, Khai Hern Low, Eric Chen, Arshia Aghajani, Wolf Schäfer, Amin Shirangi

机构 * Stony Brook University（石溪大学） 纠错

专题命中 AI治理与伦理 ：RLHF(abstract,abstract_cn)；safety(abstract)；分类 cs.LG

AI总结 本文提出伦理决策头（EDH）框架，结合PPO与人类偏好奖励模型，在CARLA仿真中训练自动驾驶智能体，发现人类对自动驾驶伦理的理论规定与实践奖励存在差异。

Position: AI Lock-In Is in Progress, and We Must Be Prepared

立场：AI锁定正在发生，我们必须做好准备

Jaeho Kim, Seokhyun Lee, Jieun Lee, Changhee Lee

专题命中 AI治理与伦理 ：alignment(abstract)；safety(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 该研究指出AI锁定是被低估的AI安全风险，分析其在个体、社会、国家层面的形成与升级机制，提出需提前应对以维护自主权与国家安全。

Comments ICML 2026 Position Track Spotlight

Frame-Conditioned Moral Computation in LLaMA 3.1-8B-Instruct: A Mechanistic Interpretability Audit of Ethical Reasoning

LLaMA 3.1-8B-Instruct中的框架条件化道德计算：伦理推理的机械可解释性审计

Ali Dasdan, Manan Shah, W. Russell Neuman, Chad Coleman, Kund Meghani, Safinah Ali

机构 * KD Consulting, CA, USA（KD咨询公司，美国加利福尼亚州） ； New York University, NY, USA（纽约大学，美国纽约州） 纠错

专题命中 AI治理与伦理 ：RLHF(abstract,abstract_cn)；alignment(abstract)；分类 cs.AI

AI总结 通过机械可解释性平台分析LLaMA 3.1-8B-Instruct在54个道德提示上的内部计算，发现情境锚定效应：领域特定表示主导激活列表顶部，模型道德能力恒定但显著性高度依赖于提示选择的解释框架。

Comments 47 pages, 10 figures

Memetic Capture: A Pluralistic Policy Framework for Governing AI-Driven Cultural Disempowerment

模因捕获：治理AI驱动的文化去权能的多元政策框架

Subramanyam Sahoo

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 AI治理与伦理 ：alignment(abstract,comments)；safety(abstract)；分类 cs.AI、cs.CY

AI总结 提出“模因捕获”概念，指AI通过文化影响削弱人类自主性，并构建四层文化多元治理框架（CPGF），强调多元主义是结构性必需。

Comments Paper accepted in Pluralistic Alignment Workshop at ICML 2026

Policy Fragmentation or Institutional Alignment? Institutional Governance of AI in Universities and Business Schools

政策碎片化还是制度协同？高校与商学院的AI制度治理

Lydia Manikonda, Dominique Outlaw

专题命中 AI治理与伦理 ：alignment(title)；分类 cs.AI

AI总结 本研究分析美国34个州高校AI政策，发现校级侧重数据安全与风险、商学院侧重教学应用，多数商学院无独立AI政策致错位，提出需协同指南兼顾学科目标与劳动力需求。

Comments Our insights suggest that policy guidelines should be aligned with broader institutional policies while addressing discipline-specific learning objectives and evolving workforce demands

Position: Current Model Cards Are Insufficient for Downstream Governance of Open-Weight Foundation Models

立场：当前模型卡片不足以支持开放权重基础模型的下游治理

Sungwon Chae, Keonwoo Kim, Hoki Kim, Jaeyeon Ju, Sangchul Park

专题命中 AI治理与伦理 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文分析Hugging Face的500份模型卡片，指出现有模型卡片无法支持开放权重基础模型下游治理，提出需整合模型卡片、可接受使用政策、许可证的多层治理框架。

Comments Accepted as a position paper at ICML 2026

Who Gets Access? Global Region and Academic Status Bias in AI-Generated Academic Gatekeeping Scenarios

谁能获得权限？AI生成的学术守门场景中的全球区域与学术地位偏差

Nouar AlDahoul, Hezerul Abdul Karim, Myles Joshua Toledo Tan

专题命中 AI治理与伦理 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.CY

AI总结 该研究构建LLM模拟学术守门场景，发现LLM存在学术地位偏差，且模型架构导致区域偏好差异，凸显需审计AI系统的公平性与价值对齐。

Why Public Service AI Governance Frameworks Risk Failing in the Age of General-Purpose AI: Lessons from Policing

为何公共服务人工智能治理框架在通用人工智能时代面临失败风险：来自警务领域的教训

Sam Relins, Daniel Birks

专题命中 AI治理与伦理 ：safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.CY

AI总结 研究公共服务中通用人工智能治理框架面临的风险，以警务为例，指出其特性破坏安全条件，常用缓解措施失效，建议明确分类、技术简约、暂停部署并建立国家安全基础设施。

Comments Preprint; submitted for peer review