大模型对齐与安全

Towards Data-Driven Synthesis of Autonomous Vehicle Safety Concepts

Karen Leung, Andrea Bajcsy, Edward Schmerling, Marco Pavone

专题命中 AI治理与伦理 ：safety(title,abstract)；分类 cs.LG

Aligning Eyes between Humans and Deep Neural Network through Interactive Attention Alignment

Yuyang Gao, Tong Sun, Liang Zhao, Sungsoo Hong

专题命中 AI治理与伦理 ：alignment(title,abstract)；分类 cs.AI

Governance of Ethical and Trustworthy AI Systems: Research Gaps in the ECCOLA Method

Mamia Agbese, Hanna-Kaisa Alanen, Jani Antikainen, Erika Halme, Hannakaisa Isomäki, Marianna Jantunen, Kai-Kristian Kemell, Rebekah Rousi, Heidi Vainio-Pekka, Ville Vakkuri

专题命中 AI治理与伦理 ：trustworthy(title,abstract)；分类 cs.CY

Comments 8 pages, 1 figure, 2 tables, IEEE 29th International Requirements Engineering Conference Workshops (REW)

Journal ref 2021, pp 224-229

Spot the Difference: Detection of Topological Changes via Geometric Alignment

Steffen Czolbe, Aasa Feragen, Oswin Krause

专题命中 AI治理与伦理 ：alignment(title,abstract)；分类 cs.LG

Comments Accepted to 35th Conference on Neural Information Processing Systems (NeurIPS 2021). Camera-ready version. code repository: https://github.com/SteffenCzolbe/TopologicalChangeDetection

Towards a Policy-as-a-Service Framework to Enable Compliant, Trustworthy AI and HRI Systems in the Wild

Alexis Morris, Hallie Siegel, Jonathan Kelly

专题命中 AI治理与伦理 ：trustworthy(title,abstract)；分类 cs.CY

Comments In Proceedings of the AAAI Fall Symposium on Artificial Intelligence for Human-Robot Interaction: Trust & Explainability in Artificial Intelligence for Human-Robot Interaction (AI-HRI'20)

Oversight of Unsafe Systems via Dynamic Safety Envelopes

David Manheim

专题命中 AI治理与伦理 ：safety(title,abstract)；分类 cs.AI

Mimetic vs Anchored Value Alignment in Artificial Intelligence

Tae Wan Kim, Thomas Donaldson, John Hooker

专题命中 AI治理与伦理 ：alignment(title,abstract)；分类 cs.AI

Language Bias in LVLMs: From In-Depth Analysis to Simple and Effective Mitigation

LVLMs中的语言偏差：从深入分析到简单有效的缓解方法

Yangneng Chen, Jing Li

机构 * Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳）） 纠错

专题命中 AI治理与伦理 ：DPO(abstract,abstract_cn)；alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文系统研究了大视觉语言模型中的语言偏差问题，发现其根源在于训练中的模态未对齐，并提出了两种简单有效的缓解方法：语言偏差正则化（LBR）和语言偏差惩罚（LBP）。

Comments Accepted by ICML 2026

Global AI Bias Audit for Technical Governance

全球人工智能偏见审计用于技术治理

Jason Hung

专题命中 AI治理与伦理 ：alignment(abstract)；safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.CY

AI总结 本文通过全球人工智能数据集对Llama-3 8B模型进行压力测试，揭示了全球南北在人工智能技术知识和信息获取上的显著差距，呼吁更包容的数据表示以促进全球AI治理。

Comments 16 pages, 5 graphs, 3 tables

Persuasiveness and Bias in LLM: Investigating the Impact of Persuasiveness and Reinforcement of Bias in Language Models

Saumya Roy

机构 * Department of Mathematics and Computer Science（数学与计算机科学系） ； Data and Artificial Intelligence Research Group（数据与人工智能研究组） 纠错

专题命中 AI治理与伦理 ：alignment(abstract)；safety(abstract)；trustworthy(abstract)；分类 cs.CL、cs.AI

Mitigating Societal Cognitive Overload in the Age of AI: Challenges and Directions

Salem Lahlou

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫罕默德·本·扎耶德人工智能大学） 纠错

专题命中 AI治理与伦理 ：alignment(abstract)；safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.CY

The Dual-use Dilemma in LLMs: Do Empowering Ethical Capacities Make a Degraded Utility?

Yiyi Zhang, Xingyu Chen, Kexin Chen, Yuyang Du, Xilin Dang, Pheng-Ann Heng

专题命中 AI治理与伦理 ：alignment(abstract)；DPO(abstract)；safety(abstract)；分类 cs.CL、cs.AI

Informed AI Regulation: Comparing the Ethical Frameworks of Leading LLM Chatbots Using an Ethics-Based Audit to Assess Moral Reasoning and Normative Values

Jon Chun, Katherine Elkins

专题命中 AI治理与伦理 ：alignment(abstract)；safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.CY

Comments 23 pages, 6 figures (3 as tables), 1 table (in LaTeX)

The Promise and Peril of Artificial Intelligence -- Violet Teaming Offers a Balanced Path Forward

Alexander J. Titus, Adam H. Russell

专题命中 AI治理与伦理 ：safety(abstract)；red teaming(abstract)；AI safety(abstract)；分类 cs.AI、cs.LG

Comments 14 pages, 1 figure

Impossibility Results in AI: A Survey

Mario Brcic, Roman V. Yampolskiy

专题命中 AI治理与伦理 ：alignment(abstract)；safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.CY

Comments 23 pages, 2 figures, 103 references

Journal ref ACM Computing Surveys, 2023

ArGen: Auto-Regulation of Generative AI via GRPO and Policy-as-Code

Kapil Madan

机构 * Principled Evolution（原则进化） 纠错

专题命中 AI治理与伦理 ：alignment(abstract,comments)；safety(abstract)；分类 cs.CL、cs.AI、cs.CY

Comments 53 pages, 7 figures, 8 tables. Open-source implementation available at: https://github.com/Principled-Evolution/argen-demo. Work explores the integration of policy-as-code for AI alignment, with a case study in culturally-nuanced, ethical AI using Dharmic principles

SafeGesture: Evaluating Fine-Grained Hand Gesture Understanding in Vision-Language Models through Scenario-Conditioned Safety Interpretation

SafeGesture：通过场景条件安全解释评估视觉语言模型的细粒度手势理解能力

Taegang Kim, Saleh Afroogh, Junfeng Jiao

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Urban Information Lab, The University of Texas at Austin（德克萨斯大学奥斯汀分校城市信息实验室） 纠错

专题命中 AI治理与伦理 ：safety(title,abstract)

AI总结 本文提出SafeGesture基准，评估5款视觉语言模型的细粒度手势安全理解能力，发现模型存在感知与推理脱节，瓶颈为场景条件安全推理而非手势识别。

Comments 14 pages, 22 tables, 2 figures. Code and benchmark resources available at https://github.com/The-Responsible-AI-Initiative/SafeGesture

Beyond Random Sampling: Distribution-Aware Alignment for Semi-Supervised Medical Image Segmentation

超越随机采样：用于半监督医学图像分割的分布感知对齐

Weihao Yan, Yeqiang Qian, Yi Dong, Ming Yang

机构 * School of Automation and Intelligent Sensing, Shanghai Jiao Tong University（上海交通大学自动化与智能感知学院） ； Department of Ultrasound, Xinhua Hospital Affiliated to Shanghai Jiao Tong University School of Medicine（上海交通大学医学院附属新华医院超声科） 纠错

专题命中 AI治理与伦理 ：alignment(title,abstract)

AI总结 研究针对半监督医学图像分割中随机采样策略在低数据量时表征偏差的问题，提出基于分布对齐的高效框架，用分布感知样本选择策略和记忆引导复制粘贴模块，提升分割性能。

Comments 19 pages, 5 figures, accepted by ECCV 2026

SAGE-Nav: Leveraging LLM Planning and Alignment Fusion for Hierarchical Scene Graph-Guided Navigation

SAGE-Nav：利用LLM规划与对齐融合的分层场景图引导导航

Hao Su, Yuehao Huang, Yukai Ma, Yong Liu, Jiajun Lv

机构 * Zhejiang University（浙江大学） 纠错

专题命中 AI治理与伦理 ：alignment(title,abstract)

AI总结 提出SAGE-Nav分层框架，结合大语言模型与动态场景图，通过解耦全局语义规划与高频反应控制，实现高效目标导航，在i-THOR和RoboTHOR中达到最优性能。

Comments Accepted by IROS 2026

Cognitive Alignment Deciphered: A Self-Developed Scenario-Based Prompt Scale Coupled with Representational Similarity Analysis and Social Network Analysis for Unraveling Bias Mechanisms Across Humans and LLMs

认知对齐解码：一种自研的基于场景的提示量表结合表征相似性分析和社会网络分析，用于揭示人类和大语言模型中的偏见机制

Chengrui Zhou

专题命中 AI治理与伦理 ：alignment(title,abstract)

AI总结 本文提出基于场景的CBAS量表，结合RSA和SNA分析，揭示人类和LLM的偏见机制，通过干预提升LLM响应准确率，建立可复现的认知对齐研究流程。

Comments 10 pages

Co-Constructing Alignment: A Participatory Approach to Situate AI Values

共构对齐：一种参与式方法以定位AI价值观

Anne Arzberger, Enrico Liscio, Maria Luce Lupetti, Inigo Martinez de Rituerto de Troya, Jie Yang

专题命中 AI治理与伦理 ：alignment(title,abstract)

AI总结 本文通过参与式工作坊探讨用户如何参与AI价值观对齐过程，发现用户更倾向于将对齐视为一种持续的、情境化的共同实践。

Smart But Not Moral? Moral Alignment In Human-AI Decision-Making

聪明但不道德？人类与AI决策中的道德一致性

Christiane Ernst, Luis Gutmann, Domenique Zipperling, Kathrin Figl, Niklas Kühl

专题命中 AI治理与伦理 ：alignment(title,abstract)

AI总结 本文探讨了高风险AI决策中道德一致性的重要性，提出道德一致性是人类与AI决策的核心维度，基于道德基础理论分析多利益相关者视角下的道德一致性影响。

Comments Accepted at the TREO Forum of the European Conference on Information Systems 2026

Cross-Modal Prototype Alignment and Mixing for Training-Free Few-Shot Classification

跨模态原型对齐与混合用于无训练少样本分类

Dipam Goswami, Simone Magistri, Gido M. van de Ven, Bartłomiej Twardowski, Andrew D. Bagdanov, Tinne Tuytelaars, Joost van de Weijer

机构 * Department of Computer Science, Universitat Autònoma de Barcelona, Spain（巴塞罗那自治大学计算机科学系） ； Computer Vision Center, Barcelona, Spain（巴塞罗那计算机视觉中心） ； Media Integration and Communication Center, University of Florence, Italy（佛罗伦萨大学媒体整合与传播中心） ； Bernoulli Institute, University of Groningen, the Netherlands（格罗宁根大学伯努利学院） ； IDEAS Research Institute, Poland（波兰IDEAS研究所） ； ESAT-PSI, KU Leuven, Belgium（比利时KU莱顿大学ESAT-PSI） 纠错

专题命中 AI治理与伦理 ：alignment(title,abstract)

AI总结 本文研究了直接混合图像与文本原型对少样本分类的影响，提出通过投影获取语义对齐的图像子空间，结合文本嵌入和图像特定LDA分类器提升性能。

Comments Preprint

PEARL: Prototype-Enhanced Alignment for Label-Efficient Representation Learning with Deployment-Driven Insights from Digital Governance Communication Systems

PEARL：基于原型增强的标签高效表示学习方法，结合数字治理通信系统的部署驱动洞察

Ruiyu Zhang, Lin Nie, Wai-Fung Lam, Qihao Wang, Xin Zhao

机构 * Department of Politics and Public Administration（政治与公共行政系） ； The University of Hong Kong（香港大学） ； Department of Applied Social Sciences（应用社会科学系） ； The Hong Kong Polytechnic University（香港理工大学） ； School of Physical Science and Technology（物理科学与技术学院） 纠错

专题命中 AI治理与伦理 ：alignment(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 PEARL通过有限监督对齐嵌入向类原型，提升标签稀缺环境下嵌入几何质量，显著改善最近邻检索性能。

Comments 15 pages, 1 figure

Unbiased Region-Language Alignment for Open-Vocabulary Dense Prediction

无偏区域-语言对齐用于开放词汇密集预测

Yunheng Li, Yuxuan Li, Quansheng Zeng, Wenhai Wang, Qibin Hou, Ming-Ming Cheng

机构 * VCIP, CS, Nankai University（南开大学计算机科学与技术学院） ； NKIARI, Shenzhen Futian（深圳福田国家信息研究院） ； OpenGVLab, Shanghai AI Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 AI治理与伦理 ：alignment(title,abstract)

AI总结 DenseVLM通过无偏区域-语言对齐提升开放词汇密集预测性能

Comments Accepted at ICCV 2025. The code is available at https://github.com/HVision-NKU/DenseVLM

Monitoring and Regulation of Micro-Displacement Deviation in Few-Mode Beam Alignment through Mode Decomposition

通过模式分解实现少模光纤对准中的微位移偏差监测与调节

Lin Xu, Li Pei, Jianshuai Wang, Zhouyi Hu, Tigang Ning

专题命中 AI治理与伦理 ：alignment(title,abstract)

AI总结 本研究提出通过模式分解与机器学习算法实现少模光纤三维位移精确测量与调节，提升光路对准精度与稳定性。

Multi-speaker Attention Alignment for Multimodal Social Interaction

多说话者注意力对齐用于多模态社交互动

Liangyang Ouyang, Yifei Huang, Mingfang Zhang, Caixin Kang, Ryosuke Furuta, Yoichi Sato

机构 * The University of Tokyo（东京大学） 纠错

专题命中 AI治理与伦理 ：alignment(title,abstract)

AI总结 本文提出了一种多模态多说话者注意力对齐方法，通过动态头选择和自适应注意力偏差提升多模态社交互动理解能力，实现SOTA效果。

Vision-Motion-Reference Alignment for Referring Multi-Object Tracking via Multi-Modal Large Language Models

基于多模态大语言模型的视觉-运动-参考对齐的指称多目标跟踪

Weiyi Lv, Ning Zhang, Hanyang Sun, Haoran Jiang, Kai Zhao, Jing Xiao, Dan Zeng

机构 * Shanghai University（上海大学） ； PAII Inc.（PAII公司） 纠错

专题命中 AI治理与伦理 ：alignment(title,abstract)

AI总结 VMRMOT通过多模态大语言模型实现视觉-运动-参考对齐，提升指称多目标跟踪的性能。

A Scalable Framework for Safety Assurance of Self-Driving Vehicles based on Assurance 2.0

Shufeng Chen, Mariat James Elizebeth, Robab Aghazadeh Chakherlou, Xingyu Zhao, Eric Barbier, Siddartha Khastgir, Paul Jennings

专题命中 AI治理与伦理 ：safety(title,abstract)

Toward Robust Medical Fairness: Debiased Dual-Modal Alignment via Text-Guided Attribute-Disentangled Prompt Learning for Vision-Language Models

Yuexuan Xia, Benteng Ma, Jiang He, Zhiyong Wang, Qi Dou, Yong Xia

机构 * National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology（集成空天地海大数据应用技术国家工程实验室） ； Northwestern Polytechnical University（西北工业大学） ； Huiying Medical Technology Company Ltd.（慧影医疗技术有限公司） ； The School of Computer Science（计算机学院） ； The University of Sydney（悉尼大学） ； Department of Computer Science and Engineering（计算机科学与工程系） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 AI治理与伦理 ：alignment(title,abstract)