大模型对齐与安全

One-shot Optimized Steering Vectors Mediate Safety-relevant Behaviors in LLMs

Jacob Dunefsky, Arman Cohan

机构 * Department of Computer Science（计算机科学系） ； Yale University（耶鲁大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI、cs.LG

Comments Published at COLM 2025. 30 pages, 7 figures. Code is available at https://github.com/jacobdunefsky/one-shot-steering-repro and https://github.com/jacobdunefsky/one-shot-steering-misalignment

AlignGuard-LoRA: Alignment-Preserving Fine-Tuning via Fisher-Guided Decomposition and Riemannian-Geodesic Collision Regularization

Amitava Das, Abhilekh Borah, Vinija Jain, Aman Chadha

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI、cs.LG

FalseReject: A Resource for Improving Contextual Safety and Mitigating Over-Refusals in LLMs via Structured Reasoning

Zhehao Zhang, Weijie Xu, Fanyou Wu, Chandan K. Reddy

机构 * The Ohio State University（俄亥俄州立大学） ； Amazon（亚马逊） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL、cs.AI

Comments Accepted at COLM 2025

SafetyAnalyst: Interpretable, Transparent, and Steerable Safety Moderation for AI Behavior

Jing-Jing Li, Valentina Pyatkin, Max Kleiman-Weiner, Liwei Jiang, Nouha Dziri, Anne G. E. Collins, Jana Schaich Borg, Maarten Sap, Yejin Choi, Sydney Levine

专题命中 安全训练 ：safety(title,abstract)；AI safety(abstract)；分类 cs.CL、cs.CY

Comments Accepted to ICML 2025

Safe Delta: Consistently Preserving Safety when Fine-Tuning LLMs on Diverse Datasets

Ning Lu, Shengcai Liu, Jiahao Wu, Weiyu Chen, Zhirui Zhang, Yew-Soon Ong, Qi Wang, Ke Tang

机构 * Guangdong Provincial Key Laboratory of Brain-Inspired Intelligent Computation, Department of CSE, SUSTech（脑启发智能计算广东省重点实验室，计算机科学与工程系，华南理工大学） ； Department of CSE, HKUST（计算机科学与工程系，香港科技大学） ； Department of CSE, PolyU（计算机科学与工程系，PolyU） ； Department of CSE, SUSTech（计算机科学与工程系，华南理工大学） ； Huawei Technologies CO.（华为技术有限公司） ； College of Computing（计算学院） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI、cs.LG

Comments ICML 2025 Camera Ready

Generating Robot Constitutions & Benchmarks for Semantic Safety

Pierre Sermanet, Anirudha Majumdar, Alex Irpan, Dmitry Kalashnikov, Vikas Sindhwani

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI、cs.CY

Cross-Modal Safety Mechanism Transfer in Large Vision-Language Models

Shicheng Xu, Liang Pang, Yunchang Zhu, Huawei Shen, Xueqi Cheng

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL、cs.AI

Comments ICLR 2025

xSRL: Safety-Aware Explainable Reinforcement Learning -- Safety as a Product of Explainability

Risal Shahriar Shefin, Md Asifur Rahman, Thai Le, Sarra Alqahtani

专题命中 安全训练 ：safety(title,abstract)；trustworthy(abstract)；分类 cs.AI、cs.LG

Comments Accepted to 24th International Conference on Autonomous Agents and Multiagent Systems (AAMAS 2025)

Maximizing Alignment with Minimal Feedback: Efficiently Learning Rewards for Visuomotor Robot Policy Alignment

Ran Tian, Yilin Wu, Chenfeng Xu, Masayoshi Tomizuka, Jitendra Malik, Andrea Bajcsy

专题命中 安全训练 ：alignment(title,abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

Comments Submitted to IJRR, this paper is an extended journal version of the conference paper arXiv:2310.07932 with new results and discussion. arXiv admin note: substantial text overlap with arXiv:2310.07932

Explainable AI for Safe and Trustworthy Autonomous Driving: A Systematic Review

Anton Kuznietsov, Balint Gyevnar, Cheng Wang, Steven Peters, Stefano V. Albrecht

专题命中 安全训练 ：trustworthy(title,abstract)；safety(abstract)；分类 cs.AI、cs.LG

Standardization Trends on Safety and Trustworthiness Technology for Advanced AI

Jonghong Jeon

专题命中 安全训练 ：safety(title,abstract)；trustworthy(abstract)；分类 cs.AI、cs.LG

Comments 13 pages, 2 figures, 4 tables

Journal ref published on 2024 Electronics and Telecommunications Trends Vol.39 No.5

Towards Inference-time Category-wise Safety Steering for Large Language Models

Amrita Bhattacharjee, Shaona Ghosh, Traian Rebedea, Christopher Parisien

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL、cs.AI

Transfer Q Star: Principled Decoding for LLM Alignment

Souradip Chakraborty, Soumya Suvra Ghosal, Ming Yin, Dinesh Manocha, Mengdi Wang, Amrit Singh Bedi, Furong Huang

专题命中 安全训练 ：alignment(title,abstract)；trustworthy(abstract)；分类 cs.CL、cs.LG

LoRA Fine-tuning Efficiently Undoes Safety Training in Llama 2-Chat 70B

Simon Lermen, Charlie Rogers-Smith, Jeffrey Ladish

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI、cs.LG

XSTest: A Test Suite for Identifying Exaggerated Safety Behaviours in Large Language Models

Paul Röttger, Hannah Rose Kirk, Bertie Vidgen, Giuseppe Attanasio, Federico Bianchi, Dirk Hovy

专题命中 安全训练 ：safety(title,abstract)；harmlessness(abstract)；分类 cs.CL、cs.AI

Comments Accepted at NAACL 2024 (Main Conference)

Learning Safety Constraints From Demonstration Using One-Class Decision Trees

Mattijs Baert, Sam Leroux, Pieter Simoens

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI、cs.LG

Comments accepted for AAAI 2024 Workshop on Neuro-Symbolic Learning and Reasoning in the Era of Large Language Models (NucLeaR)

The Alignment Problem in Context

Raphaël Millière

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI、cs.LG

ToolAlignBench: Investigating Alignment Conflicts in Tool-Calling Enabled LLMs

ToolAlignBench：研究启用工具调用的大语言模型中的对齐冲突

Aryan Keluskar, Amrita Bhattacharjee, Huan Liu

机构 * School of Computing \& AI, Arizona State University, Tempe, AZ, USA 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 研究受监管行业中工具调用大语言模型智能体的安全对齐冲突，构建含128个场景的基准测试，发现安全对齐开源模型有时会违背部署指令，擦除可降低举报率，揭示多元对齐矛盾，发布基准测试框架。

Comments Accepted to the Pluralistic Alignment Workshop at ICML 2026

Do Models Share Safety Representations? Cross-Model Steering for Safe Visual Generation

模型是否共享安全表示？面向安全视觉生成的跨模型引导

Tobia Poppi, Silvia Cappelletti, Sara Sarto, Florian Schiffers, Garin Kessler, Marcella Cornia, Lorenzo Baraldi, Rita Cucchiara

机构 * University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学） ； University of Pisa（比萨大学） ； Amazon Prime Video（亚马逊prime视频） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 本文提出首个跨模型安全引导框架，通过源语言模型估计安全方向并迁移至目标生成器，无需目标侧不安全数据即可实现安全控制，且不牺牲生成质量。

Comments Project page: https://aimagelab.github.io/cross-model-safety-representations/

Responsible Federated LLMs via Safety Filtering and Constitutional AI

通过安全过滤和宪法AI实现负责任的联邦大语言模型

Eunchung Noh, Jeonghun Baek

机构 * Samsung Electronics（三星电子） ； The University of Tokyo（东京大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；trustworthy(abstract,comments)；分类 cs.CL

AI总结 本文提出在联邦大语言模型中引入安全过滤和宪法AI技术，以提升模型安全性，实验显示在AdvBench上安全性能提升超过20%。

Comments Accepted at the 6th Workshop on Trustworthy NLP (TrustNLP), ACL 2026

The Policy Cliff: A Theoretical Analysis of Reward-Policy Maps in Large Language Models

Xingcheng Xu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 安全训练 ：alignment(abstract)；RLHF(abstract)；safety(abstract)；trustworthy(abstract)

DistillSeq: A Framework for Safety Alignment Testing in Large Language Models using Knowledge Distillation

Mingke Yang, Yuqi Chen, Yi Liu, Ling Shi

专题命中 安全训练 ：alignment(title)；safety(title)

When Words Are Safe But Actions Kill: Probing Physical Jailbreak Beyond Textual Jailbreak in Hidden-State Risk Space

当言语安全但行动致命：在隐藏状态风险空间中探究超越文本安全的物理危险

Weimeng Wang, Ziqiang Wang, Zihang Zhan, Chuanpu Fu, Qi Li, Ke Xu

机构 * Tsinghua University（清华大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 安全训练 ：jailbreak(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 研究大语言模型中语言无害指令在现实世界中的物理危险与文本级内容危险是否相同，提出PRISM方法，通过隐藏状态方向分析等证明CD和PD可分离，PRISM在多个基准测试中表现良好，能检测物理危险而非仅依赖明确不安全措辞。

Fool's Gold: Defensive Deception Against Safety-Removal Attacks on Open-Weight Models

愚人金：针对开放权重模型安全移除攻击的防御性欺骗

Mark Russinovich

机构 * Microsoft Azure（微软Azure） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.AI

AI总结 针对开放权重模型易被移除安全对齐的问题，提出“愚人金”防御，通过训练仅在被攻击状态显现的伪造诱饵，使被攻击模型对危险请求输出高比例假回答，且无法区分真假，同时不影响干净状态的良性行为。

The Illusion of Cross-Lingual Safety in Low-Resource Languages

低资源语言中跨语言安全的错觉

Abigail Oppong, P Sam Sahil, Tadesse Destaw Belay, Maryam Ibrahim Mukhtar, Esmael Ahmed Abdu, Tassallah Abdullahi, Jessica Oparebea, Saminu Mohammad Aliyu, Idris Abdulmumin, Abubakar Juma Chilala, Nicholaus Dismas Ladislaus, Alfred Malengo Kondoro, Lemofouet Valdini Douglace, Shamsuddeen Hassan Muhammad, Seid Muhie Yimam

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL

AI总结 研究发现大型语言模型的跨语言安全迁移在四种非洲低资源语言中极为有限，现有多语言安全对齐仅停留在表面。

SHE: Trajectory-driven Safety Harness Evolution for LLM Agents

SHE：面向大语言模型智能体的轨迹驱动安全管控机制演化

Wanying Qu, Qinghua Mao, Yu Li, Jiyao Liu, Xin Zhang, Dadi Guo, Yanxu Zhu, Qingyu Liu, Leitao Yuan, Xi Lin, Shanfeng Zhu, Yanwei Fu, Jing Shao, Xia Hu, Dongrui Liu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； Shanghai Jiao Tong University（上海交通大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI

AI总结 本研究提出SHE框架，将LLM智能体的安全管控机制分解为四个构件并引入归因引导演化循环，在Agent-SafetyBench上使攻击成功率降低3.1倍，还具备泛化与跨模型迁移能力。

Comments Project: https://github.com/RainbowQTT/SHE

Aligned in Form, Not in Meaning: The Comprehension - Containment Decoupling of LLM Safety in Low-Resource Bangla Derogatory Speech

形式对齐而非意义对齐：低资源孟加拉语贬损言论中大型语言模型（LLM）安全的理解-遏制解耦

Shadab Bin Habib, A K M Ferdous Reza Habib, Subarno Neel, Adib Sakhawat

机构 * Islamic University of Technology（伊斯兰科技大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL

AI总结 该研究针对5个前沿LLM，在6种协议下对孟加拉语贬损言论审计，验证了LLM安全的理解-遏制解耦假设，发现高资源基准无法保障低资源安全，需基于意义的遏制。

Comments 15 pages, 6 figures

Tool Specifications Matter: Uncovering and Mitigating Safety Risks in AI Agents

工具规格很重要：揭示和缓解AI智能体中的安全风险

Minghui Pan, Jiayuxuan Yang, Yuanyuan Yuan, Yu Jiang, Zhenpeng Chen

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Beihang University（北京航空航天大学） ； Tsinghua University（清华大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；prompt injection(abstract)；分类 cs.AI

AI总结 本研究发现模式格式工具规格是AI智能体安全下降的主因，提出SafeKeep防护措施，可提升有害请求弃权率、降低攻击成功率，性能优于现有防护且保留任务处理能力。

When LLM Defenses Backfire: Characterizing Safety, Performance, and Cost Trade-offs

当大语言模型防御适得其反时：刻画安全性、性能和成本的权衡

Tong Zhang, Zexin Li, Simin Chen, Yun Peng

专题命中 安全训练 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 研究大语言模型越狱防御的安全性、性能和成本权衡，按操作策略组织防御并研究其副作用，发现不同防御在安全与可用性、效率权衡上有差异，为评估防御副作用及选择防御提供基准和指导。

Alignment Plausibility: A New Standard for Assuring AI in Healthcare

对齐合理性：确保医疗保健领域人工智能的新标准

Gwydion Williams, Sara Zannone, Bilal A Mateen

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；分类 cs.AI

AI总结 研究探讨大语言模型在医疗保健领域的安全问题，提出需在价值规范、训练、监督三层面进行对齐以实现结构安全，进而产生对齐合理性这一监管结构，为论证AI与健康结果的关系提供方式。

Comments 8 pages, 1 figure