大模型对齐与安全

AlignTune: Modular Toolkit for Post-Training Alignment of Large Language Models

AlignTune: 大型语言模型后训练对齐的模块化工具包

R E Zera Marveen Lyngkhoi, Chirag Chawla, Pratinav Seth, Utsav Avaiya, Soham Bhattacharjee, Mykola Khandoga, Rui Yuan, Vinay Kumar Sankarapu

机构 * Lexsi Labs（Lexsi实验室） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(abstract)；分类 cs.CL、cs.LG

AI总结 AlignTune通过模块化工具包提供统一接口，支持监督微调和RLHF优化，解决后端干扰和不可复现问题，提升对齐研究的可控性和复现性。

Comments Library opensource and available at https://github.com/Lexsi-Labs/aligntune

ClinAlign: Scaling Healthcare Alignment from Clinician Preference

ClinAlign: 从医生偏好扩展医疗对齐

Shiwei Lyu, Xidong Wang, Lei Liu, Hao Zhu, Chaohe Zhang, Jian Wang, Jinjie Gu, Benyou Wang, Yue Shen

机构 * Ant Group（蚂蚁集团） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Peking University（北京大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI

AI总结 ClinAlign通过HealthRubrics和HealthPrinciples实现医疗输出与医生偏好的高效对齐，验证了资源高效的临床对齐方法。

HII-DPO: Eliminate Hallucination via Accurate Hallucination-Inducing Counterfactual Images

HII-DPO: 通过准确的 hallucination-Inducing Counterfactual Images 消除幻觉

Yilin Yang, Zhenghui Guo, Yuke Wang, Omprakash Gnawali, Sheng Di, Chengming Zhang

机构 * University of Houston（休斯顿大学） ； Rice University（里士满大学） ； Argonne National Laboratory（阿贡国家实验室） 纠错

专题命中 偏好对齐 ：DPO(title)；alignment(abstract)

AI总结 HII-DPO通过生成准确的幻觉诱导图像，有效缓解了VLMs在语言偏见下的幻觉问题，提升了模型的对齐能力。

StatLLaMA: Multi-Stage training for domain-optimized statistical large language models

StatLLaMA：面向统计领域优化的多阶段训练方法

Jing-Yi Zeng, Guan-Hua Huang

机构 * Institute of Statistics, National Yang Ming Chiao Tung University（统计研究所，国立阳明交通大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI

AI总结 StatLLaMA通过多阶段训练方法优化统计领域，实现高效且平衡的模型性能。

Comments 31 pages, 3 figures

Learning the Value Systems of Societies with Preference-based Multi-objective Reinforcement Learning

基于偏好多目标强化学习的学习社会价值观系统

Andrés Holgado-Sánchez, Peter Vamplew, Richard Dazeley, Sascha Ossowski, Holger Billhardt

机构 * CETINIA, University Rey Juan Carlos（CETINIA皇家卡洛斯大学） ； Federation University（联邦大学） ； Deakin University（德肯大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.CY、cs.LG

AI总结 本文提出基于偏好多目标强化学习的方法，用于在马尔可夫决策过程中学习社会价值系统，通过聚类和价值对齐模型实现不同用户群体的个性化价值偏好适应。

Comments 18 pages, 3 figures. To be published in proceedings of the 25th International Conference on Autonomous Agents and Multi-Agent Systems (AAMAS 2026). This is a full version that includes the supplementary material

PhyCritic: Multimodal Critic Models for Physical AI

PhyCritic：面向物理AI的多模态批评模型

Tianyi Xiong, Shihao Wang, Guilin Liu, Yi Dong, Ming Li, Heng Huang, Jan Kautz, Zhiding Yu

专题命中 偏好对齐 ：alignment(abstract)

AI总结 PhyCritic通过双阶段RLVR流程优化，提升物理AI任务中的感知和推理能力，实现对物理任务的高效评估和改进。

Agentic Knowledge Distillation: Autonomous Training of Small Language Models for SMS Threat Detection

代理知识蒸馏：自主训练小型语言模型用于短信威胁检测

Adel ElZemity, Joshua Sylvester, Budi Arief, Rogério De Lemos

专题命中 偏好对齐 ：DPO(abstract)

AI总结 本研究提出代理知识蒸馏方法，通过自主训练小型语言模型实现高效的短信威胁检测，实验显示教师LLM的选择对性能影响显著。

SecCodePRM: A Process Reward Model for Code Security

SecCodePRM: 一种用于代码安全的过程奖励模型

Weichen Yu, Ravi Mangal, Yinyi Luo, Kai Hu, Jingxuan He, Corina S. Pasareanu, Matt Fredrikson

专题命中 偏好对齐 ：safety(abstract)

AI总结 SecCodePRM通过一种面向安全的过程奖励模型，提升代码安全性和检测效率，适用于完整代码漏洞检测、部分代码漏洞检测和安全代码生成。

Comments 20 pages

Omni-Safety under Cross-Modality Conflict: Vulnerabilities, Dynamics Mechanisms and Efficient Alignment

跨模态冲突下的全方位安全：漏洞、动态机制和高效对齐

Kun Wang, Zherui Li, Zhenhong Zhou, Yitong Zhang, Yan Mi, Kun Yang, Yiming Zhang, Junhao Dong, Zhongxiang Sun, Qiankun Li, Yang Liu

机构 * Nanyang Technological University（南洋理工大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Tsinghua University（清华大学） ； Fudan University（复旦大学） ； University of Science and Technology of China（中国科学技术大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 安全训练 ：safety(title,abstract)；alignment(title)；分类 cs.CL、cs.AI

AI总结 本文提出OmniSteer方法，通过提取黄金拒绝向量和轻量级适配器提升多模态模型的安全性与通用能力。

OSIL: Learning Offline Safe Imitation Policies with Safety Inferred from Non-preferred Trajectories

OSIL: 通过非偏好轨迹推断学习离线安全模仿策略

Returaj Burnwal, Nirav Pravinbhai Bhatt, Balaraman Ravindran

机构 * Indian Institute of Technology Madras（印度理工学院马德拉斯学院） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI、cs.LG

AI总结 OSIL通过非偏好轨迹推断安全策略，从离线演示中学习安全且奖励最大化的策略，优于基线方法。

Comments 21 pages, Accepted at AAMAS 2026

Provably Optimal Reinforcement Learning under Safety Filtering

在安全过滤下可证明最优的强化学习

Donggeon David Oh, Duy P. Nguyen, Haimin Hu, Jaime F. Fisac

专题命中 安全训练 ：safety(title,abstract)；分类 cs.LG

AI总结 本文证明在安全过滤下强化学习可实现最优性能，通过安全关键MDP和过滤MDP的理论框架，展示安全与性能优化的分离，并验证了在安全过滤器下的训练和部署方法。

Comments Accepted for publication in the proceedings of The International Association for Safe & Ethical AI (IASEAI) 2026; 17 pages, 3 figures

Reinforced Curriculum Pre-Alignment for Domain-Adaptive VLMs

强化课程预对齐用于领域自适应视觉-语言模型

Yuming Yan, Shuo Yang, Kai Tang, Sihong Chen, Yang Zhang, Ke Xu, Dan Hu, Qun Yu, Pengfei Hu, Edith C. H. Ngai

机构 * Tencent（腾讯） 纠错

专题命中 安全训练 ：alignment(title,abstract)；分类 cs.CL

AI总结 本文提出RCPA方法，通过课程意识的渐进调节机制，在领域自适应中平衡领域知识获取与通用能力保持。

Found-RL: foundation model-enhanced reinforcement learning for autonomous driving

Found-RL: 基于基础模型的强化学习用于自动驾驶

Yansong Qu, Zihao Sheng, Zilin Huang, Jiancong Chen, Yuhao Luo, Tianyi Wang, Yiheng Feng, Samuel Labi, Sikai Chen

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 Found-RL通过异步批量推理和多样化监督机制，提升自动驾驶中强化学习的效率与实时性。

Comments 39 pages

Interpretable Attention-Based Multi-Agent PPO for Latency Spike Resolution in 6G RAN Slicing

可解释的基于注意力的多智能体PPO用于6G RAN切片中的延迟尖峰解决

Kavan Fatehi, Mostafa Rahmani Ghourtani, Amir Sonee, Poonam Yadav, Alessandra M Russo, Hamed Ahmadi, Radu Calinescu

机构 * University of York, UK（约克大学） 纠错

专题命中 安全训练 ：trustworthy(abstract)；分类 cs.AI

AI总结 本文提出AE-MAPPO，通过整合六个注意力机制，实现6G RAN切片中延迟尖峰的快速诊断与高效解决，兼具SLA合规性和可解释性。

Comments This work has been accepted to appear in the IEEE International Conference on Communications (ICC)

Semi-Supervised Cross-Domain Imitation Learning

半监督跨领域模仿学习

Li-Min Chu, Kai-Siang Ma, Ming-Hong Chen, Ping-Chun Hsieh

机构 * Department of Computer Science, National Yang Ming Chiao Tung University（计算机科学系，国家阳明交通大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

AI总结 本文提出半监督跨领域模仿学习方法，通过结合监督与无监督学习，实现稳定且高效的数据驱动策略学习。

Comments Published in Transactions on Machine Learning Research (TMLR)

Protecting Context and Prompts: Deterministic Security for Non-Deterministic AI

保护上下文和提示：非确定性AI的确定性安全

Mohan Rajagopalan, Vinay Rao

机构 * MACAW Security, Inc.（MACAW安全公司） 纠错

专题命中 安全训练 ：prompt injection(abstract)；分类 cs.AI

AI总结 本研究提出认证提示和上下文技术，通过加密验证和策略代数实现LLM的预防性安全，有效防止提示注入和上下文操纵攻击。

Red-teaming the Multimodal Reasoning: Jailbreaking Vision-Language Models via Cross-modal Entanglement Attacks

多模态推理的红队测试：通过跨模态纠缠攻击劫持视觉-语言模型

Yu Yan, Sheng Sun, Shengjia Cheng, Teli Liu, Mingfeng Li, Min Liu

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； People’s Public Security University of China（中国人民公安大学） 纠错

专题命中 越狱攻击 ：alignment(abstract)；safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 本文提出CrossTALK方法，通过跨模态纠缠攻击提升对视觉-语言模型的劫持效果，实现高攻击成功率。

from Benign import Toxic: Jailbreaking the Language Model via Adversarial Metaphors

从无害到有害：通过对抗隐喻 jailbreak 语言模型

Yu Yan, Sheng Sun, Zenghao Duan, Teli Liu, Min Liu, Zhiyi Yin, Jingyu Lei, Qi Li

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； People’s Public Security University of China（中国人民公安大学） ； Tsinghua University（清华大学） 纠错

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.CL、cs.AI

AI总结 通过对抗隐喻诱导语言模型生成有害内容，提出AVATAR框架以提升jailbreak攻击效果。

Comments arXiv admin note: substantial text overlap with arXiv:2412.12145

Speech-Audio Compositional Attacks on Multimodal LLMs and Their Mitigation with SALMONN-Guard

针对多模态大语言模型的语音音频组合攻击及其通过SALMONN-Guard的缓解

Yudong Yang, Xuezhen Zhang, Zhifeng Han, Siyin Wang, Jimin Zhuang, Zengrui Jin, Jing Shao, Guangzhi Sun, Chao Zhang

机构 * Tsinghua University（清华大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； University of Cambridge（剑桥大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI

AI总结 针对多模态LLMs的安全性，提出SACRED-Bench评估语音音频组合攻击，并通过SALMONN-Guard将攻击成功率降低至20%。

Building Production-Ready Probes For Gemini

为Gemini构建生产级探针

János Kramár, Joshua Engels, Zheng Wang, Bilal Chughtai, Rohin Shah, Neel Nanda, Arthur Conmy

机构 * Google（谷歌） 纠错

专题命中 红队测试 ：safety(abstract)；red teaming(abstract)；AI safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出新的探针架构以应对长上下文分布变化，并通过实验验证其在网络安全领域的有效性，同时展示了自动化AI安全研究的初步成果。

Comments v4 (another minor acknowledgements fix)

The Landscape of Prompt Injection Threats in LLM Agents: From Taxonomy to Analysis

大语言模型代理中提示注入威胁的图景：从分类到分析

Peiran Wang, Xinfeng Li, Chong Xiang, Jinghuai Zhang, Ying Li, Lixia Zhang, Xiaofeng Wang, Yuan Tian

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.CL

AI总结 本文综述了大语言模型代理中提示注入威胁的分类与分析，提出AgentPI基准以评估依赖上下文交互的代理行为，揭示现有防御的局限性并提出未来研究方向。

When Skills Lie: Hidden-Comment Injection in LLM Agents

当技能欺骗：LLM代理中的隐藏评论注入

Qianli Wang, Boyang Ma, Minghui Xu, Yue Zhang

专题命中 提示注入 ：prompt injection(abstract)

AI总结 研究发现LLM代理在处理隐藏评论时存在安全风险，通过防御性提示可阻止恶意指令并揭示潜在威胁。

Comments 4 pages

Out-of-Distribution Detection from Small Training Sets using Bayesian Neural Network Classifiers

从少量训练集出发利用贝叶斯神经网络分类器进行分布外检测

Kevin Raina, Tanya Schmah

机构 * Department of Mathematics and Statistics University of Ottawa（数学与统计学系 马尼托瓦大学） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.LG

AI总结 本文提出了一种基于贝叶斯神经网络的分布外检测方法，通过预期logit向量生成得分，并在MNIST和CIFAR-10数据集上验证了其在小训练集下的优越性能。

Comments British Machine Vision Conference (BMVC) 2025; 18 pages, 6 figures, 3 tables

Journal ref https://bmvc2025.bmva.org/proceedings/1187/

Copyright Detective: A Forensic System to Evidence LLMs Flickering Copyright Leakage Risks

版权侦探：一种用于证据LLM闪烁版权泄露风险的取证系统

Guangwei Zhang, Jianing Zhu, Cheng Qian, Neil Gong, Rada Mihalcea, Zhaozhuo Xu, Jingrui He, Jiaqi Ma, Yun Huang, Chaowei Xiao, Bo Li, Ahmed Abbasi, Dongwon Lee, Heng Ji, Denghui Zhang

机构 * Pine AI ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Duke University（杜克大学） ； University of Michigan（密歇根大学） ； Stevens Institute of Technology（史蒂文斯理工学院） ； Johns Hopkins University（约翰霍普金斯大学） ； University of Notre Dame（圣母大学） ； The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 隐私与版权 ：jailbreak(abstract)；分类 cs.CL

AI总结 Copyright Detective 是一种交互式系统，用于检测和可视化LLM输出中的版权风险，通过整合多种检测方法实现系统性审计。

Actions Speak Louder Than Chats: Investigating AI Chatbot Age Gating

行动胜于聊天：研究AI聊天机器人年龄限制

Olivia Figueira, Pranathi Chamarthi, Tu Le, Athina Markopoulou

专题命中 隐私与版权 ：safety(abstract)

AI总结 本文研究流行聊天机器人是否能通过对话估计用户年龄并采取行动限制儿童访问，发现其未能履行自身政策。

A Multimodal Manufacturing Safety Chatbot: Knowledge Base Design, Benchmark Development, and Evaluation of Multiple RAG Approaches

多模态制造安全聊天机器人：知识库设计、基准开发及多种RAG方法的评估

Ryan Singh, Austin Hamilton, Amanda White, Michael Wise, Ibrahim Yousif, Arthur Carvalho, Zhe Shan, Reza Abrisham Baf, Mohammad Mayyas, Lora A. Cavuoto, Fadel M. Megahed

机构 * Farmer School of Business, Miami University（Miami大学农业商学院） ； Department of Computer Science and Software Engineering, Miami University（Miami大学计算机科学与软件工程系） ； Department of Engineering Technology, Miami University（Miami大学工程技术系） ； Department of Mechanical and Manufacturing Engineering, Miami University（Miami大学机械与制造工程系） ； Department of Industrial and Systems Engineering, University at Buffalo（University at Buffalo工业与系统工程系） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI、cs.CY

AI总结 本文提出了一种多模态制造安全聊天机器人，通过RAG方法实现高准确率、低延迟和低成本的安全培训，展示了其在工业5.0环境中的应用价值。

Comments 25 pages, 5 figures

Non-Contrastive Vision-Language Learning with Predictive Embedding Alignment

非对比视觉语言学习与预测嵌入对齐

Lukas Kuhn, Giuseppe Serra, Florian Buettner

机构 * Goethe University Frankfurt（法兰克福歌德大学） ； German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ）） ； German Cancer Consortium (DKTK)（德国癌症联合会（DKTK）） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

AI总结 NOVA通过联合嵌入预测与分布正则化，实现非对比视觉语言学习，简化训练目标并提升稳定性与效果。

WaymoQA: A Multi-View Visual Question Answering Dataset for Safety-Critical Reasoning in Autonomous Driving

WaymoQA: 一个用于自动驾驶安全关键推理的多视角视觉问答数据集

Seungjun Yu, Seonho Lee, Namho Kim, Jaeyo Shin, Junsung Park, Wonjeong Ryu, Raehyuk Jung, Hyunjung Shim

机构 * Hanyang University（翰阳大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 WaymoQA通过多视角输入提升自动驾驶的安全关键推理能力，提供35,000个标注问题-答案对，显著增强大语言模型的推理性能。

Safety with Agency: Human-Centered Safety Filter with Application to AI-Assisted Motorsports

安全与代理：以人为中心的安全过滤器及其在AI辅助赛车中的应用

Donggeon David Oh, Justin Lidard, Haimin Hu, Himani Sinhmar, Elle Lazarski, Deepak Gopinath, Emily S. Sumner, Jonathan A. DeCastro, Guy Rosman, Naomi Ehrich Leonard, Jaime Fernández Fisac

机构 * Department of Electrical and Computer Engineering, Princeton University（普林斯顿大学电气与计算机工程系） ； Department of Mechanical and Aerospace Engineering, Princeton University（普林斯顿大学机械与航空航天工程系） ； Toyota Research Institute（丰田研究院） 纠错

专题命中 安全评测 ：safety(title,abstract)

AI总结 本文提出了一种以人为中心的安全过滤器，通过神经安全价值函数和状态-动作控制障碍函数，提升AI辅助赛车中的安全性和用户体验。

Comments Accepted to Robotics: Science and Systems (R:SS) 2025, 22 pages, 16 figures, 7 tables Updates for v4: typos in Appendix Subsection A revised

Journal ref Proceedings of Robotics: Science and Systems (RSS), 2025

Trustworthy Decentralized Autonomous Machines: A New Paradigm in Automation Economy

可信去中心化自主机器：自动化经济的新范式

Fernando Castillo, Oscar Castillo, Eduardo Brito, Simon Espinola

专题命中 安全评测 ：trustworthy(title)

AI总结 本文提出去中心化自主机器（DAMs）作为自动化经济的新范式，通过整合AI、区块链和物联网技术，实现无信任的资产管理和经济机会民主化。

Comments To be published in IEEE International Workshop on Decentralized Physical Infrastructure Networks 2025, in conjunction with ICBC'25. 7 pages. 3 figures