大模型对齐与安全

Towards a Theoretical Understanding to the Generalization of RLHF

迈向RLHF泛化性的理论理解

Zhaochun Li, Mingyang Yi, Yue Wang, Shisheng Cui, Yong Liu

机构 * Beijing Institute of Technology（北京理工大学） ； Zhongguancun Academy（中关村学院） ； Renmin University of China（中国人民大学） 纠错

专题命中 偏好对齐 ：RLHF(title,abstract)；分类 cs.LG

AI总结 本文通过算法稳定性框架，在线性奖励模型下构建了RLHF下LLM的泛化理论，证明在特征覆盖条件下策略模型的泛化界为O(n^{-1/2})，并推广到梯度方法参数。

Comments 31 pages, 6 figures

FlowSE-GRPO: Training Flow Matching Speech Enhancement via Online Reinforcement Learning

FlowSE-GRPO：通过在线强化学习训练流匹配语音增强

Haoxu Wang, Biao Tian, Yiheng Jiang, Zexu Pan, Shengkui Zhao, Bin Ma, Daren Chen, Xiangang Li

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)

AI总结 本文提出FlowSE-GRPO，通过在线强化学习优化语音增强，平衡多指标以提升音频质量与任务性能。

Comments Accepted by ICASSP 2026

GameTalk: Training LLMs for Strategic Conversation

GameTalk: 训练 LLMs 进行战略性对话

Victor Conchello Vendrell, Max Ruiz Luyten, Mihaela van der Schaar

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 GameTalk 通过多轮互动训练 LLMs 实现战略性决策，优于传统方法，尤其在奖励塑造下表现突出。

Comments 32 pages, 8 figures

Towards Fast Safe Online Reinforcement Learning via Policy Finetuning

通过策略微调实现快速安全在线强化学习

Keru Chen, Honghao Wei, Zhigang Deng, Sen Lin

机构 * School of Electrical, Computer and Energy Engineering（电气、计算机与能源工程学院） ； Arizona State University（亚利桑那州立大学） ； School of Electrical Engineering and Computer Science（电气工程与计算机科学学院） ； Washington State University（华盛顿州立大学） ； Department of Computer Science（计算机科学系） ； University of Houston（休斯顿大学） 纠错

专题命中 安全训练 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Marvel框架，通过价值预对齐和自适应PID控制，实现更高效安全的在线强化学习。

Comments Accepted by Transactions on Machine Learning Research (TMLR), 2026

Journal ref Transactions on Machine Learning Research (TMLR), 2026

CORD: Bridging the Audio-Text Reasoning Gap via Weighted On-policy Cross-modal Distillation

CORD：通过加权在线跨模态蒸馏弥合音频-文本推理差距

Jing Hu, Danxiang Zhu, Xianlong Luo, Dan Zhang, Shuwei He, Yishu Lei, Haitao Zheng, Shikun Feng, Jingzhou He, Yu Sun, Hua Wu, Haifeng Wang

机构 * ERNIE Team, Baidu（百度ERNIE团队） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI

AI总结 CORD通过加权在线跨模态蒸馏方法，有效弥合音频与文本推理之间的差距，提升音频条件推理能力。

Comments 13 pages, 4 figures

LLM Jailbreak Detection for (Almost) Free!

几乎免费的LLM劫持检测

Guorui Chen, Yifan Xia, Xiaojun Jia, Zhijiang Li, Philip Torr, Jindong Gu

机构 * School of Information Management, Wuhan University（武汉大学信息管理学院） ； Nanyang Technological University（南洋理工大学） ； Torr Vision Group, University of Oxford（牛津大学Torr视觉组） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种几乎免费的LLM劫持检测方法，通过调整输入指令和logits温度来提高检测性能，无需额外计算成本。

Comments EMNLP 2025 (Findings) https://aclanthology.org/2025.findings-emnlp.309/

Persona Jailbreaking in Large Language Models

大型语言模型中的身份劫持

Jivnesh Sandhan, Fei Cheng, Tushar Sandhan, Yugo Murawaki

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL

AI总结 PHISH通过隐含引导历史的身份劫持框架，揭示LLM身份操控的新漏洞，实现对身份的可控操控。

Comments Accepted at EACL26 (Findings)

Data Poisoning Vulnerabilities Across Healthcare AI Architectures: A Security Threat Analysis

医疗AI架构中的数据中毒漏洞：安全威胁分析

Farhad Abtahi, Fernando Seoane, Iván Pau, Mario Vega-Barbas

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI

AI总结 医疗AI面临数据中毒威胁，需多层防御措施和可解释系统以提高安全性。

Journal ref J Med Internet Res 2026

Machine-Assisted Grading of Nationwide School-Leaving Essay Exams with LLMs and Statistical NLP

利用LLM和统计NLP进行全国性毕业考试作文自动评分

Andres Karjus, Kais Allkivi, Silvia Maine, Katarin Leppik, Krister Kruusmaa, Merilin Aruvee

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了利用LLM和统计NLP进行全国毕业考试作文自动评分的可行性，证明其在保持人类监督的同时可实现高精度评估。

ProveRAG: Provenance-Driven Vulnerability Analysis with Automated Retrieval-Augmented LLMs

ProveRAG: 基于溯源的漏洞分析与自动化检索增强大语言模型

Reza Fayyazi, Stella Hoyos Trueba, Michael Zuzak, Shanchieh Jay Yang

专题命中 幻觉与事实性 ：alignment(abstract)

AI总结 ProveRAG通过自动化检索增强和自我批评机制，提升大语言模型在漏洞分析中的准确性和时效性，提供高精度的漏洞利用和缓解策略。

Journal ref IEEE Access, vol. 13, pp. 212815-212826, 2025

SafeThinker: Reasoning about Risk to Deepen Safety Beyond Shallow Alignment

SafeThinker: 通过风险推理深化安全对齐

Xianya Fang, Xianying Luo, Yadong Wang, Xiang Chen, Yu Tian, Zequn Sun, Rui Liu, Jun Fang, Naiqiang Tan, Yuanning Cui, Sheng-Jun Huang

机构 * Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； Didi International Business Group（滴滴国际商务集团） ； Institute for AI, Tsinghua University（清华大学人工智能研究院） ； Nanjing University of Information Science & Technology（南京信息科学技术大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)；safety(title,abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 SafeThinker通过动态分配防御资源，有效提升模型对伪装攻击的防御能力，同时保持实用性。

Fluent but Foreign: Even Regional LLMs Lack Cultural Alignment

流畅但异域：即使区域LLM也缺乏文化契合

Dhruv Agarwal, Anya Shukla, Sunayana Sitaram, Aditya Vashistha

机构 * Cornell University（康奈尔大学） ； Microsoft Research（微软研究院） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 研究发现，即使区域LLM也缺乏文化契合，需通过社区基础的数据和厚宽评估来构建真正主权的LLM。

Comments Under review

Bridging Critical Gaps in Convergent Learning: How Representational Alignment Evolves Across Layers, Training, and Distribution Shifts

弥合收敛学习中的关键差距：表征对齐如何在层、训练和分布偏移中演变

Chaitanya Kapoor, Sudhanshu Srivastava, Meenakshi Khosla

机构 * Department of Cognitive Science University of California, San Diego（认知科学系加州大学圣地亚哥分校） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

AI总结 研究通过大规模分析发现，正交变换在对齐表征上效果接近线性方法，且早期层在分布偏移下仍保持紧密对齐，揭示了表征对齐主要由输入统计和架构偏差驱动。

GAMMA: Generalizable Alignment via Multi-task and Manipulation-Augmented Training for AI-Generated Image Detection

GAMMA: 通过多任务和操控增强训练实现通用对齐的AI生成图像检测

Haozhen Yan, Yan Hong, Suning Lang, Jiahui Zhan, Yikun Ji, Yujie Gao, Huijia Zhu, Jun Lan, Jianfu Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 安全评测 ：alignment(title,abstract)

AI总结 GAMMA通过多任务和操控增强训练，提升AI生成图像检测的泛化能力与鲁棒性。

CRADLE Bench: A Clinician-Annotated Benchmark for Multi-Faceted Mental Health Crisis and Safety Risk Detection

CRADLE Bench: 一种多维心理健康危机和安全风险检测的临床标注基准

Grace Byun, Rebecca Lipschutz, Sean T. Minton, Abigail Lott, Jinho D. Choi

机构 * Emory University, Department of Computer Science（埃默里大学计算机科学系） ； Emory University, Department of Psychiatry and Behavioral Sciences（埃默里大学精神病学与行为科学系） 纠错

专题命中 安全评测 ：safety(title)；分类 cs.CL、cs.AI

AI总结 CRADLE Bench通过多维危机检测基准，结合临床标准和时间标签，提升语言模型对心理健康危机和安全风险的识别能力。

Journal ref EACL 2026

Interpretable Fine-Gray Deep Survival Model for Competing Risks: Predicting Post-Discharge Foot Complications for Diabetic Patients in Ontario

可解释的细灰深度生存模型用于竞争风险：预测安大略省糖尿病患者出院后足部并发症

Dhanesh Ramachandram, Anne Loefler, Surain Roberts, Amol Verma, Maia Norman, Fahad Razak, Conrad Pow, Charles de Mestral

机构 * Vector Institute（向量研究所） ； GEMINI ； University of Toronto（多伦多大学） ； Diabetes Action Canada（加拿大糖尿病行动） 纠错

专题命中 安全评测 ：safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种可解释的细灰深度生存模型，用于预测糖尿病患者出院后足部并发症，通过透明的预测方法提高医疗AI的可信度。

AgentsEval: Clinically Faithful Evaluation of Medical Imaging Reports via Multi-Agent Reasoning

AgentsEval: 通过多智能体推理实现医学影像报告的临床可信评估

Suzhong Fu, Jingqi Dong, Xuan Ding, Rui Sun, Yiming Yang, Shuguang Cui, Zhen Li

机构 * FNii-Shenzhen, The Chinese University of Hong Kong (Shenzhen) School of Science and Engineering（深圳FNii、香港中文大学（深圳）科学与工程学院） 纠错

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)；分类 cs.AI

AI总结 AgentsEval通过多智能体推理框架，实现医学影像报告的临床可信评估，提供结构化反馈和稳健的评估结果。

Supporting Stakeholder Requirements Expression with LLM Revisions: An Empirical Evaluation

通过LLM修订支持利益相关者需求表达：一项实证评估

Michael Mircea, Emre Gevrek, Elisa Schmid, Kurt Schneider

专题命中 安全评测 ：alignment(abstract)；trustworthy(abstract)

AI总结 本文通过实证研究展示LLM在辅助利益相关者表达需求方面的有效性，证明其能提升需求表达的完整性、清晰度和一致性。

Comments This paper has been accepted at the research track of the 32nd International Working Conference on Requirements Engineering: Foundation for Software Quality (REFSQ 2026)

AgentDrive: An Open Benchmark Dataset for Agentic AI Reasoning with LLM-Generated Scenarios in Autonomous Systems

AgentDrive: 一个用于自主系统中基于LLM生成场景的代理AI推理开放基准数据集

Mohamed Amine Ferrag, Abderrahmane Lakas, Merouane Debbah

机构 * Department of Computer and Network Engineering, College of Information Technology, United Arab Emirates University（计算机与网络工程系，信息科技学院，阿联酋大学） ； Khalifa University of Science and Technology（科技大学） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI

AI总结 AgentDrive是一个用于自主系统中基于LLM生成场景的代理AI推理开放基准数据集，包含300,000个驾驶场景和100,000个问题的多项选择基准，用于评估和训练自主代理。

Comments 16 pages

In Quest of an Extensible Multi-Level Harm Taxonomy for Adversarial AI: Heart of Security, Ethical Risk Scoring and Resilience Analytics

寻求可扩展的多级危害分类法以应对对抗性AI：安全的核心、道德风险评分与韧性分析

Javed I. Khan, Sharmila Rahman Prithula

专题命中 安全评测 ：safety(abstract)；分类 cs.CY

AI总结 本文提出了一种可扩展的多级危害分类法，结合伦理理论，系统化地定义危害类型，以提升对抗性AI的安全性和伦理分析能力。

Comments Manuscript accepted for presentation at the 12th International Conference on Computational Science and Computational Intelligence (CSCI 2025), Las Vegas, NV, USA, December 2025. Proceedings to be published by Springer Nature (2026)

A Survey on Human-Centered Evaluation of Explainable AI Methods in Clinical Decision Support Systems

可解释人工智能在临床决策支持系统中的人本评估综述

Alessandro Gambetti, Qiwei Han, Hong Shen, Claudia Soares

机构 * Nova School of Science and Technology, Universidade NOVA de Lisboa（诺瓦科学与技术学院，诺瓦里斯本大学） ； Nova School of Business and Economics, Universidade NOVA de Lisboa（诺瓦商学院与经济学院，诺瓦里斯本大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.LG

AI总结 本文综述了XAI在临床决策支持系统中的人本评估，指出多数研究采用事后方法，提出以利益相关者为中心的评估框架以提升XAI的临床可信度。

Comments 19 pages, 2 tables, 4 figures

RubberDuckBench: A Benchmark for AI Coding Assistants

RubberDuckBench：AI代码助手的基准测试

Ferida Mohammad, Fatma Ayad, Petros Maniatis, Satish Chandra, Elizabeth Dinella

专题命中 安全评测 ：trustworthy(abstract)

AI总结 RubberDuckBench通过评估20种LLM在代码问题上的表现，揭示了AI代码助手在一致性、准确性及谎言生成方面的不足，为未来研究提供基准。

Comments LLM4Code @ ICSE '26

Modular Autonomy with Conversational Interaction: An LLM-driven Framework for Decision Making in Autonomous Driving

模块化自主性与对话交互：一种基于大语言模型的决策框架用于自动驾驶

Marvin Seegert, Korbinian Moller, Johannes Betz

机构 * Professorship of Autonomous Vehicle Systems, TUM School of Engineering and Design, Technical University of Munich（自主车辆系统教授职位，技术大学慕尼黑工程与设计学院，技术大学慕尼黑） 纠错

专题命中 安全评测 ：safety(abstract)

AI总结 本文提出基于大语言模型的自动驾驶决策框架，通过交互层与Autoware集成，实现乘客高级命令的翻译与执行，提升模块化自动驾驶系统的安全性和扩展性。

Comments Submitted to the IEEE Intelligent Vehicles Symposium (IV 2026), Detroit, MI, United States

Leveraging Peer, Self, and Teacher Assessments for Generative AI-Enhanced Feedback

利用同伴、自我和教师评估促进生成式AI增强的反馈

Alvaro Becerra, Ruth Cobos

专题命中 安全评测 ：alignment(abstract)

AI总结 本文提出在AICoFe系统中整合教师、同伴和自我评估，利用GenAI模型提升反馈效率与教学有效性。

Comments This paper has been accepted as a Full Paper in the main conference of the 2026 IEEE Global Engineering Education Conference (EDUCON)

A Novel Deep Hybrid Framework with Ensemble-Based Feature Optimization for Robust Real-Time Human Activity Recognition

一种基于集成特征优化的新型深度混合框架用于鲁棒的实时人类活动识别

Wasi Ullah, Yasir Noman Khalid, Saddam Hussain Khan

机构 * Department of Computer Science, HITEC University（计算机科学系，HITEC大学） ； Department of Information Systems, College of Computer and Information Sciences, Princess Nourah bint Abdulrahman University (PNU)（信息系，计算机与信息科学学院，普里塞斯努拉·本·阿卜杜勒拉赫曼大学） ； University of Wollongong（沃林戈大学） ； College of Engineering and Technology, American University of Middle East（工程与技术学院，中东美国大学） 纠错

专题命中 安全评测 ：safety(abstract)

AI总结 本文提出了一种基于集成特征优化的新型深度混合框架，通过自适应动态适应度共享和注意力机制提升实时人类活动识别的准确性和鲁棒性。

Comments 35 pages, 25 figures, 11 tables

Computational Foundations for Strategic Coopetition: Formalizing Collective Action and Loyalty

战略竞合的计算基础：形式化集体行动与忠诚

Vik Pant, Eric Yu

专题命中 AI治理与伦理 ：alignment(abstract)；分类 cs.AI、cs.CY

AI总结 本文提出了一种基于忠诚度调节的效用函数，用于分析竞合环境中集体行动问题的产生与解决，通过实验验证展示了忠诚度对努力差异的显著影响。

Comments 68 pages, 22 figures. Third technical report in research program; should be read with companion arXiv:2510.18802 and arXiv:2510.24909. Adapts and extends complex actor material from Pant (2021) doctoral dissertation, University of Toronto

Mixture-of-Models: Unifying Heterogeneous Agents via N-Way Self-Evaluating Deliberation

模型混合：通过N方式自我评估 deliberation 统一异质代理

Tims Pecerskis, Aivars Smirnovs

机构 * Peeramid Labs（Peeramid实验室） ； The AI Futures Collective（人工智能未来集体） 纠错

专题命中 其他安全 ：alignment(abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 通过N方式自我评估 deliberation 协议，统一异质代理，实现小模型集合在性能上超越大模型，建立新的硬件效率前沿。

Cross-Lingual Activation Steering for Multilingual Language Models

多语言激活引导用于多语言语言模型

Rhitabrat Pokharel, Ameeta Agrawal, Tanay Nagar

机构 * Department of Computer Science, Portland State University, USA（波特兰州立大学计算机科学系） 纠错

专题命中 其他安全 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CLAS方法，通过激活引导提升多语言模型在非主导语言上的性能，无需修改模型权重。

Comments Under review

Domain Specific Specialization in Low-Resource Settings: The Efficacy of Offline Response-Based Knowledge Distillation in Large Language Models

低资源环境下领域特定专业化：基于离线响应的知识蒸馏在大语言模型中的有效性

Erdem Aslan, Pakize Erdoğmuş

专题命中 其他安全 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种基于离线响应的知识蒸馏方法，通过优化硬件资源，在低资源环境下实现高精度领域专用助手，验证了数据质量和结构对齐比数量更重要。

Comments 10 pages, 10 tables

MoE-Enhanced Multi-Domain Feature Selection and Fusion for Fast Map-Free Trajectory Prediction

增强型多域特征选择与融合的无地图轨迹预测

Wenyi Xiong, Jian Chen, Ziheng Qi, Wenhua Chen

机构 * School of Mechanical Engineering, Zhejiang University（浙江大学机械工程学院） ； Guangdong Provincial Key Laboratory of Fully Actuated System Control Theory and Technology, School of Automation and Intelligent Manufacturing, Southern University of Science and Technology（南方科技大学自动化与智能制造学院） ； Leapmotor Technology（Leapmotor科技） ； Department of Aeronautical and Automotive Engineering, Loughborough University（伦敦大学洛桑学院航空与汽车工程系） 纠错

专题命中 其他安全 ：safety(abstract)；分类 cs.AI

AI总结 本文提出了一种无地图轨迹预测方法，通过多域特征选择与融合，提升轨迹预测的准确性和效率。