大模型对齐与安全

Stackelberg Learning from Human Feedback: Preference Optimization as a Sequential Game

基于人类反馈的Stackelberg学习：偏好优化作为连续博弈

Barna Pásztor, Thomas Kleine Buening, Andreas Krause

机构 * ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 SLHF通过连续博弈框架实现偏好优化，优于RLHF和NLHF，在一致性、数据敏感性和鲁棒性方面具有优势，并在大规模语言模型中展示出强对齐能力。

Comments 10 pages, 5 tables, 1 figures

Reinforcement Learning Finetunes Small Subnetworks in Large Language Models

强化学习在大型语言模型中微调小型子网络

Sagnik Mukherjee, Lifan Yuan, Dilek Hakkani-Tur, Hao Peng

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.LG

AI总结 强化学习在大型语言模型中通过微调小型子网络显著提升性能，且该子网络更新稀疏性源于数据分布和正则化技术的影响。

Comments NeuRIPS 2025

ReactorFold: Generative discovery of nuclear reactor cores via emergent physical reasoning

ReactorFold：通过涌现物理推理生成核反应堆核心

Yoonpyo Lee

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.AI、cs.LG

AI总结 ReactorFold通过生成框架和涌现物理推理，实现了核反应堆核心设计的创新发现，突破传统设计限制。

Non-Asymptotic Global Convergence of PPO-Clip

PPO-Clip算法的非渐近全局收敛性

Yin Liu, Qiming Dai, Junyu Zhang, Zaiwen Wen

机构 * Beijing International Center for Mathematical Research, Peking University（北京国际数学研究中心，北京大学） ； School of Mathematical Sciences, Peking University（北京大学数学学院） ； Department of Industrial Systems Engineering and Management, National University of Singapore（新加坡国立大学工业系统工程与管理系） ； Beijing International Center for Mathematical Research and Center for Machine Learning Research, Peking University（北京国际数学研究中心和机器学习研究中心，北京大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.LG

AI总结 本文研究了PPO-Clip算法的非渐近全局收敛性，通过理论分析建立了前向KL正则化器的线性收敛率及反向KL正则化器的静止收敛与局部线性收敛。

Seeing is Believing (and Predicting): Context-Aware Multi-Human Behavior Prediction with Vision Language Models

看见即信仰（并预测）：基于视觉语言模型的上下文感知多人类行为预测

Utsav Panchal, Yuchen Liu, Luigi Palmieri, Ilche Georgievski, Marco Aiello

机构 * Institute of Architecture of Application Systems, University of Stuttgart, Germany（应用系统建筑研究所，斯图加特大学，德国） ； Bosch Research, Germany（博世研究，德国） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.AI

AI总结 CAMP-VLM通过结合视觉语言模型与上下文特征，提升了多人类行为预测的准确性，其在预测精度上比基线模型高66.9%。

Comments Accepted at IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2026

QuadSentinel: Sequent Safety for Machine-Checkable Control in Multi-agent Systems

QuadSentinel: 多智能体系统中机器可验证的顺序安全控制

Yiliu Yang, Yilei Jiang, Qunzhong Wang, Yingshui Tan, Xiaoyong Zhu, Sherman S. M. Chow, Bo Zheng, Xiangyu Yue

机构 * The Chinese University of Hong Kong（香港中文大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.CL、cs.AI

AI总结 QuadSentinel通过四智能体守卫系统，将安全政策转化为机器可验证规则，提升多智能体系统的安全控制效果。

Comments Preprint

From Facts to Conclusions : Integrating Deductive Reasoning in Retrieval-Augmented LLMs

从事实到结论：在检索增强的大语言模型中整合演绎推理

Shubham Mishra, Samyek Jain, Gorang Mehrishi, Shiv Tiwari, Harsh Sharma, Pratik Narang, Dhruv Kumar

专题命中 安全训练 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文提出了一种增强RAG框架，通过结构化推理和冲突分析提升模型在冲突信息下的回答准确性与可解释性。

Comments Under Review

Fine-Tuning Discrete Diffusion Models with Policy Gradient Methods

使用策略梯度方法微调离散扩散模型

Oussama Zekri, Nicolas Boullé

专题命中 安全训练 ：RLHF(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出SEPO算法，用于高效微调离散扩散模型，通过理论支持和实验验证展示了其在非可微奖励下的有效性。

Comments 33 pages, 8 figures, 8 tables

Journal ref NeurIPS 2025

Beyond Training: Enabling Self-Evolution of Agents with MOBIMEM

超越训练：通过MOBIMEM实现智能体的自我进化

Zibin Liu, Cheng Zhang, Xi Zhao, Yunfei Feng, Bingyu Bai, Dahu Feng, Erhu Feng, Yubin Xia, Haibo Chen

机构 * Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University（并行与分布式系统研究所，上海交通大学） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 MOBIMEM通过引入内存原语和操作系统启发的服务，实现了无需模型重训练的智能体自我进化，显著提升了任务成功率和效率。

A Synthetic Dataset for Manometry Recognition in Robotic Applications

用于机器人应用的测压识别合成数据集

Pedro Antonio Rabelo Saraiva, Enzo Ferreira de Souza, Joao Manoel Herrera Pinheiro, Thiago H. Segreto, Ricardo V. Godoy, Marcelo Becker

机构 * University of São Paulo（圣保罗大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种混合数据合成方法，通过结合过程渲染和AI驱动视频生成，提升机器人应用中测压识别的训练效果和可靠性。

Journal ref 2025 Latin American Robotics Symposium (LARS)

Prefix Probing: Lightweight Harmful Content Detection for Large Language Models

前缀探查：用于大型语言模型的轻量有害内容检测

Jirui Yang, Hengqi Guo, Zhihui Lu, Yi Zhao, Yuansen Zhang, Shijing Hu, Qiang Duan, Yinggui Wang, Tao Wei

机构 * Fudan University（复旦大学） ； Ant Group（蚂蚁集团） ； Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 Prefix Probing通过高效前缀探查实现轻量有害内容检测，在保持检测效果的同时大幅降低计算成本和部署需求。

Beyond Over-Refusal: Scenario-Based Diagnostics and Post-Hoc Mitigation for Exaggerated Refusals in LLMs

超越过度拒绝：基于场景的诊断与事后缓解措施以应对大语言模型中的夸大拒绝

Shuzhou Yuan, Ercong Nie, Yinuo Sun, Chenxuan Zhao, William LaCroix, Michael Färber

机构 * ScaDS.AI and TU Dresden（ScaDS.AI 和图腾德斯雷克大学） ； LMU Munich and MCML（慕尼黑大学和MCML） ； Saarland University（萨尔兰州大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

AI总结 本文提出基于场景的诊断与事后缓解方法，以减少大语言模型中的夸大拒绝问题，通过两个基准测试和三种轻量级策略提升合规性与安全性。

A Vision-Based Shared-Control Teleoperation Scheme for Controlling the Robotic Arm of a Four-Legged Robot

基于视觉的共享控制远程操作方案用于控制四足机器人的机械臂

Murilo Vinicius da Silva, Matheus Hipolito Carvalho, Juliano Negri, Thiago Segreto, Gustavo J. G. Lahr, Ricardo V. Godoy, Marcelo Becker

机构 * Department of Mechanical Engineering, University of São Paulo（机械工程系，圣保罗大学） ； Instituto Israelita de Ensino e Pesquisa Albert Einstein, Hospital Israelita Albert Einstein（艾利哈德研究所，以色列医院） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 本文提出了一种基于视觉的姿态估计方法，通过检测操作员手腕位置来实现四足机器人机械臂的直观远程控制，提高了安全性和易用性。

Journal ref 2025 Latin American Robotics Symposium (LARS)

Mirror Descent Policy Optimisation for Robust Constrained Markov Decision Processes

镜像下降策略优化用于鲁棒约束马尔可夫决策过程

David M. Bossens, Atsushi Nitanda

机构 * Centre for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)（前沿人工智能研究中心，科技研究局（A*STAR）） ； Singapore Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)（新加坡高性能计算研究所，科技研究局（A*STAR）） ； College of Computing and Data Science, Nanyang Technological University, Singapore（计算与数据科学学院，南洋理工大学，新加坡） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.LG

AI总结 本文提出一种镜像下降策略优化方法，用于鲁棒约束马尔可夫决策过程，通过优化策略和转移核实现收敛率和鲁棒性提升。

Journal ref Transactions on Machine Learning Research (TMLR 2025)

Auto-Tuning Safety Guardrails for Black-Box Large Language Models

为黑盒大语言模型自动调整安全防护栏

Perry Abdulkadir

机构 * University of St. Thomas（圣托马斯大学） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；jailbreak(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出通过超参数优化来自动调整黑盒大语言模型的安全防护栏，以提高其安全性和效率。

Comments 8 pages, 7 figures, 1 table. Work completed as part of the M.S. in Artificial Intelligence at the University of St. Thomas using publicly available models and datasets; all views and any errors are the author's own

Bilevel Optimization for Covert Memory Tampering in Heterogeneous Multi-Agent Architectures (XAMT)

针对异构多智能体架构中的隐蔽内存篡改的双层优化

Akhil Sharma, Shaikh Yaser Arafat, Jai Kumar Sharma, Ken Huang

专题命中 越狱攻击 ：safety(abstract)

AI总结 XAMT通过双层优化方法针对异构多智能体架构中的隐蔽内存篡改问题，提出了一种新的训练时威胁模型，以提升系统安全性。

Comments 10 pages, 5 figures, 4 tables. Conference-style paper (IEEEtran). Proposes unified bilevel optimization framework for covert memory poisoning attacks in heterogeneous multi-agent systems (MARL + RAG)

Beyond the Benchmark: Innovative Defenses Against Prompt Injection Attacks

超越基准：对抗提示注入攻击的创新防御

Safwan Shaheer, G. M. Refatul Islam, Mohammad Rafid Hamid, Tahsin Zaman Jilan

机构 * Dept. of CS, SDS BRAC University（计算机科学系，BRAC大学） ； Dept. of CSE, SDS BRAC University（计算机工程系，BRAC大学） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；分类 cs.AI

AI总结 本文提出创新防御机制，通过迭代优化防御提示，有效缓解LLM中的目标劫持漏洞，提升小型开源模型的安全性与部署效率。

Comments 10 pages, 4 figures

Who is In Charge? Dissecting Role Conflicts in Instruction Following

谁在掌控？解析指令遵循中的角色冲突

Siqi Zeng

机构 * University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 提示注入 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 研究揭示大型语言模型在指令遵循中存在角色冲突，通过机制分析发现系统-用户冲突与社会冲突的不同处理方式，并强调了对齐方法的重要性。

Comments 12 pages, 5 figures, Mech Interp Workshop (NeurIPS 2025) Poster

Root Cause Analysis of Radiation Oncology Incidents Using Large Language Models

利用大语言模型进行放射肿瘤事件的根本原因分析

Yuntao Wang, Mariluz De Ornelas, Matthew T. Studenski, Elizabeth Bossart, Siamak P. Najad-Davarani, Yunze Yang

专题命中 幻觉与事实性 ：safety(abstract)

AI总结 利用大语言模型分析放射肿瘤事件的根本原因，评估其在提升患者安全中的应用潜力。

Feature-Selective Representation Misdirection for Machine Unlearning

特征选择性表示误导用于机器去学习

Taozhao Chen, Linghan Huang, Kim-Kwang Raymond Choo, Huaming Chen

机构 * University of Sydney（悉尼大学） ； University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校） 纠错

专题命中 隐私与版权 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 SRMU通过特征意识的激活编辑框架，实现安全驱动的模型去学习，有效抑制有害表示并保持模型效用。

From Essence to Defense: Adaptive Semantic-aware Watermarking for Embedding-as-a-Service Copyright Protection

从本质到防御：面向嵌入即服务版权保护的自适应语义感知水印技术

Hao Li, Yubing Ren, Yanan Cao, Yingjie Li, Fang Fang, Xuebin Wang

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） 纠错

专题命中 隐私与版权 ：harmlessness(abstract)；分类 cs.CL

AI总结 SemMark是一种基于语义的嵌入即服务版权保护水印技术，通过语义感知水印和自适应权重机制提升防护效果。

Distributed Risk-Sensitive Safety Filters for Uncertain Discrete-Time Systems

分布式风险敏感安全滤波器用于不确定离散时间系统

Armin Lederer, Erfaun Noorani, Andreas Krause

机构 * Department of Electrical and Computer Engineering, College of Design and Engineering, National University of Singapore（新加坡国立大学电气与计算机工程系，设计与工程学院） ； Learning & Adaptive Systems Group, Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系学习与自适应系统小组） 纠错

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种分布式风险敏感安全滤波器，用于不确定离散时间多智能体系统，通过价值函数定义的控制屏障函数和两种替代策略确保安全性与鲁棒性。

Journal ref IEEE Control Systems Letters, vol. 9, pp. 1231-1236, 2025

AMUSE: Audio-Visual Benchmark and Alignment Framework for Agentic Multi-Speaker Understanding

AMUSE：面向代理多说话者理解的音频-视觉基准与对齐框架

Sanjoy Chowdhury, Karren D. Yang, Xudong Liu, Fartash Faghri, Pavan Kumar Anasosalu Vasu, Oncel Tuzel, Dinesh Manocha, Chun-Liang Li, Raviteja Vemulapalli

机构 * University of Maryland, College Park（马里兰大学学院公园分校） ； Apple（苹果公司） 纠错

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.AI

AI总结 AMUSE提出一个面向多说话人理解的音频-视觉基准与对齐框架RAFT，通过代理推理提升多模态模型能力。

PediatricAnxietyBench: Evaluating Large Language Model Safety Under Parental Anxiety and Pressure in Pediatric Consultations

儿童焦虑基准：在儿科咨询中评估大语言模型在父母焦虑和压力下的安全性

Vahideh Zolfaghari

专题命中 安全评测 ：safety(title,abstract)；分类 cs.AI

AI总结 PediatricAnxietyBench评估大语言模型在父母焦虑和压力下的安全性，发现70B模型在诊断和紧急情况识别方面表现更优，但所有模型均存在现实压力下的漏洞。

EMNLP: Educator-role Moral and Normative Large Language Models Profiling

EMNLP: 教育者角色道德与规范大型语言模型画像

Yilin Jiang, Mingzi Zhang, Sheng Jin, Zengyi Yu, Xiangjie Kong, Binghao Tu

机构 * College of Education, Zhejiang University of Technology（浙江工业大学教育学院） ； The Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） ； Faculty of Education, East China Normal University（华东师范大学教育学院） ； GuangHua Law School, ZheJiang University（浙江大学光华法学院） ； College of Computer Science and Technology, Zhejiang University of Technology（浙江工业大学计算机科学与技术学院） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；prompt injection(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出EMNLP框架，用于评估教育者角色LLM的伦理和心理一致性，通过构建88个教师特定道德困境，揭示教师角色LLM在道德推理和情感复杂情境中的表现差异。

Comments 29pages, 15 figures, Accepted by EMNLP Main Confrence

"I am here for you": How relational conversational AI appeals to adolescents, especially those who are socially and emotionally vulnerable

我在这里等你：关系型对话式AI如何吸引青少年，尤其是那些在社会和情感上脆弱的青少年

Pilyoung Kim, Yun Xie, Sujin Yang

专题命中 安全评测 ：safety(abstract)；trustworthy(abstract)；AI safety(abstract)；分类 cs.AI

AI总结 研究发现关系型对话风格能增强青少年对AI的拟人化和情感依赖，尤其吸引社会和情感脆弱的青少年。

Comments I updated a title

On the Robustness of Verbal Confidence of LLMs in Adversarial Attacks

大语言模型在对抗攻击下的语言自信度鲁棒性研究

Stephen Obadinma, Xiaodan Zhu

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） ； Ingenuity Labs Research Institute（创新实验室研究所） ； Queen’s University（皇后大学） 纠错

专题命中 安全评测 ：safety(abstract)；jailbreak(abstract)；分类 cs.CL

AI总结 本文研究了大语言模型在对抗攻击下的语言自信度鲁棒性，发现现有防御技术效果有限，需设计更稳健的自信表达机制。

Comments Published in NeurIPS 2025

GinSign: Grounding Natural Language Into System Signatures for Temporal Logic Translation

GinSign：将自然语言接地到系统签名以进行时序逻辑翻译

William English, Chase Walker, Dominic Simon, Rickard Ewetz

机构 * University of Florida（佛罗里达大学） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.CL、cs.AI

AI总结 GinSign通过将自然语言接地到系统签名，提升时序逻辑翻译的准确性和下游模型检查能力，实现95.5%的逻辑等价分数。

GLOW: Graph-Language Co-Reasoning for Agentic Workflow Performance Prediction

GLOW：基于图-语言协同推理的代理工作流性能预测

Wei Guan, Jian Cao, Jinyu Cai, Qiqi Cai, Jianqi Gao, See-Kiong Ng

机构 * School of Computer Science, Shanghai Jiao Tong University, China（上海交通大学计算机科学学院） ； Institute of Data Science, National University of Singapore, Singapore（新加坡国立大学数据科学研究所） ； School of Computer Engineering and Science, Shanghai University, China（上海大学计算机工程与科学学院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 GLOW通过结合图神经网络与大语言模型，提出了一种统一的代理工作流性能预测框架，有效捕捉拓扑依赖和语义逻辑，提升预测准确性与排序效用。

MindShift: Analyzing Language Models' Reactions to Psychological Prompts

MindShift: 分析语言模型对心理提示的反应

Anton Vasiliuk, Irina Abdullaeva, Polina Druzhinina, Anton Razzhigaev, Andrey Kuznetsov

机构 * FusionBrain Lab（融合大脑实验室） ； Applied AI Institute（应用人工智能研究院） ； Innopolis University（因诺普里斯大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 MindShift通过评估语言模型对心理提示的反应，揭示了模型在心理适应性和人格模拟方面的性能差异。