大模型对齐与安全

Length-Controlled Margin-Based Preference Optimization without Reference Model

无参考模型的长度可控基于间隔的偏好优化

Gengxu Li, Tingyu Xia, Yi Chang, Yuan Wu

机构 * School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） ； Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE, China（知识驱动人机智能工程研究中心，教育部，中国） ； International Center of Future Science, Jilin University（未来科学国际中心，吉林大学） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；RLHF(abstract,abstract_cn)；分类 cs.CL

AI总结 本研究针对DPO的局限提出LMPO，引入统一参考模型与平均对数概率优化策略，通过长度可控间隔损失调控响应长度并缓解概率退化，在Mistral和LLaMA3上的6个基准中性能优于现有方法。

Comments 17 pages, 3 figures, 6 tables

CALIBURN: Self-Calibrated LLM Unlearning Alignment

CATNIP：通过校准和令牌化的负偏好对齐实现LLM去学习

Zhengbang Yang, Yisheng Zhong, Junyuan Hong, Zhuangdi Zhu

机构 * George Mason University（乔治·马歇尔大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；safety(abstract)；分类 cs.CL

AI总结 CATNIP通过校准和令牌化的负偏好对齐方法，实现有效LLM去学习，无需保留数据或对比对，提升知识遗忘与保留的平衡。

VCIFBench: Evaluating Complex Instruction Following for Video Understanding

VCIFBench：评估视频理解中的复杂指令遵循能力

Huangchen Xu, Yuan Wu, Yi Chang

机构 * School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） ； Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, Jilin University（知识驱动人机智能工程研究中心，吉林大学） ； International Center of Future Science, Jilin University（未来科学国际中心，吉林大学） 纠错

专题命中 偏好对齐 ：DPO(summary_cn,abstract)；分类 cs.CL

AI总结 提出VCIFBench基准，通过混合验证流水线评估多模态大模型在视频理解中遵循内容、格式、风格和结构约束的复杂指令能力，实验表明联合约束满足仍具挑战，DPO训练可提升性能。

Expected Value Alignment for Generative Reward Modeling in Formal Mathematics Verification

形式数学验证中生成式奖励建模的期望值对齐

Shihao Ji, Haotao Tan, Zihui Song, Mingyu Li

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI

AI总结 提出期望值对齐（EVA）方法，通过从模型词元分布中提取连续分数，在保持生成式奖励模型离散输出的同时实现连续评分，用于Lean 4形式验证。

Comments Withdrawn due to serious concerns regarding the authenticity and accuracy of the listed authorship. The identity of one or more listed authors cannot presently be verified, and the author list may not represent distinct contributors. The manuscript is withdrawn pending institutional review

An Empirical Study on Preference Tuning Generalization and Diversity Under Domain Shift

关于领域转移下偏好微调泛化性和多样性的实证研究

Constantinos Karouzos, Xingwei Tan, Nikolaos Aletras

机构 * School of Computer Science University of Sheffield, UK（计算机科学学院 谢菲尔德大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究通过比较不同对齐目标和适应策略，探讨领域转移下偏好微调的泛化性和多样性，发现伪标签法能有效缓解领域转移带来的性能下降。

Comments Accepted to EMNLP 2026 Main Conference

CONSCIENTIA: Can LLM Agents Learn to Strategize? Emergent Deception and Trust in a Multi-Agent NYC Simulation

CONSCIENTIA：LLM代理能否学会策略性行为？多智能体纽约市模拟中的涌现欺骗与信任

Aarush Sinha, Arion Das, Soumyadeep Nag, Charan Karnati, Shravani Nag, Chandra Vadhan Raj, Aman Chadha, Vinija Jain, Suranjana Trivedy, Amitava Das

机构 * University of Copenhagen（哥本哈根大学） ； IIIT Ranchi（印度信息技术学院兰契分校） ； ISI Kolkata（印度统计学院加尔各答分校） ； NIT Andhra Pradesh（印度国家理工学院安得拉邦分校） ； IGDTUW（英迪拉·甘地德里技术女子大学） ； IIT Kharagpur（印度理工学院卡哈拉格普尔分校） ； Google DeepMind（谷歌DeepMind） ； Google（谷歌） ； AI Institute, University of South Carolina（南卡罗来纳大学人工智能研究所） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过多智能体模拟探讨LLM在对抗性环境中的策略行为，发现智能体在导航中表现出有限的策略性，包括选择性信任与欺骗，但易受对抗性说服影响。

AI University: An LLM-Powered Learning Assistant for Engineering---A Finite Element Method Case Study

AI University：一款面向工程领域的大语言模型驱动学习助手——以有限元法案例研究为例

Mostafa Faghih Shojaei, Rahul Gulati, Benjamin A. Jasperson, Shangshang Wang, Simone Cimolato, Manas Vardhan, Dangli Cao, Willie Neiswanger, Krishna Garikipati

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本研究提出AI-U框架，结合微调LLM、RAG与推理合成模型，以FEM课程为案例开发学习助手，经多维度评估其对齐度优于基础模型，可推广至STEM领域。

Comments 14 pages, 3 figures

TraceSQL: Traceable Answerability Estimation for Reference-Free Text-to-SQL Verification

TraceSQL：无参考文本到SQL验证的可追踪答案性估计

Neelesh Kumar Shukla, Debasmita Panda, Srutanik Bhaduri, Aditya Banerjee, Vasu Rangarajan, Viji Krishnamurthy

机构 * Oracle Corporation（甲骨文公司） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 针对无参考文本到SQL验证的可追踪性不足问题，提出基于67种诊断特征的轻量模型TraceSQL，在BIRD数据集上优于基线模型，可提供可追溯的预测证据。

Comments 9 pages main paper with 6 pages supplementary material

Safety Training May Persist Through Helpfulness Optimization in LLM Agents

在LLM代理中通过帮助性优化保持安全性训练

Benjamin Plaut

机构 * Department of Computer Science, University of California, Berkeley, USA（计算机科学系，加州大学伯克利分校） 纠错

专题命中 安全训练 ：safety(title,abstract)；DPO(abstract)；分类 cs.CL、cs.LG

AI总结 研究通过帮助性优化在LLM代理中保持安全性训练，发现单独训练或依次训练无法找到最佳策略，但所有配置接近帕累托前沿。

Comments Preprint

Safety-Aligned Weights Are Not Enough: Refusal-Teacher-Guided Finetuning Enhances Safety and Downstream Performance under Harmful Finetuning Attacks

仅安全对齐权重不够：拒绝教师引导微调可在有害微调攻击下提升安全性与下游性能

Seokil Ham, Yubin Choi, Yujin Yang, Seungju Cho, Younghun Kim, Changick Kim

机构 * Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.CL

AI总结 针对有害微调攻击威胁，该研究提出拒绝教师引导微调框架，将安全FaaS微调范式从安全对齐权重微调转为基础权重在安全教师指导下的微调，可减少有害输出并提升下游任务性能。

Withholding the Completing Chunk: Exact Release-Boundary Equivalence for Production Streaming Guardrails

withhold the Completing Chunk: 面向流式大语言模型输出的确定性配对完成护栏

Christopher M. Frost

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出流式LLM输出的确定性配对完成护栏，通过扫描前缀扣留配对完成块，实验验证其效果，表明它是小型固定策略的精确发布边界后盾。

Comments 9 pages, 2 figures, 4 tables. Substantially revised version

Robust Multi-Agent Reinforcement Learning for Small UAS Separation Assurance under GPS Degradation and Spoofing

针对GPS退化和欺骗的鲁棒多智能体强化学习用于小型无人机分离保障

Alex Zongo, Filippos Fotiadis, Ufuk Topcu, Peng Wei

机构 * George Washington University（乔治华盛顿大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过多智能体强化学习解决小型无人机在GPS退化和欺骗下的鲁棒分离保障问题，提出闭式表达式对抗扰动，实现线性时间评估，并在高密度无人机模拟中取得近零碰撞率。

Comments This work has been submitted to the IEEE for possible publication

Vibe Coding on Trial: Operating Characteristics of Unanimous LLM Juries

Vibe Coding on Trial: Unanimous LLM Juries的运行特性

Muhammad Aziz Ullah, Abdul Serwadda

机构 * Texas Tech University（德克萨斯农工大学） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了使用多数LLM陪审团在代码审查中减少假接受的同时保持高准确率的方法，通过基准测试和实验验证了委员会大小和组成对安全性的影响。

Comments Submitted to IEEE International Conference on Semantic Computing 2026

Rethinking Reverse KL as Adaptive Entropy Distillation

将反向KL重新思考为自适应熵蒸馏

Shizhen Li, Zhiyu Shen, Yuyin Lu, Yunhe Pang, Jielin Song, Yanghui Rao, Fu Lee Wang

机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； School of Science and Technology, Hong Kong Metropolitan University（香港都会大学科技学院） 纠错

专题命中 安全训练 ：alignment(abstract)；分类 cs.LG

AI总结 该研究针对知识蒸馏难以平衡忠实模仿与鲁棒生成的问题，提出自适应熵蒸馏（AED）方法，通过分解反向KL目标函数并利用教师熵动态校准模仿强度，在指令遵循与数学推理基准上表现更优。

SafeLens: Deliberate and Efficient Video Guardrails with Fast-and-Slow Screening

SafeLens: 一种高效且可靠的视频护栏系统，采用快速和缓慢筛查

Shahriar Kabir Nahin, Hadi Askari, Muhao Chen, Anshuman Chhabra

机构 * University of South Florida（佛罗里达州立大学） ； University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

AI总结 本研究提出SafeLens视频护栏框架，通过快速和缓慢的推理架构实现高效的视频内容审核，同时构建高质量数据集并采用结构化Chain-of-Thought追踪来解决训练时间扩展的限制，从而在实际和AI生成视频基准测试中取得最佳性能，同时显著降低推理成本。

Safe Deep Reinforcement Learning for Energy-Efficient HVAC Control in Multi-Zone Residential Buildings

面向多区域住宅建筑节能HVAC控制的安全深度强化学习

Oussama Ziadi, Abdelilah Rochd, Samir Idrissi Kaitouni, Mohamed Oualid Mghazli, Adnane Saoud

专题命中 安全训练 ：safety(abstract)

AI总结 该研究针对多区域住宅建筑HVAC控制的能耗-安全问题，提出带安全认证的深度强化学习框架，在仿真中训练PPO与SAC智能体，验证了其在降低能耗、减少舒适度违规方面的有效性及安全保证的可行性。

Comments 6 pages, 5 figures. Accepted to IEEE Conference on Control Technology and Applications (CCTA) 2026

Distributed Multi Robot Lunar Cargo Transportation via Phase Decomposed Reinforcement Learning

基于相位分解强化学习的分布式多机器人月球货物运输

Ashutosh Mishra, Elian Neppel, Shreya Santra, Antoine Jonquières, Muhammad Athallah Naufal, Kentaro Uno, Kazuya Yoshida

机构 * Tohoku University（东北大学） ； École Centrale de Lille（里尔中央理工学院） ； Institut Teknologi Bandung（万隆理工学院） 纠错

专题命中 安全训练 ：safety(abstract)

AI总结 提出相位分解强化学习框架，将月球货物运输分解为提升、运输和放置三个阶段，分别优化联合状态策略，实现分布式机器人协同运输，仿真和硬件实验验证了可靠性。

Comments 8 pages, 9 Figures, Accepted at IROS2026

Same Payload, Different Channel: Measuring Trust Asymmetry in Tool-Using Language Models

相同载荷，不同通道：测量使用工具的語言模型中的信任不对称性

Mohammed Sameer Syed, Rozhin Yasaei (University of Arizona)

机构 * University of Arizona（亚利桑那大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出安全不对称分数（SAS），通过匹配恶意载荷仅改变传递上下文，系统测量了语言模型在不同通道（用户消息、工具元数据、工具输出）中对对抗性内容的脆弱性差异，发现代理原生模型在工具描述通道更脆弱，而通用模型相反，且机制研究表明安全相关表示在深层网络非线性编码。

Comments Accepted to EMNLP 2026 (Main Conference)

Activation Steering for Aligned Open-ended Generation without Sacrificing Coherence

激活引导用于不牺牲连贯性的对齐开放式生成

Niklas Herbster, Martin Zborowski, Alberto Tosato, Gauthier Gidel, Tommaso Tosato

机构 * Tara Research ； Technical University of Munich（慕尼黑工业大学） ； Mila Quebec AI Institute（Mila魁北克人工智能研究所） 纠错

专题命中 越狱攻击 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出激活引导方法，通过在生成过程中持续修正偏差激活，提升大模型的对齐性能，实验表明StTP和StMP在保持连贯性的同时更有效维护通用能力。

$PC^2$: Politically Controversial Content Generation via Jailbreaking Attacks on GPT-based Text-to-Image Models

$PC^2$：通过基于GPT的文本到图像模型的越狱攻击生成政治争议内容

Wonwoo Choi, Minjae Seo, Minkyoo Song, Hwanjo Heo, Seungwon Shin, Myoungsung You

专题命中 越狱攻击 ：safety(abstract)

AI总结 提出首个黑盒政治越狱框架$PC^2$，利用身份保留描述映射和地缘政治远距离翻译绕过安全过滤器，在GPT系列模型上实现高达86%的攻击成功率。

Comments To appear in the 33rd ACM Conference on Computer and Communications Security (CCS 2026)

Localize and Neutralize: Gradient-guided Token Suppression against Visual Prompt Injection Attack

先定位再中和：梯度引导的令牌抑制对抗视觉提示注入攻击

Dongpeng Zhang, Ke Ma, Yangbangyan Jiang, Gaozheng Pei, Longtao Huang, Qianqian Xu, Qingming Huang

机构 * School of Advanced Interdisciplinary Sciences, UCAS（UCAS交叉学科研究院） ； School of Electronic, Electrical and Communication Engineering, UCAS（UCAS电子电气与通信工程学院） ； State Key Laboratory of AI Safety, Institute of Computing Technology, CAS（中国科学院计算技术研究所人工智能安全国家重点实验室） ； Alibaba Group（阿里巴巴集团） ； School of Computer Science and Technology, UCAS（UCAS计算机科学与技术学院） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Key Laboratory of Big Data Mining and Knowledge Management, UCAS（UCAS大数据挖掘与知识管理重点实验室） 纠错

专题命中 提示注入 ：prompt injection(title,abstract)；jailbreak(abstract)；分类 cs.LG

AI总结 针对多模态大语言模型的视觉提示注入攻击，提出梯度令牌掩码（GTM）方法，通过梯度分析定位关键图像令牌并掩码中和，将攻击成功率降至接近零且计算开销极小。

Breadcrumbing Search Agents

面包屑式搜索智能体

Xuebin Li, Hanqing Zhao, Siyuan Liang, Kejiang Chen, Weiming Zhang, Dacheng Tao, Nenghai Yu

专题命中 提示注入 ：safety(abstract)；prompt injection(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对LLM搜索智能体的安全问题，提出ACH和TGSE策略，通过操纵搜索结果形成连贯证据链，大幅提升攻击成功率。

Comments 39 pages, 7 figures

System-Prompt Anchoring with Cross-Attention Layers

CALYREX：跨注意力层扩展变换器用于系统提示锚定

Li Lixing

机构 * Cornell University（康奈尔大学） 纠错

专题命中 提示注入 ：safety(abstract)；prompt injection(abstract)；分类 cs.LG

AI总结 CALYREX通过跨注意力机制在系统提示和输入之间建立结构隔离，提升模型在指令遵循和多轮指令遵守任务中的性能，同时降低 jailbreaking 攻击成功率。

Comments Preprint. 14 pages, 4 figures, 5 tables

Your Agentic LLMs Secretly Encode Indirect Prompt-Injection Exposure in Hidden States

你的智能体大模型会秘密编码间接提示注入暴露的潜在信号

Jianshuo Dong, Yiming Liu, Maosen Zhang, Nan Deng, Peng Xu, Xiaoping Zhang, Tianwei Zhang, Jie Zhang, Han Qiu

专题命中 提示注入 ：prompt injection(abstract)；分类 cs.AI

AI总结 本文研究智能体大模型的间接提示注入暴露问题，通过探测、防御、解释三方面分析，提出AGRI防御方法，可大幅降低攻击成功率且保持任务效用

Comments v2. Compared to v1, we include the Kimi-K3 model's results and conduct a series of new experiments on understanding probe generalization

When Calibration Depends on the Scoring Rule: Quantized Biomedical LLM Classification

量化对生物医学大语言模型可靠性的影响

Anton Rasmussen, Hong Qin

专题命中 幻觉与事实性 ：trustworthy(abstract)；分类 cs.LG

AI总结 该研究针对 Mistral-7B 变体在 PubMed RCT 句子分类任务上，评估量化及提示模板、评分规则等对生物医学大语言模型可靠性的影响，发现这些因素对校准和准确率的影响不可忽视。

Comments 8 pages, 1 figure

A Hybrid Discrete-Event and Agent-Based Simulation Approach to Model Circular Supply Chains in Healthcare: A Case Study of Laparoscopic Scissors

用于建模医疗领域循环供应链的混合离散事件与基于智能体的仿真方法：以腹腔镜剪刀为例

Mohd Shoaib, Antuela Tako, Shahin Rahimifard

专题命中 幻觉与事实性 ：safety(abstract)

AI总结 本文以腹腔镜剪刀供应链为案例，采用混合离散事件与基于智能体的仿真方法，评估医疗领域引入循环医疗器械设计的影响，为医院提供最优库存策略，指出采用循环产品可降低环境影响但需大量前期投资。

Mask-Free Privacy Extraction and Rewriting: A Domain-Aware Approach via Prototype Learning

无掩码隐私提取与重写：通过原型学习的领域感知方法

Xiaodong Li, Yuhua Wang, Qingchen Yu, Zixuan Qin, Yifan Sun, Qinnan Zhang, Hainan Zhang, Zhiming Zheng

专题命中 隐私与版权 ：alignment(abstract)

AI总结 本文提出DAMPER方法，通过对比学习生成领域隐私原型，实现精确的跨度定位和领域合规的重写策略，提升隐私与效用的平衡。

Comments EMNLP 2026 camera-ready. First two authors contributed equally

Omni-SafetyBench: A Benchmark for Safety Evaluation of Audio-Visual Large Language Models

Omni-SafetyBench：视听大语言模型安全评估基准

Leyi Pan, Zheyu Fu, Yunpeng Zhai, Shuchang Tao, Sheng Guan, Shiyu Huang, Lingzhe Zhang, Zhaoyang Liu, Bolin Ding, Felix Henry, Aiwei Liu, Lijie Wen

机构 * Tsinghua University（清华大学） ； Tongyi Lab（通义实验室） ； Peking University（北京大学） ； OpenRL Lab（OpenRL实验室） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL

AI总结 研究针对现有OLLM安全基准的不足，构建Omni-SafetyBench基准，提出定制化评估指标，发现多数OLLM存在安全漏洞，为该领域研究提供重要支撑。

Comments ACM MM 2026 (Oral)

SABER: Benchmarking Operational Safety of LLM Coding Agents in Stateful Project Workspaces

SABER：在有状态项目工作区中对LLM编码代理的操作安全性进行基准测试

Qi Hu, Yifeng Tang, Qinghua Wang, Lanyang Zhao, Pengji Zhang, Yuhao Qing, Xin Yao, Dong Huang, Lin Zhang, Zhuoran Ji

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)

AI总结 提出SABER基准，通过将模型置于真实代理式项目中并评估最终环境状态，来衡量LLM编码代理的操作安全性，发现最佳模型的有害安全违规率超过54%。

NeST: Neighborhood-aware semantic alignment and temporal modulation for LLM based time series forecasting

NeST：面向基于大语言模型的时间序列预测的邻域感知语义对齐与时间调制

Jayanie Bogahawatte, Sachith Seneviratne, Maneesha Perera, Saman Halgamuge

专题命中 安全评测 ：alignment(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 NeST框架通过邻域感知语义对齐与时间调制构建文本整合提示词微调LLM，在8个基准及9个真实光伏数据集的时间序列预测中，MSE、R²等指标优于现有方法，泛化性强。