大模型对齐与安全

An Empirical Study on Preference Tuning Generalization and Diversity Under Domain Shift

关于领域转移下偏好微调泛化性和多样性的实证研究

Constantinos Karouzos, Xingwei Tan, Nikolaos Aletras

机构 * School of Computer Science University of Sheffield, UK（计算机科学学院 谢菲尔德大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；safety(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究通过比较不同对齐目标和适应策略，探讨领域转移下偏好微调的泛化性和多样性，发现伪标签法能有效缓解领域转移带来的性能下降。

SceneAlign: Aligning Multimodal Reasoning to Scene Graphs in Complex Visual Scenes

SceneAlign: 在复杂视觉场景中将多模态推理对齐到场景图

Chuhan Wang, Xintong Li, Jennifer Yuntong Zhang, Junda Wu, Chengkai Huang, Lina Yao, Julian McAuley, Jingbo Shang

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； University of Toronto（多伦多大学） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 SceneAlign通过利用场景图进行结构干预，提升多模态推理在复杂视觉场景中的准确性和忠实性。

Comments Preprint

SP-Rank: A Dataset for Ranked Preferences with Secondary Information

SP-Rank: 一个包含二次信息的排名数据集

Hadi Hosseini, Debmalya Mandal, Amrit Puhan

机构 * Penn State University（宾夕法尼亚州立大学） ； University of Warwick（沃里克大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI

AI总结 SP-Rank是一个包含一阶和二阶信息的排名数据集，用于评估排名算法的性能，通过结合两种信号显著提升准确性。

Video Generation Models Are Good Latent Reward Models

视频生成模型是良好的潜在奖励模型

Xiaoyue Mi, Wenqing Yu, Jiesong Lian, Shibo Jie, Ruizhe Zhong, Zijun Liu, Guozhen Zhang, Zixiang Zhou, Zhiyong Xu, Yuan Zhou, Qinglin Lu, Fan Tang

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Tencent Hunyuan（腾讯文元） ； Huazhong University of Science and Technology（华中科技大学） ； Peking University（北京大学） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） ； Nanjing University（南京大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)

AI总结 本文提出PRFL框架，利用预训练视频生成模型在噪声潜在空间中进行奖励建模，实现高效去噪和降低训练成本。

A Future Capabilities Agent for Tactical Air Traffic Control

战术空交通管制中的未来能力代理

Paul Kent, George De Ath, Martin Layton, Allen Hart, Richard Everson, Ben Carvell

机构 * University of Exeter（埃克塞特大学） ； NATS（英国航空交通服务提供商） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Agent Mallard，一种基于规则的前瞻性规划代理，用于战术空交通管制，通过嵌入随机数字双胞胎实现安全冲突解决，并在简化场景中展示与专家推理一致的性能。

Text Detoxification in isiXhosa and Yorùbá: A Cross-Lingual Machine Learning Approach for Low-Resource African Languages

西语和约鲁巴语中的文本净化：一种跨语言机器学习方法用于资源有限的非洲语言

Abayomi O. Agbeyangi

机构 * Walter Sisulu University, Buffalo City Campus, East London, South Africa（沃尔特·西苏卢大学，比夫福城校区，东伦敦，南非） 纠错

专题命中 安全训练 ：safety(abstract)；分类 cs.CL

AI总结 本研究提出了一种跨语言机器学习方法，用于西语和约鲁巴语的文本净化，结合可解释模型和规则编辑，实现了高准确率的有毒文本检测与重写。

Comments 26 pages, 9 figures and 1 algorithm

Darth Vecdor: An Open-Source System for Generating Knowledge Graphs Through Large Language Model Queries

Darth Vecdor：通过大语言模型查询生成知识图谱的开源系统

Jonathan A. Handler

专题命中 安全训练 ：safety(abstract)；分类 cs.AI

AI总结 Darth Vecdor是一个开源系统，通过大语言模型查询生成结构化的知识图谱，旨在解决LLM响应的准确性和一致性问题，以提高医疗领域应用的安全性和效率。

Comments 17 pages, 3 figures. Changes to best of my recollection: 1) Added to Acknowledgements that Darth Vecdor software was created with the help of LLMs and many other resources, clearly noted on software GitHub site, but added here. 2) Fixed content related to the Are You Sure paper that was referenced, as the previous version incorrectly summarized the article's finding

The Echo Chamber Multi-Turn LLM Jailbreak

回声室多轮LLM劫持

Ahmad Alobaid, Martí Jordà Roca, Carlos Castillo, Joan Vendrell

机构 * NeuralTrust ； ICREA and UPF（ICREA和UPF） 纠错

专题命中 越狱攻击 ：jailbreak(title)；safety(abstract)；分类 cs.AI

AI总结 Echo Chamber是一种利用逐步升级方法的多轮攻击，旨在绕过聊天机器人的安全防护，通过精心设计的交互链对LLM进行劫持。

Jailbreaking Large Language Models through Iterative Tool-Disguised Attacks via Reinforcement Learning

通过强化学习的迭代工具伪装攻击对大型语言模型进行劫持

Zhaoqi Wang, Zijian Zhang, Daqing He, Pengtao Kou, Xin Li, Jiamou Liu, Jincheng An, Yong Liu

机构 * School of Cyberspace Science and Technology, Beijing Institute of Technology（信息科学与技术学院，北京理工大学） ； School of Computer Science and Technology, Beijing Institute of Technology（计算机科学与技术学院，北京理工大学） ； School of Computer Science, University of Auckland（计算机科学学院，奥克兰大学） ； QAX Security Center, Qi-AnXin Technology Group Inc.（QAX安全中心，启安新科技集团） ； Qi-AnXin Technology Group Inc.（启安新科技集团） ； Zhongguancun Laboratory（中关村实验室） 纠错

专题命中 越狱攻击 ：safety(abstract)；jailbreak(abstract)；分类 cs.AI

AI总结 本文提出iMIST方法，通过伪装工具调用和强化学习优化，提高对大型语言模型的攻击效果，揭示现有安全机制的漏洞。

Knowledge-Driven Multi-Turn Jailbreaking on Large Language Models

基于知识的多轮对抗攻击大语言模型

Songze Li, Ruishi He, Xiaojun Jia, Jun Wang, Zhihui Fu

机构 * Southeast University（东南大学） ； Nanyang Technological University（南洋理工大学） ； OPPO Research Institute（OPPO研究院） 纠错

专题命中 越狱攻击 ：jailbreak(abstract)；分类 cs.LG

AI总结 Mastermind通过动态知识库和分层规划架构，实现对大语言模型的高效多轮对抗攻击，显著提升攻击效果和防御韧性。

Multi-turn Jailbreaking Attack in Multi-Modal Large Language Models

多轮劫持攻击在多模态大语言模型中的应用

Badhan Chandra Das, Md Tasnim Jawad, Joaquin Molto, M. Hadi Amini, Yanzhao Wu

机构 * Knight Foundation School of Computing and Information Science, Florida International University（骑士基金会计算与信息科学学院，佛罗里达国际大学） 纠错

专题命中 越狱攻击 ：safety(abstract)；分类 cs.AI

AI总结 本文提出多轮劫持攻击及FragGuard防御机制，评估其在多模态大语言模型中的有效性。

A Survey of Agentic AI and Cybersecurity: Challenges, Opportunities and Use-case Prototypes

代理AI与网络安全的综述：挑战、机遇与用例原型

Sahaya Jestus Lazer, Kshitiz Aryal, Maanak Gupta, Elisa Bertino

机构 * Tennessee Tech University（田纳西科技大学） ； University of Nebraska Omaha（内布拉斯加大学奥马哈分校） ； Purdue University（普渡大学） 纠错

专题命中 红队测试 ：safety(abstract)；分类 cs.AI

AI总结 本文综述了代理AI在网络安全中的应用，探讨了其在防御和攻击方面的双重用途，分析了系统性风险，并展示了三个实际用例以说明其在网络安全中的行为和影响。

e5-omni: Explicit Cross-modal Alignment for Omni-modal Embeddings

e5-omni: 显式跨模态对齐用于多模态嵌入

Haonan Chen, Sicheng Gao, Radu Timofte, Tetsuya Sakai, Zhicheng Dou

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） ； University of Würzburg（乌尔姆大学） ； Waseda University（早稻田大学） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.CL、cs.AI

AI总结 e5-omni通过显式对齐方法改进多模态嵌入，解决相似性尺度不一致、负样本效果下降和跨模态统计不匹配问题。

Comments https://huggingface.co/Haon-Chen/e5-omni-7B

AdaFuse: Adaptive Ensemble Decoding with Test-Time Scaling for LLMs

AdaFuse: 用于大语言模型的自适应集成解码与测试时缩放

Chengming Cui, Tianxin Wei, Ziyi Chen, Ruizhong Qiu, Zhichen Zeng, Zhining Liu, Xuying Ning, Duo Zhou, Jingrui He

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 AdaFuse通过自适应集成解码与测试时缩放，提升大语言模型在多种任务上的生成性能。

Controlled Automatic Task-Specific Synthetic Data Generation for Hallucination Detection

受控的自动任务特定合成数据生成用于幻觉检测

Yong Xie, Karan Aggarwal, Aitzaz Ahmad, Stephen Lau

机构 * Amazon（亚马逊） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种受控的自动任务特定合成数据生成方法，通过两步流程和数据混合策略提升幻觉检测的泛化能力和鲁棒性，实验表明其在幻觉检测任务中优于基于上下文学习的检测器。

Comments 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (ACM KDD 2024). Accepted by Workshop on Evaluation and Trustworthiness of Generative AI Models

Journal ref 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2024)

The Persona Paradox: Medical Personas as Behavioral Priors in Clinical Language Models

医疗人设悖论：临床语言模型中的行为先验

Tassallah Abdullahi, Shrestha Ghosh, Hamish S Fraser, Daniel León Tramontini, Adeel Abbasi, Ghada Bourjeily, Carsten Eickhoff, Ritambhara Singh

机构 * Brown University（布朗大学） ； University of Tuebingen（图宾根大学） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 研究揭示医疗人设在临床语言模型中产生上下文依赖的性能权衡，显示其在重症护理任务中提升表现，但在初级护理中降低性能，且互动风格影响风险倾向。

CHisAgent: A Multi-Agent Framework for Event Taxonomy Construction in Ancient Chinese Cultural Systems

CHisAgent：一种用于古代中国文化系统事件分类的多智能体框架

Xuemei Tang, Chengxi Yan, Jinghang Gu, Chu-Ren Huang

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL

AI总结 CHisAgent通过多智能体框架实现古代中国历史事件的自动分类，提升历史知识组织与跨文化理解能力。

Comments 22 pages, 13 figures, 7 tables

From Issues to Insights: RAG-based Explanation Generation from Software Engineering Artifacts

从问题到洞察：基于RAG的软件工程制品解释生成

Daniel Pöttgen, Mersedeh Sadeghi, Max Unterbusch, Andreas Vogelsang

专题命中 幻觉与事实性 ：alignment(abstract)

AI总结 本文首次应用RAG方法从问题跟踪数据生成解释，实现90%的人工解释一致性，展示了结构化问题数据在提升软件系统可解释性方面的潜力。

Comments Accepted at NLBSE 2026, Rio de Janeiro, Brazil

PII-VisBench: Evaluating Personally Identifiable Information Safety in Vision Language Models Along a Continuum of Visibility

PII-VisBench: 在可见性连续体上评估视觉语言模型中个人可识别信息安全性

G M Shahariar, Zabir Al Nazi, Md Olid Hasan Bhuiyan, Zhouxing Shi

机构 * University of California, Riverside（加州大学河滨分校） 纠错

专题命中 隐私与版权 ：safety(title,abstract)；alignment(abstract)；jailbreak(abstract)；分类 cs.CL、cs.AI

AI总结 PII-VisBench 评估视觉语言模型在可见性连续体上对个人可识别信息安全性的保护，通过4000个探测器分析不同可见性水平下的隐私泄露情况。

Multimodal Interpretation of Remote Sensing Images: Dynamic Resolution Input Strategy and Multi-scale Vision-Language Alignment Mechanism

遥感图像的多模态解释：动态分辨率输入策略与多尺度视觉-语言对齐机制

Siyu Zhang, Lianlei Shan, Runhe Qiu

机构 * Tsinghua University（清华大学） 纠错

专题命中 安全评测 ：alignment(title,abstract)

AI总结 本文提出动态分辨率输入策略与多尺度视觉-语言对齐机制，提升遥感图像多模态解释的准确性和效率。

Crisis-Bench: Benchmarking Strategic Ambiguity and Reputation Management in Large Language Models

Crisis-Bench: 大型语言模型中战略模糊与声誉管理的基准测试

Cooper Lin, Maohao Ran, Yanting Zhang, Zhenglin Wan, Hongwei Fan, Yibo Xu, Yike Guo, Wei Xue, Jun Song

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Hong Kong Baptist University（香港 Baptist 大学） ； National University of Singapore（新加坡国立大学） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 Crisis-Bench通过多智能体POMDP评估LLM在高风险企业危机中的战略模糊与声誉管理能力，揭示模型在信息隐瞒与道德约束间的平衡问题。

Open World Knowledge Aided Single-Cell Foundation Model with Robust Cross-Modal Cell-Language Pre-training

开放世界知识辅助的单细胞基础模型与鲁棒跨模态细胞-语言预训练

Haoran Wang, Xuanyi Zhang, Shuangsang Fang, Longke Ran, Ziqing Deng, Yong Zhang, Yuxiang Li, Shaoshuai Li

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 OKR-CELL通过开放世界知识和鲁棒跨模态预训练，提升单细胞基础模型在细胞-语言跨模态任务中的表现。

Comments 41 pages

Can AI mediation improve democratic deliberation?

人工智能调解能否提升民主讨论？

Michael Henry Tessler, Georgina Evans, Michiel A. Bakker, Iason Gabriel, Sophie Bridgers, Rishub Jain, Raphael Koster, Verena Rieser, Anca Dragan, Matthew Botvinick, Christopher Summerfield

机构 * Google DeepMind（谷歌DeepMind） ； Massachusetts Institute of Technology（麻省理工学院） ； Yale Law School（耶鲁法学院） ； Department of Experimental Psychology, University of Oxford（牛津大学实验心理学系） 纠错

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.CY

AI总结 本文探讨人工智能如何通过增强参与、公平调解和有意义讨论来提升民主讨论的质量。

Journal ref Knight Institute for the First Amendment at Columbia University Symposium on "AI and Democratic Freedoms", April 10-11, 2025

TIME: Temporally Intelligent Meta-reasoning Engine for Context Triggered Explicit Reasoning

TIME：面向上下文触发的显式推理的时序智能元推理引擎

Susmit Das

机构 * Independent Researcher（独立研究者） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.LG

AI总结 TIME通过引入时序智能元推理引擎，改进对话模型的显式推理能力，提升时间感知和推理效率。

Comments 14 pages, 3 figures with 27 page appendix. See https://github.com/The-Coherence-Initiative/TIME and https://github.com/The-Coherence-Initiative/TIMEBench for associated code

Engineering the RAG Stack: A Comprehensive Review of the Architecture and Trust Frameworks for Retrieval-Augmented Generation Systems

构建RAG堆栈：对检索增强生成系统架构和信任框架的全面综述

Dean Wampler, Dave Nielson, Alireza Seddighi

机构 * The AI Alliance（AI联盟） ； IBM Research（IBM研究院） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI；safety(comments)

AI总结 本文综述了RAG系统架构和信任框架，提出统一分类学和评估框架，为构建安全且领域适应性强的RAG系统提供指导。

Comments 86 pages, 2 figures, 37 tables. A comprehensive review of Retrieval-Augmented Generation (RAG) architectures and trust frameworks (2018-2025), encompassing a unified taxonomy, evaluation benchmarks, and trust-safety modeling

Advanced Long-term Earth System Forecasting

先进长期地球系统预测

Hao Wu, Yuan Gao, Ruijian Gou, Xian Wu, Chuhan Wu, Huahui Yi, Johannes Brandstetter, Fan Xu, Kun Wang, Penghao Zhao, Hao Jia, Qi Song, Xinliang Liu, Juncai He, Shuhao Cao, Huanshuo Dong, Yanfei Xiang, Fan Zhang, Haixin Wang, Xingjian Shi, Qiufeng Wang, Shuaipeng Li, Ruobing Xie, Feng Tao, Yuxu Lu, Yu Guo, Yuntian Chen, Yuxuan Liang, Qingsong Wen, Wanli Ouyang, Deliang Chen, Niklas Boers, Xiaomeng Huang

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.LG

AI总结 TritonCast通过专用潜在动态核心和嵌套网格结构，实现长期稳定的地球系统预测，提升大气和海洋预测的准确性和稳定性。

MedRiskEval: Medical Risk Evaluation Benchmark of Language Models, On the Importance of User Perspectives in Healthcare Settings

MedRiskEval: 医疗风险评估基准，语言模型在医疗领域中的重要性：用户视角的重要性

Jean-Philippe Corbeil, Minseon Kim, Maxime Griot, Sheela Agarwal, Alessandro Sordoni, Francois Beaulieu, Paul Vozila

机构 * Microsoft Healthcare & Life Sciences（微软医疗与生命科学） ； Microsoft Research Montréal, Canada（微软研究蒙特利尔分校） ； Université catholique de Louvain, Belgium（列日大学） ； Mila, Université de Montréal, Canada（蒙特利尔大学Mila） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.CL

AI总结 MedRiskEval通过引入患者导向的数据集，评估了医疗领域中语言模型的风险，强调用户视角在医疗应用中的重要性。

Comments EACL2026 industry track

Conformity Dynamics in LLM Multi-Agent Systems: The Roles of Topology and Self-Social Weighting

LLM多智能体系统中的从众动力学：拓扑结构与自我-社会权重的作用

Chen Han, Jin Tan, Bohan Yu, Wenzhen Zheng, Xijin Tang

专题命中 安全评测 ：alignment(abstract)

AI总结 本文研究了LLM多智能体系统中网络拓扑和自我-社会权重对集体决策效率、鲁棒性及失败模式的影响。

Comments Under Review

Multilingual Amnesia: On the Transferability of Unlearning in Multilingual LLMs

多语言失忆：多语言大语言模型中卸载的可转移性研究

Alireza Dehghanpour Farashah, Aditi Khandelwal, Marylou Fauchard, Zhuan Shi, Negar Rostamzadeh, Golnoosh Farnadi

机构 * Mila – Quebec AI Institute（魁北克人工智能研究所） ； McGill University（麦吉尔大学） ； Université de Montréal（蒙特利尔大学） ； Google Research（谷歌研究） 纠错

专题命中 AI治理与伦理 ：safety(abstract)；分类 cs.CL、cs.LG

AI总结 本研究探讨多语言大语言模型中卸载的可转移性，通过实验发现语法相似性是预测跨语言卸载行为的关键因素。

An Empirical Study of Policy-as-Code Adoption in Open-Source Software Projects

对开源软件项目中政策即代码采用的实证研究

Patrick Loic Foalem, Foutse Khomh, Leuson Da Silva, Ettore Merlo

专题命中 AI治理与伦理 ：trustworthy(abstract)

AI总结 本文通过分析399个开源项目，揭示了政策即代码工具在治理、配置控制和文档中的广泛应用，并提出了包含5类15子类的分类法，为未来研究提供实证基础。