大模型对齐与安全

Democratic Preference Alignment via Sortition-Weighted RLHF

通过排序加权RLHF实现民主偏好对齐

Suvadip Sana, Jinzhou Wu, Martin T. Wells

机构 * cornell（康奈尔大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；RLHF(title,abstract)；分类 cs.AI、cs.LG

AI总结 DemPO通过算法排序机制优化偏好对齐，确保民主代表性，提升模型对代表性公众价值观的反映能力。

Comments 16 pages, 5 figures

Position: Capability Control Should be a Separate Goal From Alignment

位置：能力控制应是与对齐分开的目标

Shoaib Ahmed Siddiqui, Eleni Triantafillou, David Krueger, Adrian Weller

机构 * University of Cambridge（剑桥大学） ； Google DeepMind（谷歌DeepMind） ； University of Montreal（蒙特利尔大学） ； The Alan Turing Institute（艾伦·图灵研究所） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文主张将能力控制视为与对齐不同的目标，提出分层的控制机制以应对模型的潜在滥用和失败。

Alignment of Diffusion Models: Fundamentals, Challenges, and Future

扩散模型对齐：基础、挑战与未来

Buhua Liu, Shitong Shao, Bao Li, Lichen Bai, Zhiqiang Xu, Haoyi Xiong, James Kwok, Sumi Helal, Zeke Xie

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Baidu Inc.（百度公司） ； The University of Bologna（博洛尼亚大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.LG

AI总结 本文综述了扩散模型对齐的基础、挑战及未来方向，探讨了对齐技术、评估方法及当前挑战的解决方案。

Comments Accepted at ACM Computing Surveys. 35 pages, 5 figures, 4 tables. Paper List: github.com/xie-lab-ml/awesome-alignment-of-diffusion-models

Learning to summarize user information for personalized reinforcement learning from human feedback

学习总结用户信息以实现基于人类反馈的个性化强化学习

Hyunji Nam, Yanming Wan, Mickel Liu, Peter Ahnn, Jianxun Lian, Natasha Jaques

机构 * Stanford University（斯坦福大学） ； University of Washington（华盛顿大学） ； DoorDash ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

AI总结 PLUS通过学习用户信息摘要实现个性化强化学习，提升奖励模型准确性并实现零样本个性化。

Comments 10 pages for main text, 10 pages for appendix

Aligning Large Language Model Behavior with Human Citation Preferences

使大型语言模型行为与人类引用偏好对齐

Kenichiro Ando, Tatsuya Harada

机构 * RIKEN AIP（日本研究所） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过构建数据集分析LLM引用行为与人类偏好的一致性，发现模型在引用医学文本和数字句子上存在偏差，通过优化可提升对齐效果。

Comments Work In Progress

VISTA: Enhancing Visual Conditioning via Track-Following Preference Optimization in Vision-Language-Action Models

VISTA: 通过视觉跟踪偏好优化增强视觉条件化在视觉-语言-动作模型中

Yiye Chen, Yanan Jian, Xiaoyi Dong, Shuxin Cao, Jing Wu, Patricio Vela, Benjamin E. Lundell, Dongdong Chen

机构 * Nvidia（Nvidia公司） ； Microsoft（微软公司） ； University of Oxford（牛津大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 VISTA通过视觉跟踪偏好优化提升视觉条件化，增强VLA模型在视觉-动作对齐和任务性能上的表现。

Comments In submission. Project website: https://vista-vla.github.io/

Polyglots or Multitudes? Multilingual LLM Answers to Value-laden Multiple-Choice Questions

多项语言还是多群体？多语言大语言模型对价值导向的选择题的回答

Léo Labat, Etienne Ollion, François Yvon

机构 * Sorbonne Université, CNRS, ISIR（索邦大学、国家科学研究中心、ISIR） ； CREST, CNRS, Institut Polytechnique de Paris（CREST、国家科学研究中心、巴黎高等理工学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL

AI总结 研究多语言LLM在价值导向选择题中的回答一致性，发现语言影响回答，需进一步探讨偏好微调的作用。

Comments 17 pages, 5 figures (8 pages of references and appendices)

Alignment-Aware Model Adaptation via Feedback-Guided Optimization

通过反馈引导优化实现对齐感知的模型适应

Gaurav Bhatt, Aditya Chinchure, Jiawei Zhou, Leonid Sigal

机构 * Department of Computer Science, University of British Columbia, Location, Canada（不列颠哥伦比亚大学计算机科学系） ； Vector Institute of AI, Toronto, Canada（人工智能向量研究所） ； Stony Brook University, New York, USA（石溪大学） 纠错

专题命中 安全训练 ：alignment(title,abstract)；safety(abstract)；分类 cs.LG

AI总结 本文提出了一种通过反馈引导优化实现对齐感知的模型适应框架，通过自适应门控机制平衡监督与对齐梯度，减少有害输出并提升模型对齐性。

SMARLA: A Safety Monitoring Approach for Deep Reinforcement Learning Agents

SMARLA：一种用于深度强化学习智能体的安全监控方法

Amirhossein Zolfagharian, Manel Abdellatif, Lionel C. Briand, Ramesh S

机构 * School of Electrical Engineering and Computer Science (EECS), University of Ottawa（电气工程与计算机科学系，渥太华大学） ； Software and Information Technology Engineering Department, École de Technologie Supérieure（软件与信息技术工程系，高等技术学院） ； Lero SFI Research Center and University of Limerick（Lero SFI研究中心和利默里克大学） ； Department of Research and Development, General Motors（研发部，通用汽车） 纠错

专题命中 安全训练 ：safety(title,abstract)；分类 cs.AI、cs.LG

AI总结 SMARLA是一种用于深度强化学习智能体的安全监控方法，通过状态抽象和Q值预测安全违规，实现早期检测与低假阳性率的平衡。

Journal ref in IEEE Transactions on Software Engineering, vol. 51, no. 01, pp. 82-105, Jan. 2025

Learning Context Matters: Measuring and Diagnosing Personalization Gaps in LLM-Based Instructional Design

学习上下文很重要：在基于LLM的教学设计中测量和诊断个性化差距

Johaun Hatchett, Debshila Basu Mallick, Brittany C. Bradford, Richard G. Baraniuk

专题命中 安全训练 ：alignment(abstract)；分类 cs.CY

AI总结 本文提出了一种框架，用于测量和诊断学习上下文对基于LLM教学系统的影响，发现提供学习上下文能改善LLM的教学策略，但尚未实现可靠的个性化。

A Causal Perspective for Enhancing Jailbreak Attack and Defense

从因果视角提升对抗攻击与防御

Licheng Pan, Yunsheng Lu, Jiexi Liu, Jialing Tao, Haozhe Feng, Hui Xue, Zhixuan Chu, Kui Ren

机构 * The State Key Laboratory of Blockchain and Data Security, Zhejiang University（区块链与数据安全国家重点实验室，浙江大学） ； Alibaba Group（阿里巴巴集团） ； University of Chicago（芝加哥大学） 纠错

专题命中 越狱攻击 ：jailbreak(title,abstract)；safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Causal Analyst框架，通过因果分析提升大语言模型的对抗攻击与防御能力。

Steering Externalities: Benign Activation Steering Unintentionally Increases Jailbreak Risk for Large Language Models

转向外部性：良性激活转向无意中增加大语言模型的劫持风险

Chen Xiong, Zhiyuan He, Pin-Yu Chen, Ching-Yun Ko, Tsung-Yi Ho

机构 * Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程系） 纠错

专题命中 越狱攻击 ：jailbreak(title)；alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本文研究了大语言模型中良性激活转向对安全性的负面影响，发现其无意中增加劫持风险，并通过实验验证了这一现象。

Agent2Agent Threats in Safety-Critical LLM Assistants: A Human-Centric Taxonomy

安全关键型LLM助手中的Agent2Agent威胁：以人为中心的分类

Lukas Stappen, Ahmet Erkan Turan, Johann Hagerer, Georg Groh

机构 * BMW Group Research（宝马集团研究） ； Technical University Munich（慕尼黑技术大学） 纠错

专题命中 越狱攻击 ：safety(title,abstract)；分类 cs.AI

AI总结 本文提出AgentHeLLM框架，通过分离资产识别与攻击路径分析，为安全关键型LLM助手提供以人为中心的威胁建模方法。

Pattern Enhanced Multi-Turn Jailbreaking: Exploiting Structural Vulnerabilities in Large Language Models

模式增强的多轮劫持：在大语言模型中利用结构漏洞

Ragib Amin Nihal, Rui Wen, Kazuhiro Nakadai, Jun Sakuma

专题命中 越狱攻击 ：safety(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出PE-CoA框架，通过五个对话模式构建多轮劫持攻击，揭示了大语言模型在不同危害类别下的漏洞及防御局限性。

Clouding the Mirror: Stealthy Prompt Injection Attacks Targeting LLM-based Phishing Detection

镜面迷雾：针对基于大语言模型的钓鱼检测的隐秘提示注入攻击

Takashi Koide, Hiroki Nakano, Daiki Chiba

专题命中 提示注入 ：prompt injection(title,abstract)

AI总结 本文首次全面评估了针对基于大语言模型的钓鱼检测的提示注入攻击，提出InjectDefuser防御框架以降低攻击成功率。

Towards Worst-Case Guarantees with Scale-Aware Interpretability

面向尺度感知可解释性的最坏情况保证

Lauren Greenspan, David Berman, Aryeh Brill, Ro Jefferson, Artemy Kolchinsky, Jennifer Lin, Andrew Mack, Anindita Maiti, Fernando E. Rosas, Alexander Stapleton, Lucas Teixeira, Dmitry Vaintrob

机构 * Principles of Intelligence, USA（智能原理研究所，美国） ； Centre for Theoretical Physics, Queen Mary University of London（理论物理中心，伦敦女王大学） ； Universitat Pompeu Fabra, Barcelona, Spain（庞培法布拉大学，巴塞罗那，西班牙） ； Perimeter Institute for Theoretical Physics, Waterloo ON, Canada（皮尔姆研究所，滑铁卢，加拿大） ； Department of Informatics, University of Sussex（信息学院， Sussex 大学） ； Department of Brain Sciences, Imperial College London（脑科学系，伦敦帝国学院） ； Centre for Eudaimonia and human flourishing, University of Oxford（幸福与人类繁荣中心，牛津大学） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；AI safety(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出通过物理重整化框架开发具有鲁棒性和忠实性的尺度感知可解释性工具，以提升人工智能的安全性。

Correctness-Optimized Residual Activation Lens (CORAL): Transferrable and Calibration-Aware Inference-Time Steering

正确性优化残差激活透镜（CORAL）：可转移且校准感知的推理时间引导

Miranda Muqing Miao, Young-Min Cho, Lyle Ungar

机构 * Department of Computer and Information Science, University of Pennsylvania, Philadelphia, USA（计算机与信息科学系，宾夕法尼亚大学，费城，美国） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI、cs.LG

AI总结 CORAL通过正则化探针提取模型内部分布式信息，提升推理时多项选择问答的准确性与校准性能。

Ontology-Driven Robotic Specification Synthesis

基于本体的机器人规范综合

Maksym Figat, Ryan M. Mackey, Michel D. Ingham

机构 * Warsaw University of Technology (WUT)（华沙技术大学） ； NASA Jet Propulsion Laboratory (JPL)（美国国家航空航天局喷气推进实验室） ； California Institute of Technology（加州理工学院） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI

AI总结 本文提出基于本体的RSTM2方法，用于安全关键任务中机器人系统规范综合，通过随机时Petri网实现多层级蒙特卡洛模拟，支持架构权衡与资源分配。

Comments 8 pages, 9 figures, 3 tables, journal

VGGT-Motion: Motion-Aware Calibration-Free Monocular SLAM for Long-Range Consistency

VGGT-Motion：具有运动感知的校准自由单目SLAM用于长距离一致性

Zhuang Xiong, Chen Zhang, Qingshan Xu, Wenbing Tao

机构 * National Key Laboratory of Science and Technology on Multi-spectral Information Processing（科学与技术多光谱信息处理国家重点实验室） ； Huazhong University of Science and Technology（华中科技大学） ； College of Computing and Data Science（计算与数据科学学院） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)

AI总结 VGGT-Motion通过运动感知子地图构造和锚点驱动的直接Sim(3)对齐策略，实现了高效且稳健的校准自由单目SLAM，提升了长距离轨迹的精度和效率。

Applying Ground Robot Fleets in Urban Search: Understanding Professionals' Operational Challenges and Design Opportunities

在城市搜索中应用地面机器人队伍：理解专业人员的操作挑战与设计机会

Puqi Zhou, Charles R. Twardy, Cynthia Lum, Myeong Lee, David J. Porfirio, Michael R. Hieb, Chris Thomas, Xuesu Xiao, Sungsoo Ray Hong

机构 * George Mason University（乔治·马歇尔大学） ； Virginia Tech（弗吉尼亚理工学院） 纠错

专题命中 幻觉与事实性 ：safety(abstract)

AI总结 本文探讨了在城市搜索中应用地面机器人队伍对公共安全专业人员操作挑战的影响，提出了减轻认知和体力负担的设计机会。

Comments Under review

GAMformer: Bridging Tabular Foundation Models and Interpretable Machine Learning

GAMformer: 联接表格基础模型与可解释机器学习

Andreas Mueller, Julien Siems, Harsha Nori, David Salinas, Arber Zela, Rich Caruana, Frank Hutter

专题命中 隐私与版权 ：safety(abstract)；分类 cs.LG

AI总结 GAMformer是首个针对GAMs的表格基础模型，通过上下文学习在一个前向传递中估计GAM形状函数，实现了基础模型的威力与关键应用的可解释性需求之间的平衡。

Comments 22 pages, 15 figures

CASTLE: A Comprehensive Benchmark for Evaluating Student-Tailored Personalized Safety in Large Language Models

CASTLE：一个评估大语言模型学生定制个性化安全性的综合基准

Rui Jia, Ruiyi Lan, Fengrui Liu, Zhongxiang Dai, Bo Jiang, Jing Shao, Jingyuan Chen, Guandong Xu, Fei Wu, Min Zhang

机构 * East China Normal University（华东师范大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Zhejiang University（浙江大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； The Education University of Hong Kong（香港教育大学） 纠错

专题命中 安全评测 ：safety(title,abstract)；alignment(abstract)；分类 cs.CL

AI总结 CASTLE基准通过评估学生定制个性化安全性，揭示大语言模型在不同学生属性下的安全缺陷。

SOMA-1M: A Large-Scale SAR-Optical Multi-resolution Alignment Dataset for Multi-Task Remote Sensing

SOMA-1M: 一种大规模SAR-光学多分辨率对齐数据集用于多任务遥感

Peihao Wu, Yongxiang Yao, Yi Wan, Wenfei Zhang, Ruipeng Zhao, Jiayuan Li, Yongjun Zhang

机构 * School of Remote Sensing Information Engineering, Wuhan University（遥感信息工程学院，武汉大学） ； Hubei LuoJia Laboratory（湖北珞珈实验室） ； Technology Innovation Center for Collaborative Applications of Natural Resources Data in GBA, Ministry of Natural Resources（粤港澳大湾区自然资源数据协同应用技术创新中心，自然资源部） 纠错

专题命中 安全评测 ：alignment(title,abstract)

AI总结 SOMA-1M是首个大规模SAR-光学多分辨率对齐数据集，用于提升多任务遥感图像处理的性能和准确性。

Language Models and Logic Programs for Trustworthy Tax Reasoning

语言模型与逻辑程序用于可信的税务推理

William Jurayj, Nils Holzenberger, Benjamin Van Durme

专题命中 安全评测 ：trustworthy(title)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文提出结合语言模型与符号求解器的方法，用于提升税务推理的准确性与经济可行性。

Comments Accepted to AAAI 2026

Clinical Validation of Medical-based Large Language Model Chatbots on Ophthalmic Patient Queries with LLM-based Evaluation

医学基于大语言模型聊天机器人在眼科患者查询中的临床验证与基于LLM的评估

Ting Fang Tan, Kabilan Elangovan, Andreas Pollreisz, Kevin Bryan Dy, Wei Yan Ng, Joy Le Yi Wong, Jin Liyuan, Chrystie Quek Wan Ning, Ashley Shuen Ying Hong, Arun James Thirunavukarasu, Shelley Yin-His Chang, Jie Yao, Dylan Hong, Wang Zhaoran, Amrita Gupta, Daniel SW Ting

专题命中 安全评测 ：alignment(abstract)；safety(abstract)；分类 cs.AI

AI总结 本研究评估了四个医疗LLM在回答眼科患者问题中的表现，发现Meerkat-7B表现最佳，而MedLLaMA3-v20存在大量误导内容，GPT-4-Turbo评分与临床评分一致，表明基于LLM的评估在大规模基准测试中的可行性。

How Toxic Can You Get? Search-based Toxicity Testing for Large Language Models

你能有多有毒？基于搜索的大型语言模型毒性测试

Simone Corbo, Luca Bancale, Valeria De Gennaro, Livia Lestingi, Vincenzo Scotti, Matteo Camilli

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL、cs.AI

AI总结 EvoTox通过迭代进化策略评估LLM的毒性倾向，有效检测毒性水平并控制成本开销。

Journal ref IEEE Transactions on Software Engineering, Nov. 2025, pp. 3056-3071, vol. 51

Reliable Explanations or Random Noise? A Reliability Metric for XAI

可靠的解释还是随机噪声？XAI的可靠性度量

Poushali Sengupta, Sabita Maharjan, Frank Eliassen, Shashi Raj Pandey, Yan Zhang

专题命中 安全评测 ：trustworthy(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了解释可靠性指数（ERI），通过四个可靠性公理评估解释稳定性，揭示现有解释方法在现实部署中的可靠性问题，推动更可信的可解释人工智能系统。

How Catastrophic is Your LLM? Certifying Risk in Conversation

你的LLM有多危险？对话中风险的认证

Chengxiao Wang, Isha Chaudhary, Qian Hu, Weitong Ruan, Rahul Gupta, Gagandeep Singh

机构 * University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 安全评测 ：safety(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出C$^3$LLM框架，通过统计方法认证LLMs在多轮对话中的灾难性风险，揭示前沿模型中高达70%的潜在风险，强调改进安全训练的必要性。

Comments Accepted by ICLR 2026

GenArena: How Can We Achieve Human-Aligned Evaluation for Visual Generation Tasks?

GenArena: 如何在视觉生成任务中实现人对齐的评估？

Ruihang Li, Leigang Qu, Jingxu Zhang, Dongnan Gui, Mengde Xu, Xiaosong Zhang, Han Hu, Wenjie Wang, Jiaqi Wang

机构 * University of Science（科学大学） ； Shanghai Innovation Institute（上海创新研究所） ； Tencent（腾讯） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 安全评测 ：alignment(abstract)；分类 cs.AI

AI总结 GenArena通过成对比较范式实现视觉生成任务的人对齐评估，使开源模型超越专有模型，提升评估准确性达20%以上。

Comments Project Page: https://genarena.github.io/, Code: https://github.com/ruihanglix/genarena

Fine-tuned LLM-based Code Migration Framework

基于微调的LLM代码迁移框架

Oleg Grynets, Vasyl Lyashkevych, Dmytro Baran, Maksym Orliansky, Taras Zelenyy, Markiian Leshchyshyn

专题命中 安全评测 ：alignment(abstract)；分类 cs.CL

AI总结 本研究提出一种基于微调LLM的代码迁移框架，通过自动化SQL特征检测和半监督错误分析，提升数据库迁移的精度与效率。

Comments 16 pages, 27 figures, 7 references