大模型对齐与安全

The Unintended Trade-off of AI Alignment:Balancing Hallucination Mitigation and Safety in LLMs

AI对齐中的意外权衡：在LLMs中平衡幻觉缓解与安全

Omar Mahmoud, Ali Khalil, Buddhika Laknath Semage, Thommen George Karimpanal, Santu Rana

机构 * Applied Artificial Intelligence Initiative（应用人工智能倡议） ； Deakin University（德肯大学） ； School of Information Technology（信息科技学院） 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；safety(title,abstract)；分类 cs.CL

AI总结 本文提出了一种方法，通过解耦幻觉和拒绝特征，平衡LLMs中的真实性与安全性，减少因提高真实性而削弱安全对齐的问题。

AlignGemini: Generalizable AI-Generated Image Detection Through Task-Model Alignment

AlignGemini: 通过任务-模型对齐实现通用的AI生成图像检测

Ruoxin Chen, Jiahui Gao, Kaiqing Lin, Keyue Zhang, Yandan Zhao, Isabel Guan, Taiping Yao, Shouhong Ding

机构 * Tencent Youtu Lab ； East China University of Science ； Shenzhen University ； Hong Kong University of Science ； Department of XXX, University of YYY, Location, Country ； School of ZZZ, Institute of WWW, Location, Country 纠错

专题命中 幻觉与事实性 ：alignment(title,abstract)；分类 cs.AI

AI总结 AlignGemini通过任务-模型对齐原则，结合语义和像素伪影检测，提升AI生成图像检测的泛化能力。

Token-Guard: Towards Token-Level Hallucination Control via Self-Checking Decoding

Token-Guard: 通过自检解码实现token级幻觉控制

Yifan Zhu, Huiqiang Rong, Haoran Luo

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 幻觉与事实性 ：RLHF(abstract)；分类 cs.CL、cs.AI

AI总结 Token-Guard通过自检解码技术，实现对大型语言模型中token级幻觉的有效控制，提升生成准确性与输出可靠性。

Comments Accepted by ICLR 2026 main conference

Journal ref ICLR 2026

Deep Search with Hierarchical Meta-Cognitive Monitoring Inspired by Cognitive Neuroscience

受认知神经科学启发的深度搜索与分层元认知监控

Zhongxiang Sun, Qipeng Wang, Weijie Yu, Jingxuan Yang, Haolang Lu, Jun Xu

机构 * Gaoling School of Artificial Intelligence\ University of China Beijing China ； School of Information Technology ； Search Applications Department, Tencent Beijing China ； Beijing University of Posts ； Gaoling School of Artificial Intelligence\ University of China ； Search Applications Department, Tencent 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.CL

AI总结 本研究提出DS-MCM框架，通过分层元认知监控机制提升深度搜索的性能和鲁棒性。

Comments 11 pages, 3 figures

Learn More with Less: Uncertainty Consistency Guided Query Selection for RLVR

学得更多，用得更少：不确定性一致性引导的查询选择用于RLVR

Hao Yi, Yulan Hu, Xin Li, Sheng Ouyang, Lizhong Ding, Yong Liu

机构 * Renmin University of China（中国人民大学） ； Gaoling School of Artificial Intelligence（北京人工智能学院） ； Amap, Alibaba Group（阿里集团阿里的地图部门） ； School of Computer Science & Technology（计算机科学与技术学院） 纠错

专题命中 幻觉与事实性 ：alignment(abstract)；分类 cs.AI

AI总结 本文提出基于不确定性一致性的查询选择方法，通过改进RLVR的样本选择策略，减少查询预算，提升推理任务的效率。

Foundation Models for Logistics: Toward Certifiable, Conversational Planning Interfaces

物流领域的基础模型：迈向可验证、对话式规划界面

Yunhao Yang, Neel P. Bhatt, Christian Ellis, Samuel Li, Alvaro Velasquez, Zhangyang Wang, Ufuk Topcu

机构 * Neurosymbolic Intelligence（神经符号智能） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of Colorado Boulder（科罗拉多大学波德分校） 纠错

专题命中 幻觉与事实性 ：safety(abstract)；分类 cs.AI

AI总结 本文提出了一种基于神经符号框架的视觉-语言物流代理，通过自然语言对话和可验证保证实现可信赖的物流规划决策，模型在少量训练样本下实现了高效且准确的物流规划性能。

One-shot Optimized Steering Vector for Hallucination Mitigation for VLMs

单次优化的转向向量用于VLMs的幻觉缓解

Youxu Shi, Suorong Yang, Dong Liu

机构 * University of Science（科学大学） ； Nanjing University（南京大学） 纠错

专题命中 幻觉与事实性 ：safety(abstract)

AI总结 本文提出OSGA框架，通过单次优化生成通用转向向量，有效缓解VLMs的幻觉问题并提升安全性。