大模型对齐与安全

SR-GRPO: Stable Rank as an Intrinsic Geometric Reward for Large Language Model Alignment

SR-GRPO：稳定秩作为大语言模型对齐的内在几何奖励

Yixuan Tang, Yi Yang

机构 * The Hong Kong University of Science and Technology（香港理工大学） 纠错

专题命中 偏好对齐 ：alignment(title,abstract)；分类 cs.CL

AI总结 SR-GRPO通过稳定秩作为内在几何奖励信号，无需外部监督提升大语言模型对齐性能。

Input Order Shapes LLM Semantic Alignment in Multi-Document Summarization

输入顺序影响多文档摘要中LLM语义对齐

Jing Ma

机构 * University of Zurich（苏黎世大学） 纠错

专题命中 偏好对齐 ：alignment(title)；分类 cs.CL

AI总结 研究发现输入顺序显著影响LLM在多文档摘要中的语义对齐，优先位置的文章对摘要的语义相似性有显著影响。

Comments 9 pages, 3 figures, 2 tables

HLPD: Aligning LLMs to Human Language Preference for Machine-Revised Text Detection

HLPD: 通过人类语言偏好对齐大语言模型以检测机器修订文本

Fangqi Dai, Xingjian Jiang, Zizhuang Deng

专题命中 偏好对齐 ：alignment(abstract)；trustworthy(abstract)；分类 cs.CL

AI总结 HLPD通过人类语言偏好优化提升机器修订文本检测性能，实现对GPT系列模型和先进大语言模型生成文本的高效识别。

Comments 20 pages, 10 figures, accepted by AAAI'26

Aligning Diffusion Models with Noise-Conditioned Perception

对扩散模型进行噪声条件感知对齐

Alexander Gambashidze, Anton Kulikov, Yuriy Sosnin, Ilya Makarov

机构 * Artificial Intelligence Research Institute (AIRI)（人工智能研究 institute（AIRI）） ； Skolkovo Institute of Science and Technology（斯克尔科沃科学与技术研究所） ； HSE University（俄罗斯高等经济学院） ； Research Center for Trusted Artificial Intelligence, ISP RAS（可信人工智能研究中心，信息与通信技术研究院） ； ISP RAS（信息与通信技术研究院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)；分类 cs.AI

AI总结 本研究提出在扩散模型的U-Net嵌入空间中使用感知目标，以提升人类偏好对齐的效率和质量，并减少计算成本。

Diffusion-SDPO: Safeguarded Direct Preference Optimization for Diffusion Models

Diffusion-SDPO：用于扩散模型的受保护直接偏好优化

Minghao Fu, Guo-Hua Wang, Tianyu Cui, Qing-Guo Chen, Zhao Xu, Weihua Luo, Kaifu Zhang

机构 * School of Artificial Intelligence, Nanjing University（人工智能学院，南京大学） ； National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家实验室，南京大学） ； Alibaba International Digital Commerce Group（阿里巴巴国际数字商业集团） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)

AI总结 Diffusion-SDPO通过保护性更新规则提升扩散模型对人类偏好的对齐效果。

Comments The code is publicly available at https://github.com/AIDC-AI/Diffusion-SDPO

Invasive Context Engineering to Control Large Language Models

侵入式上下文工程以控制大语言模型

Thomas Rivasseau

机构 * McGill University（麦吉尔大学） 纠错

专题命中 偏好对齐 ：jailbreak(abstract)；分类 cs.AI

AI总结 本文提出侵入式上下文工程方法，通过在LLM上下文中插入控制句子以提升其安全性，避免长上下文场景下的数据短缺问题。

Comments 4 pages