大模型对齐与安全

The Last Fingerprint: How Markdown Training Shapes LLM Prose

最后的指纹：Markdown训练如何塑造LLM的散文

E. M. Freeburg

机构 * Independent Researcher（独立研究员） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 研究发现LLM中连字符的使用受训练数据影响，通过实验揭示连字符频率作为微调方法的诊断指标，而非风格缺陷。

Comments 14 pages, 3 tables. Code and data: https://github.com/emfreeburg/the-last-fingerprint

Does Claude's Constitution Have a Culture?

克莱因的宪法有文化吗？

Parham Pourdavood

机构 * Independent Researcher（独立研究员） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 研究克莱因的宪法是否反映特定文化视角，通过评估其在跨文化调查中的表现，发现其价值观与北欧和盎格鲁国家相似，但多数项目超出所有被调查人群范围。

Comments 20 pages, 6 figures

Generative Adversarial Reasoner: Enhancing LLM Reasoning with Adversarial Reinforcement Learning

生成对抗推理器：通过对抗性强化学习增强大语言模型推理

Qihao Liu, Luoxin Ye, Wufei Ma, Yu-Cheng Chou, Alan Yuille

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出生成对抗推理器，通过对抗性强化学习联合训练LLM推理器和判别器，提升推理质量与准确性。

Comments Camera-ready version

Benchmarking Bengali Dialectal Bias: A Multi-Stage Framework Integrating RAG-Based Translation and Human-Augmented RLAIF

印地语方言偏见评估：整合基于RAG的翻译和人类增强的RLAIF的多阶段框架

K. M. Jubair Sami, Dipto Sumit, Ariyan Hossain, Farig Sadeque

机构 * Department of Computer Science and Engineering（计算机科学与工程系） 纠错

专题命中 偏好对齐 ：safety(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文提出一个多阶段框架，通过基于RAG的翻译和人类增强的RLAIF评估九种印地语方言的偏见。研究发现方言差异导致性能下降，模型规模增加不总是缓解偏见。

Comments 12 pages, 1 figure, 5 tables

How AI Systems Think About Education: Analyzing Latent Preference Patterns in Large Language Models

AI系统如何看待教育：分析大型语言模型中的潜在偏好模式

Daniel Autenrieth

机构 * Independent Researcher, PhD Candidate（独立研究者，博士候选人） ； RWTH Aachen University（亚琛工业大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文首次系统测量大型语言模型的教育契合度，通过48项跨八个教育理论维度的德尔菲验证工具，发现GPT-5.1在教育人文原则上表现出高度一致的偏好模式，但在规范性争议领域偏离专家意见。

Comments 15 pages, 2 figures, 8 tables. Code and data available at https://github.com/brianadvent/education-llm-spe-study. arXiv admin note: text overlap with arXiv:2502.08640 by other authors

LibraGen: Playing a Balance Game in Subject-Driven Video Generation

LibraGen：在以主题驱动的视频生成中进行平衡游戏

Jiahao Zhu, Shanshan Lao, Lijie Liu, Gen Li, Tianhao Qi, Wei Han, Bingchuan Li, Fangfang Liu, Zhuowei Chen, Tianxiang Ma, Qian HE, Yi Zhou, Xiaohua Xie

机构 * Pazhou Laboratory (Huangpu)（黄埔实验室（ Pazhou）） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)

AI总结 LibraGen通过平衡视频生成基础模型的内在先验与主题到视频能力，提出了一种新的框架，采用质量优先策略和动态分类器自由引导方案，提升生成效果。

Do Large Language Models Get Caught in Hofstadter-Mobius Loops?

大型语言模型是否会陷入霍夫斯塔德-莫比乌斯循环？

Jaroslaw Hryszko

机构 * Faculty of Mathematics and Computer Science, Jagiellonian University（数学与计算机科学学院，雅盖隆大学） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL、cs.AI、cs.CY

AI总结 本文探讨现代RLHF训练语言模型中存在霍夫斯塔德-莫比乌斯循环的矛盾，通过实验发现调整系统提示的框架可显著减少压迫性输出。

Comments 15 pages, 4 figures, 3 tables

Examining Reasoning LLMs-as-Judges in Non-Verifiable LLM Post-Training

检验推理LLM作为裁判在不可验证LLM后续训练中的表现

Yixin Liu, Yue Yu, DiJia Su, Sid Wang, Xuewei Wang, Song Jiang, Bo Liu, Arman Cohan, Yuandong Tian, Zhengxing Chen

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究通过受控合成设置检验推理LLM作为裁判在非验证LLM后续训练中的效果，发现推理裁判能生成高性能策略，但易受对抗性输出影响，揭示了其在实际政策训练中的潜力与挑战。

Resonate: Reinforcing Text-to-Audio Generation via Online Feedback from Large Audio Language Models

Resonate：通过来自大音频语言模型的在线反馈强化文本到音频生成

Xiquan Li, Junxi Liu, Wenxi Chen, Haina Zhu, Ziyang Ma, Xie Chen

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)

AI总结 Resonate通过整合在线GRPO和大音频语言模型奖励，提升文本到音频生成的音频质量和语义对齐性能。

SVLL: Staged Vision-Language Learning for Physically Grounded Embodied Task Planning

SVLL：分阶段视觉-语言学习用于物理基础的具身任务规划

Yuyuan Yang, Junkun Hong, Hongrong Wang, Honghao Cai, Xunpeng Ren, Ge Wang, Mingcong Lei, Shenhao Yan, Jiahao Yang, Chengsi Yao, Xi Li, Yiming Zhao, Yatong Han, Jinke Ren

机构 * FNii-Shenzhen, CUHKSZ（FNii深圳，CUHKSZ） ； SSE, CUHKSZ（SSE，CUHKSZ） ； SAI, CUHKSZ（SAI，CUHKSZ） ； Shenzhen University（深圳大学） ； University of Sydney（悉尼大学） ； Harbin Engineering University（哈尔滨工程大学） ； Ising AI 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)

AI总结 SVLL 通过分阶段学习和 Bias-DPO 对齐目标，实现稳健的物理基础具身任务规划，提升任务成功率并减少物理约束违规。

IntroSVG: Learning from Rendering Feedback for Text-to-SVG Generation via an Introspective Generator-Critic Framework

IntroSVG: 通过反思生成器-批评者框架从渲染反馈中学习以实现文本到SVG生成

Feiyu Wang, Jiayuan Yang, Zhiyuan Zhao, Da Zhang, Bingyu Li, Peng Liu, Junyu Gao

机构 * Fudan University（复旦大学） ； TeleAI ； Northwestern Polytechnical University（西北工业大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)

AI总结 IntroSVG通过反思生成器-批评者框架，结合监督微调和直接偏好优化，实现文本到SVG生成的高质量输出。

OSPO: Object-Centric Self-Improving Preference Optimization for Text-to-Image Generation

OSPO: 以对象为中心的自我改进偏好优化用于文本到图像生成

Yoonjin Oh, Yongjin Kim, Hyomin Kim, Donghwan Chi, Sungwoong Kim

机构 * Korea University（韩国大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)

AI总结 OSPO通过自构造对象中心偏好数据和对象加权损失，提升文本到图像生成中对象级对齐和保真度，优于现有自我改进方法和专门扩散模型。

Comments 11 pages, 6 figures

MENLO: From Preferences to Proficiency -- Evaluating and Modeling Native-like Quality Across 47 Languages

MENLO：从偏好到熟练度——在47种语言上评估和建模原生质量

Chenxi Whitehouse, Sebastian Ruder, Tony Lin, Oksana Kurylo, Haruka Takagi, Janice Lam, Nicolò Busetto, Denise Diaz, Francisco Guzmán

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； Handshake AI 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MENLO通过偏好评估和建模提升多语言LLM的原生质量，结合强化学习和多任务学习方法改进模型表现。

Comments ICLR 2026

SPATIALALIGN: Aligning Dynamic Spatial Relationships in Video Generation

SPATIALALIGN: 视频生成中动态空间关系的对齐

Fengming Liu, Tat-Jen Cham, Chuanxia Zheng

机构 * College of Computing（计算学院） ； Data Science, Nanyang Technological University, 50 Nanyang Avenue, Singapore 639798（数据科学，南洋理工大学，50 Nanyang Avenue，新加坡639798） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)

AI总结 SPATIALALIGN通过引入DSR-SCORE和DPO方法，提升文本到视频生成中动态空间关系的对齐能力。

Comments Project page: https://fengming001ntu.github.io/SpatialAlign/

What Makes a Reward Model a Good Teacher? An Optimization Perspective

什么使奖励模型成为好的老师？从优化角度出发

Noam Razin, Zixuan Wang, Hubert Strauss, Stanley Wei, Jason D. Lee, Sanjeev Arora

机构 * Some Institute（某些研究所） 纠错

专题命中 偏好对齐 ：RLHF(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 从优化角度研究奖励模型的有效性，发现奖励方差对优化效率至关重要，准确性不足以保证模型效果。

Comments Accepted to NeurIPS 2025; Code available at https://github.com/princeton-pli/what-makes-good-rm

RLSF: Fine-tuning LLMs via Symbolic Feedback

通过符号反馈进行LLM微调：RLSF

Piyush Jha, Prithwish Jana, Pranavkrishna Suresh, Arnav Arora, Vijay Ganesh

机构 * Georgia Institute of Technology, USA（佐治亚理工学院） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 RLSF通过符号反馈微调LLM，利用符号推理工具提供精细反馈，提升领域特定任务的性能，使小模型超越大模型。

Journal ref ECAI 2025, Frontiers in Artificial Intelligence and Applications, Vol. 413, pp. 1687-1694, 2025

Precise Attribute Intensity Control in Large Language Models via Targeted Representation Editing

通过针对性表征编辑实现大语言模型中的精确属性强度控制

Rongzhi Zhang, Liqin Ye, Yuzhao Heng, Xiang Chen, Tong Yu, Lingkai Kong, Sudheer Chava, Chao Zhang

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Adobe Research（Adobe研究） ； Harvard University（哈佛大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究通过针对性表征编辑方法，实现大语言模型中精确属性强度控制，提升模型对用户需求的适应能力。

Learning the Value Systems of Societies with Preference-based Multi-objective Reinforcement Learning

基于偏好多目标强化学习的学习社会价值观系统

Andrés Holgado-Sánchez, Peter Vamplew, Richard Dazeley, Sascha Ossowski, Holger Billhardt

机构 * CETINIA, University Rey Juan Carlos（CETINIA皇家卡洛斯大学） ； Federation University（联邦大学） ； Deakin University（德肯大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.AI、cs.CY、cs.LG

AI总结 本文提出基于偏好多目标强化学习的方法，用于在马尔可夫决策过程中学习社会价值系统，通过聚类和价值对齐模型实现不同用户群体的个性化价值偏好适应。

Comments 18 pages, 3 figures. To be published in proceedings of the 25th International Conference on Autonomous Agents and Multi-Agent Systems (AAMAS 2026). This is a full version that includes the supplementary material

DeDPO: Debiased Direct Preference Optimization for Diffusion Models

DeDPO：用于扩散模型的去偏直接偏好优化

Khiem Pham, Quang Nguyen, Tung Nguyen, Jingsen Zhu, Michele Santacatterina, Dimitris Metaxas, Ramin Zabih

机构 * Cornell University（康奈尔大学） ； Rutgers University（罗格斯大学） ； NYU（纽约大学） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)

AI总结 DeDPO通过整合因果推理的去偏技术，提升扩散模型在低成本合成监督下的对齐性能，实现与人类标注数据相当的鲁棒性。

Metis-SPECS: Decoupling Multimodal Learning via Self-distilled Preference-based Cold Start

Metis-SPECS: 通过基于偏好自我蒸馏的冷启动解耦多模态学习

Kun Chen, Peng Shi, Haibo Qiu, Zhixiong Zeng, Siqi Yang, Wenji Mao, Lin Ma

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS） ； Meituan（美团） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Metis-SPECS通过基于偏好的自我蒸馏冷启动框架解耦多模态学习，提升泛化能力和下游RL表现。

Comments Published as a conference paper at ICLR 2026!

Exploring Re-inforcement Learning via Human Feedback under User Heterogeneity

通过用户异质性探索基于人类反馈的强化学习

Sarvesh Shashidhar, Abhishek Mishra, Madhav Kotecha

专题命中 偏好对齐 ：alignment(abstract)；RLHF(abstract)

AI总结 本研究通过聚类和个性化奖励模型处理用户异质性，提升强化学习模型的胜率。

FlowSE-GRPO: Training Flow Matching Speech Enhancement via Online Reinforcement Learning

FlowSE-GRPO：通过在线强化学习训练流匹配语音增强

Haoxu Wang, Biao Tian, Yiheng Jiang, Zexu Pan, Shengkui Zhao, Bin Ma, Daren Chen, Xiangang Li

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)

AI总结 本文提出FlowSE-GRPO，通过在线强化学习优化语音增强，平衡多指标以提升音频质量与任务性能。

Comments Accepted by ICASSP 2026

GameTalk: Training LLMs for Strategic Conversation

GameTalk: 训练 LLMs 进行战略性对话

Victor Conchello Vendrell, Max Ruiz Luyten, Mihaela van der Schaar

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 GameTalk 通过多轮互动训练 LLMs 实现战略性决策，优于传统方法，尤其在奖励塑造下表现突出。

Comments 32 pages, 8 figures

A Generalizable Framework for Building Executable Domain-Specific LLMs under Data Scarcity: Demonstration on Semiconductor TCAD Simulation

在数据稀缺条件下构建可执行领域特定大语言模型的通用框架：以半导体TCAD仿真为例

Di Wang, Zhenhua Wu, Yu Liu, Kai Chang, Shaohua Wu

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)

AI总结 本文提出一种通用框架，在数据稀缺条件下构建可执行的领域特定大语言模型，通过生成合成数据和代码优化流程，实现领域知识灌输和脚本可执行性提升。

Comments Submitted to Nature Computational Science

DB3 Team's Solution For Meta KDD Cup' 25

DB3团队的Meta KDD杯'25解决方案

Yikuan Xia, Jiazun Chen, Yirui Zhan, Suifeng Zhao, Weipeng Jiang, Chaorui Zhang, Wei Han, Bo Bai, Jun Gao

机构 * Key Laboratory of High Confidence Software Technologies, CS, Peking University, China（高可信软件技术重点实验室，中国科学院，北京大学） ； Theory Lab, Central Research Institute, 2012 Labs, Huawei Technologies Co., Ltd, Shenzhen, China（理论实验室，中央研究院，2012实验室，华为技术有限公司，深圳） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 DB3团队通过多模态检索框架和拒绝训练方法，在KDD杯'25的CRAG-MM挑战中取得优异成绩，尤其在处理第一人称视角问题上表现突出。

SimLLM: Fine-Tuning Code LLMs for SimPy-Based Queueing System Simulation

SimLLM：用于基于SimPy的排队系统模拟的代码LLM微调

Jun-Qi Chen, Kun Zhang, Rui Zheng, Ying Zhong

机构 * Institute of Statistics and Big Data, Renmin University of China（中国人民大学统计与大数据研究院） ； School of Information, Renmin University of China（中国人民大学信息学院） ； School of Management and Economics, University of Electronic Science and Technology of China（电子科技大学管理学院） 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 SimLLM通过微调开源LLM提升SimPy排队系统模拟代码生成能力，提供替代闭源模型的可行方案。

Comments 33 pages, 10 figures

Stable Preference Optimization: A Bilevel Approach to Catastrophic Preference Shift

稳定偏好优化：一种针对灾难性偏好转移的双层方法

Chengtao Jian, Kai Yang, Tianhao Gao, Wuguang Ni, Keying Yang, Bowen Xiao, Jiajun Liu, Ye Ouyang

机构 * Tongji University（同济大学） ； AsiaInfo Technologies（亚洲信息科技） 纠错

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出稳定偏好优化框架，通过约束偏好学习在安全对齐区域，解决灾难性偏好转移问题，提升偏好学习方法的稳定性和性能。

ReGal: A First Look at PPO-based Legal AI for Judgment Prediction and Summarization in India

ReGal：基于PPO的法律AI在印度判决预测和摘要中的初步探索

Shubham Kumar Nigam, Tanuj Tyagi, Siddharth Shukla, Aditya Kumar Guru, Balaramamahanthi Deepak Patnaik, Danush Khanna, Noel Shallum, Kripabandhu Ghosh, Arnab Bhattacharya

专题命中 偏好对齐 ：alignment(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 ReGal通过PPO结合多任务指令微调与强化学习，探索法律AI在印度判决预测和摘要中的应用，揭示了强化学习在法律文本中的挑战与潜力。

Comments Accepted in AILaw @ AAAI 2026 conference

Harnessing Negative Signals: Reinforcement Distillation from Teacher Data for LLM Reasoning

利用负信号：从教师数据中进行强化蒸馏以提升大语言模型推理能力

Shuyao Xu, Cheng Peng, Jiangxuan Long, Weidi Xu, Wei Chu, Yuan Qi

机构 * National University of Singapore（国立新加坡大学） ； INF AI 纠错

专题命中 偏好对齐 ：DPO(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出通过强化蒸馏利用正负推理轨迹提升LLM推理性能，实验表明在少量数据下可达到与大量数据训练模型相当的性能。

Comments 22 pages, 10 figures. Code available at https://github.com/Tim-Siu/reinforcement-distillation

Diffusion-SDPO: Safeguarded Direct Preference Optimization for Diffusion Models

Diffusion-SDPO：用于扩散模型的受保护直接偏好优化

Minghao Fu, Guo-Hua Wang, Tianyu Cui, Qing-Guo Chen, Zhao Xu, Weihua Luo, Kaifu Zhang

机构 * School of Artificial Intelligence, Nanjing University（人工智能学院，南京大学） ； National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家实验室，南京大学） ； Alibaba International Digital Commerce Group（阿里巴巴国际数字商业集团） 纠错

专题命中 偏好对齐 ：alignment(abstract)；DPO(abstract)

AI总结 Diffusion-SDPO通过保护性更新规则提升扩散模型对人类偏好的对齐效果。

Comments The code is publicly available at https://github.com/AIDC-AI/Diffusion-SDPO