语言大模型 / LLM

Trajectory Balance with Asynchrony: Decoupling Exploration and Learning for Fast, Scalable LLM Post-Training

轨迹平衡与异步性：解耦探索与学习以实现快速、可扩展的LLM后训练

Brian Bartoldson, Siddarth Venkatraman, James Diffenderfer, Moksh Jain, Tal Ben-Nun, Seanie Lee, Minsu Kim, Johan Obando-Ceron, Yoshua Bengio, Bhavya Kailkhura

机构 * Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； Mila – Quebec AI Institute（魁北克AI研究院） ； Université de Montréal（蒙特利尔大学） ； KAIST（韩国科学技术院） ； CIFAR Fellow 纠错

专题命中 后训练与偏好优化 ：LLM(title,abstract)；post-training(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 TBA通过解耦探索与学习，提升LLM后训练的速度和性能，适用于多种任务并支持大规模数据生成。

Comments NeurIPS 2025; 27 pages

Automatic Attack Discovery for Few-Shot Class-Incremental Learning via Large Language Models

通过大语言模型实现少样本类增量学习的自动攻击发现

Haidong Kang, Wei Wu, Hanling Wang

机构 * School of Computer and Communication Engineering（计算机与通信工程学院） ； School of Information and Communication（信息与通信学院） ； University of Electronic Science and Technology of China（电子科学与技术大学） ； Department of Strategic and Advanced Interdisciplinary Research（战略与先进跨学科研究部） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 后训练与偏好优化 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出ACraft方法，利用大语言模型自动发现针对少样本类增量学习的最优攻击方法，有效提升攻击性能并降低成本。

Proximalized Preference Optimization for Diverse Feedback Types: A Decomposed Perspective on DPO

近端化偏好优化用于多样化反馈类型：对DPO的分解视角

Kaiyang Guo, Yinchuan Li, Zhitang Chen

机构 * Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出PRO方法，通过分解DPO损失并恢复完整正则化项，解决似然不足确定性问题，提升对多样化反馈类型的适应能力。

Comments NeurIPS'2025

Better World Models Can Lead to Better Post-Training Performance

更好的世界模型可以导致更好的训练后性能

Prakhar Gupta, Henry Conklin, Sarah-Jane Leslie, Andrew Lee

机构 * University of Michigan（密歇根大学） ； Princeton University（普林斯顿大学） ； Harvard University（哈佛大学） 纠错

专题命中 后训练与偏好优化 ：post-training(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本研究通过比较不同世界建模策略，发现显式建模能提升Transformer的状态表示质量，从而增强强化学习后训练的效果。

Margin-aware Preference Optimization for Aligning Diffusion Models without Reference

基于边界的偏好优化：无需参考的扩散模型对齐

Jiwoo Hong, Sayak Paul, Noah Lee, Kashif Rasul, James Thorne, Jongheon Jeong

专题命中 后训练与偏好优化 ：preference optimization(title,abstract)

AI总结 本文提出MaPO，一种无需参考的扩散模型对齐方法，通过优化偏好输出与非偏好输出之间的边界，提升T2I任务的适应性能，减少训练时间并优于现有方法。

Comments Accepted to AAAI 2026 Main Technical Track

Let Them Down Easy! Contextual Effects of LLM Guardrails on User Perceptions and Preferences

让它们轻松一些！LLM护栏对用户感知和偏好的情境影响

Mingqian Zheng, Wenjia Hu, Patrick Zhao, Motahhare Eslami, Jena D. Hwang, Faeze Brahman, Carolyn Rose, Maarten Sap

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Simon Fraser University（西蒙弗雷泽大学） ； Allen Institute for AI（人工智能研究所） 纠错

专题命中 后训练与偏好优化 ：LLM(title)；分类 cs.CL、cs.AI

AI总结 研究探讨了LLM护栏对用户感知和偏好的影响，发现部分合规策略能显著降低负面感知，强调应通过创造性的拒绝策略而非意图检测来提升安全性和用户体验。

Comments Accepted to Findings of EMNLP 2025

Some Modalities are More Equal Than Others: Decoding and Architecting Multimodal Integration in MLLMs

某些模态比其他模态更平等：在MLLMs中解码和架构多模态整合

Tianle Chen, Chaitanya Chakka, Arjun Reddy Akula, Xavier Thomas, Deepti Ghadiyaram

机构 * Boston University（波士顿大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 后训练与偏好优化 ：large language model(abstract)；language model(abstract)

AI总结 本文研究了多模态大语言模型对矛盾模态的鲁棒性，提出模态对齐调优策略以提升多模态推理能力。