NeurIPS

Improving Data Efficiency for LLM Reinforcement Fine-tuning Through Difficulty-targeted Online Data Selection and Rollout Replay

通过难度目标在线数据选择和回放提升大语言模型强化微调的数据效率

Yifan Sun, Jingyan Shen, Yibin Wang, Tianyu Chen, Zhendong Wang, Mingyuan Zhou, Huan Zhang

机构 * UIUC（伊利诺伊大学香槟分校） ； New York University（纽约大学） ； University of Texas at Austin（得克萨斯大学奥斯汀分校） ； Microsoft（微软） 纠错

AI总结 本文提出通过难度目标在线数据选择和回放机制提升大语言模型强化微调的数据效率，实验表明可减少62%的微调时间并保持同等性能。

Comments Accepted at NeurIPS 2025

Sparse MeZO: Less Parameters for Better Performance in Zeroth-Order LLM Fine-Tuning

稀疏MeZO：在零阶LLM微调中更少的参数带来更好的性能

Yong Liu, Zirui Zhu, Chaoyu Gong, Minhao Cheng, Cho-Jui Hsieh, Yang You

机构 * National University of Singapore（新加坡国立大学） ； Pennsylvania State University（宾夕法尼亚州立大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

AI总结 稀疏MeZO通过仅对部分参数应用零阶优化，提升LLM微调的性能和收敛速度。

Comments Accepted by NeurIPS 2025

Radial-VCReg: More Informative Representation Learning Through Radial Gaussianization

径向VCReg：通过径向高斯化获得更具信息量的表示学习

Yilun Kuang, Yash Dagade, Deep Chakraborty, Erik Learned-Miller, Randall Balestriero, Tim G. J. Rudner, Yann LeCun

机构 * New York University（纽约大学） ； Duke University（杜克大学） ； University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Brown University（布朗大学） ； University of Toronto（多伦多大学） 纠错

AI总结 Radial-VCReg通过引入径向高斯化损失，提升表示学习的信息量和多样性，改进自监督学习性能。

Comments Published in the Unifying Representations in Neural Models (UniReps) and Symmetry and Geometry in Neural Representations (NeurReps) Workshops at NeurIPS 2025

Graph Neural Networks for Interferometer Simulations

用于干涉仪模拟的图神经网络

Sidharth Kannan, Pooyan Goodarzi, Evangelos E. Papalexakis, Jonathan W. Richardson

机构 * College of Creative Studies University of California, Santa Barbara（加州大学圣芭芭拉分校创意研究学院） ； Department of Physics & Astronomy University of California, Riverside（加州大学河滨分校物理与天文学系） ； Department of Computer Science & Engineering University of California, Riverside（加州大学河滨分校计算机科学与工程系） 纠错

AI总结 本文提出利用图神经网络模拟LIGO干涉仪，实现高效准确的光学物理仿真，并提供基准数据集用于未来研究。

Comments 11 pages, 4 figures, Accepted and Presented to the 39th Conference on Neural Information Processing Systems (NeurIPS 2025): AI for Science Workshop

Writing in Symbiosis: Mapping Human Creative Agency in the AI Era

共生写作：人工智能时代人类创造性自主性的映射

Vivan Doshi, Mengyuan Li

机构 * Department of Computer Science University of Southern California（计算机科学系美国南加州大学） 纠错

AI总结 本文探讨了人工智能时代人类创造性自主性的共生写作模式，通过分析纵向写作数据揭示了作者与AI风格的适应性变化。

Comments Advances in Neural Information Processing Systems (NeurIPS 2025)

Beyond Static Cutoffs: One-Shot Dynamic Thresholding for Diffusion Language Models

超越静态截止值：用于扩散语言模型的单次动态阈值技术

Jucheng Shen, Yeonju Ro

机构 * Rice University（里奇大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

AI总结 本文提出单次动态阈值技术，用于改进扩散语言模型的解码效率，在多个基准测试中提升了准确率与吞吐量的平衡。

Comments 7 pages, NeurIPS 2025 Efficient Reasoning Workshop

SECA: Semantically Equivalent and Coherent Attacks for Eliciting LLM Hallucinations

SECA：用于诱发LLM幻觉的语义等价且连贯的攻击

Buyun Liang, Liangzu Peng, Jinqi Luo, Darshan Thaker, Kwan Ho Ryan Chan, René Vidal

AI总结 SECA通过现实修改提示诱发LLM幻觉，提高攻击成功率并减少语义错误。

Comments Accepted at NeurIPS 2025. Code is available at https://github.com/Buyun-Liang/SECA

ReliabilityRAG: Effective and Provably Robust Defense for RAG-based Web-Search

ReliabilityRAG: 有效且可证明的防御方法用于基于检索的Web搜索

Zeyu Shen, Basileal Imana, Tong Wu, Chong Xiang, Prateek Mittal, Aleksandra Korolova

机构 * Department of Computer Science（计算机科学系） ； Princeton University（普林斯顿大学） ； Center for Information Technology Policy（信息政策中心） ； Department of Electrical and Computer Engineering（电气与计算机工程系） ； NVIDIA（英伟达） 纠错

AI总结 ReliabilityRAG通过利用文档可靠性信息，提供更有效且可证明鲁棒的防御方法，以增强基于检索的Web搜索系统对对抗攻击的抵御能力。

Comments Accepted to NeurIPS 2025

Functional Scaling Laws in Kernel Regression: Loss Dynamics and Learning Rate Schedules

核回归中的功能缩放定律：损失动态与学习率调度

Binghui Li, Fengling Chen, Zixun Huang, Lean Wang, Lei Wu

机构 * Center for Machine Learning Research, Peking University（北京大学机器学习研究中心） ； School of Mathematical Sciences, Peking University（北京大学数学科学学院） ； State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（北京大学多媒体信息处理国家重点实验室） ； AI for Science Institute, Beijing（北京人工智能科学研究院） 纠错

AI总结 本文提出功能缩放定律，通过分析核回归模型中的损失动态，揭示学习率调度对训练效率的影响，并验证了WSD调度在大规模预训练中的有效性。

Comments 60 pages, accepted by NeurIPS 2025 as a spotlight paper

FGBench: A Dataset and Benchmark for Molecular Property Reasoning at Functional Group-Level in Large Language Models

FGBench: 一个用于大语言模型中功能基团级分子属性推理的数据集和基准

Xuan Liu, Siru Ouyang, Xianrui Zhong, Jiawei Han, Huimin Zhao

机构 * Department of Chemical and Biomolecular Engineering, University of Illinois Urbana-Champaign（化学与生物分子工程系，伊利诺伊大学厄巴纳-香槟分校） ； Department of Computer Science, University of Illinois Urbana-Champaign（计算机科学系，伊利诺伊大学厄巴纳-香槟分校） 纠错

AI总结 FGBench通过构建包含功能基团级信息的数据集，提升大语言模型在分子属性推理任务中的能力。

Comments NeurIPS 2025 (Datasets and Benchmarks Track)

A Cramér-von Mises Approach to Incentivizing Truthful Data Sharing

基于Cramér-von Mises统计的促进真实数据共享方法

Alex Clinton, Thomas Zeng, Yiding Chen, Xiaojin Zhu, Kirthevasan Kandasamy

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Cornell University（康奈尔大学） 纠错

AI总结 本文提出基于Cramér-von Mises统计的激励机制，促进真实数据共享，通过理论分析和实验验证其有效性。

Comments NeurIPS 2025

Offline RL by Reward-Weighted Fine-Tuning for Conversation Optimization

通过奖励加权微调实现离线强化学习用于对话优化

Subhojyoti Mukherjee, Viet Dac Lai, Raghavendra Addanki, Ryan Rossi, Seunghyun Yoon, Trung Bui, Anup Rao, Jayakumar Subramanian, Branislav Kveton

机构 * Adobe Research（Adobe研究院） 纠错

AI总结 本文提出通过奖励加权微调实现离线强化学习，用于对话优化，相比传统方法在奖励和语言质量上取得显著提升。

Comments Advances in Neural Information Processing Systems 38

On the Relation between Rectified Flows and Optimal Transport

关于校正流与最优传输关系的研究

Johannes Hertrich, Antonin Chambolle, Julie Delon

机构 * Université Paris Dauphine - PSL & Inria（巴黎-萨克雷大学） ； Inria（法国国家信息与自动化技术研究院） ； ENS Paris（巴黎高等师范学校） 纠错

AI总结 本文探讨了校正流与最优传输之间的关系，指出校正流的梯度约束并不能保证最优传输的解，并提供了反例推翻了之前的等价性结论。

Comments Accepted for NeurIPS 2025

MoESD: Unveil Speculative Decoding's Potential for Accelerating Sparse MoE

MoESD: 解开投机解码在加速稀疏MoE中的潜力

Zongle Huang, Lei Zhu, Zongyuan Zhan, Ting Hu, Weikai Mao, Xianzhi Yu, Yongpan Liu, Tianyu Zhang

机构 * Tsinghua University（清华大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

AI总结 MoESD研究揭示了投机解码在加速稀疏MoE模型中的潜力，提出目标效率指标以更全面理解SD加速效果。

Comments Accepted as spotlight at NeurIPS 2025

Online Posterior Sampling with a Diffusion Prior

在线后验采样与扩散先验

Branislav Kveton, Boris Oreshkin, Youngsuk Park, Aniket Deshmukh, Rui Song

机构 * Adobe Research（Adobe研究院） ； Amazon（亚马逊公司） ； AWS AI Labs（AWS人工智能实验室） 纠错

AI总结 本文提出了一种基于扩散模型先验的近似后验采样算法，用于基于上下文的老虎机问题，以提高复杂分布建模能力。

Comments Advances in Neural Information Processing Systems 37

GTSinger: A Global Multi-Technique Singing Corpus with Realistic Music Scores for All Singing Tasks

GTSinger: 一个包含真实音乐谱的全球多技术歌唱语料库，适用于所有歌唱任务

Yu Zhang, Changhao Pan, Wenxiang Guo, Ruiqi Li, Zhiyuan Zhu, Jialei Wang, Wenhao Xu, Jingyu Lu, Zhiqing Hong, Chuxin Wang, LiChao Zhang, Jinzheng He, Ziyue Jiang, Yuxin Chen, Chen Yang, Jiecheng Zhou, Xinyu Cheng, Zhou Zhao

机构 * Zhejiang University（浙江大学） 纠错

AI总结 GTSinger是一个包含真实音乐谱的全球多技术歌唱语料库，旨在通过高质量数据和多任务支持提升歌唱任务的可控性和多样性。

Comments Accepted by NeurIPS 2024 (Spotlight)

Journal ref Advances in Neural Information Processing Systems 37 (NeurIPS 2024)

Optimal Design for Human Preference Elicitation

人类偏好获取的最优设计

Subhojyoti Mukherjee, Anusha Lalitha, Kousha Kalantari, Aniket Deshmukh, Ge Liu, Yifei Ma, Branislav Kveton

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； AWS AI Labs（AWS人工智能实验室） ； UIUC（伊利诺伊大学香槟分校） ； Adobe Research（Adobe研究） 纠错

AI总结 本文提出了一种基于最优设计的人类偏好获取方法，通过高效算法和实验验证，提升了偏好模型学习的效率和实用性。

Comments Advances in Neural Information Processing Systems 37