NeurIPS

MISA: Memory-Efficient LLMs Optimization with Module-wise Importance Sampling

MISA: 通过模块级重要性采样实现内存高效的LLM优化

Yuxi Liu, Renjia Deng, Yutong He, Xue Wang, Tao Yao, Kun Yuan

机构 * Peking University（北京大学） ； Alibaba DAMO Academy（阿里巴巴达摩院） ； Shanghai Jiao Tong University（上海交通大学） 纠错

AI总结 MISA通过模块级重要性采样优化LLM，减少内存需求并提高收敛效率。

Comments This paper is accepted to Neural Information Processing Systems (NeurIPS) 2025

Head Pursuit: Probing Attention Specialization in Multimodal Transformers

头部追踪：探究多模态转换器中的注意力专业化

Lorenzo Basile, Valentino Maiorca, Diego Doimo, Francesco Locatello, Alberto Cazzaniga

机构 * Area Science Park（面积科学公园） ； Sapienza University of Rome（罗马萨皮恩扎大学） ； Institute of Science and Technology（科学与技术研究所） 纠错

AI总结 本研究通过分析多模态转换器中注意力头的专业化，揭示了模型内部可控的结构，并展示了通过编辑少量头部以增强或抑制特定概念的可行性。

Comments Accepted at NeurIPS 2025 (spotlight)

Policy Compatible Skill Incremental Learning via Lazy Learning Interface

通过懒惰学习接口实现策略兼容的技能增量学习

Daehee Lee, Dongsu Lee, TaeYoon Kwack, Wonje Choi, Honguk Woo

机构 * Sungkyunkwan University（成均馆大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

AI总结 本文提出SIL-C框架，通过懒惰学习接口实现技能与策略的兼容性，提升下游任务性能无需重新训练策略。

Comments NeurIPS 2025 Spotlight

Memory Mosaics at scale

大规模记忆马赛克

Jianyu Zhang, Léon Bottou

机构 * New York University, New York（纽约大学） ； FAIR, Meta Inc.（FAIR、Meta公司） 纠错

AI总结 本研究展示了大规模记忆马赛克在扩展到大语言模型规模和真实数据集后，在训练知识学习和新任务执行方面优于transformers。

Comments Oral @ NeurIPS 2025

Consistent Sampling and Simulation: Molecular Dynamics with Energy-Based Diffusion Models

一致采样与模拟：基于能量的扩散模型的分子动力学

Michael Plainer, Hao Wu, Leon Klein, Stephan Günnemann, Frank Noé

AI总结 本文提出了一种基于能量的扩散模型，通过福克-普朗克方程导出的正则化项来提高分子动力学模拟中的一致性和采样效率。

Comments Accepted at Conference on Neural Information Processing Systems (NeurIPS 2025)

Towards Interpretability Without Sacrifice: Faithful Dense Layer Decomposition with Mixture of Decoders

无需牺牲的可解释性：混合解码器的忠实密集层分解

James Oldfield, Shawn Im, Sharon Li, Mihalis A. Nicolaou, Ioannis Patras, Grigorios G Chrysos

机构 * UW-Madison（威斯康星大学麦迪逊分校） 纠错

AI总结 本文提出混合解码器（MxDs）通过层级稀疏性实现密集层分解，保持原始解码器的表达能力，显著提升稀疏性-准确性前沿性能。

Comments NeurIPS 2025 camera-ready version

What Can RL Bring to VLA Generalization? An Empirical Study

RL能为VLA泛化带来什么？一项实证研究

Jijia Liu, Feng Gao, Bingwen Wei, Xinlei Chen, Qingmin Liao, Yi Wu, Chao Yu, Yu Wang

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院） ； Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） 纠错

AI总结 本研究通过实证分析发现，PPO在提升VLA的语义理解和执行鲁棒性方面优于SFT，同时保持视觉鲁棒性，为VLA泛化提供了有效的方法。

Comments Accepted by NeurIPS 2025

AutoToM: Scaling Model-based Mental Inference via Automated Agent Modeling

AutoToM: 通过自动化代理建模实现基于模型的心理推理扩展

Zhining Zhang, Chuanyang Jin, Mung Yao Jia, Shunchi Zhang, Tianmin Shu

机构 * Peking University（北京大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

AI总结 AutoToM通过自动化代理建模实现可扩展、稳健且可解释的心理推理，优于现有方法并支持在线心理推理。

Comments NeurIPS 2025 (Spotlight). 42 pages, 11 figures, 15 tables. Website at https://chuanyangjin.com/AutoToM/

Exploiting Task Relationships in Continual Learning via Transferability-Aware Task Embeddings

通过转移意识的任务嵌入利用任务关系进行持续学习

Yanru Wu, Jianning Wang, Xiangyu Chen, Enming Zhang, Yang Tan, Hanbing Liu, Yang Li

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Shenzhen Key Laboratory of Ubiquitous Data Enabling, SIGS, Tsinghua（深圳 ubiquitous 数据赋能关键实验室，SIGS，清华大学） 纠错

AI总结 本文提出H-嵌入和超网络框架，通过转移意识的任务嵌入提升持续学习中任务间关系的利用效果。

Comments 28 pages, 5 figures, accepted by NeurIPS 2025

Tracking and Understanding Object Transformations

跟踪和理解物体变换

Yihong Sun, Xinyu Yang, Jennifer J. Sun, Bharath Hariharan

机构 * Cornell University（康奈尔大学） 纠错

AI总结 本文提出TubeletGraph系统，用于跟踪和理解物体在变换中的状态变化，并引入新的基准数据集VOST-TAS，以提升复杂物体变换的跟踪与理解能力。

Comments NeurIPS 2025

Neural Emulator Superiority: When Machine Learning for PDEs Surpasses its Training Data

神经模拟器优越性：当用于PDEs的机器学习超越其训练数据时

Felix Koehler, Nils Thuerey

机构 * Technical University of Munich（慕尼黑技术大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） 纠错

AI总结 本研究提出神经模拟器在特定条件下可超越训练数据保真度，通过理论分析和实验验证，展示了模拟器在多步滚动中的优越性能及潜在应用价值。

Comments Accepted at NeurIPS 2025: https://neurips.cc/virtual/2025/poster/116770 ; V2: Updated references, fix typos

Uncertainty-Aware Multi-Objective Reinforcement Learning-Guided Diffusion Models for 3D De Novo Molecular Design

具有不确定性的多目标强化学习引导的扩散模型用于3D从头分子设计

Lianghong Chen, Dongkyu Eugene Kim, Mike Domaratzki, Pingzhao Hu

机构 * Department of Computer Science, Western University（计算机科学系，西部大学） ； Department of Biochemistry, Western University（生物化学系，西部大学） 纠错

AI总结 本文提出一种基于强化学习的扩散模型，用于多目标优化3D分子设计，提升生成分子的质量和属性优化性能。

Comments Accepted at NeurIPS 2025

Coupling Generative Modeling and an Autoencoder with the Causal Bridge

将生成建模与自动编码器与因果桥梁相结合

Ruolin Meng, Ming-Yu Chung, Dhanajit Brahma, Ricardo Henao, Lawrence Carin

机构 * Duke University（杜克大学） 纠错

AI总结 本文提出将生成建模与自动编码器结合因果桥梁，以提高治疗效应估计的准确性。

Comments Accepted to NeurIPS 2025

CuMoLoS-MAE: A Masked Autoencoder for Remote Sensing Data Reconstruction

CuMoLoS-MAE：一种用于遥感数据重建的屏蔽自动编码器

Anurup Naskar, Nathanael Zhixin Wong, Sara Shamekh

机构 * Courant Institute of Mathematical Sciences, New York University（纽约大学Courant数学科学研究所） 纠错

AI总结 CuMoLoS-MAE通过课程引导的蒙特卡洛随机集合屏蔽自动编码器，实现遥感数据的细尺度特征恢复和像素级不确定性量化，提升对流诊断与气候再分析精度。

Comments Accepted for poster presentation at the NeurIPS 2025 workshop on Tackling Climate Change with Machine Learning. 5 pages, 2 figures

Optimism Without Regularization: Constant Regret in Zero-Sum Games

乐观无正则化：零和博弈中的常数遗憾

John Lazarsfeld, Georgios Piliouras, Ryann Sim, Stratis Skoulakis

机构 * SUTD（新加坡科技设计大学） ； Aarhus University（奥胡斯大学） 纠错

AI总结 本文提出在零和博弈中无需正则化即可实现常数遗憾的乐观 fictitious play 方法，并证明其在无正则化情况下具有最优速率。

Comments NeurIPS 2025

Integration Matters for Learning PDEs with Backward SDEs

积分对基于反向随机微分方程学习偏微分方程的重要性

Sungje Park, Stephen Tu

机构 * Department of Electrical and Computer Engineering, University of Southern California（电气与计算机工程系，南加州大学） 纠错

AI总结 本文提出基于斯特劳尼希的BSDE方法，通过随机海恩积分消除EM积分的偏差问题，从而在高维PDE求解中优于传统方法并达到PINNs的性能水平。

Comments NeurIPS 2025