NeurIPS

Scale-invariant Attention

尺度不变注意力

Ben Anson, Xi Wang, Laurence Aitchison

机构 * School of Mathematics University of Bristol（布里斯托大学数学学院） ； Department of Computer Science Johns Hopkins University（约翰霍普金斯大学计算机科学系） ； School of Computer Science University of Bristol（布里斯托大学计算机科学学院） 纠错

AI总结 本文提出了一种尺度不变的注意力机制，通过简单的位置依赖变换实现总注意力和稀疏性的尺度不变性，提升了长上下文推理和检索性能。

Comments Accepted at Neurips 2025

Leveraging Foundational Models and Simple Fusion for Multi-modal Physiological Signal Analysis

利用基础模型和简单融合进行多模态生理信号分析

Youssef Ghallab, Omar Iraqy, Mohamed Kandil, Mohamed Ashraf, Saadeldine Eletter, Morougue Ghazal, Ayman Khalafallah, Nagwa El-Makky

机构 * Computer and Communication Engineering Department, Alexandria University（亚历山大大学计算机与通信工程系） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

AI总结 本文提出利用基础模型和简单融合方法，通过双掩码策略和对称编码器提升多模态生理信号分析的性能，实现情绪识别的高精度结果。

Comments Published at NeurIPS 2025 Workshop on Foundation Models for the Brain and Body

Task Matrices: Linear Maps for Cross-Model Finetuning Transfer

任务矩阵：用于跨模型微调转移的线性映射

Darrin O' Brien, Dhikshith Gajulapalli, Eric Xia

机构 * Algoverse AI Research（Algoverse AI研究院） ； Brown University（布朗大学） 纠错

AI总结 本文提出任务矩阵，通过线性变换提升跨模型微调转移性能，验证了预训练与微调架构间的线性编码存在，并展示了高效可推广的数据近似方法。

Comments NeurIPS Unireps 2025

Workflows vs Agents for Code Translation

工作流与代理在代码翻译中的比较

Henry Gray, Tom Yotam, Octavian Udrea

机构 * Code Metal 纠错

AI总结 研究比较了工作流与代理方法在MATLAB到HDL代码翻译中的效果，发现代理方法在语法修复和提升模拟覆盖率方面表现更优。

Journal ref NeurIPS 2025 Fourth Workshop on Deep Learning for Code

Amortized Active Generation of Pareto Sets

均摊主动生成帕累托集

Daniel M. Steinberg, Asiri Wijesinghe, Rafael Oliveira, Piotr Koniusz, Cheng Soon Ong, Edwin V. Bonilla

机构 * CSIRO’s Data61（CSIRO的数据61研究所） ； University of New South Wales（新南威尔士大学） ； Australian National University（澳大利亚国立大学） 纠错

AI总结 A-GPS通过均摊生成模型实现高效多目标优化，主动生成帕累托集并灵活捕捉用户偏好。

Comments Appears in the 39th Conference on Neural Information Processing Systems (NeurIPS 2025)

DenoiseRotator: Enhance Pruning Robustness for LLMs via Importance Concentration

DenoiseRotator: 通过重要性集中增强大语言模型的剪枝鲁棒性

Tianteng Gu, Bei Liu, Bo Xiao, Ke Zeng, Jiacheng Liu, Yanmin Qian

机构 * Shanghai Jiao Tong University（上海交通大学） ； HKUST（香港科技大学） ； Meituan（美团） 纠错

AI总结 DenoiseRotator通过重要性集中提升大语言模型剪枝鲁棒性，采用可学习正交变换优化参数重要性分布，有效减少稀疏性约束下的性能下降。

Comments Accepted at NeurIPS 2025

Scalable Bayesian Optimization via Focalized Sparse Gaussian Processes

通过聚焦稀疏高斯过程实现可扩展的贝叶斯优化

Yunyue Wei, Vincent Zhuang, Saraswati Soedarmadji, Yanan Sui

机构 * Tsinghua University（清华大学） ； Google DeepMind（谷歌DeepMind） 纠错

AI总结 本文提出聚焦GP和FocalBO方法，通过稀疏高斯过程提升贝叶斯优化效率，实现对高维问题的高效优化。

Comments Accepted by NeurIPS 2024

VASA-3D: Lifelike Audio-Driven Gaussian Head Avatars from a Single Image

VASA-3D: 从单张图像生成逼真音频驱动的高斯头人偶

Sicheng Xu, Guojun Chen, Jiaolong Yang, Yizhong Zhang, Yu Deng, Steve Lin, Baining Guo

机构 * Microsoft Research Asia（微软亚洲研究院） 纠错

AI总结 VASA-3D通过音频驱动从单张图像生成逼真3D头人偶，利用运动潜在特征和优化框架实现高真实感的3D说话头生成。

Comments NeurIPS 2025 paper. Project webpage: https://www.microsoft.com/en-us/research/project/vasa-3d/

Adapting Speech Language Model to Singing Voice Synthesis

将语音语言模型适应于歌唱语音合成

Yiwen Zhao, Jiatong Shi, Jinchuan Tian, Yuxun Tang, Jiarui Hai, Jionghao Han, Shinji Watanabe

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Renmin University of China（中国人民大学） ； John Hopkins University（约翰霍普金斯大学） 纠错

AI总结 本文提出将预训练语音语言模型适应于歌唱语音合成，通过多流语言模型预测、条件流匹配生成梅尔频谱图及梅尔到波形 vocoder 实现，验证了模型在歌唱语音合成任务中的有效性。

Comments Accepted by NeurIPS 2025 workshop AI for Music

SuperCLIP: CLIP with Simple Classification Supervision

SuperCLIP：带有简单分类监督的CLIP

Weiheng Zhao, Zilong Huang, Jiashi Feng, Xinggang Wang

机构 * School of EIC, Huazhong University of Science and Technology（华中科技大学电子与信息学院） ； ByteDance（字节跳动） 纠错

AI总结 SuperCLIP通过添加轻量级分类监督提升CLIP的细粒度视觉-文本对齐能力，有效提升零样本分类和检索性能。

Comments Accepted by NeurIPS 2025. Code: https://github.com/hustvl/SuperCLIP

Love First, Know Later: Persona-Based Romantic Compatibility Through LLM Text World Engines

先爱后知：基于人设的浪漫兼容性通过LLM文本世界引擎

Haoyang Shang, Zhengyang Yan, Xuan Liu

机构 * BreathingCORE 纠错

AI总结 本文提出一种基于LLM文本世界引擎的浪漫兼容性匹配方法，通过模拟互动预测人类偏好，实现个性化匹配系统。

Comments NeurIPS 2025 Workshop: First Workshop on LLM Persona Modeling (Oral)

Luminance-Aware Statistical Quantization: Unsupervised Hierarchical Learning for Illumination Enhancement

具有亮度意识的统计量化：无监督分层学习用于照明增强

Derong Kong, Zhixiong Yang, Shengxi Li, Shuaifeng Zhi, Li Liu, Zhen Liu, Jingyuan Xia

机构 * College of Electronic Science and Technology, National University of Defense Technology（电子科学与技术学院，国防科技大学） ； College of Electronic and Information Engineering, Beihang University（电子与信息工程学院，北航） 纠错

AI总结 本文提出LASQ框架，通过无监督分层学习实现照明增强，改进亮度转换建模，提升低光照图像恢复的适应性和泛化能力。

Comments Accepted at NeurIPS 2025

Kimina Lean Server: A High-Performance Lean Server for Large-Scale Verification

Kimina Lean Server: 一种高性能的大型验证用Lean服务器

Marco Dos Santos, Hugues de Saxcé, Haiming Wang, Ran Wang, Mantas Baksys, Mert Unsal, Junqi Liu, Zhengying Liu, Jia Li

AI总结 Kimina Lean Server通过高效的并行处理和缓存机制，提升了大规模验证和数据提取的效率，适用于强化学习管道中的高性能验证任务。

Comments Accepted to the 5th MATH-AI Workshop at NeurIPS 2025

Not All Data are Good Labels: On the Self-supervised Labeling for Time Series Forecasting

并非所有数据都是好标签：关于时间序列预测的自监督标签方法

Yuxuan Yang, Dalin Zhang, Yuxuan Liang, Hua Lu, Gang Chen, Huan Li

机构 * The State Key Laboratory of Blockchain and Data Security（区块链与数据安全国家重点实验室） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术区（滨江）区块链与数据安全研究院） ； Space Information Research Institute, Hangzhou Dianzi University（杭州电子科技大学空间信息研究所） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Department of Computer Science, Aalborg university, Denmark（丹麦奥尔堡大学计算机科学系） 纠错

AI总结 本文提出SCAM方法，通过自监督学习重新标记时间序列数据集，提升模型泛化能力。

Comments Accepted by NeurIPS'25 (spotlight)

MindForge: Empowering Embodied Agents with Theory of Mind for Lifelong Cultural Learning

MindForge: 通过显式视角转换赋能具身智能体的终身文化学习

Mircea Lică, Ojas Shirekar, Baptiste Colle, Chirag Raman

机构 * Delft University of Technology（代尔夫特理工大学） 纠错

AI总结 MindForge通过显式视角转换和多组件记忆系统，使智能体在Minecraft中实现文化终身学习，显著提升基础任务表现并适应新任务。

Comments Accepted to NeurIPS 2025 main track as poster

On Non-Linear operators for Geometric Deep Learning

关于几何深度学习中非线性算子的研究

Grégoire Sergeant-Perthuis, Jakob Maier, Joan Bruna, Edouard Oyallon

AI总结 本文研究了几何深度学习中与微分流形群相容的非线性算子，指出点wise非线性算子是唯一通用家族，并探讨了其与特定对称性线性算子的结合使用。

Journal ref Advances in Neural Information Processing Systems 35 (NeurIPS 2022)

Understanding the Gain from Data Filtering in Multimodal Contrastive Learning

理解数据过滤在多模态对比学习中的收益

Divyansh Pareek, Sewoong Oh, Simon S. Du

机构 * Paul G. Allen School of Computer Science and Engineering（保罗·G·艾伦计算机科学与工程学院） 纠错

AI总结 本文研究了数据过滤在多模态对比学习中的收益，通过理论分析证明了过滤能有效降低误差，提升模型性能。

Comments 40 pages, 8 figures, 1 table. This work is accepted to the Thirty-ninth Annual Conference on Neural Information Processing Systems, 2025

On the Hardness of Conditional Independence Testing In Practice

在实践中条件独立性检验的难度

Zheng He, Roman Pogodin, Yazhe Li, Namrata Deka, Arthur Gretton, Danica J. Sutherland

机构 * UBC（不列颠哥伦比亚大学） ； McGill and Mila（麦吉尔大学和Mila） ； Microsoft AI（微软人工智能） ； CMU（卡内基梅隆大学） ； Gatsby Unit, UCL（UCL加太西单位） ； UBC and Amii（不列颠哥伦比亚大学和Amii） 纠错

AI总结 研究分析了KCI测试中条件核选择对测试性能的影响，揭示了误差和核选择对I型错误率的关键作用。

Comments Published at NeurIPS 2025: https://openreview.net/forum?id=Tn1M71PDfF

ReflCtrl: Controlling LLM Reflection via Representation Engineering

ReflCtrl: 通过表征工程控制LLM的反思

Ge Yan, Chung-En Sun, Tsui-Wei, Weng

机构 * CSE, UCSD（计算机科学与工程系，加州大学圣塔克鲁兹分校） ； HDSI, UCSD（人类-数字系统研究所，加州大学圣塔克鲁兹分校） 纠错

AI总结 ReflCtrl通过表征工程控制LLM的反思行为，减少冗余推理并提升效率。

Comments Spotlight in NeurIPS 25 MI workshop

ValuePilot: A Two-Phase Framework for Value-Driven Decision-Making

ValuePilot：一种面向价值驱动决策的双阶段框架

Yitong Luo, Ziang Chen, Hou Hei Lam, Jiayu zhan, Junqi Wang, Zhenliang Zhang, Xue Feng

机构 * State Key Laboratory of General Artificial Intelligence, BIGAI（1 通用人工智能国家重点实验室，BIGAI） ； Tsinghua University（2 清华大学） ； Peking University（3 北京大学） 纠错

AI总结 ValuePilot通过双阶段框架实现价值驱动的个性化决策，提升AI在复杂场景中的可解释性和适应性。

Comments Accepted at LAW Workshop, NeurIPS 2025

A Systematic Evaluation of Preference Aggregation in Federated RLHF for Pluralistic Alignment of LLMs

对联邦RLHF中偏好聚合的系统评估：为LLM的多元化对齐

Mahmoud Srewa, Tianyu Zhao, Salma Elmalaki

机构 * Department of Electrical Engineering and Computer Science University of California, Irvine（电气工程与计算机科学系 加州大学伊文斯分校） 纠错

AI总结 本文提出了一种自适应偏好聚合方法，通过动态调整权重提升联邦RLHF中LLM的公平性与对齐性能。

Comments This paper is accepted at the NeurIPS 2025 Workshop on Evaluating the Evolving LLM Lifecycle

Structured Sparse Transition Matrices to Enable State Tracking in State-Space Models

结构稀疏转移矩阵用于实现状态空间模型中的状态跟踪

Aleksandar Terzić, Nicolas Menet, Michael Hersche, Thomas Hofmann, Abbas Rahimi

机构 * IBM Research – Zurich（IBM瑞士研究中心） ； Department of Computer Science, ETH Zürich（苏黎世联邦理工学院计算机科学系） 纠错

AI总结 PD-SSM通过结构稀疏参数化转移矩阵，实现高效的状态跟踪，提升FSA模拟能力并优化计算成本。

Comments 10 pages, NeurIPS 2025 Spotlight

Small Batch Size Training for Language Models: When Vanilla SGD Works, and Why Gradient Accumulation Is Wasteful

小批量训练语言模型：当普通SGD有效，以及为何梯度累积是浪费

Martin Marek, Sanae Lotfi, Aditya Somasundaram, Andrew Gordon Wilson, Micah Goldblum

机构 * New York University（纽约大学） ； Columbia University（哥伦比亚大学） 纠错

AI总结 本研究发现小批量训练可稳定训练语言模型，优于大批次，且能使用普通SGD实现稳定训练，无需动量和优化器状态。

Comments NeurIPS 2025. Code available at: https://github.com/martin-marek/batch-size

MIRA: Medical Time Series Foundation Model for Real-World Health Data

MIRA：面向真实世界健康数据的医学时间序列基础模型

Hao Li, Bowen Deng, Chang Xu, Zhiyuan Feng, Viktor Schlegel, Yu-Hao Huang, Yizheng Sun, Jingyuan Sun, Kailai Yang, Yiyao Yu, Jiang Bian

机构 * Microsoft Research（微软研究院） ； University of Manchester（曼彻斯特大学） ； Peking University（北京大学） ； Tsinghua University（清华大学） ； Nanjing University（南京大学） ； Imperial Global Singapore, Imperial College London（帝国理工学院伦敦分校） 纠错

AI总结 MIRA是一种专为医学时间序列预测设计的基础模型，通过连续时间旋转位置编码、频率特定混合专家层和连续动态外推块，实现对不规则时间间隔、异质采样率和缺失值的高效处理，提升医疗时间序列数据的预测精度和跨机构迁移能力。

Comments NeurIPS 2025 Main Conference

NeuralSurv: Deep Survival Analysis with Bayesian Uncertainty Quantification

NeuralSurv: 基于贝叶斯不确定性量化的深度生存分析

Mélodie Monod, Alessandro Micheli, Samir Bhatt

机构 * Imperial College London（帝国学院伦敦分校） ； University of Copenhagen（哥本哈根大学） 纠错

AI总结 NeuralSurv通过贝叶斯不确定性量化提升深度生存分析的校准性能，结合新颖的数据增强方案和高效变分算法，在合成和真实数据中均表现出优越的模型性能。

Journal ref NeurIPS 2025

REP: Resource-Efficient Prompting for Rehearsal-Free Continual Learning

REP：无回放持续学习的资源高效提示

Sungho Jeon, Xinyue Ma, Kwang In Kim, Myeongjae Jeon

机构 * POSTECH 纠错

AI总结 REP通过高效提示方法提升无回放持续学习的资源效率，减少计算和内存消耗，同时保持较高的准确性。

Comments NeurIPS 2025

Pancakes: Consistent Multi-Protocol Image Segmentation Across Biomedical Domains

Pancakes: 在生物医学领域内实现多协议图像分割的一致性

Marianne Rakic, Siyu Gai, Etienne Chollet, John V. Guttag, Adrian V. Dalca

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； MGH（麻省总医院） ； HMS（哈佛医学院） 纠错

AI总结 Pancakes 提出了一种新的框架，能够自动为多个可能的协议生成多标签分割图，同时保持相关图像之间的语义一致性，在生物医学领域内实现多协议图像分割的一致性。

Comments Accepted at NeurIPS 2025. Code available at: https://github.com/mariannerakic/Pancakes

Instance-Level Composed Image Retrieval

实例级组合图像检索

Bill Psomas, George Retsinas, Nikos Efthymiadis, Panagiotis Filntisis, Yannis Avrithis, Petros Maragos, Ondrej Chum, Giorgos Tolias

AI总结 BASIC通过无训练方法利用预训练视觉-语言模型，在实例级组合图像检索中实现了新的状态。

Comments NeurIPS 2025

Balanced conic rectified flow

平衡的锥形修正流

Shin Seong Kim, Mingi Kwon, Jaeseok Jeong, Youngjung Uh

机构 * Yonsei University（延世大学） 纠错

AI总结 本文提出一种结合真实图像的修正流方法，通过减少对生成数据的依赖，提升生成质量与稳定性。

Comments Main paper: 10 pages (total 40 pages including appendix), 5 figures. Accepted at NeurIPS 2025 (Poster). Acknowledgment: Supported by the NRF of Korea (RS-2023-00223062) and IITP grants (RS-2020-II201361, RS-2024-00439762) funded by the Korean government (MSIT)

Journal ref Proceedings of the 39th Annual Conference on Neural Information Processing Systems (NeurIPS 2025)

Skrull: Towards Efficient Long Context Fine-tuning through Dynamic Data Scheduling

Skrull：通过动态数据调度实现高效的长上下文微调

Hongtao Xu, Wenting Shen, Yuanxin Wei, Ang Wang, Guo Runfan, Tianxing Wang, Yong Li, Mingzhen Li, Weile Jia

机构 * School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉学科学院） ； State Key Lab of Processors, Institute of Computing Technology, CAS（中国科学院计算技术研究所 processors 国家重点实验室） ； Alibaba Group（阿里巴巴集团） ； Sun Yat-sen University（中山大学） 纠错

AI总结 Skrull通过动态数据调度提升长上下文微调效率，实现高效训练和性能优化。

Comments Accepted by NeurIPS 2025