NVIDIA（英伟达）

Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models

作为编码智能体基础模型中间训练的函数感知中间填充

Yubo Wang, Jiarong Liang, Yuxuan Zhang, Xuye Liu, Cong Wei, Yuyu Zhang, Ping Nie, Wenhu Chen

机构 * University of Waterloo（滑铁卢大学） ； University of British Columbia（英属哥伦比亚大学） ； NVIDIA（英伟达公司） ； Verdent AI（Verdent人工智能公司） ； Vector Institute（向量研究所） 纠错

AI总结 研究针对编码智能体将外部工具返回集成到推理中的问题，利用函数感知中间填充进行中间训练，在多个模型上提升了性能，并减轻了后训练对非智能体编码等基准测试的能力侵蚀。

It Takes a MAESTRO To Prune Bad Experts

需要一位大师来修剪不良专家

Palaash Goel, Ayush Maheshwari, Tanmoy Chakraborty

机构 * Indian Institute of Technology Delhi（印度理工学院德里分校） ； NVIDIA（英伟达） 纠错

AI总结 研究针对稀疏激活的MoE语言模型部署瓶颈问题，提出MAESTRO结构化剪枝框架，将专家激活轨迹建模为马尔可夫链以产生全局感知启发式方法，在多领域评估中性能优于基线，跨任务方差低，模型泛化更一致。

Comments 19 pages, 4 figures

Prismatic Synthesis: Gradient-based Data Diversification Boosts Generalization in LLM Reasoning

棱柱形合成：基于梯度的数据多样化提升语言模型推理中的泛化能力

Jaehun Jung, Seungju Han, Ximing Lu, Skyler Hallinan, David Acuna, Shrimai Prabhumoye, Mostafa Patwary, Mohammad Shoeybi, Bryan Catanzaro, Yejin Choi

机构 * NVIDIA Research（NVIDIA研究部） ； University of Washington（华盛顿大学） ； University of Southern California（南加州大学） 纠错

AI总结 研究语言模型训练数据多样性对泛化的作用，提出基于梯度熵的G - Vendi指标，进而构建棱柱形合成框架生成多样合成数据，有效提升模型性能，在多个基准测试中表现优于依赖更大数据生成器的模型。