TAPIOCA: Why Task- Aware Pruning Improves OOD model Capability
TAPIOCA: 为什么任务感知剪枝能提升模型对分布外数据的能力
机构 * ANITI ; Meta ; Apple
AI总结 本文研究了任务感知剪枝在分布外数据上的改进机制,通过实验发现剪枝能提升OOD准确性,其核心贡献是通过几何解释说明任务感知剪枝如何调整模型表示以适应任务需求。
大厂专区
TAPIOCA: 为什么任务感知剪枝能提升模型对分布外数据的能力
机构 * ANITI ; Meta ; Apple
AI总结 本文研究了任务感知剪枝在分布外数据上的改进机制,通过实验发现剪枝能提升OOD准确性,其核心贡献是通过几何解释说明任务感知剪枝如何调整模型表示以适应任务需求。
Neural FOXP2——面向大型语言模型目标语言改进的语言特定神经元引导
机构 * Meta, USA(Meta, 美国) ; Apple, USA(Apple, 美国) ; Pragya Lab, BITS Pilani Goa, India(Pragya实验室,BITS Pilani Goa,印度)
AI总结 提出Neural FOXP2方法,通过定位语言神经元、计算引导方向和施加稀疏激活偏移,将模型默认语言从英语切换为印地语或西班牙语,实现可控的语言主导性。
GPO:从关键步骤中学习以改进大语言模型推理
机构 * Department of Computer Science Northwestern University(计算机科学系西北大学) ; AI Foundations Capital One(人工智能基础资本 one) ; Meta AI
AI总结 提出引导式关键优化(GPO)微调策略,通过识别推理轨迹中的关键步骤并优先学习,显著提升大语言模型的多步推理能力。
Comments 39th Conference on Neural Information Processing Systems (NeurIPS 2025)