TAPIOCA: Why Task- Aware Pruning Improves OOD model Capability
TAPIOCA: 为什么任务感知剪枝能提升模型对分布外数据的能力
机构 * ANITI ; Meta ; Apple
AI总结 本文研究了任务感知剪枝在分布外数据上的改进机制,通过实验发现剪枝能提升OOD准确性,其核心贡献是通过几何解释说明任务感知剪枝如何调整模型表示以适应任务需求。
大厂专区
TAPIOCA: 为什么任务感知剪枝能提升模型对分布外数据的能力
机构 * ANITI ; Meta ; Apple
AI总结 本文研究了任务感知剪枝在分布外数据上的改进机制,通过实验发现剪枝能提升OOD准确性,其核心贡献是通过几何解释说明任务感知剪枝如何调整模型表示以适应任务需求。
Neural FOXP2——面向大型语言模型目标语言改进的语言特定神经元引导
机构 * Meta, USA(Meta, 美国) ; Apple, USA(Apple, 美国) ; Pragya Lab, BITS Pilani Goa, India(Pragya实验室,BITS Pilani Goa,印度)
AI总结 提出Neural FOXP2方法,通过定位语言神经元、计算引导方向和施加稀疏激活偏移,将模型默认语言从英语切换为印地语或西班牙语,实现可控的语言主导性。