Scaling Laws for Task-Specific LLM Distillation
任务特定LLM蒸馏的缩放定律
机构 * NVIDIA(英伟达)
AI总结 本文推导了领域特定LLM压缩的经验缩放定律,通过定量金融领域的实验,比较了基于logit和LoRA的蒸馏方法,并引入混合思维链监督损失,揭示了监督格式对领域知识与通用知识权衡的关键作用。
Comments 24 pages, 13 figures
大厂专区
任务特定LLM蒸馏的缩放定律
机构 * NVIDIA(英伟达)
AI总结 本文推导了领域特定LLM压缩的经验缩放定律,通过定量金融领域的实验,比较了基于logit和LoRA的蒸馏方法,并引入混合思维链监督损失,揭示了监督格式对领域知识与通用知识权衡的关键作用。
Comments 24 pages, 13 figures
SemanticXR: 低功耗实时可查询语义建图与对象级设备-云架构
机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) ; NVIDIA
AI总结 提出首个设备-云协同系统SemanticXR,通过对象级通信、执行和内存管理,在XR功耗、带宽和内存约束下实现实时开放词汇语义建图与查询,服务器建图延迟提升2.2倍,设备功耗仅增加2%。
Comments Proceedings of the IEEE International Symposium on Mixed and Augmented Reality (ISMAR), 2026
从运动学至路由视觉控制:用于动作条件化外科视频生成
机构 * SJTU(上海交通大学) ; NUS(国立新加坡大学) ; THU(清华大学) ; EIT(欧洲研究所) ; WHU(武汉大学) ; Harvard(哈佛大学) ; NVIDIA(NVIDIA公司) ; CUHK(香港大学)
AI总结 本文提出一种运动学至视觉提升范式,通过五种图像对齐的控制模态生成动作条件化外科视频,采用分层路由框架提升控制精度与效率,构建新基准并验证方法有效性。
模式寻求与均值寻求的结合用于快速长视频生成
机构 * Stanford University, California, USA(斯坦福大学) ; NVIDIA Research, California, USA(NVIDIA研究)
AI总结 本文提出一种结合模式寻求与均值寻求的解耦扩散变换器,通过监督学习生成快速长视频,提升长距离连贯性和局部真实感。
Comments Project website: this https URL (https://primecai.github.io/mmm/)