Meta

The Asymmetric Effects of Knowledge Distillation on Bias in Small Language Models

知识蒸馏对小型语言模型偏见的非对称影响

Plawan Kumar Rath

机构 * Meta 纠错

AI总结 该研究发现知识蒸馏对小型语言模型偏见存在非对称影响，明确任务下提升上下文遵循能力，模糊任务下破坏弃权校准，提出PCCD协议可捕捉聚合指标遗漏的危害。

Comments 18 pages, 5 figures. Preprint

HumanCLAW: Can Vision-Language Models Act Through a Body?

HumanCLAW：视觉-语言模型能否通过实体身体执行动作

Li Siyao, Jiawei Gu, Shuai Liu, Kairui Hu, Zekun Li, Linjie Li, Chengcheng Tang, Po-Chen Wu, Ivan Shugurov, Lingni Ma, Michael Zollhoefer, Sizhe An, Abhay Mittal, Amy Zhao, Ranjay Krishna, Manling Li, Ziwei Liu, Chuan Guo

机构 * Meta ； Nanyang Technological University（南洋理工大学） ； University of Washington（华盛顿大学） ； Brown University（布朗大学） ； Northwestern University（西北大学） 纠错

AI总结 本研究提出HumanCLAW框架与HumanCLAW-Bench基准，测试9个先进VLM发现其均未解决具身动作任务，最优仅16.8%成功率，核心缺失具身自我意识。

Comments Project page: https://human-claw.github.io/

Target-Aware Early Stage Ranking

生成式早期阶段排序

Juhee Hong, Meng Liu, Shengzhi Wang, Jin Zhou, Xiaoheng Mao, Zhao Zhu, Ruochen Liu, Huihui Cheng, Leon Gao, Christopher Leung, Chandra Mouli Sekar, Yijia Liu, Boyang Yu, Tuan Trieu, Dawei Sun, Jeet Kanjani, Rui Li, Jing Qian, Xuan Cao, Minjie Fan, Mingze Gao

机构 * Meta Platforms, Inc.（Meta平台公司） 纠错

AI总结 生成式早期阶段排序通过混合注意力机制提升推荐效果，结合硬匹配注意力、目标感知自注意力和交叉注意力模块，实现更精准的用户-物品交互建模。