Interleaved Head Attention
交错头部注意力
机构 * Meta ; UT Austin(德克萨斯大学) ; UC Berkeley(伯克利大学) ; Harvard University(哈佛大学) ; MIT(麻省理工学院)
AI总结 交错头部注意力通过构造伪头实现跨头混合,提升多步推理效率,在多项式任务和顺序敏感任务中参数效率提高,实测在RULER和OpenThoughts上取得显著提升。
高校专区
交错头部注意力
机构 * Meta ; UT Austin(德克萨斯大学) ; UC Berkeley(伯克利大学) ; Harvard University(哈佛大学) ; MIT(麻省理工学院)
AI总结 交错头部注意力通过构造伪头实现跨头混合,提升多步推理效率,在多项式任务和顺序敏感任务中参数效率提高,实测在RULER和OpenThoughts上取得显著提升。
HEART:一个评估人类和大语言模型在情感支持对话中能力的统一基准
机构 * Stanford University(斯坦福大学) ; University of California, San Diego(加州大学圣地亚哥分校) ; University of Texas at Austin(德克萨斯大学奥斯汀分校)
AI总结 HEART通过多轮情感支持对话评估人类与大语言模型的能力差异,揭示两者在共情、一致性等维度上的表现及趋同趋势。
MoMaGen: 为多步双臂移动操作生成演示数据以满足软约束和硬约束
机构 * Stanford University(斯坦福大学) ; The University of Texas at Austin(德克萨斯大学奥斯汀分校) ; Amazon(亚马逊公司)
AI总结 MoMaGen通过解决双臂移动操作中的可达性和可见性问题,生成多样化数据集以提升模仿学习策略的训练效果。
Comments Project website: momagen.github.io. The first four authors contribute equally. Accpeted to International Conference on Learning Representations (ICLR 2026)