CRoPE: Efficient Parametrization of Rotary Positional Embedding
CRoPE:旋转位置嵌入的高效参数化
机构 * Stanford University(斯坦福大学) ; d-Matrix ; University of Florida(佛罗里达大学)
AI总结 CRoPE通过将旋转位置嵌入的参数化从复数线性变换改为更自然的参数方式,节省近50%参数,同时不影响模型性能,提升参数使用效率和表示空间的解释性。
高校专区
CRoPE:旋转位置嵌入的高效参数化
机构 * Stanford University(斯坦福大学) ; d-Matrix ; University of Florida(佛罗里达大学)
AI总结 CRoPE通过将旋转位置嵌入的参数化从复数线性变换改为更自然的参数方式,节省近50%参数,同时不影响模型性能,提升参数使用效率和表示空间的解释性。
去混淆分数与因果效应估计中的弱重叠
机构 * University of Oxford(牛津大学) ; Google DeepMind(谷歌DeepMind) ; University of California, Santa Barbara(加州大学圣塔芭芭拉分校) ; Stanford University(斯坦福大学) ; Ellison Institute of Technology(埃里森技术研究所) ; University of California, Berkeley(加州大学伯克利分校)
AI总结 本文提出去混淆分数以改善因果效应估计中的重叠问题,通过最小化重叠分歧并推导广义线性模型下的闭式表达式,验证了前瞻性分数在该类中的最优性。
Comments To appear at AISTATS 2026
从人类数据学习人形导航
机构 * Stanford University(斯坦福大学)
AI总结 本文提出EgoNav系统,通过5小时人类行走数据训练人形机器人自主导航,无需机器人数据或微调。采用扩散模型预测未来轨迹分布,结合360度视觉记忆与DINOv3骨干网络,实现实时推理与路径选择,验证了在未知环境中避障和多模态覆盖的优越性。
Comments 8 pages 8 figures
面向视角的对话编译器用于代理轨迹分析
机构 * Stanford University(斯坦福大学)
AI总结 本文提出VCC编译器,将原始代理JSONL日志转换为结构化视角,提升轨迹分析质量,减少token消耗并提升模型性能。
Comments Code: https://github.com/lllyasviel/VCC
通过生成因果中介进行激活引导
机构 * CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室) ; Stanford University(斯坦福大学) ; Goodfire Research
AI总结 研究提出生成因果中介(GCM)方法,通过对比长形式响应选择模型组件,以局部化和控制扩散行为,如诗歌式 vs. 论文式表达,在三种语言模型上验证其有效性。
统一的医学图像标记器用于自回归合成与理解
机构 * Fudan University(复旦大学) ; Shanghai Innovation Institute(上海创新研究院) ; Stanford University(斯坦福大学) ; Shanghai AI Laboratory(上海人工智能实验室) ; ByteDance Seed(字节跳动Seed)
AI总结 本文提出MedITok,通过两阶段训练框架统一医学图像标记器,利用大规模未配对图像提升重建精度,并结合图像-文本对注入细粒度语义,实现自回归建模在诊断和生成任务中的应用。
即兴游戏作为AI代理社交智能的基准测试:以Connections为例
机构 * Duke University(杜克大学) ; Stanford University(斯坦福大学)
AI总结 本文通过即兴词游戏Connections探讨AI代理的推理能力,提出该游戏作为测试社交智能的基准,涵盖知识检索、总结及认知状态意识等核心能力。
Comments https://wordplay-workshop.github.io/wordplay2024/pdfs/16.pdf
Journal ref https://wordplay-workshop.github.io/wordplay2024/pdfs/16.pdf