MoE Routing Testbed: Studying Expert Specialization and Routing Behavior at Small Scale
MoE路由测试平台:研究专家专业化和路由行为的小规模情况
机构 * Amazon AGI(亚马逊AGI)
AI总结 本文提出MoE路由测试平台,通过对比不同路由方法,验证了在小规模下平衡范围是实现专家专业化和高利用的关键因素。
大厂专区
MoE路由测试平台:研究专家专业化和路由行为的小规模情况
机构 * Amazon AGI(亚马逊AGI)
AI总结 本文提出MoE路由测试平台,通过对比不同路由方法,验证了在小规模下平衡范围是实现专家专业化和高利用的关键因素。
ProofSketcher: 混合LLM + 轻量级证明检查器用于可靠的数学/逻辑推理
机构 * Amazon Web Services, Inc(亚马逊云科技)
AI总结 本文提出混合方法,结合LLM生成类型化证明草图与轻量级可信内核,以提升数学逻辑推理的可靠性。
主钥假说:通过线性子空间对齐实现跨模型能力转移
机构 * Virginia Tech(弗吉尼亚理工大学) ; Amazon(亚马逊) ; UNC Chapel Hill(北卡罗来纳大学教堂山分校)
AI总结 本文提出主钥假说,通过线性子空间对齐实现跨模型能力转移,无需重新训练,实验显示在不同模型规模上显著提升性能。
AugLift:基于深度的输入重参数化提升2D到3D姿态提升的领域泛化
机构 * Georgia Institute of Technology(佐治亚理工学院) ; Rutgers University(罗格斯大学) ; Amazon(亚马逊) ; Stanford University(斯坦福大学)
AI总结 AugLift通过将姿态提升的表示从2D坐标转换为6D几何描述,改进了领域泛化。在检测任务中,它减少了跨数据集MPJPE并提高了分布内准确性,展示了基础模型深度在补充显式3D增强方面的有效性。
Comments Preprint. Under review
差分隐私的最佳臂识别
机构 * FairPlay Joint Team, CREST, ENSAE Paris(FairPlay联合团队,CREST,巴黎高等经济商业学院) ; EPFL, Lausanne, Switzerland(瑞士洛桑联邦理工学院) ; Amazon(亚马逊) ; Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189 - CRIStAL, F-59000 Lille, France(里尔大学,法国国家信息与自动化研究所,法国国家科学研究中心,中央理工-里尔高等电力学院,UMR 9189 - CRIStAL,法国里尔F-59000)
AI总结 本文研究在差分隐私下最佳臂识别问题,提出CTB-TT和AdaP-TT*算法,在高隐私和低隐私情况下分别达到最优样本复杂度下界。
Comments 85 pages, 5 figures, 3 tables, 11 algorithms. To be published in the Journal of Machine Learning Research 27. This journal paper is an extended version of the conference paper Azize et al. ("On the Complexity of Differentially Private Best-Arm Identification with Fixed Confidence", NeurIPS 2023)