Anthropic

Expert Upcycling: Shifting the Compute-Efficient Frontier of Mixture-of-Experts

专家再利用：移动专家架构的计算高效前沿转移

Chaitanya Dwivedi, Binxuan Huang, Himanshu Gupta, Pratik Jayarao, Neeraj Varshney, Bing Yin

机构 * Amazon Stores Foundation AI（亚马逊商店基金会人工智能） ； Carnegie Mellon University（卡内基梅隆大学） ； Anthropic 纠错

AI总结 本文提出专家再利用方法，通过持续预训练逐步扩展MoE模型容量，降低训练成本，实验显示在7B-13B参数规模下，模型验证损失与基线相当，节省32%的GPU小时。

Comments 9 Pages in main paper, 29 Pages total

Uniqueness on a Continuum: Quantifying Tonal Ambiguity Using Information Theory

连续性上的唯一性：利用信息理论量化调性歧义

Michael Seltenreich

机构 * Anthropic PBC（Anthropic 公司） 纠错

AI总结 本文提出连续性的调性歧义度量，扩展了唯一性的概念，通过信息理论方法解决调性唯一性无法区分集合、捕捉有限转调模式的层级组织及时间展开的问题。

Comments 14 pages, 6 figures, 9 tables

Statistical Inference and Quality Measures of KV Cache Quantisations Inspired by TurboQuant

受TurboQuant启发的KV缓存量化统计推断与质量度量

Paolo D'Alberto

机构 * AMD（AMD公司） ； Anthropic 纠错

AI总结 本文分析了三种KV缓存量化方案，在公平的比特预算下，探讨了QJL对内积方差的影响及softmax非线性放大机制，通过实验证明不同方案在KL散度、几何K误差和6D距离上的性能差异。

Comments 23 pages, 7 Figures, multiple tables, the process is highly assisted by AI