Muon$^p$: Muon with Fractional Spectral Powers
Muon$^p$: 具有分数谱幂的 Muon
机构 * Princeton University(普林斯顿大学)
AI总结 提出 Muon$^p$ 优化器,通过分数谱幂更新 $US^pV^\top$ 插值 Muon 与梯度下降,证明其无法用单变量多项式迭代计算,并推导低阶双变量递归近似,在保持矩阵乘法结构的同时提升微调性能。
高校专区
Muon$^p$: 具有分数谱幂的 Muon
机构 * Princeton University(普林斯顿大学)
AI总结 提出 Muon$^p$ 优化器,通过分数谱幂更新 $US^pV^\top$ 插值 Muon 与梯度下降,证明其无法用单变量多项式迭代计算,并推导低阶双变量递归近似,在保持矩阵乘法结构的同时提升微调性能。
SuperThoughts: 叠加中的推理令牌
机构 * University of Wisconsin-Madison(威斯康星大学麦迪逊分校) ; Microsoft Research(微软研究院) ; Independent(独立机构) ; Princeton University(普林斯顿大学) ; Rice University(莱斯大学)
AI总结 提出SuperThoughts方法,通过将连续CoT令牌对压缩为单一潜在表示并利用多令牌预测模块解码,在保持训练监督的同时将推理吞吐量翻倍,实现约20-30%的CoT长度缩减且精度损失极小。
扮演魔鬼的代言人:现成的人格向量在顺从性上与针对性引导相媲美
机构 * University of Toronto(多伦多大学) ; Princeton University(普林斯顿大学) ; Purdue University(普渡大学) ; EPFL(瑞士联邦理工学院) ; Algoverse ; Independent(独立)
AI总结 本文研究了不同人格对顺从性的影响,发现现成的人格引导向量在减少顺从性方面与针对性引导相当,且在用户正确时保持准确性。
Journal ref ICML, Pluralistic Alignment Workshop, 2026
MASLab:基于LLM的多智能体系统的统一全面代码库
机构 * Shanghai Jiao Tong University(上海交通大学) ; Shanghai AI Laboratory(上海人工智能实验室) ; University of Oxford(牛津大学) ; Princeton University(普林斯顿大学) ; Meta ; University of Michigan(密歇根大学) ; The University of Sydney(悉尼大学) ; Beihang University(北航) ; Nanyang Technological University(南洋理工大学) ; Nanjing University(南京大学)
AI总结 提出MASLab代码库,集成20余种方法,提供统一环境与标准化评估,降低研究门槛,覆盖10+基准测试和8种模型。
Comments 18 pages, 11 figures