Apple（苹果）

Balanced LoRA: Removing Parameter Invariance to Accelerate Convergence

平衡LoRA：消除参数不变性以加速收敛

Valérie Castin, Kimia Nadjahi, Pierre Ablin, Gabriel Peyré

机构 * Apple, Paris, France（苹果公司，巴黎，法国） ； CNRS（法国国家科学研究中心） 纠错

AI总结 针对LoRA过参数化导致不同低秩因子对条件数差异大而影响收敛速度的问题，提出BaLoRA，通过投影到平衡流形改善损失景观条件，实现更快收敛和更优性能。

Comments Accepted at ICML 2026

Not All Synthetic Data Is Yours to Learn From

并非所有合成数据都适合学习

Sina Alemohammad, Li Chen, Richard G. Baraniuk, Zhangyang Wang

机构 * ECE Department（电子工程系） ； Apple（苹果公司） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Rice University（里奇大学） 纠错

AI总结 研究无提示、无教师、无验证器、无奖励模型的自训练中，语言模型能否从自身生成的文本中学习，发现合成数据与学生之间的兼容性是关键，并揭示了能力与逐字记忆可分离的现象。

LaCy: What Small Language Models Can and Should Learn is Not Just a Question of Loss

LaCy: 小型语言模型能学且应学的不仅仅是损失问题

Szilvia Ujváry, Louis Béthune, Pierre Ablin, João Monteiro, Marco Cuturi, Michael Kirchhof

机构 * Apple（苹果公司） ； University of Cambridge（剑桥大学） 纠错

AI总结 研究在预训练中，小型语言模型（SLM）应学习哪些token以及应通过<CALL>委托哪些token，提出结合损失和事实性信号的LaCy方法，提升SLM在级联生成中的事实准确性。

Comments 40 pages, 26 figures, 10 tables, preprint. v3-v4: new results for RAG, ablations and additional analysis

Multi-Agent Teams Hold Experts Back

多智能体团队阻碍专家发挥

Aneesh Pappu, Batu El, Hancheng Cao, Carmelo di Nolfo, Yanchao Sun, Meng Cao, James Zou

机构 * stanford（斯坦福大学） ； apple（苹果公司） ； goizueta business school, emory（埃默里大学戈izueta商学院） 纠错

AI总结 研究自组织多智能体LLM团队在无约束协调下无法匹配专家性能，发现整合妥协行为是主要瓶颈，导致性能损失高达41.1%。

Comments Accepted at the International Conference on Machine Learning (ICML 2026)