Meta

Scaling Muon for Diffusion Transformers

针对扩散Transformer的Muon优化器的缩放研究

Chenghao Li, Xiao Han, Xinxin Huang, Wei Liu, Boyang Li, Bing Xiao, Heran Zhang, Juanma Perez Rua, Ke Xu, Kangning Liu, Linjun Kuang, Na Li, Tan Wang, Tian Xie, Wei Peng, Yang Pei, Yifan Xu, Yuanhao Zhai, Yuwei Lin, Zhe Wang, Zihao He, Daniel Li, Junbiao Tang, Ziyang Jiang, Dake Chen

机构 * University of Southern California（南加州大学） ； Meta 纠错

AI总结 该研究针对大型扩散Transformer的Muon优化器，提出周期性行级Muon，在保留其生成质量优势的同时，大幅降低训练的计算、通信开销与时间。

AI Research Preference Models

AI研究偏好模型

Thomas Simon Foster, Bassel Al Omari, Tingchen Fu, Thomas Mann, Carl Domond, Lucia Cipolina-Kun, Bhavul Gauri, Muna Aghamelu, Alexander D. Goldie, Eryk Helenowski, Jean-Christophe Gagnon-Audet, Alberto Pepe, Saba Nazir, Daniel Izcovich, Noam Levi, Rishi Hazra, Karen Hambardzumyan, Nicolas Baldwin, Xian Li, Martin Josifoski, Paris Giampouras, Masoud Jalili Sabet, Anya Sims, Hela Momand, Tatiana Shavrina, Despoina Magka, Jason Weston, Yulin Wang, Anirudh Goyal, João Henriques, Yoram Bachrach, Emily McMilin, Jakob Nicolaus Foerster

机构 * FAIR at Meta ； University of Oxford（牛津大学） ； University College London（伦敦大学学院） 纠错

AI总结 该研究针对AI研究智能体的候选方案评估成本过高问题，提出AI研究偏好模型，将其集成到AIRA-dojo智能体后提升了基准任务性能，且达到目标性能的时间更短、预算更少。

Comments 34 pages, 17 figures, 6 tables

S-EMBER: A Large-Scale Benchmark for Streaming Egocentric Memory Retrieval

S-EMBER：用于流式自我中心记忆检索的大规模基准测试

Xiaodong Wang, Xuanyi Zhao, Pedro Rodriguez, Devendra Singh Sachan, Barlas Oguz, Seungwhan Moon, Shang-Wen Li, Gargi Ghosh, Xin Dong, Wen-Tau Yih

机构 * FAIR, Meta（公平研究院，元公司） ； Reality Labs, Meta（现实实验室，元公司） 纠错

AI总结 研究针对可穿戴设备连续第一人称记录下AI助手的情景记忆问题，引入S-EMBER基准测试，通过视频及问答对模拟真实交互，发现前沿模型存在定位矛盾，为可穿戴AI代理情景记忆发展奠定基础。