OpenAI

Multi-Turn Evaluation of Deep Research Agents Under Process-Level Feedback

深度研究智能体在过程级反馈下的多轮评估

Rishabh Sabharwal, Hongru Wang, Amos Storkey, Jeff Z. Pan

机构 * Google DeepMind（谷歌DeepMind） ； OpenAI ； Perplexity AI ； LangChain AI 纠错

AI总结 针对深度研究智能体（DRA）在单轮输出评估的不足，提出研究缺口推断（RGI）方法提供过程级反馈，发现单轮过程反馈可提升8-15分，但多轮改进因回归问题难以持续。

Comments Published as a workshop paper at SCALE - ICML 2026 (Oral)

Kunlun: Establishing Scaling Laws for Massive-Scale Recommendation Systems through Unified Architecture Design

Kunlun: 通过统一架构设计建立大规模推荐系统的缩放定律

Bojian Hou, Xiaolong Liu, Xiaoyi Liu, Jiaqi Xu, Yasmine Badr, Mengyue Hang, Sudhanshu Chanpuriya, Junqing Zhou, Yuhang Yang, Han Xu, Qiuling Suo, Laming Chen, Yuxi Hu, Jiasheng Zhang, Huaqing Xiong, Yuzhen Huang, Chao Chen, Yue Dong, Yi Yang, Shuo Chang, Xiaorui Gan, Wenlin Chen, Santanu Kolay, Darren Liu, Jade Nie, Chunzhi Yang, Ellie Wen, Jiyan Yang, Huayu Li

机构 * Meta Platforms, Inc.（Meta平台公司） ； OpenAI 纠错

AI总结 针对大规模推荐系统缺乏可预测缩放定律的问题，提出Kunlun架构，通过低层优化（GDPA、HSP、滑动窗口注意力）和高层创新（CompSkip、事件级个性化）提升模型效率，MFU从17%提升至37%，缩放效率翻倍，已在Meta广告模型部署。

Comments 10 pages, 4 figures