ICLR

Limits to scalable evaluation at the frontier: LLM as Judge won't beat twice the data

可扩展评估的极限：LLM作为裁判无法超越两倍数据

Florian E. Dorner, Vivian Y. Nastl, Moritz Hardt

机构 * Max Planck Institute for Intelligent Systems, Tübingen（马克斯·普朗克智能系统研究所，图宾根） ； Tübingen AI Center（图宾根人工智能中心） ； ETH Zürich（苏黎世联邦理工学院） 纠错

AI总结 本文研究了使用LLM作为裁判进行模型评估的局限性，发现当裁判准确性不足时，去偏方法无法显著减少所需的真实标签数量。

Comments ICLR 2025; 27 pages, 8 figures

World-in-World: World Models in a Closed-Loop World

世界中的世界：闭环世界中的世界模型

Jiahan Zhang, Muqing Jiang, Nanru Dai, Taiming Lu, Arda Uzunoglu, Shunchi Zhang, Yana Wei, Jiahao Wang, Vishal M. Patel, Paul Pu Liang, Daniel Khashabi, Cheng Peng, Rama Chellappa, Tianmin Shu, Alan Yuille, Yilun Du, Jieneng Chen

机构 * JHU（约翰·霍普金斯大学） ； PKU（北京大学） ； Princeton（普林斯顿大学） ； MIT（麻省理工学院） ； Harvard（哈佛大学） 纠错

AI总结 研究人员推出首个具身场景闭环世界模型基准平台World-in-World，发现视觉质量不保障任务成功，后训练缩放比升级预训练视频生成器更有效，增加推理计算可提升闭环性能。

Comments ICLR 2026 Oral. Add acknowledgement in arxiv v2. Code is at this https URL (https://github.com/World-In-World/world-in-world)