Meta

WinQ: Accelerating Quantization-Aware Training of Language Models Around Saddle Points

WinQ: 加速围绕鞍点的语言模型量化感知训练

Dongyue Li, Zechun Liu, Kai Yi, Zhenshuo Zhang, Changsheng Zhao, Raghuraman Krishnamoorthi, Harshit Khaitan, Hongyang R. Zhang, Steven Li

机构 * Northeastern University, MA（东北大学） ； Meta AI, CA（Meta AI） 纠错

AI总结 本文研究了量化感知训练（QAT）在低比特宽度下的收敛问题，提出WinQ算法通过重置权重和噪声注入梯度来加速训练并提升性能。

Comments 23 pages; To appear in ICML 2026

PAVE: A Cognitive Architecture for Legitimate Violation in Generative Agent Societies

PAVE：生成代理社会中的合法违规认知架构

Ahmad Yehia, Abduallah Mohamed, Kun Qian, Tianyi Wang, Jiseop Byeon, Omar Hassanin, Christian Claudel

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Meta Reality Labs（Meta现实实验室） ； University of Calgary（卡尔加里大学） 纠错

AI总结 本文提出PAVE认知架构，通过四个模块处理生成代理在需要违规的场景中的推理问题，实现了合法违规、对权威的服从、有限的范围和恢复四个特性，同时提高了决策的结构化和可解释性。

Comments Preprint. 23 pages, 4 figures. Code and environment will be released upon publication

EgoBabyVLM: Benchmarking Cross-Modal Learning from Naturalistic Egocentric Video Data

EgoBabyVLM：基于自然主义第一人称视频数据的跨模态学习基准测试

Dongyan Lin, Phillip Rust, Angel Villar Corrales, Alvin W. M. Tan, Mahi Luthra, Charles-Éric Saint-James, Rashel Moritz, Sheila Krogh-Jespersen, Vanessa Stark, Surya Parimi, Jiayi Shen, Youssef Benchekroun, Yosuke Higuchi, Martin Gleize, Tom Fizycki, Nicolas Hamilakis, Manel Khentout, Sho Tsuji, Balázs Kégl, Juan Pino, Michael C. Frank, Emmanuel Dupoux

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； Stanford University（斯坦福大学） ； Meta Reality Labs（Meta现实实验室） ； The University of Tokyo（东京大学） 纠错

AI总结 研究探讨了儿童如何从有限的视觉-语言输入中获得语言 grounding 的鲁棒性，提出了 EgoBabyVLM 挑战，推动模型在自然主义数据中实现 grounded language learning。

ScheduleFree+: Scaling Learning-Rate-Free & Schedule-Free Learning to Large Language Models

ScheduleFree+: 将学习率自由和调度自由学习扩展到大型语言模型

Aaron Defazio

机构 * FAIR at Meta Super-Intelligence Labs（Meta 超智能实验室） 纠错

AI总结 本文提出了一种学习率自由和调度自由的学习方法（ScheduleFree+），用于训练大型语言模型，该方法在大规模训练中显著优于传统的Warmup-Stable-Decay（WSD）调度方案，并证明了调度自由学习在长周期训练中的有效性。

Embedding by Elicitation: Dynamic Representations for Bayesian Optimization of System Prompts

通过 elicitation 进行嵌入：用于系统提示贝叶斯优化的动态表示

Zhiyuan Jerry Lin, Benjamin Letham, Samuel Dooley, Maximilian Balandat, Eytan Bakshy

机构 * Meta 纠错

AI总结 本文研究了在仅有聚合反馈的情况下，如何通过动态表示进行系统提示的贝叶斯优化，提出了一种基于 elicitation 的嵌入方法 ReElicit，利用 LLM 构建可解释的特征空间，并通过概率高斯过程代理选择目标特征向量，最终实现系统提示的优化。

Transformation-Augmented GRPO for Enhancing Exploration in Reasoning of Large Language Models

增强推理探索的变换增强GRPO

Khiem Le, Phuc Nguyen, Youssef Mroueh, Chi-Heng Lin, Shangqian Gao, Ting Hua, Nitesh V. Chawla

机构 * University of Notre Dame（诺特大学） ； IBM Research（IBM研究院） ； Meta AI ； Florida State University（佛罗里达州立大学） 纠错

AI总结 本文提出变换增强GRPO（TA-GRPO）方法，通过问题重述解决大语言模型强化学习中梯度消失和多样性崩溃问题，提升模型在推理任务中的探索能力。

ProJo4D: Progressive Joint Optimization for Sparse-View Inverse Physics Estimation

ProJo4D：渐进式联合优化用于稀疏视图逆物理估计

Daniel Rho, Jun Myeong Choi, Biswadip Dey, Roni Sengupta

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Meta Reality Labs（Meta现实实验室） 纠错

AI总结 本文提出ProJo4D，一种渐进式联合优化框架，用于解决稀疏视图下逆物理参数估计问题，通过逐步扩展联合优化参数集，提高了4D未来状态预测和物理参数估计的准确性，达到几何精度提升10倍的性能。

Comments TMLR 2026

EgoTraj: Real-World Egocentric Human Trajectory Dataset for Multimodal Prediction

EgoTraj: 用于多模态预测的现实世界人轨迹数据集

Ahmad Yehia, Abduallah Mohamed, Tianyi Wang, Jiseop Byeon, Kun Qian, Junfeng Jiao, Christian Claudel

机构 * Department of Civil, Architectural, and Environmental Engineering, The University of Texas at Austin（土木、建筑与环境工程系，德克萨斯大学奥斯汀分校） ； Meta Reality Labs（Meta现实实验室） ； School of Architecture, The University of Texas at Austin（建筑学院，德克萨斯大学奥斯汀分校） 纠错

AI总结 本文提出EgoTraj数据集，用于多模态预测，包含75个真实城市环境中的人导航轨迹，提供了同步的RGB视频和地面真实数据，包括6自由度头部姿态、3D眼 gaze向量和场景注释，展示了该数据集在AR感知、导航和辅助系统中的应用价值。

Comments 21 pages, 14 figures. Project page: https://github.com/yehiahmad/EgoTraj

The 99% Success Paradox: When Near-Perfect Retrieval Equals Random Selection

99%成功悖论：当近完美检索等于随机选择

Vyzantinos Repantis, Harshvardhan Singh, Tony Joseph, Cien Zhang, Akash Vishwakarma, Svetlana Karslioglu, Michael Wyatt Thot, Ameya Gawde

机构 * Meta Platforms Inc.（Meta平台公司） 纠错

AI总结 该研究引入了Bits-over-Random（BoR）指标，揭示了高成功率可能掩盖随机水平性能的现象，指出在大规模数据集上，即使检索结果覆盖率达到99%，其选择性仍可能接近零，从而表明需要重新考虑检索深度和传统指标的报告方式。

Comments 12 pages, 2 figures, 7 tables. Accepted at ICLR 2026 Blog Track, https://iclr-blogposts.github.io/2026/blog/2026/bits-over-random/

Journal ref ICLR Blog Track 2026, https://iclr.cc/virtual/2026/poster/10012083