Meta

End-to-End Context Compression at Scale

端到端上下文压缩的规模化

Ang Li, Sean McLeish, Haozhe Chen, Nimit Kalra, Zaiqian Chen, Artem Gazizov, Venkata Anoop Suhas Kumar Morisetty, Bhavya Kailkhura, Harshitha Menon, Zhuang Liu, Brian R. Bartoldson, Tom Goldstein, Sanae Lotfi, Micah Goldblum, Pavel Izmailov

机构 * New York University（纽约大学） ； Modal Labs（Modal实验室） ； University of Maryland（马里兰大学） ； Princeton University（普林斯顿大学） ； Columbia University（哥伦比亚大学） ； Harvard University（哈佛大学） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； FAIR at Meta（Meta FAIR实验室） 纠错

AI总结 本研究通过架构搜索和持续预训练，提出潜在上下文语言模型（LCLMs），一种端到端编码器-解码器压缩器，在通用任务性能、压缩速度和峰值内存上改进帕累托前沿，并可作为长时智能体的高效骨干。

Decoy-Calibrated Failure Audits for Language Models

语言模型的诱饵校准失败审计

Vyzantinos Repantis, Ameya Gawde, Harshvardhan Singh

机构 * Meta Platforms（Meta平台） 纠错

AI总结 提出Janus程序，通过诱饵校准和留出数据验证，判断语言模型错误解释的可信度，避免选择偏差。

Comments 14 pages, 5 figures, 4 tables

Ego-Pi: VLA Fine-Tuning for Ego-Centric Human and Robot Data

Ego-Pi: 面向自我中心人类与机器人数据的VLA微调

Ji Woong Kim, Ke Wang, Zipeng Fu, Sirui Chen, Cong Zhao, Jeff Lai, Chelsea Finn

机构 * Stanford University（斯坦福大学） ； Meta 纠错

AI总结 为解决机器人数据稀缺问题，利用自我中心人类数据，基于π₀.₅模型微调，使机器人学习新任务语义并组合现有技能，无需对应机器人数据。

OmniFaceRig: Fully Automatic Inner-Mouth-Aware Face Rigging Across Diverse 3D Character Topologies

OmniFaceRig: 跨多种3D角色拓扑的全自动内口感知面部绑定

Chao Wang, Guangyao Ma, John Doublestein, Junming Chen, Yiming Lin, Zhaoen Su, Xiaomin Luo, Shiyang Cheng, Jie Shen, Doug Roble, Dilin Wang, Yilei Li, Rakesh Ranjan

机构 * Reality Labs, Meta（Meta现实实验室） 纠错

AI总结 提出全自动端到端管道OmniFaceRig，将静态表面网格转换为含内口几何的FACS绑定，支持人类、人形及多种动物拓扑，无需手动标注或模板。

Wispy to Voluminous: Prior-free Multi-view Capture of Strand-level Facial Hair

从稀疏到浓密：无先验的多视角面部毛发级联重建

Jaeseong Lee, Giljoo Nam, Adrian Jarabo, Carlos Aliaga

机构 * KAIST（韩国科学技术院） ； Meta Codec Avatar Lab（Meta 编码人像实验室） ； Meta Reality Labs Research（Meta现实实验室） 纠错

AI总结 提出从多视角图像自动重建面部毛发（胡须、眉毛等）的管线，将无结构3D高斯表示转换为显式曲线发丝，解决几何歧义，实现高保真发丝重建。

Comments 27 pages, 16 figures, supplementary included

Post-training is (Massive) Supervised Learning

后训练是（大规模）监督学习

Michael Hassid, Yossi Adi, Roy Schwartz

机构 * FAIR, Meta AI（Meta AI 基础人工智能研究团队） ； The Hebrew University of Jerusalem（耶路撒冷希伯来大学） 纠错

AI总结 本文论证当前LLM后训练阶段（SFT+RL）实质是回归到BERT时代的“预训练-微调”范式，通过实验表明从零开始后训练的模型也能取得显著性能，并提出应转向“学会学习”的训练方式。