Meta

Quantifying Hyperparameter Transfer and the Importance of Embedding Layer Learning Rate

量化超参数迁移与嵌入层学习率的重要性

Dayal Singh Kalra, Maissam Barkeshli

机构 * Department of Physics, University of Maryland, College Park（马里兰大学物理系） ； Department of Computer Science, University of Maryland, College Park（马里兰大学计算机科学系） ； Joint Quantum Institute, University of Maryland, College Park（马里兰大学联合量子研究所） ； Meta Superintelligence Labs, Fundamental AI Research（Meta超智能实验室，基础人工智能研究） 纠错

AI总结 本文研究了超参数迁移的量化方法，通过三种指标评估超参数迁移的质量，发现Maximal Update（μP）参数化在训练中通过最大化嵌入层学习率提升了超参数迁移质量，而权重衰减虽改善了缩放定律拟合，但会降低外推鲁棒性。

Comments 10+28 pages, 5+17 figures

Latent Dynamics for Full Body Avatar Animation

基于潜在动态的全身动画 avatar

Shichong Peng, Chengxiang Yin, Fei Jiang, Zhongshi Jiang, Lingchen Yang, Qingyang Tan, Amin Jourabloo, Jason Saragih, Ke Li, Christian Häne

机构 * Simon Fraser University（西蒙弗雷泽大学） ； Codec Avatars Lab, Meta（Meta编码化身实验室） 纠错

AI总结 本文提出了一种基于潜在动态的全身动画 avatar 方法，通过引入 transformer 解码器和动态残差潜在变量，实现了更精确的动态模拟，提高了动画质量。

Comments Supplementary video: https://youtu.be/xjnr3YM0yIE

torchtune: PyTorch native post-training library

torchtune: 一种基于PyTorch的后训练库

Mark Obozov, Maxime Griot, Joseph Cummings, Evan Smothers, Felipe Mello, Rafi Ayub, Philip John Bontrager, Salman Mohammadi, Ariel Kwiatkowski, Nathan Azrak, Mircea Mironenco

机构 * PyTorch ； Meta ； Stanford（斯坦福） ； Meta-FAIR 纠错

AI总结 本文介绍了torchtune，一种基于PyTorch的后训练库，旨在简化大语言模型的后训练生命周期，提供高效的微调、实验和部署流程，通过模块化和可扩展性提升性能和灵活性。

Comments 14 pages

CODA: Rewriting Transformer Blocks as GEMM-Epilogue Programs

CODA：将Transformer块重写为GEMM-epilogue程序

Han Guo, Jack Zhang, Arjun Menon, Driss Guessous, Vijay Thakkar, Yoon Kim, Tri Dao

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Princeton University（普林斯顿大学） ； Together AI ； Meta 纠错

AI总结 本文提出CODA，一种将Transformer中的非注意力计算重写为GEMM-epilogue程序的GPU内核抽象，以提高训练效率和硬件利用效率。

Divide et Calibra: Multiclass Local Calibration via Vector Quantization

Divide et Calibra: 通过向量量化实现多类局部校准

Cesare Barbera, Lorenzo Perini, Giovanni De Toni, Andrea Passerini, Andrea Pugnana

机构 * University of Pisa（比萨大学） ； University of Trento（特伦托大学） ； Meta ； Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会） 纠错

AI总结 本文提出了一种复合方法，通过向量量化诱导表示空间的结构划分，并利用Dirichlet浓度的参数化实现跨区域参数共享，从而学习出能泛化到稀疏区域的异质校准映射，提升了局部校准性能同时保持了全局校准和预测性能。

Instant GPU Efficiency Visibility at Fleet Scale

在舰队规模上实现GPU效率的即时可见性

Connor Pedersen, Dong H. Ahn, Michel Migdal, Collin Neale, Nik Konyuchenko

机构 * Microsoft（微软） ； Alphabet ； Meta 纠错

AI总结 本文提出了一种硬件级别的GPU效率指标Overall FLOP Utilization (OFU)，用于HPC系统上的AI工作负载，通过两种芯片级性能计数器：张量管道活动和SM时钟频率来推导。OFU无需应用程序仪器化，适用于所有GPU代际和数值精度。通过在H100和GB200上进行受控的GEMM实验，研究了OFU近似值的五个属性，并在FP16、TF32、FP8和NVFP4上进行了验证。经过瓷砖量化修正后，OFU可以预测应用级别的MFU误差不超过2个百分点。在608个生产训练任务中，OFU与应用级别的MFU相关性达到0.78，并揭示了两个框架级别的FLOPs计算错误。在大规模GPU舰队上部署后，OFU检测到2.5倍的效率退化，并追踪了混合精度预训练中的精度依赖性利用变化。评估和运营经验表明，OFU是应用级别MFU的实用且可部署的补充，用于持续的舰队级效率监控。

Comments 12 pages, 7 figures, 3 tables

WorldParticle: Unified World Simulation of Lagrangian Particle Dynamics via Transformer

WorldParticle：通过Transformer实现拉格朗日粒子动力学的统一世界模拟

Caoliwen Wang, Minghao Guo, Siyuan Chen, Heng Zhang, Mengdi Wang, Xingyu Ni, Hanson Sun, Kunyi Wang, Zherong Pan, Kui Wu, Lingjie Liu, Yin Yang, Chenfanfu Jiang, Taku Komura, Wojciech Matusik, Peter Yichen Chen

机构 * University of British Columbia（不列颠哥伦比亚大学） ； MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； Georgia Institute of Technology（佐治亚理工学院） ； Inria（法国国家信息与自动化技术研究院） ； Meta ； Independent Researcher（独立研究者） ； University of Pennsylvania（宾夕法尼亚大学） ； University of Utah（犹他大学） ； University of California Los Angeles（加州大学洛杉矶分校） ； University of Hong Kong（香港大学） 纠错

AI总结 本文提出基于Transformer架构的粒子模拟器，能够统一模拟布料、弹性固体、牛顿流体、非牛顿流体、颗粒材料和分子动力学等不同物理现象，通过预测-校正设计和粒子表示，实现高效的模拟与泛化。

Hand-in-the-Loop: Improving VLA Policies for Dexterous Manipulation via Seamless Hand-Arm Intervention

手在环中：通过无缝手臂干预改进VLA策略以实现灵巧操作

Zhuohang Li, Liqun Huang, Wei Xu, Zhengming Zhu, Nie Lin, Xiao Ma, Xinjun Sheng, Ruoshi Wen

机构 * State Key Laboratory of Mechanical System and Vibration, School of Mechanical Engineering, Shanghai Jiao Tong University（机械系统与振动国家重点实验室，机械工程学院，上海交通大学） ； Shanghai Key Laboratory of Intelligent Robotics, Meta Robotics Institute, Shanghai Jiao Tong University, Shanghai 200240, China（智能机器人上海市重点实验室，元机器人研究院，上海交通大学，上海200240，中国） ； The University of Tokyo（东京大学） 纠错

AI总结 本文提出Hand-in-the-Loop方法，通过无缝整合人类干预与自主策略执行，减少手部操作中的突兀变化，提升双臂灵巧操作的鲁棒性和效率。

Open Materials 2024 (OMat24) Inorganic Materials Dataset and Models

开放材料2024（OMat24）无机材料数据集和模型

Luis Barroso-Luque, Muhammed Shuaibi, Xiang Fu, Brandon M. Wood, Misko Dzamba, Meng Gao, Ammar Rizvi, C. Lawrence Zitnick, Zachary W. Ulissi

机构 * Fundamental AI Research (FAIR) at Meta（Meta 基础人工智能研究（FAIR）） 纠错

AI总结 本研究提出了一种大规模公开数据集OMat24和预训练模型，旨在解决材料发现中公开训练数据和预训练模型不足的问题，通过密度泛函理论计算和先进模型提升材料科学的AI应用。

Comments 19 pages