NVIDIA（英伟达）

FlashAttention-4: Algorithm and Kernel Pipelining Co-Design for Asymmetric Hardware Scaling

FlashAttention-4：异构硬件扩展下的算法与内核流水线协同设计

Ted Zadouri, Markus Hoehnerbach, Jay Shah, Timmy Liu, Vijay Thakkar, Tri Dao

机构 * Princeton University（普林斯顿大学） ； Meta ； Colfax Research（Colfax研究公司） ； NVIDIA（NVIDIA公司） ； Georgia Tech（佐治亚理工学院） ； Together AI 纠错

AI总结 FlashAttention-4通过异构硬件扩展下的算法与内核流水线协同设计，提升B200 GPU上的注意力计算效率。

Progressive Residual Warmup for Language Model Pretraining

逐步残差预热用于语言模型预训练

Tianhao Chen, Xin Xu, Lu Yin, Hao Chen, Yang Wang, Shizhe Diao, Can Yang

机构 * The Hong Kong University of Science（香港科学与技术大学） ； NVIDIA, Santa Clara, US（NVIDIA公司） ； The University of Hong Kong, Hong Kong, China（香港大学） ； University of Surrey, Guildford, UK（萨里大学） 纠错

AI总结 ProRes通过逐步残差预热方法提升语言模型预训练的稳定性与收敛速度，实现更快的收敛和更好的性能

Projected Hessian Learning: Fast Curvature Supervision for Accurate Machine-Learning Interatomic Potentials

投影Hessian学习：用于准确机器学习互原子势能的快速曲率监督

Austin Rodriguez, Justin S. Smith, Sakib Matin, Nicholas Lubbers, Kipton Barros, Jose L. Mendoza-Cortes

机构 * Theoretical Division, Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室理论 division） ； Department of Chemical Engineering & Materials Science, Michigan State University（密歇根州立大学化学工程与材料科学系） ； NVIDIA Corp.（NVIDIA 公司） ； Computer and Artificial Intelligence Division, Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室计算机与人工智能 division） ； Center for Nonlinear Studies, Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室非线性研究 center） ； Department of Physics and Astronomy, Michigan State University（密歇根州立大学物理与天文学系） 纠错

AI总结 PHL通过投影Hessian学习实现快速曲率监督，提升机器学习互原子势能的训练效率和精度。

Comments 30 pages, 5 figures, 6 suplementary figures

DiffusionHarmonizer: Bridging Neural Reconstruction and Photorealistic Simulation with Online Diffusion Enhancer

DiffusionHarmonizer: 通过在线扩散增强器连接神经重建与逼真模拟

Yuxuan Zhang, Katarína Tóthová, Zian Wang, Kangxue Yin, Haithem Turki, Riccardo de Lutio, Yen-Yu Chang, Or Litany, Sanja Fidler, Zan Gojcic

机构 * NVIDIA ； University of Toronto（多伦多大学） ； Cornell University（康奈尔大学） ； Technion（技术学院） 纠错

AI总结 DiffusionHarmonizer通过在线扩散增强器提升神经重建与逼真模拟的结合，解决动态物体整合与伪影问题，提高模拟保真度。

Comments For more details and updates, please visit our project website: https://research.nvidia.com/labs/sil/projects/diffusion-harmonizer

Pretraining Large Language Models with NVFP4

用NVFP4预训练大语言模型

NVIDIA, Felix Abecassis, Anjulie Agrusa, Dong Ahn, Jonah Alben, Stefania Alborghetti, Michael Andersch, Sivakumar Arayandi, Alexis Bjorlin, Aaron Blakeman, Evan Briones, Ian Buck, Bryan Catanzaro, Muya Chang, Jinhang Choi, Mike Chrzanowski, Eric Chung, Victor Cui, Steve Dai, Bita Darvish Rouhani, Carlo del Mundo, Deena Donia, Burc Eryilmaz, Henry Estela, Abhinav Goel, Oleg Goncharov, Yugi Guvvala, Robert Hesse, Russell Hewett, Herbert Hum, Ujval Kapasi, Brucek Khailany, Mikail Khona, Nick Knight, Alex Kondratenko, Ronny Krashinsky, Ben Lanir, Simon Layton, Michael Lightstone, Daniel Lo, Paulius Micikevicius, Asit Mishra, Tim Moon, Deepak Narayanan, Chao Ni, Abhijit Paithankar, Satish Pasumarthi, Ankit Patel, Mostofa Patwary, Ashwin Poojary, Gargi Prasad, Sweta Priyadarshi, Yigong Qin, Xiaowei Ren, Oleg Rybakov, Charbel Sakr, Sanjeev Satheesh, Stas Sergienko, Pasha Shamis, Kirthi Shankar, Nishant Sharma, Mohammad Shoeybi, Michael Siu, Misha Smelyanskiy, Darko Stosic, Dusan Stosic, Bor-Yiing Su, Frank Sun, Nima Tajbakhsh, Shelby Thomas, Przemek Tredak, Evgeny Tsykunov, Gandhi Vaithilingam, Aditya Vavre, Rangharajan Venkatesan, Roger Waleffe, Qiyu Wan, Hexin Wang, Mengdi Wang, Lizzie Wei, Hao Wu, Evan Wu, Keith Wyss, Ning Xu, Jinze Xue, Charlene Yang, Yujia Zhai, Ruoxi Zhang, Jingyang Zhu, Zhongbo Zhu

机构 * NVIDIA 纠错

AI总结 本研究提出了一种基于NVFP4的预训练方法，通过整合随机哈达玛变换、二维量化方案和随机舍入等技术，实现稳定且高效的大型语言模型训练。

Comments Update includes: (1) fixing a typo in eq. 2 (2) updating author list, and (3) adding a related work