NVIDIA（英伟达）

FORGE: Fused On-Register Gradient Elimination for Memory-Efficient LLM Training

FORGE: 融合寄存器梯度消除以实现内存高效的大语言模型训练

Dikshant Kukreja, Kritarth Prasad, Avinash Anand, Zhengkui Wang, Erik Cambria, Timothy Liu, Aik Beng Ng, Simon See, Bapi Chatterjee

机构 * Puch AI ； Singapore Institute of Technology（新加坡理工大学） ； Nanyang Technological University（南洋理工大学） ； NVIDIA（英伟达） ； IIIT-Delhi（德里印度理工学院） 纠错

AI总结 提出FORGE方法，将优化器步骤融合到反向传播中，逐块在寄存器中应用，消除梯度张量，减少内存占用并加速训练，在微调和持续预训练中速度提升约1.5倍。

PureLight: Learning Complex Luminaires with Light Tracing

PureLight: 使用光线追踪学习复杂光源

Pedro Figueiredo, Zixuan Li, Beibei Wang, Miloš Hašan, Nima Khademi Kalantari

机构 * Texas A&M University（德克萨斯大学） ； Nankai University（南开大学） ； Nanjing University of Science and Technology（南京理工大学） ； NVIDIA（NVIDIA公司） 纠错

AI总结 提出一种基于神经网络的公式，通过光线追踪和归一化流网络学习复杂光源的辐射分布，并蒸馏为轻量级MLP以实现高效渲染。

Comments 9 pages, 10 figures