NVIDIA（英伟达） - arXivDaily 大厂专区

2608.02050 2026-08-04 cs.CL cs.AI cs.LG 新提交

TextNCA: Neural Cellular Automata for Language Modeling via Hierarchical Local Attention

TextNCA：通过分层局部注意力实现语言建模的神经细胞自动机

Avni Mittal, Avinash Anand, Ashutosh Kumar, Dikshant Kukreja, Kritarth Prasad, Sushane Dulloo, Erik Cambria, Timothy Liu, Zhengkui Wang, Rajiv Ratn Shah

机构 * Singapore Institute of Technology（新加坡理工学院）； IIIT Delhi（德里印度信息技术学院）； Nanyang Technological University（南洋理工大学）； NVIDIA AI Technology Centre（英伟达人工智能技术中心）

AI总结本研究提出分层局部注意力的TextNCA模型作为分析探针，发现其性能受从窄到宽的分阶段调度主导，迭代和GRU门控等仅带来小增益。

2608.01284 2026-08-04 cs.LG cs.AI 新提交

Training nGPT

训练nGPT

Ilya Loshchilov, Boris Ginsburg

机构 * NVIDIA（英伟达）

AI总结本文提出nGPT的实用训练方案，含Logit梯度预条件等技术，在14B参数的混合MoE模型上训练时，仅需约一半训练token即可达到与非归一化模型相同的验证损失，方案具可扩展性。