NVIDIA（英伟达） - arXivDaily 大厂专区

2608.02050 2026-08-04 cs.CL cs.AI cs.LG 新提交

TextNCA: Neural Cellular Automata for Language Modeling via Hierarchical Local Attention

TextNCA：通过分层局部注意力实现语言建模的神经细胞自动机

Avni Mittal, Avinash Anand, Ashutosh Kumar, Dikshant Kukreja, Kritarth Prasad, Sushane Dulloo, Erik Cambria, Timothy Liu, Zhengkui Wang, Rajiv Ratn Shah

机构 * Singapore Institute of Technology（新加坡理工学院）； IIIT Delhi（德里印度信息技术学院）； Nanyang Technological University（南洋理工大学）； NVIDIA AI Technology Centre（英伟达人工智能技术中心）

AI总结本研究提出分层局部注意力的TextNCA模型作为分析探针，发现其性能受从窄到宽的分阶段调度主导，迭代和GRU门控等仅带来小增益。

2608.01284 2026-08-04 cs.LG cs.AI 新提交

Training nGPT

训练nGPT

Ilya Loshchilov, Boris Ginsburg

机构 * NVIDIA（英伟达）

AI总结本文提出nGPT的实用训练方案，含Logit梯度预条件等技术，在14B参数的混合MoE模型上训练时，仅需约一半训练token即可达到与非归一化模型相同的验证损失，方案具可扩展性。

2511.15503 2026-08-04 cs.AR cs.DC cs.LG cs.PF 版本更新

DCC: Data-Centric Compilation of Machine Learning Kernels for Processing-In-Memory Architectures

DCC: 面向处理-内存架构的机器学习内核数据驱动编译

Peiming Yang, Sankeerth Durvasula, Ivan Fernandez, Mohammad Sadrosadati, Onur Mutlu, Gennady Pekhimenko, Christina Giannoula

机构 * University of Toronto（多伦多大学）； Vector Institute（向量研究所）； Barcelona Supercomputing Center（巴塞罗那超级计算中心）； ETH Zürich（苏黎世联邦理工学院）； Nvidia（英伟达）； Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）

AI总结针对PIM系统中数据重排与计算代码优化相互依赖的问题，提出数据驱动的编译器DCC，通过统一调优联合优化数据重排与计算代码，在HBM-PIM和AttAcc PIM上分别实现平均2.21倍和3.92倍的加速。

2602.05220 2026-08-04 cs.CL cs.SD 版本更新

Bagpiper: Solving Open-Ended Audio Tasks via Rich Captions

Bagpiper: 通过丰富描述解决开放式音频任务

Jinchuan Tian, Haoran Wang, Bo-Hao Su, Chien-yu Huang, Qingzheng Wang, Jiatong Shi, William Chen, Xun Gong, Siddhant Arora, Chin-Jou Li, Masao Someki, Takashi Maekaku, Keita Goto, Yusuke Shinohara, Jin Sakuma, Chao-Han Huck Yang, Shinji Watanabe

机构 * Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）； LY Corporation（LY公司）； NVIDIA Research（NVIDIA研究）

AI总结提出Bagpiper，一个8B参数音频基础模型，通过丰富描述（自然语言描述）实现音频理解和生成的统一，在MMAU和AIRBench上超越Qwen-2.5-Omni，生成质量优于CosyVoice3和TangoFlux。