Context-Driven Performance Modeling for Causal Inference Operators on Neural Processing Units
面向神经处理单元的因果推断运算上下文驱动性能建模
机构 * Ming Hsieh Department of Electrical and Computer Engineering, University of Southern California(明希德电气与计算机工程系,南加州大学)
AI总结 本文研究了NPUs上因果推断运算的性能瓶颈,通过对比二次注意力与子二次替代方案,为边缘平台的高效长上下文推断提供优化方向。
Comments IEEE HiPC 2025