Qualcomm（高通）

The Key to Going Linear: Analysis-Driven Transformer Linearization

走向线性的关键：分析驱动的Transformer线性化

Anna Kuzina, Paul N. Whatmough, Babak Ehteshami Bejnordi

机构 * Qualcomm AI Research（高通人工智能研究中心） 纠错

AI总结 研究针对因果自注意力二次成本限制长上下文Transformer推理的问题，通过分析状态更新设计，发现softmax原理及近似误差源，引入结构干预，在多模型上扩展线性化方法，提升性能并匹配复杂缓存框架的长上下文检索。