TurboAttention: Efficient Attention Approximation For High Throughputs LLMs
Microsoft(微软公司);Georgia Institute of Technology(佐治亚理工学院)
TurboAttention通过FlashQ量化和稀疏Softmax近似,实现注意力高效执行,显著提升吞吐量并压缩缓存,优于现有方法。
2024-12-17 cs.AI cs.AR cs.LG
DISTFLASHATTN: Distributed Memory-efficient Attention for Long-context LLMs Training
UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学);UCSD(加州大学圣地亚哥分校);CMU(卡内基梅隆大学);USC(南加州大学)
DISTFLASHATTN通过token级负载均衡、键值通信重叠和重物化感知梯度检查点,在长上下文LLM训练中显著扩展序列长度并实现多倍加速。
2024-03-31 cs.AI cs.DC cs.LG
FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
Stanford University(斯坦福大学);University at Buffalo, SUNY(纽约州立大学布法罗分校)
Transformers在长序列上速度慢且内存消耗大,因为自注意的时间和内存复杂度是序列长度的二次方。近似注意力方法试图通过权衡模型质量来解决这个问题,以降低计算复杂度,但通常不能实现挂钟加速。我们认为,一个缺失的原则是使注意力算法IO感知-占GPU内存级别之间的读取和写入。我们提出了FlashAttention,一种IO感知的精确注意算法,该算法使用平铺来减少GPU高带宽内存(HBM)和GPU片上SRAM之间的内存读/写次数。我们分析了FlashAttention的IO复杂性,表明它需要比标准注意更少的HBM访问,并且对于一系列SRAM大小是最佳的。我们还将FlashAttention扩展到块稀疏注意力,产生一个近似注意力算法,比任何现有的近似注意力方法都快。FlashAttention训练Transformers的速度快于现有基准:BERT-large端到端挂钟加速15%。长度512)与MLPerf 1.1训练速度记录相比,GPT-2(序列号512)上的3个$\times$加速。长度为1 K),以及在远程竞技场上的2.4 $\times$加速(seq.长度1 K-4K)。FlashAttention和块稀疏FlashAttention在Transformers中实现了更长的上下文,产生了更高质量的模型(GPT-2上的困惑度提高了0.7,长文档分类上的提升点提高了6.4)和全新的…
2022-06-23 cs.LG
Rank-Factorized Implicit Neural Bias: Scaling Super-Resolution Transformer with FlashAttention
University of Seoul(首尔大学);KAIST AI(韩国科学技术院人工智能研究所)
提出秩分解隐式神经偏置(RIB)替代相对位置偏置(RPB),通过低秩隐式神经表示和通道级拼接实现FlashAttention兼容,并引入卷积局部注意力和循环窗口策略,在Urban100×2上达到35.63 dB PSNR,训练和推理时间分别减少2.1倍和2.9倍。
2026-05-29 cs.AI cs.LG
FlashAttention for Scalable Vector Architectures
Chalmers University of Technology(查尔姆斯理工大学);University of Glasgow(格拉斯哥大学)
本文提出面向可扩展向量架构的FlashAttention-V,将其集成到ggml并在多模型与平台上评估,该方法在预填充、解码阶段均实现显著加速,但Q8_0量化线性层的结构性瓶颈制约了长向量可扩展性。
2026-08-20 cs.LG cs.PF
HyperAttention: Long-context Attention in Near-Linear Time
Yale University(耶鲁大学);Google Research(谷歌研究院);CMU(卡内基梅隆大学)
本文提出 HyperAttention 近似注意力机制,通过细粒度参数刻画问题难度并结合局部敏感哈希识别大元素,在近线性时间内处理长上下文,显著超越 FlashAttention 的推理速度。
2023-12-01 cs.AI cs.LG
FlashMask: Efficient and Rich Mask Extension of FlashAttention
Baidu Inc.(百度公司)
本文提出FlashMask,通过引入列式稀疏掩码表示扩展FlashAttention,实现线性内存复杂度并消除冗余计算,在LLM微调与对齐训练中实现1.65x至3.22x端到端加速,内核性能超越FlexAttention最高达60.7%。
2025-03-01 cs.LG
Low-Cost FlashAttention with Fused Exponential and Multiplication Hardware Operators
Integrated Circuits Lab(集成电路实验室);Electrical and Computer Engineering(电子与计算机工程);Democritus University of Thrace(德米特里乌斯大学)
本文提出融合指数与向量乘法计算的ExpMul硬件算子,优化基于浮点的FlashAttention内核,在28nm ASIC下相比现有架构面积平均减少28.8%、功耗降低17.6%。
2025-05-30 cs.AR cs.LG
FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning
Princeton University(普林斯顿大学);Stanford University(斯坦福大学)
本文提出 FlashAttention-2,通过减少非矩阵乘法计算、跨线程块并行及在线程块内优化 warp 工作划分,将注意力速度提升至原版约 2 倍,并在 GPT 端到端训练中达到高 FLOP 利用率。
2023-07-17 cs.LG
Vectorized FlashAttention with Low-cost Exponential Computation in RISC-V Vector Processors
Electrical and Computer Engineering(电气与计算机工程)
本研究首次在RISC-V向量处理器上向量化FlashAttention,通过低成本指数近似和优化平铺策略,无需扩展指令集即显著提升注意力层处理性能。
2025-10-08 cs.DC cs.LG cs.PF
QFlash: Bridging Quantization and Memory Efficiency in Vision Transformer Attention
University of Science and Technology(科学技术大学);Electronics and Telecommunications Research Institute(电信研究所);Pusan National University(釜山国立大学);Jeonbuk National University(全州国立大学)
QFlash通过整数域实现softmax,提升视觉Transformer注意力效率,减少能耗,保持精度。
2026-04-28 cs.AI cs.LG
Evaluating CUDA Tile for AI Workloads on Hopper and Blackwell GPUs
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
本文评估了CUDA Tile在Hopper和Blackwell GPU上的AI工作负载性能,比较了CuTile与cuBLAS、Triton等方法的效率和可移植性,发现CuTile在特定工作负载上表现优异,但在跨架构优化上仍有不足。
2026-06-03 cs.AI cs.AR cs.LG
A Case Study in CUDA Kernel Fusion: Implementing FlashAttention-2 on NVIDIA Hopper Architecture using the CUTLASS Library
Colfax Research(科尔法克斯研究)
本研究使用CUTLASS库在NVIDIA Hopper架构上实现FlashAttention-2前向传播的融合CUDA内核,阐述融合相关技术与挑战,实验显示其在H100 PCIe GPU上的FLOPs/s较Ampere架构优化版高20-50%。
2023-12-19 cs.DC cs.LG
Parallax: Parameterized Local Linear Attention for Language Modeling
Northwestern University(西北大学);Tilde Research(Tilde研究);University of Washington(华盛顿大学)
提出Parallax,一种可扩展的参数化局部线性注意力机制,通过消除数值求解器并学习查询投影器,在语言模型预训练中实现一致的困惑度改进和下游任务迁移优势。
2026-05-27 cs.AI cs.CL cs.LG
TyphoonMLA: A Mixed Naive-Absorb MLA Kernel For Shared Prefix
Huawei Switzerland(华为瑞士)
TyphoonMLA通过结合朴素和吸收方法,提升MLA架构中注意力计算的吞吐量,同时减少HBM带宽需求。
2026-02-12 cs.AI cs.LG
LampAttention: Look-Ahead Mixed-Precision FlashAttention for Dedicated Accelerators
University of Vienna(维也纳大学);Huawei Heisenberg Research Center(华为海森堡研究中心);Huawei Technologies Co. Ltd(华为技术有限公司)
提出LampAttention,一种混合精度FlashAttention的硬件-算法协同设计,通过8位计算与自适应16位重算敏感子块,在专用加速器上高效恢复模型性能。
2026-10-01 cs.LG cs.NA math.NA
Vision Token Reduction via Attention-Driven Self-Compression for Efficient Multimodal Large Language Models
通过注意力驱动的自我压缩方法,有效减少多模态大语言模型中的视觉标记,提升计算效率并保持模型性能。
2026-02-13 cs.AI cs.CL cs.CV
Kernelized Linear Attention: Breaking the Capacity Wall with Symmetric Cones
研究线性注意力在关联记忆上的退化问题,提出核化线性注意力激活框架KATA,通过自对偶齐次锥认证非负权重导出特征图,实现高效计算,在长距离记忆等任务中表现出色,揭示了特征相关权衡及相互作用。
2026-07-21 cs.AI cs.IT cs.LG
TopV: Compatible Token Pruning with Inference Time Optimization for Fast and Low-Memory Multimodal Vision Language Model
Rutgers University(罗格斯大学);Rice University(莱斯大学);The University of Utah(犹他大学);California State University, Fullerton(加州州立大学富勒顿分校)
TopV提出一种无需训练的令牌剪枝优化方法,在预填充阶段一次性剪枝,兼容FlashAttention并减小KV缓存,实验证明其优于现有剪枝方法。
2025-03-29 cs.AI cs.CV
FlashMLA-ETAP: Efficient Transpose Attention Pipeline for Accelerating MLA Inference on NVIDIA H20 GPUs
Tencent(腾讯);College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院);College of Artificial Intelligence, Shenzhen Polytechnic University(深圳职业技术学院人工智能学院)
针对单多GPU服务器部署DeepSeek-R1 671B模型时多头潜在注意力(MLA)推理效率低的问题,提出FlashMLA-ETAP框架,通过高效转置注意力流水线(ETAP)重配置注意力计算,在NVIDIA H20 GPU上实现2.78倍加速,并保持数值稳定性。
2026-06-02 cs.AI cs.DC cs.LG
Self-Indexing KVCache: Predicting Sparse Attention from Compressed Keys
本文提出自索引KV缓存方法,通过1位符号向量量化统一压缩与检索,减少内存开销并提升大模型推理效率。
2026-03-15 cs.AI cs.LG
Broken Symmetry in BF16 Attention: Why FlashAttention Gradients Blow Up Late in Training
Rutgers University(罗格斯大学);Carnegie Mellon University(卡内基梅隆大学);Oracle(甲骨文公司);New York University(纽约大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
针对BF16注意力训练后期梯度爆炸问题,提出GProj方法,通过恢复softmax梯度行和为零的守恒律,将梯度误差降至与FP32相当,仅增加4.7%时间,实现稳定训练。
2026-09-29 cs.DC cs.LG cs.NA
Faster Causal Attention Over Large Sequences Through Sparse Flash Attention
EPFL(洛桑联邦理工学院);University of Geneva(日内瓦大学)
本文扩展 FlashAttention 以支持 key/query dropping、基于哈希等动态稀疏注意力模式,在无复杂度开销且不损失困惑度的情况下,显著提升长序列语言模型训练速度。
2023-06-01 cs.AI cs.CL cs.LG
Accelerating LLM Inference Throughput via Asynchronous KV Cache Prefetching
AAAI(美国人工智能协会);AAAI Press Staff(AAAI出版社员工);AAAI Publications Committee(AAAI出版委员会)
本文提出面向L2缓存的异步KV缓存预取方法,通过计算与加载重叠突破LLM推理的内存带宽瓶颈,在NVIDIA H20上实现注意力内核效率2.15倍提升和端到端吞吐量最高1.97倍提升,超越FlashAttention-3。
2025-11-08 cs.AI cs.LG
Revisiting Multimodal KV Cache Compression: A Frequency-Domain-Guided Outlier-KV-Aware Approach
College of Future Information Technology, Fudan University(未来信息科技学院,复旦大学);Shanghai Innovation Institute(上海创新研究院);The Chinese University of Hong Kong(香港中文大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Zhangjiang Laboratory(张江实验室)
本文提出FlashCache,一种基于频域的异常KV感知KV缓存压缩框架,通过保留关键KV对提升解码效率并降低内存使用。
2026-03-05 cs.AI cs.CV cs.LG
SpotAttention: Plug-In Block-Sparse Routing for Pretrained Long-Context Transformers
KAIST(韩国科学技术院)
提出SpotAttention,一种轻量级选择器,通过KL蒸馏学习估计注意力分布,实现块稀疏路由,在长上下文任务中匹配密集注意力精度并显著加速解码。
2026-06-23 cs.AI cs.LG
Flashlight: PyTorch Compiler Extensions to Accelerate Attention Variants
Anonymous Institution, Anonymous City, Anonymous Region, Anonymous Country(匿名机构,匿名城市,匿名地区,匿名国家)
本文提出Flashlight,一种基于PyTorch的编译器框架,能够自动生成融合的FlashAttention风格内核,支持任意注意力程序,无需静态模板或预定义内核专有化,从而在保持性能的同时提供灵活性。
2026-05-20 cs.LG cs.PF
Dispatch-Aware Ragged Attention for Pruned Vision Transformers
College of Engineering(工程学院);Al Ain University(阿恩大学)
本文提出一种轻量双向Triton注意力核,解决视觉变换器剪枝后调度开销瓶颈,提升推理效率。
2026-05-12 cs.AI cs.LG
SpecExtend: A Drop-in Enhancement for Speculative Decoding of Long Sequences
Seoul National University(首尔国立大学)
SpecExtend通过集成高效注意力机制和Cross-model Retrieval策略,提升长序列推测解码效率,加速文档摘要和推理任务。
2026-01-19 cs.AI cs.CL cs.LG
Stability Implies Redundancy: Delta Attention Selective Halting for Efficient Long-Context Prefilling
Shanghai Jiao Tong University(上海交通大学);University of California, San Diego(加州大学圣地亚哥分校);Carnegie Mellon University(卡内基梅隆大学)
针对长上下文场景中预填充计算成本高的问题,提出一种无需训练的Delta注意力选择性停止策略(DASH),通过监控自注意力层更新动态来停止稳定令牌的处理,从而在不牺牲模型准确性和硬件效率的前提下实现预填充加速。
2026-05-26 cs.AI
SampleAttention: Near-Lossless Acceleration of Long Context LLM Inference with Adaptive Structured Sparse Attention
针对长上下文大语言模型原生注意力二次复杂度导致首令牌生成延迟高的问题,提出自适应结构化近无损稀疏注意力方法SampleAttention,无需额外训练即可无缝替换原生注意力,在几乎无损的前提下最高将首令牌生成时间降低2.42倍。
2025-09-03 cs.AI cs.CL cs.LG
Programming AMD XDNA NPUs with Open-source Compiler Tools: A FlashAttention Case Study
Advanced Micro Devices, Inc.(超威半导体公司);ETH Zürich(苏黎世联邦理工学院);Cornell University(康奈尔大学)
本研究通过FlashAttention案例,比较四种映射设计,提出基于Roofline脊点的融合策略,在AMD XDNA NPU上实现最高3.62 TFLOP/s和5.3-7.2倍能效提升。
2026-09-21 cs.AR cs.LG
Kascade: A Practical Sparse Attention Method for Long-Context LLM Inference
Kascade是一种无需训练的稀疏注意力方法,通过锚定层计算Top-k索引并重用,实现长上下文LLM推理中的高效注意力处理。
2026-09-01 cs.AI cs.DC cs.LG
Flash Invariant Point Attention
Flagship Pioneering
本文提出FlashIPA,通过因式分解重构并结合FlashAttention,使IPA在GPU内存和运行时间上随序列长度线性扩展,支持数千残基结构生成且性能不降。
2025-05-16 cs.AI cs.LG q-bio.BM
Training-Free Hashing-Based Attention via Binary Principal Components
针对长上下文LLMs自注意力的解码效率瓶颈,提出无训练的BinaryPC方法,通过数据二元主成分构建哈希码,在保持精度的同时将解码吞吐量提升3.56倍。
2026-08-06 cs.AI cs.CL cs.LG
VFA: Relieving Vector Operations in Flash Attention with Global Maximum Pre-computation
Huawei Technologies(华为技术)
本文提出VFA,通过预计算全局最大值减少Flash Attention中的向量操作,提升计算效率。
2026-04-14 cs.AI cs.LG
FlashBoB: I/O-Efficient Exact Backward-over-Backward for Softmax Attention
George Mason University(乔治梅森大学)
FlashBoB 提出一种 I/O 高效的精确反向-反向传播算法,利用 softmax 二阶反向的仿射结构,避免 N×N 中间张量,将序列长度扩展到 262K,比 FlashBack 快 6.3 倍。
2026-10-23 cs.AI cs.LG
KeyDiff: Key Similarity-Based KV Cache Eviction for Long-Context LLM Inference in Resource-Constrained Environments
Qualcomm AI Research(高通人工智能研究)
KeyDiff是一种基于键相似性的KV缓存淘汰方法,能够在资源受限环境下高效处理长上下文LLM推理,减少缓存占用并提升响应效率。
2026-01-20 cs.AI
The I/O Complexity of Attention, or How Optimal is Flash Attention?
University of California, San Diego(加利福尼亚大学圣迭戈分校)
该研究针对FlashAttention算法的I/O复杂度最优性,证明了其在任意缓存大小下的下界匹配性,并提出了更优算法及通信复杂度与I/O复杂度的新联系。
2024-02-12 cs.CC cs.DS cs.IT
On Fine-Grained I/O Complexity of Attention Backward Passes
Department of XXX, University of YYY, Location, Country(YYY大学XXX系);School of ZZZ, Institute of WWW, Location, Country(WWW研究所ZZZ学院)
本文研究了注意力机制中细粒度I/O复杂度,提出了一种在小缓存环境下优于现有方法的算法,并为高效LLM训练和推理提供了理论指导。
2026-01-23 cs.AI cs.CC cs.CL
Towards Lossless Ultimate Vision Token Compression for VLMs
Huawei Noah’s Ark Lab(华为诺亚实验室)
本文提出LUVC框架,通过正交空间轴的迭代合并和频谱修剪单元,实现视觉语言模型中视觉标记的无损压缩,提升推理速度并保持精度。
2025-12-09 cs.AI cs.CV
DualKV: Shared-Prompt Flash Attention for Efficient RL Training with Large Rollouts and Long Contexts
Amazon Web Services(亚马逊网络服务);Google(谷歌);University of Minnesota(明尼苏达大学)
针对RL训练中共享提示重复计算问题,提出DualKV内核,通过融合CUDA前向/反向核和veRL数据流水线重排,消除提示复制,实现1.63-3.82倍策略更新加速。
2026-11-03 cs.LG
Stream-CQSA: Exact Out-of-Memory Recovery for Attention
Lewis-Sigler Institute of Integrative Genomics(刘易斯-西格勒整合基因组学研究所);Princeton University(普林斯顿大学)
本文提出Stream-CQSA框架,通过分解注意力计算为可调度的子任务,实现内存适应性调度,使单GPU可处理十亿token序列的精确注意力计算。
2026-09-03 cs.DC cs.LG
Mixture-of-Depths Attention
School of EIC, Huazhong University of Science \& Technology
本文提出MoDA机制,通过允许每个注意力头在当前层和前层的KV对上进行注意力计算,提升深度模型性能,实验显示其在多个基准上表现优异,计算开销低。
2026-03-16 cs.AI cs.CL
Flash Multi-Head Feed-Forward Network
ShanghaiTech University(上海科技大学);Ant Group(蚂蚁集团)
FlashMHF通过I/O感知融合内核和动态加权并行子网络设计,提升了FFN的效率和可扩展性,减少内存消耗并加速推理。
2025-12-07 cs.AI cs.CL cs.LG
Flex Attention: A Programming Model for Generating Optimized Attention Kernels
Meta Platforms(元平台公司);University of Michigan-Ann Arbor(密歇根大学安娜堡分校)
针对FlashAttention单体式结构导致新注意力变体研发困难、手写高效融合核难度大的问题,提出编译器驱动的FlexAttention编程模型,仅需少量PyTorch代码即可实现多数注意力变体,性能媲美手写核,还支持变体组合以解决组合爆炸问题。
2024-12-07 cs.LG cs.PF cs.PL
PackInfer: Compute- and I/O-Efficient Attention for Batched LLM Inference
Nanjing University, Nanjing, China(南京大学);Siebel Center for Computer Science, University of Illinois Urbana-Champaign, Urbana, IL, USA(伊利诺伊大学厄巴纳-香槟分校计算机科学中心)
PackInfer通过高效计算和I/O机制优化批量LLM推理,显著降低延迟并提升吞吐量。
2026-02-03 cs.DC cs.LG
GatedFWA: Linear Flash Windowed Attention with Gated Associative Memory
Imperial College London(帝国理工学院);Sorbonne University(索邦大学);Chalmers University of Technology(查尔姆斯理工大学)
GatedFWA是一种通过门控关联记忆机制提升滑动窗口注意力稳定性和梯度流动的高效注意力机制,适用于自回归模型和语言建模任务。
2026-01-07 cs.LG
SageAttention: Accurate 8-Bit Attention for Plug-and-play Inference Acceleration
Dept. of Comp. Sci. & Tech.(计算机科学与技术系);Institute for AI(人工智能研究院);BNRist Center(BNRist中心);Tsinghua-Bosch Joint ML Center(清华大学-博世联合机器学习中心);THBI Lab(THBI实验室);Tsinghua University(清华大学)
针对现有量化方法多聚焦线性层、长序列下注意力推理耗时高的问题,提出SageAttention 8位注意力量化方法,推理速度优于FlashAttention2、xformers且精度超FlashAttention3,在多类模型上几乎无指标损失。
2025-10-01 cs.LG
AdaSplash: Adaptive Sparse Flash Attention
Universidade de Lisboa(里斯本大学);Unbabel
本文提出 AdaSplash,通过混合 Halley-二分算法与自定义 Triton 内核加速 $α$-entmax 自适应稀疏注意力,显著降低长上下文训练的运行时和内存开销。
2025-06-08 cs.CL cs.LG
Block Sparse Flash Attention
Technion -- Israel Institute of Technology, Haifa, Israel(技术离子-以色列理工学院, 海法, 以色列);Intel -- Habana Labs, Tel Aviv, Israel(英特尔 -- Habana实验室, 特拉维夫, 以色列)
块稀疏Flash注意力通过精确计算查询-键相似性,提升长上下文推理效率并保持高准确性。
2026-09-30 cs.CL cs.LG cs.PF
SageAttention2: Efficient Attention with Thorough Outlier Smoothing and Per-thread INT4 Quantization
Dept. of Comp. Sci. and Tech., Institute for AI, BNRist Center, THBI Lab, Tsinghua-Bosch Joint ML Center, Tsinghua University(计算机科学与技术系,人工智能研究院,BNRist中心,THBI实验室,清华-博世联合机器学习中心,清华大学);Institute for Interdisciplinary Information Sciences, Tsinghua University(交叉信息学院,清华大学)
本研究提出SageAttention2注意力加速方案,通过线程级INT4量化、Q矩阵平滑、两级累加等技术,在保证精度的同时大幅提升注意力计算速度,在多类生成模型上仅带来可忽略的指标损失。
2025-10-01 cs.AI cs.CV cs.LG
QKV Projections Require a Fraction of Their Memory
Department of Computer Science Technion, Israel Institute of Technology(计算机科学系技术离子理工学院)
本文提出PAMM技术,通过压缩QKV投影的激活值,显著降低内存消耗,同时保持模型性能,适用于高效的大语言模型训练。
2026-03-01 cs.LG
Express Language Modeling
Cornell Tech(康奈尔科技);University of Cambridge(剑桥大学);Microsoft Research(微软研究院)
提出 Express 工具,将非因果注意力近似转换为因果近似,结合 Thinformer 实现最优因果注意力保证,并加速语言建模中的四个资源瓶颈。
2026-11-16 cs.DS cs.LG math.ST