FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning
Princeton University(普林斯顿大学);Stanford University(斯坦福大学)
本文提出 FlashAttention-2,通过减少非矩阵乘法计算、跨线程块并行及在线程块内优化 warp 工作划分,将注意力速度提升至原版约 2 倍,并在 GPT 端到端训练中达到高 FLOP 利用率。
2023-07-17 cs.LG
Faster Than Flash: Exploiting Attention Sparsity for Efficient Long-Context Decoding
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院);Harbin Institute of Technology(哈尔滨工业大学)
该研究提出硬件-算法协同设计框架FFD,利用注意力稀疏性实现长上下文解码的高效性,获内核级11.6倍加速、端到端吞吐量2.37倍提升,在基准数据集上保持精度。
2026-09-02 cs.AI cs.LG
Low-Cost FlashAttention with Fused Exponential and Multiplication Hardware Operators
Integrated Circuits Lab(集成电路实验室);Electrical and Computer Engineering(电子与计算机工程);Democritus University of Thrace(德米特里乌斯大学)
本文提出融合指数与向量乘法计算的ExpMul硬件算子,优化基于浮点的FlashAttention内核,在28nm ASIC下相比现有架构面积平均减少28.8%、功耗降低17.6%。
2025-05-30 cs.AR cs.LG
FLASH-D: FlashAttention with Hidden Softmax Division
Integrated Circuits Lab, Electrical and Computer Engineering, Democritus University of Thrace(集成电路实验室,电气与计算机工程系,德米特里乌斯特拉契大学)
本研究提出数学等价且更简化的FLASH-D注意力公式,隐藏softmax除法、实现指数稳定计算并降低成本,在28nm硬件下相比最优并行架构减少22.8%面积和20.3%功耗且无性能损失。
2025-05-20 cs.AI cs.AR cs.LG
FlashMask-3: Efficient and Expressive Mask-Aware Distributed Attention
Baidu Inc.(百度公司)
FlashMask-3针对长上下文训练中结构化注意力掩码的瓶颈,提出掩码感知Hopper内核与分布式扩展,在H100 GPU及MoE训练中显著提升计算效率与吞吐量。
2026-10-14 cs.LG
Flash Multi-Head Feed-Forward Network
ShanghaiTech University(上海科技大学);Ant Group(蚂蚁集团)
FlashMHF通过I/O感知融合内核和动态加权并行子网络设计,提升了FFN的效率和可扩展性,减少内存消耗并加速推理。
2025-12-07 cs.AI cs.CL cs.LG
DualKV: Shared-Prompt Flash Attention for Efficient RL Training with Large Rollouts and Long Contexts
Amazon Web Services(亚马逊网络服务);Google(谷歌);University of Minnesota(明尼苏达大学)
针对RL训练中共享提示重复计算问题,提出DualKV内核,通过融合CUDA前向/反向核和veRL数据流水线重排,消除提示复制,实现1.63-3.82倍策略更新加速。
2026-11-03 cs.LG
Post-Boundary Bridge: Must Local Attention Go Global Between Global Layers?
Ocean University of China(中国海洋大学)
本文研究块稀疏因果注意力中序列局部性与注意力图可达性之间的不匹配,通过结构依赖集形式化边界伪影,提出相位条件覆盖函数分析可达性,并引入边界桥接注意力作为最小修复方法。
2026-09-18 cs.LG
TurboAttention: Efficient Attention Approximation For High Throughputs LLMs
Microsoft(微软公司);Georgia Institute of Technology(佐治亚理工学院)
TurboAttention通过FlashQ量化和稀疏Softmax近似,实现注意力高效执行,显著提升吞吐量并压缩缓存,优于现有方法。
2024-12-17 cs.AI cs.AR cs.LG
Flash STU: Fast Spectral Transform Units
Princeton University(普林斯顿大学);New York University(纽约大学)
Flash STU通过结合频谱状态空间模型与滑动窗口注意力,实现了高效大规模参数语言模型,优于Transformer和S4等现有模型。
2026-01-17 cs.AI cs.LG
MobileLLM-Flash: Latency-Guided On-Device LLM Design for Industry Scale Deployment
Meta AI
本文提出MobileLLM-Flash,通过硬件循环架构搜索在移动端延迟约束下设计高效的大语言模型,支持8k上下文长度,实现更快的预填和解码速度。
2026-04-27 cs.AI cs.LG
FlashNorm: Fast Normalization for Transformers
OpenMachine
FlashNorm通过消除归一化权重和并行执行RMS规范化,提升Transformer模型的计算效率,减少延迟并简化实现。
2026-10-30 cs.LG
Hungry Hungry Hippos: Towards Language Modeling with State Space Models
Stanford University(斯坦福大学);University at Buffalo, SUNY(纽约州立大学布法罗分校)
该研究针对状态空间模型(SSMs)在语言建模中表达能力弱于注意力、硬件效率低的问题,提出H3层与FlashConv算法,构建的混合模型在多项基准上性能与速度均优于Transformers。
2023-04-29 cs.CL cs.LG
Neptune: Advanced ML Operator Fusion for Locality and Parallelism on GPUs
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research(IBM研究院)
Neptune通过引入新的运算融合方法,有效融合复杂减少运算,提升深度学习性能,其在多个基准测试中表现出优于现有编译器的效率。
2026-04-20 cs.LG cs.PL
Custom Algorithm-based Fault Tolerance for Attention Layers in Transformers
Integrated Circuits Lab, Electrical;Computer Engineering, Democritus University of Thrace, Xanthi, Greece
本文提出Flash-ABFT方法,通过单次校验覆盖注意力层中查询、键、值三矩阵乘积及softmax运算的在线校验和,在仅5.3%硬件面积和不到1.9%能耗开销下实现高效故障检测。
2025-07-22 cs.AR cs.LG
DISTFLASHATTN: Distributed Memory-efficient Attention for Long-context LLMs Training
UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学);UCSD(加州大学圣地亚哥分校);CMU(卡内基梅隆大学);USC(南加州大学)
DISTFLASHATTN通过token级负载均衡、键值通信重叠和重物化感知梯度检查点,在长上下文LLM训练中显著扩展序列长度并实现多倍加速。
2024-03-31 cs.AI cs.DC cs.LG
Better Models, Faster Training: Sigmoid Attention for single-cell Foundation Models
Merck & Co., Inc.(默克公司)
本文提出Sigmoid注意力机制,通过改进表示学习、加速训练和提升稳定性,在单细胞数据集上实现了更优的细胞类型分离和更低的验证损失。
2026-04-29 cs.LG q-bio.QM
Theory, Analysis, and Best Practices for Sigmoid Self-Attention
Apple(苹果公司)
本文通过理论证明和实验分析,确立了 sigmoid 注意力作为 Transformer 中 softmax 直接替代品的最佳实践,并提出了硬件加速实现 FLASHSIGMOID,在多种任务上达到与 softmax 相当的性能。
2025-01-22 cs.LG
Local Linear Attention: An Optimal Interpolation of Linear and Softmax Attention For Test-Time Regression
Snowflake AI Research(Snowflake AI研究机构);Northwestern University(西北大学);University of Washington(华盛顿大学)
本研究提出新型注意力机制局部线性注意力(LLA),从测试时回归视角推导,兼具理论优势,配套推出高效算法FlashLLA与定制内核,经实验验证在多项任务中性能优于基线,具备大模型应用潜力。
2025-10-01 cs.AI cs.LG
Lean Attention: Hardware-Aware Scalable Attention Mechanism for the Decode-Phase of Transformers
Microsoft(微软公司)
针对Transformer推理中注意力操作随上下文长度平方增长的延迟问题,提出LeanAttention技术,利用在线softmax结合律和stream-K归约实现解码阶段注意力并行计算,显著提升长上下文下的推理速度。
2025-01-14 cs.AR cs.LG
Probing In-Context Learning: Impact of Task Complexity and Model Architecture on Generalization and Efficiency
University of California, Berkeley(加州大学伯克利分校)
本文通过线性回归、高斯核回归和非线性动力系统任务,对比四类架构的 ICL 泛化与效率,揭示模型结构、数据规模及课程学习对性能的关键影响。
2025-05-10 cs.LG
PersistentKV: Page-Aware Decode Scheduling for Long-Context LLM Serving on Commodity GPUs
Muhammad Ahmed(穆罕默德·阿赫姆)
针对长上下文LLM服务中KV缓存移动成为瓶颈的问题,提出PersistentKV引擎,通过页面感知调度和分组查询注意力优化解码,在RTX 3060上实现1.06-1.40倍吞吐提升。
2026-07-02 cs.LG
TyphoonMLA: A Mixed Naive-Absorb MLA Kernel For Shared Prefix
Huawei Switzerland(华为瑞士)
TyphoonMLA通过结合朴素和吸收方法,提升MLA架构中注意力计算的吞吐量,同时减少HBM带宽需求。
2026-02-12 cs.AI cs.LG
GLU Attention Improve Transformer
Nanjing University(南京大学)
本文提出GLU Attention,通过在注意力值中引入非线性,以零额外参数和可忽略的计算开销提升Transformer在文本与视觉任务上的性能和收敛速度,并兼容Flash Attention、RoPE及GQA等现有技术。
2025-07-06 cs.AI cs.CL cs.LG
DistrAttention: An Efficient and Flexible Self-Attention Mechanism on Modern GPUs
Shandong University(山东大学);Adobe(Adobe公司)
本文提出 DistrAttention,通过嵌入维度分组、局部敏感哈希采样融合及分块误差控制,在保留全上下文的同时加速自注意力,并可集成 FlashAttention-2。
2025-07-23 cs.AI cs.LG
Parallax: Parameterized Local Linear Attention for Language Modeling
Northwestern University(西北大学);Tilde Research(Tilde研究);University of Washington(华盛顿大学)
提出Parallax,一种可扩展的参数化局部线性注意力机制,通过消除数值求解器并学习查询投影器,在语言模型预训练中实现一致的困惑度改进和下游任务迁移优势。
2026-05-27 cs.AI cs.CL cs.LG
Gated Linear Attention Transformers with Hardware-Efficient Training
Massachusetts Institute of Technology(麻省理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
本文提出硬件高效的线性注意力算法 FLASHLINEARATTENTION 及其门控变体 GLA Transformer,在中等规模语言建模中性能媲美 LLaMA、RetNet 和 Mamba,且在长度泛化和训练吞吐量上表现优异。
2024-08-27 cs.CL cs.LG
FSA: An Alternative Efficient Implementation of Native Sparse Attention Kernel
The Hong Kong University of Science and Technology(香港科技大学);Carnegie Mellon University(卡内基梅隆大学)
针对现有稀疏注意力核在GQA组中查询头数较少时效率低的问题,提出Flash Sparse Attention (FSA)核实现,通过优化循环顺序,在多种流行LLM上实现平均1.6倍核延迟降低和1.09倍端到端训练加速。
2026-07-02 cs.DC cs.LG
Scaling Attention to Very Long Sequences in Linear Time with Wavelet-Enhanced Random Spectral Attention (WERSA)
Department of Computer Science University of Bari Aldo Moro(计算机科学系巴里大学Aldo Moro)
WERSA是一种线性时间复杂度的注意力机制,结合随机谱特征与多分辨率小波,在保持准确性的同时显著降低长序列计算成本,并在多基准测试中优于现有方法。
2025-07-11 cs.AI cs.CL cs.LG
INT-FlashAttention: Enabling Flash Attention for INT8 Quantization
Peking University(北京大学);Baichuan Inc(百川智能);Beihang University(北京航空航天大学)
本文提出INT-FlashAttention,首个与FlashAttention前向工作流兼容的INT8量化架构,通过全INT8激活和GEMM内核实现,在Ampere GPU上显著提升推理速度,同时支持INT4等数据格式,实验显示推理速度提升72%,量化误差减少82%。
2024-09-26 cs.AI cs.LG
Every Attention Matters: An Efficient Hybrid Architecture for Long-Context Reasoning
Ling Team(语言团队)
本报告提出Ring-linear混合注意力模型系列,通过融合线性与softmax注意力并优化FP8算子,显著降低长上下文推理成本,提升训练效率,并在复杂推理基准上保持SOTA性能。
2025-10-23 cs.AI cs.CL cs.LG
HyperAttention: Long-context Attention in Near-Linear Time
Yale University(耶鲁大学);Google Research(谷歌研究院);CMU(卡内基梅隆大学)
本文提出 HyperAttention 近似注意力机制,通过细粒度参数刻画问题难度并结合局部敏感哈希识别大元素,在近线性时间内处理长上下文,显著超越 FlashAttention 的推理速度。
2023-12-01 cs.AI cs.LG
You Need Better Attention Priors
stanford(斯坦福大学)
GOAT通过引入可学习的连续先验改进注意力机制,提升计算效率并解决注意力汇点问题。
2026-08-25 cs.CL cs.LG stat.ML
Flash Invariant Point Attention
Flagship Pioneering
本文提出FlashIPA,通过因式分解重构并结合FlashAttention,使IPA在GPU内存和运行时间上随序列长度线性扩展,支持数千残基结构生成且性能不降。
2025-05-16 cs.AI cs.LG q-bio.BM
Flashlight: PyTorch Compiler Extensions to Accelerate Attention Variants
Anonymous Institution, Anonymous City, Anonymous Region, Anonymous Country(匿名机构,匿名城市,匿名地区,匿名国家)
本文提出Flashlight,一种基于PyTorch的编译器框架,能够自动生成融合的FlashAttention风格内核,支持任意注意力程序,无需静态模板或预定义内核专有化,从而在保持性能的同时提供灵活性。
2026-05-20 cs.LG cs.PF
FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
Stanford University(斯坦福大学);University at Buffalo, SUNY(纽约州立大学布法罗分校)
Transformers在长序列上速度慢且内存消耗大,因为自注意的时间和内存复杂度是序列长度的二次方。近似注意力方法试图通过权衡模型质量来解决这个问题,以降低计算复杂度,但通常不能实现挂钟加速。我们认为,一个缺失的原则是使注意力算法IO感知-占GPU内存级别之间的读取和写入。我们提出了FlashAttention,一种IO感知的精确注意算法,该算法使用平铺来减少GPU高带宽内存(HBM)和GPU片上SRAM之间的内存读/写次数。我们分析了FlashAttention的IO复杂性,表明它需要比标准注意更少的HBM访问,并且对于一系列SRAM大小是最佳的。我们还将FlashAttention扩展到块稀疏注意力,产生一个近似注意力算法,比任何现有的近似注意力方法都快。FlashAttention训练Transformers的速度快于现有基准:BERT-large端到端挂钟加速15%。长度512)与MLPerf 1.1训练速度记录相比,GPT-2(序列号512)上的3个$\times$加速。长度为1 K),以及在远程竞技场上的2.4 $\times$加速(seq.长度1 K-4K)。FlashAttention和块稀疏FlashAttention在Transformers中实现了更长的上下文,产生了更高质量的模型(GPT-2上的困惑度提高了0.7,长文档分类上的提升点提高了6.4)和全新的…
2022-06-23 cs.LG
FlashBias: Fast Computation of Attention with Bias
School of Software, Tsinghua University(清华大学软件学院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
针对带偏置注意力计算效率低下的问题,本文基于低秩压缩感知理论提出FlashBias方法,实现快速精确或近似计算,在AlphaFold 3及视觉语言模型中取得显著加速且不损精度。
2025-10-24 cs.LG
Faster Causal Attention Over Large Sequences Through Sparse Flash Attention
EPFL(洛桑联邦理工学院);University of Geneva(日内瓦大学)
本文扩展 FlashAttention 以支持 key/query dropping、基于哈希等动态稀疏注意力模式,在无复杂度开销且不损失困惑度的情况下,显著提升长序列语言模型训练速度。
2023-06-01 cs.AI cs.CL cs.LG
FlashMLA-ETAP: Efficient Transpose Attention Pipeline for Accelerating MLA Inference on NVIDIA H20 GPUs
Tencent(腾讯);College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院);College of Artificial Intelligence, Shenzhen Polytechnic University(深圳职业技术学院人工智能学院)
针对单多GPU服务器部署DeepSeek-R1 671B模型时多头潜在注意力(MLA)推理效率低的问题,提出FlashMLA-ETAP框架,通过高效转置注意力流水线(ETAP)重配置注意力计算,在NVIDIA H20 GPU上实现2.78倍加速,并保持数值稳定性。
2026-06-02 cs.AI cs.DC cs.LG
Efficiently Dispatching Flash Attention For Partially Filled Attention Masks
University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心);ELLIS Institute Tübingen(ELLIS蒂宾根研究所);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
针对 Flash Attention 处理稀疏注意力掩码仍具二次复杂度的问题,提出掩码感知的 Binary Block Masking 方法及两种优化方案,实现最高 9 倍运行时间提升。
2024-09-24 cs.AI cs.CL cs.LG
Fast Gauss Sums via Flash Attention
Faculty of Mathematics(数学学院);Chemnitz University of Technology(开姆尼茨工业大学)
该研究提出通过两次输入增强,利用Flash Attention计算带任意符号权重的高斯核和,无需自定义GPU代码,在fp16、D>8时性能优于PyTorch与PyKeOps,内存扩展呈线性。
2026-09-07 cs.LG cs.NA math.NA
Tiled Flash Linear Attention: More Efficient Linear RNN and xLSTM Kernels
ELLIS Unit, LIT AI Lab, Institute for Machine Learning, JKU Linz(ELLIS单位、LIT人工智能实验室、机器学习研究所、JKU林茨);NXAI GmbH(NXAI公司)
TFLA通过引入序列并行化提升线性RNN和xLSTM内核效率,实现更高算术强度和更优长上下文序列建模性能。
2025-12-28 cs.AI cs.LG
FlashMask: Efficient and Rich Mask Extension of FlashAttention
Baidu Inc.(百度公司)
本文提出FlashMask,通过引入列式稀疏掩码表示扩展FlashAttention,实现线性内存复杂度并消除冗余计算,在LLM微调与对齐训练中实现1.65x至3.22x端到端加速,内核性能超越FlexAttention最高达60.7%。
2025-03-01 cs.LG
Is Flash Attention Stable?
FAIR at Meta(Meta FAIR实验室);Harvard University(哈佛大学);Meta
本文提出分析数值偏差的框架并应用于 Flash Attention,发现其 BF16 前向传播数值偏差比基线高约一个数量级,但通过 Wasserstein 距离分析表明其对训练权重的影响比低精度训练小 2-5 倍。
2024-05-05 cs.DC cs.LG
GatedFWA: Linear Flash Windowed Attention with Gated Associative Memory
Imperial College London(帝国理工学院);Sorbonne University(索邦大学);Chalmers University of Technology(查尔姆斯理工大学)
GatedFWA是一种通过门控关联记忆机制提升滑动窗口注意力稳定性和梯度流动的高效注意力机制,适用于自回归模型和语言建模任务。
2026-01-07 cs.LG
Block Sparse Flash Attention
Technion -- Israel Institute of Technology, Haifa, Israel(技术离子-以色列理工学院, 海法, 以色列);Intel -- Habana Labs, Tel Aviv, Israel(英特尔 -- Habana实验室, 特拉维夫, 以色列)
块稀疏Flash注意力通过精确计算查询-键相似性,提升长上下文推理效率并保持高准确性。
2026-09-30 cs.CL cs.LG cs.PF
Enhancing Performance and Scalability of Large-Scale Recommendation Systems with Jagged Flash Attention
Meta Platforms(元平台公司)
本文提出 Jagged Flash Attention,通过高效处理动态大小张量提取长类别特征细粒度信息,相比密集注意力实现高达9倍加速和22倍内存减少,在生产中提升10% QPS并节省18%内存,有效增强大规模推荐系统性能与可扩展性。
2024-09-19 cs.AI cs.IR cs.LG
Broken Symmetry in BF16 Attention: Why FlashAttention Gradients Blow Up Late in Training
Rutgers University(罗格斯大学);Carnegie Mellon University(卡内基梅隆大学);Oracle(甲骨文公司);New York University(纽约大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
针对BF16注意力训练后期梯度爆炸问题,提出GProj方法,通过恢复softmax梯度行和为零的守恒律,将梯度误差降至与FP32相当,仅增加4.7%时间,实现稳定训练。
2026-09-29 cs.DC cs.LG cs.NA
VFA: Relieving Vector Operations in Flash Attention with Global Maximum Pre-computation
Huawei Technologies(华为技术)
本文提出VFA,通过预计算全局最大值减少Flash Attention中的向量操作,提升计算效率。
2026-04-14 cs.AI cs.LG
Sawtooth Wavefront Reordering: Enhanced CuTile FlashAttention on NVIDIA GB10
University of Rochester(罗切斯特大学)
本文提出锯齿波前重排技术,通过减少L2缓存缺失提升CuTile FlashAttention在NVIDIA GB10上的性能。
2026-01-26 cs.AI cs.LG cs.OS
AdaSplash: Adaptive Sparse Flash Attention
Universidade de Lisboa(里斯本大学);Unbabel
本文提出 AdaSplash,通过混合 Halley-二分算法与自定义 Triton 内核加速 $α$-entmax 自适应稀疏注意力,显著降低长上下文训练的运行时和内存开销。
2025-06-08 cs.CL cs.LG
Enhancing Training Efficiency Using Packing with Flash Attention
IBM Research(IBM研究院)
本文分析 Hugging Face Transformers 4.44 新增的打包样本掩码功能,证明其结合 Flash Attention 能减少填充浪费、提升 LLM 微调时的 GPU 利用率和训练效率。
2024-09-01 cs.AI cs.LG
FlashAttention for Scalable Vector Architectures
Chalmers University of Technology(查尔姆斯理工大学);University of Glasgow(格拉斯哥大学)
本文提出面向可扩展向量架构的FlashAttention-V,将其集成到ggml并在多模型与平台上评估,该方法在预填充、解码阶段均实现显著加速,但Q8_0量化线性层的结构性瓶颈制约了长向量可扩展性。
2026-08-20 cs.LG cs.PF
LampAttention: Look-Ahead Mixed-Precision FlashAttention for Dedicated Accelerators
University of Vienna(维也纳大学);Huawei Heisenberg Research Center(华为海森堡研究中心);Huawei Technologies Co. Ltd(华为技术有限公司)
提出LampAttention,一种混合精度FlashAttention的硬件-算法协同设计,通过8位计算与自适应16位重算敏感子块,在专用加速器上高效恢复模型性能。
2026-10-01 cs.LG cs.NA math.NA