Token Sparse Attention: Efficient Long-Context Inference with Interleaved Token Selection
Department of Electrical and Computer Engineering, Seoul National University, Seoul, South Korea(电气电子工程系,首尔国立大学,首尔,韩国)
提出Token Sparse Attention,一种轻量级动态令牌级稀疏化机制,通过交错选择令牌并在注意力前后压缩/解压缩,实现高效长上下文推理,在128K上下文中获得高达3.23倍加速且精度损失小于1%。
2026-05-29 cs.CL cs.LG
Tree Cross Attention
Mila – Université de Montréal(米拉-蒙特利尔大学);Borealis AI(北极星人工智能)
本文提出树状交叉注意力 TCA 及 ReTreever 架构,通过树结构与树搜索将推理检索复杂度降至 O(log(N)),在多任务中以更少 token 达到接近 Cross Attention 的性能,并优于 Perceiver IO。
2024-03-01 cs.LG
STILL: Selecting Tokens for Intra-Layer Hybrid Attention to Linearize LLMs
SMULL Group, Harbin Institute of Technology, Shenzhen(SMULL小组,哈尔滨工业大学,深圳);Pengcheng Laboratory(Pengcheng实验室);UQMM Lab, University of Queensland(UQMM实验室,昆士兰大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
STILL通过自显著性分数和NP-Map实现LLM的高效线性化,提升长上下文任务性能
2026-10-06 cs.LG
Spectral Geometry of Attention: From Information Routing to Uncertainty
University of Milano-Bicocca(米兰比可卡大学);LIX, Ecole Polytechnique(巴黎综合理工学院LIX实验室)
本研究利用谱几何与算子理论分析Transformer注意力,提出标记差分算子以分离汇点效应与路由能力,并开发出基于注意力的不确定性估计器,在长上下文输入上表现最佳。
2026-10-06 cs.LG
Token Statistics Transformer: Linear-Time Attention via Variational Rate Reduction
UC Berkeley(加州大学伯克利分校);UPenn(宾夕法尼亚大学);UMich(密歇根大学);THU(清华大学);Transcengram(瞬像科技);Tsinghua SIGS(清华大学深圳国际研究生院);HKU(香港大学);JHU(约翰斯·霍普金斯大学)
本文提出线性复杂度的Token Statistics Self-Attention (TSSA)模块及ToST架构,通过变分MCR²目标的展开梯度下降推导而成,在视觉和语言等任务上媲美传统Transformer,挑战了成对相似度注意力不可或缺的传统观点。
2024-12-23 cs.LG
Alleviating Forgetfulness of Linear Attention by Hybrid Sparse Attention and Contextualized Learnable Token Eviction
Idiap Research Institute(Idiap研究机构);Ecole Polytechnique Fédérale de Lausanne(瑞士联邦理工学院)
针对线性注意力模型因有限内存导致的遗忘问题,本文提出结合稀疏注意力与可学习令牌驱逐的混合方法,在保持线性复杂度下提升检索性能。
2025-10-24 cs.CL cs.LG
Three Tokens Force Exponential Feature Rank in Nonnegative Kernel Attention
CENIA(智利环境与可持续发展研究中心)
该研究对比全注意力与核注意力的差异,证明三令牌序列下非负核注意力需指数级特征,而密集softmax仅需线性特征,还推导了有限字母表多头草图模型的转录本下界。
2026-10-01 cs.LG
CAOTE: KV Cache Selection for LLMs via Attention Output Error-Based Token Eviction
Qualcomm Technologies, Inc.(高通技术公司)
针对大语言模型长上下文下的内存与计算瓶颈,提出融合注意力分数与值向量的CAOTE令牌驱逐方法,可作为元启发式方法适配现有方案,有效提升下游任务准确率。
2025-10-05 cs.CL cs.LG
DAPD: Dependency-Aware Parallel Decoding via Attention for Diffusion LLMs
KAIST(韩国科学技术院)
提出一种无需训练的并行解码方法DAPD,利用自注意力构建掩码标记的依赖图,通过选择独立集并行解码,避免强耦合标记同时更新,提升了扩散LLM的精度-步数权衡。
2026-06-01 cs.LG
Neural Attention Search Linear: Towards Adaptive Token-Level Hybrid Attention Models
University of Copenhagen(哥本哈根大学)
提出NAtS-L框架,在同一层内对不同令牌自适应选择线性注意力或softmax注意力,以平衡效率与表达能力。
2026-06-02 cs.CL cs.LG
Meta-Attention: Bayesian Per-Token Routing for Efficient Transformer Inference
Knowledge Lab AG Zürich(苏黎世知识实验室)
提出Meta-Attention框架,通过贝叶斯元控制器动态为每个token选择最优注意力策略(全softmax、线性或滑动窗口局部注意力),在几乎无开销下实现更优的计算-性能权衡。
2026-05-27 cs.LG
FastAV: Efficient Token Pruning for Audio-Visual Large Language Model Inference
Korea Advanced Institute of Science and Technology(韩国科学技术院)
FastAV通过两阶段令牌修剪策略,针对音频视觉大语言模型实现高效推理,减少FLOPs超过40%并保持性能
2026-01-19 cs.LG
CAST: Clustering Self-Attention using Surrogate Tokens for Efficient Transformers
Department of Computer Science(计算机科学系);University of Twente(特文特大学)
本文提出CAST,一种基于代理令牌的聚类自注意力机制,将复杂度从二次降至线性,在长序列任务中性能不逊于基线,且时间与内存效率更高。
2024-02-06 cs.LG
A2SF: Accumulative Attention Scoring with Forgetting Factor for Token Pruning in Transformer Decoder
Sungkyunkwan University(成均馆大学)
本文提出带遗忘因子的累积注意力评分方法A2SF,解决Transformer解码器中因掩码导致令牌注意力累积次数不同而比较不公平的问题,从而更有效地进行KV缓存令牌剪枝,并在LLaMA 2上实现最高7.8%的准确率提升。
2024-07-31 cs.CL cs.LG
Token Distillation: Attention-aware Input Embeddings For New Tokens
Hasso Plattner Institute ELLIS Unit(波茨坦大学哈索普兰特纳研究所ELLIS单位);University of Copenhagen ELLIS Unit(哥本哈根大学ELLIS单位)
本文提出令牌蒸馏方法,通过蒸馏原始分词获得的表示快速学习高质量新令牌嵌入,实验表明其优于现有基线。
2026-03-13 cs.CL cs.LG
STAR: Stage-Wise Attention-Guided Token Reduction for Efficient Large Vision-Language Models Inference
De Artificial Intelligence Lab(人工智能实验室)
针对大视觉语言模型视觉token推理计算开销大、现有单阶段免训练剪枝高剪枝率下性能下降明显的问题,提出分两阶段注意力引导的即插即用免训练token缩减框架STAR,实现加速同时保持甚至提升性能。
2025-05-18 cs.CV cs.LG
Opinion Leader Dynamics: How Sparse Attention Shapes Token Clustering
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学)
本研究提出意见领袖动力学框架,将词元视为单位球面上的粒子,通过显式和隐式两种机制解释稀疏注意力下词元组内收敛而组间分离的现象,并在多个前沿大语言模型上验证了该多组结构预测。
2026-09-22 cs.AI cs.LG
LoGo: Token-Level Dynamic Local-Global Attention
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对Transformer长上下文注意力的计算瓶颈,提出令牌级动态局部-全局注意力LoGo,通过学习门控动态分配注意力范围,提升长距离检索性能并实现计算加速。
2026-09-01 cs.CL cs.LG
STS: Efficient Sparse Attention with Speculative Token Sparsity
The Hong Kong University of Science and Technology(香港科技大学);UC Berkeley(加州大学伯克利分校)
本文提出STS,一种无需模型再训练的稀疏注意力机制,通过利用较小的草稿模型识别出的重要标记来预测更大目标模型的重要标记,从而在大规模语言模型推理中实现高效的稀疏注意力计算,显著提升速度并保持准确性。
2026-08-24 cs.CL cs.LG
Learning to Attribute with Attention
MIT(麻省理工学院)
针对语言模型生成序列的标记归因成本高问题,提出将不同注意力头权重作为特征学习有效利用的AT2方法,性能与大量消融方法相当且效率更高,在问答场景中修剪上下文次要部分提升回答质量。
2025-04-18 cs.CL cs.LG
Attention Frequency Modulation: Training-Free Spectral Modulation of Diffusion Cross-Attention
Sogang University(西江大学)
本文提出AFM,通过频域调整交叉注意力logits,实现无训练的注意力频谱控制,实验证明能有效编辑图像内容并保持语义一致性。
2026-03-30 cs.CV cs.LG
ToMA: Token Merge with Attention for Diffusion Models
Department of Computer Science, New York University(纽约大学计算机科学系)
ToMA通过重新设计令牌合并方法,提升扩散模型的GPU效率,减少生成延迟并优化实际性能。
2025-11-30 cs.AI cs.LG
DTRNet: Dynamic Token Routing Network to Reduce Quadratic Costs in Transformers
Huawei(华为)
针对Transformer自注意力二次方计算成本高的问题,提出DTRNet动态令牌路由架构,让多数令牌仅做线性更新、仅约10%令牌走注意力,在同等FLOPs下准确率和内存表现优于MoD等方法,长序列效率提升更显著。
2025-08-31 cs.CL cs.LG
V-CoLA: Vision Token Compression with Linear Attention
Alibaba Cloud Computing, Alibaba Group(阿里巴巴集团阿里云计算)
针对视觉-语言模型因视觉令牌主导输入序列导致计算开销大的问题,提出专为线性注意力设计的无训练压缩框架V-CoLA,通过感知唯一性的重要性准则与自适应令牌合并策略,在大幅减少视觉令牌的同时保持高性能并提升预填充速度。
2026-10-21 cs.CV cs.LG
Attamba: Attending To Multi-Token States
Cornell University(康奈尔大学);Google(谷歌公司)
针对普通transformer注意力计算量随序列长度二次方增长的问题,提出Attamba架构,用状态空间模型压缩token块并对压缩键值表示应用注意力,可提升模型质量、实现灵活分块,在相似计算量下困惑度提升24%,或在5%困惑度损失下减少4倍计算量。
2024-11-26 cs.CL cs.LG
Compound Tokens: Channel Fusion for Vision-Language Representation Learning
Dartmouth College(达特茅斯学院);Google Research(谷歌研究院)
我们提出了一种有效的方法,融合视觉和语言表征的几个问答任务,包括视觉问答和视觉蕴涵。与以前的作品,连接单峰表示或只使用交叉注意,我们组成多模态表示通过通道融合。通过在通道上融合,与标准方法相比,该模型能够更有效地对齐令牌。这些多模态表示,我们称之为复合令牌,是由交叉注意Transformer层生成的。首先,视觉令牌被用作查询,通过交叉注意检索兼容的文本令牌。然后,我们沿着通道维度链接视觉标记和查询的文本标记。我们称之为复合表征。使用类似的过程生成第二组复合标记,其中文本标记用作对交叉注意层的查询。我们将所有的复合标记连接起来,以便用多模式编码器进行进一步处理。我们证明了复合令牌的有效性,使用编码器-解码器视觉语言模型训练端到端的开放词汇设置。复合令牌在包括GQA、VQA 2.0和SNLI-VE在内的一系列问答任务中实现了极具竞争力的性能。
2022-12-02 cs.CV cs.LG
Softmax Attention with Constant Cost per Token
Glassroom(格拉斯鲁姆公司)
提出对Transformer注意力机制的修改,用缩放点积的指数的对数替代传统点积量化相似度,通过指数核特征映射线性化注意力,实现每个token恒定时空复杂度,并验证其作为传统注意力替代方案的有效性。
2024-04-27 cs.CL cs.LG
ASAP: Attention-Shift-Aware Pruning for Efficient LVLM Inference
George Mason University(乔治·马歇尔大学)
本文提出ASAP方法,通过动态双向软注意力掩码缓解注意力转移问题,并引入加权软合并组件减少语义冗余,实现视觉上下文近似无损压缩,保持99.02%的LLaVA-NeXT-7B性能,计算量降低约80%。
2026-03-17 cs.CV cs.LG
DELTA: Dynamic Layer-Aware Token Attention for Efficient Long-Context Reasoning
University of Southern California(南加州大学)
DELTA通过动态层感知令牌注意力机制提升长上下文推理效率,减少计算成本而不牺牲准确性,在AIME和GPQA-Diamond等基准上表现优异。
2026-05-02 cs.CL cs.LG
Token-Picker: Accelerating Attention in Text Generation with Minimized Memory Transfer via Probability Estimation
Korea Advanced Institute of Science and Technology(韩国科学技术院);System LSI, Samsung Electronics(三星电子系统LSI部门)
针对文本生成中注意力机制的内存瓶颈,提出Token-Picker方法,在softmax前估计概率并剪枝低概率标记,无需微调即实现12.1倍剪枝率,配合硬件设计减少2.6倍内存访问,带来2.3倍加速和2.4倍能效提升。
2024-07-21 cs.AR cs.LG
Attention Score is not All You Need for Token Importance Indicator in KV Cache Reduction: Value Also Matters
Nara Institute of Science and Technology(奈良科学技术研究所)
针对 KV 缓存 token 剪枝仅依赖注意力分数的问题,本文提出 VATP,联合注意力分数与 value 向量 $\ell_1$ 范数评估重要性,并在 16 项 LongBench 任务中验证其优势。
2024-10-02 cs.CL cs.LG
Sparsifiner: Learning Sparse Instance-Dependent Attention for Efficient Vision Transformers
University of Toronto(多伦多大学);Modiface, Inc.(Modiface公司);University of Guelph(圭尔夫大学);Vector Institute(向量研究所)
与卷积神经网络(CNN)相比,视觉Transformer(ViT)在性能方面表现出了竞争优势,尽管它们通常具有很高的计算成本。为此,以前的方法探索不同的注意模式,通过限制固定数量的空间附近的令牌,以加速ViT的多头自注意(MHSA)操作。然而,这种结构化的注意力模式限制了标记到标记的连接到它们的空间相关性,这忽略了从完整的注意力掩码中学习到的语义连接。在这项工作中,我们提出了一种新的方法来学习依赖于实例的注意模式,通过设计一个轻量级的连接预测模块来估计每对令牌的连接得分。直觉上,如果特征被认为在空间上或语义上相关,则两个标记具有高连接性分数。由于每个令牌只涉及少量其他令牌,因此二值化连接掩码通常本质上非常稀疏,因此提供了通过稀疏计算加速网络的机会。配备了学习的非结构化注意力模式,稀疏注意力ViT(Sparsifiner)与令牌稀疏性相比,在FLOP和ImageNet上的top-1准确性之间产生了卓越的Pareto最优权衡。我们的方法减少了48%到69%的MHSA的FLOPs,而准确度下降在0.4%以内。我们还表明,将注意力和令牌稀疏性相结合,可以将ViT FLOPs降低60%以上。
2023-03-24 cs.AI cs.CV cs.LG
Value-State Gated Attention for Mitigating Extreme-Token Phenomena in Transformers
Ant Group(蚂蚁集团);WICT, Peking University(北京大学信息学院)
本文提出价值状态门控注意力机制,通过直接打破注意力与价值状态的循环,有效缓解Transformer中的极端令牌现象,提升模型性能与可解释性。
2026-01-26 cs.AI cs.LG
High-Dimensional Analysis of Single-Layer Attention for Sparse-Token Classification
Department of Statistics, Harvard University(哈佛大学统计学系);Center of Mathematical Sciences and Applications, Harvard University(哈佛大学数学科学中心);John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学工程与应用科学学院)
本文通过高维渐近理论分析单层注意力在稀疏 token 分类中的表示与学习能力,证明其仅需对数信号强度和两次梯度更新即可检测微弱稀疏信号,并推导误差、损失与容量。
2025-09-29 cs.LG stat.ML
MARché: Fast Masked Autoregressive Image Generation with Cache-Aware Attention
University of Southern California(南加州大学);Yonsei University(延世大学)
针对掩码自回归图像生成模型每步重算所有token表示的高计算开销问题,提出含缓存感知注意力与选择性KV刷新的无训练框架MARché,在保证图像质量的前提下实现最高1.7倍加速。
2025-05-22 cs.AI cs.LG
Token Complexity Theory for AI-Augmented Computing
Richard Miner School of Computing and Information Sciences, University of Massachusetts, Lowell, MA(理查德·米纳尔计算与信息科学学院,马萨诸塞大学洛厄尔分校)
提出Token复杂度作为AI增强计算中查询与响应成本的形式化度量,建立AI-Oracle图灵机框架,证明单调性、凸性、价格敏感性和任务排序的价格相对性等基本定理。
2026-06-12 cs.AI cs.CC cs.LG
On the Importance of Local Information in Transformer Based Models
Indian Institute of Technology Madras(印度马德拉斯理工学院);Robert Bosch Centre for Data Science and AI(罗伯特·博世数据科学与人工智能中心)
自我关注模块是基于transformer的模型的关键组件,其中每个token关注每个其他token。最近的研究表明,这些头表现出句法,语义,或本地的行为。一些研究还确定了将这种注意力限制在局部的希望,即,一个标记只关注它周围一个小邻域内的其他标记。然而,没有确凿的证据表明,这种局部注意力足以在多个NLP任务中实现高精度。在这项工作中,我们系统地分析了学习模型中的局部信息的作用,并将其与句法信息的作用进行了对比。更具体地说,我们首先做了一个敏感性分析,并表明,在每一层,一个令牌的表示是更敏感的令牌在一个小的邻居,它比令牌的语法相关it. Then,我们定义了一个注意力偏置度量,以确定是否一个头支付更多的注意本地令牌或语法相关的令牌。我们发现,一个更大的分数头有一个地方性的偏见相比,句法偏见。在建立了本地注意力头的重要性,我们训练和评估模型的注意力头的不同比例被限制为本地。这样的模型将更有效,因为它们在注意力层中的计算更少。我们在4个GLUE数据集(QQP,SST-2,MRPC,QNLI)和2个MT数据集(En-De,En-Ru)上对这些模型进行了评估,并清楚地证明了这些约束模型与无约束模型具有相当的性能。通过这种系统的评估,我们建立了基于transformer的模型中的注意力可以被限制在局部而不影响性能。
2020-08-13 cs.CL cs.LG
Low-Complexity Semantic Packet Aggregation for Token Communication via Lookahead Search
School of Electrical Engineering, Korea Advanced Institute of Science and Technology(韩国科学技术院电子工程学院);ISTD Pillar, Singapore University of Technology and Design(新加坡科技设计大学ISTD支柱);School of Electrical and Mechanical Engineering, The University of Adelaide(阿德莱德大学电气与机械工程学院)
本文针对中断信道下 token 通信的语义易失真问题,提出了一种基于前瞻搜索的低复杂度语义数据包聚合框架 SemPA-Look,通过引入残差语义分数和前瞻搜索算法,在保证高语义相似度的同时显著降低了计算复杂度。
2025-06-24 cs.LG eess.SP
Geometric Analysis of Token Selection in Multi-Head Attention
University of Luxembourg(卢森堡大学);London Institute for Mathematical Sciences(伦敦数学科学研究所)
本研究通过几何分析揭示了多头注意力机制中令牌选择的结构特性,提出了精度、召回率和F分数等指标,并展示了头部在不同制度下的几何特征。
2026-08-04 cs.AI cs.LG
Quantifying Attention Flow in Transformers
University of Amsterdam(阿姆斯特丹大学)
在Transformer模型中,“自我关注”将来自关注嵌入的信息组合到下一层的焦点嵌入的表示中。因此,跨Transformer的层,源自不同令牌的信息变得越来越混合。这使得注意力权重在解释探测时变得不可靠。在本文中,我们考虑的问题,通过自我关注的信息流的量化。我们提出了两种方法近似的注意力输入令牌的注意力权重,注意滚动和注意流,作为事后的方法,当我们使用的注意力权重作为输入令牌的相对相关性。我们发现,这些方法提供了信息流的互补意见,并与原始注意力相比,两者都产生较高的相关性与使用消融方法和输入梯度获得的输入标记的重要性分数。
2020-05-31 cs.AI cs.CL cs.LG
TidalDecode: Fast and Accurate LLM Decoding with Position Persistent Sparse Attention
Carnegie Mellon University(卡内基梅隆大学)
针对大语言模型解码阶段KV缓存内存瓶颈及现有稀疏注意力的两大局限,提出TidalDecode算法,利用层间token空间连贯性,通过少量全注意力层选token、其余层用预选token做稀疏注意力,在保证生成质量的同时最高降低2.1倍解码延迟。
2024-10-07 cs.AI cs.CL cs.LG
Stem: Rethinking Causal Information Flow in Sparse Attention
tencent(腾讯);ustc(中国科学技术大学)
Stem通过位置依赖的top-k和输出感知度量,优化稀疏注意力机制,提升LLMs在长上下文处理中的效率与准确性。
2026-08-03 cs.AI cs.LG
RIFT: Token Influence Follows the Path of Least Resistance
University of California, Los Angeles(加州大学洛杉矶分校)
本研究提出RIFT方法,通过最小阻力路径的串联电阻评分令牌影响力,在Qwen3、Llama 3.2等模型的576个提示上,其表现优于多种现有注意力相关方法。
2026-10-14 cs.CL cs.LG
Mixture of Weight-shared Heterogeneous Group Attention Experts for Dynamic Token-wise KV Optimization
University of Chinese Academy of Sciences(中国科学院大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Macau(澳门大学);Shenzhen University of Advanced Technology(深圳先进技术大学)
针对Transformer模型因果语言建模中KV缓存扩展性差的问题,提出mixSGA专家混合方法,通过逐Token路由、权重共享和辅助损失实现动态KV优化,在多模型上的效率和效果均优于静态基线。
2025-06-16 cs.CL cs.LG
Learning to Explain: Supervised Token Attribution from Transformer Attention Patterns
University of North Texas(北卡罗来纳州立大学)
ExpNet通过学习Transformer注意力模式到标记重要性分数的映射,提供了一种轻量级的可解释AI方法,能够自动发现最佳注意力特征组合。
2026-01-21 cs.CL cs.LG
Teach Yourself Where to Look: On-Policy Attention Self-Distillation for Reasoning
提出在线策略注意力自蒸馏(OPASD),通过解决方案条件注意力蒸馏补充令牌级监督,在竞赛级数学基准上提升准确率、减少计算开销并加速训练。
2026-09-30 cs.CL cs.LG
Boosting Text-to-Image Diffusion Models via Core Token Attention-Based Seed Selection
Brandeis University(布兰迪大学)
本文研究了文本到图像扩散模型中种子对生成质量的影响,提出基于核心标记注意力的种子选择方法,无需训练即可提升文本与图像的一致性及视觉质量。
2026-05-19 cs.CV cs.LG
Mechanics of Next Token Prediction with Self-Attention
University of Michigan(密歇根大学);Google Research NYC(谷歌研究院纽约分部)
本文揭示自注意力层通过梯度下降学习自动机,以硬检索和软组合两步实现下一词预测,并严格刻画其机制,发现隐式发现强连通分量并检索最高优先级分量。
2024-03-12 cs.AI cs.CL cs.LG
Visual Concepts Tokenization
Xi’an Jiaotong University(西安交通大学);Microsoft Research Asia(微软亚洲研究院)
从具体像素中抽象出视觉概念的类人感知能力一直是机器学习研究领域的一个基本和重要的目标,如解纠缠表示学习和场景分解。为了实现这一目标,我们提出了一个无监督的基于transformer的视觉概念令牌化框架,被称为VCT,感知到一组解开视觉概念令牌的图像,每个概念令牌响应一种类型的独立视觉概念。特别地,为了获得这些概念令牌,我们只使用交叉注意从图像令牌中逐层提取视觉信息,而没有概念令牌之间的自我注意,防止跨概念令牌的信息泄漏。我们进一步提出了一个概念解开损失,以促进不同的概念令牌表示独立的视觉概念。交叉注意和解缠损失分别对概念表征起归纳和互斥作用。在几个流行的数据集上进行的大量实验验证了VCT在解纠缠表示学习和场景分解任务上的有效性。自愿咨询和检测以较大幅度达到了最先进的结果。
2022-10-13 cs.CV cs.LG
AttentionPredictor: Temporal Patterns Matter for KV Cache Compression
MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China(脑启发智能感知与认知联合实验室,中国科学技术大学);Huawei Noah’s Ark Lab(华为诺亚实验室);College of Intelligence and Computing, Tianjin University(智能与计算学院,天津大学)
提出AttentionPredictor,首个基于学习的KV缓存压缩方法,通过统一卷积模型预测注意力模式,实现13倍压缩和5.6倍加速,显著提升LLM推理效率。
2025-10-26 cs.CL cs.LG
Nectar: Neural Estimation of Cached-Token Attention via Regression
Apple(苹果公司)
Nectar通过回归方法估计缓存令牌注意力,减少长上下文中的计算成本,实验显示其精度接近完整注意力。
2026-07-09 cs.CL cs.LG
CLAA: Cross-Layer Attention Aggregation for Accelerating LLM Prefill
Franklin and Marshall College(弗兰克林与马歇尔学院);Meta Reality Labs(Meta现实实验室)
CLAA通过跨层聚合注意力分数,提升大语言模型预填阶段的推理速度,将TTFT降低至39%。
2026-02-17 cs.CL cs.LG
TaylorShift: Shifting the Complexity of Self-Attention from Squared to Linear (and Back) using Taylor-Softmax
Department of Computer Science, RPTU Kaiserslautern-Landau(鲁尔大学科隆-莱茵河畔分校计算机科学系);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
本文提出TaylorShift,通过重构Taylor softmax在线性时空复杂度下实现完整token交互,在约800 token时提升内存效率、约1700 token时加速推理,且长序列分类任务中准确率不下降。
2024-07-17 cs.AI cs.LG
VarDrop: Enhancing Training Efficiency by Reducing Variate Redundancy in Periodic Time Series Forecasting
VarDrop通过减少周期时间序列预测中的变量子冗余,提升训练效率。该方法利用k-dominant频率哈希进行分组,并通过分层抽样选择代表性token,从而降低计算成本。
2026-04-07 cs.AI cs.LG