Attention Score is not All You Need for Token Importance Indicator in KV Cache Reduction: Value Also Matters
Nara Institute of Science and Technology(奈良科学技术研究所)
针对 KV 缓存 token 剪枝仅依赖注意力分数的问题,本文提出 VATP,联合注意力分数与 value 向量 $\ell_1$ 范数评估重要性,并在 16 项 LongBench 任务中验证其优势。
2024-10-02 cs.CL cs.LG
Unpacking Tokenization: Evaluating Text Compression and its Correlation with Model Performance
Bar-Ilan University(巴伊兰大学);Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind)
该研究通过控制训练数据量调整BPE分词器的压缩能力,结合多语言实验证实分词压缩率与预训练语言模型下游性能正相关,指出提升分词器压缩能力是优化模型性能的有效途径。
2024-06-22 cs.AI cs.CL cs.LG
ENTP: Encoder-only Next Token Prediction
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Korea University(高丽大学)
本文提出仅编码器下一词元预测(ENTP),通过理论分析与实验证明其在表达能力和多项任务上优于仅解码器 Transformer。
2025-02-04 cs.CL cs.LG
Rebalancing Token Importance in Language Models with TF-IDF Weighted Cross-Entropy Loss
University of Southern California(南加州大学);Vanderbilt University(范德堡大学)
针对语言模型均匀词元加权导致记忆表面文本的问题,提出TF-IDF加权交叉熵损失,在保持性能的同时显著减少记忆子串长度,且计算开销低。
2026-09-11 cs.CL cs.LG
Token-Importance Guided Direct Preference Optimization
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));ByteDance(字节跳动);Microsoft Research AI4Science(微软研究院AI4Science);University of Science and Technology Beijing(北京科技大学)
本文提出TI-DPO方法,通过混合加权机制和三元组损失实现细粒度语义控制,提升模型对偏好响应的准确性和生成多样性。
2026-03-02 cs.AI
TIS-DPO: Token-level Importance Sampling for Direct Preference Optimization With Estimated Weights
Tsinghua University(清华大学);Apple(苹果公司);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
针对DPO将整个响应视为单个臂、忽略token重要性差异的问题,提出TIS-DPO,通过token级重要性采样并基于对比LLMs估计权重优化目标,在对齐及摘要任务上显著优于基线,还可识别关键token位置。
2025-04-15 cs.CL
Break the Visual Perception: Adversarial Attacks Targeting Encoded Visual Tokens of Large Vision-Language Models
University of Science and Technology of China(中国科学技术大学);Tencent YouTu Lab(腾讯优图实验室)
针对大视觉语言模型视觉模块的鲁棒性问题,提出仅需访问图像编码器的非定向VT-Attack方法,从多维度破坏视觉令牌,实验证明其攻击性能优于基线,可为模型鲁棒性提升提供指导。
2024-10-09 cs.AI cs.CV cs.LG
Rethinking Importance Sampling in LLM Policy Optimization: A Cumulative Token Perspective
UIUC(伊利诺伊大学香槟分校);University of Michigan(密歇根大学);Amazon(亚马逊)
本文提出CTPO,通过累积token重要性采样比解决偏倚-方差困境,结合位置自适应裁剪提升稳定性,实现更一致的正则化,在数学推理基准上表现最佳。
2026-05-08 cs.AI cs.LG
Reconsidering Degeneration of Token Embeddings with Definitions for Encoder-based Pre-trained Language Models
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Tokyo University(东京大学);Tokyo Institute of Technology(东京工业大学)
本研究分析了编码器型预训练语言模型微调中的退化鲁棒性,提出DefinitionEMB方法,利用Wiktionary定义重建各向同性且语义相关的词元嵌入,显著提升了低频词元在GLUE和文本摘要任务上的性能。
2024-10-16 cs.CL
CAOTE: KV Cache Selection for LLMs via Attention Output Error-Based Token Eviction
Qualcomm Technologies, Inc.(高通技术公司)
针对大语言模型长上下文下的内存与计算瓶颈,提出融合注意力分数与值向量的CAOTE令牌驱逐方法,可作为元启发式方法适配现有方案,有效提升下游任务准确率。
2025-10-05 cs.CL cs.LG
CoVisco: Codec-Native Vision Encoder with Native Token Compression for Unified Image-Video Understanding
ERNIE Team, Baidu Inc.(百度公司ERNIE团队);The Hong Kong University of Science and Technology(香港科技大学);Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所)
CoVisco通过码率原生编码与分段注意力实现原生令牌压缩,在64帧四段设置下仅用400个视觉令牌达到接近或超越OneVision-Encoder的视频理解性能,同时保留细粒度证据。
2026-10-01 cs.AI cs.CV
GMTS: Gradient Magnitude-based Token Selection Improves RLVR Training for LLM Reasoning
School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学数学科学学院);Institute of Natural Sciences, Shanghai Jiao Tong University(上海交通大学自然科学研究院)
本研究针对RLVR训练中高熵令牌重要性机制不明的问题,提出GMTS方法量化令牌重要性,实验显示其在多领域、多模型规模下性能优于熵基选择。
2026-09-01 cs.AI cs.CL cs.LG
Improving the Generation Quality of Watermarked Large Language Models via Word Importance Scoring
UMich(密歇根大学);UCLA(加州大学洛杉矶分校)
本文提出通过词重要性评分的水印方法,在生成时保护关键令牌不受水印影响,在保持检测率的同时提升水印文本质量。
2023-11-16 cs.CL cs.CR cs.LG
Do BERT Embeddings Encode Narrative Dimensions? A Token-Level Probing Analysis of Time, Space, Causality, and Character in Fiction
University of Rochester(罗切斯特大学)
本文研究BERT嵌入是否编码小说叙述维度,通过词级别数据集验证BERT在时间、空间、因果和人物上的表现,发现其准确率高于随机嵌入,但存在边界泄漏问题,提示叙述维度未被离散分离。
2026-04-12 cs.AI cs.CL
When Importance Sampling Misallocates Credit: Asymmetric Ratios for Outcome-Supervised RL
The Hong Kong University of Science and Technology(香港科技大学);Kuaishou Technology(快手科技);Tsinghua University(清华大学)
本文揭示了在结果监督强化学习中,重要采样比率因角色转变导致正优势token与负优势token的权重失衡,提出非对称重要采样策略ASPO以纠正此问题,提升训练稳定性与性能。
2026-05-15 cs.CL
Adaptive GoGI-Skip: Coupling Goal-Gradient Importance with Dynamic Uncertainty for Efficient Reasoning
School of Information Science and Technology, Hangzhou Normal University(信息科学与技术学院,杭州师范大学)
提出Adaptive GoGI-Skip框架,通过非线性耦合目标梯度重要性和自适应动态跳过,在保持推理准确性的同时减少45%以上令牌量,加速高达2倍。
2026-06-23 cs.AI cs.CL
A Critical Study of What Code-LLMs (Do Not) Learn
Technische Universität Darmstadt(达姆施塔特工业大学);AI Quality & Testing Hub(AI质量与测试中心);Hessian Center for Artificial Intelligence(黑森人工智能中心);National Research Center for Applied Cybersecurity ATHENE(国家应用网络安全研究中心ATHENE)
本研究通过细粒度分析代码大语言模型的注意力图与隐藏表示,发现其仅能编码语法词元、标识符各自内部的关系,无法编码二者间的关系,且微调模型和超大规模模型的编码能力反而更弱。
2024-06-17 cs.AI cs.CL cs.SE
Speculative Prefill: Turbocharging TTFT with Lightweight and Training-Free Token Importance Estimation
The University of Chicago(芝加哥大学);Carnegie Mellon University(卡内基梅隆大学)
针对大语言模型推理首token生成时间(TTFT)优化难的问题,提出免训练框架SpecPrefill,通过轻量模型筛选重要提示token加速推理,实现最高7倍端到端QPS和7.66倍TTFT提升。
2025-05-19 cs.AI cs.CL
AudioTETRIS: Token Elimination via Transitional Importance Signals for Efficient Audio LLMs
Eindhoven University of Technology(埃因霍温理工大学)
AudioTETRIS是一种无训练的两阶段音频令牌压缩框架,利用音频编码器的表示几何作为声学先验,在多个音频大语言模型上仅用25%令牌即可保留接近未压缩性能,优于现有无训练基线。
2026-10-12 cs.AI cs.SD eess.AS
FrameFusion: Combining Similarity and Importance for Video Token Reduction on Large Vision Language Models
Tsinghua University(清华大学);Infinigence-AI;Peking University(北京大学);Shanghai Jiao Tong University(上海交通大学)
提出 FrameFusion,结合相邻帧对应 token 的相似性合并与重要性剪除,在六个 LVLM 和五个视频基准上减少 70% 视觉 token,实现 1.6–3.6 倍加速且性能损失低于 3%。
2025-07-24 cs.AI cs.CV
IDPruner: Harmonizing Importance and Diversity in Visual Token Pruning for MLLMs
School of Software, Tsinghua University(清华大学软件学院);Tencent(腾讯)
IDPruner通过协调重要性与多样性,提出了一种高效的视觉令牌修剪方法,实现最优平衡并提升多模态大语言模型的性能。
2026-02-10 cs.AI cs.CV
Unlearning What Matters: Token-Level Attribution for Precise Language Model Unlearning
Department of Statistics and Data Science, National University of Singapore(统计与数据科学系,新加坡国立大学)
本文提出TokenUnlearn框架,通过标记级归因实现精确撤销,结合知识意识信号和熵意识信号生成重要性评分,改进梯度信噪比,实验显示在遗忘效果和效用保持方面优于序列级基线。
2026-05-01 cs.CL
Energy-Efficient Wireless LLM Inference via Uncertainty and Importance-Aware Speculative Decoding
School of Electrical and Electronic Engineering, Yonsei University(延世大学电子与电气工程学院)
本文提出一种基于不确定性与注意力重要性的令牌级过滤机制,通过仅上传信息量大的令牌,在保证准确率的同时显著降低混合语言模型推理的通信与能耗成本。
2025-08-18 cs.AI cs.LG
IPCV: Information-Preserving Compression for MLLM Visual Encoders
EPIC Lab, SJTU(上海交通大学EPIC实验室);CityU(城市大学);Shanghai AI Laboratory(上海人工智能实验室);University of Sheffield(谢菲尔德大学);SCU(上海科技大学);FDU(福建大学);SYSU(南方科技大学)
IPCV通过邻居引导重建和注意力稳定化技术,实现无需训练的多模态大语言模型视觉编码器高效压缩,有效降低计算成本并提升性能。
2025-12-21 cs.AI cs.CV
Visualizing token importance for black-box language models
University of Cambridge(剑桥大学)
本文提出DBSA方法,用于可视化黑盒语言模型中各输入令牌的重要性,以评估模型输出对输入的依赖性。
2025-12-12 cs.CL cs.LG
LLMs Need Encoders for Semantic IDs Too
Pinterest United States(Pinterest美国公司)
提出 PrefixMem,一种基于前缀 n-gram 记忆表的轻量级语义 ID 编码器,为 LLM 提供结构化、前缀条件的表示,显著提升生成推荐中的语义 ID 准确率和检索召回率。
2026-05-29 cs.AI cs.IR
Delta Tokenizer: Reference-Identical Tokenization of Session Deltas and Segment-Parallelism for Long Prompts on Multicore CPUs
Arizona State University(亚利桑那州立大学)
Delta Tokenizer是面向多核CPU的分词前端,通过增量分词与分段并行技术,大幅缩短会话轮次及长请求的分词时间,降低LLM服务的首令牌生成时间,且输出与参考结果完全一致。
2026-10-15 cs.CL cs.DC cs.PF
Every Token Leaves a Ripple in the Stream of Thought: Eliciting Model-Internal Token Saliency for Chain-of-Thought Compression
University of Virginia(弗吉尼亚大学)
针对思维链推理成本过高的问题,提出模型内部显著性方法 MIST,沿必要性与充分性轴定义 token 重要性并剪枝,在四个基准和四个模型上优于基线。
2026-10-14 cs.CL
TopV: Compatible Token Pruning with Inference Time Optimization for Fast and Low-Memory Multimodal Vision Language Model
Rutgers University(罗格斯大学);Rice University(莱斯大学);The University of Utah(犹他大学);California State University, Fullerton(加州州立大学富勒顿分校)
TopV提出一种无需训练的令牌剪枝优化方法,在预填充阶段一次性剪枝,兼容FlashAttention并减小KV缓存,实验证明其优于现有剪枝方法。
2025-03-29 cs.AI cs.CV
LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models
UCF(佛罗里达大学);UW-Madison(威斯康星大学麦迪逊分校);USC(南加州大学);UIC(伊利诺伊大学香槟分校)
LLaVA-PruMerge通过自适应视觉令牌减少策略,显著降低视觉令牌数量而不影响性能,适用于高效的大多模态模型。
2026-01-31 cs.AI cs.CL cs.CV
What Do Visual Tokens Really Encode? Uncovering Sparsity and Redundancy in Multimodal Large Language Models
Institute of Digital Twin, Eastern Institute of Technology(数字孪生研究所,东部技术研究所);Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative(宁波空间智能与数字衍生关键实验室);Shanghai Jiao Tong University(上海交通大学);The Hong Kong Polytechnic University(香港理工大学)
本研究揭示多模态大语言模型中视觉标记的稀疏性与冗余性,通过EmbedLens工具发现活跃标记在进入模型前已编码细粒度信息,并提出中层注入方法提升效率。
2026-02-28 cs.AI cs.CV
What do tokens know about their characters and how do they know it?
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
使用子词标记化方案的预训练语言模型(PLM)可以成功完成需要字符级信息的各种语言任务,尽管缺乏对标记的字符组成的显式访问。在这里,研究一系列模型(例如,GPT-J、BERT、RoBERTa、GloVe),我们通过训练分类器来探测关于字符级信息编码了什么词段,以基于其嵌入(例如,探测“cat”的模型嵌入是否编码它包含字符“a”)。我们发现,这些模型鲁棒地编码字符级别的信息,一般来说,较大的模型在任务中表现得更好。我们表明,这些结果推广到字符从非拉丁字母(阿拉伯语,梵文,西里尔文)。然后,通过一系列的实验和分析,我们调查的机制,通过它PLM获取英语语言字符信息在训练过程中,并认为,这种知识是通过多种现象,包括特定字符和特定部分的语音之间的系统关系,以及在相关字符串的标记化的自然变化。
2022-06-06 cs.CL
Autoregressive Ranking: Bridging the Gap Between Dual and Cross Encoders
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Google Research(谷歌研究院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出SToICaL损失,通过项级再加权和前缀树边际化,提升LLM在排序任务中的表现,证明ARR在表达能力上优于双编码器。
2026-02-11 cs.AI cs.IR cs.LG
TransPrune: Token Transition Pruning for Efficient Large Vision-Language Model
Shandong University(山东大学);MBZUAI;New York University Abu Dhabi(纽约大学阿布扎赫分校);University of Surrey(塞雷尔大学)
针对大型视觉语言模型因视觉令牌多导致计算成本高的问题,提出无需训练的TransPrune方法,结合令牌转换变化和指令引导注意力评估令牌重要性并剪枝,在八个基准测试中保持性能且推理TFLOPs降半以上。
2025-11-17 cs.AI cs.CV
Attend First, Consolidate Later: On the Importance of Attention in Different LLM Layers
该研究通过操控大语言模型不同层的隐藏状态,发现Transformer类LLM存在两阶段处理过程,上层注意力作用被高估,下层负责收集前文信息、上层侧重内部信息处理。
2024-10-31 cs.CL
LatentLens: Revealing Highly Interpretable Visual Tokens in LLMs
University of Cambridge(剑桥大学)
提出 LatentLens 方法,通过将视觉标记与文本语料库中的上下文标记表示进行最近邻匹配,实现视觉标记的可解释性,发现大多数视觉标记在各层均具有可解释性。
2026-07-23 cs.AI cs.CV
PAL: Probing Audio Encoders via LLMs -- Audio Information Transfer into LLMs
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey, UK(视觉、语音和信号处理中心(CVSSP),英国萨里大学);Surrey Institute for People-Centred AI, University of Surrey, Guildford, GU2 7XH, UK(萨里大学以人为中心的人工智能研究所,英国Guildford);Mohamed bin Zayed University of Artificial Intelligence (MBZUAI), Abu Dhabi, UAE(穆罕默德·本·扎耶德人工智能大学(MBZUAI),阿布扎赫德)
PAL通过LLM高效探测音频编码器,利用LAL和PLITS结合的方法提升音频信息整合效率,降低计算和内存开销。
2026-02-01 cs.AI cs.CL cs.SD
Encoder-Decoder Transformers: Logical Characterizations and Periodicity
Mathematics Research Centre, Tampere University(塔尔皮奥大学数学研究中心)
本文通过一种新的时序逻辑对编码器-解码器变换器进行逻辑刻画,扩展了命题逻辑并引入计数全局模态和过去模态,同时探讨了变换器在自回归设置中的应用。
2026-09-29 cs.AI cs.LO
TokenSHAP: Interpreting Large Language Models with Monte Carlo Shapley Value Estimation
Nexar(内克萨公司)
TokenSHAP利用蒙特卡洛Shapley值估计,为LLM输入中的标记提供可解释的重要性度量,提升模型透明度与提示工程。
2024-07-22 cs.CL
Stateful Token Reduction for Long-Video Hybrid VLMs
NVIDIA(英伟达)
针对混合Mamba-Transformer视觉语言模型,提出有状态令牌缩减方法,利用Mamba层的状态保持特性实现压缩而非剪枝,在25%令牌预算下实现3.8-4.2倍预填充加速,同时保持基线精度。
2026-07-02 cs.AI cs.CV
Learning to Predict Middle-Layer Attention in MLLMs for Visual Token Pruning
该研究针对MLLMs视觉token剪枝的固定层非最优及计算成本高的问题,提出MAP方法,实现仅保留5.56%视觉token时维持97.5%性能,获3.09倍端到端加速。
2026-09-10 cs.AI cs.CV
TReVS: Integrating Textual Relevance and Visual Saliency for Efficient Vision-Language Model Token Pruning
Nanjing University(南京大学);Geely Automobile Research Institute (Ningbo) Co., Ltd.(吉利汽车研究院(宁波)有限公司);Goertek(歌尔股份有限公司)
TReVS提出无需训练的视觉令牌剪枝框架,融合文本相关性与视觉显著性,利用高方差注意力头,在LLaVA-1.5-7B上剪枝94.4%视觉令牌并保留92.8%性能。
2026-09-30 cs.AI cs.CV
GRIP-VLM: Group-Relative Importance Pruning for Efficient Vision-Language Models
Institute for AI Industry Research (AIR), Tsinghua University(人工智能产业研究院(AIR),清华大学);Juhaokan Technology Co.,Ltd(极皓科技有限公司);Nanjing University(南京大学);University of Science and Technology of China(中国科学技术大学)
GRIP-VLM通过强化学习框架解决视觉语言模型中大规模视觉token处理的计算瓶颈,通过组相对重要性策略优化实现高效压缩,达到15%的推理加速。
2026-05-13 cs.AI cs.CV
Incorporating Attribution Importance for Improving Faithfulness Metrics
University of Sheffield(谢菲尔德大学)
针对现有忠实度指标硬擦除准则忽略单个token重要性的问题,提出按FA重要性比例随机掩码token向量的软擦除准则,实验证明其衍生的软指标更能准确偏好忠实的解释。
2023-05-17 cs.AI cs.CL cs.LG
TIAO: Token Importance-Aware Policy Optimization for Text Summarization
National University of Defense Technology(国防科技大学)
针对文本摘要中令牌重要性被忽视的问题,提出令牌重要性感知策略优化(TIAO),通过识别核心令牌并重新加权优势,使7B模型性能媲美GPT-4和GPT-5-nano。
2026-09-16 cs.CL
Circuit Fingerprints: How Answer Tokens Encode Their Geometrical Path
Korea Advanced Institute of Science and Technology(韩国科学技术院)
通过几何对齐实现电路发现,揭示transformer电路本质上是几何结构,实现可控引导并提升情感分类准确率。
2026-02-10 cs.CL cs.LG
On the Importance of Local Information in Transformer Based Models
Indian Institute of Technology Madras(印度马德拉斯理工学院);Robert Bosch Centre for Data Science and AI(罗伯特·博世数据科学与人工智能中心)
自我关注模块是基于transformer的模型的关键组件,其中每个token关注每个其他token。最近的研究表明,这些头表现出句法,语义,或本地的行为。一些研究还确定了将这种注意力限制在局部的希望,即,一个标记只关注它周围一个小邻域内的其他标记。然而,没有确凿的证据表明,这种局部注意力足以在多个NLP任务中实现高精度。在这项工作中,我们系统地分析了学习模型中的局部信息的作用,并将其与句法信息的作用进行了对比。更具体地说,我们首先做了一个敏感性分析,并表明,在每一层,一个令牌的表示是更敏感的令牌在一个小的邻居,它比令牌的语法相关it. Then,我们定义了一个注意力偏置度量,以确定是否一个头支付更多的注意本地令牌或语法相关的令牌。我们发现,一个更大的分数头有一个地方性的偏见相比,句法偏见。在建立了本地注意力头的重要性,我们训练和评估模型的注意力头的不同比例被限制为本地。这样的模型将更有效,因为它们在注意力层中的计算更少。我们在4个GLUE数据集(QQP,SST-2,MRPC,QNLI)和2个MT数据集(En-De,En-Ru)上对这些模型进行了评估,并清楚地证明了这些约束模型与无约束模型具有相当的性能。通过这种系统的评估,我们建立了基于transformer的模型中的注意力可以被限制在局部而不影响性能。
2020-08-13 cs.CL cs.LG
TIGTEC : Token Importance Guided TExt Counterfactuals
Ekimetrics(Ekimetrics公司);Sorbonne University(索邦大学);LIP6(LIP6实验室)
本文提出 TIGTEC,利用基于注意力的局部特征重要性编辑高贡献词,并结合语义距离代价函数与束搜索,为文本分类生成稀疏、合理且多样的反事实解释。
2023-04-24 cs.CL cs.LG stat.ME
The Importance of Generation Order in Language Modeling
Google Brain(谷歌大脑)
神经语言模型是用于机器翻译、摘要、音频转录和其他任务的最先进系统的关键组件。这些语言模型在本质上几乎是普遍自回归的,从左到右每次生成一个标记的句子。本文通过一种新的两遍语言模型,生成部分填充的句子“模板”,然后填充缺失的令牌,研究令牌生成顺序对模型质量的影响。我们比较了构建这两个通道的各种策略,并观察到模型质量的惊人变化。我们发现最有效的策略是在第一遍生成功能词,然后在第二遍生成内容词。我们相信这些实验结果证明了神经语言模型的生成顺序的更广泛的调查。
2018-08-23 cs.CL cs.LG stat.ML
SLICEChat: Progressive In-Encoder Token Pruning for Whole-Slide Pathology Language Models
Koç University(科奇大学);Hacettepe University(哈塞特佩大学)
SLICEChat通过混合Mamba-Transformer编码器内的渐进式令牌剪枝,实现千兆像素全切片病理图像的高效多模态推理,在SlideBench VQA上取得领先准确率并降低计算开销。
2026-11-05 cs.CL cs.CV
HeadRouter: Dynamic Head-Weight Routing for Task-Adaptive Audio Token Pruning in Large Audio Language Models
EPIC Lab, Shanghai Jiao Tong University(上海交通大学EPIC实验室);DAIL Tech(DAIL科技);Northeastern University(东北大学);Sichuan University(四川大学);Huazhong University of Science and Technology(华中科技大学)
HeadRouter通过动态评估不同音频任务中注意力头的重要性,实现高效的音频标记压缩,实验表明其在多个基准上均取得最佳压缩效果。
2026-04-26 cs.CL cs.SD