Sub-Token Routing for KV Cache Compression
Futurewei Technologies(未来智科)
提出子令牌路由方法,在保留令牌内对值向量分组并选择性保留,与令牌级压缩互补,在LLM和VLM中提升压缩性能。
2026-06-15 cs.CL cs.LG
Knowledge of Pretrained Language Models on Surface Information of Tokens
Tokyo Institute of Technology(东京工业大学);Fujitsu Limited(富士通公司)
本文考察了12个英日预训练语言模型对词元长度、子串和构成等表层信息的掌握与生成能力,发现模型了解长度和子串但不了解构成,并指出解码器端存在知识利用瓶颈。
2024-02-22 cs.CL
Revisiting subword tokenization: A case study on affixal negation in large language models
The University of Melbourne(墨尔本大学);RMIT University(皇家墨尔本理工大学);Google Research(谷歌研究院);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文通过多种子词分词方式的 LLM 实验,考察词缀否定识别能力,揭示分词准确率与否定敏感性的关系,并发现模型总体上能可靠理解词缀否定。
2024-04-04 cs.CL
Models In a Spelling Bee: Language Models Implicitly Learn the Character Composition of Tokens
Tel Aviv University(特拉维夫大学)
标准的预训练语言模型对子字标记序列进行操作,而不直接存取组成每个标记的字符串表示的字符。我们探测了预训练的语言模型的嵌入层,并表明模型在令人惊讶的程度上学习了整个单词和子单词标记的内部字符组成,而从未看到与标记相结合的字符。我们的研究结果表明,RoBERTa的嵌入层拥有足够的信息,可以准确拼写多达三分之一的词汇,并在所有标记类型上达到高平均字符ngram重叠。我们进一步测试了用额外的字符信息丰富子词模型是否可以改善语言建模,并观察到这种方法具有与没有基于拼写的丰富训练几乎相同的学习曲线。总的来说,我们的研究结果表明,语言建模目标激励模型隐式地学习一些拼写的概念,而明确地教模型如何拼写似乎并不能提高其在这些任务上的表现。
2022-06-08 cs.AI cs.CL cs.LG
To Each Language Its Tokenizer: Modular Tokenizers for Efficient Multilingual LLMs
Kyutai;Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Institute of Intelligent Systems and Robotics(智能系统与机器人研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Grenoble INP(格勒诺布尔国立理工学院);LIG(格勒诺布尔信息学实验室)
针对多语言大模型共享词汇表导致压缩不均、内存占用高和推理慢的问题,提出模块化分词器框架,通过可提取子分词器及采样预训练策略,实现高效训练与推理,不牺牲性能。
2026-09-15 cs.CL
Tokenization Falling Short: On Subword Robustness in Large Language Models
Baidu(百度);ModelBest(模贝斯特);University of Copenhagen(哥本哈根大学)
本研究针对大语言模型的分词诅咒问题,从复杂问题求解、token结构探测、排版变化复原性三方面展开研究,发现扩参可缓解问题但仍存偏差,验证了BPE-dropout等子词正则化的作用并开源了评估资源。
2024-10-04 cs.CL
GOTS: Greedy Orthogonal Token Selection for High-Resolution Vision-Language Models
研究高分辨率视觉语言模型中令牌减少问题。提出GOTS方法,通过所选跨度互补性,无训练且与查询无关,每步选正交最大剩余能量令牌。在多主干和基准测试中性能优,还减少模型端首次令牌时间。
2026-07-28 cs.AI
TokenRouter: Efficient Serving System for Token-Level LLM Routing
Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学)
TokenRouter 是面向 token 级 LLM 路由的高效服务系统,采用请求中心编程与模型中心执行的架构,通过延迟批处理调度器提升解码吞吐量,较现有系统实现 2.01-64.15 倍的效率提升。
2026-10-09 cs.CL
Defense Against Syntactic Textual Backdoor Attacks with Token Substitution
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Penn State University(宾夕法尼亚州立大学)
本文针对句法型文本后门攻击提出一种基于词元替换的在线防御算法,通过保留句法模板或特殊词元、替换语义词并比较预测标签变化来检测触发器,实验证明其可同时防御句法型和特殊词元型后门攻击。
2024-07-04 cs.CL
Retrofitting Large Language Models with Dynamic Tokenization
University of Cambridge(剑桥大学);Google(谷歌)
本文提出基于子词合并与嵌入预测超网络的动态分词方法,在多语言编码器及 Mistral-7B 等解码器上显著缩短序列长度且性能损失很小。
2025-06-11 cs.CL
From Smør-re-brød to Subwords: Training LLMs on Danish, One Morpheme at a Time
IT University of Copenhagen(哥本哈根信息技术大学)
本研究利用带标注的丹麦语形态学数据集训练半监督分割模型并开发定制分词器,显著提升了形态学分割准确度及生成式 transformer 模型在丹麦语下游任务中的性能。
2025-04-02 cs.CL
Token-based Decision Criteria Are Suboptimal in In-context Learning
Japan Advanced Institute of Science and Technology(日本先进科学技术学院);RIKEN(理化学研究所)
本文提出隐藏校准方法,用语言模型最后隐藏状态上的最近质心分类替代传统基于标签令牌概率的决策标准,在多个模型和数据集上显著提升上下文学习分类性能并揭示其内在原理。
2025-02-05 cs.AI cs.CL cs.LG
Improving Korean NLP Tasks with Linguistically Informed Subword Tokenization and Sub-character Decomposition
Korea University(高丽大学);Prediction(Prediction 公司);Korea Institute of Science and Technology (KIST)(韩国科学技术研究院)
针对韩语形态丰富、书写系统独特导致BPE分词效果不佳的问题,提出结合子字分解的词素感知子词分词法,在PLMs中平衡语言准确性与效率,在NIKL-CoLA等任务上表现提升,证明语言学信息可增强韩语NLP效果。
2023-11-07 cs.CL
Vector Arithmetic in Concept and Token Subspaces
Northeastern University(东北大学)
该研究通过概念和令牌子空间的向量算术揭示语言模型中的语义与表层信息结构。
2025-11-22 cs.CL
Finding the Cracks: Improving LLMs Reasoning with Paraphrastic Probing and Consistency Verification
School of Data Science, University of Virginia, Charlottesville, United States.(数据科学学院,弗吉尼亚大学,切萨皮克市,美国)
PPCV通过反语探测和一致性验证改进大语言模型推理,通过识别和替换关键标记以提升推理准确性。
2026-02-11 cs.AI cs.CL cs.LG
Not All Tokens Learn Alike: Attention Entropy Reveals Heterogeneous Signals in RL Reasoning
Baidu(百度);School of Computer Science, Peking University(北京大学计算机科学系);School of Software and Microelectronics, Peking University(北京大学软件与微电子学院)
研究通过注意力熵揭示强化学习推理中令牌层面的异质性,发现高熵令牌(探索者)与低熵令牌(锚点)在学习信号上有显著差异,动态熵感知的软重加权干预提升了模型性能。
2026-05-08 cs.CL
Centering before Pruning: Lightweight Geometry Correction for Diversity-Based Visual Token Pruning in LVLMs
Inha University(仁荷大学)
针对LVLMs视觉标记序列冗余导致推理成本高的问题,提出Cen-Prune方法,通过保留原始空间独特性并结合中心化余弦相似度,提升了现有多样性视觉标记修剪器的性能。
2026-09-01 cs.AI cs.CV
LazyLLM: Dynamic Token Pruning for Efficient Long Context LLM Inference
Apple(苹果公司);Meta AI
LazyLLM提出动态令牌剪枝方法,在预填充和解码阶段选择性计算重要令牌的KV缓存,加速长上下文推理,无需微调,如将LLama 2 7B预填充加速2.34倍。
2024-07-19 cs.AI cs.CL cs.LG
Unlearning What Matters: Token-Level Attribution for Precise Language Model Unlearning
Department of Statistics and Data Science, National University of Singapore(统计与数据科学系,新加坡国立大学)
本文提出TokenUnlearn框架,通过标记级归因实现精确撤销,结合知识意识信号和熵意识信号生成重要性评分,改进梯度信噪比,实验显示在遗忘效果和效用保持方面优于序列级基线。
2026-05-01 cs.CL
MUTANT: A Recipe for Multilingual Tokenizer Design
Krutrim AI
本文提出MUTANT多语言分词方法,通过精心设计词汇和训练数据、语言感知预分词和子词多词感知训练,提升多语言LLM的分词效果,MUTANT-Indic在22种印度语言上实现SOTA性能。
2026-03-22 cs.CL
SubGen: Token Generation in Sublinear Time and Memory
Yale University(耶鲁大学);Google Research(谷歌研究院)
SubGen提出一种基于在线聚类与ℓ2采样的KV缓存压缩方法,实现亚线性内存与时间复杂度的注意力解码,在长上下文问答中优于现有压缩方法。
2024-02-08 cs.AI cs.DS cs.LG
TokDrift: When LLM Speaks in Subwords but Code Speaks in Grammar
University of Waterloo(滑铁卢大学)
针对代码LLM的子词分词与代码语法错位问题,提出TokDrift框架,通过语义保持重写生成变体,发现微小格式变化即引发行为漂移,源于早期嵌入,呼吁语法感知分词。
2025-10-16 cs.AI cs.CL cs.LG
Reasoning Can Be Restored by Correcting a Few Decision Tokens
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学)
本文研究了基础模型在生成过程中推理优势的稀疏性,提出了一种基于分歧指导的标记干预方法,在少量干预下显著恢复甚至超越了同规模推理模型的性能。
2026-05-16 cs.AI
Energy-Driven Adaptive Visual Token Pruning for Efficient Vision-Language Models
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州))
E-AdaPrune通过能量驱动的自适应修剪方法,提高视觉语言模型的效率,实现令牌预算的动态分配,减少冗余并提升推理性能。
2026-07-31 cs.AI cs.CV
AnTKV: Anchor Token-Aware Sub-Bit Vector Quantization for KV Cache in Large Language Models
DSA Thrust, The Hong Kong University of Science and Technology (Guangzhou)(DSA团队,香港科学与技术大学(广州));School of Mathematics and Computational Science, Xiangtan University(数学与计算科学学院,湘潭大学);Microsoft(微软)
本文提出 AnTKV 双阶段锚点 token 感知向量量化框架,通过保留 1% 高敏感 token 并结合专用 FlashAttention 内核,在超低比特 KV cache 压缩中显著提升精度、吞吐与长上下文能力。
2025-10-18 cs.CL
Word Recovery in Large Language Models Enables Character-Level Tokenization Robustness
Zhipeng Yang(杨志鹏);Shu Yang(杨舒);Lijie Hu(胡丽杰);Di Wang(王迪)
本研究通过机制可解释性发现词恢复是大语言模型处理字符级输入的关键机制,增强了分词鲁棒性。
2026-08-05 cs.CL
DivPrune: Diversity-based Visual Token Pruning for Large Multimodal Models
Huawei Technologies Canada Co., Ltd.(华为技术加拿大有限公司)
本文提出DivPrune,一种将视觉Token剪枝形式化为最大-最小多样性问题(MMDP)的方法,通过最大化保留Token的多样性来减少冗余,无需微调即可在高剪枝率下保持性能,并在16个数据集上达到SOTA准确率,同时降低延迟和GPU内存使用。
2025-04-01 cs.AI cs.CV cs.LG
Focus-then-Context: Subject-Centric Progressive Visual Token Reduction for Vision-Language Models
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学深圳学院);ShenZhen Loop Area Institute(深圳河套学院)
本文提出了一种主体导向的渐进视觉标记缩减方法SPpruner,通过模拟人类视觉感知系统的'聚焦-然后-上下文'机制,有效减少视觉标记数量,提升视觉-语言模型的推理效率,实验表明其在速度和资源消耗上均优于现有方法。
2026-06-05 cs.AI cs.CV
LBPE: Long-token-first Tokenization to Improve Large Language Models
Beihang University(北京航空航天大学);Tsinghua University(清华大学);Beijing Institute of Technology(北京理工大学)
针对BPE分词中长词出现频率低导致的学习不平衡问题,提出LBPE方法,按词长反向优先级生成词,平滑长短词频差,实验证明其优于原始BPE。
2024-11-08 cs.CL
Accurate KV Cache Quantization with Outlier Tokens Tracing
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Key Laboratory of Data Intelligence and Advanced Computing, Soochow University(苏州大学数据智能与先进计算重点实验室);Huawei Cloud(华为云)
针对KV Cache常规量化受特殊离群令牌影响精度的问题,提出解码阶段精准识别并排除离群令牌的量化方法,在2比特量化下显著提升精度,实现内存占用降低6.4倍、吞吐量提升2.3倍的效果。
2025-05-16 cs.CL
Beyond Atomic Tokens: Factorizing Syllables for Language Model Pretraining
University of Information Technology, Vietnam National University, Ho Chi Minh city(胡志明市越南国立大学信息技术大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对传统分词忽视音节结构的问题,提出Phonemic Tokenizer,将音节分解为声母、韵母和声调,并构建PhonemicBERT,以极小词表在中文和越南语上取得与现有预训练模型相当或更优的性能。
2026-09-28 cs.CL
Finetuning LLMs for EvaCun 2025 token prediction shared task
Charles University(查尔斯大学)
本文基于三种LLMs在EvaCun 2025词元预测任务上微调,比较三种提示方法,并在保留数据上评估,贡献在于简单使用训练数据并对比不同提示策略。
2025-10-17 cs.CL
Balanced Token Pruning: Accelerating Vision Language Models Beyond Local Optimization
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);BNRist, Tsinghua University(清华大学北京研究院)
针对视觉语言模型令牌剪枝忽视局部与全局影响的问题,提出平衡令牌剪枝(BTP)方法,通过分阶段剪枝兼顾后续层与局部输出一致性,实现78%压缩率并保留96.7%性能。
2025-10-23 cs.AI cs.CV
StackTok: Accelerating VLMs Inference with Budget-Adaptive Visual Token Selection
Sichuan University(四川大学)
StackTok是一种无需训练的视觉标记筛选器,通过查询相关性与预算校准的视觉覆盖动态平衡,在多个VLM和基准上以最少标记实现高推理性能。
2026-09-16 cs.AI cs.CV
FoNE: Precise Single-Token Number Embeddings via Fourier Features
Department of Computer Science, University of Southern California(南加州大学计算机科学系)
FoNE通过傅里叶特征直接将数字映射到嵌入空间,以单token和两维嵌入维度表示数字,提升训练和推理效率,同时在加减乘等数值任务中实现更高准确率。
2026-04-21 cs.CL cs.LG
SPIDER: Multi-Layer Semantic Token Pruning and Adaptive Sub-Layer Skipping in Multimodal Large Language Models
Alibaba Cloud(阿里云);University of Science and Technology of China(中国科学技术大学);Maynooth University(梅努斯大学);Fudan University(复旦大学);Alibaba Group(阿里巴巴集团)
SPIDER提出无需训练的多层语义令牌剪枝与自适应子层跳过机制,解决多模态大模型数据与计算双重冗余,在LLaVA-NeXT-7B上减79% FLOPs且保持96%性能。
2026-09-29 cs.AI cs.CV
The structure of the token space for large language models
American University(美利坚大学);Galois, Inc.(Galois公司)
本文通过估计 token 子空间的维度和 Ricci 标量曲率,发现其结构为分层流形且曲率显著为负,并指出该几何特征与模型生成流畅性相关,为理解大模型行为与局限提供了第一性原理视角。
2024-10-11 cs.AI math.DG
Industrial Tokenization for LLM-Based Health Intelligence: A Federated Architecture for Industrial Evidence Integration
Mingyang Smart Energy Co., Ltd.(明阳智慧能源集团股份有限公司)
研究工业健康管理中异构信息源集成问题,提出工业令牌化概念及联邦架构,将特定源分析输出转为工业令牌,以实现跨源推理。给出基于振动诊断输出等的端到端诊断令牌路径,定位工业令牌化为语义接口。
2026-07-27 cs.AI cs.LG
IWP: Token Pruning as Implicit Weight Pruning in Large Vision Language Models
KAIST(韩国科学技术院)
提出基于注意力对偶形式的无训练令牌剪枝框架,通过度量令牌的信息量和冗余度,结合渐进式分块最大边际相关性选择子集,在保持性能的同时提升效率。
2026-09-02 cs.AI cs.CV
Few Tokens, Big Leverage: Preserving Safety Alignment by Constraining Safety Tokens during Fine-tuning
Case Western Reserve University(凯斯西储大学)
提出PACT框架,通过约束安全相关令牌的置信度来防止微调导致的安全对齐漂移,同时保持下游任务性能。
2026-06-05 cs.CL cs.LG
SwiftVLM: Efficient Vision-Language Model Inference via Cross-Layer Token Bypass
Tsinghua University, Beijing, China(清华大学)
SwiftVLM通过跨层令牌绕过方法,在视觉-语言模型中实现高效的推理,优于现有修剪策略,提升准确率与效率的平衡。
2026-02-03 cs.AI cs.CV
VeLoRA: Memory Efficient Training using Rank-1 Sub-Token Projections
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
VeLoRA提出将词元投影到秩-1子空间并压缩中间激活,以极低内存成本实现LLM微调与预训练,在VTAB-1k上超越QLoRA并在C4上取得竞争力性能。
2024-10-21 cs.AI cs.CV
MTRE: Multi-Token Reliability Estimation for Hallucination Detection in VLMs
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
针对现有VLM幻觉检测器仅关注首个令牌logit、忽略早期序列丰富信号的问题,提出轻量白盒方法MTRE,聚合前十个令牌logit检测幻觉,在多个基准上准确率和AUROC均显著优于标准方法,达开源VLM幻觉检测新SOTA。
2025-10-20 cs.AI cs.CR
Derailing Non-Answers via Logit Suppression at Output Subspace Boundaries in RLHF-Aligned Language Models
University of Utah(犹他大学);NVIDIA(英伟达)
本文提出一种无需修改模型权重或提示词的方法,通过在生成过程中抑制特定词元(如后的序列结束词元)的概率,降低LLM在敏感内容上的拒绝率,同时保持标准基准性能。
2025-05-28 cs.CL cs.LG
Visual Information-Guided Parallel Decoding for Diffusion Multimodal Large Language Models
Seoul National University(首尔大学)
针对扩散多模态大语言模型解码时未充分利用输入图像信息的问题,提出视觉信息引导采样器 VIG-Sampler,在 7 个基准及 3 个开源模型上验证其性能优于 Info-Gain 采样器。
2026-08-28 cs.CL cs.CV
Same Bytes, Different Authority: Reserved-Token Representations in Chat-Template Prompt Injection
Peking University(北京大学);National University of Singapore(新加坡国立大学);BYD Company Limited(比亚迪股份有限公司);Shenzhen University(深圳大学)
本研究通过对比保留令牌与子词编码的伪造模板标记,测量了聊天模板提示注入中权威性的来源,发现权威性主要来自保留令牌的单一学习向量,且标准缓解措施在多数配置中无法保护工具协议令牌。
2026-09-30 cs.AI cs.CR cs.LG
Token Alignment via Character Matching for Subword Completion
AWS AI Labs(亚马逊云科技人工智能实验室)
本文提出令牌对齐方法,通过回溯至完整令牌并确保生成与提示对齐,缓解生成模型处理部分令牌时的分词伪影,在代码补全等场景中显著提升性能。
2024-03-13 cs.AI cs.CL
Empowering Character-level Text Infilling by Eliminating Sub-Tokens
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);SenseTime Research(商汤科技研究院);CUHK MMLab(香港中文大学多媒体实验室);CPII under InnoHK(创新香港下的CPII)
针对字符级文本填充中边界子词元导致推理困惑度高的问题,本文提出 FIM-SE,通过行级格式和特殊词元避免预测子词元并增强约束,实验显著优于已有方法。
2024-06-14 cs.AI cs.CL
Cornerstones or Stumbling Blocks? Deciphering the Rock Tokens in On-Policy Distillation
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校);Case Western Reserve University(凯斯西储大学);Arizona State University(亚利桑那州立大学);VU Amsterdam(阿姆斯特丹自由大学)
本文研究在线策略蒸馏中持续高损失的“岩石令牌”,发现它们虽占据大量梯度但功能贡献微弱,提出绕过这些令牌可简化对齐过程。
2026-07-02 cs.AI cs.CL
Learn Your Tokens: Word-Pooled Tokenization for Language Modeling
USC(南加州大学);ISI(信息科学研究所)
本文提出“学习你的词元”方案,利用单词边界将字节/字符池化为词表示输入主语言模型,并并行解码单个字符/字节。该端到端词元化器在下一词预测指标上比子词和字节/字符模型高出超300%,在罕见词上提升30倍,在效率与鲁棒性间实现了强有力权衡。
2023-10-17 cs.AI cs.CL
The Limits of Data Scaling: Sub-token Utilization and Acoustic Saturation in Multilingual ASR
本研究通过分析Whisper在49种语言上的解码行为,发现多语言ASR的子词元利用受语音统计、类型学和正字法结构约束,而非训练数据规模,并提出声学饱和时间(AST)概念,为公平语料库构建提供实证依据。
2025-10-26 cs.CL
Beyond WER: Probing Whisper's Sub-token Decoder Across Diverse Language Resource Levels
Department of Linguistics, University of Washington(华盛顿大学语言学系);ALTAE, Université Paris Cité(巴黎cité大学ALTAE)
本文通过追踪 Whisper 转写时的 beam search 子 token 假设与概率,揭示不同资源水平语言间的系统性解码差异。
2025-09-29 cs.CL
An Information Extraction Study: Take In Mind the Tokenization!
KU Leuven(鲁汶大学);Language Intelligence and Information Retrieval Lab(语言智能与信息检索实验室)
该研究针对分词对序列标注类信息抽取任务的影响未被充分探索的问题,对比了基于子词和基于字符的生物医学文本信息抽取模型,发现分词带来的归纳偏置可实现最优性能,且字符模型效果可观,验证了无分词信息抽取的可行性。
2023-04-01 cs.CL
Learning to Look Inside: Augmenting Token-Based Encoders with Character-Level Information
Georgia Institute of Technology(佐治亚理工学院);Bloomberg(彭博);Johns Hopkins University(约翰斯·霍普金斯大学);Google Research(谷歌研究院)
常用的Transformer语言模型依赖于标记化模式,该标记化模式在预训练之前设置不可改变的子词词汇表,该子词词汇表注定被应用于所有下游任务,而不管域转移、新颖的单词构成或词汇表不匹配的其他来源。最近的工作表明,“无令牌”模型可以直接在字符或字节上训练,但从头开始训练这些模型需要大量的计算资源,这意味着要丢弃许多在令牌上训练的特定于域的模型。在本文中,我们提出了XRayEmb,改造现有的基于令牌的模型与字符级信息的方法。XRayEmb由一个计算字符序列的矢量表示的字符级“编码器”和一个从内部表示解码为字符序列的生成组件组成。我们表明,将XRayEmb的学习向量结合到预先训练的令牌嵌入序列中有助于自回归和掩蔽的预先训练的Transformer架构以及序列级和序列标记任务的性能,特别是在非标准英语文本上。
2021-08-01 cs.CL