TokenScope: Token-Level Explainability and Interpretability for Code-Oriented Tasks in Large Language Models
University of British Columbia(不列颠哥伦比亚大学)
提出TokenScope工具,通过令牌级指标、注意力模式和抽象语法树聚合,实现解码时信号与结构分析的统一,支持交互式令牌替换和反事实分支,以系统研究LLM在代码生成中的行为。
2026-07-03 cs.AI cs.CL cs.SE
The Token Tax: Systematic Bias in Multilingual Tokenization
Institute for Disease Modeling(疾病建模研究所);Gates Foundation(盖茨基金会);University of San Francisco(旧金山大学);McGill University(麦吉尔大学)
研究发现令牌化效率对形态复杂、低资源语言有结构性劣势,影响计算资源和准确性。通过评估10种大语言模型在AfriMMLU数据集上的表现,发现令牌密度与准确性成反比,且推理模型在多语言任务中表现更优,揭示了令牌膨胀带来的经济负担。
2025-09-05 cs.AI cs.CL
The Invisible Language Tax: Token Premiums of French and Regional Languages in 2026 LLM Tokenizers, and a French-Optimized Prototype
Baracoda AI Labs(Baracoda AI实验室);NEOMA Business School(NEOMA商学院)
本研究测量了2026年主流大语言模型分词器中法语的令牌溢价(比英语多31%-58%),并提出了法语优化的字节级BPE原型Baracoda FR v1.2,在法语上比Tekken少用11.5%的令牌,但其他语言表现较差。
2026-10-01 cs.AI cs.CL
How Many Visual Tokens Do Multimodal Language Models Need? Scaling Visual Token Pruning with F^3A
School of Computer Science and Engineering, Northeastern University, Shenyang 110819, China(东北大学计算机科学与工程学院,沈阳 110819,中国);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);School of Computer and Communication Engineering, Northeastern University, Qinhuangdao 066004, China(东北大学计算机与通信工程学院,秦皇岛 066004,中国)
本文提出F^3A方法,通过任务条件证据搜索优化视觉标记分配,在不训练模型的情况下实现高效的视觉标记剪枝,保留原始多模态提示和解码流程。
2026-05-09 cs.AI cs.CV
TORINO: Token Reduction via Interpretable Concept Overlap in Vision-Language Models
University of Turin, Italy(意大利都灵大学);Eindhoven University of Technology, The Netherlands(荷兰埃因霍温理工大学)
研究视觉语言模型计算成本高问题,提出TORINO框架,利用稀疏自动编码器将视觉令牌投影到可解释潜在空间,通过概念重叠分组并减少令牌,兼顾效率与准确性。
2026-10-19 cs.AI cs.CV
Language models are better than humans at next-token prediction
Redwood Research(红杉研究机构);METR(METR机构);FAR AI(FAR AI机构)
针对语言模型在下一词元预测任务上与人类的表现对比尚不明确的问题,研究者通过测量top-1准确率和困惑度的两项实验,证实即便是小型语言模型GPT3-Ada的表现也始终优于人类。
2024-07-15 cs.AI cs.CL cs.LG
SemToken: Semantic-Aware Tokenization for Efficient Long-Context Language Modeling
Yale University(耶鲁大学);Columbia University(哥伦比亚大学)
SemToken 提出语义感知分词框架,通过语义聚类和基于语义密度的异构粒度分配减少冗余 token,在长上下文建模中实现最高 2.4 倍 token 压缩和 1.9 倍加速且性能几乎不降。
2025-08-21 cs.AI cs.CL
Adapting Language Models via Token Translation
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
针对固定词元化器在目标域上压缩和语义对齐不佳的问题,提出S2T2方法,通过定制目标词元化器并学习词元翻译,提升域外序列的困惑度和压缩率,且可低成本迁移至大模型。
2024-11-05 cs.AI cs.CL cs.LG
Tokenization Disparities as Infrastructure Bias: How Subword Systems Create Inequities in LLM Access and Efficiency
L3S Research Center(L3S研究所以);Leibniz University Hannover(莱比锡大学汉诺威分校)
本研究通过评估200多种语言的分词效率,发现非拉丁及形态复杂语言面临3-5倍词元膨胀,造成计算不平等,提出需开发语言学知情分词策略以促进多语言AI公平性。
2025-10-14 cs.AI cs.CL
Accelerating Multilingual Language Model for Excessively Tokenized Languages
KRAFTON(克拉夫顿(KRAFTON))
针对非罗马字母语言被过度分词导致生成低效的问题,本文提出为预训练 LLM 定制并微调语言模型头、冻结其他参数并验证性能,实现 1.7 倍加速且保持单语任务表现。
2024-08-06 cs.AI cs.CL
AraToken: Optimizing Arabic Tokenization with Normalization Pipeline and Language Extension for Qwen3
Higher School of Economics(俄罗斯高等经济学院);AI Talent Hub, ITMO University(ITMO大学人工智能人才中心);Markov Lab, Saint Petersburg State University(圣彼得堡国立大学马尔科夫实验室)
AraToken通过规范化流程和语言扩展优化阿拉伯语分词,提升Qwen3的阿拉伯语处理性能。
2025-12-20 cs.AI cs.CL
The African Language Tax: Quantifying the Cost, Latency, and Context Penalty of Tokenizing African Languages in Frontier LLMs
DataLens Africa Research(DataLens 非洲研究);CipherSense AI Technologies Ltd(CipherSense 人工智能科技有限公司)
本研究通过平行语料库测量20种非洲语言在11种前沿分词器上的标记化惩罚,发现非洲语言平均标记数比英语高1.88倍(N'Ko语最高达8.92倍),导致推理成本增加8.9倍、有效上下文窗口仅剩11%,并发布开源测量工具和缓解指南。
2026-06-24 cs.AI cs.CL
Beyond Attention Scores: SVD-Based Vision Token Pruning for Efficient Vision-Language Models
anoncvlab(匿名计算机视觉实验室)
本文提出SVD-Prune方法,通过SVD分解视觉令牌特征矩阵并利用统计杠杆分数选择顶级令牌,以在极端视觉令牌预算下保持高性能,优于现有修剪方法。
2026-07-10 cs.AI cs.CV
Perceptio: Perception Enhanced Vision Language Models via Spatial Token Generation
Amazon(亚马逊)
Perceptio通过生成2D和3D空间标记提升视觉语言模型的空间推理能力,结合语义分割和深度标记实现更精确的空间理解,提升多个基准测试性能。
2026-03-19 cs.AI cs.CV
Let's Think Dot by Dot: Hidden Computation in Transformer Language Models
Center for Data Science(数据科学中心);New York University(纽约大学)
本文研究了语言模型思维链性能提升是否源于额外计算量,发现Transformer可利用无意义填充词元解决复杂算法任务,但需密集监督,并揭示了中间词元可能引发无法审计的隐藏计算风险。
2024-04-24 cs.AI cs.CL
TLPO: Token-Level Policy Optimization for Mitigating Language Confusion in Large Language Models
Samsung SDS(三星SDS)
本文提出TLPO,通过令牌级优化缓解大语言模型中的语言混淆问题,通过局部更新提升语言一致性,同时保持下游任务准确性。
2026-04-29 cs.AI cs.CL cs.LG
Memory Retrieval and Consolidation in Large Language Models through Function Tokens
ByteDance Seed(字节跳动种子)
本文提出函数标记假说,解释LLMs通过函数标记在推理时检索记忆、在预训练时巩固记忆的机制,并用二分图分析和案例研究提供实验证据。
2025-10-09 cs.AI cs.CL
CRAFT: Compression via Recursive Adaptive Fusion of Video Tokens for Vision-Language Models
针对视觉语言模型视频令牌压缩效率与适应性的权衡问题,提出CRAFT方法,通过解耦令牌选择与融合实现高效压缩,在8倍压缩时保留97%主干准确率且性能优于现有方法。
2026-08-04 cs.AI cs.CV
Continuity and Ordinality Matter: Constraining Time Series Tokens for Effective Time Series Analysis with Large Language Models
Department of Electronic Engineering(电子工程系)
针对令牌化时间序列大语言模型忽略连续性和序数性的问题,提出COM策略,通过几何约束初始化与训练阶段,提升模型在多个时间序列分析基准上的性能与泛化能力。
2026-05-22 cs.AI cs.LG
Object-Centric Vision Token Pruning for Vision Language Models
Aalto University(阿alto大学);University of Electronic Science and Technology of China(电子科学与技术大学);Delft University of Technology(代尔夫特理工大学)
提出OC-VTP方法,通过轻量预训练以对象为中心的视觉令牌剪枝器,直接选择最具代表性的视觉令牌,在保持高精度的同时提升VLM推理效率。
2026-05-27 cs.AI cs.CV
Language Model Beats Diffusion -- Tokenizer is Key to Visual Generation
Google(谷歌);Carnegie Mellon University(卡内基梅隆大学)
本文提出视频分词器MAGVIT-v2,通过通用token词汇表生成简洁且富有表现力的视觉token,使LLMs在ImageNet和Kinetics等图像与视频生成基准上超越扩散模型,并在视频压缩和动作识别表示学习上取得领先效果。
2024-03-29 cs.AI cs.CV cs.MM
Is Sanskrit the most token-efficient language? A quantitative study using GPT, Gemini, and SentencePiece
本研究通过GPT、Gemini和SentencePiece验证梵语在token效率上的优势,发现其在无偏分词下比英语/印地语更紧凑,但最新模型仍无法完全捕捉其紧凑性。
2026-01-05 cs.AI cs.CL cs.LG
Efficient Vision-Language Models by Summarizing Visual Tokens into Compact Registers
University of Maryland(马里兰大学);Apple(苹果公司);Meta
本文提出Victor方法,通过将大量视觉令牌总结为少量可学习寄存器令牌,在仅损失不到4%准确率的情况下,将视觉语言模型的训练时间减少43%、推理吞吐量提升3.3倍。
2024-10-17 cs.AI cs.CL cs.CV
Stop Taking Tokenizers for Granted: They Are Core Design Decisions in Large Language Models
Princess Nourah Bint Abdulrahman University(普里丝琴·努拉·本·阿卜杜勒拉赫曼大学);Saudi Data & AI Authority (SDAIA)(沙特数据与人工智能管理局);University of Alberta(阿尔伯塔大学);Dialpad(Dialpad公司);York University(约克大学);Qatar Computing Research Institute(卡塔尔计算研究所);Amazon AGI(亚马逊人工智能研究所)
本文提出将分词视为大型语言模型的核心设计决策,强调上下文感知框架和标准化评估的重要性,以提升语言技术的公平性、效率和适应性。
2026-01-24 cs.AI cs.CL cs.LG
Vision Token Manipulation Attacks on Cloud-Edge Inference of Large Vision-Language Models
Department of Computer Science and Engineering, University of Nevada, Reno(内华达大学里诺分校计算机科学与工程系);Oak Ridge National Laboratory(橡树岭国家实验室)
研究黑盒中间人设置下的视觉令牌操纵攻击,提出四种简答攻击策略和基于优化的令牌选择方法,实验表明操纵少量视觉令牌可大幅降低大型视觉语言模型云边缘推理的准确性。
2026-07-07 cs.AI cs.CR cs.CV
PuMer: Pruning and Merging Tokens for Efficient Vision Language Models
University of Washington(华盛顿大学)
PuMer提出文本引导剪枝与模态感知合并的令牌缩减框架,通过在跨模态层加入轻量级模块,在四个VL任务上将推理吞吐量提升至2倍、内存占用降低超50%,且准确率损失小于1%。
2023-05-27 cs.AI cs.CL cs.CV
Token Assorted: Mixing Latent and Text Tokens for Improved Language Model Reasoning
Meta AI
针对大语言模型思维链推理输入冗长、计算成本高的问题,提出用VQ-VAE生成的潜在离散Token与文本Token混合表示推理过程的方法,通过随机混合训练策略适配新Token,在多类推理任务基准上优于基线。
2025-09-01 cs.AI cs.CL cs.LG