EXECUTE: A Multilingual Benchmark for LLM Token Understanding
School of Computation, Information and Technology, TU Munich（技术学院，慕尼黑技术大学）；Center for Information and Language Processing, LMU Munich（信息与语言处理中心，慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Munich Data Science Institute（慕尼黑数据科学研究所）
针对大语言模型在多语言中的令牌理解能力，提出EXECUTE基准，扩展CUTE至多种文字系统，发现字符或词级问题因语言而异，并评估中日韩子字符理解。
2025-05-23 cs.CL
Reading Order Matters: Information Extraction from Visually-rich Documents by Token Path Prediction
Ant Group Inc.（蚂蚁集团）；Fudan University（复旦大学）
针对视觉丰富文档中OCR导致的阅读顺序问题，提出令牌路径预测方法，将文档建模为有向图并预测实体路径，实验证明其有效且具通用性。
2023-10-17 cs.CL
MaskMoE: Boosting Token-Level Learning via Routing Mask in Mixture-of-Experts
Tsinghua University（清华大学）；Beihang University（北京航空航天大学）
本文提出MaskMoE方法，通过在混合专家模型中引入路由掩码技术，解决了动态路由的欠拟合与固定路由的表示多样性受限问题，实现了更全面的Token级训练，并在困惑度和下游任务上超越基线模型。
2024-08-29 cs.CL
Smooth Scaling Laws Hide Stepwise Token Learning
Dots Studio, Xiaohongshu Inc.（dots studio，小红书公司）；Shanghai Jiao Tong University（上海交通大学）；Tsinghua university（清华大学）
本文提出令牌级框架，将缩放定律分解为上下文令牌的局部学习事件，通过拟合S形曲线发现令牌学习集中在局部转换中，并利用学习时间谱定量重建验证损失导数，进而通过重塑训练分布实现11%的验证损失加速降低。
2026-07-13 cs.CL
Diverse Keyphrase Generation with Neural Unlikelihood Training
Borealis AI（Borealis AI（北极星人工智能））；Montreal（蒙特利尔（城市名，此处可能指机构所在地，按要求不提取额外信息，仅保留机构名部分，原机构名应为Borealis AI，Montreal为地点，故正确机构仅Borealis AI））
在本文中，我们研究序列到序列（S2 S）的关键短语生成模型从多样性的角度。神经自然语言生成的最新进展已经在关键短语生成任务上取得了显着进展，通过F1分数等质量指标的改进来证明。然而，多样性在关键词生成中的重要性在很大程度上被忽视了。我们首先分析了使用最大似然估计（MLE）训练的基线模型生成的输出中存在的信息冗余程度。我们的研究结果表明，关键词的重复是MLE训练的一个主要问题。为了缓解这个问题，我们采用神经不似然（UL）目标来训练S2 S模型。我们的UL训练版本在（1）目标令牌级别运行，以阻止重复令牌的生成;（2）复制令牌级别，以避免从源文本复制重复令牌。此外，为了在解码过程中鼓励更好的模型规划，我们结合了K步提前令牌预测目标，该目标还计算未来令牌的MLE和UL损失。通过对来自三个不同领域的数据集进行广泛的实验，我们证明了所提出的方法获得了相当大的多样性增益，同时保持了有竞争力的输出质量。
2020-10-15 cs.CL
Fishing for Magikarp: Automatically Detecting Under-trained Tokens in Large Language Models
Cohere（Cohere公司）
针对大语言模型中因训练不足导致的“故障token”问题，本文通过结合分词器分析、模型权重指标和提示技术，开发了自动检测这些token的新型有效方法，并验证了其普遍性及对模型安全性的启示。
2024-09-27 cs.CL
A Token-level Contrastive Framework for Sign Language Translation
Xiamen University（厦门大学）；Ministry of Culture and Tourism（文化和旅游部）
手语翻译是一项很有前途的技术，可以弥补聋人和听力正常人之间的沟通障碍。近年来，研究者采用神经机器翻译（NMT）方法来实现翻译，但NMT方法通常需要大规模的语料库进行训练。然而，公开可用的标记语料库非常有限，这导致标记表示的崩溃和生成的标记的不准确性。为了缓解这个问题，我们提出了CONSTRUCTION，一个新的令牌级\textbf{Con} transative学习框架\textbf{S} ign \textbf{L}语言\textbf{T} translation，学习有效的令牌表示，通过将令牌级对比学习到的解码过程。具体地说，Concrete在解码过程中将每一个token及其对应的dropout掩码作为正对，然后随机抽取词汇表中当前句子中没有的$K$ token构建反例。我们在两个基准测试（PHOENIX 14 T和CSL-Daily）上针对端到端和级联设置进行了全面的实验。实验结果表明，与强基线相比，Concrete可以获得更好的翻译质量。
2023-03-21 cs.CL
Language-Aware Token Boosting: LLM Language Confusion Reduction Without Tuning
SCB DataX；Tsinghua University（清华大学）；SCBX
提出无需微调的语言混淆减少方法，通过语言感知令牌增强（LATB）和自适应版本（Adaptive-LATB）对目标语言令牌施加扰动，有效提升多语言对齐并保持摘要质量。
2026-06-08 cs.CL
KL3M Tokenizers: A Family of Domain-Specific and Character-Level Tokenizers for Legal, Financial, and Preprocessing Applications
ALEA Institute（ALEA研究所）；Stanford CodeX（斯坦福CodeX研究机构）；Illinois Tech - Chicago Kent Law（伊利诺伊理工大学芝加哥肯特法学院）；Bucerius Law School（布塞留斯法学院）
该研究提出面向法律、金融、政务的领域专属BPE分词器及用于文本纠错的字符级BPE分词器，在专业文本上token用量显著低于通用模型，已开源相关资源以支持领域分词研究。
2025-03-21 cs.AI cs.CL
Straight to the Gradient: Learning to Use Novel Tokens for Neural Text Generation
Nanyang Technological University（南洋理工大学）；Salesforce Research Asia（赛富时亚洲研究院）
先进的大规模神经语言模型在许多语言生成任务中取得了重大成功。然而，最常用的训练目标，最大似然估计（MLE），已经被证明是有问题的，其中训练的模型更喜欢使用枯燥和重复的短语。在这项工作中，我们引入ScaleGrad，直接修改的梯度的损失函数，以弥补退化问题的标准MLE目标。通过直接操纵梯度信息，ScaleGrad使模型学习使用新的令牌。实验结果表明，我们的方法不仅在开放式生成的有效性，而且在定向生成任务。由于架构简单，我们的方法可以作为一个通用的训练目标，适用于大多数神经文本生成任务。
2021-06-14 cs.CL
Retrofitting Large Language Models with Dynamic Tokenization
University of Cambridge（剑桥大学）；Google（谷歌）
本文提出基于子词合并与嵌入预测超网络的动态分词方法，在多语言编码器及 Mistral-7B 等解码器上显著缩短序列长度且性能损失很小。
2025-06-11 cs.CL
A Token-wise CNN-based Method for Sentence Compression
The Australian National University（澳大利亚国立大学）；Data61/CSIRO（澳大利亚联邦科学与工业研究组织数据61中心）；University of Turku（图尔库大学）
句子压缩是一项自然语言处理（NLP）任务，旨在缩短原始句子并保留其关键信息。它的应用可以使许多领域受益，例如可以构建语言教育工具。然而，目前的方法主要是基于递归神经网络（RNN）模型，其具有较差的处理速度。为了解决这个问题，在本文中，我们提出了一个令牌式卷积神经网络，一个基于CNN的模型，以及预训练的双向编码器表示Transformers（BERT）功能，用于基于删除的句子压缩。我们还将我们的模型与基于RNN的模型和微调的BERT进行了比较。虽然其中一个基于RNN的模型在相同输入下的性能略优于其他模型，但我们基于CNN的模型比基于RNN的方法快十倍。
2020-09-23 cs.CL
Supervised Fine-Tuning Needs to Unlock the Potential of Token Priority
Zhejiang University（浙江大学）；Hong Kong University of Science and Technology（香港科学与技术大学）
本文提出标记优先作为监督微调的关键桥梁，通过分布重塑过程实现数据与理想对齐流形的匹配，并分析了噪声过滤和有毒模式卸载两种不同的研究领域。
2026-02-09 cs.AI cs.CL cs.LG
Mitigating Over-smoothing in Transformers via Regularized Nonlocal Functionals
Rice University（莱斯大学）；National University of Singapore（新加坡国立大学）
本文提出NeuTRENO模型，通过在自注意力平滑输出与输入token之间引入正则化非局部泛函，有效缓解深度Transformer的过度平滑问题，并在分类、分割和语言建模任务中验证其优势。
2023-12-01 cs.AI cs.CL
PAINT: Paying Attention to INformed Tokens to Mitigate Hallucination in Large Vision-Language Model
Virginia Tech（弗吉尼亚理工大学）
针对LVLM幻觉问题，提出PAINT框架，通过选择性增强局部与汇总视觉标记的注意力权重，在MSCOCO上降低幻觉率62.3%。
2025-03-26 cs.CL cs.CV
DynaMaR: Dynamic Prompt with Mask Token Representation
Amazon（亚马逊）；Google（谷歌）
最近的研究表明，使用无监督方法预训练的大语言模型可以在许多下游任务上实现显着的性能提升。通常，当将这些语言模型适应下游任务（如分类或回归任务）时，我们采用微调范式，其中来自语言模型的句子表示被输入到特定于任务的头部;然后端到端地微调模型。然而，随着GPT-3等模型的出现，基于FFT的微调已被证明是Few-Shot任务的成功方法。受此启发，我们在实践中研究离散提示技术。标准的即时方法会产生两个问题。首先，它可能在提示模板上过拟合。第二，它需要人工努力将下游任务公式化为语言模型问题。在本文中，我们提出了一个改进的基于自适应的微调，解决这两个问题。我们将我们的方法称为DynaMaR --具有掩码令牌表示的动态提示。结果表明，DynaMaR可以实现平均改善10%，在Few-Shot设置和改善3.7%，在数据丰富的设置在四个电子商务应用程序的标准微调方法。
2022-06-07 cs.CL cs.LG
LLaMA-VID: An Image is Worth 2 Tokens in Large Language Models
CUHK（香港中文大学）；SmartMore（思谋科技）
LLaMA-VID提出用上下文令牌和内容令牌两个令牌表示每帧图像，以降低长视频处理的计算负担，使现有视觉语言模型能支持小时级视频并在多数基准上超越先前方法。
2023-11-28 cs.CL cs.CV
Grounding Language with Vision: A Conditional Mutual Information Calibrated Decoding Strategy for Reducing Hallucinations in LVLMs
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；Harbin Institute of Technology（哈尔滨工业大学）
针对LVLMs解码时过度依赖语言先验导致的幻觉问题，提出基于条件逐点互信息校准的解码策略，联合建模视觉与文本标记贡献，通过双层优化和标记净化机制最大化互信息，在多个基准上显著减少幻觉并保持解码效率。
2025-10-23 cs.CL cs.CV
Hybrid Latent Attention for Looped Language Models
Virginia Tech（弗吉尼亚理工大学）
针对循环语言模型KV缓存膨胀问题，提出混合潜在注意力（HLA），通过滑动窗口加潜在表示压缩缓存，提升吞吐量并保持高准确率。
2026-10-07 cs.AI cs.CL
Rubrics to Tokens: Bridging Response-level Rubrics and Token-level Rewards in Instruction Following Tasks
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）；Shanghai Innovation Institute（上海创新研究院）；GAIR
本文提出RTT框架，通过引入标记级相关性判别器和RTT-GRPO方法，解决响应级奖励稀疏性和模糊性问题，提升指令遵循任务的准确率。
2026-04-03 cs.AI cs.CL
Curse of High Dimensionality Issue in Transformer for Long-context Modeling
South China University of Technology（华南理工大学）；Peng Cheng Laboratory（鹏城实验室）；Pazhou Laboratory（Pazhou实验室）；Key Laboratory of Big Data（大数据重点实验室）
针对 Transformer 长上下文建模中的冗余计算问题，本文将其重表述为监督学习任务，提出 Dynamic Group Attention（DGA）通过聚合次要 token 显式减少冗余，在保持性能的同时显著降低计算成本。
2025-08-14 cs.CL cs.LG stat.ML
Interpreting the Repeated Token Phenomenon in Large Language Models
Google DeepMind（谷歌DeepMind）；University of Oxford（牛津大学）；UC Berkeley（加州大学伯克利分校）
本文通过识别大语言模型中注意力汇对应的神经回路，解释了重复单词时模型输出偏离的失效机制，并提出针对性补丁在不损害整体性能的前提下修复该脆弱性。
2025-03-11 cs.AI cs.CL cs.CR
