Certainty Is Not Just Correctness: Rethinking Token-Level Certainty in LLM Reasoning
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
本研究重新评估LLM推理中词元级确定性的预测能力，发现其在不同预测目标上表现不一，并据此提出一种利用确定性分配响应数量和加权投票的方法，在提升准确率的同时大幅降低生成成本。
2026-10-02 cs.AI cs.CL
Genomic Next-Token Predictors are In-Context Learners
Department of Computer Science, Johns Hopkins University（约翰霍普金斯大学计算机科学系）
研究探讨基因组序列中是否能像语言模型一样通过大规模预测训练自发产生上下文学习能力，发现基因组模型在模式归纳中表现出对数线性增益。
2026-03-17 cs.AI cs.LG q-bio.GN
LLMs as Zero-shot Graph Learners: Alignment of GNN Representations with LLM Token Embeddings
Beihang University（北京航空航天大学）
提出TEA-GLM框架，通过预训练GNN使其表示与LLM的token embeddings对齐，并训练线性投影器生成图token embeddings，结合统一指令实现跨数据集和跨任务的零样本图机器学习。
2024-12-19 cs.AI cs.CL cs.LG
Just Respect the Semantics: Image-Token Compression via Pre-LLM Semantic Variable-Resolution Tokenization and In-LLM Relevance Pruning
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；McGill University（麦吉尔大学）；University Health Network（大学医疗网络）；University of Waterloo（滑铁卢大学）
该研究提出Varest图像分词压缩方法，以语义可替代性为指导，结合可变分辨率合并与[REL]寄存器剪枝，在三个骨干网络和13个基准测试中，仅用5.56%的分词数就保留了86.10%-92.33%的性能，优于15个基线。
2026-10-22 cs.AI cs.CV cs.LG
TEAL: Tokenize and Embed ALL for Multi-modal Large Language Models
WeChat AI, Tencent Inc.（腾讯微信人工智能）
提出TEAL方法，将任意模态输入离散化为token序列并映射到联合嵌入空间，使冻结的LLM能以自回归方式执行多模态理解与生成任务，在多模态理解上取得显著提升。
2024-01-04 cs.AI cs.CL
Adapting Language Models via Token Translation
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
针对固定词元化器在目标域上压缩和语义对齐不佳的问题，提出S2T2方法，通过定制目标词元化器并学习词元翻译，提升域外序列的困惑度和压缩率，且可低成本迁移至大模型。
2024-11-05 cs.AI cs.CL cs.LG
Think Deep, Not Just Long: Measuring LLM Reasoning Effort via Deep-Thinking Tokens
University of Virginia（弗吉尼亚大学）；Google（谷歌）
研究通过识别深度思考令牌量化推理时间工作量，在多个基准和模型上验证深度思考比例与准确率正相关，据此引入Think@n策略提升推理效率并降低成本。
2026-07-07 cs.CL
Just Pass Twice: Efficient Token Classification with LLMs for Zero-Shot NER
WitnessAI
本文提出JPT方法，通过两次输入拼接实现双向上下文的标记分类，提升零样本NER性能，比现有方法快20倍，F1得分提升7.9%。
2026-08-27 cs.CL
AnomaLLMy -- Detecting anomalous tokens in black-box LLMs through low-confidence single-token predictions
Myre Laboratories（迈尔实验室）
本文提出AnomaLLMy方法，通过低置信度单token预测以极低成本自动检测黑盒大语言模型中的异常token，并在GPT-4的token集上验证了其有效性。
2024-06-28 cs.AI cs.CL
Safety Alignment Should Be Made More Than Just a Few Tokens Deep
Princeton University（普林斯顿大学）；Google DeepMind（谷歌DeepMind）
本文提出浅层安全对齐概念，揭示当前 LLM 安全对齐主要只作用于前几个 token 而导致多种攻击漏洞，并通过加深对齐与正则化微调提升鲁棒性。
2024-06-10 cs.AI cs.CR
Reverse Probing: Supervised Token-level Uncertainty Quantification for Large Language Models in Clinical Text
University of Florida（佛罗里达大学）；U.S. National Library of Medicine（美国国家医学图书馆）
提出反向探测框架，利用预标注摘要从模型内部激活中提取词级不确定性信号，在临床文本中实现高效、可解释的不确定性量化。
2026-09-01 cs.AI cs.CL
Entropy- and Distance-Based Predictors From GPT-2 Attention Patterns Predict Reading Times Over and Above GPT-2 Surprisal
The Ohio State University（俄亥俄州立大学）
基于转换器的大语言模型被训练为通过其自我注意力机制聚合先前标记的表示来对下一个单词进行预测。在认知建模领域，这种注意模式最近被解释为体现基于线索的检索过程，其中对多个目标的注意在检索过程中产生干扰和延迟。在这个框架下，这项工作首先定义了一个基于熵的预测器，量化的扩散的自我注意，以及基于距离的预测器，捕捉跨时间步长的增量变化的注意模式。此外，在最近的研究中，注意力权重的信息性的问题，我们也实验与其他方法将向量规范到注意力权重。使用从GPT-2语言模型计算的预测因子的回归实验表明，这些预测因子在包括GPT-2测试在内的严格基线上提供了与保持的自定进度阅读和眼动跟踪数据的更好拟合。此外，基于距离的预测因子通常表现出更高的预测能力，自我调节阅读时间的效应大小为每标准差6.59 ms（与之相比，Erosal为2.82 ms），眼睛注视持续时间的效应大小为每标准差1.05 ms（与之相比，Erosal为3.81 ms）。
2022-12-21 cs.CL
LeMo: Enabling LEss Token Involvement for MOre Context Fine-tuning
Tsinghua University（清华大学）；HUST（华中科技大学）；Microsoft Research（微软研究院）
针对长上下文LLM微调中激活值内存占用高的问题，提出基于上下文Token稀疏性的LeMo微调系统，通过三项关键技术在保精度的同时显著降内存提速度，性能优于现有最优系统。
2025-01-15 cs.AI cs.CL
Reasoning or Rationalization? The Role of Justifications in Masked Diffusion Models for Fact Verification
The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
研究发现，掩码扩散模型在事实验证中，早期结论易受合理化过程影响，导致准确性下降。
2026-03-01 cs.CL
Tokenization and Representation Biases in Multilingual Models on Dialectal NLP Tasks
SUPSI, IDSIA（SUPSI和IDSIA）
本研究通过分词一致性和信息一致性度量多语言模型的表示偏差，发现前者预测句法任务性能，后者预测语义任务性能，并揭示模型语言支持声明掩盖了文字层不匹配。
2025-09-24 cs.AI cs.CL
Just MLPs: Efficient Visual State Reconstruction for Multimodal Language Models
Nanyang Technological University（南洋理工大学）；Shanghai Jiao Tong University（上海交通大学）；Fudan University（复旦大学）；LIGHTSPEED
针对多模态大语言模型中视觉token序列计算开销大的问题，本文提出δ-Vision方法，用轻量级低秩适配器替代Transformer对视觉token的反复演化，保留全部视觉token，在图像和视频基准上以相当或更低计算量取得更高准确率。
2026-09-29 cs.AI cs.CV
EgoGazeLite: On-Device Egocentric Gaze Prediction for Token-Efficient Multimodal LLM Video Input
Copenhagen Business School（哥本哈根商学院）
EgoGazeLite 是轻量双进程注视预测器，可在消费级硬件上实时运行，无需眼动追踪硬件即可实现 token 高效的自我中心视频理解，性能与真实注视裁剪无显著差异。
2026-08-18 cs.AI cs.CV
Format Sensitivity Index: Token-Controlled Prompt Wrapper Robustness and Schema Compliance in LLM Benchmarking
Adobe Inc（Adobe公司）
研究提示包装器格式差异对模型分数的影响，引入格式敏感性指数（FSI）和可解析性敏感性指数（PSI），通过大量实验发现平均FSI在不同模型间变化超30倍，且可解析性是准确性有力预测指标，指出不考虑包装器差异和合规性报告准确性不可靠并给出建议。
2026-07-14 cs.AI cs.CL cs.LG
Continual LLM Upcycling: A Predictor-Gated Bank-Wise Sparsity Training Recipe for Dense-to-Sparse LLMs
Nanyang Technological University（南洋理工大学）；Salesforce AI；Huawei Noah's Ark Lab（华为诺亚方舟实验室）
提出一种从稠密检查点构建通道稀疏大语言模型的持续训练方法，通过预测器门控稀疏SwiGLU FFN和银行级top-k规则实现4倍稀疏性，并修复长上下文失败模式。
2026-06-09 cs.CL
Exploring the Hidden Capacity of LLMs for One-Step Text Generation
AIRI Skoltech（AIRI-skoltech）
本研究发现冻结的LLMs仅通过两个学习到的嵌入即可在单次前向传递中生成数百个准确token，揭示了其原生多token生成能力，为克服自回归解码瓶颈提供了新途径。
2025-11-01 cs.AI cs.CL cs.LG
Early-Token Confidence Predicts Reasoning Quality in Multi-Agent LLM Debate
University of California, Irvine（加州大学尔湾分校）
研究利用解码时令牌级对数概率作为置信度信号，预测多智能体LLM辩论中的推理质量，发现早期令牌置信度是最强预测因子。
2026-06-09 cs.CL
LaCy: What Small Language Models Can and Should Learn is Not Just a Question of Loss
Apple（苹果公司）；University of Cambridge（剑桥大学）
研究在预训练中，小型语言模型（SLM）应学习哪些token以及应通过<CALL>委托哪些token，提出结合损失和事实性信号的LaCy方法，提升SLM在级联生成中的事实准确性。
2026-05-29 cs.CL
Dynamic Token Reduction during Generation for Vision Language Models
Zhejiang University（浙江大学）；Harbin Institute of Technology（哈尔滨工业大学）；Westlake University（西湖大学）
本文提出DyRate动态修剪策略，基于注意力分布分析在生成过程中逐步调整视觉令牌压缩率，既降低计算需求又保持响应质量。
2025-01-24 cs.AI cs.CV
Prefix Parsing is Just Parsing
ETH Zürich（苏黎世联邦理工学院）；McGill University（麦吉尔大学）；Canada CIFAR AI Chair（加拿大 CIFAR 人工智能主席）；Mila；CHI-FRO
本文提出通过前缀文法变换将前缀解析转化为普通解析，从而高效解决前缀解析问题，并引入基于算法微分的策略计算下一token权重向量，提供了一种简单、通用且高效的前缀解析框架。
2026-04-23 cs.CL
Just Fine-tune Twice: Selective Differential Privacy for Large Language Models
Columbia University（哥伦比亚大学）；Virginia Tech（弗吉尼亚理工大学）；Google Research（谷歌研究院）
随着大语言模型在现实产品中的广泛采用，保护其免受隐私泄露变得越来越重要。然而，应用差分隐私（DP），一个规范的概念与可证明的隐私保证的机器学习模型，这些模型仍然具有挑战性，由于模型效用和隐私损失之间的权衡。利用语言数据中的敏感信息往往是稀疏的这一事实，Shi等人（2021）形式化了一种称为选择性差分隐私（SDP）的DP概念扩展，以仅保护由策略函数定义的敏感令牌。然而，他们的算法只适用于基于RNN的模型。在本文中，我们开发了一种新的框架，Just Fine-tune Twice（JFT），可以为最先进的大型变压器模型实现SDP。我们的方法很容易实现：它首先使用编辑的域内数据微调模型，然后使用私有训练机制使用原始域内数据再次微调模型。此外，我们还研究了策略函数执行不完善而丢失敏感令牌的情况，并开发了系统的方法来处理它。实验表明，与以前的基线相比，我们的方法具有很强的实用性。我们还分析了SDP隐私保证经验与金丝雀插入攻击。
2022-10-27 cs.AI cs.CL cs.CR
SlimInfer: Accelerating Long-Context LLM Inference via Dynamic Token Pruning
SlimInfer通过动态令牌修剪技术，显著提升了长上下文LLM推理速度和效率，实现了性能与延迟的双重优化。
2025-11-24 cs.CL
Efficient Temporal Tokenization for Mobility Prediction with Large Language Models
Northeastern University, Boston, MA（东北大学）；Northwestern University, Evanston, IL（西北大学）
提出 RHYTHM 框架，通过分层时间分词和冻结 LLM 增强轨迹表示，在三个真实数据集上提升移动预测准确率并显著降低训练时间。
2025-07-18 cs.CL cs.LG
Good Agentic Friends Do Not Just Give Verbal Advice: They Can Update Your Weights
University of Central Florida（中央佛罗里达大学）；Westlake University（西拉丘吉大学）；Snap Inc.（Snap公司）；UT-Austin（得克萨斯大学奥斯汀分校）；Tencent Hy（腾讯）
本文提出TFlow框架，通过低秩权重扰动实现高效多智能体LLM协作，提升准确率并减少计算开销。
2026-05-13 cs.CL
Think Just Enough: Sequence-Level Entropy as a Confidence Signal for LLM Reasoning
Lossfunk
本研究提出基于序列级香农熵的大语言模型推理提前停止框架，可在保持准确率的同时节省25%-50%计算量，且该熵置信校准是高级后训练推理模型的涌现特性。
2025-10-28 cs.AI cs.LG
Keep What Audio Cannot Say: Context-Preserving Token Pruning for Omni-LLMs
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出ContextGuard框架，通过保留音频-视觉上下文并去除跨模态冗余，实现多模态大语言模型的高效令牌修剪，实验表明其在多个基准测试中表现优异，能有效减少输入令牌数量。
2026-05-12 cs.AI cs.CV
Probing the topology of the space of tokens with structured prompts
American University（美利坚大学）；Galois, Inc.（Galois公司）
本研究提出一种用结构化提示探究大语言模型token空间拓扑的方法，给出了数学理论证明，并通过恢复Llemma-7B的token子空间验证有效性，结果可推广至一般非线性自回归过程。
2025-03-19 cs.AI math.DG
AdapLeR: Speeding up Inference by Adaptive Length Reduction
Tehran Institute for Advanced Studies（德黑兰高等研究院）；Khatam University（哈塔姆大学）；Iran University of Science and Technology（伊朗科技大学）；Tilburg University（蒂尔堡大学）
预训练的语言模型在各种下游任务中表现出出色的性能。但是，这通常以高延迟和计算为代价，阻碍了它们在资源有限的环境中的使用。在这项工作中，我们提出了一种新的方法来减少BERT的计算成本，在下游性能的损失最小。我们的方法通过层动态地消除了贡献较少的令牌，从而缩短了长度，从而降低了计算成本。为了确定每个标记表示的重要性，我们使用基于梯度的显着性方法为每个层训练一个贡献预测器。我们在几个不同的分类任务上的实验显示，在推理时间内，速度提高了22倍，而性能没有太大的牺牲。我们还使用ERASER基准测试中的人类注释来验证我们方法中所选令牌的质量。与其他广泛使用的选择重要标记的策略（如显着性和注意力）相比，我们提出的方法在生成合理性时具有显着较低的误报率。我们的代码可以在https://github.com/amodaresi/AdapLeR上免费获得。
2022-03-16 cs.CL
Semformer: Transformer Language Models with Semantic Planning
Zhejiang University（浙江大学）；School of Engineering, Westlake University（西湖大学工学院）；ByteDance（字节跳动）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究所）
本文提出 Semformer，通过在输入前缀中加入规划 token 并预测自动编码器诱导的回复潜在语义表示，缓解 teacher forcing 导致的捷径学习，并在图寻路及 125M 参数预训练实验中验证效果。
2024-09-17 cs.CL
How Well Does First-Token Entropy Approximate Word Entropy as a Psycholinguistic Predictor?
The Ohio State University（俄亥俄州立大学）；New York University（纽约大学）
本研究针对首词元熵近似单词熵存在低估与偏差的问题，提出允许单词含可变词元数的蒙特卡洛单词熵估计法，实验发现二者与阅读时长的回归结果有差异，提示使用首词元近似语境熵需谨慎。
2025-07-29 cs.CL
Narrative Lookahead in LLMs: Event-Level Decodability, Predictive Advantage, and Steering
School of Digital Humanities and Computational Social Sciences, KAIST（韩国科学技术院数字人文与计算社会科学学院）
本研究以事件为单位考察大语言模型的叙事前瞻，发现其可解码至少4个后续事件，且基于探测的调控方向能改变目标事件类型比例，为叙事预测与干预提供了新方法。
2026-10-14 cs.CL
Length Value Model: Scalable Value Pretraining for Token-Level Length Modeling
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；LMSYS Org（LMSYS组织）；Apple Inc.（苹果公司）
本文提出Length Value Model，通过令牌级建模实现高效的长度预测，提升生成长度的准确性和效率，实验显示其在多个任务中优于现有模型。
2026-07-22 cs.CL
SToRM: Supervised Token Reduction for Multi-modal LLMs toward efficient end-to-end autonomous driving
本文提出SToRM框架，通过监督令牌缩减方法在保持性能的同时降低计算成本，实现实时端到端自动驾驶。
2026-03-16 cs.AI cs.CV cs.RO
Large Language Models Implicitly Learn to See and Hear Just By Reading
Department of Electrical Engineering Stanford University Stanford, CA 94305, USA（电气工程系 斯坦福大学）
本文发现仅在文本上训练的自回归大语言模型能隐式获得图像和音频理解能力，并在多个音频与图像分类数据集上验证了利用文本权重激活内部回路即可完成多模态任务，无需从头训练。
2025-09-23 cs.AI cs.CL cs.CV
When is Your LLM Steerable?
University of Maryland, College Park（马里兰大学帕克分校）；MBZUAI, UAE（穆罕默德·本·扎耶德人工智能大学）
提出通过模型生成初期的内部状态预测激活操控是否成功，并利用该预测器优化操控强度搜索，降低解码成本。
2026-06-11 cs.CL cs.LG
All or None: Identifiable Linear Properties of Next-token Predictors in Language Modeling
University of Trento（特伦托大学）；University of Copenhagen（哥本哈根大学）
本文研究语言模型线性性质的普遍成因，通过证明分布等价 next-token 预测器的可辨识性结果并改进关系线性分析，证明这些线性性质在等价预测器中呈“全有或全无”特性。
2025-03-15 cs.AI cs.CL cs.LG
A Few More Tokens Ahead: Reinforcing Parallelism in Diffusion LLMs
East China Normal University（华东师范大学）；Fudan University（复旦大学）
针对扩散大语言模型并行生成的性能下降问题，提出RePara方法，通过组相对策略优化增强短连续令牌块，在降低去噪预算下提升数学任务准确率并加快训练速度。
2026-10-14 cs.AI cs.LG
JustFit: Just-in-Time State Management for Local LLM Serving
JustFit 通过 KVExec、PhaseSwap 和 StateTrans 机制实现即时状态管理，在 24 GiB 笔记本上支持 200K token 服务，容量提升 6.93 倍，并保持高准确率。
2026-10-01 cs.AI cs.PF
Learning to Predict Middle-Layer Attention in MLLMs for Visual Token Pruning
该研究针对MLLMs视觉token剪枝的固定层非最优及计算成本高的问题，提出MAP方法，实现仅保留5.56%视觉token时维持97.5%性能，获3.09倍端到端加速。
2026-09-10 cs.AI cs.CV
Just Let Linear States Forget the Distant Past: Prefix Caching via Suffix Replay for Hybrid LLMs
Institute of Artificial Intelligence, China Telecom (TeleAI)（中国电信（TeleAI）人工智能研究所）；Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）；Individual Researcher（独立研究者）
针对混合LLM前缀缓存受限问题，提出SuffixReplay系统，通过重放近期后缀近似线性状态，无需检查点，实现任意边界前缀重用，在保持质量的同时显著降低存储和延迟。
2026-09-29 cs.AI cs.PF
AutoCas: Autoregressive Cascade Predictor in Social Networks via Large Language Models
University of Science and Technology of China（中国科学技术大学）；East China Normal University（华东师范大学）；Hefei University of Technology（合肥工业大学）
针对信息级联流行度预测，提出LLM增强的AutoCas模型，通过分词、自回归建模和提示学习适配级联数据，显著优于基线并具备扩展能力。
2025-02-25 cs.AI cs.SI
Let's (not) just put things in Context: Test-Time Training for Long-Context LLMs
Meta；Harvard University（哈佛大学）；Kempner Institute at Harvard（哈佛大学凯普纳研究所）；OpenAI
针对长上下文LLM的测试时训练方法通过针对性梯度更新克服静态自注意力限制，显著提升模型性能。
2025-12-15 cs.CL cs.LG
The pitfalls of next-token prediction
ETH Zürich, Switzerland（苏黎世联邦理工学院）；Google Research, US（谷歌研究院）
该研究指出下一词元预测中教师强制训练本身存在无法学习准确预测器的深层问题，通过最小规划任务验证了Transformer和Mamba架构的相关失效，并提出无教师训练的多词元预测方法作为解决方案。
2025-07-29 cs.AI cs.CL cs.LG
ELIS: Efficient LLM Iterative Scheduling System with Response Length Predictor
Cloud Research Team, Samsung SDS（三星SDS云研究团队）
针对 LLM 服务中的队头阻塞问题，本文提出 ELIS，利用 BGE 响应长度预测器和 ISRTF 迭代调度优化推理任务排序，并在 Kubernetes 与真实轨迹仿真中验证其最高可降低 19.6% 平均作业完成时间。
2025-05-14 cs.AI cs.DC cs.LG
LLMZip: Lossless Text Compression using Large Language Models
Texas A&M University（得克萨斯农工大学）
本文利用大型语言模型LLaMA-7B预测下一token，提出了英语熵渐近上界的新估计，并据此设计了一种优于BSC、ZPAQ和paq8h的无损文本压缩算法。
2023-06-26 cs.CL cs.IT cs.LG
Learning to Embed Words in Context for Syntactic Tasks
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
我们提出的模型嵌入的话在周围的话。这样的模型，我们称之为令牌嵌入，表示特定于给定上下文的单词的特征，例如词义，句法类别和语义角色。我们探索简单，高效的令牌嵌入模型的基础上，标准的神经网络架构。我们在大量未注释的文本上学习令牌嵌入，并将其作为词性标记器和依赖解析器的特征进行评估，这些特征是在少量注释数据上训练的。我们发现，具有令牌嵌入的预测器在一系列上下文窗口和训练集大小上始终优于基线预测器。
2017-06-12 cs.CL
Just on Time: Token-Level Early Stopping for Diffusion Language Models
本文提出了一种无需训练的标记级早期停止方法，通过动态确定标记收敛点，减少扩散步骤并提升生成效率。
2026-10-08 cs.CL cs.LG
EMA Is Not All You Need: Mapping the Boundary Between Structure and Content in Recurrent Context
AIM Intelligence；National Institute of Technology Agartala（阿加尔塔拉国立理工学院）
本文通过EMA轨迹探讨循环模型中结构与内容的边界，发现其在语法角色分配和语言模型性能上的优势，揭示固定系数积累的局限性。
2026-03-17 cs.AI cs.CL
Forecasting Corpus-Sampling Disagreement in Masked Text Reconstruction
University of Texas at Austin（德克萨斯大学奥斯汀分校）
该研究针对掩码文本重构，推导了预测器在两个独立语料库间预期分歧的一阶公式，在三个数据集上验证了该预测方法，并提出校正方案以提升预测准确性。
2026-10-12 cs.CL cs.LG stat.ML
Match the Canvas, Not Just the Answer: Predictability-Aware SFT for Diffusion Language Models
Georgia Institute of Technology（佐治亚理工学院）；University of California, Berkeley（加利福尼亚大学伯克利分校）；University of Chicago（芝加哥大学）；University of Michigan（密歇根大学）
针对扩散语言模型训练与推理的不匹配问题，提出可预测性感知画布选择与监督（PACS）方法，在推理和代码生成基准测试中较普通 SFT 最高提升 12.84 个百分点，实现最优平均准确率。
2026-10-14 cs.AI cs.CL cs.LG
