Understanding the Emergence of Seemingly Useless Features in Next-Token Predictors
研究探讨了训练中的Transformer模型如何计算看似冗余的抽象特征,并提出方法分析梯度信号对特定特征形成的影响,通过玩具任务和小型模型验证,揭示了预训练语言模型中形式推理领域特征的产生机制。
2026-03-14 cs.CL cs.LG
LogitSpec: Accelerating Retrieval-based Speculative Decoding via Next Next Token Speculation
University of Science and Technology of China(中国科学技术大学);Shanghai AI Laboratory(上海人工智能实验室)
LogitSpec通过扩展检索范围和利用logit预测下下个token,提升检索基于解码的效率,实现2.61倍加速和3.28个接受token/解码步。
2026-04-29 cs.CL
Next Token Prediction Is a Dead End for Creativity
Computational Foundry, Swansea University(斯旺西大学计算铸造厂);University of Kent(肯特大学)
本文指出词元预测与创造力根本不符,以说唱对战为例揭示其局限,主张将创造力视为交互过程,为AI提供更具表现力和响应性的愿景。
2025-05-25 cs.AI cs.CL
Modeling Next-Token Prediction as Left-Nested Intuitionistic Implication
University of North Texas(北卡罗来纳州立大学)
该研究提出了一种基于直觉逻辑的神经架构,通过左嵌套蕴含链实现下一个词预测,展示了其与Transformer和状态空间模型的对比。
2026-01-07 cs.AI cs.CL cs.LO
ENTP: Encoder-only Next Token Prediction
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Korea University(高丽大学)
本文提出仅编码器下一词元预测(ENTP),通过理论分析与实验证明其在表达能力和多项任务上优于仅解码器 Transformer。
2025-02-04 cs.CL cs.LG
On the Bias of Next-Token Predictors Toward Systematically Inefficient Reasoning: A Shortest-Path Case Study
本文通过最短路径任务发现,在相同训练词元预算下,基于包含回溯的低效推理轨迹训练的LLM比基于最优动态规划轨迹的模型泛化更好,该优势源于轨迹的连贯与增量性提升了模型对下一词元预测的置信度。
2025-11-01 cs.AI cs.CL cs.LG
SENTRA: Selected-Next-Token Transformer for LLM Text Detection
Mozilla Corporation(Mozilla公司);New York University(纽约大学);Ciphero AI(Ciphero人工智能)
本文提出SENTRA,一种基于选定下一Token概率序列和对比预训练的Transformer编码器,用于检测LLM生成文本,在跨24个领域的域外实验中显著优于现有基线。
2025-09-19 cs.CL cs.LG
Beyond Next Token Prediction: Patch-Level Training for Large Language Models
Pattern Recognition Center, WeChat AI, Tencent Inc(模式识别中心、微信AI、腾讯公司)
本文提出 LLM 的 patch 级训练,用多 token 聚合的 patch 预测降低大部分数据处理成本,再经 token 级训练对齐推理,在 370M–2.7B 模型上将总成本降至 0.5×且保持性能。
2025-05-15 cs.AI cs.CL cs.LG
Express Your Doubts -- Probabilistic World Modeling Should not be Based on Token logprobs
Eitan Wagner;Omri Abend
本文探讨了大型语言模型作为概率估计器在世界概率估计中的应用问题,指出基于token logprobs的局限性,并提倡第二阶预测方法以提高概率合理性。
2026-05-12 cs.AI cs.CL
TPA: Next Token Probability Attribution for Detecting Hallucinations in RAG
Australian Artificial Intelligence Institute (AAII)(澳大利亚人工智能研究所)
TPA通过归因七个来源量化各组件对生成下一个令牌的影响,有效识别幻觉响应,实验显示其性能领先。
2026-04-17 cs.AI cs.CL
Efficient Training of Language Models with Compact and Consistent Next Token Distributions
Indian Institute of Technology, Bombay(印度理工学院孟买分校)
本文提出一种紧凑的下一词元分布近似表示,在期望上等价于完整 n-gram 分布并降低小批次方差,从而在提升模型质量和收敛速度的同时,使收益可扩展到更大模型和数据集。
2024-07-03 cs.CL cs.LG
A Law of Next-Token Prediction in Large Language Models
University of Rochester(罗切斯特大学);University of Pennsylvania(宾夕法尼亚大学)
该研究提出大语言模型下一词元预测的定量定律,发现各层对预测准确率提升贡献均等且跨架构通用,可为模型开发与应用提供新指导。
2025-08-31 cs.AI cs.CL cs.LG
K-Forcing: Joint Next-K-Token Decoding via Push-Forward Language Modeling
DAMO Academy, Alibaba Group(阿里巴巴达摩院);Hupan Lab(湖畔实验室);Zhejiang University(浙江大学);The Hong Kong University of Science and Technology(香港科技大学)
提出K-Forcing范式,通过前推映射将自回归模型蒸馏为单次前向传播生成多个未来词,实现2.4-3.5倍加速,质量损失小。
2026-06-11 cs.AI cs.CL cs.LG
Conformal Prediction Sets for Next-Token Prediction in Large Language Models: Balancing Coverage Guarantees with Set Efficiency
The ICFAI Foundation for Higher Education(ICFAI高等教育基金会)
本文提出VACP框架,通过语义掩码和温度调整评分,在保证覆盖的前提下显著提升预测集效率,实验证明其在大语言模型下一个标记预测中的有效性。
2025-12-27 cs.AI cs.CL
Roll the dice & look before you leap: Going beyond the creative limits of next-token prediction
Google Research, US(谷歌研究);Carnegie Mellon University, Pittsburgh, US(卡内基梅隆大学)
该研究构建极简开放式算法任务,证明 next-token learning 在创造性随机规划上短视,而 teacherless training、diffusion models 及 seed-conditioning 更具优势。
2025-08-28 cs.AI cs.CL cs.LG
Bigram Subnetworks: Mapping to Next Tokens in Transformer Language Models
Department of Cognitive Science University of California San Diego(认知科学系,加州大学圣地亚哥分校)
研究发现Transformer语言模型中存在双元子网络,这些子网络能基于当前标记预测下一个标记,且对模型性能至关重要。
2025-12-03 cs.CL
All or None: Identifiable Linear Properties of Next-token Predictors in Language Modeling
University of Trento(特伦托大学);University of Copenhagen(哥本哈根大学)
本文研究语言模型线性性质的普遍成因,通过证明分布等价 next-token 预测器的可辨识性结果并改进关系线性分析,证明这些线性性质在等价预测器中呈“全有或全无”特性。
2025-03-15 cs.AI cs.CL cs.LG
Memory Retrieval and Consolidation in Large Language Models through Function Tokens
ByteDance Seed(字节跳动种子)
本文提出函数标记假说,解释LLMs通过函数标记在推理时检索记忆、在预训练时巩固记忆的机制,并用二分图分析和案例研究提供实验证据。
2025-10-09 cs.AI cs.CL
Beyond Next-Token Prediction: A Performance Characterization of Diffusion versus Autoregressive Language Models
Seoul National University(首尔国立大学);University of California, Berkeley(加州大学伯克利分校);ICSI;LBNL(劳伦斯伯克利国家实验室);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文比较了扩散模型与自回归语言模型在性能上的差异,发现DLMs在算术强度上占优但难以扩展,而ARMs在批量推理中表现更优。
2025-12-15 cs.AI cs.CL cs.LG
A Causal World Model Underlying Next Token Prediction: Exploring GPT in a Controlled Environment
Intel Labs(英特尔实验室)
本文通过推导GPT注意力机制的因果解释,提出其隐式学习因果世界模型,并验证了GPT可对输入序列进行零样本因果结构学习,在Othello和Chess的分布外数据上,高置信度因果编码与合法走子生成相关。
2025-07-06 cs.AI cs.CL cs.LG
Training LLMs Beyond Next Token Prediction - Filling the Mutual Information Gap
National Taiwan University(国立台湾大学)
本文挑战了传统的下一个词元预测训练方法,提出在训练期间预测信息丰富的词元以更有效地优化大型语言模型,并在算术、文本多标签分类和自然语言生成三类任务中验证了其有效性,提升了模型性能并深化了理论理解。
2026-10-14 cs.AI cs.CL
Causal and Interpretable Structures in LLM Compositional Tasks
Cornell University(康奈尔大学);Goodfire AI
本研究通过分析循环概念任务中的激活,揭示了LLM在Transformer层中逐步组织关系信息的几何与因果机制,并发现限制到因果相关联合表示可提升预测准确性。
2026-09-30 cs.AI cs.CL cs.LG
Next Token Knowledge Tracing: Exploiting Pretrained LLM Representations to Decode Student Behaviour
本文提出NTKT方法,利用预训练大语言模型预测学生行为,提升知识追踪任务的性能和泛化能力。
2026-01-26 cs.AI cs.CL
On Next-Token Prediction in LLMs: How End Goals Determine the Consistency of Decoding Algorithms
Department of Statistics University of Michigan(统计学系 密歇根大学)
该研究首次在大语言模型语境下探究greedy、随机采样等四种解码算法与不同损失函数目标的一致性,发现仅随机采样符合真实分布采样目标,其余算法无普适最优性,凸显了按任务目标选解码算法的重要性。
2025-05-16 cs.CL cs.LG stat.ML
Looking beyond the next token
Carnegie Mellon University(卡内基梅隆大学)
本文提出通过重新排列训练数据序列(Trelawney)来使因果语言模型更好地模仿人类目标先行的写作过程,无需架构改动,并在规划、推理和故事生成基准上提升性能,同时实现长期目标的生成。
2025-04-24 cs.AI cs.CL cs.LG
YNTP-100: A Benchmark for Your Next Token Prediction with 100 People
Kyoto University(京都大学)
YNTP-100是一个包含100人的多语言对话基准,用于评估个性化响应生成的对齐方法。
2026-01-28 cs.CL
Exploring Next Token Prediction in Theory of Mind (ToM) Tasks: Comparative Experiments with GPT-2 and LLaMA-2 AI Models
本研究对比GPT-2与LLaMA-2在心智理论任务中的下一词预测能力,发现增加上下文复杂度会降低准确性,而LLaMA-2在低温度下表现更优,且推理复杂度越高模型差异越大。
2025-04-22 cs.AI cs.CL
Alternatives To Next Token Prediction In Text Generation -- A Survey
本文综述 NTP 的五类替代方案,构建分类体系以克服 LLM 在长期规划、误差累积和计算效率上的局限。
2025-09-29 cs.AI cs.CL
When Thinking Fails: The Pitfalls of Reasoning for Instruction-Following in LLMs
Harvard University(哈佛大学);Amazon(亚马逊);NYU(纽约大学)
该研究发现显式CoT推理会降低大语言模型的指令遵循准确率,提出约束注意力指标量化注意力偏移,并验证分类器选择推理等策略可有效恢复性能。
2025-09-02 cs.CL
Beyond the Next Token: Towards Prompt-Robust Zero-Shot Classification via Efficient Multi-Token Prediction
Nanyang Technological University(南洋理工大学);Singapore-ETH Centre(新加坡-ETH中心);Tencent(腾讯)
针对大型语言模型因依赖 next-token 概率导致的提示脆弱性问题,提出多位置 token 概率预测方法 P3,在单次运行中模拟生成路径采样,显著提升了零样本文本分类的准确率与鲁棒性,降低了对提示工程的依赖。
2025-04-04 cs.CL
Structure Before Collapse: Transient semantic geometry in next-token prediction
The University of British Columbia(不列颠哥伦比亚大学)
研究下一词预测语言模型在独热标签训练下如何学习语义结构,发现早期训练出现语义聚类但最终会过渡到对称态,通过Gram矩阵分析提出改进模型。
2026-06-26 cs.CL cs.LG
Moving Beyond Next-Token Prediction: Transformers are Context-Sensitive Language Generators
Inha University(仁荷大学)
本文提出将Transformer驱动的LLMs解释为概率性左上下文敏感语言生成器的框架,分解其为三个基础组件,突破传统观点,为生成式AI理论与应用发展奠定基础。
2025-04-15 cs.AI cs.CL
Reasoning Bias of Next Token Prediction Training
School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学数学科学学院);School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院);Institute for Advanced Algorithms Research, Shanghai(上海高级算法研究院)
本文对比 NTP 与 CTP 训练范式,发现训练噪声带来的正则化使 NTP 模型在推理基准上更鲁棒、泛化更好,并指出二者分别适用于预训练与微调。
2025-02-20 cs.CL cs.LG
Cautious Next Token Prediction
Northeastern University(东北大学);Adobe(Adobe公司);Case Western Reserve University(凯斯西储大学)
针对 LLM 在不确定问题上标准采样性能不佳的问题,本文提出免训练的 CNTP 解码策略,通过高熵时多路径尝试并选择最低困惑度路径,持续提升 LLM 与 MLLM 表现。
2025-07-23 cs.AI cs.CL cs.LG
On the scaling relationship between cloze probabilities and language model next-token prediction
University at Buffalo(布法罗大学);Université Paris Nanterre(巴黎南泰尔大学)
本研究探讨了语言模型在闭合概率与下一个词预测之间的缩放关系,发现更大模型在语义上更符合人类响应,但对低层信息不敏感。
2026-02-19 cs.CL
Projected Autoregression: Autoregressive Language Generation in Continuous State Space
IBM Research(IBM研究院)
本文提出投影自回归方法,通过连续预测和离散投影实现语言生成,展示连续状态空间在生成文本结构和动态方面的独特优势。
2026-04-06 cs.AI cs.CL cs.LG
A mixed policy to improve performance of language models on math problems
Vividity tech(Vividity科技公司)
针对语言模型数学推理易出错的问题,提出结合强化学习的两层token混合探索策略,在GSM8K数据集上用GPT-2实现超2%的性能提升。
2023-07-17 cs.AI cs.CL cs.LG
Representational Curvature Modulates Behavioral Uncertainty in Large Language Models
Brain and Cognitive Sciences(脑与认知科学);Massachusetts Institute of Technology(麻省理工学院)
研究通过分析表征曲率与token级熵的关系,揭示了大型语言模型中行为不确定性的调节机制,发现曲率变化可影响预测熵。
2026-04-27 cs.AI cs.CL cs.LG
SentenceVAE: Enable Next-sentence Prediction for Large Language Models with Faster Speed, Higher Accuracy and Longer Context
Northwestern Polytechnical University(西北工业大学);China Telecom(中国电信)
针对大语言模型下一词元推理速度慢的问题,提出集成句子变分自编码器的句子级大语言模型,通过逐句推理实现速度提升、精度提高与内存降低,支持更长上下文处理。
2024-08-14 cs.AI cs.CL
Future Token Prediction -- Causal Language Modelling with Per-Token Semantic State Vector for Multi-Token Prediction
Iprova SA
本文提出 Future Token Prediction(FTP)预训练方法,通过编码器生成逐位置语义状态向量并由小型解码器交叉注意预测未来 N 个 token,提升嵌入平滑性、主题连贯性、文本分类与编程表现。
2024-10-23 cs.CL cs.LG
Dynamics of Spontaneous Topic Changes in Next Token Prediction with Self-Attention
York University(约克大学)
研究探讨了自注意力架构中自发主题变化的动态,揭示了其与人类认知的异同,并验证了该现象在先进语言模型中的存在。
2025-12-11 cs.AI cs.CL stat.ML
NEST-RQ: Next Token Prediction for Speech Self-Supervised Pre-Training
Seed Team, ByteDance(字节跳动Seed团队)
针对现有语音自监督预训练方法对流式模型支持不足的问题,提出基于因果编码器和下一词元预测的NEST-RQ方法,在流式ASR任务上性能优于BEST-RQ,验证了该预训练范式的可行性。
2024-09-13 cs.AI cs.CL eess.AS
Implicit Geometry of Next-token Prediction: From Language Sparsity Patterns to Model Representations
University of British Columbia(不列颠哥伦比亚大学)
本文将 NTP 训练建模为稀疏软标签分类,揭示其隐式优化产生稀疏加低秩 logit,并导致上下文表示的子空间坍缩。
2025-02-19 cs.CL cs.LG
From Next-Token to Mathematics: The Learning Dynamics of Mathematical Reasoning in Language Models
Department of Computer Science 1 and Psychology 2(计算机科学系和心理学系);Stanford University(斯坦福大学)
本研究分析了语言模型在预训练和后训练过程中数学推理能力的发展,揭示了数学技能学习顺序与课程设计的相关性,并探讨了指令微调对不同数学技能的影响。
2025-10-14 cs.AI cs.CL
Next Token Prediction Towards Multimodal Intelligence: A Comprehensive Survey
Peking University(北京大学);Beihang Univerisy(北京航空航天大学);University of Hongkong(香港大学);Shenzhen Institute of Advanced Technology, China Academy of Sciences(中国科学院深圳先进技术研究院);Tsinghua University(清华大学);M-A-P;The Chinese University of Hong Kong(香港中文大学);Alibaba Group(阿里巴巴集团);University of Cambridge(剑桥大学);Microsoft Research(微软研究院);UIUC(伊利诺伊大学厄巴纳-香槟分校);Humanify Inc.(Humanify公司);Zhejiang University(浙江大学)
本文从下一令牌预测(NTP)视角系统综述多模态智能,提出涵盖令牌化、模型架构、任务表示、数据集与评估及开放挑战的统一分类法,并配套GitHub资源库。
2024-12-30 cs.AI cs.CL cs.CV
Next Token Perception Score: Analytical Assessment of your LLM Perception Skills
Atlassian(Atlassian公司)
本研究提出下一词感知分数(NTPS),用于量化自回归预训练与下游感知任务间的对齐程度,并证明其能预测LoRA微调带来的性能提升,为评估LLM感知能力提供理论依据和实用工具。
2025-05-22 cs.AI cs.CL
When to Ensemble: Identifying Token-Level Points for Stable and Fast LLM Ensembling
KAIST(韩国科学技术院);Korea University(韩国大学);AITRICS
本文提出SAFE框架,通过考虑令牌化不匹配和下一个令牌概率分布的一致性,改进长形式生成中的模型集成,提升准确性和效率。
2026-03-13 cs.AI cs.CL
Context-level Language Modeling by Learning Predictive Context Embeddings
LUMIA Lab(LUMIA实验室);School of Artificial Intelligence(人工智能学院);Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);Tsinghua University(清华大学);Nanjing University(南京大学)
ContextLM通过学习预测上下文嵌入,提升多令牌预测能力,实现更高效的参数和训练效率,同时在下游任务中表现更优。
2026-02-11 cs.AI cs.CL
Distribution Prompting: Understanding the Expressivity of Language Models Through the Next-Token Distributions They Can Produce
University of Waterloo(多伦多大学);Stevens Institute of Technology(史蒂文斯理工学院);Vector Institute, Canada CIFAR AI Chair(加拿大向量研究所)
本文通过梯度提示微调研究语言模型可诱导的下一词元分布,发现低熵、高熵、含离群词元及模型自生成分布更易近似,揭示了语言模型的表达能力与作为分布提议器的局限。
2025-09-21 cs.CL
Thinking into the Future: Latent Lookahead Training for Transformers
Apple(苹果公司)
本文提出潜在前瞻训练方法,使模型在生成前进行多步前瞻,提升规划任务表现。
2026-03-03 cs.CL cs.LG
I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data?
Responsible AI Research Centre(负责任人工智能研究中心);Australian Institute for Machine Learning(澳大利亚机器学习研究所);Adelaide University(阿德莱德大学);School of Computer Science and Engineering(计算机科学与工程学院);The University of New South Wales(新南威尔士大学);Halıcıoğlu Data Science Institute(哈利奇奥格卢数据科学研究所);University of California San Diego(加州大学圣地亚哥分校);School of Mathematics and Statistics(数学与统计学学院);The University of Melbourne(墨尔本大学)
本文提出了一种新的生成模型,通过理论分析证明LLM通过下一个令牌预测能学习人类可解释的概念,并验证了该理论在模拟数据和现有模型上的有效性。
2026-02-28 cs.CL cs.LG
Advancing Pancreatic Cancer Prediction with a Next Visit Token Prediction Head on top of Med-BERT
McWilliams School of Biomedical Informatics, UTHealth at Houston(休斯顿德克萨斯大学健康科学中心麦克威廉姆斯生物医学信息学院);Mayo Clinic(梅奥诊所)
本文提出在 Med-BERT 上采用 token 预测及下一次就诊掩码 token 预测头,使胰腺癌预测任务契合预训练目标,在少样本场景下较二分类提升 3%–7%。
2025-01-03 cs.AI cs.CL
Implicit Optimization Bias of Next-Token Prediction in Linear Models
University of British Columbia(不列颠哥伦比亚大学)
该研究聚焦线性模型中下一token预测(NTP)的优化特性,提出NTP可分性条件,刻画了梯度下降的隐式优化偏差,拓展了独热分类隐式偏差的相关研究,为NTP的优化与泛化研究提供了新方向。
2024-10-31 cs.CL cs.LG stat.ML
Frustratingly Short Attention Spans in Neural Language Modeling
University College London(伦敦大学学院)
神经语言模型使用即时标记历史的潜在表示来预测下一个标记。最近,已经提出了在可微记忆上用注意力机制增强神经语言模型的各种方法。为了预测下一个令牌,这些模型从最近历史的记忆中查询信息,这可以促进学习中长期依赖性。然而,在记忆增强神经语言模型中使用的常规注意力机制在每个时间步产生单个输出向量。该向量既用于预测下一个令牌,也用于令牌历史的可微存储器的键和值。在本文中,我们提出了一个神经语言模型的关键值注意力机制,输出单独的表示的关键和值的微分记忆,以及编码的下一个词的分布。该模型在两个语料库上的性能优于现有的记忆增强神经语言模型。然而,我们发现我们的方法主要利用了五个最近的输出表示的记忆。这导致了一个意想不到的主要发现,即一个简单得多的模型,只基于前一个时间步的最近输出表示的串联,与更复杂的记忆增强神经语言模型不相上下。
2017-02-15 cs.AI cs.CL cs.LG