SENTRA: Selected-Next-Token Transformer for LLM Text Detection
Mozilla Corporation(Mozilla公司);New York University(纽约大学);Ciphero AI(Ciphero人工智能)
本文提出SENTRA,一种基于选定下一Token概率序列和对比预训练的Transformer编码器,用于检测LLM生成文本,在跨24个领域的域外实验中显著优于现有基线。
2025-09-19 cs.CL cs.LG
Interpretable Next-token Prediction via the Generalized Induction Head
Microsoft Research(微软研究院);Seoul National University(首尔大学);Stanford University(斯坦福大学)
针对大模型可解释性不足的问题,提出受LLM归纳头启发的可解释下一词元预测模型GIM,结合精确n-gram与神经模糊匹配检索相似序列,在语言建模和fMRI预测任务上均优于现有可解释基线,推动性能与可解释性的跨领域统一。
2025-10-24 cs.AI cs.CL cs.LG
Dynamics of Spontaneous Topic Changes in Next Token Prediction with Self-Attention
York University(约克大学)
研究探讨了自注意力架构中自发主题变化的动态,揭示了其与人类认知的异同,并验证了该现象在先进语言模型中的存在。
2025-12-11 cs.AI cs.CL stat.ML
On the Bias of Next-Token Predictors Toward Systematically Inefficient Reasoning: A Shortest-Path Case Study
本文通过最短路径任务发现,在相同训练词元预算下,基于包含回溯的低效推理轨迹训练的LLM比基于最优动态规划轨迹的模型泛化更好,该优势源于轨迹的连贯与增量性提升了模型对下一词元预测的置信度。
2025-11-01 cs.AI cs.CL cs.LG
NExT-Guard: Training-Free Streaming Safeguard without Token-Level Labels
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学)
NExT-Guard通过监控稀疏自编码器的潜在特征,实现无训练的流式安全防护,优于基于监督训练的防护方法。
2026-02-10 cs.AI cs.LG
TPA: Next Token Probability Attribution for Detecting Hallucinations in RAG
Australian Artificial Intelligence Institute (AAII)(澳大利亚人工智能研究所)
TPA通过归因七个来源量化各组件对生成下一个令牌的影响,有效识别幻觉响应,实验显示其性能领先。
2026-04-17 cs.AI cs.CL
Efficient Training of Language Models with Compact and Consistent Next Token Distributions
Indian Institute of Technology, Bombay(印度理工学院孟买分校)
本文提出一种紧凑的下一词元分布近似表示,在期望上等价于完整 n-gram 分布并降低小批次方差,从而在提升模型质量和收敛速度的同时,使收益可扩展到更大模型和数据集。
2024-07-03 cs.CL cs.LG
Beyond Next Token Prediction: Patch-Level Training for Large Language Models
Pattern Recognition Center, WeChat AI, Tencent Inc(模式识别中心、微信AI、腾讯公司)
本文提出 LLM 的 patch 级训练,用多 token 聚合的 patch 预测降低大部分数据处理成本,再经 token 级训练对齐推理,在 370M–2.7B 模型上将总成本降至 0.5×且保持性能。
2025-05-15 cs.AI cs.CL cs.LG
A Scaling Law for Token Efficiency in LLM Fine-Tuning Under Fixed Compute Budgets
University of Connecticut Storrs(康涅狄格大学斯托尔斯分校)
本文提出一种考虑数据组成(样本数量与平均令牌长度)的LLM微调缩放定律,并通过BRICC和MMLU实验证明数据组成显著影响令牌效率,为资源受限场景提供更精细的缩放指导。
2025-06-02 cs.AI cs.CL
Conformal Prediction Sets for Next-Token Prediction in Large Language Models: Balancing Coverage Guarantees with Set Efficiency
The ICFAI Foundation for Higher Education(ICFAI高等教育基金会)
本文提出VACP框架,通过语义掩码和温度调整评分,在保证覆盖的前提下显著提升预测集效率,实验证明其在大语言模型下一个标记预测中的有效性。
2025-12-27 cs.AI cs.CL
Memory Retrieval and Consolidation in Large Language Models through Function Tokens
ByteDance Seed(字节跳动种子)
本文提出函数标记假说,解释LLMs通过函数标记在推理时检索记忆、在预训练时巩固记忆的机制,并用二分图分析和案例研究提供实验证据。
2025-10-09 cs.AI cs.CL
Towards Auto-Regressive Next-Token Prediction: In-Context Learning Emerges from Generalization
本文采用自回归下一个词元预测范式,通过形式化预训练与上下文学习框架,提出依赖数据、主题和优化的PAC-贝叶斯泛化界,证明上下文学习源于序列和主题的泛化,并用实验验证。
2025-02-24 cs.CL cs.LG stat.ML
K-Forcing: Joint Next-K-Token Decoding via Push-Forward Language Modeling
DAMO Academy, Alibaba Group(阿里巴巴达摩院);Hupan Lab(湖畔实验室);Zhejiang University(浙江大学);The Hong Kong University of Science and Technology(香港科技大学)
提出K-Forcing范式,通过前推映射将自回归模型蒸馏为单次前向传播生成多个未来词,实现2.4-3.5倍加速,质量损失小。
2026-06-11 cs.AI cs.CL cs.LG
Training LLMs Beyond Next Token Prediction - Filling the Mutual Information Gap
National Taiwan University(国立台湾大学)
本文挑战了传统的下一个词元预测训练方法,提出在训练期间预测信息丰富的词元以更有效地优化大型语言模型,并在算术、文本多标签分类和自然语言生成三类任务中验证了其有效性,提升了模型性能并深化了理论理解。
2026-10-14 cs.AI cs.CL
Next Token Knowledge Tracing: Exploiting Pretrained LLM Representations to Decode Student Behaviour
本文提出NTKT方法,利用预训练大语言模型预测学生行为,提升知识追踪任务的性能和泛化能力。
2026-01-26 cs.AI cs.CL
Beyond Next-Token Prediction: A Performance Characterization of Diffusion versus Autoregressive Language Models
Seoul National University(首尔国立大学);University of California, Berkeley(加州大学伯克利分校);ICSI;LBNL(劳伦斯伯克利国家实验室);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文比较了扩散模型与自回归语言模型在性能上的差异,发现DLMs在算术强度上占优但难以扩展,而ARMs在批量推理中表现更优。
2025-12-15 cs.AI cs.CL cs.LG
Beyond the Next Token: Towards Prompt-Robust Zero-Shot Classification via Efficient Multi-Token Prediction
Nanyang Technological University(南洋理工大学);Singapore-ETH Centre(新加坡-ETH中心);Tencent(腾讯)
针对大型语言模型因依赖 next-token 概率导致的提示脆弱性问题,提出多位置 token 概率预测方法 P3,在单次运行中模拟生成路径采样,显著提升了零样本文本分类的准确率与鲁棒性,降低了对提示工程的依赖。
2025-04-04 cs.CL
Causal and Interpretable Structures in LLM Compositional Tasks
Cornell University(康奈尔大学);Goodfire AI
本研究通过分析循环概念任务中的激活,揭示了LLM在Transformer层中逐步组织关系信息的几何与因果机制,并发现限制到因果相关联合表示可提升预测准确性。
2026-09-30 cs.AI cs.CL cs.LG
Alternatives To Next Token Prediction In Text Generation -- A Survey
本文综述 NTP 的五类替代方案,构建分类体系以克服 LLM 在长期规划、误差累积和计算效率上的局限。
2025-09-29 cs.AI cs.CL
Probing Geometry of Next Token Prediction Using Cumulant Expansion of the Softmax Entropy
Institute of Physics, University of Amsterdam(阿姆斯特丹大学物理研究所);Massachusetts Institute of Technology(麻省理工学院)
本研究提出基于softmax熵累积量展开的框架,通过追踪GPT-2、Pythia模型在Pile-10K提示上的累积量变化,揭示LLM下一词元预测中的高阶统计结构学习规律,为高维神经网络特征学习动态提供轻量的数学化探测工具。
2025-10-05 cond-mat.stat-mech cs.CL cs.LG
Moving Beyond Next-Token Prediction: Transformers are Context-Sensitive Language Generators
Inha University(仁荷大学)
本文提出将Transformer驱动的LLMs解释为概率性左上下文敏感语言生成器的框架,分解其为三个基础组件,突破传统观点,为生成式AI理论与应用发展奠定基础。
2025-04-15 cs.AI cs.CL
Low-Bit Quantization Favors Undertrained LLMs: Scaling Laws for Quantized LLMs with 100T Training Tokens
University of Virginia(弗吉尼亚大学);Tencent AI Lab(腾讯AI实验室)
该研究揭示低比特量化对欠训练LLM更友好,通过分析1500多个量化LLM checkpoint推导缩放定律,可衡量模型训练水平、预测量化性能,为低比特量化研究提供新视角与数据支持。
2024-11-27 cs.CL cs.LG
Reasoning Bias of Next Token Prediction Training
School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学数学科学学院);School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院);Institute for Advanced Algorithms Research, Shanghai(上海高级算法研究院)
本文对比 NTP 与 CTP 训练范式,发现训练噪声带来的正则化使 NTP 模型在推理基准上更鲁棒、泛化更好,并指出二者分别适用于预训练与微调。
2025-02-20 cs.CL cs.LG
Next Token Prediction Towards Multimodal Intelligence: A Comprehensive Survey
Peking University(北京大学);Beihang Univerisy(北京航空航天大学);University of Hongkong(香港大学);Shenzhen Institute of Advanced Technology, China Academy of Sciences(中国科学院深圳先进技术研究院);Tsinghua University(清华大学);M-A-P;The Chinese University of Hong Kong(香港中文大学);Alibaba Group(阿里巴巴集团);University of Cambridge(剑桥大学);Microsoft Research(微软研究院);UIUC(伊利诺伊大学厄巴纳-香槟分校);Humanify Inc.(Humanify公司);Zhejiang University(浙江大学)
本文从下一令牌预测(NTP)视角系统综述多模态智能,提出涵盖令牌化、模型架构、任务表示、数据集与评估及开放挑战的统一分类法,并配套GitHub资源库。
2024-12-30 cs.AI cs.CL cs.CV
Tracing LLM Behavior to the Training Data with Empirical Next-Token Distributions
NEC Labs America(美国 NEC 实验室)
研究大语言模型输出分布与训练数据的联系,通过经验下一个token分布追踪。发现多数输入下二者近乎完美一致且随模型规模等提升,也存在差异,探讨了差异来源,鼓励以数据为中心的机制可解释性研究。
2026-08-04 cs.AI
Smooth Scaling Laws Hide Stepwise Token Learning
Dots Studio, Xiaohongshu Inc.(dots studio,小红书公司);Shanghai Jiao Tong University(上海交通大学);Tsinghua university(清华大学)
本文提出令牌级框架,将缩放定律分解为上下文令牌的局部学习事件,通过拟合S形曲线发现令牌学习集中在局部转换中,并利用学习时间谱定量重建验证损失导数,进而通过重塑训练分布实现11%的验证损失加速降低。
2026-11-10 cs.CL
SentenceVAE: Enable Next-sentence Prediction for Large Language Models with Faster Speed, Higher Accuracy and Longer Context
Northwestern Polytechnical University(西北工业大学);China Telecom(中国电信)
针对大语言模型下一词元推理速度慢的问题,提出集成句子变分自编码器的句子级大语言模型,通过逐句推理实现速度提升、精度提高与内存降低,支持更长上下文处理。
2024-08-14 cs.AI cs.CL
How Much Is an AI Token Worth? Scaling Laws for Wild AI-Generated Web Text
University of Maryland(马里兰大学);Pangram Labs(Pangram 实验室)
本研究通过预训练800个语言模型,提出一种新的缩放定律,揭示了野生AI生成文本对预训练的影响:初期有益但随后有害,并提供了过滤和重复人类文本的建议,同时发布了WildAI语料库。
2026-10-01 cs.CL cs.LG
JTok: On Token Embedding as another Axis of Scaling Law via Joint Token Self-modulation
School of AI, Shanghai Jiao Tong University(人工智能学院,上海交通大学);Hi Lab, Xiaohongshu Inc(小红书研究院)
JTok通过引入令牌索引参数,实现模型容量与计算资源的解耦,显著提升下游任务性能并减少计算开销。
2026-01-31 cs.AI cs.LG
Power-Law Decay Loss for Large Language Model Finetuning: A Theory Perspective
针对交叉熵平等加权导致模型偏重高频低信息 token 的问题,本文提出按语料频率幂律衰减重加权的 PDL 损失,并从理论上说明其可提升文本生成质量、多样性与信息量。
2025-06-09 cs.CL cs.LG
Manifold Trajectories in Next-Token Prediction: From Replicator Dynamics to Softmax Equilibrium
Centralia College(中央学院)
本文将下一 token 解码表述为单纯形上的约束变分更新,证明乘性权重与复制者流驱动分布沿光滑轨迹收敛至 softmax 均衡,并解释温度、top-k 和核采样的作用。
2025-08-28 cs.AI cs.LG math.DS
Implicit Geometry of Next-token Prediction: From Language Sparsity Patterns to Model Representations
University of British Columbia(不列颠哥伦比亚大学)
本文将 NTP 训练建模为稀疏软标签分类,揭示其隐式优化产生稀疏加低秩 logit,并导致上下文表示的子空间坍缩。
2025-02-19 cs.CL cs.LG
Cautious Next Token Prediction
Northeastern University(东北大学);Adobe(Adobe公司);Case Western Reserve University(凯斯西储大学)
针对 LLM 在不确定问题上标准采样性能不佳的问题,本文提出免训练的 CNTP 解码策略,通过高熵时多路径尝试并选择最低困惑度路径,持续提升 LLM 与 MLLM 表现。
2025-07-23 cs.AI cs.CL cs.LG
From Next-Token to Mathematics: The Learning Dynamics of Mathematical Reasoning in Language Models
Department of Computer Science 1 and Psychology 2(计算机科学系和心理学系);Stanford University(斯坦福大学)
本研究分析了语言模型在预训练和后训练过程中数学推理能力的发展,揭示了数学技能学习顺序与课程设计的相关性,并探讨了指令微调对不同数学技能的影响。
2025-10-14 cs.AI cs.CL
Next Token Perception Score: Analytical Assessment of your LLM Perception Skills
Atlassian(Atlassian公司)
本研究提出下一词感知分数(NTPS),用于量化自回归预训练与下游感知任务间的对齐程度,并证明其能预测LoRA微调带来的性能提升,为评估LLM感知能力提供理论依据和实用工具。
2025-05-22 cs.AI cs.CL
When to Ensemble: Identifying Token-Level Points for Stable and Fast LLM Ensembling
KAIST(韩国科学技术院);Korea University(韩国大学);AITRICS
本文提出SAFE框架,通过考虑令牌化不匹配和下一个令牌概率分布的一致性,改进长形式生成中的模型集成,提升准确性和效率。
2026-03-13 cs.AI cs.CL
Representational Curvature Modulates Behavioral Uncertainty in Large Language Models
Brain and Cognitive Sciences(脑与认知科学);Massachusetts Institute of Technology(麻省理工学院)
研究通过分析表征曲率与token级熵的关系,揭示了大型语言模型中行为不确定性的调节机制,发现曲率变化可影响预测熵。
2026-04-27 cs.AI cs.CL cs.LG
Diversity or Precision? A Deep Dive into Next Token Prediction
本文通过重新审视交叉熵损失,提出一种结合在线强化学习原则的预训练目标,平衡多样性与精度,优化语言模型的推理能力。
2026-03-14 cs.CL
Deriving Neural Scaling Laws from the statistics of natural language
研究从自然语言统计推导神经缩放定律,分离出语言关键统计属性预测神经缩放指数,给出基于这些统计量的简单公式,与实验测量定律匹配。
2026-07-07 cs.AI cs.LG stat.ML
Is Next Token Prediction Sufficient for GPT? Exploration on Code Logic Comprehension
Microsoft Cloud and AI(微软云与人工智能);School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
该研究针对现有大语言模型仅靠下一个词元预测难以真正理解代码逻辑的问题,提出逻辑等价代码选择任务验证缺陷,并推出Next Token Prediction+预训练任务,在不损失生成能力的前提下显著提升了Code Llama等代码模型的相关任务表现。
2024-04-13 cs.CL cs.LG cs.PL
NITP: Next Implicit Token Prediction for LLM Pre-training
School of AI, Shanghai Jiao Tong University(上海交通大学人工智能学院);Xiaohongshu Inc.(小红书公司);The Chinese University of Hong Kong(香港中文大学);University of Science and Technology of China(中国科学技术大学)
提出NITP方法,通过在表示空间中添加密集连续监督来增强离散令牌预测,以解决标准下一令牌预测中潜在表示空间约束不足的问题,并在0.5B至9B参数模型上取得一致性能提升。
2026-07-14 cs.CL
HeavyWater and SimplexWater: Distortion-Free LLM Watermarks for Low-Entropy Next-Token Predictions
Ben Gurion University(本-古里安大学);Harvard University(哈佛大学);JPMorgan Chase(摩根大通)
本文提出HeavyWater和SimplexWater两种无失真LLM水印方法,适用于低熵生成任务,实现高检测准确性和低文本失真。
2025-12-02 cs.AI cs.CL cs.CR
I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data?
Responsible AI Research Centre(负责任人工智能研究中心);Australian Institute for Machine Learning(澳大利亚机器学习研究所);Adelaide University(阿德莱德大学);School of Computer Science and Engineering(计算机科学与工程学院);The University of New South Wales(新南威尔士大学);Halıcıoğlu Data Science Institute(哈利奇奥格卢数据科学研究所);University of California San Diego(加州大学圣地亚哥分校);School of Mathematics and Statistics(数学与统计学学院);The University of Melbourne(墨尔本大学)
本文提出了一种新的生成模型,通过理论分析证明LLM通过下一个令牌预测能学习人类可解释的概念,并验证了该理论在模拟数据和现有模型上的有效性。
2026-02-28 cs.CL cs.LG
Test-Time Training with Next-Token Prediction
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
提出TTT-NTP方法,利用预训练语言模型自身的下一个隐藏状态作为自监督信号进行测试时训练,无需重新设计骨干网络,在多个长上下文基准上显著提升性能。
2026-09-01 cs.CL
Advancing Pancreatic Cancer Prediction with a Next Visit Token Prediction Head on top of Med-BERT
McWilliams School of Biomedical Informatics, UTHealth at Houston(休斯顿德克萨斯大学健康科学中心麦克威廉姆斯生物医学信息学院);Mayo Clinic(梅奥诊所)
本文提出在 Med-BERT 上采用 token 预测及下一次就诊掩码 token 预测头,使胰腺癌预测任务契合预训练目标,在少样本场景下较二分类提升 3%–7%。
2025-01-03 cs.AI cs.CL
Fractal Patterns May Illuminate the Success of Next-Token Prediction
Google Deepmind(谷歌DeepMind)
本文通过证明语言的自相似性和长程依赖性(H≈0.7),揭示分形参数可预测LLM下游性能,为下一词元预测的成功提供新解释。
2024-05-22 cs.AI cs.CL
From Next-Token to Next-Block: A Principled Adaptation Path for Diffusion LLMs
Peking University(北京大学);Huawei Technologies(华为技术)
本文提出了一种原理性适应路径,将自回归模型适配到扩散语言模型,以提升其长上下文生成能力,并在7B类模型中取得最佳性能。
2026-01-30 cs.AI cs.CL
Geometry of Semantics in Next-Token Prediction: How Optimization Implicitly Organizes Linguistic Representations
Department of Electrical and Computer Engineering(电气与计算机工程系);University of British Columbia(不列颠哥伦比亚大学)
本文通过数学模型和实验证明,下一词预测的优化过程隐式地通过奇异值分解组织语义结构,形成从宽泛到细粒度的层级,并据此提出基于象限的聚类方法以识别可解释的语义类别。
2025-10-08 cs.CL
SUN: Shared Use of Next-token Prediction for Efficient Multi-LLM Disaggregated Serving
Department of XXX, University of YYY, Location, Country(XXX系,YYY大学,地点,国家);School of ZZZ, Institute of WWW, Location, Country(ZZZ学院,WWW研究所,地点,国家)
SUN通过共享解码模块提升多LLM服务效率,实现高吞吐量与低TPOT,支持低精度解码。
2026-03-03 cs.AI cs.LG
Differentially Private Next-Token Prediction of Large Language Models
University of Southern California(南加州大学)
针对DP-SGD在黑盒场景下高估对手能力的问题,提出模型无关的私有预测协议PMixED,利用下一词元采样的随机性和公共模型实现差分隐私,在隐私预算ε=8下优于DP-SGD。
2024-04-26 cs.CL cs.CR cs.LG
Genomic Next-Token Predictors are In-Context Learners
Department of Computer Science, Johns Hopkins University(约翰霍普金斯大学计算机科学系)
研究探讨基因组序列中是否能像语言模型一样通过大规模预测训练自发产生上下文学习能力,发现基因组模型在模式归纳中表现出对数线性增益。
2026-03-17 cs.AI cs.LG q-bio.GN
Multimodal Latent Language Modeling with Next-Token Diffusion
Microsoft Research(微软研究院);Tsinghua University(清华大学)
针对多模态生成需统一处理离散与连续数据的问题,本研究提出LatentLM,结合VAE、下一词元扩散及σ-VAE,在图像生成、多模态大模型集成、语音合成等任务上实现更优性能与可扩展性。
2024-12-11 cs.CL cs.CV cs.LG
LLM Pretraining with Continuous Concepts
FAIR at Meta(Meta FAIR研究院);KAIST(韩国科学技术院);UC San Diego(加州大学圣迭戈分校)
针对大语言模型预训练的下一个token预测目标,提出连续概念混合(CoCoMix)框架,结合离散token预测与连续概念,提升样本效率,在多基准上优于现有方法,并增强可解释性与可引导性。
2025-02-12 cs.CL cs.LG
Reinforced Fast Weights via Next-Sequence Prediction
REFINE通过强化学习框架在下序列预测目标下训练快速权重模型,提升长上下文建模性能。
2026-10-28 cs.CL