LOCKS: Page-Local Compact Key Summaries for Efficient Long-Context Decoding
研究针对长上下文解码中KV缓存瓶颈问题，提出LOCKS方法，为页面提供局部紧凑键摘要，通过重建对数its、估计注意力质量等操作，仅关注顶部页面，在多种任务中表现出色，显著降低解码延迟。
2026-09-30 cs.AI cs.LG
Relative Generalization Invariance of LLM Pretraining
本研究提出相对泛化不变性（RGI），发现优化器和架构变化仅引起token级损失的均匀偏移，而数据流改变会显著影响相对泛化，为区分LLM预训练各组件作用提供新视角。
2026-09-29 cs.AI cs.LG
Retrieval Capabilities of Large Language Models Scale with Pretraining FLOPs
Databricks Mosaic Research（Databricks Mosaic研究）
针对检索性能与预训练FLOPs的扩展关系问题，通过测试不同参数和数据规模的LLM，发现其零样本BEIR检索性能随模型规模等指标可预测扩展，且上下文学习分数与检索分数强相关，为LLM检索器开发提供参考。
2025-08-24 cs.AI cs.IR cs.LG
Benchmarking Large Language Models for News Summarization
大语言模型（LLM）已经显示出自动摘要的前景，但其成功背后的原因却知之甚少。通过对不同预训练方法、提示和模型尺度的10个LLM进行人工评估，我们得出了两个重要的观察结果。首先，我们发现指令微调，而不是模型大小，是LLM的zero-shot总结能力的关键。其次，现有的研究受到低质量参考文献的限制，导致低估了人类的表现，以及较低的Few-Shot和微调性能。为了更好地评估LLM，我们对我们从自由撰稿人那里收集的高质量摘要进行了人工评估。尽管主要的文体差异，如释义量，我们发现，LMM摘要被判断为与人类的书面摘要。
2023-01-31 cs.AI cs.CL cs.LG
Nemotron-CC-Math: A 133 Billion-Token-Scale High Quality Math Pretraining Dataset
NVIDIA（英伟达）；Boston University（波士顿大学）
本文提出Nemotron-CC-Math，通过布局感知渲染与LLM清洗的流水线从Common Crawl中鲁棒提取数学内容，构建了133B token的高质量数学预训练语料库，在数学与代码推理任务上显著超越现有开放数据集。
2025-08-20 cs.AI cs.CL cs.LG
SOAP, Muon, and Beyond: Pushing LLM Pretraining Scales
NVIDIA（英伟达）
研究针对高阶优化器在大规模语言模型预训练中的挑战，通过改进预处理梯度方法、统一实证研究不同优化器、引入分层分布式优化器及系统级改进，提升训练效果，最终发布含新兴优化算法的代码库。
2026-07-24 cs.AI cs.LG
IDEA Prune: An Integrated Enlarge-and-Prune Pipeline in Generative Language Model Pretraining
Apple Inc.（苹果公司）；Georgia Institute of Technology（佐治亚理工学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出IDEA Prune一体化先扩后剪流水线，在单一余弦退火调度下结合扩增模型训练、剪枝与恢复，并引入迭代式结构化剪枝方法，在2.8B压缩至1.3B的预训练实验中验证了其令牌效率和剪枝模型性能优势。
2025-03-07 cs.AI cs.CL cs.LG
Large Language Models for Token-Efficient and Semantic-Preserving Opinion Summarization
University of Calabria（卡拉布里亚大学）
研究如何在大语言模型进行观点摘要时保留语义并减少令牌使用，结合多维分类与分层抽样策略选择观点子集，定制提示生成摘要，实验证明该方法能降本增效，优于传统和标准大语言模型摘要基线。
2026-07-14 cs.AI cs.CL cs.LG
Evaluating the Factuality of Zero-shot Summarizers Across Varied Domains
Northeastern University（东北大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究评估零样本摘要器在生物医学和法律等专业领域的事实性，通过专家标注错误并分析预训练语料领域普遍性的影响，发布标注数据集以促进事实准确摘要研究。
2024-02-05 cs.AI cs.CL cs.LG
Scaling Domain Data Repetition in LLM Pretraining
Tsinghua University（清华大学）
本文研究LLM预训练中领域数据重复的权衡，发现最优重复次数与模型规模弱相关、与领域验证损失强负相关，小代理模型的重复次数可用于估计大模型的情况。
2026-08-17 cs.AI
Learning Faster with Better Tokens: Parameter-Efficient Vocabulary Adaptation for Specialized Text Summarization
Dept. of Computer Science and Engg., IIT Kharagpur（印度Kharagpur理工学院计算机科学与工程系）；Dept. of Medicine (Biomedical Informatics), Stanford University（斯坦福大学医学院（生物医学信息学））
本文提出了一种参数高效的领域适应方法，通过结合词汇适应和预训练，提升大型语言模型在专业领域文本摘要任务中的性能，同时减少训练时间和参数数量。
2026-05-17 cs.AI cs.CL
IHUBERT: Vector-Based Semantic Deduplication and Domain-Balanced Pretraining for Persian Resources
Department of Artificial Intelligence and Cognitive Science, Imam Hossein Comprehensive University（人工智能与认知科学系，伊玛目·侯赛因综合大学）
提出IHUBERT，一个基于RoBERTa-base的波斯语预训练模型，通过多阶段预处理（包括基于向量数据库的语义去重和领域平衡）在45GB语料上训练，在多项NLU任务上取得领先结果，尤其抽取式问答表现突出。
2026-06-19 cs.AI cs.CL
InstructRetro: Instruction Tuning post Retrieval-Augmented Pretraining
NVIDIA（英伟达）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
本文提出Retro 48B，通过检索增强预训练大规模语言模型，并在指令微调后显著提升零样本任务性能，展示了检索预训练在增强GPT解码器方面的潜力。
2024-05-29 cs.AI cs.CL cs.IR
MASS: Mathematical Data Selection via Skill Graphs for Pretraining Large Language Models
University of Connecticut, USA（美国康涅狄格大学）；University of Notre Dame, USA（美国诺丁汉大学）
本文提出MASS框架，通过构建数学技能图对预训练数据进行质量评分与子集选择，在减少50%-70%训练token的同时使模型性能提升3.3%-5.9%。
2025-07-06 cs.AI cs.CL
Scaling LLM Pre-training with Vocabulary Curriculum
Temu（特木科技）
本文提出词汇表课程学习，通过熵引导的词汇扩展与模型优化交替，实现对数线性扩展增益，提升GPT预训练效率，并验证了动态分词的有效性。
2025-02-25 cs.AI cs.CL
Chinese Tiny LLM: Pretraining a Chinese-Centric Large Language Model
Multimodal Art Projection Research Community（多模态艺术投影研究社区）；HKUST（香港科技大学）；Fudan University（复旦大学）；Peking University（北京大学）；Shanghai Jiaotong University（上海交通大学）；Nanjing University（南京大学）；University of Waterloo（滑铁卢大学）；Vector Institute（矢量研究所）
本文提出从零开始、以中文数据为核心预训练的2B模型CT-LLM，使用1.2万亿token语料，在中文任务上表现优异，并开源完整训练流程以推动多语言LLM发展。
2024-09-13 cs.AI cs.CL
Chain of Summaries: Summarization Through Iterative Questioning
Slovak Technical University（斯洛伐克技术大学）；University of Southern Denmark（南部丹麦大学）
通过迭代提问生成摘要，CoS在多个数据集上超越现有方法，提供更高效的信息摘要。
2026-02-16 cs.AI cs.CL
Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review
Google（谷歌公司）
提出 LFR 动态训练范式，通过跟踪学习进度优先复习易遗忘数据，在仅用极少量训练 token 的条件下显著提升 LLM 预训练效率与模型性能。
2025-01-28 cs.AI cs.CL
Optimizing Pretraining Data Mixtures with LLM-Estimated Utility
Meta AI；Stanford University（斯坦福大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出UtiliMax和MEDU两种方法，利用LLM估计数据效用优化预训练数据混合，实现高达10.6倍加速和约200倍计算缩减，建立鲁棒且计算高效的数据混合框架。
2025-01-23 cs.AI cs.CL
WRAP++: Web discoveRy Amplified Pretraining
WRAP++通过发现跨文档关系增强事实关联上下文，生成跨文档问答数据，提升模型在SimpleQA上的表现。
2026-04-09 cs.AI cs.CL
A Compact Pretraining Approach for Neural Language Models
University of Arizona（亚利桑那大学）；Harvard Medical School（哈佛医学院）
大型神经语言模型（NLM）的领域自适应在预训练阶段与大量非结构化数据相结合。然而，在这项研究中，我们表明，预训练的NLM从集中在域中的关键信息的数据的紧凑子集中更有效，更快地学习域中的信息。我们使用抽象摘要和提取关键字的组合从非结构化数据构建这些紧凑的子集。特别是，我们依靠BART来生成抽象摘要，KeyBERT从这些摘要中提取关键字（或直接从原始的非结构化文本中提取）。我们使用六种不同的设置来评估我们的方法：三个数据集与两个不同的NLM相结合。我们的研究结果表明，在使用我们的方法预训练的NLM上训练的特定任务分类器优于基于传统预训练的方法，即，对整个数据进行随机掩蔽，以及没有预训练的方法。此外，我们表明，与普通预训练相比，我们的策略将预训练时间减少了五倍。我们所有实验的代码都可以在https://github.com/shahriargolchin/compact-pretraining上公开获得。
2022-08-29 cs.CL cs.LG
Next-token pretraining implies in-context learning
Simplex（简单公司）；Astera Institute（Astera研究所）
我们认为，上下文学习（ICL）可预见地产生于标准的自我监督下一个令牌预训练，而不是一个外来的新兴属性。这项工作建立了这种出现的基本原则，重点是在分布ICL，演示模型如何必须适应上下文时，训练令牌序列，特别是从非遍历来源。我们的信息理论框架精确地预测了这些分布中的ICL动态（即，上下文相关的损失减少）。我们使用不同类型的相关结构的合成数据集的实验验证了这一点，再现特征现象，如诱导头形成和幂律缩放的上下文损失的训练损失中的相变。我们进一步表明，模型在任何任务上的上下文表现在数学上与预训练中看到的任务集合相耦合，为这种推理时间学习提供了一个基本的解释，该解释基于架构和模态独立的原则。
2025-07-13 cs.AI cs.LG
EMG-GPT: Predictive Pretraining on Residual-Quantized EMG Tokens for Hand Pose Estimation
Imperial College London（帝国理工学院）
本文提出EMG-GPT，一种基于因果Transformer的模型，利用残差量化sEMG令牌进行自监督预训练，通过深度自回归未来代码预测学习时间动态，在手部姿态估计的回归和跟踪任务中取得竞争性结果，验证了仅EMG预训练的有效性。
2026-10-06 cs.AI cs.LG
Decoupling Token Roles in Autoregressive Pretraining
University of Sydney（悉尼大学）；University of Oxford（牛津大学）；Southeast University（东南大学）
本研究通过受控破坏解耦自回归预训练中令牌的预测目标与上下文角色，发现易预测性降低目标损害却增加上下文损害，并据此解释生成文本机制，提出需解耦角色以理解模型学习。
2026-09-29 cs.AI cs.CL cs.LG
Synthetic Persona Pretraining: Alignment from Token Zero
EPFL（洛桑联邦理工学院）；University of Toronto（多伦多大学）；Northeastern University（东北大学）；SJTU（上海交通大学）；Saarland University（萨尔大学）；Hereon（亥姆霍兹极地与海洋研究中心）；TUHH（汉堡工业大学）；Ontocord AI（Ontocord人工智能公司）；TUC（德累斯顿工业大学）；DFKI（德国人工智能研究中心）
该研究提出合成角色预训练（SPP），在预训练token零阶段植入助手角色，通过标注反思、预训练及角色绑定，提升模型价值构成遵循度与鲁棒性，降低对齐错误率，证明预训练时角色干预是对齐的有效方法。
2026-08-14 cs.AI cs.CL cs.LG
Token Dropping for Efficient BERT Pretraining
Google（谷歌）；New York University（纽约大学）；University of Maryland, College Park（马里兰大学帕克分校）
基于转换器的模型通常为给定序列中的每个令牌分配相同的计算量。我们开发了一种简单但有效的“令牌丢弃”方法来加速Transformer模型（如BERT）的预训练，而不会降低其在下游任务上的性能。简而言之，我们从模型的中间层开始丢弃不重要的标记，使模型专注于重要的标记;丢弃的标记稍后由模型的最后一层拾取，以便模型仍然产生全长序列。我们利用已经内置的掩码语言建模（MLM）损失来识别不重要的令牌，几乎没有计算开销。在我们的实验中，这种简单的方法将BERT的预训练成本降低了25%，同时在标准下游任务上实现了类似的整体微调性能。
2022-03-24 cs.CL cs.LG
Point-RTD: Replaced Token Denoising for Pretraining Transformer Models on Point Clouds
Department of Computer Science；Engineering, University of Nevada, Reno, USA
本文提出Point-RTD预训练策略，通过损坏-重建和判别器-生成器架构对点云Token进行去噪，在ShapeNet等基准上显著优于Point-MAE，重建误差降低93%以上，分类准确率更高且收敛更快。
2025-09-21 cs.AI cs.CV cs.LG
Frustratingly Simple Pretraining Alternatives to Masked Language Modeling
Hitachi, Ltd.（日立制作所）；University of Sheffield（谢菲尔德大学）
掩蔽语言模型（MLM）是一种自监督的预训练目标，广泛应用于自然语言处理中学习文本表示。MLM训练一个模型来预测输入标记的随机样本，这些标记在整个词汇表的多类设置中被[MASK]占位符替换。在预训练时，通常在标记或序列级别上使用MLM其他辅助目标来提高下游性能（例如下一句预测）。然而，到目前为止，还没有以前的工作试图在检查是否其他简单的语言直观的目标可以单独作为主要的预训练目标。在本文中，我们探索了五个简单的预训练目标的基础上标记级分类任务的MLM的替代品。在GLUE和SQuAD上的实验结果表明，我们提出的方法使用BERT-BASE架构实现了与MLM相当或更好的性能。我们使用更小的模型进一步验证了我们的方法，结果表明，使用BERT-BASE的41%参数预训练模型，BERT-MEDIUM只会导致我们最好目标的GLUE分数下降1%。
2021-09-04 cs.AI cs.CL cs.LG
Generating Pretraining Tokens from Organic Data for Data-Bound Scaling
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
本文提出SynPro框架，通过重新表述和重新格式化操作，帮助大语言模型更充分地利用有限的有机数据，从而在数据驱动的预训练中实现更高效的扩展。
2026-09-09 cs.AI cs.CL cs.LG
Bridging Compute- and Data-Optimal Pretraining
Harvard University（哈佛大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
研究针对计算增长快于高质量数据可用性的问题，提出计算-数据（CD）缩放定律框架，通过引入令牌有效性函数η拟合数据扩展策略，划分训练操作模式，指出经典计算最优分配在多数实际设置下次优。
2026-07-29 cs.AI cs.LG cs.PF
Logic Before Language: Pre-pretraining on Formal Derivations Fosters Skill Acquisition and Compressibility
该研究提出Logic-PPT策略，通过形式推导预预训练语言模型，可加速技能获取、提升性能，还能增强模型可压缩性，在少用36B token时达80%准确率，33%稀疏度下匹配密集基线性能。
2026-08-05 cs.AI cs.CL cs.LG
LLM Pretraining with Continuous Concepts
FAIR at Meta（Meta FAIR研究院）；KAIST（韩国科学技术院）；UC San Diego（加州大学圣迭戈分校）
针对大语言模型预训练的下一个token预测目标，提出连续概念混合（CoCoMix）框架，结合离散token预测与连续概念，提升样本效率，在多基准上优于现有方法，并增强可解释性与可引导性。
2025-02-12 cs.CL cs.LG
Shaping capabilities with token-level data filtering
通过令牌级数据过滤在预训练过程中有效减少语言模型的不期望能力，提升模型在特定领域的性能与对齐性。
2026-01-30 cs.AI cs.CL cs.LG
MathPile: A Billion-Token-Scale Pretraining Corpus for Math
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Nanjing University of Science and Technology（南京理工大学）
本研究推出包含约95亿token的高质量数学核心预训练语料库MathPile，经多流程数据处理与污染检测，通过持续预训练提升了数学推理基准性能，并开源相关资源以推动领域发展。
2024-10-29 cs.AI cs.CL cs.LG
X-Tokenizer: A Multimodal Action Tokenizer for Vision-Language-Action Pretraining
Square Robot；City University of Hong Kong（香港城市大学）；Tsinghua University（清华大学）
提出X-Tokenizer，通过语义残差量化（SRQ）和掩码动作建模（MAM）将动作离散化为语义接口，在2.4M轨迹上预训练后提升VLA模型的多模态接地和长程任务性能。
2026-06-16 cs.AI cs.CV cs.LG
Scale-Aware Pretraining of Time Series Foundation Models via Multi-Patch Token Alignment and Hybrid Masking
School of Software, Shandong University（山东大学软件学院）；Joint SDU–NTU Centre for Artificial Intelligence Research (C-FAIR), Shandong University（山东大学-南洋理工大学人工智能联合研究中心（C-FAIR））；Nanyang Technological University（南洋理工大学）
本文针对时间序列基础模型预训练中处理不同采样频率的问题，提出SATS方法，通过尺度感知令牌对齐与混合掩码策略实现最优性能，同时提升模型效率。
2026-08-21 cs.LG
ESLM: Risk-Averse Selective Language Modeling for Efficient Pretraining
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；LIONS, EPFL（EPFL 系统研究所）；AGI Foundations, Amazon（人工智能基础，亚马逊）
提出ESLM，一种通过在线令牌级风险价值阈值选择实现高效预训练的风险规避算法，显著降低训练FLOPs并保持性能。
2026-09-22 cs.CL cs.LG
Multipole Semantic Attention: A Fast Approximation of Softmax Attention for Pretraining
TU Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心）
提出多极语义注意力（MuSe），通过对查询和键分别聚类实现查询特定的摘要，在64k上下文预训练中加速36%且保持损失不变，无需架构修改，兼容现有预训练模型。
2026-07-01 cs.LG
The Data Efficiency Frontier of Financial Foundation Models: Scaling Laws from Continued Pretraining
Johns Hopkins University（约翰霍普金斯大学）
本文研究了金融基础模型在持续预训练中的数据效率，发现通过较小的词预算可实现有效的领域适应，且大模型规模仍具可行性。
2025-12-13 cs.CL cs.LG
RLP: Reinforcement as a Pretraining Objective
NVIDIA（英伟达）；Carnegie Mellon University（卡内基梅隆大学）；Boston University（波士顿大学）；Stanford University（斯坦福大学）
RLP通过将强化学习的探索精神引入预训练阶段，提升模型在数学和科学任务中的推理能力。
2026-03-01 cs.AI cs.CL cs.LG
COCO-LM: Correcting and Contrasting Text Sequences for Language Model Pretraining
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft（微软）
我们提出了一个自监督学习框架COCO-LM，它通过校正和对比损坏的文本序列来预训练语言模型。COCO-LM遵循ELECTRA风格的预训练，使用辅助语言模型来破坏文本序列，并在此基础上构造两个新的任务来预训练主模型。第一个标记级任务，纠正语言建模，是检测和纠正被辅助模型替换的标记，以便更好地捕获标记级语义。第二个序列级任务，序列对比学习，是对齐来自相同源输入的文本序列，同时确保表示空间中的一致性。在GLUE和SQuAD上的实验表明，COCO-LM不仅在精度上优于最新的预训练模型，而且还提高了预训练效率。它实现了ELECTRA的MNLI精度，其预训练GPU小时数为50%。通过与标准基础/大尺寸模型相同的预训练步骤，COCO-LM的表现比之前的最佳模型高出1+ GLUE平均分。
2021-10-27 cs.CL cs.LG
TOLiD: Bridging the Architecture Gap in Vision Foundation Model to LiDAR Pretraining via Token Lifting for Distillation
SAIVT Group, School of Electrical Engineering and Robotics, Queensland University of Technology（澳大利亚昆士兰科技大学电气工程与机器人学院SAIVT组）；CSIRO Robotics, CSIRO（澳大利亚联邦科学与工业研究组织机器人部）
研究提出TOLiD方法，通过耦合激光雷达主干与从冻结VFM教师初始化的学生ViT，利用视锥体池化、注意力及掩码双线性采样等技术，解决模态和架构差距问题，在多数据集上评估显示能提升迁移效果。
2026-07-14 cs.CV cs.LG cs.RO
From Token to Rhythm: A Multi-Scale Approach for ECG-Language Pretraining
School of Computing and Data Science, The University of Hong Kong, Hong Kong SAR, China（计算与数据科学学院，香港大学，香港特别行政区，中国）
本文提出多尺度ECG-语言预训练模型MELP，通过token、心跳和节律三个层级的跨模态监督对齐ECG信号与文本，有效学习泛化表征，在零样本分类等任务上优于现有自监督方法。
2025-06-11 cs.AI cs.LG eess.SP
Ember: A Kilobyte-State Optimizer for Token Interfaces
发现嵌入表和LM头的梯度几何特性，提出轻量优化器Ember，在微调、强化学习和预训练中提升帕累托前沿，仅需KB级优化器状态。
2026-10-14 cs.AI cs.LG
Uniform Masking Prevails in Vision-Language Pretraining
Meta；University of Montreal（蒙特利尔大学）；Mila（米拉（Mila）人工智能研究所）
Masked Language Modeling（MLM）已被证明是视觉语言（VL）预训练的重要组成部分。为了实现MLM，研究人员必须做出两个设计选择：掩蔽策略，它决定了要掩蔽哪些令牌，以及掩蔽率，它决定了要掩蔽多少令牌。以前的工作主要集中在掩蔽策略，同时将掩蔽率设置为默认值15%。在本文中，我们表明，增加这个掩蔽率提高下游的性能，同时减少不同的掩蔽策略之间的性能差距，使均匀的掩蔽策略的竞争力，其他更复杂的。令人惊讶的是，我们还发现，提高掩蔽率会导致图像-文本匹配（ITM）任务的收益，这表明MLM的作用超出了VL预训练中的语言建模。
2022-12-10 cs.LG
Pretraining Language Models with Subword Regularization: An Empirical Study of BPE Dropout in Low-Resource NLP
Department of Computer Science, Stellenbosch University（斯瓦茨堡大学计算机科学系）
本文研究了在低资源NLP中预训练时应用BPE Dropout对下游性能的影响，发现随机分词在预训练和微调时均优于仅在微调时应用，尤其在数据较少时表现更佳。
2026-05-13 cs.CL cs.LG
Format-Aware Fusion for Fast FP4 Pretraining
提出格式感知融合方法，协同设计量化生产者与缩放域和消费者布局，在FP4预训练中实现高达37.9K tokens/s/GPU的速度，同时保持接近bfloat16的训练损失。
2026-10-02 cs.LG
Sequence Composition in EHR Foundation Model Pretraining
Imperial College London（帝国理工学院）
该研究针对 EHR 基础模型预训练的序列构成问题，提出替代方法，在 MIMIC-IV 等数据集的临床预测任务上提升了多项指标，且无需改模型或增数据。
2026-10-14 cs.LG
Token Distillation: Attention-aware Input Embeddings For New Tokens
Hasso Plattner Institute ELLIS Unit（波茨坦大学哈索普兰特纳研究所ELLIS单位）；University of Copenhagen ELLIS Unit（哥本哈根大学ELLIS单位）
本文提出令牌蒸馏方法，通过蒸馏原始分词获得的表示快速学习高质量新令牌嵌入，实验表明其优于现有基线。
2026-03-13 cs.CL cs.LG
Towards Pretraining Text Encoders for TabPFN
University of California, Berkeley（加州大学伯克利分校）；DeepMind（深度思维）
提出TabPFN文本适配器，通过轻量级适配器将文本嵌入映射到TabPFN的嵌入空间，避免PCA瓶颈，保留TabPFN数值优势，训练效率更高。
2026-06-03 cs.LG
Multi-Token Prediction Needs Registers
Archimedes, Athena Research Center University of Crete（阿基米德，亚特兰蒂斯研究中心，克里特大学）；IACM-Forth（IACM-福蒂）
针对多 token 预测在微调中收益不稳的问题，本文提出 MuToR，通过交错可学习寄存器 token 预测未来目标，以极小额外参数兼容现有语言模型，并在语言与视觉任务的多种训练设置中验证有效。
2025-05-15 cs.AI cs.CL cs.CV
Between Circuits and Chomsky: Pre-pretraining on Formal Languages Imparts Linguistic Biases
Center for Data Science（数据科学中心）；Department of Linguistics（语言学系）
本研究通过预预训练实验发现，捕捉层级依赖且处于架构计算限制内的形式语言能提升语言模型对自然语言的泛化，且以更小token预算实现同等损失，并揭示注意力头迁移的机制证据。
2025-05-27 cs.AI cs.CL cs.LG
Demystifying Training-Time Augmentation for Data-Constrained Language Model Pretraining
UC San Diego（加州大学圣地亚哥分校）；RMIT University（皇家墨尔本理工大学）
针对数据受限下标准自回归预训练严重过拟合的问题，提出三类数据增强方法（token级噪声、序列排列、目标偏移预测），有效降低验证损失并支持数百epoch训练。
2026-08-20 cs.AI cs.CL cs.LG
Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior
University of Sheffield（谢菲尔德大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Hugging Face；National Institute of Informatics（国立情报学研究所）；University of Exeter（埃克塞特大学）；Federal University of Rio Grande do Norte（北里奥格兰德联邦大学）
本研究系统验证了合成预预训练（PPT）在更大规模（至70亿参数、1000亿令牌）下仍能提升下游性能与令牌效率，但收益并非源于语法先验，而是来自改善长程检索的PPT任务，且对数据混合组成具有鲁棒性。
2026-10-01 cs.AI cs.CL cs.LG
