Pretraining Without Attention
Cornell（康奈尔大学）；DeepMind（深度思维）
本文提出 BiGS 模型，结合状态空间模型与乘法门控架构，在不使用注意力的情况下匹配 BERT 在 GLUE 上的预训练准确率，并支持长序列预训练。
2023-05-09 cs.CL cs.LG
Confronting LLMs with Traditional ML: Rethinking the Fairness of Large Language Models in Tabular Classifications
Harvard University（哈佛大学）；UiT The Arctic University of Norway（挪威北极大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文通过实验考察LLM在表格分类中的信息利用与社会偏见，发现其偏见源于预训练语料且公平性差距大于传统ML，而翻转上下文示例标签可显著缓解偏见。
2024-04-02 cs.CL cs.LG
Injecting structural hints: Using language models to study inductive biases in language learning
Stanford University（斯坦福大学）
本文通过向transformer语言模型注入递归层级处理、非上下文无关交叉关系和Zipfian词汇分布三种归纳偏置，发现非上下文无关关系是最佳归纳偏置，为理解人类与机器的语言学习机制提供了新假设。
2023-10-29 cs.CL
The Illusion of Replacement: Rethinking Specialized Machine Learning Models in the Foundation Model Era
本文通过分析159篇跨9种模态的论文，发现基础模型时代专用机器学习模型未被替代，语言模型需补充结构组件，其与结构感知架构的性能差距能否消除仍待验证。
2026-09-30 cs.AI cs.CL cs.LG
Rethinking Dense Linear Transformations: Stagewise Pairwise Mixing (SPM) for Near-Linear Training in Neural Networks
SP Cloud & Technologies Inc（SP云与技术公司）
本文提出SPM方法，通过分阶段成对混合替代密集线性层，实现近线性训练，提升模型泛化能力并减少计算成本。
2025-12-30 cs.LG
Pretraining Data Mixtures Enable Narrow Model Selection Capabilities in Transformer Models
Google DeepMind（谷歌DeepMind）
本文通过受控的 $(x, f(x))$ 序列实验表明，Transformer 的上下文模型选择能力高度依赖预训练数据覆盖，域外任务会导致明显失败。
2023-11-01 cs.CL cs.LG stat.ML
Verb-ICL: Rethinking In-Context Learning for Structured Prediction
Johns Hopkins University（约翰斯·霍普金斯大学）；Optum（奥普特姆）
针对结构化预测中上下文学习难以捕捉词元级模式及任务特定标注的问题，提出Verb-ICL选择性标注框架，通过词元级覆盖选择示例并生成错误反馈，在六个数据集上优于基线。
2026-10-06 cs.CL
Learning Language Representations with Logical Inductive Bias
Tencent AI Lab（腾讯人工智能实验室）
Transformer架构在解决自然语言任务方面取得了巨大的成功，这些任务从大规模未标记的文本中学习强语言表示。在本文中，我们寻求更进一步，探索一个新的逻辑归纳偏见，更好的语言表示学习。逻辑推理是从已知的知识和事实中得出答案的一种形式化方法。受这种观点的启发，我们开发了一种名为FOLNet（一阶逻辑网络）的新型神经架构，以编码这种新的归纳偏差。我们构建了一组神经逻辑运算符作为可学习的Horn子句，这些子句进一步被前向链接到完全可微的神经架构（FOLNet）中。有趣的是，我们发现Transformers中的自我注意模块可以由我们的两个神经逻辑运算符组成，这可能解释了它们强大的推理性能。我们提出的FOLNet具有与其他预训练模型相同的输入和输出接口，因此可以通过使用类似的损失进行预训练/微调。它还允许在替换其他预训练模型时以即插即用的方式使用FOLNet。由于我们的逻辑归纳偏见，通过预训练学习的同一套“逻辑推理技能”预计同样能够解决不同的下游任务。出于这个原因，FOLNet学习具有更强迁移能力的语言表示。几个语言理解任务的实验结果表明，我们的预训练的FOLNet模型优于现有的强转换为基础的方法。
2023-02-19 cs.CL cs.LG cs.LO
How Do Decoder-Only LLMs Perceive Users? Rethinking Attention Masking for User Representation Learning
East China Normal University（华东师范大学）
本研究提出梯度引导的软掩码方法，用于改进解码器-only LLMs在用户表示学习中的训练动态和双向表示质量。
2026-02-11 cs.CL
Freeze, Share, Shrink: Rethinking the Action Backbone in Diffusion Policies
本文提出解耦训练方法，将任务知识限制在条件路径中，使动作主干网络无任务依赖，通过Diffusion Policy验证，证明动作专家编码较少任务特定知识。
2026-09-15 cs.AI cs.LG cs.RO
Rethinking Text-based Protein Understanding: Retrieval or LLM?
Peking University, Shenzhen Graduate School（北京大学深圳研究生院）；International Digital Economy Academy (IDEA)（国际数字经济学院）
本文揭示现有蛋白质-文本基准存在数据泄漏和评估指标不适配问题，提出基于生物实体的新评估框架及检索增强方法，在蛋白质到文本生成上优于微调大语言模型且支持免训练场景。
2025-11-10 cs.AI cs.CL
What do Large Language Models Learn beyond Language?
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
大语言模型（LMs）已迅速成为自然语言处理的中流砥柱。众所周知，这些模型可以从大量文本的训练中获得丰富的语言知识。在本文中，我们调查了文本的预训练是否也赋予这些模型对非语言推理有帮助的“归纳偏见”。在一组19个不同的非语言任务，涉及定量计算，识别正则表达式和字符串推理。我们发现，预训练的模型显著优于可比的非预训练神经模型。这在用较少参数训练非预训练模型的实验中也是如此，以考虑模型正则化效应。我们进一步探索文本域对LM的影响，从不同领域和出处的文本预训练模型。我们的实验令人惊讶地发现，即使对多语言文本或计算机代码进行预训练，甚至对合成语言生成的文本进行预训练，预训练的积极效果也会持续存在。我们的研究结果表明，在语言模型的预训练和归纳学习能力之间存在着一种尚未探索的深层联系。
2022-10-21 cs.CL
Rethinking the Role of LLMs in Time Series Forecasting
Ningbo Key Laboratory of Spatial Intelligence（空间智能 Ningbo 关键实验室）；Digital Derivative, Institute of Digital Twin, Eastern Institute of Technology, Ningbo（数字衍生，数字孪生研究所，东部技术研究所，Ningbo）；Zhejiang University（浙江大学）
本文研究了LLMs在时间序列预测中的作用，发现其在跨域泛化和复杂动态建模中表现优异，提供了有效模型设计的指导。
2026-03-02 cs.CL
CapsFusion: Rethinking Image-Text Data at Scale
Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
针对合成图像描述导致的可扩展性不足与世界知识丢失，本文提出 CapsFusion，用 LLM 融合精炼网络图文对与合成描述，显著提升性能、样本效率和可扩展性。
2024-04-05 cs.AI cs.CL cs.CV
Rethinking Weight Tying: Pseudo-Inverse Tying for LM Stable Training and Updates
Monash University（墨尔本大学）；Technical University of Munich（慕尼黑技术大学）；Chongqing University（重庆大学）
本文提出伪逆绑定方法，通过同步嵌入和解嵌入作为共享的潜在令牌记忆的耦合投影，提升语言模型训练稳定性与接口一致性，同时改善可解释性探查。
2026-05-08 cs.CL cs.LG
LLM as Prompter: Low-resource Inductive Reasoning on Arbitrary Knowledge Graphs
Nanyang Technological University（南洋理工大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对知识图谱低资源归纳推理难题，提出利用LLM生成图结构提示增强预训练GNN的ProLINK框架，无需额外训练即可适配任意KG，在多类低资源任务上显著优于现有方法且鲁棒性强。
2024-06-19 cs.AI cs.CL cs.SI
Efficient Stagewise Pretraining via Progressive Subnetworks
Princeton University（普林斯顿大学）；Google Research（谷歌研究院）
本文提出渐进式子网络训练框架及其实例RAPTR，通过逐步增加随机子网络规模进行分阶段预训练，在理论上修复了层丢弃问题，并在BERT和UL2上实现最高33%的训练加速及1.5%的下游性能提升。
2024-10-13 cs.CL cs.LG
Procedural Pretraining for Molecular Property Prediction
University of Oxford（牛津大学）；Adelaide University（阿德莱德大学）；Slater Labs（斯莱特实验室）
本研究提出程序化预训练三阶段流程，通过抽象程序化数据学习归纳偏置，在分子性质预测中显著提升性能，尤其在数据稀缺时效果最佳。
2026-09-17 cs.AI cs.LG
In-Context Learning through the Bayesian Prism
Microsoft Research India（微软研究院印度分院）；University of Washington（华盛顿大学）
本研究从贝叶斯视角探究大模型上下文学习机制，提出分层元ICL设置，验证高容量Transformer在可推断场景下模拟贝叶斯预测器，同时发现其能泛化到预训练未见函数族并分析偏差。
2024-04-14 cs.CL cs.LG
SURGELLM: Rethinking Multi-Task Evaluation through Task-Aware Feature Gating with Class-Balanced Normalization
Istanbul Technical University（伊斯坦布尔理工大学）
针对异构NLP任务中归纳偏置不匹配、类别不平衡和缺乏外部词汇知识的问题，提出统一Transformer框架SURGELLM，包含手术特征门控、任务条件前缀令牌和实例加权归一化，在四个任务上平均F1提升0.036。
2026-10-27 cs.AI cs.CL
LoKiFormer: Locality-aware Attention with Decoupled Knowledge Memory for Efficient Large Language Model Pretraining
AIGCode；South China University of Technology（华南理工大学）；Pazhou Laboratory（琶洲实验室）
针对LLM预训练效率问题，提出含局部融合注意力与知识记忆模块的LoKiFormer，使预训练收敛速度提升1.33倍，性能优于现有架构。
2026-08-14 cs.LG
Rethinking Dense Sequential Chains: Reasoning Language Models Can Extract Answers from Sparse, Order-Shuffling Chain-of-Thoughts
MediaTek Research（联发科技研究）；Artificial Intelligence Center of Research Excellence, National Taiwan University（台湾大学人工智能研究中心）
本文挑战了密集顺序思维链的假设，通过系统干预发现顺序不重要、信息不全且结构鲁棒，为并行化和高效推理生成开辟了新路径。
2026-05-08 cs.CL
To Adapt or not to Adapt, Rethinking the Value of Medical Knowledge-Aware Large Language Models
University of the Basque Country（巴斯克大学）
研究通过比较通用与临床LLM在多选题任务中的表现，发现临床模型在英语任务中不占优势，但在西班牙语任务中表现更好，表明现有评估框架可能不足以体现真实医疗专业知识。
2026-04-08 cs.CL
Decoupling the Benefits of Subword Tokenization for Language Model Training via Byte-level Simulation
Nous Research
本文通过字节级预训练流程解耦子词分词的影响，探讨其对训练效率和模型性能的贡献，揭示子词边界作为语言先验的重要性。
2026-05-14 cs.CL
VQGraph: Rethinking Graph Representation Space for Bridging GNNs and MLPs
Peking University（北京大学）；Stanford University（斯坦福大学）；Ant Group（蚂蚁集团）
针对现有GNN到MLP蒸馏中类别空间表达不足的问题，提出VQGraph框架，通过VQ-VAE变体学习结构感知离散码本，以软码分配为蒸馏目标迁移结构知识，实现性能与推理效率的双重提升。
2024-03-06 cs.AI cs.CV cs.LG
Transformers Pretrained on Procedural Data Contain Modular Structures for Algorithmic Reasoning
Australian Institute for Machine Learning (AIML), University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；Idiap Research Institute（伊迪亚普研究所）
本文发现不同的程序化预训练规则能在小规模Transformer中注入不同且互补的模块化归纳结构，这些结构可组合以增强多种算法推理能力，为解耦知识获取与推理提供了可能。
2025-05-28 cs.LG
Extending the Context of Pretrained LLMs by Dropping Their Positional Embeddings
Sakana AI；University of Oxford（牛津大学）
通过删除预训练语言模型的位置嵌入，实现无需长上下文微调的零样本上下文扩展，提升语言模型的泛化能力。
2025-12-13 cs.AI cs.CL
Rethinking Speech-LLM Integration for ASR: Effective Joint Speech-Text Training by Interleaving
Microsoft（微软）
提出JSTIP，一种面向ASR的预训练策略，通过构建词级和段级交错语音-文本序列，在38k小时数据上相比基线提升了实体识别准确率，并缩小了模态差距。
2026-09-22 cs.CL eess.AS
PLDR-LLM: Large Language Model from Power Law Decoder Representations
Fromthesky Research Labs LLC（弗洛姆斯基研究实验室有限责任公司）；Oregon（俄勒冈州）
本文提出PLDR-LLM，一种基于幂律图注意力机制的大语言模型，通过约80亿token预训练在零样本和少样本任务中取得与同规模模型相当的性能，并利用DAG损失度量演绎输出以改进模型表现。
2024-10-22 cs.AI cs.CL
Beyond Foundation Models: Dimension-Aware Neural Architecture Search with Small-Data Representation Models for Cryocooler Lifetime Prediction
Comtrade 360 d.o.o.（康创360有限责任公司）；Comtrade AI GmbH（康创人工智能有限公司）；LE-Tehnika d.o.o.（LE技术有限责任公司）；Alma Mater Studiorum – Università di Bologna（博洛尼亚大学）
针对工业科学领域小数据场景，提出FSD-RM范式结合NAS优化模型容量与输入维度，用于制冷机寿命预测，可在降本减复杂度的同时实现有竞争力的预测性能。
2026-08-10 cs.AI cs.LG
Train Large, Then Compress: Rethinking Model Size for Efficient Training and Inference of Transformers
UC Berkeley（加州大学伯克利分校）
由于硬件资源有限，训练深度学习模型的目标通常是在训练和推理的时间和内存约束下最大化准确性。我们研究了模型大小在这种情况下的影响，重点关注受计算限制的NLP任务的Transformer模型：自监督预训练和高资源机器翻译。我们首先表明，即使较小的Transformer模型执行更快的每次迭代，更广泛和更深入的模型收敛在显着更少的步骤。此外，这种收敛的加速通常超过使用更大模型的额外计算开销。因此，计算效率最高的训练策略是反直觉地训练非常大的模型，但在少量迭代后停止。这导致大型Transformer模型的训练效率和小型Transformer模型的推理效率之间出现明显的权衡。然而，我们表明，大型模型比小型模型更强大的压缩技术，如量化和修剪。因此，可以两全其美：高度压缩的大型模型比轻度压缩的小型模型具有更高的精度。
2020-06-23 cs.CL cs.LG
Understanding the wiring evolution in differentiable neural architecture search
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
关于可微神经结构搜索方法能否有效地发现布线拓扑存在争议。要了解如何布线拓扑结构的演变，我们研究了几个现有的可区分的NAS框架的底层机制。我们的研究是由三个观察到的搜索模式的可微NAS的动机：1）他们通过增长而不是修剪搜索; 2）更宽的网络比更深的网络更受欢迎; 3）在双层优化中没有选择边。为了剖析这些现象，我们对现有框架的搜索算法提出了一个统一的观点，将全局优化转化为局部代价最小化。在此基础上，我们进行了实证和理论分析，揭示了隐含的诱导偏差的成本的分配机制和演化动力学，导致观察到的现象。这些偏见表明对某些拓扑结构的强烈歧视。为此，我们提出的问题，未来的可区分的神经布线发现的方法需要面对的，希望引起讨论和重新思考有多少偏见已隐含在现有的NAS方法。
2021-02-25 cs.LG stat.ML
Inductive biases, pretraining and fine-tuning jointly account for brain responses to speech
Facebook AI Research（Facebook AI研究院）；Université de Paris（巴黎大学）；CoML, ENS/CNRS/EHESS/INRIA/PSL University（计算语言学实验室，巴黎高等师范学院/法国国家科学研究中心/法国社会科学高等研究院/法国国家信息与自动化研究所/巴黎文理研究大学）；CRI, Département Frontières du Vivant et de l’Apprendre, IIFR, Université de Paris（认知研究所，生命与学习前沿系，法国医学研究院，巴黎大学）；École normale supérieure, PSL University, CNRS（巴黎高等师范学院，巴黎文理研究大学，法国国家科学研究中心）
到目前为止，我们理解语音的能力仍然是深度学习模型无法比拟的。这一壮举可能是由于大脑的能力，微调通用的声音表示为语音特定的过程。为了验证这一假设，我们比较了i）五种类型的深层神经网络和ii）由口语句子引起的人脑反应，并使用功能性磁共振成像（fMRI）记录了102名荷兰受试者。每个网络要么接受声学场景分类、语音转文本任务（基于孟加拉语、英语或荷兰语）的训练，要么未接受训练。每个模型和大脑之间的相似性通过在最佳线性投影后将它们各自的激活相关联来评估。网络之间大脑相似性的差异揭示了三个主要结果。首先，大脑中的语音表征可以由随机深度网络来解释。其次，学习对声学场景进行分类会导致深度网络增加它们的大脑相似性。第三，学习处理语音相关的语音输入（即，荷兰语vs英语）导致深度网络达到比学习处理语音距离较远的语音输入（即荷兰语vs孟加拉语）更高的大脑相似性水平。总之，这些结果表明，人类大脑微调其经过严格训练的听觉层次来学习处理语音。
2021-02-25 cs.CL cs.SD eess.AS
Few-shot Relational Reasoning via Connection Subgraph Pretraining
Stanford University（斯坦福大学）
Few-Shot知识图谱（KG）完成任务旨在对KG执行归纳推理：仅给定新关系$\bowtie$的几个支持三元组（例如，(chop，$\bowtie$，kitchen），（read，$\bowtie$，library），目标是预测相同的不可见关系$\bowtie$的查询三元组，例如，（sleep，$\bowtie$，？）.当前的方法将问题投射在元学习框架中，其中模型需要首先在许多训练Few-Shot任务上进行联合训练，每个训练任务由其自身的关系定义，使得对目标Few-Shot任务的学习/预测可以是有效的。然而，在现实世界的幼儿园，策划许多培训任务是一个具有挑战性的特设过程。在这里，我们提出了连接子图推理器（CSR），它可以直接对目标Few-Shot任务进行预测，而不需要对人工策划的训练任务集进行预训练。CSR的关键是，我们显式地建模支持和查询三元组之间的共享连接子图，消除归纳法的原则的启发。为了适应特定的KG，我们设计了相应的自监督预训练方案，目标是自动重建采样的连接子图。然后，我们的预训练模型可以直接应用于目标Few-Shot任务，而不需要训练Few-Shot任务。在NELL、FB 15 K-237和ConceptNet等真实KG上的大量实验证明了该框架的有效性：我们表明，即使是无学习的CSR实现，在目标Few-Shot任务上也可以与现有方法竞争;通过预训练，CSR可以在更具挑战性…
2022-10-13 cs.AI cs.CL cs.LG
Syntactic Inductive Bias in Transformer Language Models: Especially Helpful for Low-Resource Languages?
Georgetown University（乔治城大学）
本文检验句法归纳偏置方法在五种低资源语言上的效果，发现其在低资源场景下结果不一致且多数情况下收益甚微。
2023-11-01 cs.CL
Effects of Parameter Norm Growth During Transformer Training: Inductive Bias from Gradient Descent
Allen Institute for AI（艾伦人工智能研究所）；New York University（纽约大学）；University of Washington（华盛顿大学）；Bar Ilan University（巴伊兰大学）；Hebrew University of Jerusalem（希伯来大学）
众所周知，像广泛采用的Transformer这样的神经网络的容量非常高。有证据表明，由于训练程序中的归纳偏差，它们成功地学习，通常是梯度下降（GD）的变体。为了更好地理解这种偏差，我们研究了Transformer参数在训练过程中幅度增长的趋势（$\ell_2$范数），以及它对自注意力层内的涌现表征的影响。从经验上讲，我们记录了Transformer语言模型训练中的规范增长，包括预训练期间的T5。随着参数的增长，我们证明了网络近似饱和激活函数的离散网络。已知这种“饱和”网络与可以用形式语言和自动机描述的完整网络族相比具有减小的容量。我们的研究结果表明，饱和度是一个新的表征的感应偏置隐含在GD的特别感兴趣的NLP。我们利用饱和的Transformer中涌现的离散结构来分析不同注意力头的作用，发现一些注意力集中在少数位置上，而其他注意力头计算全局平均值，允许计数。我们相信理解这两种能力之间的相互作用可能会进一步阐明大型Transformers中的计算结构。
2023-03-07 cs.CL cs.LG
Between Circuits and Chomsky: Pre-pretraining on Formal Languages Imparts Linguistic Biases
Center for Data Science（数据科学中心）；Department of Linguistics（语言学系）
本研究通过预预训练实验发现，捕捉层级依赖且处于架构计算限制内的形式语言能提升语言模型对自然语言的泛化，且以更小token预算实现同等损失，并揭示注意力头迁移的机制证据。
2025-05-27 cs.AI cs.CL cs.LG
MS-GPT: Rethinking MS/MS De Novo Structure Elucidation as Spectrum-Induced Posterior Querying of a Molecule-Language Model
ByteDance Inc.（字节跳动公司）；Shanghai Jiao Tong University（上海交通大学）
研究针对MS/MS分子结构解析问题，提出MS-GPT方法，将指纹介导的从头解析重铸为谱诱导后验查询分子语言模型，经校准、排序等操作，在NPLIB1和MassSpecGym上达新最优水平，提升召回率且增加少量推理成本。
2026-11-02 cs.CL cs.LG
On the Inductive Bias of Stacking Towards Improving Reasoning
Google Research（谷歌研究院）
本文提出渐进式堆叠变体 MIDAS，在提升训练效率最高达 40% 的同时，发现其具有增强推理能力的归纳偏置，并通过推理原语实验及与循环模型的关联分析加以验证。
2024-09-27 cs.AI cs.CL cs.LG
On the Robustness of Aspect-based Sentiment Analysis: Rethinking Model, Data, and Training
National University of Singapore（新加坡国立大学）；Sea-NExT Joint Lab（Sea-NExT联合实验室）；Wuhan University（武汉大学）
本文针对基于方面的情感分析（ABSA）在真实环境中的鲁棒性问题，从模型、数据和训练三个角度提出改进方案，通过引入通用语法图卷积网络、自动生成高质量合成语料以及结合对抗训练和对比学习，显著提升了模型对上下文扰动的鲁棒性。
2023-04-19 cs.CL
Revisiting End-to-End Speech-to-Text Translation From Scratch
University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
端到端（E2 E）语音到文本翻译（ST）通常依赖于通过语音识别或文本翻译任务使用源转录来预训练其编码器和/或解码器，没有这些任务，翻译性能会大幅下降。然而，成绩单并不总是可用的，以及如何显着这样的预训练是E2 E ST很少在文献中研究。在本文中，我们重新审视这个问题，并探讨在何种程度上的语音翻译对单独训练的E2 E ST的质量可以提高。我们重新审视了之前被证明对ST有益的几种技术，并提供了一组最佳实践，使基于Transformer的E2 E ST系统偏向于从头开始训练。此外，我们提出了参数化的距离惩罚，以促进局部性的语音自注意模型的建模。在涵盖23种语言的四个基准上，我们的实验表明，在不使用任何成绩单或预训练的情况下，所提出的系统达到甚至超过了以前采用预训练的研究，尽管在（极）低资源环境中仍然存在差距。最后，我们讨论了神经声学特征建模，其中神经模型被设计为直接从原始语音信号中提取声学特征，其目标是简化归纳偏差并在描述语音时增加模型的自由度。我们第一次证明了它的可行性，并在ST任务上显示出令人鼓舞的结果。
2022-06-09 cs.CL cs.LG cs.SD
Emergent Communication Pretraining for Few-Shot Machine Translation
University of Cambridge（剑桥大学）
首次通过指代游戏中的涌现通信对神经网络进行预训练，在缺乏语言数据时将通信基于图像以引导模型学习自然语言，并引入定制适配器层与退火策略，在少样本机器翻译中显著提升BLEU得分并防止灾难性遗忘。
2020-11-02 cs.AI cs.CL cs.LG
Synthetic Pre-pretraining Survives Scale, but Not as a Grammatical Prior
University of Sheffield（谢菲尔德大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Hugging Face；National Institute of Informatics（国立情报学研究所）；University of Exeter（埃克塞特大学）；Federal University of Rio Grande do Norte（北里奥格兰德联邦大学）
本研究系统验证了合成预预训练（PPT）在更大规模（至70亿参数、1000亿令牌）下仍能提升下游性能与令牌效率，但收益并非源于语法先验，而是来自改善长程检索的PPT任务，且对数据混合组成具有鲁棒性。
2026-10-01 cs.AI cs.CL cs.LG
