Building UD Cairo for Old English in the Classroom
Georgetown University（乔治城大学）
本研究结合LLM提示与真实语料检索构建古英语UD Cairo样本树库，通过多学生标注比对验证入门标注者协作的可行性，还发现基于标注特征的解析可提升古英语句法解析效果。
2025-06-11 cs.CL
Norm-Based Curriculum Learning for Neural Machine Translation
University of Macau（澳门大学）；NewTranx Information Technology（新译信息科技）
神经机器翻译（NMT）系统的训练成本很高，尤其是在高资源设置的情况下。随着NMT架构变得越来越深入和广泛，这个问题变得越来越严重。在本文中，我们的目的是通过引入一种新的基于规范的课程学习方法来提高NMT的培训效率。我们使用词嵌入的范数（又名长度或模）作为衡量1）句子的难度，2）模型的能力，3）句子的权重。规范为基础的句子难度的优势，语言动机和基于模型的句子困难。它很容易确定，并包含学习依赖的功能。基于范数的模型能力使NMT以完全自动的方式学习课程，而基于范数的句子权重进一步增强了NMT的向量表示的学习。WMT'14英-德和WMT'17中-英翻译任务的实验结果表明，该方法在BLEU得分（+1.17/+1.56）和训练加速比（2.22 x/3.33 x）方面优于强基线。
2020-06-03 cs.CL cs.LG
Adam's Law: Textual Frequency Law on Large Language Models
FaceMind Corporation（FaceMind公司）；The Chinese University of Hong Kong（香港中文大学）
本文提出文本频率定律，通过优化文本频率提升LLM的提示和微调效果，并通过文本频率蒸馏和课程训练方法验证了其有效性。
2026-06-28 cs.CL
Sentence Level Curriculum Learning for Improved Neural Conversational Models
Dartmouth College（达特茅斯学院）
针对对话模型忽视人类学习句子复杂度渐进性的问题，提出按句子长度分阶段训练的课程学习法，降低验证损失，易于实现。
2023-05-15 cs.CL cs.LG
Curriculum-Guided Abstractive Summarization
Georgetown University（乔治城大学）；Adobe Research（奥多比研究院）
最近的基于transformer的摘要模型提供了一个很有前途的方法抽象摘要。他们超越句子选择和提取策略，以处理更复杂的任务，如新词生成和句子释义。然而，这些模型有两个缺点：（1）它们在内容选择方面表现不佳，（2）它们的训练策略不是很有效，这限制了模型的性能。在本文中，我们探索了两种正交的方法来弥补这些缺陷。首先，我们在解码器中增加了一个句子交叉注意模块来增强Transformer网络，鼓励对突出内容进行更多的抽象。其次，我们包括一个课程学习的方法来重新加权的训练样本，带来了一个有效的学习过程。与第一种方法相比，我们的第二种方法增强了Transformers网络的训练策略。我们将我们的模型应用于Reddit TIFU帖子的极端摘要数据集。我们进一步研究了三个跨域摘要数据集（Webis-TLDR-17，CNN/DM和XSum），测量了应用于摘要时课程学习的有效性。此外，人类的评价进行显示所提出的方法在定性标准，即流畅性，信息量和整体质量方面的功效。
2023-02-08 cs.CL
An Attention-Based Model for Predicting Contextual Informativeness and Curriculum Learning Applications
ACT, Inc（ACT公司）；University of Michigan（密歇根大学）；University of Oregon（俄勒冈大学）
本研究针对语境对词汇学习的助力差异问题，提出基于预训练嵌入和注意力机制的语境信息量预测模型，在相关数据集上达SOTA，可识别关键语境要素，并能用于优化词嵌入模型的训练课程。
2023-11-09 cs.CL
KinyaEmbed: Contrastive Sentence Embeddings for Kinyarwanda via Multi-Stage Curriculum Training
Barclays（巴克莱银行）；Carnegie Mellon University（卡内基梅隆大学）
针对卢旺达语预训练嵌入不足的问题，提出基于KinyaBERT-large的KinyaEmbed模型，经四阶段课程训练后，在SemRel2024-rw等基准上超越现有多语言模型，效果显著且相关资源公开。
2026-08-28 cs.CL
Exploiting Curriculum Learning in Unsupervised Neural Machine Translation
National Laboratory of Pattern Recognition, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
反向翻译（Back-translation，BT）已经成为无监督神经机器翻译（unsupervised neural machine translation，UNMT）的一个事实上的组成部分，它明确地赋予了UNMT翻译能力。然而，BT生成的所有伪双文本在优化过程中都被视为干净数据，没有考虑质量差异，导致收敛速度慢，翻译性能有限。为了解决这个问题，我们提出了一个课程学习方法，逐步利用伪双文本的质量的基础上，从多个粒度。具体来说，我们首先应用跨语言词嵌入来计算单语句子的潜在翻译难度（质量）。然后，这些句子从易到难一批一批地输入联合国布隆迪特派团。此外，考虑到特定批次中的句子/令牌的质量也是不同的，我们进一步采用模型本身来计算细粒度的质量分数，这些分数作为学习因素，以平衡计算损失时不同部分的贡献，并鼓励UNMT模型专注于更高质量的伪数据。在WMT 14 En-Fr、WMT 16 En-De、WMT 16 En-Ro和LDC En-Zh翻译任务上的实验结果表明，该方法具有更快的收敛速度，并取得了一致的改进。
2021-09-23 cs.CL
Token-wise Curriculum Learning for Neural Machine Translation
Georgia Tech（佐治亚理工学院）；Microsoft Research（微软研究院）；Microsoft Dynamics 365 AI（微软 Dynamics 365 AI）
神经机器翻译（NMT）的现有课程学习方法需要在早期训练阶段从训练数据中采样足够量的“容易”样本。对于训练数据量有限的低资源语言，这并不总是可以实现的。为了解决这种限制，我们提出了一种新的令牌明智的课程学习方法，创建足够数量的简单样本。具体而言，该模型在训练的早期阶段从每个目标句子的开头部分学习预测一个简短的子序列，然后随着训练的进行，子序列逐渐扩展。这样一个新的课程设计的灵感来自于翻译错误的累积效应，这使得后面的标记比开始的标记更难预测。大量的实验表明，我们的方法可以始终优于基线5语言对，特别是低资源的语言。将我们的方法与高级方法相结合，进一步提高了高资源语言的性能。
2021-03-20 cs.CL cs.LG
A Novel Cartography-Based Curriculum Learning Method Applied on RoNLI: The First Romanian Natural Language Inference Corpus
University of Bucharest（布加勒斯特大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文提出首个罗马尼亚语自然语言推理语料库RoNLI，并通过基于数据制图的课程学习方法提升最佳模型性能，为罗马尼亚语NLI任务建立了竞争性基线。
2024-10-18 cs.AI cs.CL cs.LG
Reinforcement Learning based Curriculum Optimization for Neural Machine Translation
CLSP, Johns Hopkins（约翰霍普金斯大学CLSP）；Google AI（谷歌人工智能研究团队）
本文研究了神经机器翻译（NMT）中如何有效利用异构训练数据的问题。具体来说，给定一个具有噪声等统计级别特征的训练数据集，我们会寻求一个最佳课程，或者在训练过程中向系统呈现示例的顺序。我们的课程框架允许示例出现任意次数，从而概括了数据加权、过滤和微调方案。我们不是依靠先验知识来设计课程，而是使用强化学习来自动学习一个课程，与NMT系统一起，在一个单一的训练运行过程中。我们表明，这种方法可以在Paracrawl和WMT英语到法语数据集上击败统一和过滤基线，最高可达+3.4 BLEU，并与手工设计的最先进课程的性能相匹配。
2019-02-28 cs.CL
Efficient Contrastive Learning via Novel Data Augmentation and Curriculum Learning
School of Computing, KAIST（韩国科学技术院计算机学院）
我们引入了EfficientCL，这是一种高效记忆的持续预训练方法，它采用了具有新数据增强和课程学习的对比学习。对于数据增强，我们依次堆叠两种类型的操作：截断和PCA抖动。当预训练步骤进行时，我们通过增加每个难度步骤的增强程度来应用课程学习。在数据增强完成后，对原始样本和扩充样本的投影嵌入应用对比学习。当在GLUE基准上进行微调时，我们的模型优于基线模型，特别是对于任务级任务。此外，与基线模型相比，这种改进仅需要70%的计算内存。
2021-10-18 cs.CL cs.LG
Curriculum-guided Abstractive Summarization for Mental Health Online Posts
Georgetown University（乔治城大学）；Adobe Research（奥多比研究院）
从用户的在线心理健康帖子中自动生成简短的摘要可以节省咨询师的阅读时间，减少他们的疲劳，以便他们能够及时回应那些寻求帮助以改善心理状态的人。最近的基于transformers的摘要模型为抽象摘要提供了一种很有前途的方法。他们超越句子选择和提取策略，以处理更复杂的任务，如新词生成和句子释义。然而，这些模型有一个突出的缺点，它们的训练策略不是很有效，这限制了模型的性能。在本文中，我们包括一个课程学习的方法来重新衡量训练样本，带来了一个有效的学习过程。我们将我们的模型应用于MentSum帖子的极端摘要数据集-来自Reddit社交媒体的心理健康相关帖子的数据集。与最先进的模型相比，我们提出的方法在Rouge和Bertscore评估指标方面取得了实质性的进步，分别获得了3.5%（Rouge-1），10.4%（Rouge-2）和4.7%（Rouge-L），1.5%（Bertscore）的相对改进。
2023-02-02 cs.AI cs.CL
An Anchor Learning Approach for Citation Field Learning
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Meituan（美团）；Pengcheng Laboratory（鹏城实验室）
针对用户生成资源中引用字段提取面临的格式不一、数据不足等挑战，提出模型无关的锚点学习算法CIFAL，在字段级F1上较现有最优方法提升2.68%，有效提升引用字段学习性能。
2023-12-14 cs.CL
Hierarchical Curriculum Learning for AMR Parsing
Peking University（北京大学）；Tencent Cloud Xiaowei（腾讯云小微）
摘要意义表示（AMR）解析旨在将句子转换为具有层次结构的语义表示，最近通过预训练的序列到序列模型进行了授权。然而，他们的扁平化培训目标（即，平等对待所有输出令牌）和分层AMR结构，这限制了模型的泛化。为了弥补这一差距，我们提出了一个分层的课程学习（HCL）的框架，结构级（SC）和实例级课程（IC）。在训练过程中，SC逐渐从核心AMR语义元素切换到细节AMR语义元素，而IC从结构简单的AMR实例过渡到复杂的AMR实例。通过这两个预热过程，HCL降低了学习复杂结构的难度，从而使平面模型更好地适应AMR层次结构。在AMR2.0、AMR3.0、结构复杂和分布外的情况下进行了大量的实验，验证了HCL的有效性。
2022-04-26 cs.CL
JiuZhang: A Chinese Pre-trained Language Model for Mathematical Problem Understanding
Renmin University of China（中国人民大学）；iFLYTEK Research（科大讯飞研究院）；iFLYTEK（科大讯飞）
本文旨在通过提出第一个中文数学预训练语言模型~（PLM）来有效理解和表示数学问题，以提高机器的数学智能。与其他标准NLP任务不同，数学文本很难理解，因为它们在问题陈述中涉及数学术语，符号和公式。通常，它需要复杂的数学逻辑和背景知识来解决数学问题。考虑到数学文本的复杂性，我们设计了一种新的课程预训练方法，以提高数学PLM的学习，包括基础和高级课程。特别地，我们首先基于位置偏置掩蔽策略执行标记级预训练，然后设计基于逻辑的预训练任务，分别旨在恢复混洗的句子和公式。最后，我们引入了一个更困难的预训练任务，该任务强制PLM检测和纠正其生成的解决方案中的错误。我们进行了大量的实验离线评价（包括九个数学相关的任务）和在线$A/B$测试。实验结果表明，我们的方法相比，一些有竞争力的基线的有效性。我们的代码可在：\textcolor{blue}{\url{https://github.com/RUCAIBox/JiuZhang}} .
2022-06-13 cs.AI cs.CL
Enhancing Effectiveness and Robustness in a Low-Resource Regime via Decision-Boundary-aware Data Augmentation
Chung-Ang University（中央大学）；Graduate School of Advanced Imaging Sciences, Multimedia and Film, Chung-Ang University（中央大学高级影像科学、多媒体与电影研究生院）；Department of Artificial Intelligence, Chung-Ang University（中央大学人工智能系）
针对低资源场景下文本数据增强方法受限及鲁棒性不足的问题，提出基于决策边界感知的数据增强策略，通过移近潜在特征、重构生成软标签模糊样本并结合mid-K采样提升多样性，实验证明其有效性与可扩展性。
2024-03-22 cs.AI cs.CL cs.LG
Self-Guided Curriculum Learning for Neural Machine Translation
Nagoya University（名古屋大学）；The University of Sydney（悉尼大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Carnegie Mellon University（卡内基梅隆大学）
在机器学习领域，假设经过良好训练的模型能够恢复训练标签，即模型预测的合成标签应该尽可能接近地面真实标签。受此启发，我们提出了一个自我指导的课程策略，以鼓励神经机器翻译（NMT）模型的学习遵循上述恢复标准，其中我们投每个训练样本的恢复程度作为其学习难度。具体来说，我们采用句子级别的BLEU分数作为恢复程度的代理。与现有的课程依赖于语言先验知识或第三方语言模型不同，我们选择的学习难度更适合衡量NMT模型的知识掌握程度。在WMT 14 English $\Rightarrow$ German和WMT 17 Chinese $\Rightarrow$ English两个翻译基准测试上的实验表明，该方法可以在强基线Transformer上持续提高翻译性能。
2021-08-27 cs.AI cs.CL
Loss-Aware Curriculum Learning for Chinese Grammatical Error Correction
Shenzhen International Graduate School Tsinghua University（清华大学深圳国际研究生院）；Peng Cheng Laboratory（鹏城实验室）；WeChat Tencent（腾讯微信）
本文针对中文语法纠错中样本难度差异被忽视的问题，提出多粒度课程学习框架，通过按难度从易到难训练并结合实例级损失调节，提升了预训练语言模型的纠错性能。
2024-12-31 cs.AI cs.CL
Comparison and Analysis of New Curriculum Criteria for End-to-End ASR
Aalto University（阿尔托大学）
众所周知，训练数据的数量和质量在创建良好的机器学习模型中起着重要作用。在本文中，我们更进一步，并证明训练示例的排列方式也至关重要。课程学习是建立在这样一种观察的基础上的，即有组织和有结构的知识吸收能够使培训更快，理解更好。当人类学习说话时，他们首先尝试说出基本的电话，然后逐渐转向更复杂的结构，如单词和句子。这种方法被称为课程学习，我们在自动语音识别的背景下使用它。我们假设端到端模型可以实现更好的性能时，提供了一个有组织的训练集，包括表现出越来越高的难度水平的例子（即课程）。为了在训练集上强加结构并定义简单示例的概念，我们探索了多个评分函数，这些函数要么使用来自外部神经网络的反馈，要么包含来自模型本身的反馈。实验结果表明，采用不同的训练时间，我们可以平衡的训练时间和网络的性能。
2022-08-10 cs.CL cs.LG cs.SD
Curricular Transfer Learning for Sentence Encoded Tasks
Luxembourg Institute of Science and Technology (LIST)（卢森堡科学技术研究院）；University of Campinas (Unicamp)（坎皮纳斯大学）
针对NLP中源任务与目标任务分布漂移导致微调增益减弱的问题，提出由“数据黑客”和语法分析引导的课程式预训练步骤，在MultiWoZ任务上取得显著改进。
2023-08-03 cs.CL cs.LG
Can training neural language models on a curriculum with developmentally plausible data improve alignment with human reading behavior?
Colgate University（科尔盖特大学）
本文研究在 BabyLM 等发展合理性数据上使用课程训练神经语言模型能否改善其与人类阅读行为的一致性，发现课程虽略有助于语法知识习得，但不足以使模型预测更符合人类语言处理。
2023-11-30 cs.CL
Task-Level Curriculum Learning for Non-Autoregressive Neural Machine Translation
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）
非自回归翻译（NAT）实现了更快的推理速度，但与自回归翻译（AT）相比，其代价是更差的准确性。由于AT和NAT可以共享模型结构，并且由于对先前目标端令牌的显式依赖性，AT是比NAT更容易的任务，因此自然的想法是将模型训练从更容易的AT任务逐渐转移到更难的NAT任务。为了平滑从AT训练到NAT训练的转换，本文引入了半自回归转换（SAT）作为中间任务。SAT包含一个超参数k，每个k值定义了一个具有不同并行度的SAT任务。特别地，SAT包括AT和NAT作为其特殊情况：当k = 1时，SAT归约为AT，当k = N（N为目标句的长度）时，SAT归约为NAT。我们设计的课程表，逐步转移k从1到N，不同的起搏功能和任务的数量在同一时间训练。我们称之为任务级课程学习的NAT（TCL-NAT）。在IWSLT 14 De-En、IWSLT 16 En-De、WMT 14 En-De和De-En数据集上的实验表明，TCL-NAT在NAT基线上实现了显著的准确性提高，并将NAT和AT模型之间的性能差距缩小到1-2个BLEU点，证明了所提方法的有效性。
2020-07-17 cs.CL cs.LG
Feeding BabyLMs Macaroni: Code-Switching Curricula Cause Cross-Lingual Convergence
Technion – Israel Institute of Technology（以色列理工学院）；Kempner Institute（肯普纳研究所）；Harvard University（哈佛大学）
本研究通过在代码切换文本上预训练小型Transformer模型，发现代码切换课程学习能有效对齐跨语言表征，提升多语言预训练效果，并在BabyLM评估中优于基线。
2026-09-28 cs.CL
Linear-Time Constituency Parsing with RNNs and Dynamic Programming
最近，基于跨度的选区解析已经通过使用双向RNN对“跨度”进行建模，用非常简单的模型实现了具有竞争力的准确性。然而，Stern et al（2017 a）的最小跨度解析器保持了当前最先进的准确性，它是一个以立方时间运行的图表解析器，$O(n^3)$，对于较长的句子和超出句子边界的应用程序（如端到端话语解析和联合句子边界检测和解析）来说太慢了。我们提出了一个线性时间选区解析器与RNN和动态规划使用图结构的堆栈和束搜索，它运行在时间$O(n b^2)$，其中$b$是波束的大小。通过集成立方体修剪，我们进一步将其加速到$O(n b\log b)$。与图表解析基线相比，这种线性时间解析器在Penn Treebank上的长句解析速度要快得多，在话语解析上要快几个数量级，并且在Penn Treebank上实现了单模型端到端系统中最高的F1精度。
2018-05-21 cs.CL
Curriculum Learning and Pseudo-Labeling Improve the Generalization of Multi-Label Arabic Dialect Identification Models
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本研究通过课程学习和伪标签方法构建多标签阿拉伯方言识别数据集，并训练BERT模型提升泛化能力，最终在排行榜上取得宏平均F1值0.69的优异成绩。
2026-02-17 cs.CL cs.LG
Amharic Abstractive Text Summarization
Ain-Shams University（艾因夏姆斯大学）
文本摘要是将长文本压缩成几个句子的任务。已经提出了许多方法来完成这项任务，其中一些最早的方法是建立统计模型（提取方法）能够选择重要的单词并将它们复制到输出中，但是这些模型缺乏解释句子的能力，因为它们只是选择重要的单词，而没有真正理解它们的上下文，也没有理解它们的含义，因此使用基于深度学习的架构（抽象方法），它有效地试图理解句子的含义，以建立有意义的摘要。在这项工作中，我们讨论了这些新的新颖的方法之一，结合课程学习与深度学习，这个模型被称为预定采样。我们将这项工作应用于最广泛使用的非洲语言之一，即阿姆哈拉语，因为我们试图用一流的深度学习架构来丰富非洲NLP社区。
2020-03-30 cs.CL cs.LG
Unlocking Efficiency: Adaptive Masking for Gene Transformer Models
Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）
本文提出基于点互信息难度准则的课程掩码基因掩码策略CM-GEMS，通过逐步增加掩码预测难度提升基因Transformer预训练效率，在少样本和全数据集基因分类任务中以远少于基线模型的训练步数达到或接近最先进性能。
2024-08-13 cs.CL
Dynamic Data Selection and Weighting for Iterative Back-Translation
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；Department of Computer Science, George Mason University（乔治梅森大学计算机科学系）
在神经机器翻译（NMT）中，反向翻译被证明是一种有效的利用单语数据的方法，迭代地进行反向翻译可以进一步提高模型的性能。选择哪些单语数据进行反向翻译至关重要，因为我们要求得到的合成数据具有高质量并反映目标域。为了实现这两个目标，已经提出了数据选择和加权策略，通常的做法是选择接近目标域的样本，但也不同于平均的一般域文本。在本文中，我们提供了这种常用的方法的见解，并将其推广到一个动态的课程学习策略，这是适用于迭代回译模型。此外，我们提出了加权策略的基础上，当前的质量的句子和它的改进，在以前的迭代。我们评估我们的模型领域自适应，低资源，高资源MT设置和两种语言对。实验结果表明，我们的方法实现了高达1.8 BLEU点的竞争基线的改进。
2020-10-07 cs.CL
Annotation Curricula to Implicitly Train Non-Expert Annotators
UKP Lab / TU Darmstadt（达姆施塔特工业大学 UKP 实验室）
注释研究通常要求注释者熟悉任务、其注释方案和数据域。这在开始时可能会压倒一切，精神负担沉重，并在最终的注释中引入错误;特别是在不需要领域专业知识并且只提供注释指南的公民科学或众包场景中。为了缓解这些问题，我们提出了注释课程，一种新的方法来隐式训练注释。我们的目标是通过根据学习课程对注释的实例进行排序，逐步将注释器引入到任务中。为此，我们首先形式化句子和段落级别注释任务的注释课程，定义排序策略，并在三个现有英语数据集上识别性能良好的启发式算法和交互式训练模型。然后，我们对40名自愿参与者进行了一项用户研究，要求他们找出有关Covid-19大流行的英语推文的最合适的误解。我们的研究结果表明，使用一个简单的启发式排序实例已经可以显着减少总的注释时间，同时保持高的注释质量。因此，注释课程可以提供一种改进数据汇集的新方法。为了方便未来的研究，我们进一步分享了由2,400个注释组成的代码和数据。
2021-12-22 cs.CL
Unsupervised Vision-and-Language Pre-training via Retrieval-based Multi-Granular Alignment
Meta AI；Columbia University（哥伦比亚大学）
近年来，视觉和语言（V+L）预训练模型在各种多模态基准测试中取得了巨大的成功。然而，大多数现有的模型需要在大量的并行图像-文本数据集上进行预训练，与仅图像或仅文本数据相比，这是昂贵的。在本文中，我们探索了无监督的视觉和语言预训练（UVLP），以从非并行图像和文本数据集中学习跨模态表示。我们发现了两个关键因素，可以在没有并行数据的情况下实现良好的无监督V+L预训练：（i）联合图像和文本输入（ii）整体图文对齐（即使是非并行数据）。因此，我们提出了一种新的无监督V+L预训练课程，用于非平行文本和图像。我们首先通过基于检索的方法构建一个弱对齐的图像-文本语料库，然后应用一组多粒度对齐预训练任务，包括区域到标签，区域到短语和图像到句子对齐，以弥合这两种模式之间的差距。全面的消融研究表明，每个粒度都有助于学习更强大的预训练模型。我们将预先训练的模型适应一组V+L下游任务，包括VQA、NLVR 2、Visual Entailment和RefCOCO+。我们的模型在无监督的环境下实现了所有这些任务的最先进的性能。
2022-03-01 cs.AI cs.CL cs.CV
