gec-metrics: A Unified Library for Grammatical Error Correction Evaluation
Nara Institute of Science and Technology(奈良科学技術研究所)
介绍gec-metrics库,通过统一接口使用和开发语法纠错评估指标,确保公平比较,具有可扩展性,并包含元评估及分析可视化功能,代码以MIT许可证发布。
2025-05-26 cs.CL
Construction of a Quality Estimation Dataset for Automatic Evaluation of Japanese Grammatical Error Correction
Tokyo Metropolitan University(东京都立大学);RIKEN(理化学研究所)
在语法错误纠正中,自动评价是语法错误纠正系统研究和开发的一个重要因素。以往的自动评测研究表明,在不使用参考语句的情况下,基于人工评测的数据集构建的质量估计模型可以实现高性能的英语GEC自动评测。然而,质量估计模型尚未在日本进行研究,因为没有数据集用于构建质量估计模型。因此,在这项研究中,我们创建了一个质量估计数据集与手动评估,建立一个自动评估模型,为日本GEC。此外,我们进行了元评估,以验证数据集的有用性,在建立日本的质量估计模型。
2022-01-20 cs.CL
Chinese Grammatical Error Correction: A Survey
KAIST(韩国科学技术院)
本文综述中文语法纠错(CGEC)研究,涵盖数据集、标注方案、评估方法和系统进展,指出关键挑战并展望未来方向。
2026-06-06 cs.CL
Towards Automated Document Revision: Grammatical Error Correction, Fluency Edits, and Beyond
RIKEN(理化学研究所);Allen Institute for AI(艾伦人工智能研究所);Earth Species Project(地球物种项目);Octanove Labs(Octanove实验室);Tohoku University(东北大学)
自然语言处理技术已经迅速改善了自动语法纠错任务,社区开始探索文档级修订,作为下一个挑战之一。为了超越基于NLP的文档级自动语法纠错,存在两个主要障碍:(1)很少有公共语料库具有由专业编辑注释的文档级修订,以及(2)由于存在无限的修订可能性,因此不可能引出所有可能的参考文献并使用这些参考文献评估修订的质量。本文件处理这些挑战。首先,我们介绍了一个新的文件修订语料库,TETRA,专业编辑修改学术论文样本ACL选集,其中包含一些微不足道的语法错误,使我们能够更专注于文件和段落级的编辑,如连贯性和一致性。第二,我们探索参考和可解释的元评估方法,可以检测文件修订的质量改进。我们展示了TETRA与现有文档修订语料库相比的独特性,并证明了微调的预训练语言模型可以区分修订后的文档质量,即使差异很小。这一令人鼓舞的结果将鼓励社区在未来进一步探索自动化文档修订模型和指标。
2022-05-23 cs.CL
Scoring Edit Impact in Grammatical Error Correction via Embedded Association Graphs
本文提出评分语法纠错中编辑影响的新任务,通过嵌入关联图捕捉编辑间的潜在依赖,利用困惑度评分估计编辑对句子流畅度的贡献,实验表明方法在多语种和多系统上优于基线。
2026-04-08 cs.CL
CL$^2$GEC: A Multi-Discipline Benchmark for Continual Learning in Chinese Literature Grammatical Error Correction
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);Peng Cheng Laboratory(鹏城实验室);China Merchants Group(中国远洋集团);Zhipu AI(智谱AI);Seoul National University(首尔国立大学)
针对中文语法纠错缺乏多学科持续学习基准的问题,提出首个基准CL$^2$GEC,包含10个学科的1万条标注,评估发现正则化方法在缓解灾难性遗忘上表现最佳。
2025-09-17 cs.AI cs.CL
Grammatical Error Correction Evaluation by Optimally Transporting Edit Representation
Nara Institute of Science and Technology(奈良科学技術研究所)
本文提出UOT-ERRANT度量方法,通过最优传输编辑表示提升语法错误纠正评估性能,尤其在流畅性领域表现突出。
2026-02-05 cs.CL
"When Data is Scarce, Prompt Smarter"... Approaches to Grammatical Error Correction in Low-Resource Settings
IIT Madras(印度理工学院马德拉斯学院);AI4Bharat
本研究通过提示方法和少量样本策略,利用大型语言模型在低资源印地语系语言中实现高效语法错误纠正,取得领先成果。
2025-11-25 cs.AI cs.CL
EAT: a simple and versatile semantic representation format for multi-purpose NLP
Aalto University(阿尔托大学)
语义表示是许多需要人类可解释数据的NLP任务的核心。连词主义框架-主要由Pietroski(2005,2018)开发-获得表达性表征,只有少数基本语义类型和与句法位置系统相关的关系。虽然表示简单性对于计算应用至关重要,但这些发现尚未对NLP产生重大影响。我们提出了第一个通用的语义表示格式的自然语言处理直接基于这些见解。我们命名的格式EAT由于其基础上的事件,代理,主题参数在新戴维森逻辑形式。它建立在这样一个想法上,即类似的三方论元关系在各个类别中普遍存在,并且可以在没有额外词汇信息的情况下从语法结构中构建。我们提出了一个详细的阐述EAT以及它如何与其他流行的格式在以前的工作中使用,如抽象意义表示(AMR)和最小递归语义(MRS)。EAT在两个方面脱颖而出:简单性和多功能性。独特的是,EAT放弃了语义元预测,而是完全通过位置编码来表示语义角色。这是通过将角色数量限制为只有三个而实现的;从AMR和MRS中认识到的几十个角色中大幅减少。EAT的简单性使其在应用中具有非常多的用途。首先,我们表明,在Hajdik et al.(2019)的测试环境中,基于EAT大幅减少语义角色有利于MRS的文本生成。其次,我们实现了EAT从句法分析的推导,并将其应用于语法类之间的并行语料库生成。第三,我们训练一个编码器-解码器LSTM网络来将EAT映射为英语。最后,我们使用编码器-解码器网络和基于规则的替代…
2021-03-12 cs.CL
IMPARA-GED: Grammatical Error Detection is Boosting Reference-free Grammatical Error Quality Estimator
Nara Institute of Science and Technology(奈良科学技术大学)
本文提出IMPARA-GED,通过引入语法错误检测能力增强预训练语言模型,构建无参考GEC质量估计器,在SEEDA元评估数据集上取得了与人类句子级评估最高的相关性。
2025-06-03 cs.AI cs.CL
Meta-Learning for Few-Shot NMT Adaptation
University of Maryland(马里兰大学);Microsoft(微软);Microsoft Research(微软研究院)
我们提出了META-MT,一种元学习方法,用于在Few-Shot设置中适应神经机器翻译(NMT)系统。META-MT提供了一种新的方法,使NMT模型可以很容易地适应许多目标领域的最小量的域内数据。我们将NMT系统的自适应框架视为元学习问题,在该问题中,我们基于模拟的离线元训练领域自适应任务来学习适应新的未知领域。我们评估了建议的元学习策略上的10个领域与一般的大规模NMT系统。我们表明,META-MT显着优于经典的领域自适应时,很少的域中的例子。我们的实验表明,META-MT在只看到4000个翻译单词(300个平行句子)的情况下,可以比经典的微调高出2.5个BLEU点。
2020-04-06 cs.CL
Learning to adapt: a meta-learning approach for speaker adaptation
University of Edinburgh(爱丁堡大学)
自动语音识别系统的性能可以通过调整声学模型以补偿训练和测试条件之间的失配来改进,例如通过调整以适应看不见的说话者。说话人自适应方法的成功依赖于选择适合于自适应的权重,并使用良好的自适应调度来更新这些权重,以便不过拟合自适应数据。在本文中,我们研究了一种原则性的方法,使用元学习来调整声学模型的所有权重。我们表明,元学习器可以学习执行监督和无监督的说话人自适应,并且在使用1.5M参数调整DNN AM时,它的性能优于强基线调整LHUC参数。我们还报告了适应TDNN AM的初步实验,其中元学习器实现了与LHUC相当的性能。
2018-08-30 cs.CL
Reducing Gender Bias in Neural Machine Translation as a Domain Adaptation Problem
University of Cambridge(剑桥大学)
NLP任务的训练数据往往表现出性别偏见,因为涉及女性的句子比男性少。在神经机器翻译(NMT)中,性别偏见已被证明会降低翻译质量,特别是当目标语言具有语法性别时。最近的WinoMT挑战集使我们能够直接测量这种影响(Stanovsky等人,2019年)。理想情况下,我们可以通过在训练之前简单地消除所有数据的偏置来减少系统偏置,但有效地实现这一点本身就是一个挑战。我们没有试图创建一个“平衡”的数据集,而是在一小部分可信的、性别平衡的例子上使用迁移学习。这种方法在性别去偏见方面提供了强大而一致的改进,计算成本比从头开始训练要少得多。一个已知的陷阱迁移学习的新领域是“灾难性遗忘”,我们解决的适应和推理。在适应过程中,我们表明弹性权重合并允许在一般翻译质量和偏差减少之间进行性能权衡。在推理过程中,我们提出了一种格重评分方案,该方案优于Stanovsky等人(2019)在WinoMT上评估的所有系统,并且没有一般测试集BLEU的退化,我们表明该方案可以应用于消除“黑盒”在线商业MT系统输出中的性别偏见。我们展示了我们的方法从英语翻译成三种语言,不同的语言属性和数据的可用性。
2020-07-09 cs.CL
X-METRA-ADA: Cross-lingual Meta-Transfer Learning Adaptation to Natural Language Understanding and Question Answering
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所);Adobe Research(Adobe研究院)
多语言模型,如M-BERT和XLM-R,由于其zero-shot跨语言迁移学习能力而越来越受欢迎。然而,他们的泛化能力仍然是不一致的类型多样的语言和不同的基准。最近,元学习作为一种在低资源情况下增强迁移学习的有前途的技术引起了人们的关注:特别是对于自然语言理解(NLU)中的跨语言迁移。在这项工作中,我们提出了X-METRA-ADA,一个跨语言的MEta-迁移学习自适应方法的NLU。我们的方法适应MAML,一种基于优化的元学习方法,学习适应新的语言。我们广泛评估我们的框架上两个具有挑战性的跨语言NLU任务:多语言任务导向的对话和类型多样的问答。我们表明,我们的方法优于天真的微调,达到竞争力的性能在大多数语言的任务。我们的分析表明,X-METRA-ADA可以利用有限的数据进行更快的适应。
2021-06-01 cs.CL
Meta-Learning the Difference: Preparing Large Language Models for Efficient Adaptation
Princeton University(普林斯顿大学);Amazon AWS AI(亚马逊AWS人工智能部门)
大型预训练语言模型(PLM)通常通过微调或提示进行领域或任务适应。微调需要修改所有参数,并有足够的数据来避免过拟合,而提示不需要训练和很少的例子,但限制了性能。相反,我们准备PLM的数据和参数有效的适应学习学习之间的区别一般和适应PLM。这种差异表示在模型权重和子层结构,通过我们提出的动态低秩重新参数化和学习架构控制器。对Few-Shot对话完成、低资源抽象摘要和多领域语言建模的实验表明,与直接微调或通过领域自适应预训练进行准备相比,适应时间和性能有所改善。烧蚀表明,我们的任务自适应重新参数化(TARP)和模型搜索(TAMS)组件分别改善了其他参数有效的传输,如适配器和结构学习方法,如学习稀疏化。
2022-07-07 cs.CL
$m^4Adapter$: Multilingual Multi-Domain Adaptation for Machine Translation with a Meta-Adapter
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
多语言神经机器翻译模型(MNMT)在对来自训练时看到的领域和语言对的数据进行评估时,会产生最先进的性能。然而,当MNMT模型用于在域转移下翻译或翻译到新的语言对时,性能急剧下降。我们认为一个非常具有挑战性的情况下:适应MNMT模型,以一个新的领域和一个新的语言对在同一时间。在本文中,我们提出了$m^4Adapter$(多语言多领域自适应机器翻译与元适配器),它结合领域和语言知识,使用元学习与适配器。我们目前的结果表明,我们的方法是一个参数有效的解决方案,有效地适应一个新的语言对和一个新的域的模型,同时优于其他适配器的方法。消融研究还表明,我们的方法更有效地跨不同的语言和语言信息跨不同的领域转移领域知识。
2022-10-21 cs.CL
Domain Adaptation in Dialogue Systems using Transfer and Meta-Learning
INESC-ID Lisboa(里斯本INESC-ID(里斯本信息与决策系统研究所));Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Heriot-Watt University(赫瑞-瓦特大学)
当前基于生成的对话系统是数据饥渴的,并且当只有少量目标数据可用时不能适应新的看不见的域。此外,在现实世界的应用程序中,大多数领域的代表性不足,因此需要创建一个能够使用最少数据概括这些领域的系统。在本文中,我们提出了一种通过结合迁移和元学习(DATML)来适应未知领域的方法。DATML通过引入一种不同的学习技术:元学习,改进了以前最先进的对话模型DiKTNet。我们使用基于一阶优化的元学习算法Reptile作为我们改进的训练方法。我们在MultiWOZ数据集上评估了我们的模型,当有相同数量的数据可用时,在BLEU和Entity F1得分上都优于DiKTNet。
2021-02-22 cs.CL
Model-Agnostic Meta Learning for Class Imbalance Adaptation
University of Memphis(密苏里大学)
本文提出HAMR框架,通过双层优化和邻域感知重采样解决类别不平衡问题,实验表明在多个领域数据集上有效提升少数类性能。
2026-04-20 cs.CL
A Student-Teacher Architecture for Dialog Domain Adaptation under the Meta-Learning Setting
University of California, Davis(加利福尼亚大学戴维斯分校);Google Inc.(谷歌公司)
每天都有许多新的对话域被创建,而收集这些域的数据是非常昂贵的,因为它涉及到人类的交互。因此,在构建数据驱动的对话模型时,开发能够有效地适应不同领域的算法是至关重要的。目前关于领域自适应的研究主要集中在为模型提供一个更好的初始化,而不是优化自适应过程。我们提出了一个有效的域自适应面向任务的对话系统模型,它采用了元教师模型,强调生成的令牌之间的不同影响相对于上下文。我们首先训练我们的基本对话模型和元教师模型在丰富的资源领域的元学习设置对抗。元教师学习在不同领域的不同上下文下量化令牌的重要性。在适配过程中,元教师引导对话模型关注重要的标记,以实现更好的适配效率。我们在两个多域数据集MultiWOZ和Google Schema-Guided Dialogue上评估了我们的模型,并实现了最先进的性能。
2021-04-06 cs.CL cs.LG
Meta-Curriculum Learning for Domain Adaptation in Neural Machine Translation
University of Macau(澳门大学)
元学习已被充分验证,对低资源神经机器翻译(NMT)有益。然而,我们发现元训练的NMT未能提高在元训练阶段看不见的域的翻译性能。在本文中,我们的目的是缓解这个问题,提出了一种新的Meta课程学习的领域自适应在NMT。在元训练过程中,NMT首先学习各领域的相似课程,避免过早陷入局部最优,最后学习各领域的个性化课程,提高模型学习领域知识的鲁棒性。在10个不同的低资源领域的实验结果表明,Meta课程学习可以提高熟悉和不熟悉的领域的翻译性能。所有的代码和数据都可以在https://github.com/NLP2CT/Meta-Curriculum上免费获得。
2021-03-03 cs.CL cs.LG
Meta-Learning for Fast Cross-Lingual Adaptation in Dependency Parsing
University of Amsterdam(阿姆斯特丹大学);University of Edinburgh(爱丁堡大学);King’s College London(伦敦国王学院)
元学习,或学习学习,是一种技术,可以帮助克服跨语言NLP问题中的资源短缺,使快速适应新的任务。我们应用模型不可知元学习(MAML)的跨语言依存句法分析的任务。我们在一组不同的语言上训练我们的模型,以学习可以快速适应新语言的参数初始化。我们发现,在少样本学习设置中,带有预训练的元学习可以显著提高语言迁移和标准监督学习基线的性能,这些基线用于各种看不见的、类型多样的和低资源的语言。
2022-03-23 cs.AI cs.CL
Meta-Learning Adversarial Domain Adaptation Network for Few-Shot Text Classification
East China Normal University(华东师范大学);Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
元学习已经成为解决Few-Shot文本分类的趋势技术,并实现了最先进的性能。然而,现有的解决方案在很大程度上依赖于利用词汇特征及其分布签名的训练数据,而忽略了加强模型的能力,以适应新的任务。在本文中,我们提出了一种新的元学习框架集成了对抗性领域自适应网络,旨在提高模型的自适应能力,并生成高质量的文本嵌入新的类。在四个基准数据集上进行了广泛的实验,我们的方法在所有数据集上都表现出明显的优越性。特别是,在20个新闻组的数据集上,1镜头和5镜头分类的准确率分别从52.1%提高到59.6%和从68.3%提高到77.8%。
2021-07-26 cs.AI cs.CL
Meta-TTS: Meta-Learning for Few-Shot Speaker Adaptive Text-to-Speech
National Taiwan University(台湾大学)
个性化语音合成系统是非常期望的应用,其中系统可以利用用户的语音生成语音,而用户的语音具有罕见的登记记录。在最近的工作中,有两种主要的方法来建立这样的系统:说话人自适应和说话人编码。一方面,说话人自适应方法用很少的注册样本对训练好的多说话人文本到语音(TTS)模型进行微调。然而,它们需要至少数千个微调步骤才能实现高质量的适配,这使得它很难应用于设备。另一方面,说话人编码方法将登记话语编码到说话人嵌入中。训练好的TTS模型可以在相应的说话人嵌入的条件下合成用户的语音。然而,扬声器编码器受到可见扬声器和不可见扬声器之间的泛化间隙的影响。在本文中,我们提出了应用Meta学习算法的说话人自适应方法。更具体地说,我们使用模型不可知元学习(MAML)作为多说话者TTS模型的训练算法,其目的是找到一个很好的元初始化,以使模型快速适应任何Few-Shot说话者自适应任务。因此,我们也可以有效地将元训练的TTS模型适应于看不见的说话者。我们的实验比较所提出的方法(元TTS)与两个基线:一个扬声器自适应方法基线和扬声器编码方法基线。实验结果表明,在相同训练方案下,元文语转换系统能够以较少的训练步骤从少量的注册样本中合成出具有较高说话人相似度的语音,且性能优于说话人编码基线。当基线的扬声器编码器使用额外的8371个扬声器数据进行预训练时,Meta-TTS仍然可以在LibriTTS数据集上优于基线,并在VC…
2022-07-29 cs.CL cs.SD eess.AS
Sparse Meta Networks for Sequential Adaptation and its Application to Adaptive Language Modelling
Microsoft Research(微软研究院)
训练深度神经网络需要大量的单任务数据,并且涉及到耗时较长的优化阶段。这无法扩展到具有新的意外更改的复杂、现实环境。人类可以在飞行中进行快速增量学习,大脑中的记忆系统起着关键作用。我们介绍稀疏Meta网络--一种元学习方法,通过使用深度神经网络来学习深度神经网络的在线顺序自适应算法。我们用特定于层的快速权重记忆来增强深度神经网络。快速权重在每个时间步稀疏地生成,并通过时间增量地累积,为在线连续适应提供有用的归纳偏差。我们在各种顺序适应场景中表现出强大的性能,从简单的在线强化学习到大规模自适应语言建模。
2020-09-03 cs.AI cs.CL cs.LG
Meta-Tsallis-Entropy Minimization: A New Self-Training Approach for Domain Adaptation on Text Classification
National University of Defense Technology(国防科技大学);Beijing Institute of Biotechnology(北京生物技术研究所);Suiren Information(燧人信息)
本文提出Meta-Tsallis熵最小化(MTEM)方法,通过元学习优化实例自适应Tsallis熵,并结合二阶导数近似和退火采样机制,有效提升文本分类模型在跨领域场景下的自训练适应性能。
2023-08-04 cs.CL cs.LG
Speaker Adaptive Training using Model Agnostic Meta-Learning
Bloomberg(彭博社)
神经网络声学模型的说话人自适应训练(SAT)以使模型更适合于适应测试条件的方式来学习模型。传统上,基于模型的说话者自适应训练是通过具有一组与说话者无关参数联合优化的说话者相关参数来执行的,以便去除说话者变化。然而,如果所有神经网络权重都要适应说话者,则这不能很好地缩放。在本文中,我们制定了说话人自适应训练作为一个元学习任务,其中使用梯度下降的自适应过程直接编码到模型的训练。我们将我们的方法与标准基线模型的仅测试适应和具有学习的扬声器适应时间表的SAT-LHUC模型进行比较,并证明元学习方法取得了可比的结果。
2019-10-23 cs.CL cs.LG eess.AS
How Large Language Models Get Stuck: Early structure with persistent errors
Department of Statistics(统计学系);University of Connecticut, Storrs(康涅狄格大学斯托尔分校);Department of Linguistics(语言学系);Department of Psychological Sciences(心理学科学系)
研究发现大语言模型在训练早期可能因大写统计偏差而陷入错误固化,提出双元组假设以解释这一现象并提出测试方法。
2026-03-10 cs.CL cs.LG
Meta-Tool: Efficient Few-Shot Tool Adaptation for Small Language Models
LexisNexis, USA(LexisNexis美国公司)
本文通过Meta-Tool研究小语言模型是否能在不复杂适应机制下实现强工具使用性能,发现超网络适应无显著提升,提示应关注提示工程与示例整理。
2026-04-22 cs.AI cs.CL cs.LG
AutoLoRA: Automatically Tuning Matrix Ranks in Low-Rank Adaptation Based on Meta Learning
UC San Diego(加州大学圣地亚哥分校);Tsinghua University(清华大学)
AutoLoRA提出基于元学习的框架,自动为LoRA各层确定最优秩,通过选择变量和阈值化避免穷举搜索,提升微调性能,并在多种NLP任务上验证有效性。
2024-03-17 cs.AI cs.CL cs.LG