Chain-of-MetaWriting: Linguistic and Textual Analysis of How Small Language Models Write Young Students Texts
CNRS（法国国家科学研究中心）；University of Lorraine（洛林大学）；Sorbonne Nouvelle University（新索邦大学）；Institut Universitaire de France（法国大学研究院）；University of Strasbourg（斯特拉斯堡大学）
本文提出Chain-of-MetaWriting方法，通过细粒度语言学与文本分析探究小型语言模型（SLMs）模仿人类写作步骤的能力，发现其在法语写作任务中处理敏感话题及文本连贯性上存在不足。
2024-12-19 cs.CL
ST$^2$: Small-data Text Style Transfer via Multi-task Meta-Learning
Shanghai Jiao Tong University（上海交通大学）
文本风格转换的目的是将一种风格的句子改写成另一种风格，同时保留内容。由于缺乏并行训练数据，最先进的方法是无监督的，并依赖于共享内容的大型数据集。此外，现有的方法已被应用于非常有限的类型的风格，如积极/消极和正式/非正式。在这项工作中，我们开发了一个元学习框架，可以在任何类型的文本风格之间进行转换，包括更细粒度、共享更少内容和拥有更小训练数据的个人写作风格。虽然最先进的模型失败的Few-Shot风格迁移任务，我们的框架有效地利用其他风格的信息，以提高语言流畅性和风格迁移的准确性。
2020-04-24 cs.CL
MReD: A Meta-Review Dataset for Structure-Controllable Text Generation
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Nanyang Technological University（南洋理工大学）
当直接使用现有的文本生成数据集进行可控生成时，我们面临着没有领域知识的问题，因此可以控制的方面是有限的。一个典型的例子是，当使用CNN/Daily Mail数据集进行可控文本摘要时，没有关于摘要句子强调的指导信息。一个更有用的文本生成器应该利用输入文本和控制信号来指导生成，这只能通过对领域知识的深刻理解来构建。基于这一愿景，本文介绍了一个新的文本生成数据集，名为MReD。我们的新数据集由7，089个元评论组成，所有45 k元评论句子都是用9个精心定义的类别之一手动注释的，包括摘要，强度，决策等。我们提出了最先进的摘要模型的实验结果，并提出了使用我们的注释数据进行提取和抽象模型的结构控制生成方法。通过探索各种设置并分析模型相对于控制信号的行为，我们展示了我们提出的任务的挑战和我们的数据集MReD的价值。同时，MReD也让我们更好地理解元评论领域。
2022-07-05 cs.CL
Adaptive Meta-learner via Gradient Similarity for Few-shot Text Classification
Sichuan University（四川大学）；The University of Adelaide（阿德莱德大学）
针对小样本文本分类中因样本与模型不匹配及特征区分不足导致的过拟合问题，提出基于梯度相似性的自适应元学习器（AMGS），通过内循环自监督辅助任务与外循环梯度约束提升模型泛化能力，实验证明其性能优于现有方法。
2023-07-28 cs.CL
Masader: Metadata Sourcing for Arabic Text and Speech Data Resources
King Fahd University of Petroleum and Minerals（法赫德石油和矿产大学）
NLP管道在过去几年中发生了巨大的变化。管道中的第一步是找到合适的注释数据集来评估我们试图解决的任务。不幸的是，大多数已发布的数据集缺乏描述其属性的元数据注释。更不用说，缺乏一个公共目录来索引与特定地区或语言相关的所有公开数据集。例如，当我们考虑低资源的辩证语言时，这个问题变得更加突出。在本文中，我们创建了\textit{Masader}，这是阿拉伯语NLP数据集的最大公共目录，由200个数据集组成，注释了25个属性。此外，我们开发了一个元数据注释策略，可以扩展到其他语言。我们还就阿拉伯语NLP数据集的现状发表评论并强调一些问题，并提出解决这些问题的建议。
2021-10-13 cs.CL
OCR-MetaReasoning Benchmark: Evaluating the Meta-Reasoning Ability of MLLMs in Text-Rich Image Understanding
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；International Center of Future Science, Jilin University（吉林大学未来科学国际中心）
本文提出OCR-MetaReasoning基准，将演绎、归纳、溯因作为不同推理方向，分离答案正确性与推理合规性，实验发现现有MLLMs的OCR元推理能力远未饱和。
2026-09-01 cs.CL
Retrieval-Augmented Meta Learning for Low-Resource Text Classification
Tsinghua University（清华大学）；Wechat Pay Tencent（腾讯微信支付）
针对低资源文本分类中元学习泛化性能差的问题，提出检索增强元学习方法RAML，结合参数化推理与非参数化外部知识检索，并利用多视图段落融合网络整合信息，显著优于现有SOTA模型。
2023-09-10 cs.CL
Meta-Chunking: Learning Text Segmentation and Semantic Completion via Logical Perception
School of Information, Renmin University of China（中国人民大学信息学院）；Institute for Advanced Algorithms Research（高级算法研究所）
针对RAG系统中文本分块质量不足的问题，提出Meta-Chunking框架，结合基于不确定性的自适应分块、动态合并及全局信息补偿机制，提升分块的语义完整性与逻辑连贯性，且验证了小模型实现高质量分块的可行性。
2025-05-21 cs.CL
Categorical Metadata Representation for Customized Text Classification
Yonsei University（延世大学）；University of Edinburgh（爱丁堡大学）
使用智能工程的基于神经的模型，文本分类的性能得到了极大的改善，特别是那些注入分类元数据作为附加信息的模型，例如，使用用户/产品信息进行情感分类。这些信息已被用于修改模型的部分（例如，词嵌入、注意力机制），使得可以根据元数据定制结果。我们观察到，目前的分类元数据的表示方法，这是为人类消费而设计的，并不像流行的分类方法中所声称的那样有效，甚至在句子编码器的最后一层中通过简单的分类特征的级联来表现。我们推测，分类特征更难表示为机器使用，因为可用的上下文只能间接描述类别，甚至这样的上下文往往是稀缺的（尾类别）。为此，我们建议使用基向量来有效地将分类元数据整合到基于神经的模型的各个部分。这额外地显著减少了参数的数量，特别是当分类特征的数量很大时。在不同属性的数据集上进行了大量的实验，结果表明，通过我们的方法，我们可以更有效地表示分类元数据，以定制模型的部分，包括未开发的部分，并大大提高模型的性能。
2019-02-14 cs.CL
A Hybrid Model for Few-Shot Text Classification Using Transfer and Meta-Learning
Stevens Institute of Technology（史蒂文斯理工学院）；Carnegie Mellon University（卡内基梅隆大学）；San Francisco State University（旧金山州立大学）；The Chinese University of Hong Kong（香港中文大学）；New York University（纽约大学）
针对少样本文本分类中标注数据获取难的问题，本文提出结合迁移学习与元学习的混合模型，利用预训练模型知识迁移并通过元学习优化快速适应能力，实验证明其在少样本和中等样本条件下显著优于传统方法。
2025-02-13 cs.CL
MotifClass: Weakly Supervised Text Classification with Higher-order Metadata Information
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Los Angeles（加州大学洛杉矶分校）
研究弱监督文本分类问题，提出MotifClass框架，通过异构信息网络和motif捕捉高阶元数据组合，生成伪标签训练分类器，性能优于现有方法。
2022-01-11 cs.CL cs.LG
Meta-Learning Siamese Network for Few-Shot Text Classification
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）
少样本学习已被用于解决文本分类中的标签稀缺问题，其中基于元学习的方法已被证明是有效的，例如原型网络（PROTO）。尽管PROTO取得了很大的成功，但仍存在三个主要问题：（1）在计算原型向量时忽略了样本支持集的随机性;（2）忽略了标记样本的重要性;（3）以纯随机的方式构造元任务。在本文中，我们提出了一个元学习连体网络，即元SN，来解决这些问题。具体地说，Meta-SN不是从采样的支持集计算原型向量，而是利用外部知识（例如类名和描述性文本）进行类标签，这些知识被编码为原型向量的低维嵌入。此外，Meta-SN提出了一种新的元任务采样策略，该策略对难以分类的样本提供了更高的采样概率。在六个基准数据集上进行了大量的实验，以显示Meta-SN相对于其他最先进的模型的明显优势。为了重现性，所有数据集和代码均在https://github.com/hccngu/Meta-SN上提供。
2023-03-16 cs.AI cs.CL
Inferential Text Generation with Multiple Knowledge Sources and Meta-Learning
Sun Yat-sen University（中山大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Search Technology Center Asia（微软亚洲搜索技术中心）；University of Washington（华盛顿大学）
我们研究的问题产生的推理文本的事件的各种常识一样，\textit{if-else}关系。现有的方法通常使用来自训练样本的有限证据，并单独地学习每个关系。在这项工作中，我们使用多个知识源作为模型的燃料。现有的常识知识库，如概念网，主要是分类知识（例如，\textit{isA}和\textit{relatedTo}关系），具有有限数量的推理知识。我们不仅使用结构化的常识知识库，还使用来自搜索引擎结果的自然语言片段。这些源通过键值记忆网络被合并到生成基础模型中。此外，我们还介绍了一种基于元学习的多任务学习算法。对于每一个目标常识关系，我们把从其他关系中学习示例作为元训练过程，把对目标关系中示例的评估作为元测试过程。我们在Event2Mind和ATOMIC数据集上进行实验。结果表明，多知识源的集成和Meta学习算法的使用提高了性能。
2020-04-15 cs.AI cs.CL
Knowledge-Aware Meta-learning for Low-Resource Text Classification
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Stanford University（斯坦福大学）；University of Science and Technology of China（中国科学技术大学）；Carnegie Mellon University（卡内基梅隆大学）
元学习在利用历史学习知识促进新任务的学习过程方面取得了巨大的成功。然而，当前的Meta学习算法所采用的仅仅从历史任务中学习知识的方法，在没有得到训练任务很好支持的情况下，可能不能很好地推广到测试任务。本文研究了一个低资源的文本分类问题，并利用外部知识库来弥合元训练和元测试任务之间的差距。具体来说，我们建议KGML引入额外的表示从提取的特定于句子的知识图谱学习的每个句子。在三个数据集上的大量实验证明了KGML在监督自适应和无监督自适应环境下的有效性。
2021-09-10 cs.CL cs.LG
Meta-learning of textual representations
INAOE（国家天体物理、光学与电子研究所）；CINVESTAV（高级研究中心）；ChaLearn
AutoML的最新进展导致了最先进的方法（例如，AutoSKLearn），非专家可以很容易地使用它来处理任何监督学习问题。虽然这些方法非常有效，但它们仍然受到限制，因为它们仅适用于表格（矩阵格式）数据。本文介绍了一个步骤，试图自动化的监督学习方法的设计，在文本挖掘的背景下。我们介绍了一个元学习方法，自动获得一个代表性的文本挖掘任务从原始文本。我们报告的实验考虑60种不同的文本表示和80多个文本挖掘数据集与各种各样的任务。实验结果表明，该方法是一个很有前途的解决方案，以获得高效的外壳文本分类管道。
2019-07-19 cs.CL cs.LG stat.ML
CMSAOne@Dravidian-CodeMix-FIRE2020: A Meta Embedding and Transformer model for Code-Mixed Sentiment Analysis on Social Media Text
International Institute of Information Technology - Hyderabad (IIIT-Hyderabad)（海得拉巴国际信息技术学院（IIIT-Hyderabad））
语码混用是一种常见的语言现象，它是指在一个话语或句子中使用多种语言。CM主要在各种社交媒体平台和非正式对话中进行。情感分析是自然语言处理中的一个基本步骤，在单语文本中得到了很好的研究。语码混合由于其非标准的表示方式给情感分析带来了挑战。本文提出了一种基于Transformer的Meta嵌入方法，用于对Dravidian代码混合数据集进行情感分析。在我们的方法中，我们使用Meta嵌入来捕获富文本表示。我们将所提出的方法用于任务：“代码混合文本中的达罗毗荼语的情感分析”，并且对于给定的达罗毗荼语代码混合数据集，它实现了$0.58$和$0.66$的F1得分。代码在Github https://github.com/suman101112/fire-2020-Dravidian-CodeMix中提供。
2021-01-22 cs.CL cs.LG
Meta-Learning Adversarial Domain Adaptation Network for Few-Shot Text Classification
East China Normal University（华东师范大学）；Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
元学习已经成为解决Few-Shot文本分类的趋势技术，并实现了最先进的性能。然而，现有的解决方案在很大程度上依赖于利用词汇特征及其分布签名的训练数据，而忽略了加强模型的能力，以适应新的任务。在本文中，我们提出了一种新的元学习框架集成了对抗性领域自适应网络，旨在提高模型的自适应能力，并生成高质量的文本嵌入新的类。在四个基准数据集上进行了广泛的实验，我们的方法在所有数据集上都表现出明显的优越性。特别是，在20个新闻组的数据集上，1镜头和5镜头分类的准确率分别从52.1%提高到59.6%和从68.3%提高到77.8%。
2021-07-26 cs.AI cs.CL
When Low Resource NLP Meets Unsupervised Language Model: Meta-pretraining Then Meta-learning for Few-shot Text Classification
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Frontier Technology Research Center（阿里巴巴-浙江大学前沿技术研究中心）；The First Affiliated Hospital of Zhejiang University（浙江大学医学院附属第一医院）；Alibaba Group（阿里巴巴集团）；Carnegie Mellon University（卡内基梅隆大学）；Oxford University（牛津大学）
文本分类往往是困难的，当数据不足或当它需要适应看不见的类。在这种具有挑战性的情况下，最近的研究经常使用元学习来模拟Few-Shot任务，从而否定了跨任务的隐含共同语言特征。本文使用元学习和无监督语言模型来解决这些问题。我们的方法是基于这样的见解，即从几个例子中获得良好的泛化依赖于通用模型初始化和使该模型适应新出现的任务的有效策略。我们表明，我们的方法不仅简单，而且在一个经过充分研究的情感分类数据集上产生了最先进的性能。因此，可以进一步建议，预训练可能是许多其他NLP任务的少样本学习的有前途的解决方案。用于重复实验的代码和数据集可在https://github.com/zxlzr/FewShotNLP上获得。
2019-11-21 cs.CL cs.IR
Language-Agnostic Meta-Learning for Low-Resource Text-to-Speech with Articulatory Features
Institute for Natural Language Processing（自然语言处理研究所）；University of Stuttgart（斯图加特大学）
虽然神经文本到语音系统在高资源场景中表现得非常好，但由于缺乏适当的训练数据，它们无法应用于世界上6,000多种口语中的大多数。在这项工作中，我们使用的嵌入来自发音向量，而不是嵌入来自音素身份学习音素表示，跨语言举行。结合语言不可知的Meta学习，这使我们能够在30分钟的数据上微调高质量的文本到语音模型，这些数据来自以前看不见的说话者所说的以前看不见的语言。
2022-03-07 cs.CL cs.LG eess.AS
Few-Shot Text Ranking with Meta Adapted Synthetic Weak Supervision
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Microsoft Research（微软研究院）
神经信息检索（Neu-IR）的有效性通常取决于大规模的域内相关性训练信号，这在现实世界的排名场景中并不总是可用的。为了民主化Neu-IR的好处，本文提出了MetaAdaptRank，域自适应学习方法，将Neu-IR模型从标签丰富的源域推广到Few-Shot目标域。MetaAdaptRank利用源域大规模相关性监督，对比合成目标域的大量弱监督信号，并根据其对Neu-IR模型的目标域排名准确性的益处，元学习重新加权这些合成的“弱”数据。在Web、新闻和生物医学领域的三个TREC基准测试上的实验表明，MetaAdaptRank显著提高了Neu-IR模型的Few-Shot排名精度。进一步的分析表明，MetaAdaptRank蓬勃发展，从其对比弱数据合成和元重新加权数据选择。本文的代码和数据可以从https://github.com/thunlp/MetaAdaptRank获得。
2021-06-02 cs.CL cs.IR
Meta-aware Learning in text-to-SQL Large Language Model
Walmart Global Tech（沃尔玛全球科技）
提出元感知学习框架，整合领域知识、数据库模式、思维链和元数据关系，通过四种学习策略微调LLM，提升商业领域SQL生成的执行准确率、多任务能力并减少灾难性遗忘。
2025-05-25 cs.AI cs.CL
Meta-CoTGAN: A Meta Cooperative Training Paradigm for Improving Adversarial Text Generation
Cognitive Computing Lab（认知计算实验室）；Baidu Research（百度研究院）
训练生成模型，生成高质量的文本，具有足够的多样性是一个重要的开放性问题的自然语言生成（NLG）社区。最近，生成对抗模型已被广泛应用于文本生成任务，其中对抗训练的生成器减轻了传统最大似然方法所经历的暴露偏差，并导致有希望的生成质量。然而，由于对抗训练的模式坍塌的臭名昭著的缺陷，对抗训练的生成器面临质量多样性权衡，即，发电机模型往往为了提高发电质量而严重牺牲发电分集。在本文中，我们提出了一种新的方法，旨在通过有效地减速对抗训练的模式坍塌来提高对抗文本生成的性能。为此，我们引入了一个合作的训练范式，其中一个语言模型与生成器合作训练，我们利用语言模型有效地塑造数据分布的生成器对模式坍塌。此外，而不是从事合作更新的发电机在一个原则性的方式，我们制定了一个Meta学习机制，其中的合作更新的发电机作为一个高层次的Meta任务，与直觉，确保参数的发电机后，对抗更新将保持抵抗模式坍塌。在实验中，我们证明了我们提出的方法可以有效地减缓对抗文本生成器的模式坍塌的速度。总的来说，我们提出的方法是能够优于基线的方法与显着的利润率方面的生成质量和多样性的验证域。
2020-03-12 cs.CL cs.LG stat.ML
Improving Meta-learning for Low-resource Text Classification and Generation via Memory Imitation
The Hong Kong University of Science and Technology（香港科技大学）；Stanford University（斯坦福大学）；Alibaba Group（阿里巴巴集团）；Peking University（北京大学）
构建自然语言处理（NLP）模型在资源匮乏的情况下是一项挑战，因为只有有限的数据可用。基于优化的Meta学习算法通过适应良好的广义模型初始化来处理新任务，在低资源场景中取得了令人满意的结果。尽管如此，这些方法存在记忆过拟合问题，其中模型倾向于记住元训练任务，而在适应新任务时忽略支持集。为了解决这个问题，我们提出了一种记忆模仿元学习（MemIML）方法，增强了模型对任务适应支持集的依赖。具体来说，我们引入了一个特定于任务的记忆模块来存储支持集信息，并构造了一个模仿模块来迫使查询集模仿存储在记忆中的一些代表性的支持集样本的行为。理论分析证明了该方法的有效性，实验结果也表明，该方法在文本分类和生成任务上都优于竞争基线。
2022-07-14 cs.CL cs.LG
ProtAugment: Unsupervised diverse short-texts paraphrasing for intent detection meta-learning
Université Jean Monnet（让·莫内大学）；Meetic
最近的研究认为，Few-Shot意图检测是一个元学习问题：该模型正在学习从一组连续的小任务中学习。在这项工作中，我们提出了ProtAugment，一个Meta学习算法短文本分类（意图检测任务）。ProtAugment是Prototypical Networks的一个新扩展，它限制了在每个事件中由少数镜头分类目标引入的偏差的过拟合。它依赖于不同的释义：首先对条件语言模型进行微调以进行释义，然后在每个元学习片段的解码阶段引入多样性。多样的释义是无监督的，因为它被应用于未标记的数据，然后作为一致性损失被推向原型网络训练目标。ProtAugment是用于意图检测元学习的最先进的方法，不需要额外的标记工作，也不需要在给定的应用领域上微调条件语言模型。
2021-05-27 cs.AI cs.CL cs.LG
Meta Fine-Tuning Neural Language Models for Multi-Domain Text Mining
Alibaba Group（阿里巴巴集团）；East China Normal University（华东师范大学）
预训练的神经语言模型通过在特定于任务的训练集上微调模型，为各种NLP任务带来了显着的改进。在微调过程中，参数直接从预训练的模型中初始化，这忽略了不同领域中类似NLP任务的学习过程是如何相互关联和相互加强的。在本文中，我们提出了一个有效的学习过程命名为Meta Fine-Tuning（MFT），作为一个元学习器来解决一组类似的NLP任务的神经语言模型。MFT不是简单地对所有数据集进行多任务训练，而是只从各个领域的典型实例中学习，以获得高度可转移的知识。它进一步鼓励语言模型通过优化一系列新颖的域损坏损失函数来编码域不变表示。在MFT之后，模型可以针对每个域进行微调，具有更好的参数初始化和更高的泛化能力。我们在BERT上实现了MFT，解决了多个多领域文本挖掘任务。实验结果证实了MFT的有效性及其对少样本学习的有用性。
2020-09-16 cs.CL cs.LG
Meta-Tsallis-Entropy Minimization: A New Self-Training Approach for Domain Adaptation on Text Classification
National University of Defense Technology（国防科技大学）；Beijing Institute of Biotechnology（北京生物技术研究所）；Suiren Information（燧人信息）
本文提出Meta-Tsallis熵最小化（MTEM）方法，通过元学习优化实例自适应Tsallis熵，并结合二阶导数近似和退火采样机制，有效提升文本分类模型在跨领域场景下的自训练适应性能。
2023-08-04 cs.CL cs.LG
Meta-DiffuB: A Contextualized Sequence-to-Sequence Text Diffusion Model with Meta-Exploration
University of Washington（华盛顿大学）；Microsoft（微软公司）；Maxora AI；National Taiwan University（台湾大学）
本文提出Meta-DiffuB框架，通过元探索训练调度器为每个句子生成上下文化噪声，以改进序列到序列文本扩散模型，在多个基准上取得最优性能并支持即插即用增强DiffuSeq。
2024-10-17 cs.AI cs.CL cs.LG
The meta book and size-dependent properties of written language
Umeå University（于默奥大学）
证据是一个系统的文本长度依赖的幂律指数伽玛的一本书。所估计的伽马值与随着文本长度的增加从2到1的单调减小一致。一个直接连接到一个扩展堆的法律进行了探讨。因此，如果齐普夫定律普遍适用，那么无限的账面限额将由伽马= 1而不是预期的伽马=2给出。此外，我们探讨的想法，系统的文本长度依赖可以描述的Meta书的概念，这是一个抽象的表示反映词频结构的文本。根据这一概念，由单个作者撰写的具有一定长度的文本的词频分布与从同一作者撰写的想象的完整无限语料库中提取的相同长度的文本具有相同的特征。
2009-09-24 cs.CL physics.data-an physics.soc-ph
Meta Learning Text-to-Speech Synthesis in over 7000 Languages
University of Stuttgart（斯图加特大学）；Fraunhofer IIS Erlangen（弗劳恩霍夫埃尔兰根应用集成电路研究所）；University of Groningen（格罗宁根大学）
本文提出结合大规模多语言预训练与元学习，构建支持超过7000种语言零样本语音合成的单一TTS系统，并通过客观与人工评估验证性能。
2024-06-10 cs.CL cs.LG cs.SD
Data Efficient Direct Speech-to-Text Translation with Modality Agnostic Meta-Learning
Samsung Research（三星研究院）
端到端语音翻译（ST）模型具有几个优点，例如较低的延迟、较小的模型大小以及比组合自动语音识别（ASR）和文本机器翻译（MT）模型的常规流水线更少的错误复合。然而，收集大量的并行数据的ST任务是更困难的ASR和MT任务相比。以往的研究提出了使用迁移学习的方法来克服上述困难。这些方法受益于弱监督的训练数据，例如ASR语音到转录本或MT文本到文本翻译对。然而，这些模型中的参数独立于每个任务进行更新，这可能导致次优解决方案。在这项工作中，我们采用Meta学习算法训练一个模态无关的多任务模型，将知识从源任务=ASR+MT转移到目标任务=ST，其中ST任务严重缺乏数据。在元学习阶段，模型的参数暴露于大量的语音转录（例如，英语ASR）和文本翻译（例如，英语-德语MT）。在此阶段，参数以理解语音、文本表示、它们之间的关系的方式更新，并作为目标ST任务的良好初始化点。我们评估建议的元学习方法ST任务的英语-德语（En-De）和英语-法语（En-Fr）的语言对多语言语音翻译语料库（Must-C）。我们的方法优于以前的迁移学习方法，并通过分别获得9.18和11.76的BLEU点改进，为En-De和En-Fr ST任务设置了新的最先进的结果。
2020-04-28 cs.CL cs.LG cs.SD
Learning to Generalize Unseen Domains via Multi-Source Meta Learning for Text Classification
Shenzhen MSU-BIT University（深圳北理莫斯科大学）；Sun Yat-Sen University（中山大学）；SIAT, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Guangdong-Hong Kong-Macao Joint Laboratory for Emotional Intelligence and Pervasive Computing（粤港澳情感智能与普适计算联合实验室）
本文提出多源元学习领域泛化框架，结合记忆机制与“陪审团”机制，提升文本分类模型在未见领域的泛化能力，并在多源数据集上超越现有方法。
2024-09-20 cs.AI cs.CL cs.LG
Meta-TTS: Meta-Learning for Few-Shot Speaker Adaptive Text-to-Speech
National Taiwan University（台湾大学）
个性化语音合成系统是非常期望的应用，其中系统可以利用用户的语音生成语音，而用户的语音具有罕见的登记记录。在最近的工作中，有两种主要的方法来建立这样的系统：说话人自适应和说话人编码。一方面，说话人自适应方法用很少的注册样本对训练好的多说话人文本到语音（TTS）模型进行微调。然而，它们需要至少数千个微调步骤才能实现高质量的适配，这使得它很难应用于设备。另一方面，说话人编码方法将登记话语编码到说话人嵌入中。训练好的TTS模型可以在相应的说话人嵌入的条件下合成用户的语音。然而，扬声器编码器受到可见扬声器和不可见扬声器之间的泛化间隙的影响。在本文中，我们提出了应用Meta学习算法的说话人自适应方法。更具体地说，我们使用模型不可知元学习（MAML）作为多说话者TTS模型的训练算法，其目的是找到一个很好的元初始化，以使模型快速适应任何Few-Shot说话者自适应任务。因此，我们也可以有效地将元训练的TTS模型适应于看不见的说话者。我们的实验比较所提出的方法（元TTS）与两个基线：一个扬声器自适应方法基线和扬声器编码方法基线。实验结果表明，在相同训练方案下，元文语转换系统能够以较少的训练步骤从少量的注册样本中合成出具有较高说话人相似度的语音，且性能优于说话人编码基线。当基线的扬声器编码器使用额外的8371个扬声器数据进行预训练时，Meta-TTS仍然可以在LibriTTS数据集上优于基线，并在VC…
2022-07-29 cs.CL cs.SD eess.AS
