Predicting Embedding Reliability in Low-Resource Settings Using Corpus Similarity Measures
University of Canterbury（坎特伯雷大学）；New Zealand Institute for Language, Brain and Behaviour（新西兰语言、大脑与行为研究所）
本文模拟了17种语言的低资源设置，以评估不同条件下的嵌入相似性，稳定性和可靠性。目标是在训练前使用语料库相似性度量来预测训练后嵌入的属性。本文的主要贡献是表明，它是可以预测下游嵌入相似性使用上游语料库相似性措施。这一发现，然后应用到低资源设置的嵌入从非常有限的训练数据的可靠性建模。结果表明，它是可能的，以估计低资源嵌入的可靠性，使用语料库的相似性措施，保持强大的少量数据。这些发现对评估真正的低资源语言具有重要意义，因为数据限制，这种系统的下游验证方法是不可能的。
2022-06-09 cs.CL
Mapping Supervised Bilingual Word Embeddings from English to low-resource languages
Saarland University（萨尔兰大学）
由于数据的可用性不足，使用低资源语言是非常具有挑战性的。过去，使用字典将独立训练的词嵌入映射到共享向量空间中已被证明在学习双语嵌入时非常有用。在这里，我们尝试映射英语单词的各个嵌入，以及它们在爱沙尼亚语、斯洛文尼亚语、爱沙尼亚语和匈牙利语等低资源语言中对应的翻译单词。我们使用了一种监督学习方法。我们报告的准确性分数，通过各种检索策略，这表明它是可能的方法具有挑战性的任务，在自然语言处理，如机器翻译等语言，只要我们至少有一定数量的适当的双语数据。我们还得出结论，我们可以遵循单语文本数据的无监督学习路径，因为这更适合于低资源语言。
2019-10-14 cs.CL
Sinhala Sentence Embedding: A Two-Tiered Structure for Low-Resource Languages
University of Moratuwa（莫拉图瓦大学）；LIRNEasia（斯里兰卡信息通信技术促进发展区域倡议组织）
在对自然语言进行数值建模的过程中，语言嵌入的开发是至关重要的一步。然而，为资源贫乏的语言（如僧伽罗语）开发函数嵌入是具有挑战性的，因为很难找到足够大的语料库，有效的语言解析器和任何其他所需的资源。在这种情况下，利用现有的模型来提出一种有效的嵌入方法来数字表示文本可能是非常富有成效的。本文探讨了几个一层和两层的嵌入架构的有效性表示僧伽罗语文本的情感分析域。根据我们的研究结果，两层嵌入架构（下层由单词嵌入组成，上层由句子嵌入组成）已被证明比单层词嵌入表现更好，最高F1得分为88.04%，而词嵌入模型的F1得分为83.76%。此外，在双曲空间中的嵌入也被开发，并在性能方面与欧氏嵌入进行比较。由Facebook帖子和相关反应组成的情感数据集已用于本研究。为了有效地比较不同嵌入系统的性能，已经在情感数据上训练了相同的深度神经网络结构，其中每个嵌入系统用于对相关联的文本进行编码。
2022-10-26 cs.CL
Isomorphic Cross-lingual Embeddings for Low-Resource Languages
Saarland University（萨尔大学）；École Polytechnique（巴黎综合理工学院）
跨语言词嵌入（CLWEs）是将从高资源环境中学习到的语言信息转移到低资源环境中的一个关键组成部分。最近的跨语言表示学习研究集中在离线映射方法，由于其简单性，计算效率，并能够与最小的并行资源。然而，它们主要依赖于嵌入空间近似同构的假设，即共享相似的几何结构，这在实践中并不成立，导致低资源和遥远语言对的性能较差。在本文中，我们介绍了一个框架来学习CLWEs，不假设等距，低资源对通过联合开发相关的高资源语言。在我们的工作中，我们首先使用离线方法预先对齐低资源和相关语言嵌入空间，以减轻等距假设。随后，我们使用联合训练方法来开发相关语言和目标嵌入空间的CLWE。最后，我们重新映射预对齐的低资源空间和目标空间，以生成最终的CLWE。我们表现出一致的收益超过目前的方法在质量和同构的程度，双语词典归纳（BLI）和特征值相似性分别衡量，在几个语言对：{尼泊尔语，芬兰语，罗马尼亚语，古吉拉特语，匈牙利语}-英语。最后，我们的分析还指出，相关性以及相关语言数据的数量是决定嵌入质量的关键因素。
2022-03-28 cs.CL
Dirichlet-Smoothed Word Embeddings for Low-Resource Settings
Center for Information and Language Processing（信息与语言处理中心）；Ludwig-Maximilians-Universität München（慕尼黑大学）
如今，使用正逐点互信息（PPMI）加权共生矩阵的经典基于计数的词嵌入已被基于机器学习的方法（如word2vec和GloVe）广泛取代。但是这些方法通常使用非常大量的文本数据来应用。然而，在许多情况下，没有太多的文本数据可用，例如特定领域或低资源语言。本文通过加入Dirichlet平滑来修正其对稀有词的偏见，从而重新审视了PPMI。我们在标准的词相似性数据集上进行评估，并与word2vec和最新的低资源设置的最新技术进行比较：词嵌入的正和未标记（PU）学习。该方法在低资源环境下的性能优于PU学习，并在马耳他语和匈牙利语中获得了有竞争力的结果。
2020-06-22 cs.CL
Sinhala-English Word Embedding Alignment: Introducing Datasets and Benchmark for a Low Resource Language
University of Moratuwa（莫拉图瓦大学）
本文针对低资源语言僧伽罗语，提出与英语的词嵌入对齐方法，引入对齐数据集和基准，为后续专业对齐奠定基础。
2023-11-17 cs.CL
Enhancing Cross-lingual Sentence Embedding for Low-resource Languages with Word Alignment
The University of Tokyo（东京大学）
针对低资源语言跨语言词表征对齐不足的问题，本文提出基于现成词对齐模型的显式词对齐框架，结合三项训练目标，显著提升低资源句子嵌入并保持高资源任务性能。
2024-04-03 cs.CL
GrEmLIn: A Repository of Green Baseline Embeddings for 87 Low-Resource Languages Injected with Multilingual Graph Knowledge
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Centre for European Research in Trusted AI (CERTAIN)（欧洲可信人工智能研究中心）
本文提出GrEmLIn，一个针对87种低资源语言的绿色静态基线嵌入库，通过整合多语言图知识增强GloVe嵌入，在推理时无需参数且性能可与大型模型媲美。
2025-01-27 cs.CL
Anchor-based Bilingual Word Embeddings for Low-Resource Languages
Technical University of Munich（慕尼黑工业大学）；LMU Munich（慕尼黑大学）
高质量的单语词嵌入（MWE）可以为具有大量未标记文本的语言构建。MWE可以只使用几千个单词的翻译对来与双语空间对齐。对于低资源语言，单语训练MWE导致质量差的MWE，并且因此也导致差的双语词嵌入（BWE）。本文提出了一种新的方法来构建BWE，其中高资源源语言的向量空间被用作训练低资源目标语言的嵌入空间的起点。通过使用源向量作为锚，向量空间在训练期间自动对齐。我们实验英语德语，英语Hiligaynon和英语马其顿语。我们表明，我们的方法不仅在提高BWEs和双语词典归纳性能的结果，但也在提高目标语言MWE质量测量单语词相似性。
2021-07-27 cs.CL
LearningWord Embeddings for Low-resource Languages by PU Learning
University of Virginia（弗吉尼亚大学）；University of California Davis（加利福尼亚大学戴维斯分校）；Amazon（亚马逊）；University of California Los Angeles（加利福尼亚大学洛杉矶分校）
词嵌入是处理自然语言的许多下游应用中的关键组件。现有的方法通常假设存在大量的文本来学习有效的词嵌入。然而，这样的语料库可能不适用于一些低资源语言。在本文中，我们研究如何有效地学习一个词嵌入模型的语料库只有几百万的令牌。在这种情况下，共现矩阵是稀疏的，因为许多词对的共现是未观察到的。与现有的方法通常只采样几个未观察到的词对作为负样本相比，我们认为，共现矩阵中的零条目也提供了有价值的信息。然后，我们设计了一个积极的无标签学习（PU学习）的方法，因式分解的共生矩阵，并在四种不同的语言验证所提出的方法。
2018-05-09 cs.CL
Multilingual Word Embeddings for Low-Resource Languages using Anchors and a Chain of Related Languages
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Technical University of Munich（慕尼黑工业大学）
针对不相关的极低资源语言跨语言表示质量差的问题，提出基于语言链的多语言词嵌入方法，通过中间相关语言和锚点逐步构建多语言空间，在双语词典归纳任务上取得显著性能提升。
2023-11-21 cs.CL
How to Probe Sentence Embeddings in Low-Resource Languages: On Structural Design Choices for Probing Task Evaluation
Technische Universität Darmstadt（达姆施塔特工业大学）
句子编码器将句子映射到实值向量以供下游应用使用。为了窥视这些表示-例如，为了增加其结果的可解释性，已经设计了探测任务，该探测任务向它们询问语言知识。然而，为资源较少的语言设计探测任务是棘手的，因为这些语言通常缺乏大规模的注释数据或（高质量）依赖解析器作为英语探测任务设计的先决条件。为了研究如何在这种情况下探测句子嵌入，我们调查了探测任务结果对结构设计选择的敏感性，进行了第一次这样的大规模研究。我们表明，设计选择，如标注探测数据集的大小和用于评估的分类器类型（有时会大大）影响探测结果。然后，我们探测嵌入在一个多语言的设置与设计选择，位于一个“稳定的区域”，因为我们确定为英语，并发现英语的结果不转移到其他语言。因此，今后应该对多种语文进行更公平、更全面的探究性评价。
2020-10-28 cs.CL
Mean BERTs make erratic language teachers: the effectiveness of latent bootstrapping in low-resource settings
University of Oslo（奥斯陆大学）
本文研究潜在自举法在低资源语言模型预训练中的有效性，基于BabyLM共享任务实验表明，利用上下文化嵌入的自监督方式在有限资源下可获取语言知识。
2023-10-30 cs.CL cs.LG
Bootstrapping a Tagged Corpus through Combination of Existing Heterogeneous Taggers
本文介绍了一种新的方法，组合引导，利用现有的标签和词汇资源的标注语料库与新的标签集。Combi-bootstrap使用现有资源作为第二级机器学习模块的特征，该第二级模块被训练以在注释语料库材料的非常小的样本上进行到新标签集的映射。实验表明，Combi-bootstrap：i）可以整合各种现有资源，ii）比最佳单个标记器和由相同的小训练样本构建的集成标记器实现更高的准确性（高达44.7%的错误减少）。
2000-07-13 cs.CL
Combining Pretrained High-Resource Embeddings and Subword Representations for Low-Resource Languages
The University of Tokyo（东京大学）
目前的自然语言处理（NLP）技术需要大量数据，而缺乏大量数据，这两者之间的对比在非洲语言的情况下更加突出，其中大多数被认为是低资源。为了帮助解决这个问题，我们探索了利用形态丰富语言（MRL）的质量的技术，同时利用资源丰富的语言中的预训练词向量。在我们的探索中，我们证明了一种结合预训练和形态信息的词嵌入的元嵌入方法在科萨语-英语翻译的下游任务中表现最好。
2020-04-21 cs.CL cs.LG
A Data Bootstrapping Recipe for Low Resource Multilingual Relation Classification
IIT Kharagpur（印度理工学院卡拉格普尔分校）；Leibniz University Hannover（汉诺威莱布尼茨大学）；IIT Bombay（印度理工学院孟买分校）
关系分类（有时称为“提取”）需要可靠的数据集来微调大语言模型，以及进行评估。对于印度语言来说，数据汇集是一项挑战，因为它们在句法和形态上都是多样的，而且与英语等资源丰富的语言不同。尽管最近对印度语言的深度生成模型感兴趣，但公共数据集仍然不能很好地服务于关系分类。作为回应，我们提出了IndoRE，一个数据集，有21K个实体和关系标记的金句，用三种印度语言加上英语。我们开始与多语言BERT（mBERT）为基础的系统，捕捉实体跨度位置和类型信息，并提供竞争力的单语关系分类。使用这个系统，我们探索和比较语言之间的迁移机制。特别是，我们研究了昂贵的黄金实例与翻译和对齐的“银”实例之间的准确性和效率的权衡。我们发布数据集以供未来研究。
2021-10-18 cs.CL
A Little Annotation does a Lot of Good: A Study in Bootstrapping Low-resource Named Entity Recognizers
大多数最先进的命名实体识别（NER）模型依赖于大量标记数据的可用性，这使得它们很难扩展到新的、资源较少的语言。然而，现在有几种提出的方法涉及从其他高度资源化的语言学习的跨语言迁移学习，或者基于模型预测有效地选择有效的训练数据的主动学习。本文件提出的问题是：考虑到最近的进展和有限的人工注释，在资源不足的语言中有效创建高质量实体识别器的最有效方法是什么？基于大量的实验，使用模拟和真实的人类注释，我们发现一个双策略的方法最好，开始与跨语言的传输模型，然后执行有针对性的注释只有不确定的实体跨度在目标语言，最大限度地减少注释工作。结果表明，跨语言迁移是一个强大的工具，当很少的数据可以注释，但实体为目标的注释策略可以达到竞争力的准确性迅速，只有十分之一的训练数据。
2019-08-23 cs.CL
Unsupervised Multilingual Word Embeddings
多语言词嵌入（MWE）在单个分布向量空间中表示来自多种语言的词。无监督MWE（UMWE）方法在没有跨语言监督的情况下获得多语言嵌入，这比传统的监督方法具有显着优势，并为低资源语言开辟了许多新的可能性。然而，用于学习UMWE的现有技术仅仅依赖于多个独立训练的无监督双语词嵌入（UBWE）来获得多语言嵌入。这些方法无法利用许多语言之间存在的相互依赖性。为了解决这个缺点，我们提出了一个完全无监督的框架，用于学习MWE，直接利用所有语言对之间的关系。我们的模型大大优于以前的方法在实验中的多语言单词翻译和跨语言单词相似性。此外，我们的模型甚至击败了使用跨语言资源训练的监督方法。
2018-09-06 cs.CL
How Good is BLI as an Alignment Measure: A Study in Word Embedding Paradigm
Dept. of Computer Science & Engineering, University of Moratuwa（计算机科学与工程系，穆塔瓦大学）
本研究以双语词典归纳（BLI）为对齐度量指标，对比多语言嵌入与对齐单语嵌入的表现，发现BLI的局限性并提出改进方法，探讨了两者在计算成本与性能间的折中可能。
2025-11-17 cs.CL
UniBridge: A Unified Approach to Cross-Lingual Transfer Learning for Low-Resource Languages
VinAI Research（VinAI研究院）；Nanyang Technological University（南洋理工大学）；Ho Chi Minh City University of Technology (HCMUT)（胡志明市理工大学）；VNU-HCM（胡志明市国家大学）
本文提出UniBridge，通过优化嵌入初始化和词汇表大小，提升低资源语言的跨语言迁移学习效果，实验显示F1分数显著提高。
2024-08-21 cs.CL
LGSE: Lexically Grounded Subword Embedding Initialization for Low-Resource Language Adaptation
L3S Research Center Hannover（汉诺威L3S研究中心）
LGSE通过引入词法信息的子词分割方法，改进低资源语言适应中的词嵌入初始化，通过平均预训练的子词或FastText词法表示，提升表示质量。
2026-03-23 cs.AI cs.CL
Exploiting Sublanguage and Domain Characteristics in a Bootstrapping Approach to Lexicon and Ontology Creation
建立词汇资源和领域本体的成本非常高。特别是当面对一个新的应用领域时，词汇空缺和领域概念的覆盖率差是成功开发自然语言文档分析系统的一个问题，这些系统需要并利用这些知识源。在本文中，我们报告正在进行的实验与“自举技术”的词汇和本体的创建。
2003-04-23 cs.CL
BanglaEmbed: Efficient Sentence Embedding Models for a Low-Resource Language Using Cross-Lingual Distillation Techniques
North South University（北南大学）
本文提出BanglaEmbed，通过跨语言知识蒸馏从高性能英语句变换器构建两个轻量级孟加拉语句嵌入模型，在释义检测、语义文本相似度和仇恨言论检测等任务上优于现有模型，并适合资源受限环境部署。
2024-11-22 cs.CL cs.LG
TWICE: What Advantages Can Low-Resource Domain-Specific Embedding Model Bring? -- A Case Study on Korea Financial Texts
MODULABS（모듈랩스）；KT Corporation；Shinhan Securities Co（신한증권）
本文针对低资源语言（韩语）金融领域，提出新基准 KorFinMTEB，揭示直接翻译基准的局限性，强调需开发反映语言文化特质的领域特定评估框架。
2025-04-01 cs.CL q-fin.CP
Bootstrapping Multilingual AMR with Contextual Word Alignments
University of Pennsylvania（宾夕法尼亚大学）；IBM Research（IBM研究院）
我们开发了高性能的多语言抽象意义表示（AMR）系统，通过投影英语AMR注释到其他语言的弱监督。我们通过引导基于transformer的多语言词嵌入来实现这一目标，特别是那些来自跨语言RoberTa（XLM-R large）的词嵌入。我们开发了一种新的技术，用于外国文本到英语AMR对齐，使用英语和外语标记之间的上下文单词对齐。这种词对齐是弱监督的，依赖于上下文化的XLM-R词嵌入。我们实现了非常有竞争力的性能，超过了德语，意大利语，西班牙语和中文的最佳结果。
2021-02-03 cs.AI cs.CL
Lightly-supervised Representation Learning with Global Interpretability
University of Arizona（亚利桑那大学）
我们提出了一种用于信息抽取，特别是命名实体分类的轻度监督方法，该方法结合了传统自举的优点，即，使用有限的注释和提取模式的可解释性，以及表示学习中提出的鲁棒学习方法。我们的算法迭代地学习自定义嵌入的多词实体提取和模式，匹配他们从每个类别的几个例子实体。我们证明，这种基于表示的方法优于其他三个国家的最先进的自举方法在两个数据集：CoNLL-2003和OntoNotes。此外，使用这些嵌入，我们的方法输出了一个全局可解释的模型，由一个决策列表组成，根据它们与给定类中嵌入的平均实体的接近程度对模式进行排名。我们表明，这种可解释的模型执行接近我们的完整的自举模型，证明表示学习可以用来产生可解释的模型，性能损失很小。
2018-05-29 cs.CL
Phonetic forced alignment for low-resource language varieties: Model training and evaluation on Chengdu Mandarin
Shanghai Jiao Tong University（上海交通大学）；City University of Hong Kong（香港城市大学）；The Hong Kong Polytechnic University（香港理工大学）；Beijing Foreign Studies University（北京外国语大学）
针对现有语音强制对齐系统缺乏低资源语言变体专门模型的问题，利用17小时语料库和自定义词典，训练成都话依赖文本与独立文本的对齐器，显著优于标准普通话基线，建立实用自训练管道。
2026-07-24 cs.AI cs.CL
Intent Classification Using Pre-trained Language Agnostic Embeddings For Low Resource Languages
IIIT Delhi（德里印度理工学院）；J.P.Morgan AI Research（摩根大通人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）
构建不依赖于特定语言的自动语音识别（ASR）的口语语言理解（SLU）系统是语言处理中一个重要但较少探索的问题。在本文中，我们提出了一个比较研究，旨在采用预先训练的声学模型，在低资源的情况下执行SLU。具体来说，我们使用了使用Allosaurus（一种预训练的通用音素解码器）提取的三种不同的嵌入：（1）Phone（2）Panphone和（3）Allo嵌入。然后，这些嵌入被用于识别说出的意图。我们在三种不同的语言进行实验：英语，僧伽罗语和泰米尔语，每个不同的数据大小，以模拟高，中，低资源的情况。我们的系统提高了国家的最先进的（SOTA）的意图分类准确率约2.11%的僧伽罗语和7.00%的泰米尔语，并取得了有竞争力的结果英语。此外，我们提出了一个定量分析的性能尺度与每个意图使用的训练样本的数量。
2022-04-18 cs.CL cs.SD eess.AS
Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora
School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）；NTT Communication Science Laboratories（NTT通信科学实验室）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所革新智能综合研究中心）
我们提出了一种新的方法来学习上下文跨语言的词嵌入的基础上一个小的平行语料库（例如几百个句子对）。我们的方法通过LSTM编码器-解码器模型获得词嵌入，该模型同时翻译和重建输入句子。通过在不同语言之间共享模型参数，我们的模型在一个公共的跨语言空间中联合训练词嵌入。我们还建议结合词和子词嵌入，以利用不同语言的拼写相似性。我们的实验基于濒危语言的真实数据，即永宁纳，Shipibo-Konibo和Griko。我们的双语词典归纳和单词对齐任务的实验表明，我们的模型优于现有的方法，大多数语言对的大幅度。这些结果表明，与通常的看法相反，编码器-解码器翻译模型即使在资源极其有限的情况下也有利于学习跨语言表示。此外，我们的模型在高资源条件下也能很好地工作，在德语-英语单词对齐任务上实现了最先进的性能。
2021-10-20 cs.AI cs.CL cs.LG
Edeflip: Supervised Word Translation between English and Yoruba
本研究针对低资源语言约鲁巴语实现有监督嵌入对齐的单词翻译，发现嵌入质量与归一化可提升准确率且存在交互效应，揭示了该方法在低资源场景的局限性，为相关研究提供起点。
2025-06-16 cs.AI cs.CL cs.LG
Unsupervised Domain Adaptation of Contextual Embeddings for Low-Resource Duplicate Question Detection
Microsoft（微软）
提问是许多对话系统或搜索产品的主要目标。虽然大多数当前系统集中于针对结构化数据库或策划的知识图谱回答问题，但是在线社区论坛或常见问题（FAQ）列表为问答系统提供了替代的信息源。自动重复问题检测（DQD）是问答系统利用现有在线论坛（如StackExchange）的关键技术。这些论坛中重复问题的现有注释是社区驱动的，使得它们在许多领域中稀疏甚至完全缺失。因此，从相关领域和任务中转移知识非常重要。最近，诸如BERT之类的上下文嵌入模型通过将自监督信息传输到下游任务而超过了许多基线。在本文中，我们将BERT应用于DQD，并通过使用自监督学习对StackExchange域进行无监督适应来改进它。我们证明了这种适应的有效性低资源设置，很少或没有训练数据可从目标域。我们的分析表明，无监督BERT领域自适应，即使是少量的数据，提高性能的BERT。
2019-11-06 cs.CL cs.LG
NagaNLP: Bootstrapping NLP for Low-Resource Nagamese Creole with Human-in-the-Loop Synthetic Data
RespAI Lab（RespAI实验室）；KIIT（KIIT大学）
NagaNLP通过人类在循环中的合成数据生成，为低资源纳加拉语克里奥尔语提供了一个开源工具包，实现了词性标注和命名实体识别的高精度模型。
2025-12-14 cs.CL
Bootstrapping Techniques for Polysynthetic Morphological Analysis
Charles Darwin University（查尔斯达尔文大学）
由于一个词中词素槽和组合的数量，多合成语言的词汇量特别大，而且非常稀少。这种复杂性，加上书面数据的普遍缺乏，对自然语言技术的发展提出了挑战。为了应对这一挑战，我们提供了语言学上知情的方法引导神经形态分析仪，并展示其应用Kunwinjku，一个多合成的澳大利亚语言。我们从有限状态传感器生成数据来训练编码器-解码器模型。我们通过将缺失的语言结构“幻觉化”到训练数据中来改进模型，并通过从Zipf分布中恢复来模拟更自然的词素分布。最好的模型解释了测试集中的所有重复实例，总体准确率达到94.7%，比FST基线提高了10个百分点。这个过程证明了从最少的资源引导神经形态分析器的可行性。
2020-05-03 cs.CL
MAGE: Multi-Head Attention Guided Embeddings for Low Resource Sentiment Classification
School of Computer Science and Engineering, Vellore Institute of Technology（韦洛尔理工学院计算机科学与工程学院）；University of Pretoria（比勒陀利亚大学）
针对低资源班图语言数据稀缺问题，提出结合语言无关数据增强与多头注意力加权嵌入的模型，以增强关键数据点，提升文本分类性能，为低资源语言处理奠定基础。
2025-02-25 cs.AI cs.CL cs.IR
Less is More: Adapting Text Embeddings for Low-Resource Languages with Small Scale Noisy Synthetic Data
Metric AI Lab（Metric AI实验室）
本文挑战了大规模数据对语义对齐的必要性假设，通过小规模噪声合成数据提升低资源语言文本嵌入性能，实验显示在仅1万对数据下即可获得显著改进，验证了噪声对语义对齐的鲁棒性。
2026-03-04 cs.CL cs.IR
Zero-shot Dependency Parsing with Unsupervised Cross-Lingual Bootstrapping
VISTEC；Chulalongkorn University（朱拉隆功大学）；AI Singapore（AI新加坡）
提出跨语言无监督自举方法增强预训练语言模型句法知识，显著提升低资源语言零样本依存句法分析性能，并增强句法结构识别鲁棒性。
2026-09-30 cs.CL
Bootstrapping NLU Models with Multi-task Learning
Amazon Research（亚马逊研究院）；Amazon Development Center（亚马逊开发中心）
用最少的训练数据引导自然语言理解（NLU）系统是将Alexa和Siri等数字助理扩展到新语言的根本挑战。当响应于用户查询时，在数字助理中适配的常见方法是以流水线方式处理输入，其中第一任务是预测域，随后是意图和槽的推断。然而，这种级联的方法煽动错误传播，并防止这些任务之间的信息共享。此外，在许多研究中，使用单词作为意义的原子单位可能会导致在数据有限的情况下，德语和法语等形态丰富的语言的覆盖问题。我们通过引入一个字符级的统一神经架构来解决这些问题，该架构用于域、意图和槽分类的联合建模。我们从字符组成词嵌入，并通过多任务学习联合优化所有分类任务。在我们的研究结果中，我们表明，所提出的架构是在低资源环境中引导NLU系统的最佳选择，从而节省了时间，成本和人力。
2019-11-15 cs.CL
Discovering Bilingual Lexicons in Polyglot Word Embeddings
Carnegie Mellon University（卡内基梅隆大学）；Onai
双语词典和短语表是现代机器翻译系统的重要资源。虽然最近的研究结果表明，没有任何种子词典或平行数据，高度准确的双语词典可以使用无监督的方法来学习，这种方法依赖于大型，干净的单语语料库的存在。在这项工作中，我们利用一个单一的跳过语法模型训练的多语种语料库产生多语种词嵌入，并提出了一个新的发现，一个令人惊讶的简单的约束最近邻采样技术在这个嵌入空间可以检索双语词典，即使在苛刻的社会媒体数据集主要是写在英语和罗马印地语，并经常表现出代码切换。我们的方法不需要单语语料库，种子词典，或任何其他此类资源。此外，在三个欧洲语言对，我们观察到，多语词嵌入确实学习了丰富的语义表示的单词和大量的双语词典可以检索使用我们的约束最近邻抽样。我们调查潜在的原因和下游应用程序的设置跨越干净的文本和嘈杂的社交媒体数据集，并在资源丰富和资源不足的语言对。
2020-08-31 cs.CL cs.CY cs.LG
Embedding Initialization for Unseen Low-resource Languages in Multilingual NMT: A Case Study on Limbum-English Translation
Ruzivo Research Lab（鲁齐沃研究实验室）；African Leadership University（非洲领导力大学）
本研究针对NLLB-200等多语言NMT模型未见低资源语言的代理token选择问题，提出多语言词嵌入初始化策略，在林布语-英语翻译上取得与最佳单语言代理相当的性能，消除了启发式选择需求，但存在声调变音符号保留的挑战。
2026-08-11 cs.CL cs.LG
Bootstrapping meaning through listening: Unsupervised learning of spoken sentence embeddings
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；University of British Columbia（不列颠哥伦比亚大学）；Indiana University Bloomington（印第安纳大学伯明顿分校）；Newcastle University（纽卡斯尔大学）；Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）
直接从语音信号中导出语义表示是一项极具挑战性的任务，但在语音挖掘和口语语言理解中有许多有用的应用。本研究探讨口语语义表征的无监督学习。通过将语音信号转换为声学单元发现产生的隐藏单元，我们提出了WavEmbed，一个多模态顺序自动编码器，预测隐藏单元从密集的语音表示。其次，我们还提出了S-HuBERT通过知识蒸馏来归纳意义，其中句子嵌入模型首先在隐藏单元上进行训练，并通过对比学习将其知识传递给语音编码器。表现最好的模型与人类判断的相关性适中（0.5~0.6），不依赖于任何标签或透明度。此外，这些模型还可以很容易地扩展，以利用语音的文本翻译来学习与人类注释密切相关的更好的语音嵌入。我们提出的方法是适用于纯粹的数据驱动的语音挖掘，索引和搜索系统的发展。
2022-10-23 cs.CL cs.SD eess.AS
Enhancing Plagiarism Detection in Marathi with a Weighted Ensemble of TF-IDF and BERT Embeddings for Low-Resource Language Processing
COEP Technological University（COEP理工大学）
针对低资源马拉地语抄袭检测，本文提出结合 BERT 句子嵌入与 TF-IDF 特征的加权投票集成方法，以融合统计、语义和句法信息并提升检测准确率。
2025-01-09 cs.AI cs.CL cs.LG
Multilingual Jointly Trained Acoustic and Written Word Embeddings
University of Chicago（芝加哥大学）；TTI-Chicago（芝加哥丰田技术研究院）
声学词嵌入（AWE）是口语词段的矢量表示。AWE可以与字符序列的嵌入联合学习，以生成书面单词的语音有意义的嵌入，或声学接地词嵌入（AGWE）。这样的嵌入已被用于改善语音检索、识别和口语术语发现。在这项工作中，我们将这个想法扩展到多种低资源语言。我们联合训练一个AWE模型和一个AGWE模型，使用来自多种语言的语音转录数据。然后，预训练的模型可以用于看不见的零资源语言，或者对来自低资源语言的数据进行微调。我们还研究了独特的功能，作为电话标签的替代品，以更好地共享跨语言信息。我们测试了我们的模型在12种语言的单词识别任务。当在11种语言上进行训练并在剩余的看不见的语言上进行测试时，我们的模型优于传统的无监督方法，如动态时间扭曲。在对来自新语言的一个小时甚至十分钟的数据进行预训练后，性能通常比只训练目标语言数据要好得多。我们还发现，语音监督提高性能的字符序列，和独特的功能监督是在处理看不见的电话在目标语言有帮助的。
2020-06-24 cs.CL cs.SD eess.AS
Data Bootstrapping Approaches to Improve Low Resource Abusive Language Detection for Indic Languages
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
辱骂性语言在许多社交媒体平台上越来越受到关注。反复暴露于辱骂性言语对目标用户产生了生理影响。因此，为了网上和平与安全，应以各种形式解决辱骂性语言的问题。虽然在滥用言语检测方面存在广泛的研究，但大多数研究都集中在英语上。最近，印度发生了多起抹黑事件，引发了基于地理位置的各种语言的网络空间中各种形式的辱骂性言论。因此，处理此类恶意内容至关重要。在本文中，为了弥合这一差距，我们展示了一个大规模的分析，在印度语言的多语言辱骂性讲话。我们研究了不同的语际迁移机制，并观察了八种不同的印度语的各种多语言模型的滥用语音检测的性能。我们还通过实验展示了这些模型在对抗攻击中的鲁棒性。最后，我们通过查看模型在各种设置中的错误分类帖子来进行深入的错误分析。我们已经向其他研究人员公开了我们的代码和模型。
2022-04-26 cs.CL cs.LG
Bootstrapping Audiovisual Speech Recognition in Zero-AV-Resource Scenarios
Barcelona Supercomputing Center (BSC), Spain（巴塞罗那超级计算中心（BSC））；Universitat Politècnica de Catalunya (UPC), Spain（巴塞罗那理工大学（UPC））
本文提出了一种在缺乏真实音频视频资源的情况下，通过合成视觉数据提升音频视觉语音识别性能的方法，实现了在资源匮乏语言上的高效识别。
2026-09-30 cs.CL eess.AS eess.IV
TharuChat: Bootstrapping Large Language Models for a Low-Resource Language via Synthetic Data and Human Validation
School of Computer Engineering KIIT Deemed to be University（计算机工程学院 KIIT 研究生大学）
本文提出Tharu-LLaMA(3B)模型，通过合成数据和人类验证构建TharuChat数据集，解决低资源语言在AI中的代表性问题，提升模型性能并证明生成式AI在保护濒危语言中的可行性。
2026-03-17 cs.AI cs.CL cs.LG
Large-Scale Noun Compound Interpretation Using Bootstrapping and the Web as a Corpus
University of Melbourne（墨尔本大学）；National University of Singapore（新加坡国立大学）
针对自然语言处理应用中对语义词汇资源的需求，我们研究了获取名词复合词（NC）的方法，例如，“橙汁”，连同适当的细粒度语义解释，例如，“从……中挤出来”，可以直接用作释义。我们采用自举和网络统计，并利用NC和释义模式之间的关系，联合提取NC和这样的模式在多个交替迭代。在评估中，我们发现，有一个复合名词固定产生更高数量的语义解释的NC和提高准确性，由于更强的语义限制。
2019-11-27 cs.AI cs.CL cs.IR
Language Model Bootstrapping Using Neural Machine Translation For Conversational Speech Recognition
Alexa Machine Learning, Amazon（亚马逊Alexa机器学习部门）
构建用于新语言的会话语音识别系统受到捕获用户-设备交互的话语的可用性的限制。数据汇集既昂贵又受人工转录速度的限制。为了解决这个问题，我们提倡使用神经机器翻译作为一种数据增强技术来引导语言模型。机器翻译（MT）提供了一种系统化的方法来整合来自成熟的、资源丰富的会话系统的集合，这些集合可能适用于不同的语言。然而，从一个通用的MT系统的原始翻译可能不是有效的，由于命名实体的存在，内部的代码转换和域之间的不匹配的会话数据被翻译和用于MT训练的平行文本。为了规避这一点，我们探索了以下领域自适应技术：（a）基于句子嵌入的MT训练数据选择，（b）模型微调，以及（c）重新评分和过滤翻译的假设。使用印地语作为实验测试平台，我们翻译美国英语的话语，以补充转录的集合。我们观察到一个相对字的错误率降低7.8- 15.6%，这取决于自举阶段。细粒度的分析表明，翻译特别是艾滋病的相互作用的情况下，在转录数据中代表性不足。
2019-12-02 cs.CL cs.LG
Transferring Semantic Roles Using Translation and Syntactic Information
The George Washington University（乔治华盛顿大学）；Columbia University（哥伦比亚大学）
我们的论文解决了资源贫乏的语言使用监督注释通过并行数据从资源丰富的语言的语义角色标注的注释投影的问题。我们提出了一种传输方法，采用信息源和目标的句法依赖关系，以及字对齐密度，以提高迭代自举方法的质量。我们的实验产生了一个$3.5$绝对标记的F-分数的改进，一个标准的注释投影方法。
2017-10-03 cs.CL
QASnowball: An Iterative Bootstrapping Framework for High-Quality Question-Answering Data Generation
Tsinghua University（清华大学）；ModelBest Inc.（面壁智能公司）
本文提出迭代引导框架 QASnowball，通过答案抽取、问题生成和数据过滤三个模块，从种子集出发持续生成高质量问答数据，实验证明其生成数据可有效提升问答模型性能。
2023-09-20 cs.AI cs.CL
Bootstrapping Ternary Relation Extractors
Carnegie Mellon University（卡内基梅隆大学）
二元关系抽取方法近年来得到了广泛的研究。然而，很少有方法已经开发出更高的n元关系抽取。一个限制因素是生成训练数据所需的工作量。对于二元关系，每个关系只需要提供几十对实体作为训练数据。对于三元关系（n=3），每个训练实例都是一个三元组的实体，这给人们带来了更大的认知负担。例如，许多人知道谷歌收购了Youtube，但不知道收购的金额或日期，许多人知道希拉里克林顿嫁给了比尔克林顿，而不是他们婚礼的地点或日期。这使得更高的n元训练数据生成在搜索Web时是耗时的练习。我们提出了一个用于训练三元关系提取器的资源。这是使用最低限度的监督但有效的方法产生的。我们目前的数据集的大小和质量的统计。
2019-07-17 cs.AI cs.CL
Lex2vec: making Explainable Word Embeddings via Lexical Resources
Maggioli Research & Development（Maggioli研发部）
在这份技术报告中，我们提出了一个算法，称为Lex2vec，利用词汇资源注入信息到词嵌入和名称的嵌入维度的知识库。我们评估了最佳参数，以提取一些可读的信息标签，并具有良好的覆盖范围的嵌入维度。
2021-07-12 cs.CL
Bootstrapping Multilingual Semantic Parsers using Large Language Models
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Google Research India（谷歌印度研究院）
尽管预先训练的多语言模型证明了跨语言泛化，但跨多种语言传输英语数据集的快速训练范式仍然是训练特定任务的多语言模型的关键机制。然而，对于许多低资源语言，可靠的翻译服务的可用性需要大量昂贵的人工注释翻译对。此外，由于特定于任务的输入文本和用于训练翻译模型的通用文本之间的域不匹配，翻译服务可能继续是脆弱的。对于多语言语义解析，我们证明了通过Few-Shot提示将英语数据集翻译成多种语言的大语言模型（LLM）所提供的有效性和灵活性。通过对两个公共数据集MTOP和MASSIVE进行广泛的比较，跨越50种语言和多个领域，我们表明，我们使用LLM翻译数据的方法在50种语言中的41种语言上优于强大的快速训练基线。我们研究的关键设计选择，使更有效的多语言数据翻译，通过提示LLM。
2023-02-11 cs.CL cs.LG
CodePivot: Bootstrapping Multilingual Transpilation in LLMs via Reinforcement Learning without Parallel Corpora
The Hong Kong University of Science and Technology（香港科学与技术大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；Monash University（莫纳什大学）；The Chinese University of Hong Kong（香港中文大学）
CodePivot通过Python作为中间表示和Aggressive-Partial-Functional奖励机制，无需平行语料库提升LLM的多语言转译能力，在10种编程语言上实验显示其在通用和低资源语言转译任务中表现优异。
2026-04-20 cs.CL cs.SE
LLM-Guided Semantic Bootstrapping for Interpretable Text Classification with Tsetlin Machines
Stanford University（斯坦福大学）；University of California, Irvine（加州大学伊文斯顿分校）；University of the Chinese Academy of Sciences（中国科学院大学）
本文提出一种将LLM知识转化为符号形式的框架，通过三阶段课程生成子意图，利用非否定Tsetlin机提取高置信度语义线索，提升文本分类的可解释性和准确性。
2026-04-14 cs.AI cs.CL cs.LG
