Enhancing Cross-lingual Sentence Embedding for Low-resource Languages with Word Alignment
The University of Tokyo（东京大学）
针对低资源语言跨语言词表征对齐不足的问题，本文提出基于现成词对齐模型的显式词对齐框架，结合三项训练目标，显著提升低资源句子嵌入并保持高资源任务性能。
2024-04-03 cs.CL
GrEmLIn: A Repository of Green Baseline Embeddings for 87 Low-Resource Languages Injected with Multilingual Graph Knowledge
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Centre for European Research in Trusted AI (CERTAIN)（欧洲可信人工智能研究中心）
本文提出GrEmLIn，一个针对87种低资源语言的绿色静态基线嵌入库，通过整合多语言图知识增强GloVe嵌入，在推理时无需参数且性能可与大型模型媲美。
2025-01-27 cs.CL
Anchor-based Bilingual Word Embeddings for Low-Resource Languages
Technical University of Munich（慕尼黑工业大学）；LMU Munich（慕尼黑大学）
高质量的单语词嵌入（MWE）可以为具有大量未标记文本的语言构建。MWE可以只使用几千个单词的翻译对来与双语空间对齐。对于低资源语言，单语训练MWE导致质量差的MWE，并且因此也导致差的双语词嵌入（BWE）。本文提出了一种新的方法来构建BWE，其中高资源源语言的向量空间被用作训练低资源目标语言的嵌入空间的起点。通过使用源向量作为锚，向量空间在训练期间自动对齐。我们实验英语德语，英语Hiligaynon和英语马其顿语。我们表明，我们的方法不仅在提高BWEs和双语词典归纳性能的结果，但也在提高目标语言MWE质量测量单语词相似性。
2021-07-27 cs.CL
Combining Pretrained High-Resource Embeddings and Subword Representations for Low-Resource Languages
The University of Tokyo（东京大学）
目前的自然语言处理（NLP）技术需要大量数据，而缺乏大量数据，这两者之间的对比在非洲语言的情况下更加突出，其中大多数被认为是低资源。为了帮助解决这个问题，我们探索了利用形态丰富语言（MRL）的质量的技术，同时利用资源丰富的语言中的预训练词向量。在我们的探索中，我们证明了一种结合预训练和形态信息的词嵌入的元嵌入方法在科萨语-英语翻译的下游任务中表现最好。
2020-04-21 cs.CL cs.LG
Bootstrapping Embeddings for Low Resource Languages
School of Informatics, University of Edinburgh, UK（爱丁堡大学信息学院）；Edina, University of Edinburgh, UK（爱丁堡大学埃丁纳分校）
本文探讨利用大语言模型生成合成三元组数据以优化嵌入模型，提出两种新方法（适配器组合和跨语言微调XL-LoRA），在多种任务和语言上取得显著提升。
2026-03-17 cs.CL
Multilingual Word Embeddings for Low-Resource Languages using Anchors and a Chain of Related Languages
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Technical University of Munich（慕尼黑工业大学）
针对不相关的极低资源语言跨语言表示质量差的问题，提出基于语言链的多语言词嵌入方法，通过中间相关语言和锚点逐步构建多语言空间，在双语词典归纳任务上取得显著性能提升。
2023-11-21 cs.CL
How to Probe Sentence Embeddings in Low-Resource Languages: On Structural Design Choices for Probing Task Evaluation
Technische Universität Darmstadt（达姆施塔特工业大学）
句子编码器将句子映射到实值向量以供下游应用使用。为了窥视这些表示-例如，为了增加其结果的可解释性，已经设计了探测任务，该探测任务向它们询问语言知识。然而，为资源较少的语言设计探测任务是棘手的，因为这些语言通常缺乏大规模的注释数据或（高质量）依赖解析器作为英语探测任务设计的先决条件。为了研究如何在这种情况下探测句子嵌入，我们调查了探测任务结果对结构设计选择的敏感性，进行了第一次这样的大规模研究。我们表明，设计选择，如标注探测数据集的大小和用于评估的分类器类型（有时会大大）影响探测结果。然后，我们探测嵌入在一个多语言的设置与设计选择，位于一个“稳定的区域”，因为我们确定为英语，并发现英语的结果不转移到其他语言。因此，今后应该对多种语文进行更公平、更全面的探究性评价。
2020-10-28 cs.CL
Co-occurrences using Fasttext embeddings for word similarity tasks in Urdu
NUCES (FAST)（国家科技大学（FAST））；AIM Lab（AIM实验室）
乌尔都语是南亚广泛使用的语言。尽管乌尔都语存在大量文献，但数据仍然不足以通过NLP技术自然地处理语言。英语是一种高资源语言，但乌尔都语和其他资源不足的语言长期以来一直被忽视，因此存在非常有效的语言模型。为了为这些语言创建有效的语言模型，我们必须有好的词嵌入模型。对于乌尔都语，我们只能找到使用skip-gram模型训练和开发的词嵌入。在本文中，我们已经建立了一个语料库乌尔都语通过刮和整合数据从各种来源和编制乌尔都语词汇。我们还修改了快速文本嵌入和N-Gram模型，以便在我们构建的语料库上训练它们。我们使用这些训练的嵌入进行单词相似性任务，并将结果与现有技术进行比较。
2021-02-22 cs.CL
Unsupervised Multilingual Word Embeddings
多语言词嵌入（MWE）在单个分布向量空间中表示来自多种语言的词。无监督MWE（UMWE）方法在没有跨语言监督的情况下获得多语言嵌入，这比传统的监督方法具有显着优势，并为低资源语言开辟了许多新的可能性。然而，用于学习UMWE的现有技术仅仅依赖于多个独立训练的无监督双语词嵌入（UBWE）来获得多语言嵌入。这些方法无法利用许多语言之间存在的相互依赖性。为了解决这个缺点，我们提出了一个完全无监督的框架，用于学习MWE，直接利用所有语言对之间的关系。我们的模型大大优于以前的方法在实验中的多语言单词翻译和跨语言单词相似性。此外，我们的模型甚至击败了使用跨语言资源训练的监督方法。
2018-09-06 cs.CL
LGSE: Lexically Grounded Subword Embedding Initialization for Low-Resource Language Adaptation
L3S Research Center Hannover（汉诺威L3S研究中心）
LGSE通过引入词法信息的子词分割方法，改进低资源语言适应中的词嵌入初始化，通过平均预训练的子词或FastText词法表示，提升表示质量。
2026-03-23 cs.AI cs.CL
LEALLA: Learning Lightweight Language-agnostic Sentence Embeddings with Knowledge Distillation
Google Research（谷歌研究院）；Kyoto University（京都大学）
本研究提出LEALLA，通过知识蒸馏和薄深编码器，在109种语言上构建轻量级语言无关句子嵌入，在多个基准上验证了其有效性。
2023-12-26 cs.CL
BanglaEmbed: Efficient Sentence Embedding Models for a Low-Resource Language Using Cross-Lingual Distillation Techniques
North South University（北南大学）
本文提出BanglaEmbed，通过跨语言知识蒸馏从高性能英语句变换器构建两个轻量级孟加拉语句嵌入模型，在释义检测、语义文本相似度和仇恨言论检测等任务上优于现有模型，并适合资源受限环境部署。
2024-11-22 cs.CL cs.LG
Transferring BERT Capabilities from High-Resource to Low-Resource Languages Using Vocabulary Matching
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）
本文提出通过词汇匹配将BERT能力从高资源语言迁移到低资源语言，并在西里西亚语和卡舒比语上验证了该方法在训练数据极少时仍能有效提升模型性能。
2024-02-22 cs.CL
TWICE: What Advantages Can Low-Resource Domain-Specific Embedding Model Bring? -- A Case Study on Korea Financial Texts
MODULABS（모듈랩스）；KT Corporation；Shinhan Securities Co（신한증권）
本文针对低资源语言（韩语）金融领域，提出新基准 KorFinMTEB，揭示直接翻译基准的局限性，强调需开发反映语言文化特质的领域特定评估框架。
2025-04-01 cs.CL q-fin.CP
How Good is BLI as an Alignment Measure: A Study in Word Embedding Paradigm
Dept. of Computer Science & Engineering, University of Moratuwa（计算机科学与工程系，穆塔瓦大学）
本研究以双语词典归纳（BLI）为对齐度量指标，对比多语言嵌入与对齐单语嵌入的表现，发现BLI的局限性并提出改进方法，探讨了两者在计算成本与性能间的折中可能。
2025-11-17 cs.CL
UniBridge: A Unified Approach to Cross-Lingual Transfer Learning for Low-Resource Languages
VinAI Research（VinAI研究院）；Nanyang Technological University（南洋理工大学）；Ho Chi Minh City University of Technology (HCMUT)（胡志明市理工大学）；VNU-HCM（胡志明市国家大学）
本文提出UniBridge，通过优化嵌入初始化和词汇表大小，提升低资源语言的跨语言迁移学习效果，实验显示F1分数显著提高。
2024-08-21 cs.CL
Intent Classification Using Pre-trained Language Agnostic Embeddings For Low Resource Languages
IIIT Delhi（德里印度理工学院）；J.P.Morgan AI Research（摩根大通人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）
构建不依赖于特定语言的自动语音识别（ASR）的口语语言理解（SLU）系统是语言处理中一个重要但较少探索的问题。在本文中，我们提出了一个比较研究，旨在采用预先训练的声学模型，在低资源的情况下执行SLU。具体来说，我们使用了使用Allosaurus（一种预训练的通用音素解码器）提取的三种不同的嵌入：（1）Phone（2）Panphone和（3）Allo嵌入。然后，这些嵌入被用于识别说出的意图。我们在三种不同的语言进行实验：英语，僧伽罗语和泰米尔语，每个不同的数据大小，以模拟高，中，低资源的情况。我们的系统提高了国家的最先进的（SOTA）的意图分类准确率约2.11%的僧伽罗语和7.00%的泰米尔语，并取得了有竞争力的结果英语。此外，我们提出了一个定量分析的性能尺度与每个意图使用的训练样本的数量。
2022-04-18 cs.CL cs.SD eess.AS
Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora
School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）；NTT Communication Science Laboratories（NTT通信科学实验室）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所革新智能综合研究中心）
我们提出了一种新的方法来学习上下文跨语言的词嵌入的基础上一个小的平行语料库（例如几百个句子对）。我们的方法通过LSTM编码器-解码器模型获得词嵌入，该模型同时翻译和重建输入句子。通过在不同语言之间共享模型参数，我们的模型在一个公共的跨语言空间中联合训练词嵌入。我们还建议结合词和子词嵌入，以利用不同语言的拼写相似性。我们的实验基于濒危语言的真实数据，即永宁纳，Shipibo-Konibo和Griko。我们的双语词典归纳和单词对齐任务的实验表明，我们的模型优于现有的方法，大多数语言对的大幅度。这些结果表明，与通常的看法相反，编码器-解码器翻译模型即使在资源极其有限的情况下也有利于学习跨语言表示。此外，我们的模型在高资源条件下也能很好地工作，在德语-英语单词对齐任务上实现了最先进的性能。
2021-10-20 cs.AI cs.CL cs.LG
Edeflip: Supervised Word Translation between English and Yoruba
本研究针对低资源语言约鲁巴语实现有监督嵌入对齐的单词翻译，发现嵌入质量与归一化可提升准确率且存在交互效应，揭示了该方法在低资源场景的局限性，为相关研究提供起点。
2025-06-16 cs.AI cs.CL cs.LG
MAGE: Multi-Head Attention Guided Embeddings for Low Resource Sentiment Classification
School of Computer Science and Engineering, Vellore Institute of Technology（韦洛尔理工学院计算机科学与工程学院）；University of Pretoria（比勒陀利亚大学）
针对低资源班图语言数据稀缺问题，提出结合语言无关数据增强与多头注意力加权嵌入的模型，以增强关键数据点，提升文本分类性能，为低资源语言处理奠定基础。
2025-02-25 cs.AI cs.CL cs.IR
Unsupervised Domain Adaptation of Contextual Embeddings for Low-Resource Duplicate Question Detection
Microsoft（微软）
提问是许多对话系统或搜索产品的主要目标。虽然大多数当前系统集中于针对结构化数据库或策划的知识图谱回答问题，但是在线社区论坛或常见问题（FAQ）列表为问答系统提供了替代的信息源。自动重复问题检测（DQD）是问答系统利用现有在线论坛（如StackExchange）的关键技术。这些论坛中重复问题的现有注释是社区驱动的，使得它们在许多领域中稀疏甚至完全缺失。因此，从相关领域和任务中转移知识非常重要。最近，诸如BERT之类的上下文嵌入模型通过将自监督信息传输到下游任务而超过了许多基线。在本文中，我们将BERT应用于DQD，并通过使用自监督学习对StackExchange域进行无监督适应来改进它。我们证明了这种适应的有效性低资源设置，很少或没有训练数据可从目标域。我们的分析表明，无监督BERT领域自适应，即使是少量的数据，提高性能的BERT。
2019-11-06 cs.CL cs.LG
Less is More: Adapting Text Embeddings for Low-Resource Languages with Small Scale Noisy Synthetic Data
Metric AI Lab（Metric AI实验室）
本文挑战了大规模数据对语义对齐的必要性假设，通过小规模噪声合成数据提升低资源语言文本嵌入性能，实验显示在仅1万对数据下即可获得显著改进，验证了噪声对语义对齐的鲁棒性。
2026-03-04 cs.CL cs.IR
Discovering Bilingual Lexicons in Polyglot Word Embeddings
Carnegie Mellon University（卡内基梅隆大学）；Onai
双语词典和短语表是现代机器翻译系统的重要资源。虽然最近的研究结果表明，没有任何种子词典或平行数据，高度准确的双语词典可以使用无监督的方法来学习，这种方法依赖于大型，干净的单语语料库的存在。在这项工作中，我们利用一个单一的跳过语法模型训练的多语种语料库产生多语种词嵌入，并提出了一个新的发现，一个令人惊讶的简单的约束最近邻采样技术在这个嵌入空间可以检索双语词典，即使在苛刻的社会媒体数据集主要是写在英语和罗马印地语，并经常表现出代码切换。我们的方法不需要单语语料库，种子词典，或任何其他此类资源。此外，在三个欧洲语言对，我们观察到，多语词嵌入确实学习了丰富的语义表示的单词和大量的双语词典可以检索使用我们的约束最近邻抽样。我们调查潜在的原因和下游应用程序的设置跨越干净的文本和嘈杂的社交媒体数据集，并在资源丰富和资源不足的语言对。
2020-08-31 cs.CL cs.CY cs.LG
Enhancing Plagiarism Detection in Marathi with a Weighted Ensemble of TF-IDF and BERT Embeddings for Low-Resource Language Processing
COEP Technological University（COEP理工大学）
针对低资源马拉地语抄袭检测，本文提出结合 BERT 句子嵌入与 TF-IDF 特征的加权投票集成方法，以融合统计、语义和句法信息并提升检测准确率。
2025-01-09 cs.AI cs.CL cs.LG
Multilingual Jointly Trained Acoustic and Written Word Embeddings
University of Chicago（芝加哥大学）；TTI-Chicago（芝加哥丰田技术研究院）
声学词嵌入（AWE）是口语词段的矢量表示。AWE可以与字符序列的嵌入联合学习，以生成书面单词的语音有意义的嵌入，或声学接地词嵌入（AGWE）。这样的嵌入已被用于改善语音检索、识别和口语术语发现。在这项工作中，我们将这个想法扩展到多种低资源语言。我们联合训练一个AWE模型和一个AGWE模型，使用来自多种语言的语音转录数据。然后，预训练的模型可以用于看不见的零资源语言，或者对来自低资源语言的数据进行微调。我们还研究了独特的功能，作为电话标签的替代品，以更好地共享跨语言信息。我们测试了我们的模型在12种语言的单词识别任务。当在11种语言上进行训练并在剩余的看不见的语言上进行测试时，我们的模型优于传统的无监督方法，如动态时间扭曲。在对来自新语言的一个小时甚至十分钟的数据进行预训练后，性能通常比只训练目标语言数据要好得多。我们还发现，语音监督提高性能的字符序列，和独特的功能监督是在处理看不见的电话在目标语言有帮助的。
2020-06-24 cs.CL cs.SD eess.AS
Lex2vec: making Explainable Word Embeddings via Lexical Resources
Maggioli Research & Development（Maggioli研发部）
在这份技术报告中，我们提出了一个算法，称为Lex2vec，利用词汇资源注入信息到词嵌入和名称的嵌入维度的知识库。我们评估了最佳参数，以提取一些可读的信息标签，并具有良好的覆盖范围的嵌入维度。
2021-07-12 cs.CL
Embedding-Enhanced Giza++: Improving Alignment in Low- and High- Resource Scenarios Using Embedding Space Geometry
Johns Hopkins University（约翰斯·霍普金斯大学）；The Chinese University of Hong Kong（香港中文大学）
几十年前，单词对齐是一项流行的自然语言处理任务，直到最近，它一直由GIZA++主导，GIZA ++是一种基于30年前IBM模型的统计方法。优于GIZA++的新方法主要依赖于大型机器翻译模型、大规模多语言语言模型或GIZA++比对本身的监督。我们引入了嵌入增强的GIZA++，并且在没有任何上述因素的情况下优于GIZA++。仅利用源语言和目标语言的单语嵌入空间，我们在三种语言对的每个测试场景中都超过了GIZA++的性能。在最低的资源设置中，我们分别以8.5，10.9和12 AER的Ro-En，De-En和En-Fr优于GIZA++。我们在https://github.com/kellymarchisio/ee-giza上发布代码。
2022-10-11 cs.CL
When Word Embeddings Become Endangered
University of Helsinki（赫尔辛基大学）
像英语和芬兰语这样的大语言有许多自然语言处理（NLP）资源和模型，但对于低资源和濒危语言来说，情况并非如此，因为这些资源非常稀缺，尽管它们将为语言社区提供巨大的优势。低资源和濒危语言最常见的资源类型是翻译词典和通用依赖。在本文中，我们提出了一种方法来构建濒危语言的词嵌入使用现有的词嵌入的不同资源丰富的语言和资源贫乏的语言的翻译词典。此后，使用通用依赖关系中的句子对嵌入进行微调，并对齐以匹配大语言的语义空间;从而产生跨语言嵌入。我们在这里工作的濒危语言是Erzya，Moksha，Komi-Zyrian和Skolt Sami。此外，我们建立了一个通用的情感分析模型，所有的语言是本研究的一部分，无论濒危与否，通过利用跨语言的词嵌入。进行的评估表明，我们的濒危语言的词嵌入与资源丰富的语言是一致的，他们是适合于训练特定于任务的模型，我们的情感分析模型，达到了很高的准确性证明。我们所有的跨语言词嵌入和情感分析模型都通过一个易于使用的Python库公开发布。
2021-03-24 cs.CL
Evaluating Unsupervised Dutch Word Embeddings as a Linguistic Resource
CLiPS, University of Antwerp（安特卫普大学CLiPS）
词嵌入最近由于在各种任务上的强大性能增益而引起了人们的强烈兴趣。然而，大多数研究也强调了基准数据集的重要性，以及为各种特定语言任务构建这些数据集的难度。尽管如此，这些任务中使用的许多数据集可能被证明是富有成效的语言资源，允许对语言使用和变异性进行独特的观察。在本文中，我们展示了多种类型的嵌入，创建计数和基于预测的架构上的各种语料库，在两个语言特定的任务：关系评估，方言识别的性能。对于后者，我们将无监督方法与传统的手工字典进行比较。通过这项研究，我们提供了嵌入本身，关系评估任务基准用于进一步的研究，并展示了基准嵌入如何证明一个有用的无监督的语言资源，有效地用于下游任务。
2016-07-01 cs.CL
A Monolingual Approach to Contextualized Word Embeddings for Mid-Resource Languages
Inria（法国国家信息与自动化研究所）；Sorbonne Université（索邦大学）
我们使用的多语言OSCAR语料库，通过语言分类，过滤和清洗，从公共爬行提取，训练单语上下文词嵌入（ELMo）的五个中间资源语言。然后，我们比较了基于OSCAR和基于维基百科的ELMo嵌入这些语言的词性标记和解析任务的性能。我们发现，尽管在基于Common-Crawl的OSCAR数据中存在噪声，但在OSCAR上训练的嵌入比在维基百科上训练的单语嵌入表现得更好。它们实际上等于或改进了所有五种语言的标记和解析的当前技术水平。特别是，它们还改进了基于多语言维基百科的上下文嵌入（多语言BERT），这几乎总是构成了以前的最新技术水平，从而表明更大，更多样化的语料库的好处超过了多语言嵌入架构的跨语言好处。
2020-06-18 cs.CL
A Resource-Free Evaluation Metric for Cross-Lingual Word Embeddings Based on Graph Modularity
University of Colorado（科罗拉多大学）；University of Maryland（马里兰大学）
跨语言词嵌入将不同语言的词的含义编码到共享的低维空间中。许多下游任务的重要要求是单词相似性应该独立于语言-即，一种语言中的词向量彼此之间的相似性不应超过与另一种语言中的词之间的相似性。我们使用模块化来衡量这一特性，模块化是一种网络测量方法，可以测量图中集群的强度。模块化与三个下游任务有中度到强烈的相关性，即使模块化仅基于嵌入的结构，并且不需要任何外部资源。我们通过实验表明，模块化可以作为一个内在的验证指标，以提高无监督的跨语言词嵌入，特别是在低资源设置的遥远的语言对。
2019-06-05 cs.CL
niksss at HinglishEval: Language-agnostic BERT-based Contextual Embeddings with Catboost for Quality Evaluation of the Low-Resource Synthetically Generated Code-Mixed Hinglish Text
Manipal University Jaipur（马尼帕尔大学斋浦尔分校）
本文描述了INLG 2022上HinglishEval挑战赛的系统描述。本课题的目的是研究影响混合代码文本生成系统质量的因素。该任务分为两个子任务，质量评级预测和注释者分歧预测的合成Hinglish数据集。我们尝试使用上下文级嵌入来解决这些任务，这些嵌入是通过对文本中所有输入标记的上下文化词嵌入进行平均池化而获得的。我们在为各自任务生成的嵌入之上试验了各种分类器。我们表现最好的系统在子任务B上排名第一，在子任务A上排名第三。
2022-06-17 cs.CL
Massive vs. Curated Word Embeddings for Low-Resourced Languages. The Case of Yorùbá and Twi
DFKI GmbH（德国人工智能研究中心）；Saarland University（萨尔大学）
几种架构从未注释的文本中学习语义表示的成功，以及这些文本在在线多语言资源（如维基百科）中的可用性，促进了多语言资源的大规模自动创建。对这些资源的评估通常是针对高资源语言进行的，在这些语言中，人们有大量的任务和测试集需要评估。对于低资源语言，评估更加困难，通常被忽略，希望深度学习架构在高资源环境中学习（多语言）表示的令人印象深刻的能力也适用于低资源环境。在本文中，我们重点关注两种非洲语言，Yorūbá和Twi，并将以这种方式获得的词嵌入与从精选语料库和语言相关处理中获得的词嵌入进行比较。我们分析了公开语料库中的噪音，收集了两种语言的高质量和噪音数据，并量化了不仅取决于数据量而且取决于质量的改进。我们还使用不同的架构，从表面形式和字符中学习单词表示，以进一步利用所有可用的信息，这些信息对这些语言很重要。为了进行评估，我们将wordsim-353单词对数据集从英语手动翻译为Yorkbá和Twi。作为输出的工作，我们提供语料库，嵌入和测试适合这两种语言。
2020-03-28 cs.CL
Cross-Lingual Word Embeddings for Turkic Languages
CITIC Grupo LYS（CITIC LYS团队）；Grupo COLE（COLE团队）；Universidade de Vigo（维戈大学）
人们对学习跨语言词嵌入越来越感兴趣，以将从资源丰富的语言（如英语）获得的知识转移到资源较少的语言（如土耳其语，俄语等），这些语言的注释数据很少。在本文中，我们提出了第一个可行性研究的既定技术，以调整单语嵌入空间土耳其，乌兹别克，哈萨克，吉尔吉斯，突厥族家庭的成员，这是严重影响了低资源约束。众所周知，这些技术几乎不需要明确的监督，主要是以双语词典的形式，因此很容易适用于不同的领域，包括低资源领域。我们获得了新的双语词典和新的词嵌入，这些语言和获得跨语言的词嵌入使用国家的最先进的技术的步骤。然后，我们使用双语词典归纳任务来评估结果。我们的实验证实，所获得的双语词典优于以前可用的，和词嵌入从一个低资源的语言可以受益于资源丰富的密切相关的语言时，他们对齐在一起。此外，外部任务（对乌兹别克语的情感分析）的评价证明，单语词嵌入可以，虽然略有受益于跨语言的对齐。
2020-05-17 cs.CL
Word Embedding based New Corpus for Low-resourced Language: Sindhi
University of Electronic Science and Technology of China（电子科技大学）
将词和短语表示为密集的实数向量，并将其语义和句法属性编码，是自然语言处理的一个重要组成部分。神经网络（NN）模型在自然语言处理中的成功很大程度上依赖于在大型未标记语料库上学习到的这种密集的词表示。信德语是一种丰富的形态语言，在巴基斯坦和印度有大量人口使用，但缺乏语料库，而语料库在生成词嵌入和开发独立于语言的NLP系统方面起着重要的测试作用。在本文中，超过61万字的大型语料库开发的低资源的信德语训练神经词嵌入。语料库是使用web-scrappy从多个网络资源中获取的。由于没有针对信德语的开源预处理工具，对如此庞大的语料库进行预处理成为一个具有挑战性的问题，特别是从Web资源中提取的噪声数据的清理。因此，采用预处理流水线来过滤噪声文本。然后，使用最先进的GloVe、Skip-Gram（SG）和连续词袋（CBoW）word 2 vec算法，利用清理后的词汇表来训练信德语词嵌入。采用余弦相似度矩阵的内在评价方法和WordSim-353对生成的信德语词嵌入进行评价。此外，我们比较建议的词嵌入与最近发现的信德快速文本（SdfastText）的单词表示。我们的内在评估结果表明，我们生成的信德语词嵌入使用SG，CBoW和GloVe相比，SdfastText词表示的高品质。
2020-12-30 cs.CL
Cross-lingual alignments of ELMo contextual embeddings
University of Ljubljana（卢布尔雅那大学）
为特定的NLP任务构建机器学习预测模型需要足够的训练数据，这对于资源较少的语言来说可能很难获得。跨语言嵌入将词嵌入从资源较少的语言映射到资源丰富的语言，使得在来自资源丰富的语言的数据上训练的预测模型也可以在资源较少的语言中使用。为了产生最近上下文嵌入的跨语言映射，嵌入空间之间的锚点必须是相同上下文中的单词。我们用一种新的方法来解决这个问题，用于创建跨语言上下文对齐数据集。在此基础上，我们提出了几种ELMo嵌入的跨语言映射方法。所提出的线性映射方法使用现有的Vecmap和MUSE对齐上下文ELMo嵌入。新的非线性ELMoGAN映射方法基于GANs，并且不假设同构嵌入空间。我们评估了九种语言的映射方法，使用四个下游任务：命名实体识别（NER），依存句法分析（DP），术语对齐，和情感分析。ELMoGAN方法在NER和术语对齐任务上表现非常好，与某些语言的直接训练相比，NER的跨语言损失更低。在DP和情感分析中，线性上下文对齐变体更成功。
2021-07-22 cs.CL
Low-resource bilingual lexicon extraction using graph based word embeddings
UNAM（墨西哥国立自治大学）
在这项工作中，我们专注于自动提取双语词典的语言对西班牙语-纳瓦特尔语的任务。这是一个低资源设置，只有少量的并行语料库可用。大多数下游方法在低资源条件下不能很好地工作。这对于使用矢量表示的方法（如Word 2 Vec）尤其如此。我们的建议是从图中构造双语词向量。该图是使用从无监督单词对齐方法获得的翻译对生成的。我们表明，在低资源的设置，这些类型的向量是成功的，在双语语义空间中表示的话。此外，当应用线性变换将单词从一种语言翻译成另一种语言时，我们基于图形的表示大大优于使用Word 2 Vec的流行设置。
2017-10-06 cs.CL
AutoExtend: Extending Word Embeddings to Embeddings for Synsets and Lexemes
Center for Information & Language Processing（信息与语言处理中心）；University of Munich（慕尼黑大学）
我们提出了\textit{AutoExtend}，一个系统来学习嵌入的同义词和词素。它是灵活的，因为它可以采取任何词嵌入作为输入，不需要额外的训练语料库。所获得的同义词集/词位嵌入与词嵌入存在于相同的向量空间中。稀疏张量形式化保证了效率和并行性。我们使用WordNet作为词汇资源，但AutoExtend可以很容易地应用于其他资源，如Freebase。AutoExtend在单词相似性和词义消歧任务上实现了最先进的性能。
2015-07-04 cs.CL
Modality-Transferable Emotion Embeddings for Low-Resource Multimodal Emotion Recognition
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；Department of Electronic and Computer Engineering（电子与计算机工程系）；The Hong Kong University of Science and Technology（香港科技大学）
尽管最近在多模态情感识别任务中取得了一些成就，但仍然存在两个问题，并且没有得到很好的研究：1）没有利用不同情感类别之间的关系，这导致了次优性能; 2）当前模型无法很好地处理低资源情感，特别是看不见的情感。在本文中，我们提出了一个模态可转移模型与情感嵌入来解决上述问题。我们使用预训练的词嵌入来表示文本数据的情感类别。然后，学习两个映射函数将这些嵌入转换到视觉和声学空间。对于每种模态，模型计算输入序列和目标情感之间的表示距离，并根据距离进行预测。通过这样做，我们的模型可以直接适应任何模态中看不见的情感，因为我们有它们的预训练嵌入和模态映射函数。实验表明，我们的模型在大多数情感类别上都达到了最先进的性能。此外，我们的模型也优于现有的基线在zero-shot和Few-Shot的情况下看不见的情绪。
2020-10-07 cs.CL
Leveraging Lexical Resources for Learning Entity Embeddings in Multi-Relational Data
McGill University（麦吉尔大学）
最近的工作在学习向量空间嵌入多关系数据集中在结合关系信息来自知识库与分布式信息来自大型文本语料库。我们提出了一个简单的方法，利用实体或短语的描述，在词汇资源，结合分布式语义，以获得一个更好的初始化训练关系模型。将此初始化应用于TransE模型会在WordNet数据集上产生显著的新的最先进性能，将平均排名从之前的212降至51。它还导致实体表示的更快收敛。我们发现，有一个权衡提高平均排名和hits@10与这种方法。这表明，在关系模型中，关于性能改进还有很多需要理解的地方。
2016-05-18 cs.CL
Resource-Efficient Adaptation of Large Language Models for Text Embeddings via Prompt Engineering and Contrastive Fine-tuning
fortiss GmbH（fortiss公司）；School of Computation and Information Technology（计算与信息科技学院）
本研究通过提示工程与资源高效的对比微调，将大语言模型适配为文本嵌入模型，在MTEB英语聚类任务上取得有竞争力性能，并揭示微调提升语义压缩效果。
2025-09-24 cs.CL
Evaluation of contextual embeddings on less-resourced languages
University of Ljubljana（卢布尔雅那大学）；Queen Mary University of London（伦敦玛丽女王大学）；Jožef Stefan Institute（约泽夫·斯蒂芬研究所）
目前深度神经网络在自然语言处理中的主导地位是基于上下文嵌入，如ELMo，BERT和BERT衍生物。大多数现有的工作集中在英语，相比之下，我们在这里提出的第一个多语言的实证比较两个ELMo和几个单语和多语言的BERT模型使用14个任务，在9种语言。在单语环境中，我们的分析表明，单语BERT模型通常占主导地位，有一些例外，如依存句法分析任务，在那里他们是没有竞争力的ELMo模型上训练的大型语料库。在跨语言环境中，仅使用少数语言训练的BERT模型表现最好，紧随其后的是大规模多语言BERT模型。
2021-07-22 cs.CL
Analyzing the Surprising Variability in Word Embedding Stability Across Languages
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
词嵌入是一种强大的表示方法，它构成了英语和其他语言中许多自然语言处理架构的基础。为了进一步深入了解词嵌入，我们探讨了它们的稳定性（例如，不同嵌入空间中单词的最近邻之间的重叠）。我们讨论了与稳定性相关的语言特性，并提出了与词缀、语言性别系统和其他特征相关的见解。这对嵌入使用有影响，特别是在使用它们来研究语言趋势的研究中。
2021-09-09 cs.CL
MTEB-NL and E5-NL: Embedding Benchmark and Models for Dutch
针对荷兰语嵌入资源不足的问题，本文提出了面向荷兰语的大规模文本嵌入基准MTEB-NL及配套训练数据集，并发布了高效紧凑的E5-NL嵌入模型，显著提升了多任务性能。
2025-09-15 cs.CL
Multilingual acoustic word embedding models for processing zero-resource languages
Stellenbosch University（斯泰伦博斯大学）；University of Edinburgh（爱丁堡大学）
声学词嵌入是可变长度语音段的固定维表示。在未标记语音是唯一可用资源的设置中，这种嵌入可以用于“零资源”语音搜索、索引和发现系统。在这里，我们建议训练一个单一的监督嵌入模型标记的数据从多个资源丰富的语言，然后将其应用到看不见的零资源语言。对于这种迁移学习方法，我们考虑了两种多语言递归神经网络模型：一种是在所有训练语言的联合词汇上训练的判别分类器，另一种是训练用于重建单词对的对应自动编码器。我们使用六个目标零资源语言的单词歧视任务来测试这些。当在七种资源丰富的语言上训练时，两种模型的表现相似，并且优于在零资源语言上训练的无监督模型。在只有一种训练语言的情况下，第二种模型工作得更好，但性能更多地取决于特定的训练-测试语言对。
2020-02-21 cs.CL eess.AS
Low-Resource Corpus Filtering using Multilingual Sentence Embeddings
Facebook AI（脸书人工智能研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
在本文中，我们描述了我们提交的WMT 19低资源并行语料库过滤共享任务。我们的主要方法是基于LASER工具包（语言不可知的句子表示），它使用一个编码器-解码器架构训练的并行语料库，以获得多语言的句子表示。然后，我们直接使用表示来评分和过滤嘈杂的并行句子，而无需额外训练评分函数。我们对比我们的方法与其他有前途的方法，并表明激光产生强大的结果。最后，我们产生一个不同的评分方法的合奏，并获得额外的收益。我们提交的尼泊尔语-英语和僧伽罗语-英语1 M任务的整体性能最好，分别比第二好的系统高出1.3和1.4 BLEU。此外，我们的实验表明，这种技术是有前途的低，甚至没有资源的情况下。
2019-06-20 cs.CL
Language Embeddings for Typology and Cross-lingual Transfer Learning
University of California, Davis（加州大学戴维斯分校）
跨语言的语言任务通常需要大量的注释数据或并行翻译数据。我们探讨语言表征，捕捉语言之间的关系是否可以学习，并随后利用跨语言的任务，而不使用并行数据。我们使用去噪自动编码器为29种语言生成密集嵌入，并使用世界语言结构地图集（WALS）和两个外部任务在zero-shot设置中评估嵌入：跨语言依存句法分析和跨语言自然语言推理。
2021-06-03 cs.CL
Using the Output Embedding to Improve Language Models
Tel-Aviv University（特拉维夫大学）
研究了神经网络语言模型的最高权矩阵。我们表明，这个矩阵构成了一个有效的词嵌入。在训练语言模型时，我们建议将输入嵌入和输出嵌入绑定在一起。我们分析了由此产生的更新规则，并表明绑定嵌入的演变方式更类似于输出嵌入比输入嵌入在untied模型。我们还提供了一种新的正则化输出嵌入的方法。我们的方法导致困惑的显着减少，因为我们能够在各种神经网络语言模型上显示。最后，我们证明了权重绑定可以将神经翻译模型的大小减少到原始大小的一半以下，而不会损害它们的性能。
2017-02-21 cs.CL
Beyond Subtokens: A Rich Character Embedding for Low-resource and Morphologically Complex Languages
Computer Vision Group（计算机视觉组）；Friedrich Schiller University（弗里德里希-席勒大学）
本文提出了一种基于字符的丰富嵌入方法，用于提升低资源和形态复杂语言的自然语言处理性能。
2026-02-24 cs.CL
Language classification from bilingual word embedding graphs
TU Darmstadt（达姆施塔特工业大学）；Goethe University（歌德大学）
我们在单语语义评价任务中研究了第二语言在双语词嵌入中的作用。我们发现，下游任务的表现和第二语言的相似性目标语言之间的强和弱的正相关。此外，我们展示了如何双语词嵌入可以用于语义语言分类的任务，联合语义空间在第二语言中有意义的方式不同。我们的研究结果支持这一假设，语义语言相似性的影响，结构相似性以及地理/接触。
2016-10-10 cs.CL
Development of Word Embeddings for Uzbek Language
Copper City Labs（铜城实验室）
在本文中，我们分享了为乌兹别克语的西里尔变体开发词嵌入的过程。我们工作的结果是第一个公开可用的词向量集，使用内部开发的高质量Web抓取语料库在word2vec，GloVe和fastText算法上进行训练。所开发的词嵌入可以用于许多自然语言处理的下游任务。
2020-09-30 cs.CL
Adapting Word Embeddings to New Languages with Morphological and Phonological Subword Representations
Carnegie Mellon University（卡内基梅隆大学）
自然语言处理（NLP）中的许多工作都是针对资源丰富的语言，这使得泛化到新的、资源较少的语言具有挑战性。我们提出了两种方法，以提高低资源的语言通过适应连续的单词表示使用语言动机的子词单位：音素，语素和字素。我们的方法既不需要平行语料库，也不需要双语词典，并提供了一个显着的增益，性能比以前的方法依赖于这些资源。我们证明了我们的方法的有效性命名实体识别的四种语言，即维吾尔语，土耳其语，孟加拉语和印地语，其中维吾尔语和孟加拉语是低资源的语言，并进行实验机器翻译。利用迁移学习的子词，维吾尔语的NER F1提高了+15.2，孟加拉语的NER F1提高了+9.7。我们还表明，在单语设置，我们实现（平均）的改善。+3 F1和（平均值）蓝色+1.35。
2018-08-28 cs.CL
High Quality ELMo Embeddings for Seven Less-Resourced Languages
University of Ljubljana, Faculty of Computer and Information Science（卢布尔雅那大学计算机与信息科学学院）
最近的研究结果表明，使用上下文嵌入的深度神经网络在大多数文本分类任务上的表现明显优于非上下文嵌入。我们为七种语言提供流行的上下文ELMo模型的预计算嵌入：克罗地亚语，爱沙尼亚语，芬兰语，拉脱维亚语，立陶宛语，斯洛文尼亚语和瑞典语。我们证明了嵌入的质量强烈依赖于训练集的大小，并表明现有的公开上市语言的ELMo嵌入应得到改进。我们在更大的训练集上训练新的ELMo嵌入，并展示了它们相对于基线非上下文FastText嵌入的优势。在评估中，我们使用两个基准，类比任务和NER任务。
2020-03-27 cs.CL cs.LG
HinFlair: pre-trained contextual string embeddings for pos tagging and text classification in the Hindi language
Medi-Caps University（麦迪卡普斯大学）
基于递归神经网络和Transformers架构的语言模型的最新进展已经在广泛的自然语言处理任务上取得了最先进的结果，例如pos标记，命名实体识别和文本分类。然而，这些语言模型中的大多数都是用高资源语言（如英语，德语，西班牙语）进行预训练的。多语言语言模型在其训练语料库中包括印地语、泰卢固语、孟加拉语等印度语言，但它们往往不能代表这些语言的语言特征，因为它们不是研究的主要语言。我们介绍HinFlair，这是一个语言表示模型（上下文字符串嵌入）预先训练的大型单语印地语语料库。在6个文本分类数据集和一个印地语依赖树库上进行了实验，以分析这些上下文化的印地语字符串嵌入的性能。结果表明，HinFlair在文本分类和pos标记等下游任务中的表现优于之前公开提供的最先进的预训练嵌入。此外，HinFlair与FastText嵌入相结合时，性能优于许多基于transformers的语言模型，特别是为印地语训练的。
2021-01-18 cs.CL
