Learning Bilingual Word Embeddings Using Lexical Definitions
University of California, Los Angeles（加州大学洛杉矶分校）；Stony Brook University（石溪大学）
双语词嵌入是在一个共享的嵌入空间中表示不同语言的词汇，在各种跨语言自然语言处理任务中支持语义和知识转移是必不可少的。现有的训练双语词嵌入的方法通常需要预先定义的种子词典，这些种子词典的获取成本很高，或者需要包含粗糙和噪声对齐的平行句子。相反，我们提出了BilLex，利用公开可用的词汇定义进行双语词嵌入学习。在不需要预先定义种子词典的情况下，BilLex采用了一种新的词对策略，自动识别和传播词汇定义中精确的细粒度词对齐。我们在词级和句子级的翻译任务中对BilLex进行了评估，发现BilLex在这两个任务中的表现都明显优于以往的嵌入方法。
2019-06-21 cs.AI cs.CL cs.LG
Dual-Coding Theory and Connectionist Lexical Selection
我们引入双语双重编码理论作为双语心理表征的模型。基于该模型，实现了机器翻译中连接主义迁移项目的词汇选择神经网络。这种词汇选择方法有两个优点。首先，它是可学习的。在知识工程上几乎不需要人力。其次，它是心理语言学上有充分依据的。
1994-05-31 cmp-lg cs.CL
Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation
LMU Munich（慕尼黑大学）
无监督神经机器翻译（UNMT）的成功方法是通过自我监督进行跨语言预训练，通常以掩蔽语言建模或序列生成任务的形式进行，这需要模型对齐两种语言的词汇和高级表示。虽然跨语言预训练适用于具有丰富语料库的相似语言，但它在低资源和遥远的语言中表现不佳。以前的研究表明，这是因为表征没有充分对齐。在本文中，我们加强双语掩蔽语言模型预训练与词汇级信息，通过使用类型级跨语言子词嵌入。实证结果表明，使用我们的方法与UNMT基线相比，UNMT（高达4.5 BLEU）和双语词典归纳的性能都有所改善。
2021-04-14 cs.CL
Automatically Creating Bilingual Lexicons for Machine Translation from Bilingual Text
提出了一种通过从对齐的双语文本中提取双语条目来自动扩充现有机器翻译系统的双语词典的方法。所提出的方法仅依赖于MT系统本身中已经可用的资源。它是基于双语词汇模板的使用，以匹配在对齐的句子的分析中的终端符号。
1998-07-20 cmp-lg cs.CL
Bilingual Distributed Word Representations from Document-Aligned Comparable Data
University of Cambridge（剑桥大学）；KU Leuven（鲁汶大学）
我们提出了一个新的模型学习双语单词表示非平行文档对齐的数据。在单词表示学习的最新进展之后，我们的模型学习密集的实值单词向量，即双语词嵌入（BWE）。不像以前的工作在很大程度上依赖于平行的文档对齐语料库和/或现成的翻译资源，如字典，诱导BWE的文章揭示，BWE可以学习的基础上，完全文档对齐的可比数据，没有任何额外的词汇资源，也没有句法信息。我们提出了一个比较我们的方法与以前的国家的最先进的模型，学习双语单词表示的可比数据，依赖于多语言概率主题建模（MuPTM）的框架，以及与分布式本地上下文计数模型。我们在两个语义任务中展示了诱导BWE的效用：（1）双语词典提取，（2）在上下文中为多义词建议词翻译。我们简单而有效的基于BWE的模型从可比数据以及先前的基于BWE的模型中显著优于基于MuPTM和上下文计数的表示模型，并在所有三种测试语言对的两项任务上获得最佳报告结果。
2016-02-28 cs.CL
Mapping Multilingual Hierarchies Using Relaxation Labeling
本文探讨了从已有的词汇资源中自动构建多语种词汇知识库的问题。我们提出了一个新的和强大的方法来连接已经存在的词汇/语义层次结构。我们使用了一个约束满足算法（松弛标签）选择-在所有的候选翻译提出的双语词典-正确的英语WordNet同义词集的每一个意义上的分类自动派生自西班牙语单语词典。虽然平均而言，在分类法中每个意义有15个可能的WordNet连接，但该方法的准确率超过80%。最后，我们还提出了几种方法，这种技术可以应用于丰富和改善现有的词汇数据库。
1999-06-24 cs.CL
Is Cross-Lingual Transfer in Bilingual Models Human-Like? A Study with Overlapping Word Forms in Dutch and English
Saarland University（萨尔大学）；Zuse School ELIZA（Zuse ELIZA 学院）；Radboud University（拉德堡德大学）
研究探讨双语模型中跨语言激活是否模仿人类处理模式，发现词形共享影响模型表现，频率而非形式一致性主导效果，仅在特定条件下重现人类处理特征。
2026-04-08 cs.CL
Learning Crosslingual Word Embeddings without Bilingual Corpora
IBM Research - Tokyo（IBM 东京研究院）；University of Melbourne（墨尔本大学）；National ICT Australia（澳大利亚国家信息通信技术研究院）；International Computer Science Institute（国际计算机科学研究所）
跨语言词嵌入在同一向量空间中表示来自不同语言的词汇项，从而实现NLP工具的传输。然而，以前的尝试有昂贵的资源需求，难以纳入单语数据或无法处理一词多义。我们解决这些缺点，在我们的方法中，利用高覆盖率的字典在EM风格的训练算法在两种语言的单语语料库。我们的模型实现了最先进的性能双语词汇归纳任务超过模型使用大型双语语料库，单语词相似性和跨语言文档分类任务的竞争结果。
2016-06-30 cs.AI cs.CL
Bilingual Mutual Information Based Adaptive Training for Neural Machine Translation
Beijing Jiaotong University（北京交通大学）；Tencent Inc（腾讯公司）；Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
最近，令牌级自适应训练在机器翻译中取得了有希望的改进，其中通过为不同的令牌分配不同的训练权重来调整交叉熵损失函数，以减轻令牌不平衡问题。然而，以前的方法只使用目标语言中的静态词频信息，而不考虑源语言，这对于像机器翻译这样的双语任务是不够的。在本文中，我们提出了一种新的双语互信息（BMI）为基础的自适应目标，从双语的角度来衡量每个目标令牌的学习难度，并相应地分配一个自适应权重，以提高令牌级自适应训练。该方法将较大的训练权值分配给BMI值较高的标记，使得容易的标记以粗粒度更新，而困难的标记以细粒度更新。在WMT 14英-德和WMT 19中-英两种语言上的实验结果表明，与Transformer基线和以往的标记级自适应训练方法相比，该方法具有更好的性能。进一步的分析表明，该方法可以提高词汇的多样性。
2021-05-27 cs.CL
Bilingual Lexicon Induction via Unsupervised Bitext Construction and Word Alignment
TTI-Chicago（丰田工业大学芝加哥分校）；University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）
双语词典将一种语言中的单词映射到另一种语言中的翻译，并且通常通过学习线性投影来对齐单语词嵌入空间来诱导。在本文中，我们展示了结合（1）无监督的双文本挖掘和（2）无监督的单词对齐的方法可以产生更高质量的词典。直接应用一个管道，使用最近的算法，这两个子问题显着提高了诱导的词典质量和进一步的收益是可能的，通过学习过滤产生的词汇条目，无监督和半监督的计划。我们的最终模型在BUCC 2020共享任务上的表现优于最先进的12种语言对的平均14个$F_1$点，同时还提供了一种更可解释的方法，可以在上下文中进行丰富的词义推理。对我们的产出和标准参考词典的进一步分析表明，它们的质量相当，可能需要新的基准来衡量这项任务的进一步进展。
2021-06-12 cs.CL
Head Automata and Bilingual Tiling: Translation with Minimal Representations
我们提出了一个语言模型，由一个与短语的中心词相关的双向有限状态自动机的集合组成。该模型适用于词汇关联的增量应用，在动态规划搜索最佳依赖树派生。我们还提出了一个机器翻译的模型和算法，涉及最佳的“平铺”的依赖树与成本双语词典的条目。实验结果报告比较分配成本函数，这些模型的方法。最后，我们讨论了带注释的语言字符串作为机器翻译表示的充分性。
1996-07-03 cmp-lg cs.CL
Shared Lexical Items as Triggers of Code Switching
University of Haifa（海法大学）；Universität des Saarlandes（萨尔兰大学）
本研究基于三个语言对的五个大型数据集，验证了触发假说，发现共享词汇（同源词和专有名词）确实触发语码转换，且转换倾向受触发词距离和位置影响，不受词源影响，为相关理论提供了有力证据。
2023-08-29 cs.AI cs.CL
A Bootstrap Approach to Automatically Generating Lexical Transfer Rules
我们描述了一种方法，自动生成词汇迁移规则（LTRs）从词的等价使用的转移规则模板。模板是骨架LTR，未指定单词。新的LTR是通过用单词实例化模板来创建的，前提是这些单词属于模板所需的适当词汇类别。我们定义了两种方法来创建模板清单并使用它们生成新的LTR。一种更简单的方法是从手工编码的LTR样本中提取一组有限的模板，并直接在生成过程中使用它们。另一种方法包括在初始有限模板集上进行抽象以定义更高级别的模板，其中双语等价物根据涉及短语类别的对应关系来定义。短语模板，然后映射到词汇模板集的语法的帮助。通过这种方式，递归地定义了一组无限的词汇模板。新的LTR是通过解析输入单词，在短语级别匹配模板，并使用相应的词汇类别来实例化词汇模板来创建的。无限模板集的定义使得能够自动创建用于任何基数的多词、非组合词等价物的LTR。
1999-07-09 cs.CL
BilBOWA: Fast Bilingual Distributed Representations without Word Alignments
Google Inc.（谷歌公司）；Université de Montréal（蒙特利尔大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
我们介绍了BilBOWA（Bilingual Bag-of-Words without Alignments），这是一种简单且计算效率高的模型，用于学习单词的双语分布式表示，可以扩展到大型单语数据集，并且不需要单词对齐的并行训练数据。相反，它直接在单语数据上训练，并从较小的原始文本对齐数据集中提取双语信号。这是使用一种新的采样词袋跨语言目标来实现的，该目标用于正则化两个噪声对比语言模型，以实现高效的跨语言特征学习。我们表明，使用所提出的模型学习的双语嵌入在跨语言文档分类任务以及WMT 11数据的词汇翻译任务上优于最先进的方法。
2016-02-04 cs.CL cs.LG stat.ML
Massively Multilingual Lexical Specialization of Multilingual Transformers
University of Mannheim（曼海姆大学）；University of Würzburg（维尔茨堡大学）
本文利用BabelNet在50种语言上构建同义词对，通过对比目标对mBERT和XLM-R进行大规模多语言词汇特化，显著提升跨语言词汇与句子检索任务性能，并能泛化到特化中未见过的语言。
2023-05-29 cs.CL
Bilex Rx: Lexical Data Augmentation for Massively Multilingual Machine Translation
Google Research（谷歌研究院）
神经机器翻译（NMT）在过去几年中发展迅速，现代模型能够仅使用单语文本数据实现相对较高的质量，这种方法被称为无监督机器翻译（UNMT）。然而，这些模型仍然在各种各样的方面挣扎，包括对人类来说最简单的翻译方面-例如，正确翻译普通名词。这项工作探索了一种廉价而丰富的资源来解决这个问题：双语词汇。我们在真实世界的设置中测试了双语词典的功效，在网络抓取文本上训练了200种语言的翻译模型。我们提出了几个发现：（1）使用词汇数据增强，我们证明了无监督翻译的可观性能增益;（2）我们比较了几个数据增强家族，证明它们产生了类似的改进，并且可以组合以获得更大的改进;（3）我们证明了精心策划的词汇相对于更大，更嘈杂的词汇的重要性，特别是对于更大的模型;（4）比较了多语种词典数据和人工翻译的平行数据的有效性。最后，我们开源了GATITOS（可在https：//github.com/google-research/url-nlp/tree/main/gatitos获得），这是一个新的多语言词典，适用于26种低资源语言，在我们的实验中，它在所有词典中表现最好。
2023-03-27 cs.AI cs.CL cs.LG
Learning to Represent Bilingual Dictionaries
University of California, Los Angeles（加州大学洛杉矶分校）；The State University of New York, Stony Brook（纽约州立大学石溪分校）
双语词嵌入已被广泛用于捕捉不同人类语言中词汇语义的相似性。然而，许多应用，如跨语言语义搜索和问答，可以很大程度上受益于句子和词汇之间的跨语言对应。为了弥合这一差距，我们提出了一个利用双语词典的神经嵌入模型。该模型经过训练，将字面词定义映射到跨语言目标词，我们使用不同的句子编码技术进行了探索。为了提高有限资源的学习过程中，我们的模型采用了几个关键的学习策略，包括多任务学习不同的桥梁的语言，和联合学习的词典模型与双语词嵌入模型。实验评估侧重于两个应用程序。跨语言反向字典检索任务的结果表明，我们的模型的理解双语概念的描述的基础上，有前途的能力，并突出了所提出的学习策略在提高性能的有效性。同时，我们的模型有效地解决了双语释义识别问题，并显着优于以往的方法。
2019-09-06 cs.AI cs.CL cs.LG
A Probabilistic Translation Method for Dictionary-based Cross-lingual Information Retrieval in Agglutinative Languages
University of Tehran（德黑兰大学）
双语词典中的翻译歧义、词汇表外的词和漏译等问题使得基于词典的跨语言信息检索（CLIR）成为一项具有挑战性的任务。此外，在没有可靠词干的黏着语言中，双语词典中缺少各种词汇构成会降低CLIR的性能。本文的目的是引入一个概率翻译模型来解决歧义问题，并提供最可能的形式的字典候选。我们提出了最小编辑支持候选（MESC）方法，利用单语语料库和双语词典翻译用户的母语查询文档的语言。我们的实验表明，该方法优于最先进的基于字典的英语-波斯语CLIR。
2014-11-05 cs.CL cs.IR
Generating Concept Lexicalizations via Dictionary-Based Cross-Lingual Sense Projection
University of Toronto（多伦多大学）
提出一种通过语义投影将英语WordNet概念扩展到新语言的方法，利用双语词典增强对齐并过滤错误投影，在多个语言上提升了精度且保持可解释性和资源效率。
2026-06-08 cs.AI cs.CL
Adversarial Propagation and Zero-Shot Cross-Lingual Transfer of Word Vector Specialization
University of Cambridge（剑桥大学）；University of Mannheim（曼海姆大学）；PolyAI
语义专门化是使用外部词汇知识（例如，WordNet）来强调特定向量空间中的特定语义关系。虽然后处理专门化方法适用于任意分布向量，但是它们限于仅更新出现在外部词典中的单词的向量（即，看到的单词），保持所有其他单词的向量不变。我们提出了一种新的方法来专门的全分布词汇。我们的对抗后专业化方法传播外部词汇知识的完整分布空间。我们利用资源中的单词作为学习全局专业化函数的训练样本。这个函数是通过将标准的L2距离损失与对抗性损失相结合来学习的：对抗性组件产生更真实的输出向量。我们展示了所提出的方法在三种语言和三个任务上的有效性和鲁棒性：单词相似性，对话状态跟踪和词汇简化。我们报告了与其他最先进的专业化框架专门化的分布式词向量和向量相比的一致改进。最后，我们还提出了一个跨语言迁移方法zero-shot专业化，成功地专门化一个完整的目标分布空间，没有任何词汇知识的目标语言，没有任何双语数据。
2018-09-11 cs.CL
Multilingual LLMs Struggle to Link Orthography and Semantics in Bilingual Word Processing
Department of Electrical Engineering, Indian Institute of Technology Delhi（印度理工学院德里电气工程系）；Yardi School of Artificial Intelligence, Indian Institute of Technology Delhi（印度理工学院德里人工智能学院）
研究探讨多语言大语言模型在处理双语词时，如何通过拼写和语义特征进行区分，发现模型在处理双语同形词时存在显著困难，倾向于依赖拼写相似性而非语义理解。
2026-03-18 cs.CL
LexC-Gen: Generating Data for Extremely Low-Resource Languages with Large Language Models and Bilingual Lexicons
Brown University（布朗大学）；Data Science Institute, Brown University（布朗大学数据科学学院）
本文提出 LexC-Gen，通过先生成与双语词典兼容的高资源语言任务数据再逐词翻译，为极低资源语言构建分类数据，并显著提升情感分析和主题分类性能。
2024-10-28 cs.AI cs.CL cs.LG
How Do Lexical Senses Correspond Between Spoken German and German Sign Language?
Institute for Computational Linguistics, University of Heidelberg（计算语言学研究所，海德堡大学）；Department of Computing Science, University of Aberdeen（计算机科学系，阿伯丁大学）
本研究通过分析德语和德国手语的词义对应关系，构建了首个跨模态词义对应标注数据集，利用语义相似性方法提高了词义映射的识别效果。
2026-02-14 cs.CL
On the Linguistic Representational Power of Neural Machine Translation Models
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）；Qatar Computing Research Institute（卡塔尔计算研究所）
尽管深度神经网络最近在自然语言处理（NLP）方面取得了成功，但其可解释性仍然是一个挑战。我们分析了神经机器翻译模型在不同粒度级别上学习到的表示，并通过相关的外部属性来评估它们的质量。特别是，我们寻求以下问题的答案：（一）如何准确地捕捉单词结构的学习表示，在翻译形态丰富的语言的一个重要方面？(ii)这些表示是否捕获了长范围的依赖关系，并有效地处理了语法上不同的语言？(iii)这些表示是否捕捉到了词汇语义？我们沿着几个参数进行了彻底的调查：（一）在架构中的层捕捉这些语言现象的每一个;（二）翻译单位（字，字符，或子字单位）的选择如何影响所捕获的语言属性的底层表示？(iii)编码器和解码器是否以不同的方式独立学习？(iv)多语言NMT模型学习的表示是否与双语模型捕获相同数量的语言信息？我们的数据驱动的定量评估阐明了NMT模型的重要方面及其捕捉各种语言现象的能力。我们证明了深度NMT模型学习了大量的语言信息。值得注意的调查结果包括：（i）单词形态和词性信息在模型的较低层被捕获;（ii）相反，词汇语义或非局部句法和语义依赖在较高层被更好地表示;（iii）与使用子词单元学习的表示相比，使用字符学习的表示更了解单词形态;和（iv）与双语模型相比，多语言模型学习到的表示更丰富。
2019-11-01 cs.CL
Morphologically Aware Word-Level Translation
University of Cambridge（剑桥大学）；DeepMind（深度思维）；ETH Zürich（苏黎世联邦理工学院）
我们提出了一种新的双语词典归纳概率模型，它以结构化的方式联合建模词素翻译和屈折形态。我们的模型利用了基本的语言直觉，即词位是意义的关键词汇单位，而屈折形态提供了额外的句法信息。这种方法导致了实质性的性能改进-在监督设置中，6种语言对的准确性平均提高了19%，在弱监督设置中提高了16%。作为另一个贡献，我们强调与现代BLI，源于忽视屈折形态学的问题，并提出三个建议，以改善这项任务。
2020-11-15 cs.CL
Discovering Lexical Gaps Using Embeddings from Multilingual LLMs
Department of Cognitive Science, University of California San Diego（加州大学圣地亚哥分校认知科学系）
提出一种数据驱动框架，通过多语言大语言模型的上下文嵌入计算语义相似度，以识别跨语言词汇空缺，在韩英和英韩方向上分别达到0.81和0.76的AUC。
2026-05-23 cs.CL cs.LG
Wasserstein distances for evaluating cross-lingual embeddings
Salesforce（赛富时）；Expedia Group（亿客行集团）
词嵌入是词的高维向量表示，其在向量空间中捕获它们的语义相似性。有几种算法用于学习这种嵌入，既为一种语言，以及为几种语言联合。在这项工作中，我们建议通过适应下游自然语言任务的最佳运输框架，以评估集合的嵌入。我们展示了如何家庭的Wasserstein距离可以用来解决跨语言的文档检索和跨语言的文档分类问题。我们认为这种方法的优势相比，更传统的评价方法，如双语词汇归纳嵌入。我们的实验结果表明，在这些问题上使用Wasserstein距离的性能优于几个强基线，并与最先进的模型相当。
2019-11-11 cs.CL
A Comparison of Transformer and Recurrent Neural Networks on Multilingual Neural Machine Translation
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；MMT Srl（MMT有限公司）
最近，神经机器翻译（NMT）已经扩展到多语言，即用单个系统处理多个翻译方向。多语种NMT表现出对纯双语系统的竞争力。值得注意的是，在低资源环境中，它被证明是有效和高效的，这要归功于跨语言强制共享的表征空间，并诱导了一种迁移学习。此外，多语言NMT能够在训练时从未见过的语言对之间进行所谓的zero-shot推理。尽管对这个框架的兴趣越来越大，但对多语言NMT模型的能力和能力的深入分析仍然缺失。基于此，我们的工作（i）提供了双语，多语言和zero-shot系统产生的翻译的定量和比较分析;（ii）研究了MT中目前占主导地位的两种神经结构的翻译质量，这两种结构是递归的和Transformer的;（iii）定量地探索了语言之间的接近程度如何影响zero-shot翻译。我们的分析利用了几个不同系统对自动翻译的多个专业后期编辑，并重点关注自动标准度量（BLEU和TER）和广泛使用的错误类别，即词汇，词法和词序错误。
2018-06-20 cs.CL
Manual Annotation of Translational Equivalence: The Blinker Project
双语注释者被雇佣来将现代法语和现代英语的在线圣经版本之间的大约16000个对应单词联系起来。这些注释可从http://www.cis.upenn.edu/~melamed免费提供给研究社区。注释可用于多种目的。首先，它们可以用作开发和测试翻译词典和统计翻译模型的标准数据集。其次，词汇语义学的研究者将能够挖掘注释，以了解跨语言词汇化模式。第三，注释可以用于研究最近提出的单语词义消歧方法。本文介绍了注释文本，专门设计的注释工具，以及所采用的策略，以提高注释的一致性。注释过程由不同的注释者重复了五次。注释者之间的一致率表明，注释是合理可靠的，该方法是很容易复制。
1998-05-11 cmp-lg cs.CL
Improving Bilingual Lexicon Induction with Cross-Encoder Reranking
University of Cambridge（剑桥大学）
本文提出BLICEr方法，通过从多语言预训练模型中提取词汇知识并以交叉编码器重排序，增强任意跨语言词嵌入空间的双语词典归纳能力，在多个标准基准上取得最优结果。
2024-10-17 cs.AI cs.CL cs.IR
Robust Cross-lingual Hypernymy Detection using Dependency Context
University of Maryland（马里兰大学）；University of Pennsylvania（宾夕法尼亚大学）
跨语言上位词检测涉及确定一种语言中的词（“fruit”）是否是另一种语言中的词（“pomme”，即法语中的apple）的上位词。跨语言的上位词检测能力可以帮助解决跨语言版本的任务，如文本蕴涵和事件共指。我们提出了BISPARSE-DEP，一个家庭的跨语言上位词检测的无监督方法，学习稀疏，双语词嵌入依赖上下文的基础上。我们表明，BISPARSE-DEP可以显着提高性能，在这项任务上，仅基于词汇上下文的方法相比。我们的方法也很健壮，在低资源设置中表现出了希望：我们基于依赖关系的嵌入可以使用在相关语言上训练的解析器来学习，性能损失可以忽略不计。我们还为这项任务提供了一个具有挑战性的数据集，涉及四种语言-俄语，法语，阿拉伯语和中文。我们的嵌入和数据集是公开的。
2018-03-30 cs.CL
Ancient-Modern Chinese Translation with a Large Training Dataset
Sichuan University（四川大学）
古代汉语带来了中华民族的智慧和精神文化。从古代汉语到现代汉语的自动翻译有助于继承和发扬古人的精髓。然而，大规模平行语料库的缺乏限制了对古今汉语机器翻译的研究。本文针对古今汉语的特点，提出了一种基于汉语小句对齐的方法。该方法结合了基于词汇的信息和基于语法的信息，在我们的人工标注测试集上达到了94.2的F1分数。我们使用这种方法建立了一个新的大规模的古今汉语平行语料库，其中包含1.24 M的双语对。据我们所知，这是第一个大型高质量的古代-现代汉语数据集。此外，我们分析和比较了SMT和各种NMT模型在该数据集上的性能，并为这项任务提供了强有力的基线。
2019-05-09 cs.CL
GARI: Graph Attention for Relative Isomorphism of Arabic Word Embeddings
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Shenzhen University（深圳大学）
针对双语词汇归纳中嵌入空间相对同构问题，提出GARI模型，结合分布训练目标与图注意力网络引导的同构损失，在阿拉伯语数据上显著提升了P@1指标。
2023-10-19 cs.CL
Unsupervised Word Segmentation from Speech with Attention
LIMSI（法国计算机科学与自动化研究所）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；LIG（格勒诺布尔信息学实验室）；UGA（格勒诺布尔阿尔卑斯大学）；G-INP（格勒诺布尔国立理工学院）；INRIA（法国国家信息与自动化研究所）；BUT（布尔诺理工大学）；University of Essex（埃塞克斯大学）；CRISTAL（里尔大学CRISTAL实验室）；Université de Lille（里尔大学）
我们提出了第一次尝试执行注意分词直接从语音信号，最终的目标是自动识别词汇单位在低资源，不成文的语言（UL）。我们的方法假设UL中的录音与资源丰富的语言中的翻译配对。它使用声学单元发现（AUD）将语音转换为伪音素序列，该序列使用神经机器翻译模型产生的神经软对齐进行分段。评估使用实际班图UL，Mboshi;比较单语和双语基线说明注意分词的语言文档的潜力。
2018-06-18 cs.AI cs.CL
Monolingual alignment of word senses and definitions in lexicographical resources
National University of Ireland Galway（爱尔兰国立大学戈尔韦分校）
本论文的重点是广泛的词典编纂数据，特别是词典的对齐。为了解决这一领域的一些挑战，两个主要任务的词义对齐和翻译推理的解决。第一个任务的目的是找到一个最佳对齐给定的意义定义的一个词目在两个不同的单语词典。这是一个具有挑战性的任务，特别是由于在两个资源的意义粒度，覆盖范围和描述的差异。在描述了各种词汇语义资源的特点后，我们介绍了一个包含15种语言的17个数据集的基准，其中单语词义和定义由专家在不同的资源中手动注释。在创建基准时，词典编纂者的知识通过注释被纳入其中，其中为每个意义对选择语义关系，即精确的、较窄的、较宽的、相关的或无。该基准可以用于评估词义对齐系统的目的。使用该基准测试对几种基于文本和非文本语义相似性检测和语义关系归纳的对齐技术的性能进行了评估。最后，我们将这项工作扩展到翻译推理，其中翻译对被诱导以无监督的方式使用基于图分析的各种方法生成双语词典。这项任务对于为资源较少和代表性不足的语文创建词典编纂资源特别有意义，也有助于扩大现有资源的覆盖面。从实用的角度来看，在这篇论文中开发的技术和方法是在一个工具，可以方便的对齐任务。
2022-09-06 cs.CL
Improving Word Translation via Two-Stage Contrastive Learning
University of Cambridge（剑桥大学）
本文提出两阶段对比学习框架用于双语词典归纳，先精化静态词嵌入的跨语言映射，再对 mBERT 进行面向 BLI 的对比微调，在 28 个语言对的 112 个设置上均取得提升。
2024-10-17 cs.AI cs.CL cs.IR
Universal Conceptual Structure in Neural Translation: Probing NLLB-200's Multilingual Geometry
University of Alberta（阿尔伯塔大学）
本研究通过探测NLLB-200的表示几何结构，发现其学习了语言通用的概念表示，并展示了跨语言一致性的证据。
2026-11-04 cs.AI cs.CL cs.LG
