ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools
Zhipu AI（智谱AI）；Tsinghua University（清华大学）
本文介绍了 ChatGLM 大型语言模型家族，重点阐述 GLM-4 系列模型的预训练、多阶段对齐方法及全能工具调用能力，其在多项基准上匹敌 GPT-4 并开源了多代模型。
2024-07-30 cs.CL
Beetle: A Bilingual Model Suite for Modelling Second-Language Processing
University of Cambridge（剑桥大学）；EleutherAI；MIT（麻省理工学院）
Beetle是一个受控的双语语言模型预训练框架，通过独立操控训练条件，训练并发布了330个模型，发现分阶段课程优于平衡双语训练，为计算心理语言学提供了双语加工研究工具。
2026-09-22 cs.CL
Massively Multilingual Adaptation of Large Language Models Using Bilingual Translation Data
本文提出利用双语翻译数据提升大规模多语言大语言模型在500种语言上的适应性能，通过构建MaLA语料库和开发EMMA-500模型，验证了双语数据对语言迁移和低资源语言性能的积极影响。
2025-12-04 cs.CL
Bilingual Language Modeling, A transfer learning technique for Roman Urdu
NUCES (FAST)（NUCES（FAST））
预训练的语言模型现在广泛用于自然语言处理。尽管它们取得了成功，但将它们应用于低资源语言仍然是一个巨大的挑战。虽然多语言模型有很大的希望，但将它们应用于特定的低资源语言（如罗马乌尔都语）可能会过度。在本文中，我们展示了如何代码转换属性的语言可以用来执行跨语言迁移学习从相应的高资源语言。我们还展示了这种称为双语语言建模的迁移学习技术如何用于为罗马乌尔都语生成性能更好的模型。为了使培训和实验，我们还提出了一个收集的小说语料库罗马乌尔都语提取各种来源和社交网站，如Twitter。我们训练了罗马乌尔都语的单语、多语和双语模型--在掩蔽语言建模（MLM）任务中，与单语和多语模型的2%和11%相比，所提出的双语模型实现了23%的准确率。
2021-02-22 cs.CL
Low-resource Bilingual Dialect Lexicon Induction with Large Language Models
LMU Munich（慕尼黑大学）
本文研究德语与巴伐利亚语、阿勒曼尼语之间的低资源双语词典归纳，分析基于 LLM 的无监督流程，并从词频和编辑距离评估输出，发布人工判定的句对与词对评测集。
2023-04-19 cs.CL
Cross-Domain Bilingual Lexicon Induction via Pretrained Language Models
Harbin Institute of Technology（哈尔滨工业大学）
本文提出跨领域双语词典归纳新任务，通过引入Code Switch方法结合预训练模型优化词嵌入，在医学等三个专业领域平均提升0.78分，解决了静态词嵌入在专业领域表现不佳的问题。
2025-05-29 cs.CL
EriBERTa: A Bilingual Pre-Trained Language Model for Clinical Natural Language Processing
HiTZ Basque Center for Language Technology（HiTZ巴斯克语言技术中心）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
针对西班牙语临床领域专用语言模型匮乏的问题，本文提出在大规模医疗临床语料上预训练的双语模型EriBERTa，其临床任务表现优于现有西语模型，且跨语言迁移能力可缓解西语临床数据不足的困境。
2023-06-12 cs.CL
Learning to Represent Bilingual Dictionaries
University of California, Los Angeles（加州大学洛杉矶分校）；The State University of New York, Stony Brook（纽约州立大学石溪分校）
双语词嵌入已被广泛用于捕捉不同人类语言中词汇语义的相似性。然而，许多应用，如跨语言语义搜索和问答，可以很大程度上受益于句子和词汇之间的跨语言对应。为了弥合这一差距，我们提出了一个利用双语词典的神经嵌入模型。该模型经过训练，将字面词定义映射到跨语言目标词，我们使用不同的句子编码技术进行了探索。为了提高有限资源的学习过程中，我们的模型采用了几个关键的学习策略，包括多任务学习不同的桥梁的语言，和联合学习的词典模型与双语词嵌入模型。实验评估侧重于两个应用程序。跨语言反向字典检索任务的结果表明，我们的模型的理解双语概念的描述的基础上，有前途的能力，并突出了所提出的学习策略在提高性能的有效性。同时，我们的模型有效地解决了双语释义识别问题，并显着优于以往的方法。
2019-09-06 cs.AI cs.CL cs.LG
Plan Optimization to Bilingual Dictionary Induction for Low-Resource Language Families
Ritsumeikan University（立命馆大学）；Waseda University（早稻田大学）
针对低资源语系双语词典创建成本优化难题，提出基于马尔可夫决策过程的规划优化方法，通过beta分布建模精度与成本，实验实现最高61.5%的成本降低，效果优于基线。
2020-10-05 cs.AI cs.CL cs.LG
Dict-NMT: Bilingual Dictionary based NMT for Extremely Low Resource Languages
School of Computer Sciences, NISER（国家科学教育与研究学院计算机科学学院）；Homi Bhabha National Institute（霍米·巴巴国家研究所）
神经机器翻译（NMT）模型在大型双语数据集上是有效的。然而，现有的方法和技术表明，该模型的性能是高度依赖于训练数据的例子的数量。对于许多语言来说，拥有如此数量的语料库是一个遥不可及的梦想。从单语者探索新的语言使用双语词典的灵感，我们调查的双语词典的适用性语言极低，或没有双语语料库。在本文中，我们探讨了使用双语词典与NMT模型来改善极低资源语言的翻译的方法。我们将这项工作扩展到多语言系统，表现出zero-shot属性。我们详细分析了词典质量、训练数据集大小、语言家族等因素的影响，翻译质量。多个低资源测试语言的结果表明，我们的双语词典为基础的方法比基线的明显优势。
2022-06-09 cs.AI cs.CL
Bilingual Dictionary-based Language Model Pretraining for Neural Machine Translation
Univ. of Maryland（马里兰大学）
最近的研究表明，通过应用跨语言语言模型预训练（Lample和Conneau，2019），特别是翻译语言模型（TLM），神经机器翻译的性能得到了明显的改善。为了减轻TLM对昂贵的并行语料库的需求，在这项工作中，我们将词典中的翻译信息纳入预训练过程，并提出了一种新的基于双语词典的语言模型（BDLM）。我们评估我们的BDLM中文，英语和罗马尼亚语。对于中文-英文，我们在WMT-News 19（Tiedemann，2012）上获得了55.0 BLEU，在WMT 20新闻评论上获得了24.3 BLEU，优于Vanilla Transformer（Vaswani et al.，2017年）分别超过8.4 BLEU和2.3 BLEU。根据我们的实验结果，BDLM在收敛速度和预测生僻字方面也有优势。WMT 16罗马尼亚语-英语BLEU的增加也表明了其在低资源语言翻译中的有效性。
2021-03-12 cs.AI cs.CL cs.LG
Graph Language Models
Heidelberg University（海德堡大学）
本文提出图语言模型（GLM），结合预训练LM的文本理解能力与图结构偏置，统一处理图与文本输入，在关系分类任务中超越LM和GNN基线。
2024-06-03 cs.AI cs.CL cs.LG
GLM-Dialog: Noise-tolerant Pre-training for Knowledge-grounded Dialogue Generation
Renmin University of China（中国人民大学）；Tsinghua University（清华大学）
我们提出了GLM-Dialog，一个大规模的语言模型（LLM）与10 B参数能够知识为基础的对话中使用的搜索引擎访问互联网知识。GLM-Dialog提供了一系列适用的技术，用于利用各种外部知识，包括有用的和嘈杂的知识，从而能够使用有限的适当数据集创建强大的以知识为基础的对话LLM。为了更公平地评估GLM-Dialog，我们还提出了一种新的评估方法，允许人类同时与多个部署的机器人进行对话，并隐式地比较它们的性能，而不是使用多维指标进行显式评级。从自动到人类的角度进行综合评估，展示了GLM-Dialog与现有开源中文对话模型相比的优势。我们发布了模型检查点和源代码，并将其部署为微信应用程序与用户进行交互。我们在线提供评估平台，以促进开源模型和可靠对话评估系统的开发。另外还发布了易于使用的工具包，包括短文本实体链接、查询生成和有用的知识分类，以支持各种应用程序。所有的源代码都可以在Github上找到。
2023-02-28 cs.AI cs.CL
Assessing the Bilingual Knowledge Learned by Neural Machine Translation Models
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
机器翻译（MT）系统通过从训练样本自动学习双语词典、语法和语义的深入知识来在不同语言之间翻译文本。虽然神经机器翻译（NMT）已经引领了机器翻译领域，但我们对它如何以及为什么工作的理解很差。在本文中，我们通过评估NMT模型与短语表（双语词典的可解释表）学习的双语知识来弥补这一差距。我们从NMT模型正确预测的训练样本中提取短语表。在广泛使用的数据集上的实验表明，该短语表是合理的，对语言对和随机种子是一致的。我们发现，NMT模型配备了可解释的短语表，学习模式从简单到复杂，并提取必要的双语知识的训练样本。我们还回顾了一些可能影响双语知识学习的进展（例如，翻译），并报告一些有趣的发现。我们相信，这项工作开辟了一个新的角度来解释NMT的统计模型，并提供了经验支持的最新进展，改进NMT模型。
2020-04-28 cs.CL cs.LG
Learning Crosslingual Word Embeddings without Bilingual Corpora
IBM Research - Tokyo（IBM 东京研究院）；University of Melbourne（墨尔本大学）；National ICT Australia（澳大利亚国家信息通信技术研究院）；International Computer Science Institute（国际计算机科学研究所）
跨语言词嵌入在同一向量空间中表示来自不同语言的词汇项，从而实现NLP工具的传输。然而，以前的尝试有昂贵的资源需求，难以纳入单语数据或无法处理一词多义。我们解决这些缺点，在我们的方法中，利用高覆盖率的字典在EM风格的训练算法在两种语言的单语语料库。我们的模型实现了最先进的性能双语词汇归纳任务超过模型使用大型双语语料库，单语词相似性和跨语言文档分类任务的竞争结果。
2016-06-30 cs.AI cs.CL
Bilingual Embeddings with Random Walks over Multilingual Wordnets
UPV/EHU（巴斯克地区大学）
双语词嵌入在同一空间中表示两种语言的单词，并且允许在没有机器翻译的情况下将知识从一种语言转移到另一种语言。主要方法是首先训练单语嵌入，然后使用双语词典映射它们。在这项工作中，我们提出了一种新的方法来学习双语嵌入基于多语言知识库（KB），如WordNet。我们的方法通过随机游走从多语言词网中提取双语信息，并一次性学习联合嵌入空间。我们在流行的skipgram模型的损失函数中添加双语约束，进一步加强跨语言等效性。我们的实验涉及12个跨语言词汇相似度和相关度数据集，包括4种语言的6个语言对，实验结果表明：1）多语言词网的随机游走比仅使用词典的搜索结果有所改善; 2）多语言词网本身在相似度数据集上比基于文本的系统有所改善; 3）对于大的字网，（如英文、西班牙文）、较小的字网（例如巴斯克语）或松散对齐的词网（例如意大利语）; 4）词网和文本的组合产生最佳结果，高于基于映射的方法。我们的方法可以应用于更丰富的知识库，如DBpedia或Babel-Net，并可以很容易地扩展到多语言嵌入。所有软件和资源都是开源的。
2018-04-23 cs.AI cs.CL
Bilingual Dictionary Induction for Bantu Languages
University of California, San Diego（加州大学圣地亚哥分校）
我们提出了一种学习英语和班图语之间的双语翻译词典的方法。我们发现，利用班图语的语法结构，使双语词典归纳语言的训练数据是不可用的。
2019-07-17 cs.CL
Bilingual by default: Voice Assistants and the role of code-switching in creating a bilingual user experience
University College Dublin（都柏林大学学院）
对话式用户界面（如语音助理）非常受欢迎。然而，它们的设计默认为单语，缺乏对双语对话体验的支持或敏感性。在这篇挑衅性的论文中，我们强调了双语用户在VA交互中所面临的语言生产挑战。我们认为，通过促进双语互动中出现的现象，如语码转换，我们可以为双语用户培养一个更具包容性和改善的用户体验。我们还探讨了可能实现这一目标的方法，通过支持多种语言识别以及对语音输出中的代码切换偏好敏感。
2022-06-20 cs.CL cs.HC
Beyond Bilingual: Multi-sense Word Embeddings using Multilingual Context
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Virginia（弗吉尼亚大学）；Microsoft Research（微软研究院）；Stanford University（斯坦福大学）
词嵌入将词表示为向量空间中的一个点，它在几个NLP任务中无处不在。最近的一系列工作使用双语（两种语言）语料库来学习一个词的每个意义的不同向量，通过利用跨语言信号来帮助意义识别。我们提出了一种多视图贝叶斯非参数算法，该算法通过（a）使用多语言（即，两种以上的语言）语料库，以显着提高意义嵌入超过一个人实现双语信息，和（b）使用一个原则性的方法来学习一个变量数量的意义，每个字，在数据驱动的方式。我们的方法是第一种能够有效利用多语言语料库进行多意义表示学习的方法。实验表明，多语言训练通过允许我们结合不同的平行语料库来利用多语言上下文，从而显着提高了单语和双语训练的性能。多语言训练产生的性能与在五倍以上的训练数据上训练的最先进的单语言模型相当。
2017-06-25 cs.CL cs.LG
A Generalized Constraint Approach to Bilingual Dictionary Induction for Low-Resource Language Families
Kyoto University（京都大学）；Universitas Islam Riau（伊斯兰廖内大学）
双语词典的抽取是一项针对低资源语言的困难任务。事实证明，枢纽语言和同源识别方法对于归纳此类语言的双语词典非常有用。我们提出了基于约束的双语词典归纳密切相关的语言，从最近的基于语义的归纳技术，并进一步使多个对称性假设循环，以达到更多的同源词transgraph的扩展约束。我们进一步确定同源同义词，以获得多对多的翻译对。本文使用了四个数据集：一个南岛语低资源语言和三个印欧语高资源语言。我们使用三个基于约束的方法，从我们以前的工作，逆咨询方法和翻译对从输入字典的笛卡尔积作为基线。我们使用精确度，召回率和F分数的指标来评估我们的结果。我们的可定制方法允许用户进行交叉验证，以预测最佳超参数（同源阈值和同源同义词阈值），并使用不同的对称性假设循环组合和数量，以获得最高的F分数。我们提出的方法有统计上显着的改善精度和F分数相比，我们以前的约束为基础的方法。结果表明，我们的方法证明了补充其他双语词典创建方法的潜力，如使用并行语料库的高资源语言的单词对齐模型，同时很好地处理低资源语言。
2020-10-05 cs.AI cs.CL
Learning Multilingual Word Embeddings in Latent Metric Space: A Geometric Approach
Microsoft（微软）；IIT Madras（印度理工学院马德拉斯分校）
我们提出了一种新的几何方法学习双语映射单语嵌入和双语字典。我们的方法将学习从源语言到目标语言的转换分为（a）学习特定语言嵌入的旋转以将它们对齐到公共空间，以及（b）学习公共空间中的相似性度量以模拟嵌入之间的相似性。我们将双语映射问题建模为光滑黎曼流形上的优化问题。我们表明，我们的方法优于以前的方法在双语词汇归纳和跨语言词相似性任务。我们还概括了我们的框架，以表示在一个共同的潜在空间的多种语言。特别是，几种语言的潜在空间表示联合学习，给出多语言对的双语词典。我们说明了联合学习的有效性，为多种语言在zero-shot单词翻译设置。我们的实现可以在https://github.com/anoopkunchukuttan/geomm上获得。
2018-12-18 cs.AI cs.CL cs.LG
Chinese Discourse Segmentation Using Bilingual Discourse Commonality
Institute of Computational Linguistics（计算语言学研究所）；Peking University（北京大学）
语篇切分是语篇分析中的一项基本任务，其目的是对基本语篇单位进行切分。对于汉语，以往的研究只是通过区分标点符号的功能来识别EDU。本文认为，中文EDU不应该以标点符号为结尾，而应该遵循RST-DT中EDU的定义。在此基础上，利用英语标注数据进行汉语语篇切分，并利用英汉语篇的共性，设计了一个对抗性的神经网络框架，在没有或只有少量汉语标注数据的情况下，提取与语言无关的共性特征和语言特定的特征。实验结果表明，该模型能够充分利用双语语料中的共同特征，并从少量的中文标注数据中学习到有效的中文特征，性能优于基线模型。
2018-08-30 cs.AI cs.CL
Disambiguating bilingual nominal entries against WordNet
本文探讨了从双语词典（法语/英语，西班牙语/英语和英语/西班牙语）使用预先存在的广泛覆盖的词汇知识库（LKB）WordNet的概念知识的收购。双语名词性条目在WordNet上消歧，因此将双语词典链接到WordNet产生多语言LKB（MLKB）。产生的MLKB具有与WordNet相同的结构，但一些节点附加到其他语言的消歧词汇表。两种不同的，互补的方法进行了探讨。在一种方法中，字典的每个条目都被轮流使用，利用条目本身中的信息。消除翻译歧义的推理能力由WordNet上的语义密度给出。在另一种方法中，双语词典与WordNet合并，主要利用同义关系。每一种方法都在不同的字典中使用。这两种方法都能达到很高的精度，这表明消除双语名词性条目的歧义，从而将双语词典与WordNet联系起来是一项可行的任务。
1995-10-04 cmp-lg cs.CL
A Discriminative Latent-Variable Model for Bilingual Lexicon Induction
Insight Research Centre, National University of Ireland, Galway（爱尔兰国立高威大学Insight研究中心）；Aylien Ltd.（Aylien有限公司）；The Computer Laboratory, University of Cambridge（剑桥大学计算机实验室）；Department of Computer Science, Johns Hopkins University（约翰霍普金斯大学计算机科学系）；Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）
提出结合二分匹配词典先验与基于表示方法的新型判别式隐变量模型，推导高效Viterbi EM算法，经6种语言对实验验证其先验可提升双语词典质量，且可将过往相关研究归为同类结构的隐变量模型。
2026-08-26 cs.CL cs.LG stat.ML
Assessing the Role of Data Quality in Training Bilingual Language Models
Apple（苹果公司）
本研究针对双语语言模型跨语言性能差异大的问题，发现数据质量不均是双语场景性能下降的主因，提出仅用高质量英语数据筛选双语训练数据的策略，有效提升单语性能并缩小双语模型性能差距。
2025-06-15 cs.CL
LNMap: Departures from Isomorphic Assumption in Bilingual Lexicon Induction Through Non-Linear Mapping in Latent Space
Nanyang Technological University（南洋理工大学）；Salesforce Research（Salesforce研究院）
大多数成功的和占主导地位的双语词典归纳（BLI）方法都是基于映射的，其中在假设不同语言的词嵌入空间表现出相似的几何结构（即，近似同构）。然而，最近的一些研究批评了这种简化的假设，表明即使对于密切相关的语言，它也不适用。在这项工作中，我们提出了一种新的半监督方法来学习跨语言的词嵌入的BLI。我们的模型独立于同构假设，并在两个独立训练的自动编码器的潜在空间中使用非线性映射。通过对来自两个不同数据集的15种不同语言对（双向）（包括资源丰富和资源不足的语言）进行广泛的实验，我们证明了我们的方法优于现有模型。消融研究显示了不同模型组件的重要性和非线性映射的必要性。
2020-10-22 cs.CL cs.LG
One model, two languages: training bilingual parsers with harmonized treebanks
Universidade da Coruña（拉科鲁尼亚大学）
我们介绍了一种方法来训练词汇化的语法分析器，使用双语语料库，通过合并不同语言的协调树库，产生的语法分析器，可以分析句子中的任何一个学习的语言，甚至句子混合。我们在Universal Departments Treebanks上测试了这种方法，并使用MaltParser和MaltOptimizer进行了训练。结果表明，这些双语解析器是超过竞争力，因为大多数组合不仅保持准确性，但有些甚至实现了显着的改善，相应的单语解析器。初步的实验也表明，该方法是有前途的代码转换和更多的语言时，添加的文本。
2016-05-19 cs.CL
Dictionaries to the Rescue: Cross-Lingual Vocabulary Transfer for Low-Resource Languages Using Bilingual Dictionaries
Nara Institute of Science and Technology（奈良科学技术大学）；Sakana AI
本文提出利用双语词典进行跨语言词表迁移，通过逐步移除 BPE 子词并迭代估计嵌入，在低资源语言上优于现有方法。
2025-06-02 cs.AI cs.CL
Searching for Needles in a Haystack: On the Role of Incidental Bilingualism in PaLM's Translation Capability
Google（谷歌）
研究以PaLM为例，通过混合方法大规模测量附带双语现象，发现PaLM接触超3000万跨44种语言翻译对，并证实其对零样本翻译能力有重大影响且随模型规模增大而减弱。
2023-05-17 cs.CL
Taiyi: A Bilingual Fine-Tuned Large Language Model for Diverse Biomedical Tasks
Dalian University of Technology（大连理工大学）
本文提出双语微调生物医学大语言模型Taiyi，基于140个中英数据集和两阶段监督微调策略，在13个测试集上验证其多任务性能优于通用LLM。
2023-12-19 cs.AI cs.CL
Offline bilingual word vectors, orthogonal transformations and the inverted softmax
babylon health（巴比伦健康）
通常双语词向量是“在线”训练的。Mikolov等人表明，它们也可以“离线”找到，即使用从专家知识编译的字典，将两个预先训练的嵌入与线性变换对齐。本文证明了两个空间之间的线性变换是正交的。这种变换可以使用奇异值分解来获得。我们引入了一种新的“倒置softmax”用于识别翻译对，我们将Mikolov原始映射的精度从34%提高到43%，当将由常见和罕见的英语单词组成的测试集翻译成意大利语时。正交变换对噪声具有更强的鲁棒性，使我们能够在没有专家双语信号的情况下通过从两种语言中出现的相同字符串构建“伪字典”来学习变换，在相同的测试集上实现40%的精度。最后，我们扩展了我们的方法，从200k意大利语句子的语料库中检索英语句子的真实翻译，精度为68%。
2017-02-13 cs.AI cs.CL cs.IR
Generating Multilingual Voices Using Speaker Space Translation Based on Bilingual Speaker Data
Apple（苹果公司）
我们目前的双语文本到语音，这是能够转换单语语音讲第二语言，同时保持扬声器的语音质量的进展。我们表明，双语扬声器嵌入空间包含一个单独的分布，为每种语言和扬声器嵌入所产生的扬声器空间中的一个简单的变换可以用来控制的程度口音的合成语音的语言。同样的变换甚至可以应用于单语说话者。在我们的实验中，使用来自英语-西班牙语（墨西哥）双语扬声器的扬声器数据，目标是使英语扬声器讲西班牙语和西班牙语扬声器讲英语。我们发现，简单的变换足以将语音从一种语言转换为另一种语言，具有高度的自然性。在一种情况下，转换后的声音在听力测试中优于母语声音。实验进一步表明，该变换保留了原始语音的许多特征。可以控制重音的程度，并且自然度在重音值的范围内相对一致。
2020-04-10 cs.CL cs.LG cs.SD
Towards Fully Bilingual Deep Language Modeling
University of Turku（图尔库大学）
近年来，基于深度神经网络的语言模型促进了自然语言处理和理解任务的巨大进步。虽然已经引入了涵盖大量语言的模型，但它们的多语言性是以单语言性能为代价的，并且在不涉及跨语言迁移的大多数任务中性能最好的模型仍然是单语言的。在本文中，我们考虑的问题是，是否有可能预先训练两种远程相关语言的双语模型，而不影响任何一种语言的性能。我们收集预训练数据，创建芬兰-英语双语BERT模型，并在用于评估相应单语模型的数据集上评估其性能。我们的双语模型在GLUE上的表现与谷歌的原始英语BERT相当，在一系列芬兰NLP任务上的表现几乎与单语芬兰语BERT相当，明显优于多语言BERT。我们发现，当模型词汇量增加时，BERT-Base架构有足够的能力学习两种远程相关语言，达到与单语模型相当的性能水平，这证明了训练完全双语深度语言模型的可行性。该模型及其创建过程中涉及的所有工具均可在www.example.com上免费获得
2020-10-22 cs.CL
word2word: A Collection of Bilingual Lexicons for 3,564 Language Pairs
Kakao Brain
我们提出了word 2 word，一个公开的数据集和一个开源的Python包，用于从并行语料库中提取的跨语言单词翻译。我们的数据集在OpenSubtitles 2018中提供了62种语言的3，564（定向）语言对中的前k个单词翻译（Lison等人，2018年）。为了获得这个数据集，我们使用基于计数的双语词典提取模型的基础上观察，不仅源和目标词，而且源词本身可以高度相关。我们说明，由此产生的双语词典有很高的覆盖率，并达到竞争力的翻译质量的几种语言对。我们将数据集和模型包装在一个易于使用的Python库中，该库支持下载和检索任何支持的语言对中的前k个单词翻译，以及计算自定义并行语料库的前k个单词翻译。
2019-11-27 cs.CL
TuGeBiC: A Turkish German Bilingual Code-Switching Corpus
University of Reading（雷丁大学）；University of Stuttgart（斯图加特大学）
在本文中，我们描述的过程中，收集，转录和注释的录音自发语音样本从土耳其-德国双语，和汇编的语料库称为TuGeBiC。研究的参与者是在20世纪90年代上半年记录时居住在德国或土耳其的成年土耳其-德国双语者。这些数据被手动标记和规范化，所有专有名称（对话中提到的参与者和地点的名称）都被替换为专有名词。进行了标记级的自动语言识别，这使得有可能确定每种语言的单词比例。语料库在两种语言之间大致平衡。我们还提供了关于语码转换数量的定量信息，并给出了在数据中发现的不同类型的语码转换的例子。由此产生的语料库已免费提供给研究界。
2022-05-02 cs.CL
Introducing Code-Switched Contexts to Cognitively-Inspired Bilingual Model Training
University of Göttingen（哥廷根大学）
本研究通过控制语码转换的结构位置和动态切换率，在两种类型不同的语言对上训练双语模型，发现合成语码转换数据能改善类型相近语言的跨语言对齐。
2026-10-06 cs.CL
A Deep Reinforced Model for Zero-Shot Cross-Lingual Summarization with Bilingual Semantic Similarity Rewards
Carnegie Mellon University（卡内基梅隆大学）
跨语言文本摘要的目的是在一种语言输入的情况下生成另一种语言的文档摘要。这是一项具有实际意义的重要任务，但尚未得到充分探讨，主要原因是缺乏可用数据。现有的方法求助于机器翻译来合成训练数据，但是这样的流水线方法遭受错误传播。在这项工作中，我们提出了一个端到端的跨语言文本摘要模型。该模型使用强化学习来直接优化以目标语言生成的摘要与以源语言生成的黄金摘要之间的双语语义相似性度量。我们还介绍了利用单语摘要和机器翻译目标对模型进行预训练的技术。在英汉和英德两种跨语言摘要环境下的实验结果证明了本文方法的有效性。此外，我们发现，以双语语义相似度作为奖励的强化学习模型比强基线生成更流畅的句子。
2020-06-27 cs.CL
Giving Voice to the Constitution: Low-Resource Text-to-Speech for Quechua and Spanish Using a Bilingual Legal Corpus
Northeastern University, USA（东北大学）；Universitat Pompeu Fabre, Spain（庞培法布雷大学）；Barcelona Supercomputing Center, Spain（巴塞罗那超级计算中心）
本文提出统一管道，利用三种先进文本到语音架构生成高质量的秘鲁宪法Quechua和西班牙语音频，通过双语和多语TTS能力提升两种语言的合成质量，缓解Quechua数据稀缺问题，同时保持西班牙语音的自然性。
2026-04-14 cs.AI cs.CL cs.DL
GLM-4-Voice: Towards Intelligent and Human-Like End-to-End Spoken Chatbot
Tsinghua University（清华大学）
本文提出端到端双语语音聊天机器人 GLM-4-Voice，通过低比特率语音分词器、语音-文本交错预训练与会话微调，实现实时、富有情感且高质量的类人语音对话。
2024-12-03 cs.CL cs.SD eess.AS
Bilingual Mutual Information Based Adaptive Training for Neural Machine Translation
Beijing Jiaotong University（北京交通大学）；Tencent Inc（腾讯公司）；Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
最近，令牌级自适应训练在机器翻译中取得了有希望的改进，其中通过为不同的令牌分配不同的训练权重来调整交叉熵损失函数，以减轻令牌不平衡问题。然而，以前的方法只使用目标语言中的静态词频信息，而不考虑源语言，这对于像机器翻译这样的双语任务是不够的。在本文中，我们提出了一种新的双语互信息（BMI）为基础的自适应目标，从双语的角度来衡量每个目标令牌的学习难度，并相应地分配一个自适应权重，以提高令牌级自适应训练。该方法将较大的训练权值分配给BMI值较高的标记，使得容易的标记以粗粒度更新，而困难的标记以细粒度更新。在WMT 14英-德和WMT 19中-英两种语言上的实验结果表明，与Transformer基线和以往的标记级自适应训练方法相比，该方法具有更好的性能。进一步的分析表明，该方法可以提高词汇的多样性。
2021-05-27 cs.CL
Creating Domain-Specific Translation Memories for Machine Translation Fine-tuning: The TRENCARD Bilingual Cardiology Corpus
Universitat Autònoma de Barcelona（巴塞罗那自治大学）
本文提出一种由译者主导的半自动翻译记忆构建方法，并据此从土耳其心脏病学期刊双语摘要构建了约80万词、5万句的TRENCARD土英双语语料库，用于机器翻译及大语言模型微调。
2024-09-04 cs.CL
Bilingual alignment transfers to multilingual alignment for unsupervised parallel text mining
University of Chicago（芝加哥大学）；University of Washington（华盛顿大学）
这项工作提出了使用成对或不成对的双语文本学习跨语言句子表征的方法。我们假设跨语言对齐策略是可转移的，因此训练仅对齐两种语言的模型可以编码多语言对齐的表示。因此，我们引入了双支点迁移：在一个语言对上进行训练，在其他语言对上进行评估。为了研究这一理论，我们设计了在未配对句子上训练的无监督模型和在双文本上训练的单对监督模型，两者都基于无监督语言模型XLM-R，其参数被冻结。实验评估模型作为通用的句子编码器的任务上的无监督的双文本挖掘两个数据集，其中的无监督模型达到最先进的无监督检索，和替代的单对监督模型的性能接近多语言监督模型。结果表明，双语训练技术提出的可以应用到获得句子表示与多语言对齐。
2022-03-15 cs.CL
A Multi-cascaded Deep Model for Bilingual SMS Classification
Lahore University of Management Sciences (LUMS)（拉合尔管理科学大学（LUMS））
大多数文本分类的研究都集中在英语语言上。然而，短信等短文本受到区域语言的影响。这使得自动文本分类任务具有挑战性，因为文本中的语言具有多语言，非正式和嘈杂的性质。在这项工作中，我们提出了一种新的多级联深度学习模型，称为McM双语短信分类。McM利用$n$ -语法级信息以及文本的长期依赖性进行学习。我们的方法旨在学习一个没有任何代码转换指示，词汇规范化，语言翻译或语言音译的模型。该模型完全依赖于文本，因为没有外部知识库用于学习。为此目的，一个12类双语文本数据集开发的SMS反馈公民对公共服务包含混合罗马乌尔都语和英语。我们的模型在这个数据集上实现了高精度的分类，并且在多语言文本分类方面优于以前的模型，突出了McM的语言独立性。
2019-11-29 cs.CL
Non-native English lexicon creation for bilingual speech synthesis
Zapr Media Labs (Red Brick Lane Marketing Solutions Pvt. Ltd.)（Zapr媒体实验室（红砖巷营销解决方案私人有限公司））
双语英语者把英语作为他们的语言之一。他们的英语是一种非母语的，他们的谈话是一种代码混合的方式。双语文本到语音（TTS）系统的可理解性，这样的非英语母语的人依赖于一个词汇，捕捉非母语的人使用的音素序列。然而，由于缺乏非母语英语词汇，现有的双语TTS系统采用母语英语词汇，广泛使用，除了他们的母语词汇。由于音频中的非母语英语发音和文本中的母语英语词汇之间的不一致，在这种TTS系统中合成语音的可懂度显著降低。本论文的研究动机是：说话者的母语对非母语英语发音有很大的影响。我们提出了一个通用的方法来获得规则的基础上，字母音素对齐映射母语英语词汇到他们的非母语版本。这种映射的有效性进行了研究，通过比较双语（印度英语和印地语）TTS系统训练和不建议的规则。主观评价表明，与建议的非母语英语词汇规则训练的双语TTS系统获得了6%的绝对改善的偏好。
2021-06-21 cs.CL cs.SD eess.AS
Head Automata and Bilingual Tiling: Translation with Minimal Representations
我们提出了一个语言模型，由一个与短语的中心词相关的双向有限状态自动机的集合组成。该模型适用于词汇关联的增量应用，在动态规划搜索最佳依赖树派生。我们还提出了一个机器翻译的模型和算法，涉及最佳的“平铺”的依赖树与成本双语词典的条目。实验结果报告比较分配成本函数，这些模型的方法。最后，我们讨论了带注释的语言字符串作为机器翻译表示的充分性。
1996-07-03 cmp-lg cs.CL
Model Transfer for Tagging Low-resource Languages using a Bilingual Dictionary
The University of Melbourne（墨尔本大学）
跨语言模型转移是一种引人注目的和流行的方法，用于预测低资源语言中的注释，从而并行语料库提供了一个桥梁，高资源语言及其相关的注释语料库。然而，并行数据对于许多语言来说并不容易获得，限制了这些方法的适用性。我们在我们的框架中解决了这些缺点，该框架利用了仅在高覆盖率双语词典上训练的跨语言词嵌入。我们提出了一种新的神经网络模型，用于基于跨语言词嵌入的两个数据源的联合训练，并显示出比基线技术有实质性的经验改进。我们还提出了几个主动学习策略，从而导致竞争力的基准方法的改进。
2017-05-01 cs.CL
Improving low-resource ASR using bilingual fine-tuning with language identification: a cross-linguistic evaluation
University of Groningen（格罗宁根大学）；Fryske Akademy（弗里斯兰科学院）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
研究双语微调对低资源语言语音识别的影响，在九种语言对中评估，通过语言识别令牌区分语言，发现高语言识别准确率时双语微调有效，低准确率时推理时加入令牌可提升性能。
2026-06-17 cs.CL
Large-scale Bilingual Language-Image Contrastive Learning
NAVER Vision（NAVER视觉）
本文是一份技术报告，分享我们的经验和发现，建立一个韩英双语多模态模型。虽然许多多模态数据集专注于英语和多语言多模态研究使用机器翻译的文本，但使用这种机器翻译的文本仅限于描述英语以外的语言中的独特表达，文化信息和专有名词。在这项工作中，我们收集了11亿图像-文本对（7.08亿韩语和4.76亿英语）和训练一个双语多模态模型KELIP。我们引入简单而有效的培训计划，包括MAE预培训和多作物扩增。大量的实验表明，用这种训练方案训练的模型在两种语言中都表现出竞争力。此外，我们还讨论了多模态相关的研究问题：1）基于强增强的方法会分散模型学习正确的多模态关系的注意力; 2）训练没有跨语言关系的多模态模型可以通过视觉语义来学习多模态关系; 3）我们的双语KELIP可以捕捉相同词义的视觉语义的文化差异; 4）大规模多模态模型可用于多模态特征类比。我们希望这项工作将为未来的研究提供有益的经验和发现。我们提供一个开源的预训练KELIP。
2022-04-15 cs.CL cs.CV
RUBERT: A Bilingual Roman Urdu BERT Using Cross Lingual Transfer Learning
NUCES (FAST)（巴基斯坦国家计算机与新兴科学大学（FAST））
在最近的研究中，已经表明，多语言语言模型表现不如单语言模型。众所周知，为每种语言训练和维护单语模型是一个昂贵且耗时的过程。罗马乌尔都语是一种资源匮乏的语言，在社交媒体平台和聊天应用程序上流行。在这项研究中，我们提出了一个新的数据集，其中包含5400万个令牌和300万个句子。此外，我们还提出了RUBERT一个双语罗马乌尔都语模型创建额外的预训练英语BERT。我们将其性能与从头开始训练的单语罗马乌尔都语BERT和通过多语言BERT的额外预训练创建的多语言罗马乌尔都语BERT进行比较。我们通过我们的实验表明，额外的预训练的英语BERT产生最显着的性能改善。
2021-02-22 cs.CL
Merging External Bilingual Pairs into Neural Machine Translation
Soochow University（苏州大学）；University of Lisbon（里斯本大学）
由于神经机器翻译（NMT）不容易明确纠正错误，因此将预先指定的翻译合并到NMT中被广泛认为是一个不平凡的挑战。在本文中，我们提出并探讨了三种方法来赋予NMT与预先指定的双语对。例如，在解码过程中修改束搜索算法或对注意力机制进行复杂的修改-解决这一挑战的主流方法-，我们对训练数据进行了适当的预处理，以添加有关预先指定的翻译的信息。额外的嵌入也用于区分预先指定的令牌和其他令牌。大量的实验和分析表明，超过99%的预先指定的短语被成功翻译（给定85%的基线），并且使用本文探讨的方法，翻译质量也有实质性的提高。
2019-12-02 cs.CL
Crosslingual Structural Priming and the Pre-Training Dynamics of Bilingual Language Models
University of California San Diego（加州大学圣地亚哥分校）
本研究通过结构启动测试双语语言模型，发现跨语言抽象语法表征在接触第二语言早期（不足100万词元）即涌现，并探讨其对数据污染和低资源迁移的意义。
2023-10-11 cs.CL
"Did you really mean what you said?" : Sarcasm Detection in Hindi-English Code-Mixed Data using Bilingual Word Embeddings
Netaji Subhas University of Technology（内塔吉·苏巴斯理工大学）
随着世界各地的人们越来越多地使用社交媒体平台，许多新的有趣的NLP问题已经存在。其中之一是检测社交媒体文本中的讽刺。我们提出了一个语料库的tweets训练自定义词嵌入和标记为讽刺检测的Hinglish数据集。我们提出了一种基于深度学习的方法来解决印地语-英语代码混合推文中的讽刺检测问题，使用来自FastText和Word 2 Vec方法的双语词嵌入。我们试验了各种深度学习模型，包括CNN、LSTM、双向LSTM（有注意力和无注意力）。我们的深度学习模型能够超越所有最先进的性能，其中基于注意力的双向LSTM提供了最佳性能，准确率为78.49%。
2020-10-15 cs.CL
Effective Parallel Corpus Mining using Bilingual Sentence Embeddings
Google AI（谷歌人工智能）；Carnegie Mellon University（卡内基梅隆大学）
提出了一种基于双语句子嵌入的并行语料挖掘方法。我们的嵌入模型经过训练，专门为相互翻译的双语句子对生成类似的表示。这是使用一种新的训练方法来实现的，该方法引入了由不是翻译但具有一定程度语义相似性的句子组成的硬否定。通过并行语料库重建和评估在黄金句子对与挖掘句子对上训练的机器翻译系统来评估所得到的嵌入的质量。我们发现，句子嵌入可以用来重建联合国平行语料库在句子层面上的准确率为48.9%的en-fr和54.9%的en-es。当适应文档级匹配时，我们实现了与[Jakob 2010]的计算密集型方法相当的并行文档匹配精度。使用重建的并行数据，我们能够训练NMT模型，这些模型的性能几乎与在原始数据上训练的模型一样好（在1-2 BLEU内）。
2018-08-02 cs.CL
Taiyi-Diffusion-XL: Advancing Bilingual Text-to-Image Generation with Large Vision-Language Model Support
International Digital Economy Academy（国际数字经济学院）；South China University of Technology（华南理工大学）；University of Science and Technology of China（中国科学技术大学）
针对开源文生图模型中文及双语支持不足的问题，提出 Taiyi-Diffusion-XL，通过双语持续预训练扩展 CLIP 与 Stable-Diffusion-XL，并利用大型视觉-语言模型增强提示，提升双语检索与图像生成效果。
2024-06-18 cs.CL
