FLORA: Unsupervised Knowledge Graph Alignment by Fuzzy Logic
Télécom Paris, Institut Polytechnique de Paris（巴黎电信学院，巴黎理工学院）
本文提出FLORA，一种基于模糊逻辑的无监督知识图谱对齐方法，无需训练数据，可迭代对齐实体和关系，提供可解释结果并允许悬空实体，在主要基准上达到最先进性能。
2025-10-23 cs.AI cs.DB
Unsupervised Entity Alignment for Temporal Knowledge Graphs
Zhejiang University（浙江大学）；Aalborg University（奥尔堡大学）
实体对齐（EA）是一项基本的数据集成任务，它识别不同知识图谱（KG）之间的等价实体。时态知识图谱是对传统知识图谱的一种扩展，它引入了时间戳，受到越来越多的关注。最新的时间感知EA研究表明，TKG的时间信息有助于EA的性能。然而，现有的研究并没有充分利用时间信息在TKG中的优势。此外，他们通过预先对齐实体对来执行EA，这可能是劳动密集型的，因此效率低下。在本文中，我们提出了DualMatch，有效地融合了EA的关系和时间信息。DualMatch将TKG上的EA转换为加权图匹配问题。更具体地说，DualMatch配备了一种无监督的方法，它可以在不需要种子对齐的情况下实现EA。DualMatch有两个步骤：（i）使用新型无标签编码器Dual-Encoder将时间和关系信息分别编码到嵌入中;以及（ii）使用新型基于图匹配的解码器GM-解码器融合这两种信息并将其转换为对齐。DualMatch能够在有或没有监督的情况下对TKG执行EA，这是由于其有效捕获时间信息的能力。在三个真实世界的TKG数据集上进行的大量实验表明，DualMatch在H@1和MRR方面分别优于最先进的方法2.4% - 10.7%和1.7% -7.6%。
2023-02-08 cs.AI cs.CL cs.IR
Unsupervised Entity Alignment Based on Personalized Discriminative Rooted Tree
State Key Laboratory of Integrated Services Networks, School of Computer Science and Technology, Xidian University（集成服务网络国家重点实验室，计算机科学与技术学院，西安电子科技大学）；Key Laboratory of Intelligent Perception and Image Understanding of Ministry of Education, School of Artificial Intelligence, Xidian University（教育部智能感知与图像理解重点实验室，人工智能学院，西安电子科技大学）；State Key Laboratory of CAD&CG, Zhejiang University（CAD&CG国家重点实验室，浙江大学）
本文提出无监督实体对齐方法UNEA，通过参数化根树采样与树注意力聚合生成个性化实体嵌入，并利用互信息最大化辅助任务缓解分布失真，在无监督EA任务上取得最优性能并超越多个有监督基线。
2025-02-14 cs.AI
From Alignment to Assignment: Frustratingly Simple Unsupervised Entity Alignment
School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；Lazada, Alibaba Group（阿里巴巴集团Lazada）
跨语言实体对齐的目的是寻找跨语言知识库之间的等价实体，这是知识库集成的关键步骤。最近，提出了许多基于GNN的EA方法，并在几个公共数据集上显示出不错的性能改进。同时，现有的基于GNN的EA方法不可避免地继承了神经网络的可解释性差和效率低。基于GNN方法的同构假设，我们成功地将跨语言EA问题转化为分配问题。基于这一发现，我们提出了一个令人沮丧的简单但有效的无监督实体对齐方法（SEU）没有神经网络。大量的实验表明，我们提出的无监督方法在所有公共数据集上甚至优于高级监督方法，具有高效率，可解释性和稳定性。
2021-09-15 cs.AI cs.CL
A Probabilistic Formulation of Unsupervised Text Style Transfer
Carnegie Mellon University（卡内基梅隆大学）；University of California San Diego（加州大学圣地亚哥分校）
我们提出了一个用于无监督文本样式传输的深度生成模型，该模型统一了先前提出的非生成技术。我们的概率方法模型的非并行数据从两个域作为一个部分观察到的并行语料库。通过假设生成每个观察序列的并行潜在序列，我们的模型学习以完全无监督的方式将序列从一个域转换到另一个域。与传统的生成序列模型（例如HMM）相比，我们的模型对它生成的数据做了很少的假设：它使用递归语言模型作为先验，使用编码器-解码器作为转换分布。虽然计算边际数据的可能性是棘手的，在这个模型类中，我们摊销变分推理承认一个实际的代理。此外，通过绘制我们的变分目标和其他最近的无监督风格转换和机器翻译技术之间的联系，我们展示了我们的概率观点如何统一一些已知的非生成目标，如反向翻译和对抗损失。最后，我们证明了我们的方法在广泛的无监督风格迁移任务上的有效性，包括情感迁移，形式迁移，单词破译，作者模仿和相关语言翻译。在所有的风格转换任务中，我们的方法比最先进的非生成基线产生了实质性的收益，包括我们的方法推广的最先进的无监督机器翻译技术。此外，我们在标准的无监督机器翻译任务上进行实验，发现我们的统一方法与当前最先进的方法相匹配。
2020-04-29 cs.CL cs.LG
Bilingual alignment transfers to multilingual alignment for unsupervised parallel text mining
University of Chicago（芝加哥大学）；University of Washington（华盛顿大学）
这项工作提出了使用成对或不成对的双语文本学习跨语言句子表征的方法。我们假设跨语言对齐策略是可转移的，因此训练仅对齐两种语言的模型可以编码多语言对齐的表示。因此，我们引入了双支点迁移：在一个语言对上进行训练，在其他语言对上进行评估。为了研究这一理论，我们设计了在未配对句子上训练的无监督模型和在双文本上训练的单对监督模型，两者都基于无监督语言模型XLM-R，其参数被冻结。实验评估模型作为通用的句子编码器的任务上的无监督的双文本挖掘两个数据集，其中的无监督模型达到最先进的无监督检索，和替代的单对监督模型的性能接近多语言监督模型。结果表明，双语训练技术提出的可以应用到获得句子表示与多语言对齐。
2022-03-15 cs.CL
Learning Probabilistic Models of Word Sense Disambiguation
Southern Methodist University（南卫理公会大学）；Drake University（德雷克大学）；University of Arkansas（阿肯色大学）
本文提出了几种新的有监督和无监督的词义消歧模型学习方法。有监督的方法专注于通过概率模型的空间执行模型搜索，而无监督的方法依赖于吉布斯采样和期望最大化（EM）算法的使用。在监督和无监督的情况下，朴素贝叶斯模型被发现表现良好。这一成功的解释是学习率和偏差方差分解。
2007-07-26 cs.AI cs.CL
MirrorAlign: A Super Lightweight Unsupervised Word Alignment Model via Cross-Lingual Contrastive Learning
Peking University（北京大学）；The University of Sydney（悉尼大学）；iFlytek Research（讯飞研究院）
词对齐对于下游跨语言语言理解和生成任务是必不可少的。最近，神经词对齐模型的性能已经超过了统计模型。然而，它们严重依赖复杂的翻译模型。在这项研究中，我们提出了一个超轻量级的无监督词对齐模型命名为对齐对齐，其中双向对称注意力训练的对比学习目标，并采用一致性损失绑定的注意地图，使对齐遵循镜像对称假设。在几个公共基准测试上的实验结果表明，与最先进的单词对齐技术相比，我们的模型即使没有更好的性能，也具有竞争力，同时显著减少了平均训练和解码时间。进一步的消融分析和案例研究表明，我们提出的ESTALIGN的优越性。值得注意的是，我们认为我们的模型是统一双语词嵌入和词对齐的先驱尝试。令人鼓舞的是，我们的方法相对于GIZA++实现了{16.4倍的加速比}，与基于transformer的对齐方法相比，实现了{50倍的参数压缩}。我们发布代码以方便社区：https://github.com/moore3930/MirrorAlign。
2022-05-10 cs.AI cs.CL
Geometry-aware Domain Adaptation for Unsupervised Alignment of Word Embeddings
Microsoft（微软）
我们提出了一种新的基于流形的几何方法，用于学习源语言和目标语言之间的词嵌入的无监督对齐。我们的方法制定的对齐学习问题作为一个领域自适应问题的双随机矩阵的流形。这一观点的出发点是为了使两个语言空间的二阶信息一致。双随机流形的丰富的几何允许采用有效的黎曼共轭梯度算法的建议制定。经验上，所提出的方法优于国家的最先进的最佳运输为基础的方法上的双语词典归纳任务在几个语言对。对于距离较远的语言对，性能的改善更为显著。
2020-04-20 cs.CL cs.LG stat.ML
Contrastive Unsupervised Word Alignment with Non-Local Features
Tsinghua University（清华大学）
词对齐是一项重要的自然语言处理任务，它反映了自然语言之间的对应关系。近年来，基于对数线性模型的词对齐的无监督学习由于结合了生成式和判别式方法的优点而受到广泛关注。然而，一个主要的挑战仍然存在：它是难以计算的非本地功能，这是至关重要的捕捉自然语言之间的分歧的期望。我们提出了一种对比的方法，旨在区分观察到的训练样本从噪音。它不仅引入了先验知识来指导无监督学习，而且取消了分区函数。基于观察到的概率质量的对数线性模型的字对齐通常是高度集中的，我们建议使用前n对齐来近似的期望后验分布。这允许有效且准确地计算非局部特征的期望。实验表明，我们的方法取得了显着的改进，国家的最先进的无监督字对齐方法。
2014-10-10 cs.CL
Unsupervised Deep Cross-Language Entity Alignment
Hainan University（海南大学）；Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局高性能计算研究所）
本文提出一种结合多语言编码器与机器翻译的无监督跨语言实体对齐方法，将任务建模为二分图匹配并采用再交换思想生成排序结果，在DBP15K上取得领先性能。
2023-09-19 cs.CL cs.LG
Probabilistic Token Alignment for Large Language Model Fusion
Rochester Institute of Technology（罗切斯特理工学院）；U.S. Naval Research Laboratory（美国海军研究实验室）；University of Missouri-Kansas City（密苏里大学-Kansas城分校）；Adobe（Adobe公司）；Meituan（美团）；Sun Yat-sen University（孙中山大学）；Purdue University（普渡大学）；UC Davis（加州大学戴维斯分校）；University of Rochester（罗切斯特大学）；Rice University（莱斯大学）；Meta AI
本文提出PTA-LLM方法，将大语言模型融合中的令牌对齐建模为最优传输问题，通过概率化软映射实现分布感知的通用对齐，从而提升融合后模型的多项能力表现。
2025-09-21 cs.AI cs.CL cs.LG
Learning to Paraphrase: An Unsupervised Approach Using Multiple-Sequence Alignment
我们解决文本到文本的生成问题的句子级释义-一种现象，不同的和更困难的词或短语级释义。我们的方法适用于多序列对齐从未注释的可比语料库收集的句子：它学习一组由词格对表示的释义模式，并自动确定如何应用这些模式重写新的句子。我们的评估实验的结果表明，该系统得出准确的释义，优于基线系统。
2003-04-02 cs.CL
Unsupervised Alignment of Distributional Word Embeddings
University College London（伦敦大学学院）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
跨领域对齐在从机器翻译到迁移学习的各种任务中起着关键作用。最近，纯无监督的方法操作单语嵌入已成功地用于推断双语词典，而不依赖于监督。然而，目前的最先进的方法只关注点向量，虽然分布式嵌入已被证明嵌入更丰富的语义信息时，表示的话。在本文中，我们提出了随机优化方法对齐概率嵌入。最后，我们通过对齐在单语数据上训练的词嵌入来评估我们在无监督词翻译问题上的方法。我们表明，所提出的方法在双语词典归纳任务上取得了良好的性能，在几种语言对，并表现得比基于点向量的方法。
2022-09-21 cs.CL
Unsupervised Multilingual Alignment using Wasserstein Barycenter
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；Borealis AI（博瑞利斯人工智能公司）
我们研究了无监督的多语言对齐，即在不使用任何并行数据的情况下找到多种语言之间的逐字翻译的问题。一种流行的策略是通过选择一种输入语言作为我们转换的关键语言，将多语言对齐减少到简化的双语设置。然而，众所周知的是，通过一个选择不佳的枢纽语言（如英语）过渡可能会严重降低翻译质量，因为假设的所有语言对之间的传递关系可能不会在训练过程中被强制执行。我们建议使用Wasserstein重心作为一种信息量更大的“平均”语言，而不是通过一种相当任意选择的枢轴语言：它封装了所有语言的信息，并最大限度地减少了所有成对的运输成本。我们在标准基准上评估我们的方法，并展示最先进的性能。
2020-07-28 cs.CL cs.LG stat.ML
Unsupervised Vision-and-Language Pre-training via Retrieval-based Multi-Granular Alignment
Meta AI；Columbia University（哥伦比亚大学）
近年来，视觉和语言（V+L）预训练模型在各种多模态基准测试中取得了巨大的成功。然而，大多数现有的模型需要在大量的并行图像-文本数据集上进行预训练，与仅图像或仅文本数据相比，这是昂贵的。在本文中，我们探索了无监督的视觉和语言预训练（UVLP），以从非并行图像和文本数据集中学习跨模态表示。我们发现了两个关键因素，可以在没有并行数据的情况下实现良好的无监督V+L预训练：（i）联合图像和文本输入（ii）整体图文对齐（即使是非并行数据）。因此，我们提出了一种新的无监督V+L预训练课程，用于非平行文本和图像。我们首先通过基于检索的方法构建一个弱对齐的图像-文本语料库，然后应用一组多粒度对齐预训练任务，包括区域到标签，区域到短语和图像到句子对齐，以弥合这两种模式之间的差距。全面的消融研究表明，每个粒度都有助于学习更强大的预训练模型。我们将预先训练的模型适应一组V+L下游任务，包括VQA、NLVR 2、Visual Entailment和RefCOCO+。我们的模型在无监督的环境下实现了所有这些任务的最先进的性能。
2022-03-01 cs.AI cs.CL cs.CV
An Accurate Unsupervised Method for Joint Entity Alignment and Dangling Entity Detection
Tsinghua University（清华大学）
知识图集成通常受到广泛存在的悬挂实体的影响，这些悬挂实体无法找到跨知识图谱（KG）的对齐。悬挂实体集在大多数真实场景中不可用，手动挖掘由具有相同含义的实体组成的实体对非常耗费人力。在本文中，我们提出了一种新的准确的无监督方法联合实体对齐（EA）和悬垂实体检测（DED），称为UED。UED挖掘文本语义信息，生成用于EA的伪实体对和全局引导对齐信息，然后利用EA结果来辅助DED。我们构建了一个医学跨语言知识图谱数据集MedED，为EA和DED任务提供数据。大量的实验表明，在EA任务中，UED实现EA结果相媲美的国家的最先进的监督EA基线和优于目前的国家的最先进的EA方法相结合的监督EA数据。对于DED任务，UED无需监督即可获得高质量的结果。
2022-03-10 cs.CL
Bilingual Lexicon Induction via Unsupervised Bitext Construction and Word Alignment
TTI-Chicago（丰田工业大学芝加哥分校）；University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）
双语词典将一种语言中的单词映射到另一种语言中的翻译，并且通常通过学习线性投影来对齐单语词嵌入空间来诱导。在本文中，我们展示了结合（1）无监督的双文本挖掘和（2）无监督的单词对齐的方法可以产生更高质量的词典。直接应用一个管道，使用最近的算法，这两个子问题显着提高了诱导的词典质量和进一步的收益是可能的，通过学习过滤产生的词汇条目，无监督和半监督的计划。我们的最终模型在BUCC 2020共享任务上的表现优于最先进的12种语言对的平均14个$F_1$点，同时还提供了一种更可解释的方法，可以在上下文中进行丰富的词义推理。对我们的产出和标准参考词典的进一步分析表明，它们的质量相当，可能需要新的基准来衡量这项任务的进一步进展。
2021-06-12 cs.CL
Self-QA: Unsupervised Knowledge Guided Language Model Alignment
Du Xiaoman Financial（度小满金融）
本文提出Self-QA框架，利用无监督知识替代人工编写指令种子，使语言模型自动生成正确且领域特定的指令数据，有效解决指令微调中监督数据构建成本高、质量难控的问题。
2023-05-19 cs.CL
Unsupervised Alignment-based Iterative Evidence Retrieval for Multi-hop Question Answering
University of Arizona（亚利桑那大学）
证据检索是问答（QA）的关键阶段，不仅是提高性能所必需的，而且是解释相应QA方法的决策所必需的。我们介绍了一种简单，快速，无监督的迭代证据检索方法，它依赖于三个想法：（a）仅使用GloVe嵌入来软对齐问题和答案与理由句子的无监督对齐方法，（b）重新制定关注现有理由未覆盖的术语的查询的迭代过程，其中（c）当给定问题和候选答案中的词语被检索到的理由覆盖时终止检索的停止准则。尽管它很简单，但我们的方法在两个数据集上的证据选择任务上优于所有以前的方法（包括监督方法）：MultiRC和QASC。当这些证据句子被输入到RoBERTa答案分类组件中时，我们在这两个数据集上实现了最先进的QA性能。
2020-05-04 cs.CL cs.IR
Unsupervised Alignment of Embeddings with Wasserstein Procrustes
Facebook AI Research（脸书人工智能研究院）；University of Cambridge（剑桥大学）；Statistical Laboratory（统计实验室）
我们考虑在高维空间中对齐两组点的问题，这在自然语言处理和计算机视觉中有许多应用。作为一个例子，它最近表明，它是可能的，推断双语词典，没有监督数据，通过对齐词嵌入训练单语数据。这些最新的进展是基于对抗训练来学习两个嵌入之间的映射。在本文中，我们建议使用另一种配方，基于联合估计的正交矩阵和置换矩阵。虽然这个问题是不凸的，我们建议初始化我们的优化算法，使用凸松弛，传统上认为图同构问题。我们提出了一个随机算法，以最小化我们的成本函数在大规模的问题。最后，我们通过对齐在单语数据上训练的词嵌入来评估我们在无监督词翻译问题上的方法。在这项任务中，我们的方法获得了最先进的结果，同时需要比竞争方法更少的计算资源。
2018-05-29 cs.CL cs.LG stat.ML
Metric Learning in Multilingual Sentence Similarity Measurement for Document Alignment
University of Moratuwa（莫拉图瓦大学）
基于多语言句子表示的文档对齐技术最近已经显示出最先进的结果。然而，这些技术依赖于无监督的距离测量技术，无法根据手头的任务进行微调。在本文中，我们采用度量学习来获得特定于任务的距离测量，而不是这些无监督的距离测量技术。这些测量是有监督的，这意味着距离测量度量是使用并行数据集训练的。使用属于英语，僧伽罗语，泰米尔语，这属于三个不同的语言家族的数据集，我们表明，这些特定任务的监督远程学习指标优于他们的无监督同行，文档对齐。
2021-08-21 cs.CL
Textual Data Distributions: Kullback Leibler Textual Distributions Contrasts on GPT-2 Generated Texts, with Supervised, Unsupervised Learning on Vaccine & Market Topics & Sentiment
University of Charleston（查尔斯顿大学）；Apple Inc.（苹果公司）；Cerence B. V.（赛轮思公司）
有效的文本数据分布（TDD）对齐和生成是文本分析和NLP中的开放性研究问题。目前，很难简约地和方法学地确认两个或更多个自然语言数据集属于相似的分布，并且难以识别文本数据具有对齐的程度。这项研究的重点是解决上述更广泛的问题的一部分，通过应用多个监督和无监督的机器学习（ML）方法来探索TDD的行为（i）主题对齐，（ii）情感对齐。此外，我们使用多种文本生成方法，包括微调的GPT-2，按主题和情感生成文本。最后，我们开发了一个独特的过程驱动的变化的Kullback-Leibler分歧（KLD）的应用TDD，命名为KL文本分布对比（KL-TDC），以确定对齐的机器生成的文本语料库与自然发生的文本语料库。因此，这项研究确定了一种独特的方法，用于生成和验证TDD的主题和情绪，这可以用来帮助解决稀疏数据问题和其他研究，实践和课堂情况下，需要人工生成的主题或情绪对齐的文本数据。
2021-06-15 cs.CL cs.LG cs.SI
Unsupervised Cross-Modal Alignment of Speech and Text Embedding Spaces
Computer Science and Artificial Intelligence Laboratory（计算机科学与人工智能实验室）；Massachusetts Institute of Technology（麻省理工学院）
最近的研究表明，从不同语言的文本语料库中学习的词嵌入空间可以在没有任何并行数据监督的情况下对齐。受无监督跨语言词嵌入成功的启发，在本文中，我们的目标是学习语音和文本的嵌入空间之间的跨模态对齐，这些嵌入空间是以无监督的方式从各自模态的语料库中学习的。所提出的框架学习单独的语音和文本嵌入空间，并尝试通过对抗训练来对齐这两个空间，然后进行细化过程。我们展示了我们的框架如何用于执行口语词分类和翻译，这两项任务的结果表明，我们的无监督对齐方法的性能与有监督对齐方法相当。我们的框架对于开发低资源或零资源语言的自动语音识别（ASR）和语音到文本翻译系统特别有用，这些语言几乎没有并行音频文本数据来训练现代监督ASR和语音到文本翻译模型，但占世界上大多数语言。
2018-09-20 cs.CL cs.SD eess.AS
Scaling Unsupervised Word Alignment to Documents via Structural Constraints
University of Zurich（苏黎世大学）
针对直接将句子级词对齐算法用于文档会导致性能下降的问题，提出CTFAlign和MDPAlign两种无需训练的文档级词对齐方法，经多语言对验证可降低词对齐错误率并提升下游任务表现。
2026-08-24 cs.CL
An Unsupervised Probability Model for Speech-to-Translation Alignment of Low-Resource Languages
University of Notre Dame（圣母大学）；University of Melbourne（墨尔本大学）
对于许多低资源的语言，口语资源更有可能用翻译而不是translation来注释。翻译后的语音数据对于记录濒危语言或训练语音翻译系统具有潜在的价值。利用这些数据的第一步是自动将口语与其翻译对齐。我们提出了一个模型，结合戴尔等人。的IBM Model 2（快速对齐）和k-means聚类的重新参数化，使用Dynamic Time Warping作为距离度量。这两个组件使用期望最大化联合训练。在资源极其匮乏的情况下，我们的模型的表现明显优于神经模型和强基线。
2016-09-26 cs.CL
Unsupervised Discovery of Recurring Speech Patterns Using Probabilistic Adaptive Metrics
Tampere University（坦佩雷大学）；Aalto University（阿尔托大学）
无监督口语词项发现（UTD）旨在从声学语音数据库中发现重复出现的语音片段。解决这个问题的一个潜在方法是使用动态时间规整（DTW）从语音数据中找到良好对齐的模式。然而，用于DTW比对的初始候选片段的自动选择和其中“足够好”的比对的检测需要某种类型的预定义标准，通常可操作为信号表示之间的成对距离度量的阈值参数。在现有的UTD系统中，最佳超参数可能会因数据集而异，从而限制了它们对新语料库和真正低资源场景的适用性。在本文中，我们提出了一种新的概率方法DTW为基础的UTD命名为PDTW。在PDTW中，处理后的语料库的分布特性被用于自适应评价对齐质量，从而使系统的发现模式对，具有相似性，什么是预期的巧合。我们在零资源语音挑战2017数据集上测试PDTW，作为2020年挑战实施的一部分。结果表明，该系统在使用固定超参数的所有五种测试语言上的表现一致，在检测模式的覆盖率方面明显优于早期基于DTW的系统。
2020-08-03 cs.CL eess.AS
NAST: A Non-Autoregressive Generator with Word Alignment for Unsupervised Text Style Transfer
Tsinghua University（清华大学）；Institute for Artificial Intelligence（人工智能研究院）；State Key Lab of Intelligent Technology and Systems（智能技术与系统国家重点实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
自回归模型在无监督文本风格转换中得到了广泛的应用。尽管这些模型取得了成功，但它们仍然存在内容保存问题，即它们通常会忽略源句子的一部分，并生成一些具有强烈风格的无关词。在本文中，我们提出了一个非自回归生成器的无监督文本风格转移（NAST），它从两个方面来说明这个问题。首先，我们观察到，大多数单词在转移的句子可以与源句子中的相关词对齐，所以我们显式地建模词对齐，以抑制不相关的词。其次，使用循环损失训练的现有模型在两个风格文本空间中对齐句子，这在单词级别缺乏细粒度控制。所提出的非自回归生成器专注于对齐的单词之间的连接，学习风格之间的单词级迁移。对于实验，我们将建议的生成器集成到两个基本模型，并在两个风格转换任务上对其进行评估。结果表明，NAST可以显着提高整体性能，并提供可解释的词对齐。此外，非自回归生成器在推理时实现了超过10倍的加速。我们的代码可在https://github.com/thu-coai/NAST上获得。
2021-06-04 cs.CL
Removing Word-Level Spurious Alignment between Images and Pseudo-Captions in Unsupervised Image Captioning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；OMRON SINIC X Corp.（欧姆龙SINIC X公司）
无监督的图像描述是一项具有挑战性的任务，其目的是在没有图像-句子对的监督的情况下生成字幕，而仅使用从不同来源提取的图像和句子以及从图像中检测到的对象标签。在以前的工作中，伪标题，即，包含检测到的对象标签的句子被分配给给定的图像。以前工作的重点是在句子级别上对齐输入图像和伪标题。然而，伪标题包含许多与给定图像无关的单词。在这项工作中，我们研究了从图像-句子对齐中删除不匹配的单词的效果，以确定它们如何使这项任务变得困难。我们提出了一种简单的门控机制，该机制经过训练，仅将图像特征与伪标题中最可靠的单词对齐：检测到的对象标签。实验结果表明，我们提出的方法优于以前的方法，而不引入复杂的层次学习目标。结合先前工作的水平对齐方法，我们的方法进一步提高了其性能。这些结果证实了仔细对齐的重要性，在字级的细节。
2021-06-01 cs.CL cs.CV
Unsupervised Pretraining for Fact Verification by Language Model Distillation
University of Cambridge（剑桥大学）
针对事实验证的语义对齐依赖标注数据的问题，提出无监督预训练框架SFAVEL，通过新型对比损失实现高质量主张-证据对齐，在FB15k-237和FEVER数据集上取得SOTA结果。
2024-03-06 cs.CL cs.LG stat.ML
A Multilingual View of Unsupervised Machine Translation
Google AI Residency（谷歌人工智能 residency项目）
我们提出了一个多语言神经机器翻译的概率框架，包括监督和无监督设置，重点是无监督翻译。除了研究香草的情况下，只有单语数据可用，我们提出了一种新的设置，其中一种语言（源，目标）对不与任何并行数据，但可能存在辅助并行数据，包含其他。这种辅助数据可以自然地通过新的交叉翻译损失项在我们的概率框架中使用。从经验上讲，我们表明，我们的方法在大多数方向上都会在WMT'14英语-法语，WMT'16英语-德语和WMT'16英语-罗马尼亚语数据集上获得更高的BLEU分数。特别是，我们在罗马尼亚语-英语方向上获得了比性能最好的无监督模型更高的+1.65 BLEU优势。
2020-10-16 cs.CL
Why is unsupervised alignment of English embeddings from different algorithms so hard?
University of Copenhagen（哥本哈根大学）
本文向社区提出了一个挑战：生成对抗网络（GANs）可以完全对齐使用相同算法诱导的独立英语词嵌入，仅基于分布信息;但对于两种不同的嵌入算法，却无法做到这一点。为什么会这样？我们相信理解为什么，是理解现代词嵌入算法和GANs的局限性和不稳定动态的关键。本文表明，（a）在所有这些情况下，对齐失败，两个嵌入之间存在线性变换（因此算法偏差不会导致非线性差异），以及（b）通过改变超参数不易获得类似的效果。基于我们最初的实验，一个合理的建议是，嵌入算法的归纳偏差的差异导致了一个充满局部最优值的优化景观，导致了一个非常小的收敛流域，但我们提出这更多的是一个挑战性的论文，而不是技术贡献。
2018-09-01 cs.CL
Probabilistic, Structure-Aware Algorithms for Improved Variety, Accuracy, and Coverage of AMR Alignments
Georgetown University（乔治城大学）
我们提出了算法对齐组件的抽象意义表示（AMR）图的英语句子中的跨度。我们利用无监督学习与启发式方法相结合，从之前的AMR对准器中汲取两全其美的优点。然而，我们的无监督模型对图形子结构更敏感，而不需要单独的语法解析。我们的方法覆盖了比以前考虑的更广泛的AMR子结构，实现了更高的节点和边缘的覆盖率，并且具有更高的准确性。我们将发布我们的LEAMR数据集和对齐器，用于AMR解析，生成和评估的研究。
2021-06-10 cs.CL
New Alignment Methods for Discriminative Book Summarization
Carnegie Mellon University（卡内基梅隆大学）
我们考虑了一本书的全文与人类撰写的摘要的无监督对齐。这提出了在其他文本对齐问题中看不到的挑战，包括长度上的差异，以及由此导致的违反单个单词和短语应该对齐的期望，因为大的段落和章节可以被提炼成单个摘要短语。我们提出了两种新的方法，隐马尔可夫模型的基础上，专门针对这个问题，并展示了提取图书摘要任务的收益。虽然还有很大的改进空间，但无监督对齐在提供对一本书的哪些特征被认为值得总结的洞察方面具有内在价值。
2013-05-06 cs.CL
Unsupervised Word Mapping Using Structural Similarities in Monolingual Embeddings
The George Washington University（乔治华盛顿大学）
现有的大多数双语词典自动归纳方法依赖于源语言和目标语言之间的先验对齐，例如平行语料库或种子词典。对于许多语言对，这种监督对齐并不容易获得。我们提出了一种无监督的方法来学习一对语言的双语词典，因为它们是独立学习的单语词嵌入。该方法利用单语向量空间中的局部和全局结构来对齐它们，从而将相似的单词映射到彼此。我们的经验表明，使用我们提出的无监督的方法学习的双语通讯员的性能是相媲美的，使用监督的双语通讯员从种子字典。
2018-01-29 cs.CL
