RTMol: Rethinking Molecule-text Alignment in a Round-trip View
RTMol通过自监督环形学习统一分子描述与文本生成，提升双向对齐性能47%，建立联合分子-文本理解生成范式。
2025-11-21 cs.AI cs.LG q-bio.BM
COMET-QE and Active Learning for Low-Resource Machine Translation
University of Cape Town（开普敦大学）；South African Astronomical Observatory（南非天文台）
主动学习的目的是在资源稀缺时提供最大效益。我们使用COMET-QE，一个无参考的评估指标，选择低资源神经机器翻译的句子。使用斯瓦希里语，基尼亚卢旺达语和西班牙语为我们的实验，我们表明，COMET-QE显着优于两个变种的往返翻译可能性（RTTL）和随机句子选择高达5个BLEU点的20 k句子选择主动学习在30 k基线。这表明，COMET-QE是一个强大的工具，在非常低的资源限制的句子选择。
2022-10-27 cs.CL
Controlling Neural Machine Translation Formality with Synthetic Supervision
Amazon AWS AI（亚马逊AWS人工智能）；University of Maryland（马里兰大学）
这项工作的目的是产生翻译，传达源语言内容在正式的水平，是适合特定的观众。将这个问题框架为神经序列到序列任务，理想情况下需要训练由标有目标语言形式的双语句子对组成的三元组。然而，在实践中，现有的训练样本仅限于不同风格的英语句子对和形式不明的双语平行句。我们为多任务模型引入了一种新的训练方案，该方案通过动态推断缺失的元素来自动生成合成训练三元组，从而实现端到端训练。全面的自动和人工评估表明，我们的最佳模型通过生成更好地匹配所需正式级别的翻译，同时保留源含义，从而优于现有模型。
2019-11-28 cs.CL
Bootstrapping Disjoint Datasets for Multilingual Multimodal Representation Learning
Tilburg University（蒂尔堡大学）；University of Copenhagen（哥本哈根大学）
最近的工作突出了联合学习多种语言的基础句子表示的优势。然而，这些研究中使用的数据仅限于一个对齐的场景：用多种语言的句子注释相同的图像。我们专注于更现实的不相交的情况下，在多语言图像-标题数据集的图像之间没有重叠。我们证实，对齐数据的训练结果比不相交数据的训练更好地接地句子表示，以图像-句子检索性能为衡量标准。为了缩小这一差距的性能，我们提出了一个pseudopairing方法来生成合成对齐的英语-德语-图像三胞胎从不相交的集合。该方法的工作原理是首先在不相交的数据上训练一个模型，然后在学习的模型下使用句子相似度在数据集上创建新的三元组。实验表明，尽管不需要外部数据或模型，但与不相交训练相比，伪空气提高了图像-句子检索性能。然而，我们确实发现，使用外部机器翻译模型来生成合成数据集会产生更好的性能。
2019-11-09 cs.CL cs.CV
Advancing Multilingual Pre-training: TRIP Triangular Document-level Pre-training for Multilingual Language Models
The Chinese University of Hong Kong（香港中文大学）；Microsoft Corporation（微软公司）
针对多语言预训练依赖单语和双语语料而限制文档级跨语言任务性能的问题，提出TRIP方法，利用三语平行语料并通过Grafting方法将预训练目标加速为三语目标，在多个基准上取得SOTA结果。
2023-05-13 cs.CL
Enhancing Multilingual Language Model with Massive Multilingual Knowledge Triples
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Nanyang Technological University（南洋理工大学）；Salesforce Research（赛富时研究院）
知识增强的语言表示学习在各种知识密集型NLP任务中显示出有希望的结果。然而，现有方法在有效利用多语言知识图谱（KG）数据进行语言模型（LM）预训练方面受到限制。他们经常以间接的方式用KG训练LM，依靠额外的实体/关系嵌入来促进知识注入。在这项工作中，我们探索的方法，以更好地利用KG三元组的多语言注释和语言不可知属性，并提出了新的基于知识的多语言语言模型（KMLMs）直接训练的知识三元组。我们首先使用Wikidata KG三元组生成大量的多语言合成句子。然后，基于生成的数据的句内和句间结构，我们设计了预训练任务，使LM不仅记住事实知识，而且还学习有用的逻辑模式。我们的预训练KMLM在广泛的知识密集型跨语言任务上表现出显着的性能改进，包括命名实体识别（NER），事实知识检索，关系分类和新设计的逻辑推理任务。
2022-10-19 cs.AI cs.CL
Context-Aware Monolingual Repair for Neural Machine Translation
Yandex；University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
现代的句子级NMT系统通常会对孤立的句子进行合理的翻译。然而，当放在上下文中时，这些翻译可能最终彼此不一致。我们提出了一个单语DocRepair模型来纠正文档级翻译之间的不一致。DocRepair对一系列的句子级翻译进行自动后期编辑，在彼此的上下文中改进句子的翻译。对于训练，DocRepair模型只需要目标语言的单语文档级数据。它被训练为单语序列到序列模型，将不一致的句子组映射为一致的句子组。一致组来自原始训练数据;不一致组通过对每个孤立句子的往返翻译进行采样而获得。我们表明，这种方法成功地模仿不一致，我们的目标是解决：使用对比评价，我们在翻译的几个上下文现象在英俄翻译任务，以及BLEU分数的改善，显示出很大的改善。我们还进行了人工评估，并显示出注释者对校正翻译的强烈偏好。此外，我们还分析了单语数据难以捕捉的语篇现象。
2019-10-15 cs.CL
FILM: A Fast, Interpretable, and Low-rank Metric Learning Approach for Sentence Matching
Institute of Computing Technology（计算技术研究所）；Chinese Academy of Sciences（中国科学院）；Department of Mathematics（数学系）；UC Berkeley（加州大学伯克利分校）
语义相似度检测在句子匹配中起着至关重要的作用。它要求学习自然语言的判别表示。最近，由于越来越复杂的模型架构，已经取得了令人印象深刻的进展，以及耗时的训练过程和不可解释的推理。为了缓解这个问题，我们探索了一种度量学习方法，名为FILM（快速，可解释和低秩度量学习），以有效地找到高维数据的高分辨投影。我们构造这个度量学习问题作为一个流形优化问题，并解决它的Cayley变换方法与Barzilai-Borwein步长。在实验中，我们将FILM与三重损失最小化目标应用于Quora挑战和语义文本相似性（STS）任务。实验结果表明，FILM方法具有更好的性能和最快的计算速度，这与我们对时间复杂度的理论分析是一致的。
2020-10-13 cs.AI cs.CL cs.LG
Generative Imagination Elevates Machine Translation
Nanyang Technological University（南洋理工大学）；ByteDance AI Lab（字节跳动人工智能实验室）
文本和图像之间有共同的语义。给定一个源语言的句子，描绘视觉场景是否有助于翻译成目标语言？现有的多模态神经机器翻译方法（MNMT）需要双语句子-图像三元组进行训练，需要源句子-图像元组进行推理.在本文中，我们提出了ImagiT，一个新的机器翻译方法，通过视觉想象。ImagiT首先学习从源句子生成视觉表征，然后利用源句子和“想象表征”生成目标翻译。与以往的方法不同，它只需要在推理时的源句。实验表明，ImagiT受益于视觉想象，并显着优于纯文本神经机器翻译基线。进一步的分析表明，ImagiT中的想象过程有助于在执行降级策略时填充缺失的信息。
2021-04-13 cs.AI cs.CL
Pushing Paraphrase Away from Original Sentence: A Multi-Round Paraphrase Generation Approach
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Center for Data Science, Peking University（北京大学数据科学研究中心）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）
近年来，基于Seq 2Seq的神经元释义生成取得了优异的性能，但生成的释义仍然存在多样性不足的问题。在本文中，我们专注于提高生成的释义和原始句子之间的多样性，即，使生成的释义尽可能与原句不同。我们提出了BTmPG（Back-Translation guided multi-round Paraphrase Generation），它利用多轮释义生成来提高多样性，并采用反向翻译来保留语义信息。我们在两个基准数据集上评估BTmPG。自动评价和人工评价均表明，BTmPG在保持原句语义的同时，提高了释义的多样性。
2021-09-04 cs.AI cs.CL
SemMT: A Semantic-based Testing Approach for Machine Translation Systems
The Hong Kong University of Science and Technology（香港科技大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Huazhong University of Science and Technology（华中科技大学）
机器翻译在日常生活中有着广泛的应用。在翻译官方文件等关键任务应用中，错误的翻译可能会带来令人不快甚至有时是灾难性的后果。这激发了最近对机器翻译系统测试方法的研究。现有的方法主要依赖于在文本级设计的变形关系（例如，Levenshtein距离）或句法级别（例如，语法结构之间的距离）来确定翻译结果的正确性。但是，这些变形关系并没有考虑原文和译文是否具有相同的含义（即，语义相似性）。因此，在本文中，我们提出了SemMT，自动测试方法的机器翻译系统的语义相似性检查的基础上。SemMT应用往返翻译并测量原始句子和翻译句子之间的语义相似度。我们的见解是，在句子中的逻辑和数字约束所表达的语义可以使用正则表达式（或确定性有限自动机），有效的等价性/相似性检查算法是可用的。利用洞察力，我们提出了三个语义相似性度量，并在SemMT中实现它们。实验结果表明，SemMT可以实现更高的效率相比，国家的最先进的作品，实现了21%和23%的准确率和F-Score，分别增加。我们还探讨了当采用适当的指标组合时可以实现的潜在改进。最后，我们讨论了一种在往返翻译中定位可疑行程的解决方案，为进一步的探索提供了参考。
2021-10-09 cs.CL cs.SE
Revisiting Round-Trip Translation for Quality Estimation
Naver Papago
质量评估（QE）是在没有人工翻译参考的情况下自动评估翻译质量的任务。计算输入句子和往返翻译（RTT）之间的BLEU曾经被认为是QE的一个指标，然而，它被发现是一个差的翻译质量预测。最近，各种预先训练的语言模型通过提供语义上有意义的单词和句子嵌入在NLP任务中取得了突破。在本文中，我们采用语义嵌入RTT为基础的QE。与之前提交的WMT 2019质量估计指标任务相比，我们的方法与人类判断的相关性最高。虽然向后翻译模型可以是一个缺点，当使用RTT，我们观察到，语义级的指标，基于RTT的QE是强大的向后翻译系统的选择。此外，所提出的方法在SMT和NMT前向翻译系统中表现出一致的性能，这意味着该方法不会惩罚某种类型的模型。
2020-04-29 cs.CL cs.LG
vec2text with Round-Trip Translations
Google Research（谷歌研究院）
我们研究的模型，可以生成任意的自然语言文本（例如，所有的英语句子）从一个有界的，凸的和良好的行为控制空间。我们称之为通用vec2text模型。这样的模型将允许在向量空间中做出语义决策（例如，通过强化学习），而自然语言生成由vec2text模型处理。我们提出了四个所需的属性：普遍性，多样性，流畅性和语义结构，这样的vec2text模型应该具备，我们提供了定量和定性的方法来评估它们。我们实现了一个vec2text模型，通过添加一个瓶颈到一个250 M的参数Transformer模型，并训练它与自动编码目标上的400 M句子（10 B令牌）从一个庞大的Web语料库中提取。我们提出了一个简单的数据增强技术的基础上往返翻译和大量的实验表明，所产生的vec2text模型令人惊讶地导致向量空间，满足我们的四个所需的属性，这个模型大大优于标准和去噪自动编码器。
2022-09-14 cs.CL cs.LG
Improving Recall of Large Language Models: A Model Collaboration Approach for Relational Triple Extraction
Shanghai Key Laboratory of Data Science（上海市数据科学重点实验室）；School of Computer Science, Fudan University（复旦大学计算机科学学院）
针对大语言模型在复杂句子关系三元组抽取中召回率不足的问题，提出融合大模型与小模型的评估-过滤框架，通过高精度实体对评估模型的输出作为提示辅助抽取，有效提升复杂句抽取效果，且可适配传统抽取模型。
2024-04-15 cs.CL
Round-Trip Translation Reveals What Frontier Multilingual Benchmarks Miss
Tübingen AI Center, University of Tübingen（图宾根人工智能研究中心，图宾根大学）
本文通过往返翻译评估多语言能力，揭示了现有基准测试的不足，并提出LiT基准测试以更真实地评估多语言前沿模型。
2026-04-14 cs.AI cs.CL
Answering Ambiguous Questions through Generative Evidence Fusion and Round-Trip Prediction
The Chinese University of Hong Kong（香港中文大学）；AWS AI（亚马逊云科技人工智能部门）
在开放领域的问答中，问题很可能是模糊的，因为用户在制定它们时可能不知道相关主题的范围。因此，系统需要找到问题的可能解释，并预测一个或多个合理的答案。当发现多个合理的答案时，系统应该为每个答案重写问题以解决歧义。在本文中，我们提出了一个模型，聚合和结合证据，从多个通道，自适应地预测一个单一的答案或一组问题的答案对模棱两可的问题。此外，我们还提出了一种新的往返预测方法，用于迭代生成我们的模型在第一次传递中未能找到的其他解释，然后验证并过滤掉不正确的问答对，以获得最终的消歧输出。我们的模型名为Refuel，在AmbigQA数据集上实现了新的最先进的性能，并在NQ-Open和TriviaQA上显示出具有竞争力的性能。提出的往返预测是一种模型无关的通用方法，用于回答模糊的开放域问题，这改进了我们的Refuel以及几个基线模型。我们在https://github.com/amzn/refuel-open-domain-qa上发布了模型和实验的源代码。
2021-05-30 cs.AI cs.CL cs.LG
Concept Unlearning in Large Language Models via Self-Constructed Knowledge Triplets
本文提出概念遗忘（CU）任务，通过让LLM自构知识三元组并与内部知识表示对齐，实现人物、事件等概念级遗忘，同时保留无关知识。
2025-09-19 cs.CL cs.LG
Sentence, Phrase, and Triple Annotations to Build a Knowledge Graph of Natural Language Processing Contributions -- A Trial Dataset
TIB Leibniz Information Centre for Science and Technology（莱布尼茨科学与技术信息中心）
目的：这项工作的目的是规范化NLPCONTRIBUTIONS计划（从今以后，NLPCONTRIBUTIONGRAPH）的结构，直接从文章句子，在自然语言处理（NLP）学术文章的贡献信息通过两个阶段的注释方法：1）试点阶段-定义计划（在以前的工作中描述）;和2）裁定阶段-规范化的图形模型（本文的重点）。设计/方法/办法：我们第二次重新注释了50篇先前注释过的NLP学术文章中的贡献相关信息，这些文章的数据管道包括：以贡献为中心的句子，短语和三重陈述。为此，特别注意在裁定注释阶段减少注释噪音，同时制定我们提出的新NLP贡献结构和图形方案的指导方针。调查结果：NLP CONTRIBUTIONGRAPH在50篇文章中的应用最终产生了900个以贡献为中心的句子，4，702个以贡献信息为中心的短语和2，980个表面结构三元组的数据集。第一阶段和第二阶段之间的注释内一致性，在F1方面，句子为67.92%，短语为41.82%，三重陈述为22.31%，这表明随着信息粒度的增加，注释决策方差更大。实际影响：我们展示了NLPContributiongraph数据集成到开放式研究知识图谱（ORKG），下一代基于KG的数字图书馆与智能计算，使结构化的学术知识，作为一个可行的援助，以协助研究人员在他们的日常任务。
2021-05-07 cs.CL cs.DL cs.IR
Triple-to-Text: Converting RDF Triples into High-Quality Natural Languages via Optimizing an Inverse KL Divergence
Shanghai Jiao Tong University（上海交通大学）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
知识库是信息结构化表示的主要形式之一。知识库通常由描述实体及其关系的资源描述框架（RDF）三元组组成。生成知识库的自然语言描述是自然语言处理中的一个重要任务，它被表述为一个条件语言生成任务，并使用序列到序列框架来处理。现有的训练语言模型的方法大多采用最大似然估计法，这往往会产生糟糕的句子。在本文中，我们认为，这样的问题的最大似然估计是内在的，这通常是不可撤销的，通过改变网络结构。因此，我们提出了一种新的三重文本（T2 T）框架，该框架近似优化了真实句子和生成句子的分布之间的逆Kullback-Leibler（KL）分歧。由于逆KL对虚假样本施加了很大的惩罚，所提出的方法可以显着降低生成低质量句子的概率。我们在三个真实世界数据集上的实验表明，T2 T可以生成更高质量的句子，并在几个评估指标上优于基线模型。
2019-05-25 cs.AI cs.CL
Manifold-Constrained Sentence Embeddings via Triplet Loss: Projecting Semantics onto Spheres, Tori, and Möbius Strips
I.C.T. Mumbai（孟买信息与通信技术学院）
本文提出一种基于 triplet loss 的流形约束句子嵌入框架，将嵌入限制在球面、环面和莫比乌斯带等连续流形上，实验证明其在聚类和分类任务上显著优于传统方法。
2025-04-22 cs.CL
RPDR: A Round-trip Prediction-Based Data Augmentation Framework for Long-Tail Question Answering
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）；NYU Shanghai（纽约大学上海分校）；Center for Data Science, New York University（纽约大学数据科学中心）
RPDR通过数据增强框架提升长尾问答性能，利用回程预测选择易学实例并动态路由查询以优化检索效果。
2026-02-19 cs.CL
IDIAPers @ Causal News Corpus 2022: Extracting Cause-Effect-Signal Triplets via Pre-trained Autoregressive Language Model
Idiap Research Institute（Idiap研究所）；Brno University of Technology（布尔诺理工大学）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Universidad Autónoma Metropolitana Unidad Cuajimalpa（大都会自治大学夸希马尔帕校区）；Universidad Nacional de San Luis（圣路易斯国立大学）
在本文中，我们描述了我们在CASE-2022中的子任务2的共享任务提交，事件因果关系识别与休闲新闻语料库。挑战集中在自动检测新闻媒体中句子中存在的所有因果信号跨度。我们使用T5检测句子中的因果信号跨度-一种预先训练的自回归语言模型。我们迭代地识别所有因果信号跨度三元组，总是以先前预测的三元组为条件预测下一个三元组。为了预测三联体本身，我们考虑不同的因果关系，如原因$\rightarrow$效应$\rightarrow$信号。每个三元组成分是通过以句子、当前三元组的先前部分和先前预测的三元组为条件的语言模型生成的。尽管在160个样本的极小数据集上进行了训练，但我们的方法仍然取得了有竞争力的性能，在比赛中排名第二。此外，我们表明，假设原因$\rightarrow$效果或效果$\rightarrow$原因顺序实现类似的结果。
2022-10-20 cs.AI cs.CL
Assessing the Latent Automated Program Repair Capabilities of Large Language Models using Round-Trip Translation
Simula Research Laboratory（Simula研究实验室）
本研究探索利用往返翻译（RTT）通过大语言模型进行自动化程序修复，发现该方法能生成合理补丁，并可作为APR框架的补充组件。
2025-10-15 cs.CL cs.LG cs.SE
RT-SFT: Text Style Transfer from Non-Parallel Corpora by Roundtrip Translation
Johns Hopkins University（约翰霍普金斯大学）
本文提出基于参数高效LLM微调和往返翻译的文本风格迁移方法，通过合成平行语料库提升风格迁移效果，并结合RAG增强术语和名称知识的鲁棒性与一致性。
2026-10-05 cs.CL
Round Trip Translation Defence against Large Language Model Jailbreaking Attacks
School of Computing and Information Systems, The University of Melbourne（计算与信息系统学院，墨尔本大学）
针对LLM易受社会工程攻击的问题，提出往返翻译（RTT）防御方法，通过改写对抗性提示使模型更易检测有害行为，成功缓解超70%的PAIR攻击及近40%的MathsAttack。
2025-04-30 cs.AI cs.CL
Automated Knowledge Graph Construction using Large Language Models and Sentence Complexity Modelling
Indiana University（印第安纳大学）；Purdue University（普渡大学）；Department of Biomedical Engineering（生物医学工程系）；Informatics, Indiana University（印第安纳大学信息学院）
本文提出CoDe-KG端到端流水线，结合共指消解与句法分解构建句子级知识图谱，贡献超15万三元组数据集，并在关系抽取上取得显著提升。
2025-09-22 cs.CL
Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Technische Universität Darmstadt（达姆施塔特工业大学）
BERT（Devlin等人，2018）和RoBERTa（Liu等人，2019）在语义文本相似性（STS）等双对回归任务上设置了新的最先进的性能。然而，它需要将两个句子都输入到网络中，这导致了巨大的计算开销：在10，000个句子的集合中找到最相似的一对需要大约5000万次推理计算（约65小时），使用BERT。BERT的构造使其不适合语义相似性搜索以及聚类等无监督任务。在这篇文章中，我们提出了句子-BERT（SBERT），这是对预训练的BERT网络的修改，它使用连体和三元网络结构来导出语义上有意义的句子嵌入，可以使用余弦相似度进行比较。这将寻找最相似对的努力从使用BERT / RoBERTa的65小时减少到使用SBERT的大约5秒，同时保持BERT的准确性。我们在常见的STS任务和迁移学习任务上评估SBERT和SRoBERTA，它优于其他最先进的句子嵌入方法。
2019-08-27 cs.CL
Markovian Generation Chains in Large Language Models
ENS-PSL & CNRS-Lattice（ENS-PSL与CNRS-Lattice）；MBZUAI & Ecole Polytechnique（MBZUAI与巴黎高等理工学院）
本文研究了大语言模型中迭代推理过程的演变，通过马尔可夫链建模发现句子多样性受温度参数和初始输入影响，揭示了迭代推理的动力学及其对多智能体系统的影响。
2026-10-23 cs.AI cs.CL cs.LG
Transcormer: Transformer for Sentence Scoring with Sliding Language Modeling
Microsoft Research Asia（微软亚洲研究院）；Fudan University（复旦大学）
句子评分旨在测量句子的似然度得分，并广泛用于许多自然语言处理场景，如重新排序，即从多个候选中选择最佳句子。以往的句子评分方法主要采用GPT等因果语言模型（CLM）或BERT等掩蔽语言模型（MLM），但都存在一定的局限性：1）CLM只利用单向信息进行句子概率估计，没有考虑双向上下文，影响评分质量; 2）MLM一次只能估计部分标记的概率，因此需要多次向前传递来估计整个句子的概率，这会导致大量的计算和时间成本。在本文中，我们提出了\textit{Transcormer} -一个Transformer模型与一个新的\textit{sliding language modeling}（SLM）的句子评分。具体来说，我们的SLM采用了三重流自我注意力机制，以估计所有的令牌在一个句子中的概率与双向上下文，只需要一个单一的向前通过。SLM方法可以避免CLM（单向上下文）和MLM（多个前向传递）的局限性，并继承它们的优点，从而实现高效的评分。多个任务的实验结果表明，我们的方法取得了更好的性能比其他语言建模。
2022-10-19 cs.CL
Exploiting Twitter as Source of Large Corpora of Weakly Similar Pairs for Semantic Sentence Embeddings
Politecnico di Milano（米兰理工大学）；Università di Bologna（博洛尼亚大学）
语义句子嵌入通常是有监督地构建的，最小化被注释者标记为语义相似的句子的嵌入对之间的距离。由于大标签数据集很少见，特别是对于非英语语言，而且价格昂贵，最近的研究集中在需要非配对输入句子的无监督方法上。相反，我们提出了一种独立于语言的方法来构建大型数据集的非正式文本对弱相似，没有人工的人力努力，利用Twitter的内在强大的信号的相关性：回复和报价的推文。我们使用收集到的对来训练一个具有三元组结构的Transformer模型，并在Twitter NLP相似性任务（PIT和TURL）和STSb上测试生成的嵌入。我们还介绍了四个新的句子排名评估基准的非正式文本，仔细提取的推文的初始集合，证明我们的最佳模型不仅学习经典的语义文本相似性，但也擅长的任务，对句子是不准确的释义。消融研究揭示了如何增加语料库的大小积极影响的结果，即使在2M的样本，这表明更大的集合的推文仍然不包含冗余的信息语义相似性。
2021-10-05 cs.CL
Evaluation of BERT and ALBERT Sentence Embedding Performance on Downstream NLP Tasks
Samsung SDS（三星SDS）
来自预训练的语言模型的上下文表示是实现下游NLP任务的高性能的核心。预训练的BERT和A Lite BERT（ALBERT）模型可以进行微调，以在语义文本相似性（STS）和自然语言推理（NLI）等配对回归中给出最先进的结果。虽然基于BERT的模型产生的[CLS]令牌向量作为一个合理的句子嵌入，寻找一个最佳的句子嵌入计划仍然是一个活跃的研究领域，在计算语言学。本文探讨了BERT和ALBERT的句子嵌入模型。特别地，我们采用具有连体和三重网络结构的修改的BERT网络，称为句子-BERT（SBERT），并用AL BERT替换BERT，以创建句子-AL BERT（SAL BERT）。我们还对SBERT和SALBERT的外部CNN嵌入式网络进行了实验。我们使用STS和NLI数据集评估所有嵌入模型的性能。实证结果表明，我们的CNN架构改善ALBERT模型大大超过BERT模型的STS基准。尽管模型参数明显较少，但ALBERT句子嵌入在下游NLP评估中与BERT相比具有很强的竞争力。
2021-01-26 cs.AI cs.CL
Composition of Sentence Embeddings:Lessons from Statistical Relational Learning
Synapse Développement；IRIT, University of Toulouse（图卢兹大学IRIT研究所）；CNRS（法国国家科学研究中心）
各种NLP问题-例如预测句子相似性，蕴涵和话语关系-都是同一个一般任务的实例：一对文本元素之间的语义关系建模。一个流行的模型是将句子嵌入到固定大小的向量中，并使用这些向量的组合函数（例如，连接或总和）作为预测的特征。与此同时，嵌入的组合一直是统计关系学习（SRL）领域的主要焦点，其目标是预测实体之间的关系（通常来自知识库三元组）。在这篇文章中，我们表明，以前的工作文本之间的关系预测隐式地使用基线SRL模型的组合物。我们表明，这样的组合物是不够的几个任务（例如自然语言推理）的表达。我们建立在最近的SRL模型，以解决文本关系的问题，表明他们更有表现力，可以减轻问题，从简单的组合。由此产生的模型显着提高了可转移的句子表示学习和关系预测的最新技术水平。
2019-04-04 cs.CL
Jina Embeddings: A Novel Set of High-Performance Sentence Embedding Models
Jina AI
本文介绍了Jina Embeddings高性能句子嵌入模型的开发过程，通过高质量数据集构建、数据清洗与MTEB基准评估，并引入新型否定陈述数据集以增强模型对语法否定的感知。
2023-10-20 cs.AI cs.CL cs.IR
Mapping Process for the Task: Wikidata Statements to Text as Wikipedia Sentences
National Polytechnic Institute (IPN)（国立理工学院）；Da Lat university（大叻大学）
维基百科被公认为人类社会最成功的在线合作项目之一，近年来获得了快速增长，并希望不断扩展内容，并向全球传播知识价值。志愿者的短缺给维基百科带来了许多问题，包括目前为300多种语言开发内容。因此，机器可以自动生成内容，以减少维基百科语言项目上的人工努力，这一好处可能是相当可观的。在本文中，我们提出了我们的映射过程中的任务转换维基数据语句到自然语言文本（WS2T）的维基百科项目在句子级别。主要步骤是组织语句，表示为一组四元组和三元组，然后将它们映射到英文维基百科中的相应句子。我们从句子结构分析、噪声过滤和基于词嵌入模型的句子成分之间的关系等方面对输出语料进行评估。研究结果不仅对数据到文本的生成任务，而且对该领域的其他相关工作也有一定的参考价值。
2022-10-23 cs.AI cs.CL
Stories of Your Life as Others: A Round-Trip Evaluation of LLM-Generated Life Stories Conditioned on Rich Psychometric Profiles
LoveMind AI；Jheronimus Academy of Data Science（耶罗尼米斯数据科学学院）
本文通过LLM生成生命故事并回收心理测量数据，验证了LLM在编码和解码个体差异方面的鲁棒性，展示了心理特征与语言表达之间的关系。
2026-04-07 cs.AI cs.CL cs.HC
Phonetically rich corpus construction for a low-resourced language
Alana AI Research（Alana AI研究院）
本文提出一种为巴西葡萄牙语构建语音丰富语料库的新方法，包括文本收集、基于三音子分布的句子选择及新音位分类，显著提高了不同三音子的覆盖率。
2024-02-08 cs.AI cs.CL
LibriVoxDeEn: A Corpus for German-to-English Speech Translation and German Speech Recognition
Heidelberg University（海德堡大学）；Computational Linguistics（计算语言学）；IWR Heidelberg University（海德堡大学IWR研究所）
我们提出了一个语料库的德语音频，德语文本，英语翻译，德语有声读物的基础上，对齐的三元组。语音翻译数据由110小时的音频材料组成，与超过50 k个平行句子对齐。包括与德语文本对齐的547小时德语语音的甚至更大的数据集可用于语音识别。音频数据是读语音，因此不流利程度低。音频和句子对齐的质量已经通过人工评估进行了检查，表明语音对齐质量通常非常高。句子对齐质量与常用的平行翻译数据相当，并且可以通过自动对齐分数的截止值进行调整。据我们所知，该语料库是迄今为止最大的德语语音识别和端到端德语到英语语音翻译资源。
2020-03-04 cs.CL
GenericsKB: A Knowledge Base of Generic Statements
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们为NLP社区提供了一个新的资源，即一个大型（350万+句子）的 * 通用语句 * 知识库，例如，“树木从大气中去除二氧化碳”，收集自多个语料库。这是第一个包含 * 自然发生的 * 通用句子的大型资源，而不是提取或众包的三元组，因此富含高质量，通用，语义完整的语句。所有GenericsKB句子都注释了它们的主题术语，周围的上下文（句子）和（学习的）置信度。我们还发布了GenericsKB-Best（1 M+句子），包含GenericsKB中最好的泛型，并从WordNet和ConceptNet中选择合成泛型。在对两个需要多跳推理的现有数据集（OBQA和QASC）的测试中，我们发现使用GenericsKB可以比使用更大的语料库获得更高的分数和更好的解释。这表明，泛型知识库可以成为一个有用的资源，自然语言处理应用程序，以及提供数据的语言学研究的泛型及其语义。GenericsKB可从https://allenai.org/data/genericskb获得。
2020-05-02 cs.AI cs.CL
An Adversarial Learning based Multi-Step Spoken Language Understanding System through Human-Computer Interaction
AI Center, Samsung Research America（三星美国研究院AI中心）
大多数现有的口语语言理解系统只能基于单轮用户查询执行语义框架解析。他们不能通过与用户的多轮交互来获取用户的反馈以更新/添加/删除槽值。在本文中，我们介绍了一种新的多步口语语言理解系统的基础上对抗学习，可以利用多轮用户的反馈更新槽值。我们在基准ATIS数据集上进行了两个实验，结果表明，新系统可以提高解析性能至少$2.5\%$的F1，只有一轮的反馈。当反馈轮数增加时，改进变得更大。此外，我们还比较了新的系统与国家的最先进的对话状态跟踪系统，并证明了新的交互式系统可以更好地执行多轮口语语言理解任务的插槽和会话级别的准确性。
2021-06-06 cs.AI cs.CL
