A Cross-Sentence Latent Variable Model for Semi-Supervised Text Sequence Matching
Seoul National University(首尔国立大学)
我们提出了一个潜在变量模型来预测一对文本序列之间的关系。与以前的基于自动编码的方法,分别考虑每个序列,我们提出的框架利用两个序列在一个单一的模型中生成一个序列,具有给定的关系与源序列。我们进一步扩展了跨句子生成框架,以促进半监督训练。我们还定义了新的语义约束,导致解码器网络生成语义上合理的和不同的序列。我们从定量和定性实验中证明了该模型的有效性,同时在半监督自然语言推理和释义识别方面取得了最先进的结果。
2019-06-04 cs.CL
Unsupervised Attention-based Sentence-Level Meta-Embeddings from Contextualised Language Models
University of Liverpool(利物浦大学);Amazon(亚马逊)
在NLP社区中已经提出了各种上下文化的语言模型,这些模型在不同的语料库上训练以产生许多神经语言模型(NLM)。然而,不同的NLM在用作文本表示时在下游NLP应用中报告了不同水平的性能。我们提出了一种元嵌入学习方法,该方法采用独立训练的上下文化词嵌入模型,并学习保留输入源NLM互补优势的句子嵌入。我们提出的方法是无监督的,并且不与特定的下游任务绑定,这使得学习的元嵌入原则上适用于需要句子表示的不同任务。具体来说,我们首先投影由各个NLM获得的令牌级嵌入,并学习指示源嵌入对其令牌级元嵌入的贡献的注意力权重。接下来,我们应用均值池和最大池来从令牌级元嵌入生成令牌级元嵌入。在语义文本相似度基准测试上的实验结果表明,我们提出的无监督文本级元嵌入方法优于先前提出的文本级元嵌入方法以及有监督的基线。
2022-04-16 cs.CL
Arabic Sentence Segmentation Across Genres and Punctuation Conditions
Mohamed bin Zayed University of Artificial Intelligence(莫扎德·本·泽德人工智能大学);New York University Abu Dhabi(纽约大学阿布扎比分校)
针对阿拉伯语标点歧义和不一致导致的句子分割难题,构建跨8种体裁的语料库AraSEG,评估LLM、轻量编码器和依存解析器,发现轻量模型在困难设置下优于LLM,且准确分割能显著提升下游依存解析。
2026-09-01 cs.CL
SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples
National University of Defense Technology(国防科技大学);SenseTime(商汤科技);The University of Hong Kong(香港大学)
无监督句子嵌入的目的是为句子获得最合适的嵌入,以反映其语义。对比学习正受到越来越多的关注。对于一个句子,当前的模型利用不同的数据增强方法来生成正样本,而将其他独立的句子视为负样本。然后,他们采用InfoNCE损失来拉动聚集的正对的嵌入,并推动分散的负对的嵌入。虽然这些模型在句子嵌入方面取得了很大的进展,但我们认为它们可能受到特征抑制。这些模型不能区分和解耦文本相似性和语义相似性。而且,他们可能高估任何具有相似文本的对的语义相似性,而不管它们之间的实际语义差异。这是因为无监督对比学习中的正对通过数据增强来获得相似甚至相同的文本。为了减轻特征抑制,我们提出了对比学习的无监督句子嵌入与软负样本(SNCSE)。软否定样本与原始样本具有高度相似的文本,但具有明显不同的语义。具体地说,我们将原句的否定作为软否定样本,提出双向边际损失(BML)将其引入传统的对比学习框架,只涉及正样本和负样本。实验结果表明,SNCSE在语义文本相似性(STS)任务上的平均Spearman相关系数在BERTbase上为78.97%,在RoBERTbase上为79.23%。此外,我们还采用基于秩的误差分析方法来发现SNCSE的不足之处,为后续的研究提供参考。
2022-03-02 cs.CL
Unsupervised Parsing by Searching for Frequent Word Sequences among Sentences with Equivalent Predicate-Argument Structures
The University of Tokyo(东京大学);Imperial College London(伦敦帝国学院);The University of Liverpool(利物浦大学)
本文提出基于频率的无监督成分句法解析器span-overlap,利用PAS等价句子集合中成分对应频繁词序列的特性,通过最大化span-overlap分数识别成分结构,在十种语言中的八种上达到最先进水平,并发现参与者成分与事件成分之间的统计差异。
2024-08-12 cs.CL
R$^2$F: A General Retrieval, Reading and Fusion Framework for Document-level Natural Language Inference
SenseTime(商汤科技);National University of Defense Technology(国防科技大学);Singapore Management University(新加坡管理大学)
文档级自然语言推理(Document-level natural language inference,DOCNLI)是自然语言处理领域的一个新的挑战性课题,旨在判断一对假设和前提文档之间的蕴涵关系。目前的数据集和基线基本上遵循文件级别的设置,但未能解决较长文件引起的问题。在本文中,我们建立了一个通用的解决方案,命名为检索,阅读和融合(R2 F)的框架,和一个新的设置,通过分析的主要挑战DOCNLI:可解释性,长程依赖,跨句子推理。该框架的基本思想是将文档级任务简化为一组文档级任务,并利用证据的力量提高性能和可解释性。对于每个假设句,框架从前提中检索证据句,并读取以估计其可信度。然后对文档级结果进行融合,判断文档之间的关系。对于设置,我们提供补充证据和蕴涵标签注释的假设句子,可解释性研究。实验结果表明,R2 F框架可以获得最先进的性能,并对各种证据检索方法具有鲁棒性。此外,它可以给出更多的解释性预测结果。我们的模型和代码在https://github.com/phoenixsecularbird/R2F上发布。
2022-10-22 cs.CL
MSciNLI: A Diverse Benchmark for Scientific Natural Language Inference
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Computer Science(计算机科学学院)
本文提出包含5个新科学领域132320个句子对的MSciNLI数据集以丰富科学NLI任务多样性,建立PLM和LLM基线验证其挑战性,证实领域偏移的影响,并表明该类数据集可提升科学领域下游任务性能。
2024-04-11 cs.CL
Flickr30k Entities: Collecting Region-to-Phrase Correspondences for Richer Image-to-Sentence Models
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Broad Institute of MIT and Harvard(麻省理工学院和哈佛大学博德研究所)
Flickr 30 k数据集已成为基于照片的图像描述的标准基准。本文介绍了Flickr 30 k实体,它使用244 k共指链从Flickr 30 k中增加了158 k标题,将同一图像的不同标题中提到的相同实体链接起来,并将它们与276 k手动注释的边界框相关联。这样的注释对于自动图像描述和有基础的语言理解的持续进展是必不可少的。它们使我们能够定义一个新的基准定位的文本实体提到的图像。我们提出了一个强大的基线,结合图像-文本嵌入,常见对象的检测器,颜色分类器,并偏向于选择较大的对象。虽然我们的基准竞争对手在准确性更复杂的国家的最先进的模型,我们表明,它的收益不能很容易地转化为改进等任务,如图像句子检索,从而强调了目前的方法的局限性和需要进一步研究。
2016-09-19 cs.CL cs.CV
Predicting Above-Sentence Discourse Structure using Distant Supervision from Topic Segmentation
University of British Columbia(不列颠哥伦比亚大学)
RST风格的语篇分析在许多NLP任务中起着至关重要的作用,揭示了潜在的复杂和多样的文档的潜在语义/语用结构。尽管它的重要性,在现代话语分析中最普遍的限制之一是缺乏大规模的数据集。为了克服数据稀疏性问题,最近提出了来自情感分析和摘要等任务的远程监督方法。在这里,我们通过利用主题分割的远程监督来扩展这条研究路线,这可以为高级话语结构提供强大的,通常是互补的信号。在两个人类注释的话语树库上的实验证实,我们的建议在句子和段落级别上生成准确的树结构,在句子到文档任务上始终优于以前的远程监督模型,并且偶尔在句子到段落级别上达到更高的分数。
2021-12-12 cs.AI cs.CL
ConjNLI: Natural Language Inference Over Conjunctive Sentences
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
关于合取句中合取词的推理对于更深入地理解英语中的合取词以及它们的用法和语义与合取和析取布尔逻辑的区别是很重要的。现有的NLI压力测试不考虑连接词的非布尔用法,而是使用模板来测试这种模型知识。因此,我们介绍了ConjNLI,一个挑战压力测试的自然语言推理的连接语句,其中的前提不同的假设的连接词删除,添加,或替换。这些句子包含单个和多个协调连词(“and”,“or”,“but”,“nor”)与量词,否定词的实例,并需要对连词进行各种布尔和非布尔推理。我们发现,像RoBERTa这样的大规模预训练语言模型不能很好地理解连接语义,并采用浅层语义学来对这些句子进行推理。作为一些初步的解决方案,我们首先提出了一个迭代对抗微调方法,使用综合创建的训练数据的基础上布尔和非布尔代数。我们还提出了一个直接的模型进步,使Roberta知道谓词语义角色。虽然我们观察到一些性能的提高,ConjNLI仍然是目前的方法具有挑战性,从而鼓励有趣的未来工作,更好地理解合取。我们的数据和代码可在https://github.com/swarnaHub/ConjNLI上公开获取
2020-10-21 cs.AI cs.CL
Convolutional Auto-encoding of Sentence Topics for Image Paragraph Generation
Nanjing University of Science and Technology(南京理工大学);JD AI Research(京东人工智能研究院)
图像段落生成是生成描述图像视觉内容的连贯故事(通常是一个段落)的任务。然而,这个问题并不是微不足道的,特别是当段落生成需要考虑多种描述性和不同的要点时,这经常发生在真实图像中。一个有效的问题是如何从图像中封装这些值得一提的要点/主题,然后从一个主题到另一个主题描述图像,但具有连贯的结构。在本文中,我们提出了一种新的设计-卷积自动编码(CAE),纯粹采用卷积和去卷积自动编码框架的主题建模的区域级特征的图像。此外,我们提出了一个架构,即CAE加上长短期记忆(称为CAE-LSTM),新颖地集成了学习的主题,以支持段落生成。从技术上讲,CAE-LSTM利用了一个两级的基于LSTM的段落生成框架和注意力机制。段落级LSTM捕获段落中的句间依赖性,而段落级LSTM则生成一个以每个学习主题为条件的句子。在斯坦福图像段落数据集上进行了大量的实验,并与最先进的方法相比,获得了更好的结果。更值得注意的是,CAE-LSTM将CIDER性能从20.93%提高到25.15%。
2019-08-01 cs.CL cs.CV
Czech News Dataset for Semantic Textual Similarity
NTIS – New Technologies for the Information Society(NTIS – 信息社会新技术研究中心);University of West Bohemia(西波希米亚大学);Charles University(查理大学)
本文描述了一种新的数据集,包括句子的语义相似性注释。数据来源于捷克语的新闻领域。我们详细描述了收集和注释数据的过程。该数据集包含138,556个人类注释,分为训练集和测试集。共有485名新闻专业学生参与了创作过程。为了增加测试集的可靠性,我们将注释计算为9个单独注释的平均值。我们通过测量内部和内部注释者的一致性来评估数据集的质量。除了协议编号外,我们还提供了所收集数据集的详细统计数据。最后,我们总结了我们的论文与基线实验,建立一个系统,预测句子的语义相似性。由于大量的训练注释(116 956),该模型的性能明显优于平均注释器(Person的相关系数为0.92与0.86)。
2022-01-21 cs.AI cs.CL cs.LG
PCL: Peer-Contrastive Learning with Diverse Augmentations for Unsupervised Sentence Embeddings
The University of Tokyo(东京大学);Microsoft Corporation(微软公司)
在自然语言处理中,以无监督的方式学习句子嵌入是基本的。最近的常见做法是将预训练的语言模型与无监督的对比学习相结合,其成功依赖于用语义上接近的正实例来增强句子以构建对比对。然而,现有的方法通常依赖于一个单一的增强策略,这导致学习捷径的增强偏见,从而损坏的句子嵌入的质量。一个简单的解决方案是从多增强策略中诉诸更多样化的积极因素,而一个悬而未决的问题仍然是如何在无监督的情况下从不同的积极因素中学习,但在文本字段中具有不均匀的增强质量。作为一个答案,我们提出了一种新的同行对比学习(PCL)与不同的增强。PCL在群体水平上为无监督的句子嵌入构建了不同的对比肯定和否定。PCL执行对等积极对比以及对等网络合作,这提供了固有的抗偏见能力和从不同增强中学习的有效方法。STS基准测试的实验验证了PCL在无监督句子嵌入中的有效性。
2022-10-19 cs.CL
Collecting a Large-Scale Gender Bias Dataset for Coreference Resolution and Machine Translation
School of Computer Science and Engineering(计算机科学与工程学院);The Hebrew University of Jerusalem(希伯来大学)
最近的研究发现,在机器翻译和共指消解的模型中,性别偏见的证据大多使用合成的诊断数据集。虽然这些在受控实验中量化了偏见,但它们通常是在小范围内进行的,并且主要由人工的,不分布的句子组成。在这项工作中,我们发现语法模式表明定型和非定型的性别角色分配(例如,女护士与男舞者)的语料库从三个领域,导致第一个大规模的性别偏见数据集的108K不同的现实世界的英语句子。我们手动验证我们的语料库的质量,并使用它来评估各种共指消解和机器翻译模型中的性别偏见。我们发现,所有测试过的模型在提供自然输入时都倾向于过度依赖性别刻板印象,这在商业系统中部署时可能特别有害。最后,我们表明,我们的数据集本身微调的共指消解模型,发现它减轻了偏见举行了一套。我们的数据集和模型可在www.github.com/SLAB-NLP/BUG上公开获取。我们希望他们将刺激未来的研究性别偏见评估缓解技术在现实环境中。
2021-09-10 cs.CL
Unsupervised Natural Language Inference Using PHL Triplet Generation
Arizona State University(亚利桑那州立大学)
基于transformer的模型在各自的训练数据集上训练时,在众多自然语言推理(NLI)基准测试中取得了令人印象深刻的性能。然而,在某些情况下,训练样本可能不可用,或者收集它们可能是耗时和资源密集型的。在这项工作中,我们解决了上述挑战,并提出了一个探索性的研究无监督NLI,一个范例,其中没有人类注释的训练样本。我们在三种设置下研究它:PH,P和NPH,它们在可用于学习的未标记数据的程度上有所不同。作为一种解决方案,我们提出了一个程序化的数据生成方法,利用一组句子转换来收集PHL(假设,假设,标签)三元组用于训练NLI模型,绕过了对人类注释的训练数据的需要。在多个NLI数据集上的综合实验表明,该方法在PH、P和NPH设置下的准确率分别高达66.75%、65.9%和65.39%,优于所有现有的无监督基线。此外,使用人工注释的训练数据集(500个实例)的约0.1%来微调我们的模型,比在相同的500个实例上从头开始训练的模型的准确率高出12.2%。在这种卓越性能的支持下,我们总结了收集高质量特定任务数据的建议。
2022-03-15 cs.AI cs.CL cs.LG
Automatically Suggesting Diverse Example Sentences for L2 Japanese Learners Using Pre-Trained Language Models
National Institute of Informatics, Japan(日本信息处理研究所);JFLI, CNRS, Nantes University, France(JFLI、法国国家科学研究中心、法国南特大学)
本文研究利用预训练语言模型通过检索评分和零样本生成两种方式为二语日语学习者提供例句,实验表明检索方法在难度、多样性和自然度上更受各类评估者认可,展现了PLMs提升语言学习系统适应性的潜力。
2025-06-04 cs.CL
Complexity-Weighted Loss and Diverse Reranking for Sentence Simplification
University of Pennsylvania(宾夕法尼亚大学);LIMSI, CNRS, Université Paris-Saclay(巴黎-萨克雷大学法国国家科学研究中心LIMSI实验室);Univ. Paris Diderot(巴黎狄德罗大学);Choosito, Inc.(Choosito公司)
句子简化是重写文本的任务,因此它们更容易理解。最近的研究已经将序列到序列(Seq2Seq)模型应用于这一任务,主要集中在通过强化学习和记忆增强来改善训练时间。应用通用Seq2Seq模型进行简化的主要问题之一是,这些模型倾向于直接从原始句子复制,导致输出相对较长且复杂。我们的目标是通过使用两种主要技术来缓解这个问题。首先,我们在训练过程中将内容词复杂度(如用水平词复杂度模型预测的)纳入我们的损失函数。其次,我们在测试时生成一个大的不同的候选简化集,并重新排列这些以促进流畅性,充分性和简单性。在这里,我们通过一个新的句子复杂度模型来衡量简单性。这些扩展使我们的模型能够与最先进的系统竞争,同时生成更简单的句子。我们报告标准的自动和人工评估指标。
2019-04-04 cs.CL
Mixup Decoding for Diverse Machine Translation
University of Chinese Academy of Sciences(中国科学院大学);Baidu Inc.(百度公司)
多样性机器翻译的目的是为给定的源语言句子生成多种目标语言译文。利用mixup训练引入的句子潜在空间中的线性关系,我们提出了一种新的方法MixDiversity,通过在解码时从训练语料库中采样的不同句子对线性插值来为输入句子生成不同的翻译。为了进一步提高译文的忠实性和多样性,本文提出了两种简单有效的方法来选择训练语料中的不同句子对,并相应地调整每对句子的插值权重。此外,通过控制插值权重,我们的方法可以实现忠实性和多样性之间的权衡,而无需任何额外的训练,这是在大多数以前的方法所需要的。在WMT'16 en-ro、WMT'14 en-de和WMT'17 zh-en上进行的实验表明,我们的方法大大优于以前所有不同的机器翻译方法。
2021-09-14 cs.CL
Improving Unsupervised Relation Extraction by Augmenting Diverse Sentence Pairs
Iowa State University(爱荷华州立大学)
本文提出 AugURE,通过句内和跨句句对增强提升无监督关系抽取中对比学习的正样本多样性,并用间隔损失替代 NCE 损失,在 NYT-FB 和 TACRED 上取得最优性能。
2023-12-01 cs.CL
Multi-Sentence Knowledge Selection in Open-Domain Dialogue
Amazon Alexa AI(亚马逊Alexa人工智能部门)
如何在会话中有效地识别外部知识源是开放域对话研究中的一个长期问题。关于开放领域知识选择的现有文献是有限的,并且对知识源做出某些脆弱的假设以简化整体任务(Dinan等人,2019),例如每个上下文存在单个相关知识句子。在这项工作中,我们评估了现有的状态开放域的对话知识选择,显示现有的方法,数据和评估是有缺陷的。然后,我们通过提出一个新的框架来收集相关知识,并基于维基百科向导(WOW)语料库创建一个增强数据集,我们称之为WOW++。WOW++平均每个对话上下文有8个相关的知识句子,包含了开放域对话知识选择的固有模糊性。然后,我们在这个增强的数据集上对各种知识排名算法进行了基准测试,包括内在评估和外在的响应质量测量,表明使用WOW++的神经排名器可以优于在标准数据集上训练的排名器。
2022-10-04 cs.CL
Using Inter-Sentence Diverse Beam Search to Reduce Redundancy in Visual Storytelling
Academia Sinica(中央研究院)
视觉叙事包括两个重要部分:故事与图像的连贯性和故事结构。对于图像到文本神经网络模型,序列中相似的图像将为故事生成器提供接近的信息,以获得几乎相同的句子。然而,重复叙述相同的对象或事件会破坏一个良好的故事结构。在本文中,我们提出了一个句子间多样化的束搜索,以产生一个更有表现力的故事。与最近的一些模型的视觉讲故事的任务,生成的故事,而不考虑生成的句子的前一张图片相比,我们提出的方法可以避免生成相同的句子,即使给定一个序列的相似图片。
2018-05-30 cs.AI cs.CL
Adversarial Learning on the Latent Space for Diverse Dialog Generation
University of Waterloo(滑铁卢大学);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii))
在对话中生成相关的响应是具有挑战性的,不仅需要对对话中的上下文进行适当的建模,而且还需要能够在推理过程中生成流畅的句子。在本文中,我们提出了一个基于生成对抗网的两步框架,用于生成条件反应。我们的模型首先通过自动编码学习句子的有意义的表示,然后学习将输入查询映射到响应表示,然后将其解码为响应句子。定量和定性评估都表明,我们的模型比现有的最先进的方法产生更流畅,相关和多样化的反应。
2020-11-03 cs.CL
CUE Vectors: Modular Training of Language Models Conditioned on Diverse Contextual Signals
Amazon Alexa(亚马逊 Alexa)
该论文提出CUE框架,通过模块化训练语言模型,利用多种上下文信号(如日期、作者)降低困惑度,并支持新元数据适应和模型替换,实现可扩展的上下文增强训练。
2022-03-16 cs.CL
Stylized Text Generation Using Wasserstein Autoencoders with a Mixture of Gaussian Prior
University of Waterloo(滑铁卢大学);University of Alberta(阿尔伯塔大学)
Wasserstein自动编码器对于文本生成是有效的。然而,如果数据集有多个类并且包括不同的主题,它们不提供对生成的句子的风格和主题的任何控制。在这项工作中,我们提出了一个半监督的方法来生成风格化的句子。我们的模型是在多类数据集上训练的,并使用高斯先验混合来学习句子的潜在表示,而没有任何对抗性损失。这允许我们通过从其相应的先验分布中采样来生成指定类或多个类的风格的句子。此外,我们可以在相对较小的数据集上训练我们的模型,并通过将具有其他样式/类的外部数据添加到我们的数据集来学习指定类的潜在表示。虽然在这种情况下,简单的WAE或VAE不能生成多样化的句子,但使用我们的方法生成的句子是多样化的,流畅的,并且保留了所需类的风格和内容。
2019-11-10 cs.CL
Generating Diverse Negations from Affirmative Sentences
University College London(伦敦大学学院);Legal & General(法通集团)
针对现有基准中否定数据不足且形式单一的问题,提出NegVerse方法,从句法掩码的肯定句生成多类型否定句,经过滤后得到高质量多样样本,效果优于现有方法。
2024-10-30 cs.AI cs.CL
MGen: Millions of Naturally Occurring Generics in Context
School of Informatics, University of Edinburgh(信息学院,爱丁堡大学)
MGen 是一个包含 400 万自然泛化句子的数据集,用于研究泛化表达的计算方法和应用。
2025-11-22 cs.CL
Long and Diverse Text Generation with Planning-based Hierarchical Variational Model
Institute for Artificial Intelligence(人工智能研究院);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学);Baozun(宝尊)
现有的用于数据到文本生成的神经方法仍然难以生成长而多样的文本:它们不足以在生成过程中动态地建模输入数据,捕获句子间的连贯性,或生成多样化的表达。为了解决这些问题,我们提出了一个基于规划的层次变分模型(PHVM)。我们的模型首先计划一系列的组(每组是一个子集的输入项目被覆盖的句子),然后实现每个句子的规划结果和先前生成的上下文条件,从而分解成依赖句子生成子任务的长文本生成。为了捕捉表达的多样性,我们设计了一个分层的潜在结构,其中一个全球规划的潜在变量模型的多样性合理的规划和一系列的本地潜在变量控制句子的实现。实验表明,我们的模型优于国家的最先进的基线在长和多样化的文本生成。
2019-08-25 cs.CL cs.LG
Understanding and Detecting Supporting Arguments of Diverse Types
Northeastern University(东北大学)
我们调查的问题,从相关文档中的用户指定的索赔的证据级别的支持参数检测。从在线辩论网站idebate.org收集了一个包含索赔和相关引用文章的数据集。然后,我们手动标记文件中的句子级别的支持论点及其类型为研究,事实,观点或推理。我们进一步表征不同类型的参数,并探讨是否利用类型信息可以促进支持参数检测任务。实验结果表明,LambdaMART(Burges,2010)排名器使用参数类型通知的功能比没有类型信息训练的相同排名器产生更好的性能。
2017-05-02 cs.CL
Finding Sense in Nonsense with Generated Contexts: Perspectives from Humans and Language Models
Grid Dynamics;IMS;University of Stuttgart(斯图加特大学)
本文通过人类和语言模型对五个语义偏差数据集中的句子进行评估,探讨了如何区分异常句子和无意义句子,并发现语言模型在生成合理上下文方面表现出色。
2026-05-18 cs.CL
DimonGen: Diversified Generative Commonsense Reasoning for Explaining Concept Relationships
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出DimonGen任务及两阶段模型MoREE,通过混合检索器和混合生成器生成描述日常场景中概念关系的多样化句子,在质量和多样性上优于强基线。
2023-05-16 cs.AI cs.CL
Sentence-Permuted Paragraph Generation
University of Notre Dame(圣母大学);Microsoft Cognitive Services Research(微软认知服务研究院)
生成不同内容的段落在许多应用中是重要的。现有的生成模型由于固定的从左到右的句子顺序,从同质化的上下文中产生相似的内容。我们的思想是通过排列句子顺序来提高多句子段落的内容多样性。我们提出了一个新的框架PermGen,其目标是最大限度地提高预期的对数似然输出段落分布相对于所有可能的句子顺序。PermGen使用分层位置嵌入,并设计了新的程序,用于训练,解码和候选人排名的置换生成。三个段落生成基准的实验表明,PermGen生成更多样化的输出,更高的质量比现有的模型。
2021-09-07 cs.AI cs.CL
ParaAMR: A Large-Scale Syntactically Diverse Paraphrase Dataset by AMR Back-Translation
University of California Los Angeles(加州大学洛杉矶分校);University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of Southern California(南加州大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
本文提出ParaAMR数据集,通过抽象语义表示回译生成大规模句法多样化复述,并验证其在句子嵌入、句法可控复述生成和少样本数据增强等任务上的改进效果。
2023-05-26 cs.CL
One Reference Is Not Enough: Diverse Distillation with Reference Selection for Non-Autoregressive Translation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
非自回归神经机器翻译(NAT)存在多模态问题:源句子可能有多个正确翻译,但损失函数仅根据参考句子计算。序列级知识蒸馏通过用自回归模型的输出替换目标,使目标更具确定性。然而,在蒸馏数据集中的多模态问题仍然是不可忽视的。此外,从特定老师学习限制了模型能力的上限,限制了NAT模型的潜力。在本文中,我们认为,一个参考是不够的,并提出了不同的蒸馏与参考选择(DDRS)的NAT。具体来说,我们首先提出了一种方法,称为SeedDiv不同的机器翻译,这使我们能够生成一个数据集,每个源语句包含多个高质量的参考翻译。在训练过程中,我们将NAT输出与所有参考进行比较,并选择最适合NAT输出的参考来训练模型。在广泛使用的机器翻译基准测试上的实验证明了DDRS的有效性,在WMT 14 En-De上仅用一次解码就实现了29.82 BLEU,将NAT的最新性能提高了1 BLEU以上。源代码:https://github.com/ictnlp/DDRS-NAT
2022-05-28 cs.CL
Training Effective Neural Sentence Encoders from Automatically Mined Paraphrases
National Information Processing Institute(国家信息处理研究所)
句子嵌入通常用于文本聚类和语义检索任务。最先进的句子表示方法是基于人工神经网络,该神经网络在大量手动标记的句子对的集合上进行微调。对于高资源语言(如英语或中文),有足够数量的注释数据可用。在不太流行的语言中,必须使用多语言模型,这提供了较低的性能。在这篇文章中,我们通过提出一种方法来解决这个问题,该方法用于训练有效的语言特定的句子编码器,而无需手动标记数据。我们的方法是自动构建一个数据集的释义对双语文本语料库对齐。然后,我们使用收集到的数据来微调一个带有额外循环池层的Transformer语言模型。我们的句子编码器可以在不到一天的时间内在单个图形卡上进行训练,在各种各样的任务级别上实现高性能。我们评估我们的方法在波兰语的八个语言任务,比较它与最好的多语言句子编码器。
2022-07-26 cs.CL
Margin-based Parallel Corpus Mining with Multilingual Sentence Embeddings
University of the Basque Country (UPV/EHU)(巴斯克大学);Facebook AI Research(Facebook人工智能研究院)
机器翻译对训练数据的大小和质量高度敏感,这使得人们对收集和过滤大型并行语料库的兴趣越来越大。在本文中,我们提出了一种新的方法,这一任务的基础上,多语言句子嵌入。与以前的方法相比,这些方法依赖于最近邻检索,在余弦相似性上具有硬阈值,我们所提出的方法考虑了这种测量的尺度不一致性,而是考虑给定句子对与其最接近的候选者之间的间隔。我们的实验表明,现有的方法有很大的改进。我们在BUCC采矿任务和联合国重建任务上的表现分别超过了10个F1和30个精度点。使用我们的方法过滤英语-德语ParaCrawl语料库,我们在newest 2014上获得31.2 BLEU点,比最好的官方过滤版本提高了一个多点。
2019-08-07 cs.AI cs.CL cs.LG
Gaze-Driven Sentence Simplification for Language Learners: Enhancing Comprehension and Readability
Waseda University(早稻田大学);Waseda Research Institute for Science and Engineering(早稻田大学科学与工程研究院)
针对语言学习者阅读难文查字典耗时分心的问题,提出结合眼动与语言特征、用GPT-3.5生成简化句的视线驱动句子简化系统,经19名学习者实验验证可准确评估理解度并提升可读性。
2023-09-30 cs.CL cs.HC
AzSLD: Azerbaijani Sign Language Dataset for Fingerspelling, Word, and Sentence Translation with Baseline Software
Azerbaijan State Oil and Industry University(阿塞拜疆国立石油与工业大学);French-Azerbaijani University(法国-阿塞拜疆大学);ADA University(ADA大学)
本研究推出阿塞拜疆手语数据集AzSLD,含3万段多视角、多人群采集的标注视频及配套文档代码,严格遵循伦理规范,为手语识别、翻译等研究提供宝贵数据资源。
2024-11-23 cs.CL
Sentence-aware Contrastive Learning for Open-Domain Passage Retrieval
Shanghai Jiao Tong University(上海交通大学)
通过对比学习训练密集段落表示已被证明是有效的开放域段落检索(ODPR)。现有的研究集中在通过改进负采样策略或额外的预训练来进一步优化。然而,这些研究保持未知的捕获通道与内部表示冲突的建模粒度不当。因此,这项工作提出了一个细化模型的基础上,更小的粒度,上下文语句,以减轻有关冲突。具体来说,我们引入了一个通道内的负采样策略,以鼓励不同的一代的句子表征在同一个通道。在三个基准数据集上的实验验证了该方法的有效性,特别是在冲突严重的数据集上。大量的实验进一步表明,我们的方法在数据集之间具有良好的可移植性。
2022-03-05 cs.CL
Decoding Sentiment from Distributed Representations of Sentences
University of Cambridge(剑桥大学)
分布式表示的句子最近已经发展到代表他们的意义作为实值向量。然而,目前还不清楚这些表征保留了多少关于句子极性的信息。为了研究这个问题,我们从9种不同类型的语言中学习了不同架构(对单词顺序,句子顺序敏感或不敏感)的无监督句子表示中解码情感。情感是词汇的递归组合和否定、让步等语法策略的结果。结果是多方面的:我们表明,没有“一刀切”的代表性架构优于其他全面。相反,顶级架构取决于手头的语言和数据。此外,我们发现,在某些情况下,添加剂组合模型的基础上跳过字向量可能会超过监督的最先进的架构,如双向LSTM。最后,我们提供了一个可能的解释,观察到的变化的基础上在每种语言中的否定结构的类型。
2017-06-16 cs.CL
DiscoFuse: A Large-Scale Dataset for Discourse-Based Sentence Fusion
Tel Aviv University(特拉维夫大学);Google AI(谷歌人工智能);Allen Institute for AI(艾伦人工智能研究所)
句子融合是将几个独立的句子连接成一个连贯的文本的任务。目前用于句子融合的数据集很小,不足以训练现代神经模型。本文提出了一种从原始文本自动生成融合示例的方法,并介绍了DiscoFuse,这是一个用于基于话语的句子融合的大规模数据集。我们提出了一套规则,用于识别原始文本中的各种话语现象,并将文本分解为两个独立的句子。我们将我们的方法应用于两个文档集合:维基百科和体育文章,产生6000万个融合示例,其中注释了重建融合文本所需的话语信息。我们开发了一个序列到序列模型Discobews和彻底分析其优势和劣势方面的各种话语现象,使用自动以及人类的评价。最后,我们使用WebSplit进行了迁移学习实验,WebSplit是一个最近的文本简化数据集。我们发现,当被视为一个句子融合任务时,在Discobserver上的预训练大大提高了WebSplit的性能。
2019-03-18 cs.CL
Making Sense of Korean Sentences: A Comprehensive Evaluation of LLMs through KoSEnd Dataset
Chung-Ang University(Chung-Ang 大学)
本文提出 KoSEnd 韩语句尾数据集,通过 3000 个句子评估 11 个 LLM 对复杂句尾的理解,发现显式提示缺失句尾可提升模型性能。
2025-07-04 cs.CL
Leveraging Sentence Similarity in Natural Language Generation: Improving Beam Search using Range Voting
DeepMind(深度思维);University of Cambridge(剑桥大学)
我们提出了一种自然语言生成的方法,选择最有代表性的输出,而不是最可能的输出。通过从投票理论的角度观察语言生成过程,我们使用范围投票和相似性度量来定义代表性。所提出的方法可以应用于从任何概率语言模型生成时,包括n-gram模型和神经网络模型。我们评估不同的相似性措施的图像描述任务和机器翻译任务,并表明我们的方法生成更长,更多样化的句子,提供了一个解决方案的常见问题的短输出更长,更丰富的信息。生成的句子获得更高的BLEU分数,特别是当波束大小很大时。我们还对这两项任务进行了人工评估,发现使用我们的方法生成的输出评分更高。
2020-05-25 cs.CL
Variational Cross-domain Natural Language Generation for Spoken Dialogue Systems
University of Cambridge(剑桥大学)
跨领域自然语言生成是口语对话建模中的一个难点。给定对话管理器提供的语义表示,语言生成器应该生成传达所需信息的句子。传统的基于模板的生成器可以生成具有所有必要信息的句子,但这些句子的多样性不够。使用基于RNN的模型,生成的句子的多样性可能很高,但是在这个过程中会丢失一些信息。在这项工作中,我们改进了基于RNN的生成器,在生成过程中使用条件变分自编码器架构考虑潜在的信息在句子级别。我们证明了我们的模型优于原来的基于RNN的生成器,同时产生高度多样化的句子。此外,当训练数据有限时,我们的模型表现得更好。
2018-12-20 cs.AI cs.CL
Extending Multi-Text Sentence Fusion Resources via Pyramid Annotations
Computer Science Department, Bar-Ilan University(巴伊兰大学计算机科学系)
比较或整合多个文档中信息的NLP模型在识别文本中大量信息冗余的挑战时往往会遇到困难。例如,在多文档摘要中,识别跨文本的显著信息,然后生成非冗余摘要是至关重要的,同时面对重复的且通常措辞不同的显著内容。为了便于研究这些挑战,提出了\textit{sentence fusion}的任务级别,但以前用于该任务的数据集在大小和范围上非常有限。在本文中,我们重新审视并大大扩展了以前的数据集创建工作。通过仔细修改,重新标记和采用补充数据源,我们能够将早期数据集的大小增加两倍。此外,我们还证明了我们的扩展版本在多文档任务中使用了更具代表性的文本,并提供了更大、更多样化的训练集,这大大改善了模型训练。
2021-10-09 cs.CL
Learning General Purpose Distributed Sentence Representations via Large Scale Multi-task Learning
Montréal Institute for Learning Algorithms (MILA)(蒙特利尔学习算法研究所(MILA));Université de Montréal(蒙特利尔大学);Microsoft Research Montreal(微软研究院蒙特利尔分院);École Polytechnique de Montréal(蒙特利尔综合理工学院)
最近自然语言处理(NLP)的许多成功都是由以无监督方式在大量文本上训练的单词的分布式向量表示驱动的。这些表示通常用作一系列NLP问题中单词的通用功能。然而,将这种成功扩展到学习单词序列(如句子)的表示仍然是一个悬而未决的问题。最近的工作已经探索了无监督以及监督学习技术与不同的训练目标,学习通用的固定长度的句子表示。在这项工作中,我们提出了一个简单,有效的多任务学习框架的句子表示,结合了不同的训练目标在一个单一的模型的归纳偏见。我们在多个数据源上对这个模型进行了训练,这些数据源具有多个训练目标,涉及超过1亿个句子。大量的实验表明,在弱相关的任务中共享单个循环语句编码器会导致比以前的方法一致的改进。我们提出了实质性的改进,在迁移学习和低资源设置的背景下,使用我们学到的通用表示。
2018-03-30 cs.CL
Leveraging Multi-lingual Positive Instances in Contrastive Learning to Improve Sentence Embedding
The University of Tokyo(东京大学)
针对多语言句子嵌入学习,本研究提出MPCL方法,通过利用多个多语言正例的跨语言优势与传递相似性改进对比学习,在多类任务及未见过语言的跨语言迁移上均优于传统单正例对比学习。
2024-01-31 cs.CL
XNLI: Evaluating Cross-lingual Sentence Representations
Facebook AI(Facebook人工智能);New York University(纽约大学)
最先进的自然语言处理系统依赖于注释数据形式的监督来学习合格的模型。这些模型通常在单一语言(通常是英语)的数据上进行训练,并且不能直接使用该语言之外的语言。由于收集每种语言的数据是不现实的,因此人们对跨语言语言理解(XLU)和低资源跨语言迁移的兴趣越来越大。在这项工作中,我们构建了一个XLU的评估集扩展的开发和测试集的多流派自然语言推理语料库(MultiNLI)的15种语言,包括低资源的语言,如斯瓦希里语和乌尔都语。我们希望我们的数据集,被称为XNLI,将通过提供信息丰富的标准评估任务来促进跨语言句子理解的研究。此外,我们还提供了多语言句子理解的几个基线,包括两个基于机器翻译系统的基线,以及两个使用并行数据来训练对齐的多语言词袋和LSTM编码器的基线。我们发现,XNLI代表了一个实用的和具有挑战性的评估套件,并直接翻译的测试数据产生的最佳性能之间可用的基线。
2018-09-13 cs.AI cs.CL cs.LG
SPBERTQA: A Two-Stage Question Answering System Based on Sentence Transformers for Medical Texts
University of Information Technology(信息技术大学);Vietnam National University Ho Chi Minh City(越南胡志明市国家大学)
近年来,问答(QA)系统获得了爆炸性的关注。然而,越南语的QA任务没有太多的数据集。值得注意的是,在医学领域几乎没有数据集。因此,我们建立了一个越南医疗保健问答数据集(ViHealthQA),包括10,015个问答段落对,其中对健康感兴趣的用户在著名的健康网站上提出的问题和高素质专家的答案。本文提出了一种基于句子BERT(SBERT)的两阶段问答系统,该系统使用多个否定排序(MNR)损失并结合BM 25。然后,我们进行了不同的实验与许多袋的话模型,以评估我们的系统的性能。与传统的方法相比,该系统取得了更好的性能。
2022-06-20 cs.CL
What do you learn from context? Probing for sentence structure in contextualized word representations
Google AI Language;Johns Hopkins University(约翰斯·霍普金斯大学);Swarthmore College(斯沃斯莫尔学院);New York University(纽约大学);Brown University(布朗大学)
诸如ELMo(Peters等人,2018 a)和BERT(Devlin等人,2018)最近在一系列下游NLP任务上取得了最先进的成果。基于最近的标记级探测工作,我们引入了一种新的边缘探测任务设计,并从传统的结构化NLP管道中构建了一系列广泛的子句子任务。我们从四个最近的模型中探索词级上下文表示,并研究它们如何在一系列句法,语义,局部和远程现象中编码句子结构。我们发现,在语言建模和翻译上训练的现有模型对句法现象产生了强有力的表示,但在非上下文基线上对语义任务只提供了非常小的改进。
2019-05-15 cs.CL
Neural Generation of Diverse Questions using Answer Focus, Contextual and Linguistic Features
University of California Santa Cruz(加州大学圣克鲁兹分校)
问题生成是从文本输入自动创建问题的任务。在这项工作中,我们提出了一个新的注意编码器-解码器的递归神经网络模型的自动生成问题。我们的模型结合了语言特征和一个额外的句子嵌入来捕获句子和单词级别的含义。语言学特征被设计为捕获与命名实体识别、单词大小写和实体共指消解相关的信息。此外,我们的模型使用复制机制和特殊的答案信号,可以针对给定句子生成许多不同的问题。我们的模型在基准问题生成数据集上实现了19.98 Bleu_4的最新结果,大大优于所有先前发表的结果。人工评估还表明,这些添加的功能提高了生成的问题的质量。
2018-10-05 cs.AI cs.CL cs.LG
Developing an Informal-Formal Persian Corpus
Shahid Beheshti University(沙希德·贝赫什提大学)
本文构建了一个包含5万句对、约53万对齐及近5万词条词典的波斯语非正式-正式平行语料库,以覆盖词汇和句法变化,支撑非正式波斯语处理工具开发。
2023-08-10 cs.CL
Sequential Latent Spaces for Modeling the Intention During Diverse Image Captioning
Georgia Institute of Technology(佐治亚理工学院);University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
多样化和准确的视觉+语言建模是保持创作自由和保持用户参与度的重要目标。然而,在语言模型中充分捕捉多样性的复杂性是具有挑战性的。最近的作品通常诉诸于潜变量模型增强或多或少的监督对象检测器或部分的语音标签。所有这些方法的共同之处在于,潜在变量要么只影响句子生成过程,要么在生成的各个步骤中是相同的。这两种方法都没有提供细粒度的控制。为了解决这个问题,我们提出了Seq-CVAE,它为每个单词位置学习一个潜在空间。我们鼓励这个时间的潜在空间来捕捉“意图”关于如何完成的句子,通过模仿一个代表,总结了未来。我们说明了所提出的方法的有效性,以预测具有挑战性的MSCOCO数据集上的句子延续,显着提高多样性指标相比,基线,同时执行标准的w.r.t句子质量。
2019-08-22 cs.CL cs.CV cs.LG
Thunder-NUBench: A Benchmark for LLMs' Sentence-Level Negation Understanding
Graduate School of Data Science, Seoul National University(首尔国立大学数据科学研究生院);Dept. of Computer Science and Engineering, Seoul National University(首尔国立大学计算机科学与工程系)
本文提出Thunder-NUBench,专门评估大语言模型对句子级否定的理解,通过对比标准否定与结构多样化的替代形式,如局部否定、矛盾和改写,提供全面的评估方法。
2026-01-21 cs.CL
Learning Universal Sentence Representations with Mean-Max Attention Autoencoder
Key Laboratory of Computational Linguistics, Ministry of Education(教育部计算语言学重点实验室);School of Electronics Engineering and Computer Science, Peking University(北京大学信息科学技术学院)
为了学习通用的句子表示,以前的方法集中在复杂的递归神经网络或监督学习。在本文中,我们提出了一个平均最大注意自动编码器(平均最大AAE)的编码器-解码器框架内。我们的自动编码器完全依赖于多头自我注意力机制来重建输入序列。在编码中,我们提出了一个均值-最大值策略,该策略在隐藏向量上应用均值和最大池化操作来捕获输入的各种信息。为了使信息能够动态地引导重建过程,解码器对均值-最大值表示进行关注。通过在大量未标记数据上训练我们的模型,我们获得了高质量的句子表示。在广泛的10个转移任务上的实验结果表明,我们的模型优于最先进的无监督单一方法,包括经典的skip-thoughts和先进的skip-thoughts+LN模型。此外,与传统的递归神经网络相比,我们的平均最大AAE大大减少了训练时间。
2018-09-18 cs.CL