RankCSE: Unsupervised Sentence Representations Learning via Learning to Rank
Peking University(北京大学);Meituan(美团);Meta AI;National Key Laboratory of General Artificial Intelligence(通用人工智能全国重点实验室);BIGAI(北京通用人工智能研究院);Renmin University of China(中国人民大学)
本文提出 RankCSE 方法,将排序一致性与排序蒸馏融入对比学习,以捕捉句子间细粒度排序信息,从而提升无监督句子表示在语义相似度和迁移任务上的性能。
2023-05-26 cs.AI cs.CL
Generating Multiple-Length Summaries via Reinforcement Learning for Unsupervised Sentence Summarization
Pohang University of Science and Technology(浦项科技大学);Microsoft Research Asia(微软亚洲研究院);Korea Advanced Institute of Science and Technology(韩国科学技术院)
句子摘要缩短了给定的文本,同时保持了文本的核心内容。已经研究了无监督的方法来总结没有人类书面摘要的文本。然而,最近的无监督模型是提取的,它从文本中删除单词,因此它们不如抽象摘要灵活。在这项工作中,我们设计了一个抽象模型的基础上强化学习没有地面实况摘要。我们制定的无监督摘要的马尔可夫决策过程的基础上,代表摘要质量的奖励。为了进一步提高摘要质量,我们开发了一种多摘要学习机制,该机制可以为给定的文本生成多个不同长度的摘要,同时使摘要相互增强。实验结果表明,该模型大大优于抽象和提取模型,但经常产生新的单词不包含在输入文本。
2022-12-21 cs.AI cs.CL
ESimCSE: Enhanced Sample Building Method for Contrastive Learning of Unsupervised Sentence Embedding
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Kuaishou Technology(快手科技)
对比学习在无监督句子嵌入的学习中受到了广泛的关注。目前最先进的无监督方法是无监督SimCSE(unsup-SimCSE)。Unsup-SimCSE将dropout作为一种最小的数据增强方法,并将相同的输入语句传递给预先训练好的Transformer编码器(打开dropout)两次,以获得两个相应的嵌入来构建一个正对。由于Transformer中位置嵌入的使用,句子的长度信息通常会被编码到句子嵌入中,因此unsup-SimCSE中的每个正对实际上包含相同的长度信息。因此,用这些正对训练的unsup-SimCSE可能是有偏见的,它倾向于认为相同或相似长度的句子在语义上更相似。通过统计观察,我们发现unsup-SimCSE确实存在这样的问题。为了缓解这种情况,我们应用一个简单的重复操作来修改输入句子,然后将输入句子及其修改后的对应部分分别传递给预先训练好的Transformer编码器,以获得正对。此外,我们从计算机视觉社区中汲取灵感,并引入动量对比,在不进行额外计算的情况下扩大负对的数量。将这两种改进分别应用于正、负两个句子对,构建了一种新的句子嵌入方法--增强型Unsup-SimCSE(ESimCSE)。我们在几个基准数据集上对所提出的ESimCSE进行了语义文本相似性(STS)任务的评估。实验结果表明,ESimCSE优于国家的最先进的unsup-SimCSE的平均斯皮尔曼相关性为2.…
2022-09-12 cs.AI cs.CL
Unsupervised Discrete Sentence Representation Learning for Interpretable Neural Dialog Generation
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
编码器-解码器对话模型是用于在复杂领域中构建对话系统的最突出的方法之一。然而,它是有限的,因为它不能输出可解释的行动,在传统的系统,这阻碍了人类理解其生成过程。我们提出了一个无监督的离散句子表示学习方法,可以与任何现有的编码器-解码器对话模型,可解释的响应生成。在变分自编码器(VAE)的基础上,我们提出了两种新的模型DI-VAE和DI-VST,它们改进了VAE,并且可以通过自动编码或上下文预测来发现可解释的语义。我们的方法已经在真实世界的对话数据集上进行了验证,以发现语义表示并增强具有可解释生成的编码器-解码器模型。
2018-04-22 cs.AI cs.CL
TNCSE: Tensor's Norm Constraints for Unsupervised Contrastive Learning of Sentence Embeddings
School of Computer Science and Technology, University of Chinese Academy of Sciences(中国科学院大学计算机科学与技术学院);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
针对无监督句嵌入只约束表示方向、忽略范数的问题,提出张量范数约束训练目标并结合集成学习构建 TNCSE,在语义文本相似度和零样本任务上取得最优表现。
2025-03-17 cs.AI cs.CL
DebCSE: Rethinking Unsupervised Contrastive Sentence Embedding Learning in the Debiasing Perspective
Sina Weibo(新浪微博);China Literature Limited(阅文集团)
本文提出DebCSE框架,通过逆倾向加权采样方法消除对比句嵌入学习中的多种偏差,在STS基准上以80.33%的Spearman相关系数显著优于现有最先进模型。
2023-09-14 cs.AI cs.CL
Unsupervised Abstractive Opinion Summarization by Generating Sentences with Tree-Structured Topic Guidance
The University of Tokyo(东京大学);RIKEN(理化学研究所);University of Liverpool(利物浦大学)
本文提出了一种新的无监督的摘要方法。虽然基本的变分自编码器为基础的模型假设一个单峰高斯先验的潜在代码的句子,我们交替它与递归高斯混合,其中每个混合成分对应于一个主题句子的潜在代码,并混合由树结构的主题分布。通过解码每个高斯分量,我们生成具有树形结构的主题指导的句子,其中根句子传达通用内容,叶句子描述特定主题。实验结果表明,所生成的主题句适合作为固执己见的文本的摘要,其比最近的无监督摘要模型(Bražinskas等人,2020年)。此外,我们证明了潜在高斯的方差代表了句子的粒度,类似于高斯词嵌入(Vilnis和McCallum,2015)。
2021-06-15 cs.AI cs.CL cs.LG
Unsupervised Sentence Simplification Using Deep Semantics
CNRS, LORIA, UMR 7503(法国国家科学研究中心,洛林计算机科学实验室)
我们提出了一种新的方法,句子简化,从两个主要方面离开以前的工作。首先,它既不需要手写的规则,也不需要对齐的标准和简化句子的训练语料库。第二,句子分裂作用于深层语义结构。我们表明:(i)我们提出的无监督框架与四种最先进的监督系统具有竞争力;(ii)我们基于语义的方法可以有效地处理句子分割。
2016-09-07 cs.CL
Exploring Unsupervised Pretraining and Sentence Structure Modelling for Winograd Schema Challenge
National Engineering Laboratory for Speech and Language Information Processing(语音及语言信息处理国家工程实验室);Queen’s University(女王大学);iFLYTEK Research(科大讯飞研究院);University of Science and Technology of China(中国科学技术大学)
Winograd Schema Challenge(WSC)是一个测试计算机常识表示和推理能力的AI难题。本文介绍了新的国家的最先进的WSC,达到71.1%的准确性。我们证明了领先的性能受益于联合建模句子结构,利用从前沿预训练模型中学到的知识,并进行微调。我们进行了详细的分析,表明微调是实现性能的关键,但它有助于更简单的关联问题。然而,对句子依赖结构进行建模始终有助于WSC的更难的非关联子集。分析还表明,更大的微调数据集产生更好的性能,这表明未来的工作注释更多的Winograd模式句子的潜在好处。
2019-04-22 cs.AI cs.CL
CoT-BERT: Enhancing Unsupervised Sentence Representation through Chain-of-Thought
School of Software, Tsinghua University(清华大学软件学院)
针对无监督句子表示学习的瓶颈与外部组件引入带来的问题,本文提出CoT-BERT,结合思维链推理、新型对比损失与模板去噪策略,仅靠预训练模型内在能力就超越了多种成熟基线。
2024-06-20 cs.AI cs.CL
Improving Sentence Similarity Estimation for Unsupervised Extractive Summarization
The Hong Kong Polytechnic University(香港理工大学);Peking University(北京大学)
无监督抽取式摘要的目的是从文档中抽取显著句子作为摘要,而不需要标注数据。近年来的文献主要研究如何利用句子相似度对句子进行显著性排序。然而,使用预训练的语言模型的句子相似性估计大多考虑文档级信息很少,并且与句子显著性排名的相关性较弱。在本文中,我们提出了两个新的策略,以改善句子相似性估计的无监督提取摘要。我们使用对比学习来优化文档级目标,即来自同一文档的句子比来自不同文档的句子更相似。此外,我们使用相互学习来增强句子相似度估计和句子显著性排名之间的关系,其中使用额外的信号放大器来细化关键信息。实验结果证明了我们的策略的有效性。
2023-02-24 cs.CL
Sentence Meta-Embeddings for Unsupervised Semantic Textual Similarity
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Siemens AG(西门子股份公司)
我们通过将不同的预训练句子编码器集成到句子元嵌入中来解决无监督语义文本相似性(STS)的任务。我们在句子层面应用、扩展和评估了来自词嵌入文献的不同元嵌入方法,包括降维(Yin和Schütze,2016)、广义典型相关分析(Rastogi等人,2015)和交叉视图自动编码器(Bollegala和Bao,2018)。我们的句子元嵌入在STS基准测试和STS 12-STS 16数据集上建立了一个新的无监督的最新技术水平(SoTA),与单源系统相比,Pearson's r的增益在3.7%到6.4%之间。
2020-06-24 cs.CL
BottleSum: Unsupervised and Self-supervised Sentence Summarization using the Information Bottleneck Principle
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
信息瓶颈(Tishby et al. 1999)的原理是产生一个信息X的摘要,以预测其他一些相关信息Y。在本文中,我们提出了一种新的无监督句子摘要方法,通过将信息瓶颈原则映射到条件语言建模目标:给定一个句子,我们的方法寻求一个压缩的句子,可以最好地预测下一个句子。我们的迭代算法下的信息瓶颈目标搜索逐渐较短的连续性给定的句子,同时最大限度地提高下一个句子的概率条件下的摘要。只使用预训练的语言模型,没有直接的监督,我们的方法可以有效地执行提取句子摘要在一个大的语料库。在我们的无监督提取摘要(BottleSumEx)的基础上,我们提出了一种新的自监督抽象摘要方法(BottleSumSelf),其中基于transformer的语言模型在我们的无监督方法的输出摘要上进行训练。实证结果表明,我们的提取方法优于其他无监督模型的多个自动度量。此外,我们发现我们的自监督抽象模型在多个属性上的人类评估优于无监督基线(包括我们自己的)。
2019-09-20 cs.CL
Trans-Encoder: Unsupervised sentence-pair modelling through self- and mutual-distillations
University of Cambridge(剑桥大学);Amazon(亚马逊)
在NLP中,大量的任务涉及两个序列之间的成对比较(例如句子相似性和释义识别)。主要地,两种公式用于双编码对任务:双编码器和交叉编码器。双编码器产生固定维度的句子表示,并且计算效率高,但是,它们通常不如交叉编码器。交叉编码器可以利用他们的注意力头来利用句子间的交互来获得更好的性能,但它们需要任务微调,并且计算成本更高。在本文中,我们提出了一个完全无监督的句子表示模型,称为Trans-Encoder,它将两种学习范式结合到一个迭代的联合框架中,同时学习增强的双向和交叉编码器。具体来说,在预训练的语言模型(PLM)之上,我们首先将其转换为无监督的双向编码器,然后在双向和交叉编码器任务公式之间交替。在每个交替中,一个任务制定将产生伪标签,其用作另一任务制定的学习信号。然后,我们提出了一个扩展,进行这种自蒸馏的方法在多个PLM并行,并使用其伪标签的平均相互蒸馏。据我们所知,Trans-Encoder创建了第一个完全无监督的交叉编码器,也是最先进的无监督双编码器,用于句子相似性。Trans-Encoder的双向编码器和交叉编码器公式在句子相似度基准上都优于最近提出的最先进的无监督句子编码器,如BERN-BERT和SimCSE,最高可达5%。
2022-03-13 cs.AI cs.CL cs.LG
Efficient Unsupervised Sentence Compression by Fine-tuning Transformers with Reinforcement Learning
Aylien Ltd.(Aylien有限公司);Insight Centre for Data Analytics, University College Dublin(都柏林大学洞察数据分析中心)
句子压缩通过删除不必要的内容来减少文本的长度,同时保留重要的事实和语法。用于句子压缩的无监督目标驱动方法可以用于创建定制模型,而不需要地面实况训练数据,同时允许用于学习和推理的目标函数的灵活性。最近的无监督句子压缩方法使用自定义目标来指导离散搜索,然而,引导搜索在推理时是昂贵的。在这项工作中,我们探索使用强化学习来训练有效的句子压缩模型,这些模型在生成预测时也很快。特别是,我们将任务转换为二进制序列标记,并使用简单的策略梯度方法微调预训练的Transformer。我们的方法优于其他无监督模型,同时在推理时也更有效。
2022-05-17 cs.CL
Unsupervised Extractive Summarization by Pre-training Hierarchical Transformers
Microsoft Research Asia(微软亚洲研究院);Shanghai Qi Zhi institute(上海期智研究院)
无监督提取文档摘要旨在从文档中选择重要句子,而无需在训练期间使用标记摘要。现有的方法大多是基于图的句子作为节点和句子的相似性衡量的边的权重。在这项工作中,我们发现,Transformer注意力可以用来排名句子的无监督提取摘要。具体来说,我们首先只使用未标记的文档来预训练分层Transformer模型。然后,我们提出了一种方法来排名的句子,使用双水平的自我注意力和预训练目标。在CNN/DailyMail和New York Times数据集上的实验表明,该模型在无监督摘要方面具有最先进的性能。我们还发现,在实验中,我们的模型是依赖于句子位置。当使用我们的模型和最近的无监督模型显式建模句子位置的线性组合时,我们获得了更好的结果。
2020-10-16 cs.CL
PCL: Peer-Contrastive Learning with Diverse Augmentations for Unsupervised Sentence Embeddings
The University of Tokyo(东京大学);Microsoft Corporation(微软公司)
在自然语言处理中,以无监督的方式学习句子嵌入是基本的。最近的常见做法是将预训练的语言模型与无监督的对比学习相结合,其成功依赖于用语义上接近的正实例来增强句子以构建对比对。然而,现有的方法通常依赖于一个单一的增强策略,这导致学习捷径的增强偏见,从而损坏的句子嵌入的质量。一个简单的解决方案是从多增强策略中诉诸更多样化的积极因素,而一个悬而未决的问题仍然是如何在无监督的情况下从不同的积极因素中学习,但在文本字段中具有不均匀的增强质量。作为一个答案,我们提出了一种新的同行对比学习(PCL)与不同的增强。PCL在群体水平上为无监督的句子嵌入构建了不同的对比肯定和否定。PCL执行对等积极对比以及对等网络合作,这提供了固有的抗偏见能力和从不同增强中学习的有效方法。STS基准测试的实验验证了PCL在无监督句子嵌入中的有效性。
2022-10-19 cs.CL
Ranking-Enhanced Unsupervised Sentence Representation Learning
KAIST(韩国科学技术院);Amazon(亚马逊);Zhejiang Univeristy(浙江大学)
提出无监督句子编码器 RankEncoder,利用输入句子与外部语料库最近邻句子的关系预测语义向量,在基准数据集上达到 80.07% Spearman 相关系数,较 SOTA 绝对提升 1.1%,且普遍适用于现有方法。
2023-05-18 cs.CL
Unsupervised Candidate Ranking for Lexical Substitution via Holistic Sentence Semantics
University of Science and Technology of China(中国科学技术大学)
针对词汇替换候选词排序中难以建模双向影响的问题,提出基于注意力权重和积分梯度的无监督方法,结合语义相似度有效提升了排序性能。
2026-11-13 cs.AI cs.CL
Unsupervised Sentence Simplification via Dependency Parsing
Monash University(莫纳什大学)
文本简化是重写文本的任务,使其可读性和易于理解。在本文中,我们提出了一个简单而新颖的无监督句子简化系统,利用解析结构与句子嵌入产生语言有效的简化。这意味着我们的模型能够引入实质性的修改来简化句子,同时保持其原始语义和足够的流畅性。我们在TurkCorpus集上建立了39.13 SARI的无监督最先进水平,并在各种质量指标上与监督基线进行了竞争。此外,我们证明了我们的框架的可扩展性,其他语言通过越南数据的概念验证。复制代码发布在\url{https://github.com/isVy08/USDP}上。
2022-06-10 cs.CL
WhiteningBERT: An Easy Unsupervised Sentence Embedding Approach
Beihang University(北京航空航天大学);Microsoft Research Asia(微软亚洲研究院);Sun Yat-sen University(中山大学);Peking University(北京大学);Microsoft STC Asia(微软亚太研发集团)
以无监督的方式产生句子的嵌入对于自然语言匹配和检索问题在实践中是有价值的。在这项工作中,我们对基于预训练模型的无监督句子嵌入进行了彻底的检查。我们研究了四个预训练模型,并在七个关于句子语义的数据集上进行了大量实验。我们有主要的发现。首先,平均所有令牌比只使用[CLS]向量更好。第二,将顶层和底层结合起来比只使用顶层要好。最后,一个简单的基于白化的向量归一化策略,不到10行代码,始终提高了性能。
2021-04-09 cs.CL
Discrete Optimization for Unsupervised Sentence Summarization with Word-Level Extraction
Heidelberg University(海德堡大学);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));University of Waterloo(滑铁卢大学)
自动句子摘要生成句子的较短版本,同时保留其最重要的信息。一个好的摘要的特点是语言流畅,与源句的信息重叠度高。我们在一个无监督的目标函数,包括语言建模和语义相似性度量这两个方面的模型。我们通过离散优化来寻找高分摘要。我们提出的方法实现了一个新的国家的最先进的无监督句子摘要根据ROUGE分数。此外,我们证明,通常报告的ROUGE F1度量是敏感的摘要长度。由于这是不情愿地利用在最近的工作中,我们强调,未来的评估应明确分组摘要系统的输出长度括号。
2020-05-04 cs.CL
Unsupervised Abstractive Sentence Summarization using Length Controlled Variational Autoencoder
Institute for Computational Linguistics(计算语言学研究所);Heidelberg University(海德堡大学)
在这项工作中,我们提出了一个无监督的方法来摘要的句子抽象的方式使用变分自编码器(VAE)。已知VAE学习表示高维输入的语义丰富的潜在变量。VAE通过学习从概率潜在变量重建输入来训练。在训练过程中显式地提供关于输出长度的信息会影响VAE不对该信息进行编码,从而可以在推理过程中进行操纵。指示解码器产生更短的输出序列导致用更少的单词表达输入句子。我们在不同的摘要数据集上显示,这些较短的句子不能击败一个简单的基线,但产生更高的ROUGE分数比试图重建整个句子。
2018-09-21 cs.CL
Unsupervised Online Multitask Learning of Behavioral Sentence Embeddings
无监督学习已经成为一种很有吸引力的方法,可以从大量的未标记数据中轻松获得有意义的数据表示。这些表示或嵌入通常在许多任务中产生优异的结果,无论是直接使用还是作为后续训练阶段的特征。然而,嵌入的质量高度依赖于未标记数据中的假设知识以及系统如何在没有监督的情况下提取信息。领域可移植性在无监督学习中也非常有限,通常需要在其他领域内语料库上重新训练以实现鲁棒性。在这项工作中,我们提出了一个多任务范式的无监督上下文学习的行为互动,解决无监督域适应。我们将在线多任务目标引入到无监督学习中,并表明通过此过程生成的句子嵌入提高了情感任务的性能。
2018-11-01 cs.CL
ReSCo-CC: Unsupervised Identification of Key Disinformation Sentences
NIT Durgapur(杜尔加布尔国家理工学院);Queen’s University Belfast(贝尔法斯特女王大学)
虚假信息经常出现在长篇文本文章中,特别是当它涉及到健康等领域时,通常与COVID-19有关。这些文章通常被观察到有一些值得信赖的句子,其中分散着核心的虚假信息句子。在本文中,我们提出了一种新的无监督的任务,识别句子中包含关键的虚假信息的文件是不可信的。我们为任务设计了一个三阶段的统计NLP解决方案,首先将句子嵌入到为任务设计的定制特征空间中。然后,使用这些特征表示的句子被聚类,然后通过接近度评分来识别关键句子。我们还策划了一个新的数据集,其中包含句子级别的虚假信息评分,以帮助评估这项任务;该数据集将公开提供,以促进进一步的研究。基于对相关任务(如索赔检测和摘要)的技术以及我们所提出的方法的简化变体的全面实证评估,我们说明了我们的方法能够有效地识别核心虚假信息。
2020-10-21 cs.AI cs.CL cs.LG
Iterative Edit-Based Unsupervised Sentence Simplification
University of Waterloo(滑铁卢大学);University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii))
我们提出了一种新的迭代,基于编辑的方法来无监督的句子简化。我们的模型是由一个评分功能,涉及流畅性,简单性和意义的保存。然后,我们迭代地对复杂句子执行单词和短语级别的编辑。与以前的方法相比,我们的模型不需要一个并行的训练集,但更可控和解释。在Newsela和WikiLarge数据集上的实验表明,我们的方法几乎与最先进的监督方法一样有效。
2020-06-17 cs.CL
Quick and (not so) Dirty: Unsupervised Selection of Justification Sentences for Multi-hop Question Answering
University of Arizona(亚利桑那大学)
我们提出了一个无监督的策略,选择多跳问答(QA)的理由句子,(a)最大限度地提高所选句子的相关性,(b)最大限度地减少所选事实之间的重叠,(c)最大限度地提高问题和答案的覆盖范围。这种无监督的句子选择方法可以与任何有监督的QA方法相结合。我们表明,通过我们的方法选择的句子提高了两个多跳QA数据集上最先进的监督QA模型的性能:AI2的推理挑战(ARC)和多句阅读理解(MultiRC)。在不使用外部资源训练QA系统的方法中,我们在两个数据集上都获得了最新的性能:ARC上的F1为56.82%(Challenge为41.24%,Easy为64.49%),MultiRC上的EM0为26.1%。我们的理由句子比通过强信息检索基线选择的理由具有更高的质量,例如,5.4%的F1在MultiRC中。我们还表明,我们的无监督选择的理由句子是更稳定的跨域比一个国家的最先进的监督句子选择方法。
2020-05-03 cs.CL
Evaluating Unsupervised Dimensionality Reduction Methods for Pretrained Sentence Embeddings
University of Liverpool(利物浦大学)
针对预训练语言模型句子嵌入高维性在资源受限设备上的问题,评估无监督降维方法,发现PCA等能降低近50%维度且不损失性能,甚至部分任务中进一步提升表现。
2024-03-20 cs.CL
GRS: Combining Generation and Revision in Unsupervised Sentence Simplification
University of Waterloo(滑铁卢大学);Grammarly(Grammarly(格拉默利))
我们提出了GRS:一种结合文本生成和文本修改的无监督句子简化方法。我们从一个迭代框架开始,在这个框架中,使用显式编辑操作来修改输入句子,并添加释义作为新的编辑操作。这使我们能够结合生成和基于修改的方法的优点:释义捕获复杂的编辑操作,并以迭代方式使用显式编辑操作提供可控性和可解释性。与Newsela和ASSET数据集上的现有方法相比,我们证明了GRS的这些优势。
2022-03-22 cs.CL
Unsupervised Sentence Compression using Denoising Auto-Encoders
Center for Data Science(数据科学中心);New York University(纽约大学)
在句子压缩中,缩短句子同时保留原始含义的任务,模型倾向于在包含冗长和压缩句子对的大型语料库上进行训练。为了消除对成对语料库的需求,我们模拟了一个摘要任务,并添加噪声来扩展句子,训练一个去噪自动编码器来恢复原始句子,构建了一个端到端的训练机制,而不需要任何压缩句子的例子。我们在标准文本摘要数据集上对我们的模型进行了人工评估,并表明它基于语法正确性和保留意义来执行监督基线。尽管没有目标数据,但我们的无监督模型学习生成不完美但可读的句子摘要。虽然我们基于ROUGE分数的监督模型表现不佳,但我们的模型与基于人类评估的监督基线相比,在语法正确性和保留意义方面具有竞争力。
2018-09-07 cs.CL
Unsupervised Multilingual Sentence Embeddings for Parallel Corpus Mining
Charles University(查理大学);University of the Basque Country(巴斯克大学)
现有的多语言句子嵌入模型需要大量的并行数据资源,这对于低资源语言是不可用的。我们提出了一种新的无监督的方法来获得多语言句子嵌入只依赖于单语数据。我们首先使用无监督机器翻译生成一个合成的平行语料库,并使用它来微调预训练的跨语言掩蔽语言模型(XLM),以获得多语言句子表示。在两个并行的语料库挖掘任务上评估了表示的质量,与vanilla XLM相比提高了22个F1点。此外,我们观察到,一个单一的合成双语语料库是能够提高其他语言对的结果。
2021-05-21 cs.CL
Unsupervised Attention-based Sentence-Level Meta-Embeddings from Contextualised Language Models
University of Liverpool(利物浦大学);Amazon(亚马逊)
在NLP社区中已经提出了各种上下文化的语言模型,这些模型在不同的语料库上训练以产生许多神经语言模型(NLM)。然而,不同的NLM在用作文本表示时在下游NLP应用中报告了不同水平的性能。我们提出了一种元嵌入学习方法,该方法采用独立训练的上下文化词嵌入模型,并学习保留输入源NLM互补优势的句子嵌入。我们提出的方法是无监督的,并且不与特定的下游任务绑定,这使得学习的元嵌入原则上适用于需要句子表示的不同任务。具体来说,我们首先投影由各个NLM获得的令牌级嵌入,并学习指示源嵌入对其令牌级元嵌入的贡献的注意力权重。接下来,我们应用均值池和最大池来从令牌级元嵌入生成令牌级元嵌入。在语义文本相似度基准测试上的实验结果表明,我们提出的无监督文本级元嵌入方法优于先前提出的文本级元嵌入方法以及有监督的基线。
2022-04-16 cs.CL
Smoothed Contrastive Learning for Unsupervised Sentence Embedding
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Kuaishou Technology(快手科技)
对比学习已经逐渐被应用于学习高质量的无监督句子嵌入。在以前的无监督方法中,据我们所知,最新的最先进的方法是无监督SimCSE(unsup-SimCSE)。Unsup-SimCSE在训练阶段使用InfoNCE 1 loss函数,将语义相似的句子拉在一起,将不相似的句子推开。理论上,我们希望在unsup-SimCSE中使用更大的批次,以获得更充分的样本比较,并避免过拟合。但是,增加批大小并不总是带来改进,相反,当批大小超过阈值时,甚至会导致性能下降。通过统计观察,我们发现这可能是由于增加批量后引入了低置信度的负对。为了解决这个问题,本文在InfoNCE损失函数的基础上引入了一种简单的平滑策略,称为高斯平滑InfoNCE(GS-InfoNCE),即在InfoNCE中加入随机高斯噪声向量作为负样本,作为负样本空间的平滑,这种平滑策略虽然简单,但对非超SimCSE有很大的改善.我们评估GS-InfoNCE的标准语义文本相似性(STS)的任务。基于BERT-base、BERT-large、RoBERTa-base和RoBERTa-large的GS-InfoNCE的平均Spear-man相关性分别为1.38%、0.72%、1.17%和0.28%,优于最先进的unsup-SimCSE。
2022-09-12 cs.AI cs.CL
SEQ^3: Differentiable Sequence-to-Sequence-to-Sequence Autoencoder for Unsupervised Abstractive Sentence Compression
National Technical University of Athens(雅典国立技术大学);Athens University of Economics and Business(雅典经济与商业大学);Heriot-Watt University(赫瑞-瓦特大学)
神经序列到序列模型是目前在几个自然语言处理任务中占主导地位的方法,但需要大型并行语料库。我们提出了一个序列到序列到序列的自动编码器(SEQ ^3),由两个链式编码器-解码器对组成,单词用作离散潜在变量的序列。我们将该模型应用于无监督抽象句压缩,其中第一个和最后一个序列分别是输入和重构的句子,而中间序列是压缩的句子。限制潜在单词序列的长度迫使模型从输入中提取重要信息。预先训练的语言模型作为潜在序列的先验,鼓励压缩的句子是人类可读的。连续松弛使我们能够从分类分布中采样,允许基于梯度的优化,而不像依赖于强化学习的替代方案。该模型不需要并行的文本摘要对,在基准数据集上的无监督句子压缩中取得了令人满意的结果。
2019-06-09 cs.CL
Unsupervised Sentence-embeddings by Manifold Approximation and Projection
Prosus N.V.(Prosus公司)
无监督通用句子编码器的概念最近获得了关注,其中预训练的模型为短语,句子和段落生成有效的任务不可知的固定维度表示。此类方法的复杂性各不相同,从简单的词向量加权平均值到基于双向Transformers的复杂语言模型。在这项工作中,我们提出了一种新的技术,以生成无监督的方式通过投影到一个固定维流形的句子,以保持在原始空间中的局部邻域的目标嵌入。为了描绘这样的邻居,我们实验了几个设置距离度量,包括最近提出的字移动器的距离,而固定维的投影是通过采用一个可扩展的和高效的流形近似方法植根于拓扑数据分析。我们测试我们的方法,我们长期EMAP或嵌入流形近似和投影,在六个公开的文本分类数据集的大小和复杂性不同。实证结果表明,我们的方法始终执行类似或优于几个替代国家的最先进的方法。
2021-02-07 cs.CL
Learning Multilingual Sentence Representations with Cross-lingual Consistency Regularization
Baidu Inc.(百度公司)
本研究提出支持220余种语言的通用多语言句子表示模型MuSR,结合CrossConST跨语言一致性正则化技术训练模型,在多语言相似度搜索和双语文本挖掘任务上性能优于由148个独立编码器构成的LASER3。
2023-06-12 cs.AI cs.CL
UNSEE: Unsupervised Non-contrastive Sentence Embeddings
Koç University(科克大学)
针对非对比目标下的句子表征崩塌问题,研究提出带目标网络的UNSEE无监督非对比式句子嵌入方法,经微调优化在Massive Text Embedding基准上超越SimCSE,达非对比句子嵌入最优性能。
2024-02-02 cs.CL
Contrastive Learning with Prompt-derived Virtual Semantic Prototypes for Unsupervised Sentence Embedding
Tencent Cloud Xiaowei(腾讯云小微);Westlake University(西湖大学)
对比学习已经成为无监督句子嵌入的一种新的范式。以往的研究集中在实例方面的对比学习,试图构建积极的对文本数据增强。本文提出了一种新的基于虚拟语义原型的对比学习方法。具体而言,我们借助提示语,为每个实例构造虚拟语义原型,并利用提示语的否定形式推导出否定原型。利用原型对比损失,我们使锚句子嵌入靠近其对应的语义原型,远离否定原型以及其他句子的原型。语义文本相似性,转移和聚类任务的大量实验结果表明,我们提出的模型相比,强大的基线的有效性。代码可在https://github.com/lemon0830/promptCSE上获得。
2022-12-11 cs.CL
Template-Based Question Generation from Retrieved Sentences for Improved Unsupervised Question Answering
Yale University(耶鲁大学);AWS AI Labs(AWS AI实验室)
随着在线可用信息量的增加以及对快速访问这些内容的需求的增长,对问答(QA)的需求也在增加。QA的一种常见方法是在特定于任务的标记数据集上微调预训练的语言模型。然而,这种模式依赖于稀缺的、昂贵的、大规模的人类标记数据。我们提出了一种无监督的方法来训练QA模型生成的伪训练数据。我们表明,通过在相关的检索句子而不是原始上下文句子上应用简单的模板来生成QA训练问题,可以通过允许模型学习更复杂的上下文-问题关系来提高下游QA性能。在这些数据上训练QA模型,SQuAD数据集上的F1得分比以前的无监督模型相对提高了约14%,当答案是命名实体时,提高了20%,在SQuAD上实现了最先进的无监督QA性能。
2020-04-24 cs.CL
MUSS: Multilingual Unsupervised Sentence Simplification by Mining Paraphrases
Facebook AI Research(Facebook AI研究院);Inria(法国国家信息与自动化研究所);LORIA(洛林计算机科学实验室)
句子简化的进展一直受到缺乏标记的并行简化数据的阻碍,特别是在英语以外的语言中。我们介绍MUSS,一个多语言无监督句子简化系统,不需要标记的简化数据。MUSS使用了一种新的句子简化方法,该方法使用句子级别的释义数据而不是适当的简化数据来训练强大的模型。这些模型利用无监督预训练和可控生成机制,在推理时灵活调整长度和词汇复杂度等属性。我们进一步提出了一种方法来挖掘这样的释义数据,在任何语言的公共爬行使用语义句子嵌入,从而消除了对标记数据的需要。我们在英语,法语和西班牙语的简化基准上评估了我们的方法,并与之前的最佳监督结果密切匹配或优于之前的最佳监督结果,尽管没有使用任何标记的简化数据。我们通过合并标记的简化数据进一步推动了最先进的技术。
2021-04-16 cs.CL cs.LG
Testing the limits of unsupervised learning for semantic similarity
Paralleldots, Inc.(Paralleldots 公司)
两个句子之间的语义相似度可以被定义为确定两个句子之间的相关或不相关程度的一种方法。语义相似度在分布式表示方面的任务可以被认为是生成句子嵌入(密集向量),其中考虑了句子的上下文和含义。这种嵌入可以通过多种方法产生,在本文中,我们尝试评估LSTM自动编码器来生成这些嵌入。无监督算法(具体来说是自动编码器)只是试图重新创建它们的输入,但它们可以通过创建适当的瓶颈来被迫学习顺序(以及某种程度上的内在含义)。我们试图评估仅仅在简单的英语句子上训练的算法如何正确地学习计算语义相似性,而不给它们任何句子的含义。
2017-10-23 cs.CL
Discourse-Based Objectives for Fast Unsupervised Sentence Representation Learning
New York University(纽约大学)
本文提出了一种新的目标函数,用于神经网络句子编码器的无监督训练。它利用段落级语篇连贯的信号来训练这些模型理解文本。我们的目标是纯粹的歧视,使我们能够训练模型比以前的方法快很多倍,它产生的模型,表现良好的外部评估。
2017-04-23 cs.CL cs.LG cs.NE
SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples
National University of Defense Technology(国防科技大学);SenseTime(商汤科技);The University of Hong Kong(香港大学)
无监督句子嵌入的目的是为句子获得最合适的嵌入,以反映其语义。对比学习正受到越来越多的关注。对于一个句子,当前的模型利用不同的数据增强方法来生成正样本,而将其他独立的句子视为负样本。然后,他们采用InfoNCE损失来拉动聚集的正对的嵌入,并推动分散的负对的嵌入。虽然这些模型在句子嵌入方面取得了很大的进展,但我们认为它们可能受到特征抑制。这些模型不能区分和解耦文本相似性和语义相似性。而且,他们可能高估任何具有相似文本的对的语义相似性,而不管它们之间的实际语义差异。这是因为无监督对比学习中的正对通过数据增强来获得相似甚至相同的文本。为了减轻特征抑制,我们提出了对比学习的无监督句子嵌入与软负样本(SNCSE)。软否定样本与原始样本具有高度相似的文本,但具有明显不同的语义。具体地说,我们将原句的否定作为软否定样本,提出双向边际损失(BML)将其引入传统的对比学习框架,只涉及正样本和负样本。实验结果表明,SNCSE在语义文本相似性(STS)任务上的平均Spearman相关系数在BERTbase上为78.97%,在RoBERTbase上为79.23%。此外,我们还采用基于秩的误差分析方法来发现SNCSE的不足之处,为后续的研究提供参考。
2022-03-02 cs.CL
Unsupervised Extractive Summarization using Pointwise Mutual Information
New York University(纽约大学)
提取摘要的无监督方法通常依赖于由句子和文档之间的语义相似性定义的句子重要性的概念。我们提出了新的度量相关性和冗余使用逐点互信息(PMI)之间的句子,这可以很容易地计算出一个预先训练的语言模型。直觉上,一个相关的句子允许读者推断文档内容(高PMI的文档),而一个冗余的句子可以从摘要中推断出来(高PMI的摘要)。然后,我们开发了一个贪婪的句子选择算法,以最大限度地提高相关性和最小化冗余提取的句子。我们表明,我们的方法优于基于相似性的方法在一系列领域的数据集,包括新闻,医学期刊文章和个人轶事。
2021-03-22 cs.CL cs.LG
Unsupervised Parsing by Searching for Frequent Word Sequences among Sentences with Equivalent Predicate-Argument Structures
The University of Tokyo(东京大学);Imperial College London(伦敦帝国学院);The University of Liverpool(利物浦大学)
本文提出基于频率的无监督成分句法解析器span-overlap,利用PAS等价句子集合中成分对应频繁词序列的特性,通过最大化span-overlap分数识别成分结构,在十种语言中的八种上达到最先进水平,并发现参与者成分与事件成分之间的统计差异。
2024-08-12 cs.CL
Self-Adaptive Reconstruction with Contrastive Learning for Unsupervised Sentence Embeddings
South China University of Technology(华南理工大学);School of Computer Science and Engineering(计算机科学与工程学院)
针对预训练语言模型词元偏置导致无监督句嵌入细粒度语义丢失的问题,提出SARCSE框架,通过自编码器重构全部词元并引入自适应重构损失,在7个STS任务上显著优于SimCSE。
2024-02-23 cs.CL cs.LG
Unsupervised Sentence Textual Similarity with Compositional Phrase Semantics
HKUST(香港科技大学);Tsinghua University(清华大学)
句子文本相似性度量(STS)是一个经典的任务,可以应用于许多下游NLP应用,如文本生成和检索。在本文中,我们专注于无监督STS工作在不同的领域,但只需要最少的数据和计算资源。在理论上,我们提出了一个轻加权的期望校正(EC)制定STS计算。EC公式化统一了无监督STS方法,包括附加成分(AC)句子嵌入,最优传输(OT)和树核(TK)的余弦相似性。此外,我们提出了递归最优传输相似度(ROTS)算法来捕捉组成短语的语义组成多个递归EC配方。ROTS在线性时间内完成,比它的前辈更快。ROTS在经验上比以前的方法更有效和可扩展。在各种设置下的29个STS任务上的广泛实验表明,ROTS比现有的方法具有明显的优势。详细的消融研究证明了我们方法的有效性。
2022-10-05 cs.CL
Spatial Concept Acquisition for a Mobile Robot that Integrates Self-Localization and Unsupervised Word Discovery from Spoken Sentences
Ritsumeikan University(立命馆大学);National Institute of Informatics(国立信息学研究所);The Graduate University for Advanced Studies(综合研究大学院大学)
在本文中,我们提出了一种新的无监督学习方法的词汇收购的机器人访问的地方,从人类连续语音信号。我们解决的问题,学习新的单词的机器人,除了一个原始的声学模型,这些话没有先验知识。此外,我们提出了一种方法,允许机器人有效地使用学习的单词及其含义的自我定位任务。该方法是一种非参数贝叶斯空间概念获取方法(SpCoA),该方法通过与空间概念相关的潜变量,将自定位生成模型和无监督分词方法相结合。我们实现了所提出的方法SpCoA上SIGVerse,这是一个仿真环境,和TurtleBot2,这是一个移动机器人在真实的环境。此外,我们进行了用于评估SpCoA性能的实验。实验结果表明,SpCoA使机器人能够从语音句子中获取地名。他们还表明,机器人可以有效地利用获得的空间概念,减少自我定位的不确定性。
2016-05-07 cs.AI cs.CL cs.RO
Unsupervised Sentence Representations as Word Information Series: Revisiting TF--IDF
Universidad Nacional Autónoma de México (UNAM)(墨西哥国立自治大学);Centro de ciencias genómicas (CCG–UNAM)(基因组科学中心(墨西哥国立自治大学));Instituto de ingeniería (IIngen–UNAM)(工程研究所(墨西哥国立自治大学));Laboratoire Informatique d’Avignon (LIA–UAPV)(阿维尼翁计算机科学实验室(阿维尼翁大学));Centro de investigación en computación (CIC–IPN)(计算机研究中心(国立理工学院))
语义层次的句子表示是自然语言处理和人工智能的一个具有挑战性的任务。尽管在词嵌入(即词向量表示)方面取得了进展,但由于词之间语义交互的复杂性,捕获句子含义仍然是一个悬而未决的问题。在本文中,我们提出了一种嵌入方法,这是针对学习无监督的句子表示从未标记的文本。我们提出了一种无监督的方法,模型的一个句子作为一个加权系列的词嵌入。词嵌入的权重是通过使用由词频-逆文档频率(TF--IDF)变换提供的Shannon词熵来拟合的。模型的超参数可以根据数据的属性(例如句子长度和文本性别)进行选择。超参数选择涉及词嵌入方法和维度,以及加权模式。我们的方法提供了优于现有方法的优势:可识别模块,短期培训,(看不见的)句子表示的在线推理,以及独立于领域,外部知识和语言资源。结果表明,我们的模型在著名的语义文本相似性(STS)基准测试中的表现优于现有技术。此外,我们的模型达到了最先进的性能相比,监督和基于知识的STS系统。
2017-10-20 cs.CL
An Unsupervised Sentence Embedding Method by Mutual Information Maximization
Singapore University of Technology and Design(新加坡科技设计大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);ZJU-UIUC Institue(浙江大学-伊利诺伊大学厄巴纳-香槟分校联合学院)
BERT对于聚类或语义搜索等句子对任务效率低下,因为它需要组合地评估许多句子对,这非常耗时。Sentence BERT(SBERT)试图通过学习单个句子的语义有意义的表示来解决这一挑战,从而可以轻松地进行相似性比较。然而,SBERT是在具有高质量标记句子对的语料库上训练的,这限制了其在标记数据极其稀缺的任务中的应用。在本文中,我们提出了一个轻量级的扩展上的BERT和一个新的自监督学习目标的基础上互信息最大化策略,以获得有意义的句子嵌入在无监督的方式。与SBERT不同,我们的方法不受标记数据可用性的限制,因此它可以应用于不同领域的特定语料库。实验结果表明,该方法在普通语义文本相似度(STS)任务和下游有监督任务上的性能明显优于其他无监督的句子嵌入基线。它还优于SBERT在设置中,在域标记的数据是不可用的,并实现性能与监督方法在各种任务上的竞争。
2021-02-05 cs.CL cs.LG
Contextual Networks and Unsupervised Ranking of Sentences
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
我们构建了一个上下文网络来表示一个文档的语法和语义之间的关系的单词-句子对,在此基础上,我们设计了一个无监督的算法称为CNATAR(上下文网络和文本分析排名)的句子评分,并通过一个双目标0-1背包最大化问题的主题分析和句子分数的排名。我们表明,CNATAR优于在ROUGE和BLEU指标下SummBank数据集上提供的三位人类法官的综合排名,这在术语上显著优于每个法官的排名。此外,CNATAR产生了迄今为止最高的ROUGE分数超过DUC-02,并优于以前的监督算法上的CNN/DailyMail和纽约时报数据集。我们还比较了CNATAR和最新的监督神经网络摘要模型的性能,并计算了预言结果。
2022-03-09 cs.CL cs.LG
An Unsupervised Method for Building Sentence Simplification Corpora in Multiple Languages
Yangzhou University(扬州大学)
并行句子简化(SS)的可用性是稀缺的神经SS建模。我们提出了一种无监督的方法来建立SS语料库从大规模的双语翻译语料库,减轻需要SS监督语料库。我们的方法的动机是以下两个发现:神经机器翻译模型通常倾向于生成更多的高频令牌和文本复杂度水平的差异存在于源语言和目标语言的翻译语料库。通过将翻译语料库中的源语句和其参考文献的译文对用一种桥语言进行翻译,可以构造出大规模的伪并行SS数据。然后,我们保持这些句子对具有较高的复杂度差异作为SS句子对。采用无监督的方法建立的SS语料库可以满足对齐后的句子保持相同的意义和具有不同的文本复杂度的期望。实验结果表明,我们的语料库训练的SS方法达到了最先进的结果,并显着优于英文基准WikiLarge的结果。
2021-09-01 cs.CL cs.IR
Exploiting Invertible Decoders for Unsupervised Sentence Representation Learning
UC San Diego(加州大学圣地亚哥分校)
用于无监督句子表示学习的编码器-解码器模型在大型未标记语料库上训练之后倾向于丢弃解码器,因为仅需要编码器将输入句子映射到向量表示。然而,在解码器中学习的参数也包含关于语言的有用信息。为了利用学习后的解码器,我们提出了两种类型的解码功能,其逆可以很容易地得出,而无需昂贵的逆计算。因此,解码函数的逆函数充当产生句子表示的另一个编码器。我们表明,精心设计的解码功能,该模型学习良好的句子表示,和合奏的表示产生的编码器和逆解码器表现出更好的泛化能力和坚实的可转移性。
2019-05-31 cs.CL cs.LG cs.NE
Extending Multi-Sense Word Embedding to Phrases and Sentences for Unsupervised Semantic Applications
CICS, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院)
大多数无监督NLP模型用语义空间中的单个点或单个区域表示每个词,而现有的多意义词嵌入不能表示更长的词序列,如短语或句子。我们提出了一种新的嵌入方法的文本序列(短语或句子),其中每个序列是由一组不同的多模式码本嵌入,以捕捉其含义的不同语义方面。码本嵌入可以被视为聚类中心,其总结了在预训练的词嵌入空间中可能共现的词的分布。我们引入了一个端到端的可训练神经模型,该模型在测试期间直接从输入文本序列预测聚类中心集。我们的实验表明,每句码本嵌入显着提高性能,在无监督的句子相似度和提取摘要基准。在短语相似性实验中,我们发现,多方面的嵌入提供了一个可解释的语义表示,但不优于单方面的基线。
2021-12-29 cs.CL cs.LG