PR2: A Language Independent Unsupervised Tool for Personality Recognition from Text
University of Trento(特伦托大学);University of Essex(埃塞克斯大学)
我们提出了PR2,一个在线可用的个性识别系统,它使用独立于语言的特征,从非结构化文本中对Big5个性类型进行基于实例的分类。它已经在英语和意大利语上进行了测试,性能达到f= 0.68。
2014-02-12 cs.CL
Towards Unsupervised Automatic Speech Recognition Trained by Unaligned Speech and Text only
National Taiwan University(国立台湾大学)
自动语音识别(ASR)已被广泛研究,但许多低资源语言缺乏音频-文本对齐数据,无法使用监督方法。在这项工作中,我们提出了一个框架,以实现无监督的ASR阅读英语语音数据集,其中音频和文本是不对齐的。在第一阶段中,话语中的每个单词级音频段由序列自动编码器提取的向量表示来表示,其中语音信息和说话者信息被解开。其次,使用skip-gram模型从向量表示训练音频片段的语义嵌入。最后,利用无监督的方法将音频片段的语义嵌入转换到文本嵌入空间,并最终将转换后的嵌入映射到单词。有了上述框架,我们将只使用未对齐的文本和语音训练无监督ASR。
2018-08-11 cs.CL
Biased TextRank: Unsupervised Graph-Based Content Extraction
University of Michigan(密歇根大学)
我们引入了Biased TextRank,这是一种基于图形的内容提取方法,其灵感来自流行的TextRank算法,该算法根据文本对语言处理任务的重要性以及与输入“焦点”的相关性对文本跨度进行排名。“Biased TextRank通过修改TextRank执行中的随机重新启动来实现文本的集中内容提取。基于图节点与任务焦点的相关性来分配随机重启概率。我们提出了两个应用程序的偏见TextRank:集中的摘要和解释提取,并表明我们的算法导致两个不同的数据集上的显着ROUGE-N得分利润率提高性能。与其前身非常相似,Biased TextRank是无监督的,易于实现,并且比当前最先进的自然语言处理方法更快,更轻。
2020-11-02 cs.CL
Unsupervised Representation Disentanglement of Text: An Evaluation on Synthetic Datasets
Monash University(莫纳什大学);University of Cambridge(剑桥大学)
为了突出在无监督环境中实现文本域表示解纠缠的挑战,本文选择了一组具有代表性的成功应用模型。我们评估这些模型的6个解纠缠指标,以及下游分类任务和同伦。为了便于评估,我们提出了两个已知生成因子的合成数据集。我们的实验突出了文本域中现有的差距,并说明了某些元素,如表示稀疏性(作为一种归纳偏差),或表示与解码器的耦合可能会影响解纠缠。据我们所知,我们的工作是对无监督表示解纠缠和文本交叉的首次尝试,并为研究这一方向的未来发展提供了实验框架和数据集。
2021-06-07 cs.CL
Unsupervised Abstractive Summarization of Bengali Text Documents
Ahsanullah Univ of Science & Tech(阿赫桑乌拉科技大学)
抽象摘要系统通常依赖于大量的文档-摘要对集合。然而,抽象系统的性能仍然是一个挑战,因为像孟加拉语这样的低资源语言无法获得并行数据。为了克服这个问题,我们提出了一个基于图的无监督摘要系统在单文档设置孟加拉语文本文件,它只需要一个部分的语音(POS)标记和一个预先训练的语言模型孟加拉语文本训练。我们还提供了一个带有文档摘要对的人类注释数据集,以评估我们的抽象模型,并支持孟加拉语未来抽象摘要系统的比较。我们在这个数据集上进行实验,并将我们的系统与几个成熟的无监督提取摘要系统进行比较。我们的无监督抽象摘要模型在不暴露于任何人工注释的参考摘要的情况下优于基线。
2021-02-19 cs.CL
Bilingual alignment transfers to multilingual alignment for unsupervised parallel text mining
University of Chicago(芝加哥大学);University of Washington(华盛顿大学)
这项工作提出了使用成对或不成对的双语文本学习跨语言句子表征的方法。我们假设跨语言对齐策略是可转移的,因此训练仅对齐两种语言的模型可以编码多语言对齐的表示。因此,我们引入了双支点迁移:在一个语言对上进行训练,在其他语言对上进行评估。为了研究这一理论,我们设计了在未配对句子上训练的无监督模型和在双文本上训练的单对监督模型,两者都基于无监督语言模型XLM-R,其参数被冻结。实验评估模型作为通用的句子编码器的任务上的无监督的双文本挖掘两个数据集,其中的无监督模型达到最先进的无监督检索,和替代的单对监督模型的性能接近多语言监督模型。结果表明,双语训练技术提出的可以应用到获得句子表示与多语言对齐。
2022-03-15 cs.CL
Unsupervised Text Style Transfer with Padded Masked Language Models
Google Research(谷歌研究院)
我们提出了Masker,一种用于风格转移的无监督文本编辑方法。为了解决没有并行源-目标对可用的情况,我们为源和目标域都训练训练掩蔽的语言模型(MLM)。然后,我们找到两个模型在可能性方面最不一致的文本跨度。这使我们能够识别要删除的源标记,以转换源文本,使其与目标域的样式相匹配。删除的令牌被替换为目标MLM,并且通过使用填充的MLM变体,我们避免了必须预先确定插入令牌的数量。我们对句子融合和情感转移的实验表明,Masker在完全无监督的环境中表现出竞争力。此外,在低资源环境中,当在Masker生成的银训练数据上进行预训练时,它将监督方法的准确性提高了10个百分点以上。
2020-10-02 cs.CL
Unsupervised Text Summarization via Mixed Model Back-Translation
Facebook AI Research(脸书人工智能研究院)
基于反向翻译的方法最近在无监督的序列到序列任务(诸如机器翻译或风格转移)中取得了重大进展。在这项工作中,我们扩展的范式学习的句子摘要系统从不对齐的数据的问题。我们提出了几个初始模型,依赖于任务的不对称性来执行第一个回译步骤,并展示了将这些不同的初始化方法创建的数据相结合的价值。我们的系统在从完全未对齐的数据中进行无监督句子摘要方面优于当前最先进的技术超过2个ROUGE,并且与最近的半监督方法的性能相匹配。
2019-08-22 cs.CL
LEWIS: Levenshtein Editing for Unsupervised Text Style Transfer
The University of Tokyo(东京大学);University of Washington(华盛顿大学)
许多类型的文本风格转换可以通过小而精确的编辑来实现(例如,从我度过了一段可怕的时光......我有一个伟大的时间……)。我们提出了一个粗略到精细的编辑器的风格转换,转换文本使用Levenshtein编辑操作(例如插入,替换,删除)。与以前的单跨度编辑方法不同,我们的方法同时编辑源文本中的多个跨度。为了训练没有并行风格的文本对(例如+/-情感语句对),我们提出了一个无监督的数据合成过程。我们首先使用样式分类器attention将文本转换为样式无关的模板(例如,我有一个SLOT时间...),然后使用微调的预训练语言模型来填充这些模板中的槽。我们的方法优于现有的生成和编辑风格的情感(Yelp,亚马逊)和礼貌(礼貌)转移方法。特别是,多跨度编辑比单跨度编辑实现了更高的性能和更多样化的输出。此外,与以前的无监督数据合成方法相比,我们的方法产生了更高质量的并行样式对,提高了模型性能。
2021-05-18 cs.CL
Keep it Simple: Unsupervised Simplification of Multi-Paragraph Text
UC Berkeley(加州大学伯克利分校);Microsoft(微软)
这项工作提出了Keep it Simple(KiS),这是一种无监督文本简化的新方法,它学习在三个属性之间平衡奖励:流畅性,显著性和简单性。我们训练的模型与一种新的算法来优化奖励(k-SCST),其中该模型提出了几个候选人的简化,计算每个候选人的奖励,并鼓励候选人表现优于平均奖励。最后,我们提出了一个现实的文本理解任务作为文本简化的评价方法。当在英语新闻领域进行测试时,KiS模型的表现优于强监督基线超过4个SARI点,并且与原始文本相比,可以帮助人们完成平均18%的理解任务,同时保持准确性。可用代码:https://github.com/tingofurro/keep_it_simple
2021-07-07 cs.CL
From Unsupervised Machine Translation To Adversarial Text Generation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
我们提出了一个基于自注意力的双语对抗文本生成器(B-GAN),它可以学习从无监督神经机器翻译系统的编码器表示生成文本。B-GAN能够生成分布式潜在空间表示,该表示可以与基于注意力的解码器配对以生成流畅的句子。当在两种语言之间共享的编码器上训练并与适当的解码器配对时,它可以生成任何一种语言的句子。B-GAN使用用于自动编码器的重建损失、用于翻译的跨域损失和用于文本生成的基于GAN的对抗性损失的组合来训练。我们证明,仅使用多个损失在单语语料库上训练的B-GAN,与单语基线相比,可以生成更流畅的句子,同时有效地使用一半的参数。
2020-11-10 cs.CL
DocSCAN: Unsupervised Text Classification via Learning from Neighbors
ETH Zurich(苏黎世联邦理工学院)
我们介绍DocSCAN,一种完全无监督的文本分类方法,使用最近邻语义聚类(SCAN)。对于每个文档,我们从一个大型的预训练语言模型中获得语义信息向量。相似的文档有相似的向量,所以表示空间中的邻居倾向于共享主题标签。我们的可学习聚类方法使用相邻数据点对作为弱学习信号。所提出的方法学习将类分配给整个数据集,而不提供地面实况标签。在五个主题分类基准上,我们对各种无监督基线进行了大幅改进。在结果类相对较少且平衡的数据集中,DocSCAN接近监督分类的性能。该方法失败的其他类型的分类,如情感分析,指出重要的概念和分类图像和文本之间的实际差异。
2022-10-04 cs.CL
Unsupervised Keyword Extraction from Polish Legal Texts
Interdisciplinary Centre for Mathematical and Computational Modelling, University of Warsaw(华沙大学跨学科数学与计算建模中心);Faculty of Electronics and Information Technology, Warsaw University of Technology(华沙理工大学电子与信息技术学院)
在这项工作中,我们提出了一个应用程序,最近提出的无监督的关键字提取算法RAKE波兰法律文本的语料库,从公共采购领域。RAKE本质上是一种独立于语言和领域的方法。它唯一的语言特定输入是包含一组非内容词的非索引字列表。该方法的性能在很大程度上取决于这样一个非索引字表的选择,这应该是域采用。因此,我们补充RAKE算法的自动方法来选择非内容词,这是基于术语分布的统计特性。
2014-11-03 cs.CL
Supervised and Unsupervised Neural Approaches to Text Readability
Jožef Stefan Institute(约热夫·斯泰凡研究所);Jožef Stefan International Postgraduate School(约热夫·斯泰凡国际研究生院);University of Ljubljana(卢布尔雅那大学)
我们提出了一套新的神经监督和无监督的方法来确定文件的可读性。在无监督设置中,我们利用神经语言模型,而在监督设置中,测试了三种不同的神经分类架构。我们表明,所提出的神经无监督方法是鲁棒的,可跨语言转移,并允许适应特定的可读性任务和数据集。通过在两种语言的一些基准和新标记的可读性数据集上系统地比较几种神经架构,本研究还对可读性分类的不同神经方法进行了全面分析。我们揭示了它们的优点和缺点,将它们的性能与当前最先进的分类方法进行可读性比较,这些方法在大多数情况下仍然依赖于广泛的特征工程,并提出改进的可能性。
2021-03-11 cs.CL
Unsupervised Pidgin Text Generation By Pivoting English Data and Self-Training
Saarland University(萨尔兰大学);Saarland Informatics Campus(萨尔兰信息学园区)
西非洋泾浜英语(英语:West African Pidgin English)是一种在西非使用的语言,至少有7500万人使用。然而,实际上缺乏适当的机器翻译系统和洋泾浜英语的相关NLP数据集。在这项工作中,我们开发的技术,旨在弥合洋泾浜英语和英语之间的差距,在自然语言生成的背景下。%作为概念的证明,我们探讨了在数据到文本生成领域提出的技术。通过建立在以前发布的单语洋泾浜英语文本和平行的英语数据到文本语料库,我们希望建立一个系统,可以自动生成洋泾浜英语描述结构化数据。我们首先训练一个数据到英语的文本生成系统,然后采用无监督神经机器翻译和自训练技术来建立洋泾浜到英语的跨语言对齐。对生成的洋泾浜文本进行的人类评价表明,尽管离实际使用还很远,但旋转+自我训练技术提高了洋泾浜文本的流畅性和相关性。
2021-04-27 cs.CL
Effective Unsupervised Constrained Text Generation based on Perturbed Masking
Guangdong University of Foreign Studies(广东外语外贸大学);NetEase Games AI Lab(网易游戏AI实验室);Columbia University(哥伦比亚大学)
本文提出 PMCTG 方法,通过扩展扰动掩码技术搜索最佳编辑位置并引入四个多方面评分函数选择编辑动作,解决了无监督受限文本生成中随机采样导致多余搜索步骤的问题,在两项任务上取得新最优结果。
2024-04-24 cs.CL
Unsupervised authorship attribution
我们描述了一种技术,用于将书面文本的部分归因于一组未知的作者。没有什么是假定已知的先验的写作风格的潜在作者。我们使用输入文本的多个独立聚类来识别彼此相似和不相似的部分。我们描述了必要的算法,结合成一个有意义的输出的多个聚类。我们展示了该技术在具有多种写作风格的文本上的应用结果。
2015-03-26 cs.CL
StyleFlow: Disentangle Latent Representations via Normalizing Flow for Unsupervised Text Style Transfer
National University of Defense Technology(国防科技大学)
语篇风格转换的目的是在保持句子内容的同时改变句子的风格。由于缺乏平行语料库,最近的工作主要集中在无监督的方法,通常使用循环构造来训练模型。由于循环构造通过将转换后的句子重建回原始风格句子来提高模型的风格转换能力,因此在无监督的文本风格转换任务中会导致内容丢失。在本文中,我们提出了一种新的基于解纠缠的风格传输模型StyleFlow,以提高内容保存。与传统的编码器-解码器方案不同,StyleFlow不仅可以进行前向处理以获得输出,还可以通过输出推断输入。我们设计了一个注意力感知的耦合层来理清句子的内容表示和风格表示。此外,本文还提出了一种基于归一化流的数据增强方法来提高模型的鲁棒性。实验结果表明,我们的模型有效地保留了内容,并在大多数指标上达到了最先进的性能。
2022-12-19 cs.CL
Unsupervised Sign Language Translation and Generation
Shanghai Jiao Tong University(上海交通大学)
提出无监督手语翻译与生成网络USLNet,利用单模态重建和跨模态反向翻译从无平行数据中学习,通过滑动窗口解决跨模态对齐问题,实现统一生成文本与手语视频。
2024-02-12 cs.CL
ClusTop: An unsupervised and integrated text clustering and topic extraction framework
Hebei University of Technology(河北工业大学);Tianjin Huizhi Xingyuan Information Technology Co.,Ltd.(天津汇智兴元信息技术有限公司)
文本聚类和主题抽取是文本挖掘的两个重要任务。通常,这两个任务是分开执行的。为了便于聚类的主题提取,我们可以首先将文本投影到主题空间中,然后执行聚类算法来获得聚类。为了通过聚类来促进主题提取,我们可以首先使用聚类算法获得聚类,然后提取特定于聚类的主题。然而,这种幼稚的策略忽略了文本聚类和主题提取是密切相关的,并且遵循鸡和蛋的关系。单独执行它们无法使它们相互受益,以实现最佳的整体性能。本文提出了一种无监督文本聚类和主题提取框架(WITTTop),该框架将文本聚类和主题提取集成到一个统一的框架中,能够同时实现高质量的聚类结果和主题提取。我们的框架包括四个部分:增强的语言模型训练,降维,聚类和主题提取,其中增强的语言模型可以被看作是聚类和主题提取之间的桥梁。一方面,它为文本嵌入提供了强聚类结构,有利于有效的文本聚类;另一方面,由于其自关注结构,它高度关注主题相关词以进行主题提取。此外,增强的语言模型的训练是无监督的。在两个数据集上的实验证明了该框架的有效性,并为该框架中不同的模型组合提供了基准。
2023-01-03 cs.CL
Controllable Unsupervised Text Attribute Transfer via Editing Entangled Latent Representation
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);The MOE Key Laboratory of Computational Linguistics, Peking University(北京大学计算语言学教育部重点实验室)
无监督文本属性转移自动转换文本以改变特定属性(例如情感),而不使用任何并行数据,同时保留其属性无关的内容。主流方法试图单独对内容无关属性进行建模,例如,学习不同属性的表示或使用多个属性特定解码器。但是,从控制转移程度或同时在多个方面转移的角度来看,可能会导致不确定性。为了解决上述问题,我们提出了一个更灵活的无监督的文本属性传输框架,它取代了建模属性的过程与最小的编辑的基础上的属性分类的潜在表示。具体来说,我们首先提出了一个基于transformer的自动编码器来学习离散文本的纠缠潜在表示,然后我们将属性转移任务转换为优化问题,并提出了快速梯度迭代修改算法来编辑潜在表示,直到符合目标属性。大量的实验结果表明,我们的模型在三个公共数据集上取得了非常有竞争力的性能。此外,我们还表明,我们的模型不仅可以自由地控制转移的程度,但也允许在多个方面的转移在同一时间。
2019-12-12 cs.CL
CU-ICU: Customizing Unsupervised Instruction-Finetuned Language Models for ICU Datasets via Text-to-Text Transfer Transformer
Faculty of Engineering Chulalongkorn University(工程学院朱拉隆功大学)
CU-ICU利用T5架构结合少样本提示与稀疏参数更新,在仅更新不到1%参数的情况下,显著提升ICU场景中脓毒症检测、死亡率预测和临床记录生成的准确性与可解释性。
2025-07-18 cs.CL
An unsupervised framework for tracing textual sources of moral change
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(向量人工智能研究所)
道德在社会福祉中发挥着重要作用,但人们的道德感知并不稳定,并随着时间的推移而变化。自然语言处理的最新进展表明,文本是告知道德变化的有效媒介,但没有尝试量化这些变化的起源。我们提出了一个新的无监督的框架跟踪文本来源的道德变化对实体通过时间。我们用概率主题分布来描述道德变化,并推断出对道德时间进程产生显著影响的源文本。我们根据从社交媒体到新闻文章等多种数据来评估我们的框架。我们表明,我们的框架不仅捕捉细粒度的人类道德判断,但也确定了连贯的源主题的道德变革所引发的历史事件。我们运用我们的方法来分析COVID-19大流行的新闻,并展示其在识别高影响力和实时社会事件中道德变化来源方面的实用性。
2021-09-01 cs.CL
Learning Frames from Text with an Unsupervised Latent Variable Model
Carnegie Mellon University(卡内基梅隆大学)
我们开发了一个概率潜变量模型来从语料库中发现语义框架--事件类型及其参与者。我们提出了一个狄利克雷多项式模型,框架是潜在的类别,解释了连接的动词-主语-宾语三元组,给定的文档级稀疏。我们分析了模型学习的内容,并将其与FrameNet进行了比较,注意到它学习了一些新颖有趣的框架。本文档还包含对推理问题的讨论,包括集中参数学习;以及对句法分析准确性的小规模错误分析。
2013-07-28 cs.CL
POSID: Target-Task-Unsupervised Person-Attribute Extraction from Heterogeneous Public-Safety Text
Department of Computer Science Purdue University, West Lafayette, IN, USA(计算机科学系 哈佛大学 西拉法基特,印第安纳州,美国)
本文提出模块化无监督框架POSID,结合词汇与语义相似度从非结构化文本中提取属性,并在失踪人员事件报告上验证其无需微调即可有效识别人体属性。
2026-10-20 cs.CL
So Different Yet So Alike! Constrained Unsupervised Text Style Transfer
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学)
近年来,域之间的文本自动传输已经变得流行。其目的之一是保持文本的语义内容被翻译从源到目标域。然而,它不会显式维护源文本和翻译文本之间的其他属性,例如,文本长度和重复性。保持传输中的约束具有若干下游应用,包括数据增强和去偏置。我们通过向生成对抗网络(GAN)模型家族引入两个互补损失来引入这种受约束的无监督文本样式传输的方法。与GANs中使用的竞争损耗不同,我们引入了合作损耗,其中代理和生成器合作并减少相同的损耗。第一个是对比损失,第二个是分类损失,旨在进一步规范潜在空间,并使跨域的相似句子更接近。我们证明,这种训练保留了多个基准数据集,包括多个属性变化的域之间的词汇,语法和特定领域的约束。我们表明,互补的合作损失提高文本质量,根据自动和人工评价措施。
2022-05-09 cs.CL
Unsupervised Text Mining of COVID-19 Records
University of North Dakota(北达科他大学)
自冠状病毒开始以来,这种疾病已经在全球范围内蔓延,并彻底改变了人类生活方式的许多方面。Twitter作为一种强大的工具,可以帮助研究人员衡量公共卫生状况,以应对COVID-19。针对社交网络上产生的大量数据,自动文本挖掘方法可以帮助用户搜索、阅读和总结有用的信息。本文对现有的有关COVID-19的医疗数据集(名为CORD-19)进行预处理,并对数据集进行注释以执行监督分类任务。在COVID-19大流行的这个时候,我们为研究界制作了一个预处理的数据集。这可能有助于为COVID-19所做的一些社会干预找到新的解决方案。上述数据集的预处理版本可通过Github公开获得。
2021-09-08 cs.CL
Unsupervised Learning of Graph from Recipes
University College London(伦敦大学学院)
本文提出一种无监督 text-to-graph 与 graph-to-text 迭代框架,从烹饪食谱中识别实体并学习动作序列图,且在实体、文本重构和图生成质量上进行评估。
2024-01-22 cs.CL
Unsupervised Text Style Transfer for Controllable Intensity
East China Normal University(东华大学);Baowu Group(宝武集团)
本文提出了一种SFT-then-PPO方法,通过精心设计的奖励函数提升LLM在可控强度下的文本风格迁移性能。
2026-01-03 cs.CL
Unsupervised Text Style Transfer with Deep Generative Models
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
本文提出一个基于深度生成模型的通用框架,通过潜在编码分离内容和风格实现无监督文本风格迁移,统一了嵌入与原型方法,并在三个基准上取得优于或媲美强基线的结果。
2023-08-31 cs.CL
Deleter: Leveraging BERT to Perform Unsupervised Successive Text Compression
Salesforce Research(赛富时研究院)
文本压缩有多种应用,如摘要、阅读理解和文本编辑。然而,几乎所有现有的方法都需要手工制作的功能,语法标签或并行数据。即使是在无监督环境中实现此任务的机器人,其架构也需要特定于任务的自动编码器。此外,这些模型只为每个源输入生成一个压缩句子,因此适应最终输出的不同风格要求(例如长度)通常意味着从头开始重新训练模型。在这项工作中,我们提出了一个完全无监督的模型,删除器,这是能够发现一个“最佳删除路径”的任意句子,其中沿路径的每个中间序列是前一个连贯的子序列。这种方法完全依赖于预训练的双向语言模型(BERT),根据结果句子的平均困惑度对每个候选删除进行评分,并执行渐进式贪婪前瞻搜索,为每个步骤选择最佳删除。我们将Deleter应用于提取句子压缩的任务,并发现我们的模型与在102万个具有类似压缩比的域内示例上训练的最先进的监督模型具有竞争力。定性分析以及自动和人工评估都验证了我们的模型可以产生高质量的压缩。
2019-09-07 cs.CL
Short-Text Classification Using Unsupervised Keyword Expansion
Queen’s University(女王大学);Institute for InfoComms Research(信息通信研究所);A*STAR(新加坡科技研究局)
短文本分类与所有数据科学一样,难以使用有限的数据实现高性能。作为一种解决方案,可以用新的和相关的特征词扩展短句以形成人工放大的数据集,并向测试数据添加新的特征。本文采用了一种新的文本扩展方法,直接为每个输入句子生成新词,因此不需要额外的数据集或先前的训练。在这种无监督的方法中,新的关键字在预先训练的语言模型的隐藏状态中形成,然后用于创建扩展的伪文档。通过检查预测的单词与输入句子的主题匹配程度来评估单词生成过程。实验结果表明,该方法可以为每个目标主题产生3-10个相关新词,而每个非目标主题只产生1个相关词。然后将生成的单词添加到简短的新闻标题中,以创建扩展的伪标题。实验结果表明,当限制训练样本的数量时,使用伪标题训练的模型可以提高分类精度。
2019-09-16 cs.CL
NAST: A Non-Autoregressive Generator with Word Alignment for Unsupervised Text Style Transfer
Tsinghua University(清华大学);Institute for Artificial Intelligence(人工智能研究院);State Key Lab of Intelligent Technology and Systems(智能技术与系统国家重点实验室);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
自回归模型在无监督文本风格转换中得到了广泛的应用。尽管这些模型取得了成功,但它们仍然存在内容保存问题,即它们通常会忽略源句子的一部分,并生成一些具有强烈风格的无关词。在本文中,我们提出了一个非自回归生成器的无监督文本风格转移(NAST),它从两个方面来说明这个问题。首先,我们观察到,大多数单词在转移的句子可以与源句子中的相关词对齐,所以我们显式地建模词对齐,以抑制不相关的词。其次,使用循环损失训练的现有模型在两个风格文本空间中对齐句子,这在单词级别缺乏细粒度控制。所提出的非自回归生成器专注于对齐的单词之间的连接,学习风格之间的单词级迁移。对于实验,我们将建议的生成器集成到两个基本模型,并在两个风格转换任务上对其进行评估。结果表明,NAST可以显着提高整体性能,并提供可解释的词对齐。此外,非自回归生成器在推理时实现了超过10倍的加速。我们的代码可在https://github.com/thu-coai/NAST上获得。
2021-06-04 cs.CL
Seed Word Selection for Weakly-Supervised Text Classification with Unsupervised Error Estimation
Chulalongkorn University(朱拉隆功大学);Knorex
弱监督文本分类的目标是从用户提供的少量种子词中归纳出文本分类器。绝大多数以前的工作假设高质量的种子词。然而,专家注释的种子词有时是不平凡的。此外,在弱监督学习环境中,我们没有任何标记文档来衡量种子词的功效,使得种子词选择过程“在黑暗中行走”。在这项工作中,我们删除了专家策划的种子词的需要,首先挖掘(噪声)与类别名称相关的候选种子词。然后,我们用单个候选种子词训练临时模型。最后,我们以无监督的方式估计中间模型的出错率。将产生最低估计出错率的种子字添加到最终种子字集合。在四个流行的数据集上对六个二进制分类任务进行的综合评估表明,所提出的方法优于仅使用类别名称种子词的基线,并且与使用专家注释的种子词的方法具有可比性。
2021-04-20 cs.CL
Scene Graph as Pivoting: Inference-time Image-free Unsupervised Multimodal Machine Translation with Visual Scene Hallucination
National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
本文提出以场景图为枢轴的无监督多模态机器翻译方法,通过视觉场景幻觉机制在推理时从文本场景图生成伪视觉场景图,在Multi30K上显著超越基线BLEU分数。
2023-05-25 cs.CL
Revision in Continuous Space: Unsupervised Text Style Transfer without Adversarial Learning
Sichuan University(四川大学);Québec Artificial Intelligence Institute (Mila)(魁北克人工智能研究所(Mila));Polytechnique Montréal(蒙特利尔理工学院)
无监督文本风格转换的典型方法通常依赖于两个关键因素:1)寻求内容和属性的明确分离,以及2)麻烦的对抗学习。在本文中,我们表明,这两个组件是不可或缺的。我们提出了一个新的框架,利用梯度在推理过程中的连续空间中修改句子,以实现文本风格转移。我们的方法由三个关键组成部分:变分自动编码器(VAE),一些属性预测(每个属性一个),和内容预测。VAE和两种类型的预测器使我们能够在连续空间中执行基于梯度的优化,该空间从离散空间中的句子映射,以找到具有所需属性和保留内容的目标句子的表示。此外,所提出的方法自然有能力同时操纵多个细粒度的属性,如句子长度和特定单词的存在,当执行文本风格转换任务。与以往的基于对抗学习的方法相比,该方法具有更好的可解释性、可控性和更容易训练的特点。对三个流行的文本风格迁移任务的实验研究表明,该方法显着优于五个国家的最先进的方法。
2019-11-19 cs.CL
TED: A Pretrained Unsupervised Summarization Model with Theme Modeling and Denoising
Stanford University(斯坦福大学);Microsoft Cognitive Services Research Group(微软认知服务研究组)
文本摘要的目的是从文本中提取必要的信息,并将文本转换为简洁的文本。现有的无监督摘要模型利用递归神经网络框架,而最近提出的Transformer具有更多的能力。此外,大多数以前的摘要模型忽略了丰富的未标记语料库资源可用于预训练。为了解决这些问题,我们提出了TED,一个基于transformer的无监督抽象摘要系统,对大规模数据进行预训练。我们首先利用新闻文章中的铅偏见在数百万未标记的语料库上预训练模型。接下来,我们通过主题建模和去噪自动编码器对目标领域的TED进行微调,以提高生成摘要的质量。值得注意的是,TED在NYT、CNN/DM和英语Gigaword数据集上的表现优于所有无监督的抽象基线,这些数据集具有各种文档风格。进一步的分析表明,TED生成的摘要是高度抽象的,TED的目标函数中的每个组件是非常有效的。
2020-10-18 cs.CL
Unsupervised Identification of Translationese
University of Haifa(海法大学)
翻译文本与原始文本有着明显的不同,以至于监督文本分类方法可以高精度地区分它们。这些差异被证明是有用的统计机器翻译。然而,有人建议,翻译检测的准确性恶化时,分类器进行评估的领域之外,它是训练。我们表明,这确实是这样的,在各种评估方案。然后,我们表明,无监督分类是高度准确的这项任务。我们提出了一种方法来确定聚类结果的正确标签,然后使用标签进行投票,进一步提高准确性。此外,我们提出了一个简单的方法,在具有挑战性的情况下,混合域数据集的聚类,尽管领域相关的功能的优势,在相关的。其结果是一种有效的,完全无监督的方法,用于区分原始文本和翻译文本,可以以合理的准确度应用于新的领域。
2016-09-11 cs.CL
Unsupervised Label Refinement Improves Dataless Text Classification
The University of Chicago(芝加哥大学);Rutgers University(罗格斯大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
无数据文本分类能够通过为任何与标签描述配对的文档分配分数来将文档分类为以前看不见的标签。虽然很有前途,但它关键依赖于每个下游任务的标签集的准确描述。这种依赖导致无数据分类器对标签描述的选择高度敏感,阻碍了无数据分类在实践中的广泛应用。在本文中,我们提出了以下问题:如何使用下游任务数据集的输入来改进无数据文本分类?我们的主要解决方案是基于聚类的方法。给定一个无数据分类器,我们的方法使用k-means聚类改进其预测集。我们证明了我们的方法的广泛适用性,通过提高性能的两个广泛使用的分类器架构,一个编码文本类别对两个独立的编码器和一个单一的联合编码器。实验表明,我们的方法一致地提高了跨不同数据集的无数据分类,并使分类器对标签描述的选择更具鲁棒性。
2020-12-08 cs.CL
Experimenting with UD Adaptation of an Unsupervised Rule-based Approach for Sentiment Analysis of Mexican Tourist Texts
University of Göttingen(哥廷根大学);Deutsches Elektronen-Synchrotron DESY(德国电子同步加速器研究所)
本文提出一种基于Universal Dependencies适配的无监督组合递归规则方法用于墨西哥旅游文本情感分析,通过句法规则处理否定与修改,在跨数据集鲁棒性及可解释性上显著优于现有无监督启发式方法。
2023-09-11 cs.CL
Unsupervised Sentence Simplification via Dependency Parsing
Monash University(莫纳什大学)
文本简化是重写文本的任务,使其可读性和易于理解。在本文中,我们提出了一个简单而新颖的无监督句子简化系统,利用解析结构与句子嵌入产生语言有效的简化。这意味着我们的模型能够引入实质性的修改来简化句子,同时保持其原始语义和足够的流畅性。我们在TurkCorpus集上建立了39.13 SARI的无监督最先进水平,并在各种质量指标上与监督基线进行了竞争。此外,我们证明了我们的框架的可扩展性,其他语言通过越南数据的概念验证。复制代码发布在\url{https://github.com/isVy08/USDP}上。
2022-06-10 cs.CL
Learning to Paraphrase: An Unsupervised Approach Using Multiple-Sequence Alignment
我们解决文本到文本的生成问题的句子级释义-一种现象,不同的和更困难的词或短语级释义。我们的方法适用于多序列对齐从未注释的可比语料库收集的句子:它学习一组由词格对表示的释义模式,并自动确定如何应用这些模式重写新的句子。我们的评估实验的结果表明,该系统得出准确的释义,优于基线系统。
2003-04-02 cs.CL
GRS: Combining Generation and Revision in Unsupervised Sentence Simplification
University of Waterloo(滑铁卢大学);Grammarly(Grammarly(格拉默利))
我们提出了GRS:一种结合文本生成和文本修改的无监督句子简化方法。我们从一个迭代框架开始,在这个框架中,使用显式编辑操作来修改输入句子,并添加释义作为新的编辑操作。这使我们能够结合生成和基于修改的方法的优点:释义捕获复杂的编辑操作,并以迭代方式使用显式编辑操作提供可控性和可解释性。与Newsela和ASSET数据集上的现有方法相比,我们证明了GRS的这些优势。
2022-03-22 cs.CL
SE-DAE: Style-Enhanced Denoising Auto-Encoder for Unsupervised Text Style Transfer
University of Chinese Academy of Sciences(中国科学院大学)
语篇风格转换是指在保持句子语义的同时改变句子的风格。由于缺乏并行数据,去噪自动编码器(DAE)被广泛用于此任务中,以模拟不同句子风格的分布。然而,由于传统的去噪过程的目标和风格转换任务的目标之间的冲突,香草DAE不能产生令人满意的结果。为了提高模型的可移植性,现有的研究大多将DAE与各种复杂的无监督网络相结合,使得整个系统变得过于复杂。在这项工作中,我们设计了一个新的DAE模型命名为样式增强DAE(SE-DAE),这是专门设计的文本样式传输任务。与以往复杂的风格迁移模型相比,该模型不包含任何复杂的无监督网络,而仅依赖于一种新的数据精化机制生成的高质量伪并行数据。此外,为了缓解传统的去噪过程和风格转移任务的目标之间的冲突,我们提出了另一种新的风格去噪机制,这是更兼容的风格转移任务的目标。我们验证了我们的模型在两个风格的基准数据集的有效性。自动评估和人工评估表明,我们提出的模型是非常有竞争力的,与以前强大的最先进的(SOTA)的方法相比,大大优于香草DAE。
2021-04-27 cs.CL
CUT: Controllable Unsupervised Text Simplification
Ukrainian Catholic University(乌克兰天主教大学);ShipHawk;Facebook(脸书)
在本文中,我们专注于在无监督环境中学习可控文本简化的挑战。虽然这个问题以前已经讨论了监督学习算法,在无监督方法的类比文献是稀缺的。我们提出了两种无监督机制来控制生成的文本的输出复杂度,即,回译与控制令牌(基于学习的方法)和简单性感知的束搜索(基于解码的方法)。我们表明,通过轻推一个回翻译算法,以了解相对简单的文本相比,其嘈杂的翻译,算法自我监督,以产生所需的复杂性的输出。这种方法在成熟的基准测试中实现了具有竞争力的性能:在Newsela数据集上,SARI得分为46.88%,FKGL为3.65%。
2020-12-03 cs.CL cs.LG
Unsupervised Neural Text Simplification
IBM Research(IBM研究院)
本文提出了第一次尝试无监督神经文本简化,只依赖于未标记的文本语料库。核心框架由一个共享的编码器和一对注意力解码器组成,并通过基于损失的鉴别和去噪来获得简化知识。该框架使用从en-Wikipedia dump收集的未标记文本进行训练。我们的分析(包括定量和定性涉及人类评估)的公共测试数据表明,该模型可以执行文本简化在词汇和句法水平,现有的监督方法的竞争力。添加一些标记对还可以进一步提高性能。
2019-08-21 cs.CL cs.LG
Text classification in shipping industry using unsupervised models and Transformer based supervised models
Cranfield University(克兰菲尔德大学);University of Liverpool(利物浦大学)
在特定上下文中获取标记数据可能是昂贵且耗时的。虽然已经采用了不同的算法,包括无监督学习,半监督学习,自学习,文本分类的性能随上下文而变化。针对国际航运业中缺乏标签数据集的问题,提出了一种新的、简单的无监督文本分类模型,并利用国际贸易标准分类(SITC)代码对国际航运业中的货物内容进行分类。我们的方法源于使用预训练的Glove词嵌入表示单词,并使用余弦相似度找到最可能的标签。为了比较无监督文本分类模型和有监督分类模型,我们还应用了几种Transformer模型对货物内容进行分类。由于缺乏训练数据,采用了国际贸易标准分类数字代码和相应的文字说明作为训练数据。使用少量人工标记的货物内容数据来评估非监督分类和基于Transformer的监督分类的分类性能。比较表明,即使在将训练数据集的大小增加30%之后,非监督分类也显著优于基于Transformer的监督分类。缺乏训练数据是阻碍深度学习模型(如Transformers)成功应用的关键瓶颈。无监督分类可以在训练数据不足的情况下为文本分类提供另一种高效的方法。
2022-12-21 cs.CL cs.LG
INFINITY: A Simple Yet Effective Unsupervised Framework for Graph-Text Mutual Conversion
Shanghai Jiao Tong University(上海交通大学)
图到图(G2 T)生成和图到图(T2 G)三元组抽取是知识图谱构建和应用的两个基本任务。现有的无监督方法是合适的候选人,共同学习这两个任务,由于他们避免使用图形-文本并行数据。然而,它们由多个模块组成,并且在训练过程中仍然需要实体信息和关系类型。为此,我们提出了INFINITY,一种简单而有效的无监督方法,不需要外部注释工具或额外的并行信息。它首次实现了完全无监督的图文相互转换。具体来说,INFINITY将G2 T和T2 G视为双向序列生成任务,只微调一个预训练的seq 2seq模型。然后设计了一种新的基于反向翻译的框架来自动生成连续的合成并行数据。为了从源文本中获得具有结构信息的合理图序列,INFINITY通过利用奖励增强最大似然的优势,采用基于奖励的训练损失。作为一个完全无监督的框架,INFINITY经过经验验证,在G2 T和T2 G任务中表现优于最先进的基线。
2022-09-22 cs.AI cs.CL
CTRLEval: An Unsupervised Reference-Free Metric for Evaluating Controlled Text Generation
Tsinghua University(清华大学);Tencent Inc.(腾讯公司);Institute for AI Industry Research (AIR), Tsinghua University(清华大学智能产业研究院)
现有的无参考指标在评估受控文本生成模型时有明显的局限性。非监督度量只能提供与任务无关的评估结果,与人类判断弱相关,而监督度量可能过度拟合特定于任务的数据,对其他数据集的泛化能力较差。在本文中,我们提出了一个无监督的无参考度量称为CTRLEval,从不同的方面制定成多个文本填充任务的每个方面来评估控制的文本生成。在这些任务之上,度量从预训练的语言模型组装生成概率,而无需任何模型训练。实验结果表明,我们的度量有更高的相关性与人类的判断比其他基线,同时获得更好的泛化评估生成的文本从不同的模型和不同的质量。
2022-12-05 cs.AI cs.CL
Fighting Offensive Language on Social Media with Unsupervised Text Style Transfer
IBM Research(IBM研究院);T.J. Watson Research Center(T.J.沃森研究中心);IBM Watson(IBM沃森)
我们引入了一种新的方法来解决在线社交媒体中的冒犯性语言问题。我们的方法使用无监督的文本风格转换将冒犯性句子翻译成非冒犯性句子。我们提出了一种新的方法来训练编码器-解码器使用非并行数据,结合了协作分类器,注意力和周期一致性损失。Twitter和Reddit数据的实验结果表明,我们的方法在三个定量指标中的两个方面优于最先进的文本风格传输系统,并产生可靠的非攻击性传输句子。
2018-05-20 cs.CL cs.LG
Unsupervised Reinforcement Adaptation for Class-Imbalanced Text Classification
University of Memphis(孟菲斯大学)
不同领域的模型在训练和测试时,自然存在着类的不平衡。无监督领域自适应(UDA)增强了模型的性能,只有来自源域的可访问注释和来自目标域的未标记数据。然而,现有的最先进的UDA模型学习域不变表示,并主要评估跨域的类平衡数据。在这项工作中,我们提出了一种无监督的领域自适应方法,通过强化学习,联合利用跨域的特征变量和不平衡的标签。我们实验了文本分类任务,其易于访问的数据集,并比较所提出的方法与五个基线。在三个数据集上的实验证明,我们提出的方法可以有效地学习鲁棒的域不变表示,并成功地适应文本分类器的不平衡类域。该代码可在https://github.com/woqingdoua/ImbalanceClass上获得。
2022-05-26 cs.CL cs.LG
An Unsupervised Joint System for Text Generation from Knowledge Graphs and Semantic Parsing
LMU Munich(慕尼黑大学);Siemens AG(西门子股份公司)
知识图谱(KG)可以从一个领域到另一个领域有很大的不同。因此,图到文本生成和文本到图知识提取(语义解析)的监督方法总是会受到特定于域的并行图-文本数据的短缺的影响;同时,由于实体和关系中很少或根本没有重叠,调整在不同域上训练的模型通常是不可能的。这种情况需要一种方法,该方法(1)不需要大量的注释数据,因此(2)不需要依赖于领域自适应技术来在不同的领域中很好地工作。为此,我们提出了第一种方法,从KG无监督文本生成,并同时显示它可以用于无监督语义解析。我们评估我们的方法WebNLG v2.1和一个新的基准利用场景图从Visual基因组。我们的系统优于两个文本$\leftrightarrow$图形转换任务的强基线,而无需从一个数据集到另一个数据集进行任何手动调整。在其他实验中,我们研究了使用不同的无监督目标的影响。
2020-11-17 cs.AI cs.CL
Generating Multiple-Length Summaries via Reinforcement Learning for Unsupervised Sentence Summarization
Pohang University of Science and Technology(浦项科技大学);Microsoft Research Asia(微软亚洲研究院);Korea Advanced Institute of Science and Technology(韩国科学技术院)
句子摘要缩短了给定的文本,同时保持了文本的核心内容。已经研究了无监督的方法来总结没有人类书面摘要的文本。然而,最近的无监督模型是提取的,它从文本中删除单词,因此它们不如抽象摘要灵活。在这项工作中,我们设计了一个抽象模型的基础上强化学习没有地面实况摘要。我们制定的无监督摘要的马尔可夫决策过程的基础上,代表摘要质量的奖励。为了进一步提高摘要质量,我们开发了一种多摘要学习机制,该机制可以为给定的文本生成多个不同长度的摘要,同时使摘要相互增强。实验结果表明,该模型大大优于抽象和提取模型,但经常产生新的单词不包含在输入文本。
2022-12-21 cs.AI cs.CL
Efficient Reinforcement Learning for Unsupervised Controlled Text Generation
受控文本生成任务,如无监督文本风格转换,越来越多地采用强化学习(RL)。将RL应用于此类任务的一个主要挑战是稀疏奖励,只有在生成全文后才可用。稀疏的奖励,加上大的动作空间,使得RL训练样本效率低下,难以收敛。最近提出的旨在解决这一问题的奖励形成战略所取得的成果微不足道。相比之下,这项工作提出了一种新的方法,为每个生成的令牌提供密集的奖励。我们评估我们的方法在无监督的文本风格转移的使用。在数据集上平均,我们的风格转换系统在当前最先进的系统上提高了21%的人工评估和12%的自动评估。在与当前的奖励塑造方法(“推出策略”)进行消融比较后,基于人类评估,使用密集奖励将整体风格转移质量提高了22%。此外,RL训练是样本效率的2.5倍,速度快7倍。
2022-04-16 cs.AI cs.CL