Large Language Models as Zero-Shot Keyphrase Extractors: A Preliminary Empirical Study
Beijing Key Lab of Traffic Data Analysis and Mining（北京交通数据分析与挖掘重点实验室）；Beijing Jiaotong University（北京交通大学）
本研究探索直接提示ChatGPT构建零样本关键短语提取模型，实验表明其性能相比现有最先进无监督和监督模型仍有较大提升空间。
2024-01-10 cs.CL
Unsupervised Aspect Term Extraction with B-LSTM & CRF using Automatically Labelled Datasets
Swisscom AG（瑞士电信公司）
体词提取是基于语义体的情感分析竞赛的一项任务，它是对文本中的体词进行识别。用于监督ATE的少量可用数据集和用于方面术语标签的昂贵的人工注释引起了对无监督ATE的需求。在本文中，我们介绍了一种架构，实现一流的性能监督ATE。此外，它可以有效地用于无监督ATE的特征提取和分类。我们的第二个贡献是自动构建ATE数据集的方法。我们训练我们的自动标记的数据集上的分类器，并评估它的人类注释SemEval ABSA测试集。与一个强大的基于规则的基线相比，我们获得了显着更高的F分数，并达到80%以上的精度值。我们的无监督方法击败了SemEval的监督ABSA基线，同时保留了高精度分数。
2017-09-15 cs.CL
Improving Term Extraction with Terminological Resources
生物医学领域的语料库上的不同术语提取器的研究显示，当应用于高度技术性的文本时，性能下降。难以或不可能将它们定制到新的域是另一个限制。在本文中，我们建议使用外部术语来影响通用语言数据，以提高提取的质量。我们实现的工具利用在不同的步骤的过程中证明的条款：组块，解析和提取候选术语。实验结果表明，使用该方法，可以获得更多的候选项，具有更高的可靠性。我们进一步描述的提取过程中，涉及内源性消歧实施长期提取YaTeA。
2006-09-06 cs.CL
Adversarial Training Based Multi-Source Unsupervised Domain Adaptation for Sentiment Analysis
University of Electronic Science and Technology of China（电子科技大学）；Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
用于情感分析的多源无监督领域自适应（MS-UDA）旨在利用多个源领域中的有用信息来帮助在没有监督信息的未标记目标领域中进行情感分析。MS-UDA的现有算法或者仅利用共享特征，即，域不变信息，或者基于NLP中的一些弱假设，例如，平滑假设为了避免这些问题，我们提出了两个迁移学习框架的基础上的多源领域自适应方法SA结合源假设，以获得一个良好的目标假设。第一个框架的主要特点是一个新的基于加权方案的无监督领域自适应框架（WS-UDA），它结合源分类器直接获取目标实例的伪标签。而第二个框架是基于两阶段训练的无监督领域自适应框架（2ST-UDA），其进一步利用这些伪标签来训练目标私有提取器。重要的是，分配给每个源分类器的权重是基于目标实例和源域之间的关系，这是通过对抗训练来测量的。此外，通过相同的封装，我们还实现了共享功能和私有功能的分离。在两个SA数据集上的实验结果表明，我们的框架具有良好的性能，优于无监督的最先进的竞争对手。
2020-06-10 cs.CL
Out of Thin Air: Is Zero-Shot Cross-Lingual Keyword Detection Better Than Unsupervised?
关键词提取是检索对给定文档的内容至关重要的词的任务。研究人员提出了各种方法来解决这个问题。在最高层，方法分为需要训练的方法（监督）和不需要训练的方法（无监督）。在这项研究中，我们感兴趣的设置，其中的语言正在调查，没有训练数据。更具体地说，我们探讨是否可以采用预训练的多语言模型的zero-shot跨语言关键字提取低资源的语言有限或没有可用的标记训练数据，以及他们是否优于国家的最先进的无监督关键字提取器。比较是在六个新闻文章数据集上进行的，涵盖了两种高资源语言，英语和俄语，以及四种低资源语言，克罗地亚语，爱沙尼亚语，拉脱维亚语和斯洛文尼亚语。我们发现，在多语言语料库上微调的预训练模型涵盖了测试集中没有出现的语言（即在zero-shot设置中），在所有六种语言中始终超过无监督模型。
2022-02-14 cs.CL cs.LG
Inductive Unsupervised Domain Adaptation for Few-Shot Classification via Clustering
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Xiaomi Inc.（小米公司）
当需要适应不同的领域时，Few-Shot分类往往会遇到困难。由于域之间的标签空间不重叠，传统的领域自适应的性能受到限制。以前的工作处理的问题，在一个transductive的方式，通过假设访问的全套测试数据，这是太多的限制，为许多现实世界的应用程序。在本文中，我们着手解决这个问题，通过引入一个归纳框架，DaFeC，通过聚类提高领域自适应性能的Few-Shot分类。我们首先构建一个表示提取器来从目标域中获取未标记数据的特征（不需要测试数据），然后用聚类挖掘器将它们分组。生成的伪标记数据和标记的源域数据被用作监督以更新Few-Shot分类器的参数。为了获得高质量的伪标签，我们提出了一种聚类提升机制，通过相似熵最小化和对抗性分布对齐，结合余弦退火策略，为目标域学习更好的特征。实验在FewRel 2.0数据集上进行。我们的方法优于以前的工作，在四个Few-Shot设置下的绝对增益（分类准确率）分别为4.95%，9.55%，3.99%和11.62%。
2020-06-23 cs.CL
On Architectures and Training for Raw Waveform Feature Extraction in ASR
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
随着基于神经网络的建模在自动语音识别（ASR）中的成功，许多研究直接基于原始波形来研究声学建模和特征提取器的学习。最近，一系列研究集中在仅音频数据的特征提取器的无监督预训练上，以提高下游ASR性能。在这项工作中，我们调查的有用性，这些前端框架之一，即wav2vec，在没有额外的未转录数据的混合ASR系统的设置。我们将此框架与手动定义的标准Gammatone特征集以及作为ASR系统训练监督的声学模型的一部分提取的特征进行比较。我们研究了使用预训练的特征提取器的好处，并探索如何额外利用使用不同特征训练的现有声学模型。最后，我们系统地研究所描述的功能的组合，以进一步提高性能。
2021-10-05 cs.CL cs.LG cs.SD
How NOT To Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metrics for Dialogue Response Generation
McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）
我们调查评估指标的对话响应生成系统，监督标签，如任务完成，是不可用的。响应生成的最新工作采用了来自机器翻译的度量，以将模型生成的响应与单个目标响应进行比较。我们发现，这些指标与非技术Twitter域中的人类判断非常弱相关，而在技术Ubuntu域中根本不相关。我们提供了定量和定性的结果，突出了现有指标的具体弱点，并提供建议，为对话系统更好的自动评估指标的未来发展。
2017-01-03 cs.AI cs.CL cs.LG
A segmental framework for fully-unsupervised large-vocabulary speech recognition
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Google, Inc.（谷歌公司）
零资源语音技术是一个不断发展的研究领域，其目的是在没有transmittance，词典或语言模型文本的情况下开发语音处理方法。早期的术语发现系统专注于识别语料库中孤立的重复模式，而最近的全覆盖系统试图将音频完全分割和聚类成类似单词的单元--有效地执行无监督的语音识别。本文介绍了第一次尝试，我们知道这样一个系统应用于大词汇量的多说话人数据。我们的系统使用贝叶斯建模框架与分段词表示：每个词段表示为一个固定的维度的声学嵌入，通过映射的特征帧序列到一个单一的嵌入向量。我们将我们的系统在英语和Xitsonga数据集上与最先进的基线进行比较，使用各种测量方法，包括单词出错率（通过将无监督输出映射到地面真实transmittance获得）。非常高的字出错率的报告--在70- 80%的顺序为发言者依赖和80- 95%的发言者无关的系统--突出了这项任务的难度。然而，在集群质量和分词指标方面，我们表明，通过实施一致的自上而下的分割，同时也使用自下而上的知识，从检测到的音节边界，单扬声器和多扬声器版本的系统优于一个纯粹的自下而上的单扬声器音节为基础的方法。我们还表明，所发现的集群可以通过使用无监督的自动编码器样的特征提取器来学习更好的帧级特征（在嵌入之前），从而减少说话者和性别的特定性。我们的系统发现的集群仍然不如那些无监督的长期发现系统纯，但提供更大的覆盖面。
2017-09-16 cs.CL cs.LG
Domain Confused Contrastive Learning for Unsupervised Domain Adaptation
Nanyang Technological University（南洋理工大学）
在这项工作中，我们研究了无监督领域自适应（UDA）在一个具有挑战性的自我监督的方法。其中一个难点是如何在没有目标标签的情况下学习任务区分。与以往文献中直接对齐跨域分布或利用反向梯度不同，我们提出了域混淆对比学习（DCCL），通过域拼图来桥接源域和目标域，并在适应后保留区分性表示。从技术上讲，DCCL搜索最具领域挑战性的方向，并将领域混淆的增强作为正对进行精细加工，然后对比鼓励模型将表示拉向另一个领域，从而学习更稳定和有效的领域不变性。我们还研究了在进行其他数据增强时，对比学习是否一定有助于UDA。大量的实验表明，DCCL显着优于基线。
2022-07-10 cs.CL cs.LG
Unsupervised Adaptation with Domain Separation Networks for Robust Speech Recognition
Microsoft AI and Research（微软人工智能与研究部）
语音信号的无监督领域自适应的目的是使训练好的源域声学模型适应来自目标域的未标记数据。这可以通过深度神经网络（DNN）声学模型的对抗训练来实现，以学习既具有senone区分性又具有域不变性的中间深度表示。具体而言，DNN被训练为联合优化senone分类的主要任务和具有对抗性目标函数的域分类的次要任务。在这项工作中，而不是只专注于学习域不变特征（即域之间的共享组件），我们还通过私有组件提取器DNN显式建模每个域的私有组件来表征源和目标域分布之间的差异。私有组件被训练为与共享组件正交，从而隐式地增加共享组件的域不变性的程度。重建器DNN用于从私有和共享分量重建原始语音特征作为正则化。将该域分离框架应用于无监督环境适应任务，并在CHiME-3数据集上进行自动语音识别，从梯度反转层训练（一种代表性的对抗训练方法）实现了11.08%的相对WER降低。
2019-04-30 cs.AI cs.CL cs.SD
Extracting Text Representations for Terms and Phrases in Technical Domains
IBM Research（IBM研究院）
本文提出一种完全无监督的文本编码方法，通过训练小型字符级模型重建大型预训练嵌入矩阵，在技术领域中达到与句子编码器相当的质量，同时模型体积缩小5倍、速度提升最高10倍。
2023-05-25 cs.AI cs.CL cs.LG
