ZeroCap: Zero-Shot Image-to-Text Generation for Visual-Semantic Arithmetic
Tel Aviv University（特拉维夫大学）
最近的文本到图像匹配模型将对比学习应用于大型语料库的未经策划的图像和句子对。虽然这样的模型可以为匹配和随后的zero-shot任务提供强大的分数，但是它们不能在给定图像的情况下生成字幕。在这项工作中，我们重新设计了这些模型，以在推理时生成给定图像的描述性文本，而无需任何进一步的训练或调整步骤。这是通过将视觉语义模型与大语言模型相结合来完成的，受益于两个网络规模模型中的知识。由此产生的字幕比通过监督字幕方法获得的字幕限制少得多。此外，作为一种零样本学习方法，它是非常灵活的，我们证明了它的能力，执行图像运算，其中输入可以是图像或文本，输出是一个句子。这使得新的高级视觉功能，如比较两个图像或解决视觉模拟测试。我们的代码可在https://github.com/YoadTew/zero-shot-image-to-text上获得。
2022-03-31 cs.AI cs.CL cs.CV
Prompt-and-Rerank: A Method for Zero-Shot and Few-Shot Arbitrary Textual Style Transfer with Small Language Models
Stanford University（斯坦福大学）；Oxford University（牛津大学）
我们提出了一种任意文本风格转换（TST）的方法-将文本转换为任何给定风格的任务-利用通用的预训练语言模型。我们的方法，重新排序，是基于TST任务的数学公式，将其分解为三个组成部分：文本相似性，目标风格强度和流畅性。具体地说，我们的方法首先使用zero-shot或Few-Shot提示来获得目标风格中的一组候选生成，然后根据上述三个分量的组合来重新排列这些候选生成。从经验上讲，我们的方法使小型预训练语言模型能够与最先进的大规模模型相媲美，同时消耗两个数量级的计算和内存。最后，我们对模型大小和即时设计的影响进行了系统的调查（例如，提示释义和定界符对选择）对七个不同文本样式转换数据集的样式转换质量的影响。
2022-05-23 cs.CL
Large Language Models Are Zero-Shot Text Classifiers
Florida Atlantic University（佛罗里达大西洋大学）
本文验证了GPT等大型语言模型作为零样本文本分类器的能力，通过思维链提示策略在多个数据集上取得优于传统机器学习、深度学习和零样本方法的性能，为缺乏文本分类专业知识的小型团队提供了有效方案。
2023-12-02 cs.CL
Image Clustering Conditioned on Text Criteria
KRAFTON（克拉夫顿）；Seoul National University（首尔大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出 IC|TC 方法，利用视觉-语言模型和大语言模型，依据用户指定的文本标准进行图像聚类，在极少人工干预下实现对聚类结果的显著控制，并在多种标准上显著优于基线。
2024-02-22 cs.AI cs.CV
Agentic Clustering: Controllable Text Taxonomies via Multi-Agent Refinement
Burning Glass Institute（Burning Glass研究院）；Harvard University（哈佛大学）
提出一种基于多智能体（提议者、合成者、审计者、调查者、批评者）的自适应文本聚类方法，通过编排器LLM动态调整聚类流程，在七个公开基准上实现最先进性能，ARI最高提升32%。
2026-10-14 cs.CL
Political DEBATE: Efficient Zero-shot and Few-shot Classifiers for Political Text
本文提出Political DEBATE语言模型，用于政治文档的零样本和少样本分类，模型在效率和开放性上优于现有模型，并发布包含20多万政治文档的PolNLI数据集。
2024-09-03 cs.CL
Few-shot Knowledge Graph-to-Text Generation with Pretrained Language Models
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Beijing Key Laboratory of Big Data Management and Analysis Methods（大数据管理与分析方法北京市重点实验室）；Huawei Cloud（华为云）；School of Information, Renmin University of China（中国人民大学信息学院）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
本文研究了如何在知识图谱中自动生成描述事实的自然语言文本。考虑到Few-Shot设置，我们利用预训练的语言模型（PLM）在语言理解和生成方面的出色能力。我们做了三个主要的技术贡献，即表示对齐弥合KG编码和PLM之间的语义差距，关系偏向KG线性化，以获得更好的输入表示，和多任务学习学习KG和文本之间的对应关系。在三个基准数据集上的大量实验证明了该模型在KG到文本生成任务上的有效性。特别是，我们的模型在全监督和Few-Shot设置上都优于所有比较方法。我们的代码和数据集可以在https://github.com/RUCAIBox/Few-Shot-KG2Text上找到。
2021-06-03 cs.CL
Text Clustering as Classification with LLMs
Singapore University of Technology and Design（新加坡科技设计大学）；East China Normal University（华东师范大学）
本文提出将文本聚类重构为分类任务的框架，利用LLM的上下文学习能力生成并合并标签，无需微调嵌入模型，在多个数据集上达到与最先进方法相当或更优的性能，同时大幅降低计算复杂度。
2025-10-07 cs.CL cs.IR
An Adaptive Deep Clustering Pipeline to Inform Text Labeling at Scale
Verint Systems Inc.（Verint系统公司）
从大量自然语言输入中挖掘潜在意图是帮助数据分析师设计和改进客户服务和销售支持智能虚拟助理（IVA）的关键步骤。我们在Verint Intent Manager（VIM）中创建了一个灵活且可扩展的聚类管道，该管道集成了语言模型的微调、高性能k-NN库和社区发现技术，可帮助分析师快速从会话文本中呈现和组织相关用户意图。微调步骤是必要的，因为预先训练的语言模型不能编码文本，以有效地表面特定的聚类结构时，目标文本是从一个看不见的领域或聚类任务不是主题检测。我们描述了管道，并展示了它的性能和能力的规模在三个现实世界的文本挖掘任务。在VIM应用程序中部署时，此群集管道可生成高质量的结果，从而提高数据分析师的性能，并减少从客户服务数据中揭示意图所需的时间，从而减少在新域中构建和部署IVA所需的时间。
2022-07-26 cs.CL cs.LG
LUMI: Unsupervised Intent Clustering with Multiple Pseudo-Labels
Leiden University（莱顿大学）；Radboud University（拉德堡德大学）
LUMI通过多伪标签提升文本相似性，实现无监督意图聚类，优于现有方法并避免聚类数量估计需求。
2026-02-25 cs.CL cs.IR
Inductive Unsupervised Domain Adaptation for Few-Shot Classification via Clustering
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Xiaomi Inc.（小米公司）
当需要适应不同的领域时，Few-Shot分类往往会遇到困难。由于域之间的标签空间不重叠，传统的领域自适应的性能受到限制。以前的工作处理的问题，在一个transductive的方式，通过假设访问的全套测试数据，这是太多的限制，为许多现实世界的应用程序。在本文中，我们着手解决这个问题，通过引入一个归纳框架，DaFeC，通过聚类提高领域自适应性能的Few-Shot分类。我们首先构建一个表示提取器来从目标域中获取未标记数据的特征（不需要测试数据），然后用聚类挖掘器将它们分组。生成的伪标记数据和标记的源域数据被用作监督以更新Few-Shot分类器的参数。为了获得高质量的伪标签，我们提出了一种聚类提升机制，通过相似熵最小化和对抗性分布对齐，结合余弦退火策略，为目标域学习更好的特征。实验在FewRel 2.0数据集上进行。我们的方法优于以前的工作，在四个Few-Shot设置下的绝对增益（分类准确率）分别为4.95%，9.55%，3.99%和11.62%。
2020-06-23 cs.CL
CEIL: A General Classification-Enhanced Iterative Learning Framework for Text Clustering
University of Alberta（阿尔伯塔大学）；DiDi Global（滴滴全球）；North China Electric Power University（华北电力大学）
本文提出 CEIL 分类增强迭代学习框架，利用 CDCC 伪标签、过滤聚合与提示学习迭代优化语言模型表示，在短文本聚类基准上达到 SOTA。
2023-04-20 cs.AI cs.CL
Contrastive Learning Subspace for Text Clustering
Alibaba Group（阿里巴巴集团）；Soochow University（苏州大学）
针对现有对比学习文本聚类忽略实例间潜在关系的问题，提出子空间对比学习（SCL）方法，通过自表达模块构建虚拟正样本并学习判别性子空间建模簇级关系，在多数据集上取得优异结果且降低正样本构建复杂度。
2024-08-26 cs.AI cs.CL
Meta-X$_{NLG}$: A Meta-Learning Approach Based on Language Clustering for Zero-Shot Cross-Lingual Transfer and Generation
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
近年来，NLP社区见证了多语言和跨语言迁移研究的快速发展，其中监督从高资源语言（HRL）转移到低资源语言（LRL）。然而，跨语言迁移在不同语言之间并不一致，特别是在zero-shot设置中。为了实现这一目标，一个有前途的研究方向是在有限的注释数据的情况下跨多个任务学习可共享的结构。下游的多语言应用程序可能会从这种学习设置中受益，因为全球大多数语言都是低资源的，并且与其他语言共享一些结构。在本文中，我们提出了一种新的元学习框架（称为Meta-X $_{NLG}$）学习共享结构的类型多样的语言的基础上元学习和语言聚类。这是朝着统一的跨语言迁移未见过的语言迈出的一步。我们首先聚类的语言表示的基础上，并确定每个集群的质心语言。然后，用所有质心语言训练Meta学习算法，并在zero-shot设置中对其他语言进行评估。我们在两个NLG任务（抽象文本摘要和问题生成），5个流行的数据集和30种类型不同的语言上证明了这种建模的有效性。在强基线基础上的持续改进表明了拟议框架的效力。该模型的精心设计使得这种端到端NLG设置不太容易受到意外翻译问题的影响，这是zero-shot跨语言NLG任务中的一个突出问题。
2022-03-19 cs.CL
German Text Embedding Clustering Benchmark
Hasso Plattner Institute, University of Potsdam（哈索·普拉特纳研究所，波茨坦大学）
本文提出了一个德语文本嵌入聚类基准，评估了多种单语和多语言模型在不同聚类算法下的表现，发现降低嵌入维度可改善聚类，且对短文本进行持续预训练能显著提升性能。
2024-01-05 cs.AI cs.CL
Self-supervised Document Clustering Based on BERT with Data Augment
Waseda University（早稻田大学）；KDDI Research, Inc.（KDDI研究所）
对比学习是无监督学习的一种很有前途的方法，因为它继承了经过充分研究的深度模型的优点，而无需专门和复杂的模型设计。在本文中，基于双向编码器表示从Transformers，我们提出了自监督对比学习（SCL）以及Few-Shot对比学习（FCL）与无监督数据增强（UDA）的文本聚类。SCL优于国家的最先进的无监督聚类方法的短文本和长文本的几个聚类评价措施。FCL实现了接近监督学习的性能，并且具有UDA的FCL进一步提高了短文本的性能。
2021-09-17 cs.AI cs.CL
Disentangling Task Relations for Few-shot Text Classification via Self-Supervised Hierarchical Task Clustering
University of Southern California（南加州大学）；Amazon.com Inc（亚马逊公司）；City University of Hong Kong（香港城市大学）；Southern University of Science and Technology（南方科技大学）
Few-Shot文本分类（FSTC）通过利用历史任务中的先验知识，模仿人类仅用少量样本就能有效地学习新的文本分类器。然而，大多数现有的工作假设，所有的任务都是从一个单一的数据源，这不能适应现实世界的情况下，任务是异构的，躺在不同的分布。因此，现有的方法可能会受到他们的全球知识共享机制来处理任务的异质性。另一方面，固有的任务关系没有被明确地捕获，使得任务知识无组织，难以转移到新的任务。因此，我们探索了一种新的FSTC设置，其中任务可以来自不同的数据源。为了解决任务的异构性，我们提出了一种自监督层次任务聚类（SS-HTC）方法。SS-HTC不仅通过动态地将异构任务组织成不同层次的集群来定制特定于集群的知识，而且还解开了任务之间的潜在关系，以提高可解释性。在五个公开的FSTC基准数据集上的实验证明了SS-HTC的有效性。
2022-11-16 cs.CL cs.LG
Federated Learning for Short Text Clustering
Zhejiang University（浙江大学）
本文针对隐私约束下分布式短文本聚类的空白，提出含鲁棒聚类与联邦中心聚合的FSTC框架，结合最优传输与高斯-均匀混合模型生成可靠伪标签，在三个数据集上性能显著优于现有基线。
2023-11-23 cs.AI cs.CL cs.IR
Zero-Shot Morphological Discovery in Low-Resource Bantu Languages via Cross-Lingual Transfer and Unsupervised Clustering
Harvard University（哈佛大学）
本文提出结合跨语言迁移学习与无监督聚类的方法，用于发现低资源班图语言的形态特征，在Giriama语言中发现2,455个词的名词类分配及两个新形态模式，通过外部验证和语料扩展验证了方法的有效性。
2026-04-24 cs.CL cs.LG
The Benefits of Label-Description Training for Zero-Shot Text Classification
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；Educational Testing Service（教育考试服务中心）
提出标签-描述微调方法，仅用语言描述标签构建小型数据集，在零样本文本分类中显著提升准确率与鲁棒性，并在多领域超越少样本域外分类。
2023-10-23 cs.AI cs.CL
Meta-Learning Adversarial Domain Adaptation Network for Few-Shot Text Classification
East China Normal University（华东师范大学）；Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
元学习已经成为解决Few-Shot文本分类的趋势技术，并实现了最先进的性能。然而，现有的解决方案在很大程度上依赖于利用词汇特征及其分布签名的训练数据，而忽略了加强模型的能力，以适应新的任务。在本文中，我们提出了一种新的元学习框架集成了对抗性领域自适应网络，旨在提高模型的自适应能力，并生成高质量的文本嵌入新的类。在四个基准数据集上进行了广泛的实验，我们的方法在所有数据集上都表现出明显的优越性。特别是，在20个新闻组的数据集上，1镜头和5镜头分类的准确率分别从52.1%提高到59.6%和从68.3%提高到77.8%。
2021-07-26 cs.AI cs.CL
ClustEm4Ano: Clustering Text Embeddings of Nominal Textual Attributes for Microdata Anonymization
Deggendorf Institute of Technology（代根多夫应用技术学院）
本文提出ClustEm4Ano，一种基于文本嵌入聚类的自动生成值泛化层次结构的匿名化流水线，在Adult数据集上实验证明其生成的VGHs在下游效能上优于手动构建，尤其适用于小k匿名性。
2024-12-17 cs.AI cs.CL
C3: Zero-shot Text-to-SQL with ChatGPT
Zhejiang University（浙江大学）；Hundsun Technologies INC.（恒生电子股份有限公司）
该研究提出基于 ChatGPT 的零样本 Text-to-SQL 方法 C3，通过清晰提示、提示校准和一致输出三组件，在 Spider 上取得 82.3% 执行准确率并达到零样本最优水平。
2023-07-14 cs.AI cs.CL
Clustering Text Using Attention
Punjab Engineering College（旁遮普工程学院）
文本聚类一直是自然语言处理领域的一个重要问题。虽然存在基于在上下文或非上下文向量空间表示之上使用常规聚类技术来对文本进行聚类的技术，但是仍然存在可能对这些技术的性能和实现进行各种改进的流行研究领域。本文讨论了一种基于注意力机制的文本聚类技术。注意力机制已被证明是非常有效的各种NLP任务在最近的时间。本文在聚类空间中扩展了注意力机制的思想，为一个全新的研究领域提供了新的思路
2022-01-08 cs.AI cs.CL cs.LG
A Brief Survey of Text Mining: Classification, Clustering and Extraction Techniques
University of Georgia（佐治亚大学）
每天生成的文本数量正在急剧增加。这些大量的非结构化文本不能简单地被计算机处理和感知。因此，需要高效和有效的技术和算法来发现有用的模式。文本挖掘是从文本中提取有意义信息的任务，近年来受到了广泛的关注。在本文中，我们描述了几个最基本的文本挖掘任务和技术，包括文本预处理，分类和聚类。此外，我们简要介绍了文本挖掘在生物医学和医疗保健领域。
2017-07-28 cs.AI cs.CL cs.IR
Short Text Clustering with Transformers
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
最近的短文本聚类技术通常依赖于词嵌入作为迁移学习组件。本文表明，句子向量表示从Transformers结合不同的聚类方法可以成功地应用到解决的任务。此外，我们证明了通过迭代分类的聚类增强算法可以进一步提高初始聚类性能与不同的分类器，包括那些基于预训练的Transformer语言模型。
2021-01-31 cs.CL
ClusTop: An unsupervised and integrated text clustering and topic extraction framework
Hebei University of Technology（河北工业大学）；Tianjin Huizhi Xingyuan Information Technology Co.,Ltd.（天津汇智兴元信息技术有限公司）
文本聚类和主题抽取是文本挖掘的两个重要任务。通常，这两个任务是分开执行的。为了便于聚类的主题提取，我们可以首先将文本投影到主题空间中，然后执行聚类算法来获得聚类。为了通过聚类来促进主题提取，我们可以首先使用聚类算法获得聚类，然后提取特定于聚类的主题。然而，这种幼稚的策略忽略了文本聚类和主题提取是密切相关的，并且遵循鸡和蛋的关系。单独执行它们无法使它们相互受益，以实现最佳的整体性能。本文提出了一种无监督文本聚类和主题提取框架（WITTTop），该框架将文本聚类和主题提取集成到一个统一的框架中，能够同时实现高质量的聚类结果和主题提取。我们的框架包括四个部分：增强的语言模型训练，降维，聚类和主题提取，其中增强的语言模型可以被看作是聚类和主题提取之间的桥梁。一方面，它为文本嵌入提供了强聚类结构，有利于有效的文本聚类;另一方面，由于其自关注结构，它高度关注主题相关词以进行主题提取。此外，增强的语言模型的训练是无监督的。在两个数据集上的实验证明了该框架的有效性，并为该框架中不同的模型组合提供了基准。
2023-01-03 cs.CL
Semi-supervised Clustering for Short Text via Deep Representation Learning
IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）
在这项工作中，我们提出了一个半监督的方法，短文本聚类，我们表示文本作为分布式向量与神经网络，并使用少量的标记数据来指定我们的意图聚类。我们设计了一个新的目标，将表示学习过程和k-means聚类过程结合在一起，并通过三个步骤迭代地优化目标，包括标记数据和未标记数据，直到收敛：（1）根据当前神经网络的表示将每个短文本分配到最近的质心;（2）根据步骤（1）的聚类分配重新估计聚类质心;（3）通过保持质心和聚类分配固定，根据目标更新神经网络。在四个数据集上的实验结果表明，该方法的效果明显优于其他几种文本聚类方法。
2017-07-14 cs.CL
Representation Learning for Short Text Clustering
Deakin University（迪肯大学）；University of Technology Sydney（悉尼科技大学）
由于短文本语料的稀疏性、高维性和噪声性，有效的表示学习是短文本聚类的关键。现有的预训练模型（例如，Word 2 vec和BERT）与传统的词袋（Bag-of-Words，BoW）模型相比，大大提高了短文本表示的表达能力，具有更精简、低维和连续的特征。然而，这些模型是为了通用目的而训练的，因此对于短文本聚类任务来说是次优的。在本文中，我们提出了两种方法来利用无监督自动编码器（AE）框架，根据这些预训练的文本模型进一步调整短文本表示，以获得最佳聚类性能。第一种方法STN-GAE（Structural Text Network Graph Autoencoder）通过构建文本网络，充分利用语料库中的结构化文本信息，然后采用图卷积网络作为编码器，将结构化特征与预先训练好的文本特征融合，进行文本表示学习。在我们的第二种方法软聚类分配自动编码器（SCA-AE）中，我们对自动编码器的潜在空间采用了额外的软聚类分配约束，以鼓励学习的文本表示更加聚类友好。我们在7个流行的短文本数据集上对两种方法进行了测试，实验结果表明，当只使用预训练好的模型进行短文本聚类时，BERT的性能优于BoW和Word 2 vec。然而，只要我们进一步调整预训练的表示，所提出的方法，如SCA-AE可以大大提高聚类性能，与单独使用BERT相比，准确率提高可以达到14%。
2021-09-21 cs.CL
Enhancement of Short Text Clustering by Iterative Classification
Dalhousie University（达尔豪西大学）
短文本聚类是一个具有挑战性的任务，由于缺乏信号包含在这样的短文本。在这项工作中，我们提出了迭代分类作为一种方法来浪费聚类质量（例如，准确性）的短文本。给定使用任意聚类算法获得的短文本的聚类，迭代分类应用离群值去除以获得无离群值的聚类。然后，它训练一个分类算法，使用非离群值的基础上，他们的集群分布。使用训练好的分类模型，迭代分类对离群值进行重新分类，以获得一组新的聚类。通过多次重复，我们获得了更好的文本聚类。我们的实验结果表明，所提出的聚类增强方法不仅提高了不同聚类方法的聚类质量（例如，k-means、k-means和分层聚类），而且在几个短文本数据集上的性能也优于现有技术的短文本聚类方法，具有统计上显著的优势。
2020-01-31 cs.CL cs.IR cs.LG
Mimicking Human Process: Text Representation via Latent Semantic Clustering for Classification
Peking University（北京大学）；Alibaba Group（阿里巴巴集团）
考虑到文本中具有不同特征的词对分类的重要性不同，将它们单独分组可以加强各部分的语义表达。因此，我们提出了一种新的文本表示方案，通过聚类的话，根据其潜在的语义和组合在一起，得到一组聚类向量，然后连接作为最终的文本表示。五个分类基准的评估证明了我们的方法的有效性。我们进一步进行可视化分析，显示统计聚类结果，并验证我们的动机的有效性。
2019-06-18 cs.CL
Distributional Modeling on a Diet: One-shot Word Learning from Text Only
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们测试了分布模型是否可以只从文本中一次性学习定义属性。使用贝叶斯模型，我们发现，第一次学习的总体结构在已知的数据中，在文本上下文和属性中，有助于一次性学习，并且个别上下文项可以是高度信息化的。我们的实验表明，我们的模型可以从一个单一的曝光时，给出了一个信息的话语学习属性。
2017-10-13 cs.CL
Robust Task Clustering for Deep Many-Task Learning
IBM Research（IBM研究院）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们研究了多任务环境下基于深度学习的多任务和少样本学习的任务聚类。针对深度学习场景，提出了一种新的任务相似性度量方法--跨任务迁移性能矩阵。虽然这个矩阵为我们提供了关键的信息，任务之间的相似性，其不对称的属性和不可靠的性能分数会影响传统的聚类方法不利。此外，不确定的任务对，即，具有极不对称的转移分数的那些可能共同地误导聚类算法以输出不准确的任务划分。为了克服这些局限性，我们提出了一种新的任务聚类算法，通过使用矩阵完成技术。该算法根据任务对聚类成员的确定性，构造了一个部分可观察的相似性矩阵。然后，我们使用矩阵完成算法来完成相似性矩阵。我们的理论分析表明，在温和的约束条件下，该算法将完美地恢复潜在的“真正的”相似性矩阵的概率很高。我们的研究结果表明，新的任务聚类方法可以发现任务集群，用于训练灵活和优越的神经网络模型，在多任务学习设置的情感分类和对话意图分类任务。我们的任务聚类方法还扩展了基于度量的少样本学习方法，以适应多个度量，这表明了经验优势，当任务是不同的。
2018-05-18 cs.AI cs.CL cs.LG
The SelectGen Challenge: Finding the Best Training Samples for Few-Shot Neural Text Generation
Saarland University（萨尔兰大学）；Microsoft Corporation（微软公司）
我们提出了一个共享的任务训练实例选择Few-Shot神经文本生成。大规模的预训练语言模型在Few-Shot文本生成方面取得了巨大的进步。尽管如此，几乎所有以前的工作只是简单地应用随机采样来选择Few-Shot训练实例。很少或根本没有注意到选择策略以及它们如何影响模型性能。选择策略的研究可以帮助我们（1）在下游任务中充分利用我们的注释预算，（2）更好地基准测试Few-Shot文本生成模型。我们欢迎提交，介绍他们的选择策略和对一代质量的影响。
2021-08-14 cs.CL
An end-to-end Neural Network Framework for Text Clustering
Tencent Inc.（腾讯公司）
无监督文本聚类是自然语言处理的主要任务之一，也是一个困难而复杂的问题。传统的\mbox{methods}通常使用单独的步骤来处理该任务，包括文本表示学习和对表示进行聚类。作为一种改进，神经方法也被引入用于连续表示学习以解决稀疏性问题。然而，多步骤过程仍然偏离了统一的优化目标。特别是聚类的第二步通常使用常规方法（例如k-Means）来执行。我们提出了一个纯神经框架的文本聚类在一个端到端的方式。它联合学习文本表示和聚类模型。当可以获得上下文时，我们的模型工作得很好，这在NLP领域几乎总是如此。我们有我们的方法\mbox{evaluated}在两个广泛使用的基准：IMDB电影评论的情感分类和$20$ -新闻组的主题分类。尽管它的简单，实验表明，该模型优于以前的聚类方法的大幅度。此外，该模型也验证了英语维基数据集作为一个大型语料库。
2019-03-22 cs.CL
Discriminative Language Model as Semantic Consistency Scorer for Prompt-based Few-Shot Text Classification
Fudan University（复旦大学）
提出了一种新的基于语义的文本微调方法（称为DLM-SCS），该方法利用预训练的区分性语言模型ELECTRA来区分标记是原始的还是生成的，用于Few-Shot文本分类。其基本思想是，使用真标签实例化的提示应该比使用假标签的其他提示具有更高的语义一致性得分。由于提示通常由几个组件（或部分）组成，因此可以相应地分解其语义一致性。每个组件的语义一致性计算，然后利用预训练的ELECTRA模型，而不引入额外的参数。大量的实验表明，我们的模型优于几个国家的最先进的基于图像的Few-Shot方法。
2022-10-23 cs.AI cs.CL cs.LG
Hybrid Multisource Feature Fusion for the Text Clustering
University of Electronic Science and Technology of China（电子科技大学）
文本聚类技术是一种无监督的文本挖掘方法，用于将大量的文本文档划分成组。已有研究表明，文本聚类算法很难获得比监督方法更好的性能，其聚类性能高度依赖于所选取的文本特征。目前，已有多种不同类型的文本特征生成算法，每种算法都是从特定的方面提取文本特征，如向量空间模型（VSM）、分布式词嵌入等，因此寻求一种新的方法从语料中获取尽可能完整的特征是提高聚类效果的关键。本文提出了一种混合多模型特征融合（HMFF）框架，该框架由多模型特征表示、互相似矩阵和特征融合三部分组成，通过对每个特征源构造互相似矩阵，并通过降维将互相似矩阵中的鉴别特征融合生成HMFF特征，则k均值聚类算法可以被配置为将输入样本划分为组。实验测试表明，我们的HMFF框架在11个公共基准数据集中的7个上的性能优于其他最近发表的算法，并且在其余4个基准数据集上也具有领先的性能。最后，我们在一个未知聚类数的COVID-19数据集上将HMFF框架与竞争对手进行了比较，结果表明HMFF框架生成的聚类将相似样本划分得更近。
2021-08-24 cs.CL
Benchmarking zero-shot and few-shot approaches for tokenization, tagging, and dependency parsing of Tagalog text
Electrical and Electronics Engineering Institute（电气与电子工程学院）；University of the Philippines（菲律宾大学）
任何书面语言中文本的语法分析通常涉及许多基本处理任务，例如标记化、形态标记和依存句法分析。对于具有大型数据集的语言，最先进的系统可以在这些任务上实现高准确性，但对于具有很少或没有注释数据的语言，结果很差。为了解决这个问题的TagSword语言，我们研究使用替代语言资源创建特定于任务的模型，在没有依赖性注释的TagSword数据。我们还探讨了使用词嵌入和数据增强，以提高性能时，只有少量的注释TagSign数据可用。我们表明，这些zero-shot和Few-Shot的方法产生了显着的改进，语法分析的域和域外的标签文本相比，国家的最先进的监督基线。
2023-01-06 cs.CL
ContrastNet: A Contrastive Learning Framework for Few-Shot Text Classification
Beihang University（北京航空航天大学）；University of Ottawa（渥太华大学）；University of Leeds（利兹大学）
提出对比学习框架ContrastNet，通过拉近同类、推开异类表示学习判别性特征，并在任务级和实例级引入无监督对比正则化防止过拟合，在8个数据集上超越现有最先进模型。
2023-05-16 cs.CL
ZEST: Zero-shot Learning from Text Descriptions using Textual Similarity and Visual Summarization
Bar-Ilan University（巴伊兰大学）；NVIDIA Research（英伟达研究院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们研究的问题，识别视觉实体的文本描述他们的类。具体来说，给定鸟类的图像及其物种的自由文本描述，我们学习根据物种描述对以前未见过的物种的图像进行分类。这种设置已经在视觉社区中以文本中的零样本学习的名义进行了研究，重点是学习将有关鸟类视觉方面的知识从可见的类转移到以前未见过的类。在这里，我们建议关注文本描述，并从描述中提取最相关的信息，以有效地将视觉特征与讨论它们的文本部分相匹配。具体而言，（1）我们建议利用物种之间的相似性，反映在物种的文本描述之间的相似性。(2)我们得到文本的视觉摘要，即，提取摘要，重点关注倾向于反映在图像中的视觉特征。我们提出了一个简单的基于注意力的模型，增加了相似性和视觉摘要组件。我们的实证结果一致且显着优于最先进的基于文本的零样本学习的最大基准，说明文本对于zero-shot图像识别的至关重要性。
2020-10-07 cs.CL
Neural Text Classification by Jointly Learning to Cluster and Align
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Pittsburgh（匹兹堡大学）
分布式文本聚类提供语义信息表示，并捕获每个词和语义聚类质心之间的相关性。我们扩展的神经文本聚类方法的文本分类任务，通过一个潜在的变量模型和分布式词嵌入的相互作用，以丰富的令牌的表示和测量令牌和每个可学习的聚类中心之间的相关性。该方法联合学习词聚类中心和聚类标记对齐，在多个基准数据集上取得了最新的结果，证明了所提出的聚类标记对齐机制确实有利于文本分类。值得注意的是，我们的定性分析已经明显地表明，所提出的模型学习的文本表示是符合我们的直觉。
2020-11-24 cs.CL
On Training Instance Selection for Few-Shot Neural Text Generation
Saarland University（萨尔大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
大规模预训练的语言模型在文本生成方面取得了巨大的进步。通过仅对少量实例进行微调（Few-Shot设置），可以实现令人印象深刻的性能。尽管如此，几乎所有以前的工作只是简单地应用随机采样来选择Few-Shot训练实例。很少或根本没有注意到选择策略以及它们如何影响模型性能。在这项工作中，我们提出了一个在Few-Shot神经文本生成的训练实例选择的研究。选择决策仅基于未标记的数据，以便在一定的标记成本预算下识别最值得注释的数据点。基于Few-Shot训练样本应该具有多样性并代表整个数据分布的直觉，我们提出了一种简单的K均值聚类选择策略。我们表明，即使与天真的基于聚类的方法，生成模型始终优于随机抽样的三个文本生成任务：数据到文本生成，文档摘要和问题生成。我们希望，这项工作将呼吁更多地关注这一基本上未经探索的领域。
2021-07-07 cs.CL cs.LG
MetricPrompt: Prompting Model as a Relevance Metric for Few-shot Text Classification
Harbin Institute of Technology（哈尔滨工业大学）
针对少样本文本分类中提示模型依赖言语化器设计的问题，提出将任务重构为文本对相关性估计的MetricPrompt方法，用提示模型作相关性度量，在多数据集少样本设置下达SOTA性能。
2023-06-15 cs.CL
Modular Speech-to-Text Translation for Zero-Shot Cross-Modal Transfer
Meta AI；Inria（法国国家信息与自动化研究所）
该研究针对语音到文本翻译任务，提出对采用共享固定大小表征的独立编解码器模块化方法进行多语言训练，显著提升了零样本跨模态语音翻译效果，在多语言上优于基于XLSR的有监督方法。
2023-10-05 cs.CL
Integrating Semantic Knowledge to Tackle Zero-shot Text Classification
Data Science Institute（数据科学研究所）；Imperial College London（伦敦帝国理工学院）；Department of Computing（计算系）
新兴类的训练数据不足甚至不可用是包括文本分类在内的许多分类任务的一大挑战。因此，识别在学习阶段从未见过的类的文本文档，即所谓的zero-shot文本分类，是困难的，只有有限的以前的作品解决了这个问题。在本文中，我们提出了一个两阶段的框架连同数据增强和特征增强来解决这个问题。四种语义知识（词嵌入，类描述，类层次结构，和一个通用的知识图谱）被纳入建议的框架，以有效地处理看不见的类的实例。实验结果表明，在zero-shot场景下，与基线和最近的方法相比，每个阶段以及两个阶段的组合在分类真实世界文本时实现了最佳的整体准确率。
2019-03-29 cs.CL
Segmentation of Expository Texts by Hierarchical Agglomerative Clustering
提出了一种基于层次凝聚聚类的文本切分方法。该方法以段落为基本段，以段落之间的词汇相似度为接近性检验，识别文本中的层次话语结构。线性分割可以通过应用两个简单的规则从所识别的结构中导出。然而，层次结构也可以用于文本的智能探索。建议的分割算法进行评估，对一个公认的线性分割方法，并显示出可比的结果。
1997-09-26 cmp-lg cs.CL
Few-Shot and Zero-Shot Learning for Historical Text Normalization
University of Copenhagen（哥本哈根大学）；University of Zurich（苏黎世大学）
历史文本规范化通常依赖于小的训练数据集。最近的工作表明，多任务学习可以通过利用与相关数据集的协同作用来实现显着的改进，但还没有对不同的多任务学习架构进行系统的研究。本文评估了63个多任务学习配置，用于基于序列到序列的历史文本规范化，跨越来自8种语言的10个数据集，使用自动编码，字素到音素映射和词形化作为辅助任务。当目标任务的训练数据有限时，我们观察到跨语言的一致的、显著的改进，但是当训练数据丰富时，改进很小或没有改进。我们还表明，零样本学习优于简单的，但相对较强的，身份基线。
2019-10-13 cs.CL cs.LG
Mutual Clustering on Comparative Texts via Heterogeneous Information Networks
National University of Defense Technology（国防科技大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Nanjing University of Science and Technology（南京理工大学）；Shandong University（山东大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Tsinghua University（清华大学）；Institute of Automation Chinese Academy of Sciences（中国科学院自动化研究所）；Qingdao Academy of Intelligent Industries（青岛智能产业技术研究院）；Macau University of Science and Technology（澳门科技大学）
目前，许多情报系统包含来自多个来源的文本，例如，公告板系统（BBS）帖子、推文和新闻。这些文本可以是“比较”的，因为它们可能在语义上相关，从而为我们提供了对同一主题或事件的不同视角。为了更好地组织多源文本并获得更全面的知识，我们提出了研究比较文本相互聚类（MCCT）的新问题，其目的是同时和协作地对比较文本进行聚类。MCCT问题很难解决，因为1）比较文本通常呈现不同的数据格式和结构，因此它们很难组织，以及2）缺乏有效的方法来连接语义相关的比较文本，以便于以统一的方式对它们进行聚类。为此，本文提出了一个基于异构信息网络的文本聚类框架HINT。HINT首先通过引入共享的“锚文本”来连接比较文本，将多源文本（例如新闻和推文）建模为异构信息网络。其次，构造了基于HINT的两个相似度矩阵和跨文本源知识转移的转移矩阵。然后利用构造的矩阵进行比较文本聚类。最后，提出了一种互聚类算法，通过引入聚类一致性约束，进一步统一了比较文本的聚类结果。我们在三个tweets-news数据集上进行了大量的实验，结果表明了该方法在解决MCCT问题上的有效性和鲁棒性。
2019-03-09 cs.CL cs.IR
Attentive Representation Learning with Adversarial Training for Short Text Clustering
East China Normal University（华东师范大学）；Shandong University（山东大学）；Tsinghua University（清华大学）；Jiangsu Normal University（江苏师范大学）
摘要短文本聚类对语义分析有着深远的影响，在语料库摘要、信息检索等领域有着重要的应用。然而，它不可避免地遇到了严重的稀疏短文本表示，使以前的聚类方法仍然远远不能令人满意。在本文中，我们提出了一种新的注意表示学习模型的镜头文本聚类，其中集群级的注意力被提出来捕捉文本表示和集群表示之间的相关性。在此基础上，将短文本的表示学习和聚类无缝集成到一个统一的模型中。为了进一步确保短文本的鲁棒模型训练，我们通过向聚类表示中注入扰动，将对抗训练应用于无监督聚类设置。模型参数和扰动通过极大极小博弈交替优化。在四个真实世界的短文本数据集上进行的大量实验表明，该模型优于几个强大的竞争对手，验证了鲁棒的对抗性训练产生了显着的性能增益。
2021-01-20 cs.CL cs.IR cs.LG
PESCO: Prompt-enhanced Self Contrastive Learning for Zero-shot Text Classification
Carnegie Mellon University（卡内基梅隆大学）
PESCO是一种新颖的对比学习框架，通过添加提示增强标签匹配并利用检索标签在自训练循环中丰富训练集，将文本分类转化为神经文本匹配问题，在四个基准数据集上实现了零样本文本分类的最先进性能。
2023-05-24 cs.CL
GloCOM: A Short Text Neural Topic Model via Global Clustering Context
Hanoi University of Science and Technology（河内理工大学）；University of Oregon（俄勒冈大学）
针对短文本主题建模中数据稀疏与标签稀疏问题，提出GloCOM模型，利用预训练嵌入构建全局聚类上下文并增强重建损失，实验证明其主题质量与文档表示优于现有方法。
2025-01-23 cs.CL
T-Modules: Translation Modules for Zero-Shot Cross-Modal Machine Translation
Meta AI；Inria（法国国家信息与自动化研究所）
我们提出了一种新的方法来执行语音和文本之间的zero-shot跨模态转换的翻译任务。多语言语音和文本被编码在一个联合的固定大小的表示空间。然后，我们比较了解码这些多模式和多语言固定大小表示的不同方法，从而实现语言和模式之间的零镜头翻译（zero-shot translation）。我们所有的模型都是在不需要跨模态标记翻译数据的情况下进行训练的。尽管是固定大小的表示，我们在几个文本和语音翻译任务上取得了非常有竞争力的结果。特别是，我们显著提高了Must-C上zero-shot语音翻译的最新水平。在我们的框架中实现语音解码器，我们介绍了zero-shot直接语音到语音和文本到语音翻译的第一个结果。
2022-11-10 cs.CL
Evaluating the fairness of task-adaptive pretraining on unlabeled test data before few-shot text classification
针对在未标注测试集上预训练可能导致基准偏向的问题，本文通过 25 个任务和 3 个模型的受控实验发现并无过度乐观证据，并建议少样本基准采用多个训练折。
2024-10-02 cs.CL cs.LG
Zero-shot Text Classification With Generative Language Models
NVIDIA（英伟达）
这项工作研究使用自然语言，使zero-shot模型适应新的任务。我们使用来自社交评论平台的文本和元数据作为简单预训练任务的来源。然后，我们提供的语言模型与分类任务的自然语言描述作为输入和训练它生成正确的答案在自然语言通过语言建模目标。这使得模型可以推广到新的分类任务，而不需要多个多任务分类头。我们展示了这些生成式语言模型的zero-shot性能，这些模型在来自torchtext库的六个基准文本分类数据集上进行了弱监督训练。尽管无法访问训练数据，我们实现了高达45%的绝对提高分类精度超过随机或多数类基线。这些结果表明，自然语言可以作为简单而强大的任务适应描述符。我们相信这为文本问题的新元学习策略指明了方向。
2019-12-10 cs.CL
