Stopping Active Learning based on Predicted Change of F Measure for Text Classification
The College of New Jersey（新泽西学院）
在主动学习期间，有效的停止方法允许用户限制注释的数量，这是成本有效的。在本文中，将介绍一种新的停止方法，称为F测度的预测变化，试图为用户提供一个估计有多少模型的性能在每次迭代的变化。这种停止方法可以应用于任何基础学习器。该方法对于减少构建文本分类系统时遇到的数据标注瓶颈非常有用。
2019-04-22 cs.CL cs.IR cs.LG
Improving Probabilistic Models in Text Classification via Active Learning
University of Michigan（密歇根大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
本文提出结合概率模型与主动学习的文本分类算法，利用有标签和无标签数据并优先标注难例，以少量标注与计算成本达到先进性能，并提供开源 activeText。
2022-09-26 cs.CL stat.AP stat.ME
CRL+: A Novel Semi-Supervised Deep Active Contrastive Representation Learning-Based Text Classification Model for Insurance Data
Schulich School of Engineering, University of Calgary（卡尔加里大学舒立克工程学院）；Munich Re Canada（慕尼黑再保险公司加拿大分公司）
金融行业，特别是保险行业每天都通过多种渠道（他们的代理人，客户服务中心，电子邮件，社交网络和一般的网络）收集大量的文本。收集的信息包括政策、专家和健康报告、索赔和投诉、调查结果以及相关社交媒体帖子。很难有效地提取标签，分类，并解释从这样的变化和非结构化的材料的基本信息。因此，保险业是通过自然语言处理（NLP）应用自由文本智能分析技术的行业之一。针对半监督学习在文本分类中的应用，提出了一种结合对比表示学习（CRL）和主动学习的文本分类模型CRL+。在该方法中，监督（CRL）被用来训练的RoBERTa Transformer模型编码的文本数据到一个对比表示空间，然后使用分类层进行分类。这种基于CRL的Transformer模型被用作所提出的主动学习机制中的基础模型，以迭代的方式对所有数据进行分类。所提出的模型进行评估，使用非结构化的讣告数据的目标，以确定从数据的死亡原因。该模型与CRL模型和基于RoBERTa的主动学习模型进行了比较。实验表明，该方法可以优于这两种方法，为这个特定的任务。
2023-02-08 cs.AI cs.CL
Reassessing Active Learning Adoption in Contemporary NLP: A Community Survey
GESIS – Leibniz Institute for the Social Sciences（莱比锡社会科学研究所）；Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)（可扩展数据与人工智能研究中心）；Dresden/Leipzig, Leipzig University（莱比锡大学）；TUD Dresden University of Technology（德累斯顿技术大学）；All Ears
本文通过社区调查重新评估了主动学习在NLP中的应用现状，揭示了数据标注和主动学习的相关性，并提出了缓解设置复杂性、成本不确定性和工具问题的策略。
2026-02-02 cs.CL cs.LG
A Survey of Active Learning for Natural Language Processing
Carnegie Mellon University（卡内基梅隆大学）
本文综述了主动学习在自然语言处理中的应用。除了细粒度分类的查询策略，我们还研究了其他几个重要方面的应用AL自然语言处理问题。其中包括用于结构化预测任务的AL、注释成本、模型学习（特别是使用深度神经模型）以及启动和停止AL。最后，我们以相关主题和未来方向的讨论结束。
2023-02-03 cs.CL
From Selection to Generation: A Survey of LLM-based Active Learning
University of California San Diego（加州大学圣地亚哥分校）；University of Wisconsin Madison（威斯康星大学麦迪逊分校）；Carnegie Mellon University（卡内基梅隆大学）；University of Rochester（罗切斯特大学）；Adobe Research（Adobe研究）；Dolby Labs（杜比实验室）；Cisco AI Research（思科人工智能研究）；University of Oregon（俄勒冈大学）；University of Southern California（南加州大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Dartmouth College（达特茅斯学院）
本文综述了基于大语言模型的主动学习技术，提出分类法并分析LLM在数据选择、生成和标注中的作用及其对LLM学习范式的影响，同时指出挑战与未来方向。
2025-05-31 cs.CL cs.LG
An Empirical Survey of Unsupervised Text Representation Methods on Twitter Data
ProtagoLabs；Dartmouth College（达特茅斯学院）
近年来，NLP领域取得了前所未有的成就。最值得注意的是，随着大规模预训练的基于transformer的语言模型（如BERT）的出现，文本表示有了明显的改进。然而，目前还不清楚这些改进是否会转化为嘈杂的用户生成的文本，如推文。在本文中，我们提出了一个实验性的调查，广泛的知名的文本表示技术的文本聚类嘈杂的Twitter数据的任务。我们的研究结果表明，更先进的模型不一定最好的工作推文，在这方面需要更多的探索。
2020-12-07 cs.CL cs.LG
Automatic Arabic Dialect Identification Systems for Written Texts: A Survey
Taif University（泰夫大学）
阿拉伯语方言识别是自然语言处理的一项具体任务，旨在自动预测给定文本的阿拉伯语方言。阿拉伯语方言识别是各种自然语言处理应用（例如机器翻译、多语言文本到语音合成和跨语言文本生成）的第一步。因此，在过去十年中，人们对解决阿拉伯方言识别问题的兴趣有所增加。在本文中，我们提出了一个全面的调查阿拉伯语方言识别研究的书面文本。首先，我们要明确问题及其挑战。然后，调查广泛地讨论了在批判的态度与阿拉伯语方言识别任务的许多方面。因此，我们回顾了传统的机器学习方法，深度学习架构和复杂的学习方法来识别阿拉伯语方言。我们还详细介绍了用于训练所提出的系统的特征表示的功能和技术。此外，我们说明了文献中研究的阿拉伯方言的分类，阿拉伯方言识别进行的文本处理的各个层次（例如，标记、句子和文档级别），以及可用的注释资源，包括评估基准语料库。在调查结束时讨论了公开的挑战和问题。
2020-09-26 cs.CL cs.LG
Evaluation of Text Generation: A Survey
Facebook AI Research（Facebook人工智能研究）；University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
本文综述了近年来发展起来的自然语言生成系统的评价方法。我们将NLG评估方法分为三类：（1）以人为中心的评估指标，（2）不需要训练的自动指标，以及（3）机器学习的指标。对于每个类别，我们讨论了已经取得的进展和仍然面临的挑战，重点是最近提出的NLG任务和神经NLG模型的评估。然后，我们提出了两个特定任务的NLG评估的自动文本摘要和长文本生成的例子，并提出了未来的研究方向。
2021-05-18 cs.CL cs.LG
Medical symptom recognition from patient text: An active learning approach for long-tailed multilabel distributions
Stanford University（斯坦福大学）；Curai（库莱公司）
我们研究从患者文本中识别医学症状的问题，目的是从患者那里收集相关信息（称为病史）。典型的患者文本通常描述患者正在经历的症状，并且这样的文本的单个实例可以用多个症状“标记”。这使得学习医学症状识别器具有挑战性，因为i）缺乏大量注释数据的可用性以及ii）单个文本可以映射到的多个症状的大的未知范围。此外，患者文本的特征通常在于数据中的长尾（即，某些标记/症状比其它标记/症状更频繁地发生，例如"发烧"与"便血"）。在本文中，我们介绍了一种主动学习方法，利用不断完善的基础结构，学习潜在空间选择最翔实的例子标记。这使得能够选择信息量最大的示例，从而通过学习的模型逐渐增加症状范围的覆盖率，尽管数据分布中存在长尾。
2021-03-28 cs.CL cs.LG
Investigating the Effectiveness of Representations Based on Word-Embeddings in Active Learning for Labelling Text Datasets
Teagasc Agriculture and Food Development Authority（Teagasc农业与食品发展局）
手动标记大量文本数据集是一项耗时、昂贵且费力的任务，但对于支持基于文本数据集的机器学习来说是必要的。主动学习已被证明是一种有效的方法，可以减轻在利用大量未标记数据进行机器学习任务时所需的一些工作，而无需完全标记它们。然而，在执行主动学习时，用于表示文本文档的表示机制对该过程的有效性具有重要影响。虽然简单的向量表示（如单词袋）已被证明是在主动学习期间表示文档的有效方法，但基于神经网络研究中流行的词嵌入的表示机制（例如word 2 vec和基于transformer的模型，如BERT）的出现提供了一种有前途的，但尚未完全探索的替代方案。本文描述了一个大规模的评估不同的文本表示机制的有效性，主动学习跨越8个数据集，从不同的领域。这项评估表明，使用基于现代词嵌入的表示-特别是BERT-，这还没有广泛用于主动学习，比更常用的基于矢量的方法，如词袋，取得了显着的改善。
2019-10-10 cs.CL cs.LG stat.ML
Deep Learning for Text Style Transfer: A Survey
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Max Planck Institute（马克斯·普朗克研究所）；ETH Zürich（苏黎世联邦理工学院）；UC San Diego（加州大学圣迭戈分校）；University of Waterloo（滑铁卢大学）；University of Michigan（密歇根大学）
文本风格转换是自然语言生成中的一项重要任务，旨在控制生成文本中的某些属性，如礼貌、情感、幽默等。它在自然语言处理领域有着悠久的历史，最近由于深度神经模型带来的有前途的性能而重新获得了极大的关注。本文对神经文本风格迁移的研究进行了系统的综述，涵盖了自2017年第一个神经文本风格迁移工作以来的100多篇代表性文章。我们讨论的任务制定，现有的数据集和子任务，评估，以及丰富的方法，在并行和非并行数据的存在。我们还就有关这项任务未来发展的各种重要主题进行了讨论。我们的策展论文列表位于https://github.com/zhijing-jin/Text_Style_Transfer_Survey
2021-12-16 cs.AI cs.CL cs.LG
TASSY -- A Text Annotation Survey System
University of Konstanz（康斯坦茨大学）；University of Passau（帕绍大学）；University of Wuppertal（伍珀塔尔大学）
我们提出了一个免费和开源的工具，用于创建基于Web的调查，包括文本注释任务。现有工具提供文字注释或测量功能，但不能同时提供。结合这两种输入类型对于调查读者对文本的感知特别相关，这也取决于读者的背景，例如年龄，性别和教育。我们的工具主要满足图书馆和信息科学，社会科学和人文科学研究人员的需求，他们应用内容分析来调查，例如，媒体偏见、政治传播或假新闻。
2021-12-16 cs.CL
MedCATTrainer: A Biomedical Free Text Annotation Interface with Active Learning and Research Use Case Specific Customisation
King’s College London（伦敦国王学院）；University College London（伦敦大学学院）；Health Data Research UK London（英国健康数据研究中心伦敦分部）
我们目前MedCATTrainer的接口，用于建立，改进和定制一个给定的命名实体识别和链接（NER+L）模型的生物医学领域的文本。NER+L通常被用作从临床文本中获得价值的第一步。由于需要专业领域知识，因此很难收集用于训练模型的标记数据。MedCATTrainer提供了一个交互式的网络界面，通过主动学习检查和改进来自底层NER+L模型的识别实体。临床研究数据的二次使用通常具有特定的任务和背景标准。MedCATTrainer提供了一个进一步的接口来定义和收集研究人员特定用例的监督学习训练数据。初步结果表明，我们的方法允许有效和准确的收集研究用例特定的训练数据。
2019-07-16 cs.CL cs.HC cs.LG
Automated text summarisation and evidence-based medicine: A survey of two domains
Macquarie University（麦考瑞大学）；CSIRO Australia（澳大利亚联邦科学与工业研究组织）
循证医学（EBM）的实践促使医生在做出临床决策时利用最新的研究证据。由于各种医学主题的大量和不断增长的出版研究，从业者经常发现自己的信息超载。因此，自然语言处理研究最近已经开始探索用于执行医学领域特定的自动文本摘要（ATS）技术的技术-针对压缩大型医学文本的任务。然而，为这项任务开发有效的摘要技术需要跨领域的知识。我们提出了一个调查的循证医学，特定领域的需求，循证医学，自动摘要技术，以及它们是如何被应用到迄今为止。我们设想，这项调查将作为第一资源，为循证医学的未来业务文本摘要技术的发展。
2017-06-25 cs.CL
Text Summarization Techniques: A Brief Survey
University of Georgia（佐治亚大学）；Institute of Bioinformatics（生物信息学研究所）
近年来，来自各种来源的文本数据量呈爆炸式增长。这一卷文本是一个宝贵的信息和知识来源，需要有效地总结才能有用。本文综述了文本自动摘要的主要方法。我们回顾了不同的总结过程，并描述了不同方法的有效性和缺点。
2017-07-28 cs.CL
Survey of Query-based Text Summarization
针对基于查询的文本摘要领域现有研究缺乏系统梳理的问题，本综述总结了该领域及相关通用文本摘要的代表性研究，并提出分类体系与相关分析。
2024-10-06 cs.CL cs.IR
Content Selection in Data-to-Text Systems: A Survey
Edinburgh Napier University（爱丁堡纳皮尔大学）
数据到文本系统在从数据自动生成报告方面非常强大，因此它们简化了复杂数据的表示。数据到文本系统不是使用可视化技术来呈现数据，而是使用自然（人类）语言，这是人与人之间交流的最常见方式。此外，数据到文本系统可以使其输出内容适应用户的偏好、背景或兴趣，因此用户可以愉快地与之交互。内容选择是每个数据到文本系统的重要组成部分，因为它是确定哪些可用信息应该传达给用户的模块。本文首先介绍了数据到文本生成领域，描述了一般的数据到文本系统的体系结构，然后回顾了最先进的内容选择方法。最后，它提供了选择方法的建议，并讨论了未来研究的机会。
2016-10-26 cs.CL
A Survey on Retrieval-Augmented Text Generation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；University of Cambridge（剑桥大学）；The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
近年来，检索增强的文本生成越来越受到计算语言学界的关注。与传统的文本生成模型相比，检索增强文本生成模型具有显著的优势，特别是在许多自然语言处理任务中，检索增强文本生成模型的性能达到了最先进的水平。本文旨在对检索增强的文本生成进行综述。首先介绍了检索增强生成的一般范式，然后根据对话响应生成、机器翻译和其他生成任务的不同，回顾了值得注意的方法。最后，它指出了一些重要的方向，最近的方法，以促进未来的研究。
2022-02-13 cs.CL
Recent Advances in Text-to-SQL: A Survey of What We Have and What We Expect
University of Michigan（密歇根大学）；Westlake University（西湖大学）
Text-to-SQL由于能够将自然语言中的语义转换为SQL查询，并在构建与数据库系统的自然语言接口中得到了实际应用，因此受到了自然语言处理和数据库社区的关注。文本到SQL的主要挑战在于对自然语句的含义进行编码，解码为SQL查询，以及在这两种形式之间转换语义。最近的进展在不同程度上解决了这些挑战。然而，仍然缺乏对这项任务的全面调查。为此，我们回顾了文本到SQL的数据集，方法和评估的最新进展，并提供了这个系统的调查，解决了上述挑战，并讨论了潜在的未来方向。我们希望这项调查可以作为快速访问现有的工作，并激励未来的研究。
2022-08-22 cs.CL
Back Translation Survey for Improving Text Augmentation
PeopleTec, Inc（PeopleTec公司）；Auburn University（奥本大学）
自然语言处理（NLP）在很大程度上依赖于训练数据。随着Transformers变得越来越大，它们需要大量的训练数据。为了满足这个要求，文本扩充应该被看作是一种扩展当前数据集和泛化模型的方法。我们将研究的一个文本增强是翻译增强。我们把一个英语句子翻译成另一种语言，然后再翻译回英语。在本文中，我们研究了108种不同语言的反向翻译对各种指标和文本嵌入的影响。
2022-11-16 cs.CL
More Than Reading Comprehension: A Survey on Datasets and Metrics of Textual Question Answering
University of Florida（佛罗里达大学）
文本问答（QA）的目的是使用非结构化数据以自然语言的形式对用户的问题提供精确的答案。实现这一目标的最流行的方法之一是机器阅读理解（MRC）。近年来，许多新的数据集和评价指标的基础上，经典的MRC任务已经提出了更广泛的文本QA任务。在本文中，我们调查了47个最近的文本QA基准数据集，并从应用的角度提出了一个新的分类。此外，本文还总结了文本QA任务的8个评价指标。最后，我们讨论了当前的趋势，在构建文本QA基准，并建议未来的工作方向。
2022-02-04 cs.AI cs.CL
A Survey of AI Text-to-Image and AI Text-to-Video Generators
Kent State University（肯特州立大学）
本文综述了AI文生图与文生视频生成模型，涵盖数据预处理、神经网络类型、评估指标，并讨论挑战与未来方向，指出其在视频制作、内容创作和数字营销中的广阔应用前景。
2023-11-10 cs.AI cs.CL cs.CV
A Systematic Survey of Text Worlds as Embodied Natural Language Environments
University of Arizona（亚利桑那大学）
文本世界是一种虚拟环境，与2D或3D环境不同，它是专门使用文本描述呈现的。这些环境提供了一种替代高保真度的3D环境，因为它们的进入门槛低，提供了研究语义，组合推理和其他高级任务的能力，具有丰富的高级动作空间，同时控制感知输入。本系统的调查概述了工具，环境和代理建模的文本世界的最新发展，同时检查最近的趋势，知识图谱，常识推理，迁移学习文本世界的性能，以更高的保真度的环境，以及近期的发展目标，一旦实现，使文本世界自然语言处理有吸引力的一般研究范式。
2021-07-08 cs.AI cs.CL
Survey of Text-based Epidemic Intelligence: A Computational Linguistic Perspective
CSIRO Data61（澳大利亚联邦科学与工业研究组织数据61中心）；Kirby Institute, The University of New South Wales（柯比研究所、新南威尔士大学）
流行病情报利用正式（如医院记录）和非正式（如网络上用户生成的文本）的信息来源来检测疾病爆发。在本调查中，我们讨论了使用文本数据集的流行病情报方法，将其称为“基于文本的流行病情报”。我们将过去的工作分为两大类：健康提及分类（从大量文本中选择相关文本）和健康事件检测（从相关文本集合中预测流行病事件）。我们讨论的重点是这两个类别中潜在的计算语言技术。该调查还提供了流行病情报的注释技术、资源和评估策略的最新发展水平的详细信息。
2019-03-14 cs.CL cs.SI
In your own words: computationally identifying interpretable themes in free-text survey data
Technology and Operations Management Unit, Harvard Business School（哈佛商学院技术与运营管理系）
本文提出In Your Own Words框架，通过计算方法分析自由文本调查数据，识别结构化且可解释的主题，提升系统分析能力，应用于种族、性别和性取向数据，发现更清晰的主题，具有三个实际应用：建议新问题、揭示标准化分类内异质性、揭示自我认同与感知认同的系统不一致。
2026-04-03 cs.CL cs.CY
A Brief Survey of Text Mining: Classification, Clustering and Extraction Techniques
University of Georgia（佐治亚大学）
每天生成的文本数量正在急剧增加。这些大量的非结构化文本不能简单地被计算机处理和感知。因此，需要高效和有效的技术和算法来发现有用的模式。文本挖掘是从文本中提取有意义信息的任务，近年来受到了广泛的关注。在本文中，我们描述了几个最基本的文本挖掘任务和技术，包括文本预处理，分类和聚类。此外，我们简要介绍了文本挖掘在生物医学和医疗保健领域。
2017-07-28 cs.AI cs.CL cs.IR
Interpretable Text Embeddings and Text Similarity Explanation: A Survey
University of Zurich（苏黎世大学）；University of Stuttgart（斯图加特大学）
该综述针对文本嵌入可解释性及相似性解释的研究缺口，系统梳理了固有可解释文本嵌入与文本相似性解释的相关方法、思路、权衡与评估方式，并总结经验、指出未来研究方向。
2025-10-02 cs.AI cs.CL cs.IR
Evaluating the Construct Validity of Text Embeddings with Application to Survey Questions
Utrecht University（乌得勒支大学）；University Medical Center Utrecht (UMCU)（乌得勒支大学医学中心）
来自自然语言处理的文本嵌入模型可以将文本数据（例如单词、句子、文档）映射到假定有意义的数字表示（也称为文本嵌入）。虽然这些模型越来越多地应用于社会科学研究，但一个重要的问题往往没有得到解决：这些嵌入在多大程度上是与社会科学研究相关的结构的有效表示。因此，我们建议使用经典的结构效度框架来评估文本嵌入的有效性。我们展示了这个框架如何适应文本嵌入的不透明和高维性质，并应用于调查问题。在我们的结构有效性分析中，我们包括几种流行的文本嵌入方法（例如fastText，GloVe，BERT，Sentence-BERT，Universal Sentence Encoder）。在某些情况下，我们发现收敛和判别有效性的证据。我们还表明，嵌入可以用来预测受访者的答案，全新的调查问题。此外，基于BERT的嵌入技术和通用语句编码器提供了比其他更有效的调查问题表示。因此，我们的研究结果突出了在社会科学研究中部署文本嵌入之前检查其结构效度的必要性。
2022-02-18 cs.CL cs.CY stat.AP
