Utilizing Semantic Textual Similarity for Clinical Survey Data Feature Selection
Washington University in St. Louis(圣路易斯华盛顿大学);Washington University School of Medicine in St. Louis(圣路易斯华盛顿大学医学院)
针对调查数据特征多、样本少易导致模型过拟合的问题,提出利用语言模型计算特征与目标的语义文本相似度(STS)进行特征选择,结合mRMR算法在PPSP临床初步调查数据上验证,效果优于传统特征选择方法。
2023-08-19 cs.CL cs.LG
A Survey of Paraphrasing and Textual Entailment Methods
Athens University of Economics and Business(雅典经济与商业大学)
释义方法识别、生成或提取表达几乎相同信息的短语、句子或较长的自然语言表达。另一方面,文本蕴涵方法识别、生成或提取成对的自然语言表达,使得读取(并信任)成对的第一元素的人将最有可能推断出另一元素也是真的。释义可以被看作是双向的文本蕴涵和方法,从这两个领域往往是相似的。这两种方法至少在原则上都适用于广泛的自然语言处理应用,包括问答、摘要、文本生成和机器翻译。我们总结了这两个领域的关键思想,依次考虑识别,生成和提取方法,也指向突出的文章和资源。
2010-05-30 cs.AI cs.CL
Graph Neural Networks for Text Classification: A Survey
The University of Sydney(悉尼大学);The University of Western Australia(西澳大利亚大学)
本文系统综述了截至2023年的语料库级和文档级图神经网络文本分类方法,涵盖图构建、学习过程、数据集、评价指标及实验设计,并比较不同技术的优缺点与未来方向。
2024-07-05 cs.CL
A Survey of Active Learning for Text Classification using Deep Neural Networks
University of Leipzig(莱比锡大学)
近年来,自然语言处理(NLP)和神经网络(NN)都发生了重大变化。然而,对于主动学习(AL)目的,NN不太常用-尽管它们目前很受欢迎。通过将NN的卓越文本分类性能用于AL,我们可以使用相同的数据量来提高模型的性能,或者减少数据,从而减少所需的注释工作,同时保持相同的性能。我们回顾了使用深度神经网络(DNN)进行文本分类的AL,并详细说明了过去阻碍采用的两个主要原因:(a)NN无法提供可靠的不确定性估计,最常用的查询策略依赖于此,以及(b)在小数据上训练DNN的挑战。为了调查前者,我们构建了一个分类的查询策略,区分基于数据的,基于模型的,基于预测的实例选择,并调查这些类在最近的研究中的流行程度。此外,我们回顾了(D)NN背景下基于NN的NLP最新进展,如词嵌入或语言模型,调查了AL,文本分类和DNN交叉点的当前最新技术水平,并将NLP的最新进展与AL联系起来。最后,我们分析了AL文本分类的最新工作,将各自的查询策略与分类法联系起来,并概述了共性和缺点。因此,我们强调了当前研究的差距,并提出了开放的研究问题。
2020-08-17 cs.CL cs.LG
Advances and Challenges in Semantic Textual Similarity: A Comprehensive Survey
本文综述了语义文本相似性在变压器模型、对比学习、领域适应等六个方面的最新进展,探讨了多模态、图方法和知识增强技术,并指出现有挑战与未来发展方向。
2025-12-19 cs.AI cs.CL math.OC
A Survey on Recognizing Textual Entailment as an NLP Evaluation
Barnard College, Data Science Institute, Columbia University(巴纳德学院、数据科学研究所、哥伦比亚大学);Columbia University(哥伦比亚大学)
文本蕴涵识别(RTE)是一个比较不同自然语言处理系统语义理解的统一评价框架。在这篇综述论文中,我们概述了评估和理解NLP系统推理能力的不同方法。然后,我们通过突出的RTE数据集以及RTE数据集的进展来集中讨论RTE,这些数据集专注于可用于在细粒度级别上评估NLP系统的特定语言现象。我们的结论是,在评估NLP系统时,社区应该利用新引入的RTE数据集,专注于特定的语言现象。
2020-10-06 cs.CL
A Survey on Text Classification: From Shallow to Deep Learning
Beihang University(北京航空航天大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University of Leeds(利兹大学);Lehigh University(里海大学)
文本分类是自然语言处理中最基本、最关键的任务。由于深度学习取得了前所未有的成功,过去十年来,这一领域的研究激增。文献中提出了许多方法、数据集和评价指标,因此需要进行全面和更新的调查。本文通过回顾1961年至2021年的最新方法填补了这一空白,重点关注从传统模型到深度学习的模型。我们根据文本内容和用于特征提取和分类的模型建立了一个文本分类系统。然后,我们将详细讨论这些类别中的每一个,处理支持预测测试的技术发展和基准数据集。本调查还提供了不同技术之间的全面比较,以及各种评估指标的优缺点。最后,总结了本研究的主要意义、未来研究方向和面临的挑战。
2021-12-22 cs.CL
Short Text Topic Modeling Techniques, Applications, and Performance: A Survey
University of Louisiana at Lafayette(路易斯安那大学拉斐特分校)
分析短文本推断歧视性和连贯的潜在主题,这是一个关键的和基本的任务,因为许多现实世界的应用程序需要短文本的语义理解。传统的长文本主题建模算法(例如,PLSA和LDA)不能很好地解决这个问题,因为在短文本中只有非常有限的词共现信息。因此,短文本主题建模近年来已经引起了机器学习研究界的广泛关注,旨在克服短文本中的稀疏性问题。在这项调查中,我们进行了全面的审查,各种短文本主题建模技术提出的文献。我们提出了三类方法的基础上狄利克雷多项式混合,全球词同现,自聚合,在每一类的代表性方法的例子和分析其性能的各种任务。我们开发了第一个全面的开源库,称为STTM,用于Java,将所有调查的算法集成在一个统一的界面,基准数据集,以促进在这一研究领域的新方法的扩展。最后,我们在许多真实世界的数据集上评估了这些最先进的方法,并将它们的性能与长文本主题建模算法进行了比较。
2019-04-13 cs.CL cs.IR
Sentiment Analysis of Czech Texts: An Algorithmic Survey
Institute of Formal and Applied Linguistics, Charles University(查尔斯大学形式与应用语言学研究所)
在在线通信、商务和交易领域,分析以各种自然语言书写的文本的情感极性变得至关重要。虽然在英语的资源和研究方面有很多贡献,但像捷克语这样的“较小”语言并没有得到太多的关注。在这项调查中,我们探索了许多现有的机器学习算法对捷克Facebook帖子和产品评论进行情感分析的有效性。我们报告了每个算法的最佳参数值集以及两个数据集中的得分。我们最后观察到,支持向量机是最好的分类器和努力,以提高性能,甚至更多的装袋,提升或投票集成方案未能做到这一点。
2019-03-15 cs.CL cs.IR cs.LG
Adversarial Attacks and Defense on Texts: A Survey
Tsinghua University(清华大学)
近年来,深度学习模型已被广泛用于物体识别、自动驾驶汽车、人脸识别、语音识别、情感分析等各种目的。然而,近年来的研究表明,这些模型对噪声的敏感性较差,从而导致模型的误分类。这个问题在图像和音频领域得到了深入的研究。关于文本数据的这一问题研究很少。甚至更少的调查已经执行了这个主题,以了解不同类型的攻击和防御技术。在本文中,我们积累和分析了不同的攻击技术和各种防御模型,以提供更全面的想法。随后,我们指出了所有论文中的一些有趣的发现以及在这一领域取得进展需要克服的挑战。
2020-06-14 cs.CL
A Comprehensive Survey of Text Classification Techniques and Their Research Applications: Observational and Experimental Insights
Khalifa University(哈利法大学);University of London, Birkbeck College(伦敦大学伯克贝克学院);Brighton College, Dubai(迪拜布莱顿学院)
本文提出一个基于研究领域的文本分类分层分类法,并通过经验与实验双重评估方法比较和排名各方法学子技术,为研究人员提供领域特定的决策依据。
2024-11-25 cs.CL
Bridging Text and Molecule: A Survey on Multimodal Frameworks for Molecule
Center for Research on Intelligent Perception and Computing (CRIPAC)(智能感知与计算研究中心);State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS)(多模态人工智能系统国家重点实验室);Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
本文首次对分子研究的多模态框架进行系统性综述,探讨了分子深度学习的发展、文本-分子对齐方法、大语言模型及提示技术的应用,并指出了药物发现等领域的应用前景与未来研究方向。
2024-03-07 cs.CL cs.LG q-bio.BM
No Pattern, No Recognition: a Survey about Reproducibility and Distortion Issues of Text Clustering and Topic Modeling
Institute of Mathematics and Computer Science(数学与计算机科学研究所);University of São Paulo(圣保罗大学);São Carlos School of Engineering(圣卡洛斯工程学院);Institute of Informatics(信息学研究所);Federal University of Goiás(戈亚斯联邦大学)
使用机器学习算法从未标记的文本中提取知识可能是复杂的。文档分类和信息检索是可以受益于无监督学习的两个应用(例如,文本聚类和主题建模),包括探索性数据分析。然而,无监督学习范式带来了可重复性问题。初始化可导致取决于机器学习算法的可变性。此外,在考虑簇几何形状时,失真可能会产生误导。在这些原因中,异常值和异常的存在可能是一个决定性因素。尽管初始化和离群值问题与文本聚类和主题建模相关,但作者没有找到对它们的深入分析。该调查提供了这些子领域的系统文献综述(2011-2022年),并提出了一个通用术语,因为类似的程序有不同的术语。作者描述了研究机会,趋势和开放的问题。附录总结了文本向量化、因子分解和聚类算法的理论背景,这些理论背景直接或间接地与所回顾的作品相关。
2022-08-02 cs.CL cs.IR cs.LG
Sentiment Analysis: A Survey
University at Buffalo(布法罗大学)
情感分析(也称为意见挖掘)是指利用自然语言处理、文本分析和计算语言学等方法,识别和提取源材料中的主观信息。挖掘用户生成内容中表达的意见是一个具有挑战性但实际上非常有用的问题。本调查将涵盖一般情感分析和意见挖掘中使用的各种方法和方法。重点将是互联网文本一样,产品评论,推文和其他社会媒体。
2014-05-11 cs.CL cs.IR
Deep Learning for Text Style Transfer: A Survey
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Max Planck Institute(马克斯·普朗克研究所);ETH Zürich(苏黎世联邦理工学院);UC San Diego(加州大学圣迭戈分校);University of Waterloo(滑铁卢大学);University of Michigan(密歇根大学)
文本风格转换是自然语言生成中的一项重要任务,旨在控制生成文本中的某些属性,如礼貌、情感、幽默等。它在自然语言处理领域有着悠久的历史,最近由于深度神经模型带来的有前途的性能而重新获得了极大的关注。本文对神经文本风格迁移的研究进行了系统的综述,涵盖了自2017年第一个神经文本风格迁移工作以来的100多篇代表性文章。我们讨论的任务制定,现有的数据集和子任务,评估,以及丰富的方法,在并行和非并行数据的存在。我们还就有关这项任务未来发展的各种重要主题进行了讨论。我们的策展论文列表位于https://github.com/zhijing-jin/Text_Style_Transfer_Survey
2021-12-16 cs.AI cs.CL cs.LG
A Survey of Knowledge-Enhanced Text Generation
University of Notre Dame(圣母大学);Microsoft Research(微软研究院);The Chinese University of Hong Kong(香港中文大学);University of California at San Diego(加州大学圣迭戈分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
文本生成的目标是使机器能够用人类的语言进行表达。它是自然语言处理中最重要也是最具挑战性的任务之一。自2014年以来,Seq 2Seq开创的各种神经编码器-解码器模型已经被提出,通过学习将输入文本映射到输出文本来实现目标。然而,仅靠输入文本往往只能提供有限的知识来生成所需的输出,因此文本生成的性能在许多现实场景中仍然远远不能令人满意。为了解决这个问题,研究人员考虑将输入文本之外的各种形式的知识纳入生成模型。这一研究方向被称为知识增强文本生成。本文综述了近五年来知识增强文本生成的研究进展。主要内容包括两部分:(1)知识集成到文本生成中的一般方法和体系结构;(2)针对不同形式的知识数据,给出具体的技术和应用。这项调查可以有广泛的受众,包括学术界和工业界的研究人员和从业人员。
2022-01-22 cs.AI cs.CL cs.LG
A survey on text generation using generative adversarial networks
São Paulo State University(圣保罗州立大学)
本文对使用生成对抗网络进行文本生成的研究进展进行了全面的综述。使用对抗学习来生成文本是有希望的,因为它提供了生成所谓的“自然”语言的替代方案。然而,对抗性文本生成并不是一项简单的任务,因为其最重要的架构生成对抗网络被设计用于处理连续信息(图像)而不是离散数据(文本)。因此,大多数作品都基于三种可能的选择,即,Gumbel-Softmax微分,强化学习和修改的训练目标。所有的替代品在本次调查中进行审查,因为他们提出了最新的方法来生成文本使用基于对抗的技术。所选的作品来自著名的数据库,如Science Direct,IEEEEXplore,Springer,Association for Computing Machinery和arXiv,而每一个选定的工作都经过严格的分析和评估,以呈现其目标,方法和实验结果。
2022-12-20 cs.AI cs.CL cs.LG
A Survey on Temporal Reasoning for Temporal Information Extraction from Text (Extended Abstract)
University Medical Center Utrecht(乌得勒支大学医学中心);KU Leuven(鲁汶大学)
时间深深地融入了人们对世界的感知和交流。我们几乎是无意识地为我们的语言话语提供了时间线索,比如动词时态,没有这些线索,我们很难造句。从文本中提取时间线索,并构建关于描述事件顺序的全局时间视图是自动自然语言理解的主要挑战。时间推理是将不同的时间线索组合成一个连贯的时间视图的过程,在时间信息抽取中起着核心作用。本文综述了过去几十年来关于文本时间信息抽取的时间推理研究,并提供了一个将符号推理与基于机器学习的信息抽取系统相结合的案例研究。
2020-05-15 cs.AI cs.CL cs.LG
Optimization Is Not All You Need
Scale AI(Scale人工智能公司);University of California, Santa Barbara(加州大学圣巴巴拉分校)
研究指出优化并非全部,以GPT - 2为例,通过追踪其预训练等环节的优化文化,发现优化程序虽能测文本可能性,但无法区分不可能性是错误还是创新,却在五年内获设定语言协议权威。
2026-07-16 cs.AI cs.CL
A Systematic Survey of Text Worlds as Embodied Natural Language Environments
University of Arizona(亚利桑那大学)
文本世界是一种虚拟环境,与2D或3D环境不同,它是专门使用文本描述呈现的。这些环境提供了一种替代高保真度的3D环境,因为它们的进入门槛低,提供了研究语义,组合推理和其他高级任务的能力,具有丰富的高级动作空间,同时控制感知输入。本系统的调查概述了工具,环境和代理建模的文本世界的最新发展,同时检查最近的趋势,知识图谱,常识推理,迁移学习文本世界的性能,以更高的保真度的环境,以及近期的发展目标,一旦实现,使文本世界自然语言处理有吸引力的一般研究范式。
2021-07-08 cs.AI cs.CL
Indian Legal NLP Benchmarks : A Survey
ThoughtWorks(思特沃克)
本文综述了印度法律NLP基准现状,提出创建针对法律系统特有任务的挑战性基准,以推动该领域创新并惠及AI社区与法律界。
2021-07-13 cs.AI cs.CL cs.LG
An Empirical Survey of Unsupervised Text Representation Methods on Twitter Data
ProtagoLabs;Dartmouth College(达特茅斯学院)
近年来,NLP领域取得了前所未有的成就。最值得注意的是,随着大规模预训练的基于transformer的语言模型(如BERT)的出现,文本表示有了明显的改进。然而,目前还不清楚这些改进是否会转化为嘈杂的用户生成的文本,如推文。在本文中,我们提出了一个实验性的调查,广泛的知名的文本表示技术的文本聚类嘈杂的Twitter数据的任务。我们的研究结果表明,更先进的模型不一定最好的工作推文,在这方面需要更多的探索。
2020-12-07 cs.CL cs.LG
Automatic Arabic Dialect Identification Systems for Written Texts: A Survey
Taif University(泰夫大学)
阿拉伯语方言识别是自然语言处理的一项具体任务,旨在自动预测给定文本的阿拉伯语方言。阿拉伯语方言识别是各种自然语言处理应用(例如机器翻译、多语言文本到语音合成和跨语言文本生成)的第一步。因此,在过去十年中,人们对解决阿拉伯方言识别问题的兴趣有所增加。在本文中,我们提出了一个全面的调查阿拉伯语方言识别研究的书面文本。首先,我们要明确问题及其挑战。然后,调查广泛地讨论了在批判的态度与阿拉伯语方言识别任务的许多方面。因此,我们回顾了传统的机器学习方法,深度学习架构和复杂的学习方法来识别阿拉伯语方言。我们还详细介绍了用于训练所提出的系统的特征表示的功能和技术。此外,我们说明了文献中研究的阿拉伯方言的分类,阿拉伯方言识别进行的文本处理的各个层次(例如,标记、句子和文档级别),以及可用的注释资源,包括评估基准语料库。在调查结束时讨论了公开的挑战和问题。
2020-09-26 cs.CL cs.LG
Evaluation of Text Generation: A Survey
Facebook AI Research(Facebook人工智能研究);University of Washington(华盛顿大学);Microsoft Research(微软研究院)
本文综述了近年来发展起来的自然语言生成系统的评价方法。我们将NLG评估方法分为三类:(1)以人为中心的评估指标,(2)不需要训练的自动指标,以及(3)机器学习的指标。对于每个类别,我们讨论了已经取得的进展和仍然面临的挑战,重点是最近提出的NLG任务和神经NLG模型的评估。然后,我们提出了两个特定任务的NLG评估的自动文本摘要和长文本生成的例子,并提出了未来的研究方向。
2021-05-18 cs.CL cs.LG
A Survey of AI Text-to-Image and AI Text-to-Video Generators
Kent State University(肯特州立大学)
本文综述了AI文生图与文生视频生成模型,涵盖数据预处理、神经网络类型、评估指标,并讨论挑战与未来方向,指出其在视频制作、内容创作和数字营销中的广阔应用前景。
2023-11-10 cs.AI cs.CL cs.CV
Pretrained Language Models for Text Generation: A Survey
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Information, Renmin University of China(中国人民大学信息学院)
文本生成已成为自然语言处理中最重要也是最具挑战性的任务之一。深度学习的复兴通过神经生成模型,特别是预训练语言模型(PLM)的范式,极大地推进了这一领域。在本文中,我们提出了一个概述的主要进展取得的主题PLM文本生成。作为论文的第二部分,我们给出了通用的任务定义,并简要描述了用于文本生成的PLM的主流体系结构。作为核心内容,我们讨论了如何适应现有的PLM模型,以不同的输入数据,并满足在生成的文本中的特殊属性。我们进一步总结了文本生成的几个重要的微调策略。最后,我们提出了几个未来的发展方向,并总结本文。我们的调查旨在为文本生成研究人员提供一个综合和指针相关的研究。
2021-05-25 cs.AI cs.CL
A Survey of Natural Language Generation
Sun Yat-Sen University(中山大学);Tsinghua University(清华大学);Chinese Academy of Science(中国科学院)
本文综述了近二十年来自然语言生成(NLG)技术的研究进展,特别是数据到文本生成和文本到文本生成的深度学习方法,以及NLG技术的新应用。本次调查的目的是(a)给出NLG核心任务的深度学习研究的最新综合,以及该领域采用的架构;(b)细致全面地详细介绍各种NLG任务和数据集,并提请注意NLG评估中的挑战,重点关注不同的评估方法及其关系;(c)强调由于NLG与其他人工智能领域(如计算机视觉、文本和计算创造力)之间日益增强的协同作用而出现的一些未来重点和相对较新的研究问题。
2022-08-02 cs.AI cs.CL cs.LG
Automatic Detection of Machine Generated Text: A Critical Survey
University of British Columbia(英属哥伦比亚大学)
文本生成模型(TGM)擅长生成与人类语言风格相当匹配的文本。这样的TGM可能被对手滥用,例如,通过自动生成假新闻和虚假的产品评论,这些评论看起来很真实,可以欺骗人类。能够区分由TGM生成的文本与人类书面文本的检测器在减轻TGM的这种滥用方面起着至关重要的作用。最近,自然语言处理(NLP)和机器学习(ML)社区都在为英语构建准确的检测器。尽管这个问题的重要性,目前还没有工作,调查这一快速增长的文献,并介绍新的重要的研究挑战。在这项工作中,我们填补了这一空白,提供了一个重要的调查和审查,这方面的文献,以促进全面了解这个问题。我们对最先进的探测器进行了深入的误差分析,并讨论了研究方向,以指导这一令人兴奋的领域的未来工作。
2020-11-02 cs.AI cs.CL
Controllable Text Summarization: Unraveling Challenges, Approaches, and Prospects -- A Survey
TCS Research(塔塔咨询服务研究中心);IIIT Hyderabad(印度信息技术与管理大学海得拉巴分校)
本综述系统梳理可控文本摘要(CTS)任务,分类可控属性,考察现有数据集与方法,揭示研究空白并探讨未来方向。
2024-05-28 cs.AI cs.CL
Detecting ChatGPT: A Survey of the State of Detecting ChatGPT-Generated Text
Technical University of Munich(慕尼黑工业大学)
本综述探讨了区分人类与ChatGPT生成文本的关键问题,全面梳理了相关数据集构建、检测方法及文本特征定性分析,并总结出一般性见解。
2023-09-14 cs.AI cs.CL
A Brief Survey of Text Mining: Classification, Clustering and Extraction Techniques
University of Georgia(佐治亚大学)
每天生成的文本数量正在急剧增加。这些大量的非结构化文本不能简单地被计算机处理和感知。因此,需要高效和有效的技术和算法来发现有用的模式。文本挖掘是从文本中提取有意义信息的任务,近年来受到了广泛的关注。在本文中,我们描述了几个最基本的文本挖掘任务和技术,包括文本预处理,分类和聚类。此外,我们简要介绍了文本挖掘在生物医学和医疗保健领域。
2017-07-28 cs.AI cs.CL cs.IR
Repairing the Cracked Foundation: A Survey of Obstacles in Evaluation Practices for Generated Text
Google Research(谷歌研究院)
自然语言生成中的评测方法存在许多已知的缺陷,但改进的评测方法很少被广泛采用。由于神经NLG模型已经改进到通常不能再根据旧指标所依赖的表面水平特征来区分的程度,因此这个问题变得更加紧迫。本文调查了过去20年来NLG中人工和自动模型评估以及常用数据集的问题。我们总结,分类,并讨论了研究人员如何解决这些问题,以及他们的研究结果对模型评估的现状意味着什么。基于这些见解,我们为NLG评估制定了长期愿景,并为研究人员改进其评估流程提出了具体步骤。最后,我们分析了最近NLP会议上发表的66篇NLG论文,看看它们在多大程度上遵循了这些建议,并确定了哪些领域需要对现状进行更大的改变。
2022-02-14 cs.AI cs.CL cs.LG
Interpretable Text Embeddings and Text Similarity Explanation: A Survey
University of Zurich(苏黎世大学);University of Stuttgart(斯图加特大学)
该综述针对文本嵌入可解释性及相似性解释的研究缺口,系统梳理了固有可解释文本嵌入与文本相似性解释的相关方法、思路、权衡与评估方式,并总结经验、指出未来研究方向。
2025-10-02 cs.AI cs.CL cs.IR
Surveying the Landscape of Text Summarization with Deep Learning: A Comprehensive Review
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文全面综述深度学习在文本摘要中的应用,涵盖抽取式、生成式、多文档等任务,总结模型、数据集及挑战,旨在指导技术选择并推动领域发展。
2023-10-13 cs.AI cs.CL cs.LG
TASSY -- A Text Annotation Survey System
University of Konstanz(康斯坦茨大学);University of Passau(帕绍大学);University of Wuppertal(伍珀塔尔大学)
我们提出了一个免费和开源的工具,用于创建基于Web的调查,包括文本注释任务。现有工具提供文字注释或测量功能,但不能同时提供。结合这两种输入类型对于调查读者对文本的感知特别相关,这也取决于读者的背景,例如年龄,性别和教育。我们的工具主要满足图书馆和信息科学,社会科学和人文科学研究人员的需求,他们应用内容分析来调查,例如,媒体偏见、政治传播或假新闻。
2021-12-16 cs.CL
Survey of Query-based Text Summarization
针对基于查询的文本摘要领域现有研究缺乏系统梳理的问题,本综述总结了该领域及相关通用文本摘要的代表性研究,并提出分类体系与相关分析。
2024-10-06 cs.CL cs.IR
Compression of Deep Learning Models for Text: A Survey
Microsoft(微软)
近年来,自然语言处理(NLP)和信息检索(IR)领域取得了巨大的进步,这要归功于深度学习模型,如递归神经网络(RNN),门控递归单元(GRU)和长短期记忆(LSTM)网络,以及基于Transformer [120]的模型,如来自Transformers的双向编码器表示(BERT)[24],生成预训练Transformer(GPT-2)[94],多任务深度神经网络(MT-DNN)[73],超长网络(XLNet)[134],文本到文本传输Transformer(T5)[95],T-NLG [98]和GShard [63]。但这些模型都是巨大的。另一方面,现实世界的应用程序需要小的模型大小,低响应时间和低计算功率瓦数。在这项调查中,我们讨论了六种不同类型的方法,(修剪、量化、知识蒸馏、参数共享、张量分解和基于次二次Transformer的方法)来压缩这些模型,使其能够部署在实际的工业NLP项目中。鉴于构建具有高效和小型模型的应用程序的迫切需求,以及最近在该领域发表的大量工作,我们相信,这份调查整理了过去几年“NLP的深度学习”社区所做的大量工作,并将其作为一个连贯的故事呈现出来。
2021-06-13 cs.AI cs.CL cs.CV
A Survey on Table-and-Text HybridQA: Concepts, Methods, Challenges and Future Directions
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
表格-文本混合问答(HybridQA)是一种广泛应用于金融和科学领域的具有挑战性的自然语言处理任务。早期的研究主要集中在将其他QA任务方法迁移到HybridQA上,随着研究的深入,越来越多的HybridQA专用方法被提出。随着HybridQA技术的迅速发展,对HybridQA技术的系统研究还有待于进一步的探索。因此,本文对当前HybridQA的基准测试和方法进行了总结,并分析了HybridQA面临的挑战和未来的发展方向。本文的贡献可以概括为三个方面:(1)第一次调查,据我们所知,包括基准,方法和挑战的HybridQA;(2)系统的调查与合理的比较现有的系统,阐明其优点和缺点;(3)详细分析的挑战,在四个重要的维度,以揭示未来的发展方向。
2023-02-02 cs.AI cs.CL
Recent Advances in Neural Text Generation: A Task-Agnostic Survey
University of Surrey(萨里大学);The University of Sheffield(谢菲尔德大学)
本文是一篇任务无关的神经文本生成综述,从数据构建、神经框架等四大维度梳理最新进展,探讨未来研究方向,为该领域研发提供参考。
2023-06-12 cs.AI cs.CL
GAN Computers Generate Arts? A Survey on Visual Arts, Music, and Literary Text Generation using Generative Adversarial Network
American University of Sharjah(沙迦美国大学)
“艺术是谎言,它使我们能够认识真理。- 巴勃罗·毕加索几个世纪以来,人类一直致力于创造艺术来表达他们的想象力。技术的进步,特别是深度学习,引起了许多研究人员的注意,他们试图研究计算机和算法是否可以产生艺术。使用生成对抗网络(GANs),实现了合成逼真的人脸和从图像自动创建字幕等应用。本调查全面介绍了最近使用GANs生成视觉艺术,音乐和文学文本的作品。各种GAN架构的性能比较和描述。最后,强调了使用GANs生成艺术的一些关键挑战,并对未来的工作提出了建议。
2021-08-14 cs.AI cs.CL cs.CV
Automatic Extraction of Causal Relations from Natural Language Texts: A Comprehensive Survey
University of Waterloo(滑铁卢大学)
从自然语言文本中自动提取因果关系是人工智能领域的一个具有挑战性的开放性问题。大多数早期的解决方案都是在小型和特定领域的数据集上手动构建语言和句法规则。然而,随着大数据的出现,可负担得起的计算能力的可用性以及最近机器学习的普及,解决这个问题的范式已经慢慢改变。机器现在被期望以领域独立的方式,在最少的监督下从标记数据中学习通用的因果提取规则。在本文中,我们提供了一个全面的调查因果关系抽取技术从这两种范式,并分析其相对的优势和劣势,为今后的工作提出建议。
2016-05-25 cs.AI cs.CL cs.IR
Automated text summarisation and evidence-based medicine: A survey of two domains
Macquarie University(麦考瑞大学);CSIRO Australia(澳大利亚联邦科学与工业研究组织)
循证医学(EBM)的实践促使医生在做出临床决策时利用最新的研究证据。由于各种医学主题的大量和不断增长的出版研究,从业者经常发现自己的信息超载。因此,自然语言处理研究最近已经开始探索用于执行医学领域特定的自动文本摘要(ATS)技术的技术-针对压缩大型医学文本的任务。然而,为这项任务开发有效的摘要技术需要跨领域的知识。我们提出了一个调查的循证医学,特定领域的需求,循证医学,自动摘要技术,以及它们是如何被应用到迄今为止。我们设想,这项调查将作为第一资源,为循证医学的未来业务文本摘要技术的发展。
2017-06-25 cs.CL
Text Summarization Techniques: A Brief Survey
University of Georgia(佐治亚大学);Institute of Bioinformatics(生物信息学研究所)
近年来,来自各种来源的文本数据量呈爆炸式增长。这一卷文本是一个宝贵的信息和知识来源,需要有效地总结才能有用。本文综述了文本自动摘要的主要方法。我们回顾了不同的总结过程,并描述了不同方法的有效性和缺点。
2017-07-28 cs.CL
Machine Generated Text: A Comprehensive Survey of Threat Models and Detection Methods
本综述系统分析当代NLG系统威胁模型,全面回顾机器生成文本检测方法,强调检测系统需具备公平性、鲁棒性与问责制以应对滥用。
2023-05-08 cs.CL cs.CR cs.CY
Content Selection in Data-to-Text Systems: A Survey
Edinburgh Napier University(爱丁堡纳皮尔大学)
数据到文本系统在从数据自动生成报告方面非常强大,因此它们简化了复杂数据的表示。数据到文本系统不是使用可视化技术来呈现数据,而是使用自然(人类)语言,这是人与人之间交流的最常见方式。此外,数据到文本系统可以使其输出内容适应用户的偏好、背景或兴趣,因此用户可以愉快地与之交互。内容选择是每个数据到文本系统的重要组成部分,因为它是确定哪些可用信息应该传达给用户的模块。本文首先介绍了数据到文本生成领域,描述了一般的数据到文本系统的体系结构,然后回顾了最先进的内容选择方法。最后,它提供了选择方法的建议,并讨论了未来研究的机会。
2016-10-26 cs.CL
A Survey on Retrieval-Augmented Text Generation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);University of Cambridge(剑桥大学);The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
近年来,检索增强的文本生成越来越受到计算语言学界的关注。与传统的文本生成模型相比,检索增强文本生成模型具有显著的优势,特别是在许多自然语言处理任务中,检索增强文本生成模型的性能达到了最先进的水平。本文旨在对检索增强的文本生成进行综述。首先介绍了检索增强生成的一般范式,然后根据对话响应生成、机器翻译和其他生成任务的不同,回顾了值得注意的方法。最后,它指出了一些重要的方向,最近的方法,以促进未来的研究。
2022-02-13 cs.CL
Explainability of Text Processing and Retrieval Methods: A Survey
Indian Statistical Institute(印度统计研究所)
本文综述了文本处理和检索方法的可解释性,涵盖词嵌入、序列建模、注意力模块等技术,并探讨了未来研究方向。
2026-03-10 cs.AI cs.CL cs.IR
Recent Advances in Text-to-SQL: A Survey of What We Have and What We Expect
University of Michigan(密歇根大学);Westlake University(西湖大学)
Text-to-SQL由于能够将自然语言中的语义转换为SQL查询,并在构建与数据库系统的自然语言接口中得到了实际应用,因此受到了自然语言处理和数据库社区的关注。文本到SQL的主要挑战在于对自然语句的含义进行编码,解码为SQL查询,以及在这两种形式之间转换语义。最近的进展在不同程度上解决了这些挑战。然而,仍然缺乏对这项任务的全面调查。为此,我们回顾了文本到SQL的数据集,方法和评估的最新进展,并提供了这个系统的调查,解决了上述挑战,并讨论了潜在的未来方向。我们希望这项调查可以作为快速访问现有的工作,并激励未来的研究。
2022-08-22 cs.CL
A Survey of AI-generated Text Forensic Systems: Detection, Attribution, and Characterization
Arizona State University(亚利桑那州立大学);Stanford University(斯坦福大学);Amazon GenAI(亚马逊生成式人工智能部门)
本文综述AI生成文本取证系统,围绕检测、归因与特征刻画构建分类体系,梳理现有研究与资源,并讨论该领域挑战及未来方向。
2024-03-02 cs.AI cs.CL
A Survey of Automatic Evaluation Methods on Text, Visual and Speech Generations
Beijing Institute of Technology(北京理工大学);Peking University(北京大学);Nanyang Technological University(南洋理工大学)
针对生成式AI多模态输出自动评估缺乏系统梳理的问题,本文提出文本、视觉、语音生成自动评估方法的统一分类体系,归纳五种基本范式并验证其跨模态适用性,指明跨模态评估的未来研究方向。
2025-06-06 cs.AI cs.CL cs.CV
Back Translation Survey for Improving Text Augmentation
PeopleTec, Inc(PeopleTec公司);Auburn University(奥本大学)
自然语言处理(NLP)在很大程度上依赖于训练数据。随着Transformers变得越来越大,它们需要大量的训练数据。为了满足这个要求,文本扩充应该被看作是一种扩展当前数据集和泛化模型的方法。我们将研究的一个文本增强是翻译增强。我们把一个英语句子翻译成另一种语言,然后再翻译回英语。在本文中,我们研究了108种不同语言的反向翻译对各种指标和文本嵌入的影响。
2022-11-16 cs.CL
A Survey : Neural Networks for AMR-to-Text
本文综述AMR到文本生成技术,按机制梳理五类方法,重点介绍神经网络方法及最新进展、基准与评估,并展望未来方向。
2024-05-11 cs.CL cs.LG
Pretrained Language Models for Text Generation: A Survey
Renmin University of China(中国人民大学);Université de Montréal(蒙特利尔大学)
文本生成的目的是从输入数据中生成人类语言的合理和可读的文本。深度学习的复兴极大地推动了这一领域的发展,特别是在基于预训练语言模型(PLM)的神经生成模型的帮助下。基于PLM的文本生成技术在学术界和工业界都被认为是一种很有前途的方法。在本文中,我们提供了一个调查利用PLM在文本生成。我们首先介绍了应用PLM文本生成的三个关键方面:1)如何将输入编码为保留输入语义的表示,这些表示可以融合到PLM中; 2)如何设计一个有效的PLM作为生成模型; 3)如何有效地优化给定参考文本的PLM,并确保生成的文本满足特殊的文本属性。然后,我们展示了在这些方面出现的主要挑战,以及可能的解决方案。我们还包括各种有用的资源和基于PLM的典型文本生成应用程序的摘要。最后,我们强调了未来的研究方向,这将进一步提高这些PLM的文本生成。本文旨在帮助对文本生成问题感兴趣的研究人员了解基于PLM的文本生成的核心概念、主要技术和最新进展。
2022-05-13 cs.CL
Survey of Text-based Epidemic Intelligence: A Computational Linguistic Perspective
CSIRO Data61(澳大利亚联邦科学与工业研究组织数据61中心);Kirby Institute, The University of New South Wales(柯比研究所、新南威尔士大学)
流行病情报利用正式(如医院记录)和非正式(如网络上用户生成的文本)的信息来源来检测疾病爆发。在本调查中,我们讨论了使用文本数据集的流行病情报方法,将其称为“基于文本的流行病情报”。我们将过去的工作分为两大类:健康提及分类(从大量文本中选择相关文本)和健康事件检测(从相关文本集合中预测流行病事件)。我们讨论的重点是这两个类别中潜在的计算语言技术。该调查还提供了流行病情报的注释技术、资源和评估策略的最新发展水平的详细信息。
2019-03-14 cs.CL cs.SI