A Survey of Neural Network Techniques for Feature Extraction from Text
University of Waterloo(滑铁卢大学)
本文旨在促进关于使用神经网络架构的文本特征提取技术的讨论。本文讨论的研究问题集中在最先进的神经网络技术,已被证明是有用的工具,语言处理,语言生成,文本分类和其他计算语言学任务。
2017-04-27 cs.CL
A Survey of Deep Graph Learning under Distribution Shifts: from Graph Out-of-Distribution Generalization to Adaptation
Northwestern University(西北大学);University of Virginia(弗吉尼亚大学);Georgia Institute of Technology(佐治亚理工学院);Purdue University(普渡大学)
本综述系统梳理了分布偏移下的深度图学习,涵盖图OOD泛化与适应三类场景,提出模型中心与数据中心的分类法,并总结常用数据集与未来方向。
2025-03-28 cs.LG
Text Classification using Graph Convolutional Networks: A Comprehensive Survey
Information Technology University(信息技术大学)
本文综述了基于图卷积网络的文本分类方法,按架构和监督模式分类比较了各方法在基准数据集上的性能,并指出了其优势、局限及未来研究方向。
2024-10-12 cs.CL cs.LG
Rethinking AI-Generated Text Detection: A Strong Baseline and the Distribution-Shift Problem That Remains
Department of Computer Science, University of California, Santa Barbara(加利福尼亚大学圣塔芭芭拉分校计算机科学系);School of ECEE, Arizona State University(亚利桑那州立大学电子、计算机与能源工程学院)
从基线优先视角重新审视人工智能生成文本检测,发现普通微调RoBERTa能匹配或超越专门检测器。分布转移是挑战,研究两种轻量级域适应方法应对,指出检测进展应兼顾分布内性能和分布转移下的鲁棒性。
2026-07-07 cs.CL cs.LG
Mitigating Position-Shift Failures in Text-Based Modular Arithmetic via Position Curriculum and Template Diversity
Independent Researcher(独立研究者)
通过位置课程和模板多样性提升文本模运算模型对位置偏移和模板分布外的鲁棒性
2026-01-07 cs.CL cs.LG
Graph Neural Networks for Text Classification: A Survey
The University of Sydney(悉尼大学);The University of Western Australia(西澳大利亚大学)
本文系统综述了截至2023年的语料库级和文档级图神经网络文本分类方法,涵盖图构建、学习过程、数据集、评价指标及实验设计,并比较不同技术的优缺点与未来方向。
2024-07-05 cs.CL
Towards a Robust Deep Neural Network in Texts: A Survey
Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education(空天信息安全与可信计算教育部重点实验室);School of Cyber Science and Engineering, Wuhan University(武汉大学网络空间安全学院)
深度神经网络(DNN)已经在各种任务(例如,图像分类、语音识别和自然语言处理(NLP))。然而,研究人员已经证明,基于DNN的模型容易受到对抗性示例的影响,这些示例通过向合法输入中添加不可察觉的扰动来导致错误的预测。近年来,研究发现文本领域存在对抗性的例子,可以有效地规避各种基于DNN的文本分析器,并进一步带来虚假信息扩散的威胁。本文综述了国内外对抗性文本生成技术的研究现状,并提出了相应的防御方法。更重要的是,我们希望我们的工作可以激励未来的研究,开发更强大的基于DNN的文本分析器来对抗已知和未知的对抗技术。我们根据扰动单元对现有的制作对抗文本的对抗技术进行了分类,有助于更好地理解对抗文本的生成并构建强大的防御模型。在介绍文本域中的对抗攻击和防御的分类时,我们从不同NLP任务的角度介绍了对抗技术。最后,我们讨论了文本中的对抗攻击和防御的现有挑战,并提出了未来的研究方向,在这个新兴的和具有挑战性的领域。
2021-04-21 cs.CL cs.CR cs.LG
Advances and Challenges in Semantic Textual Similarity: A Comprehensive Survey
本文综述了语义文本相似性在变压器模型、对比学习、领域适应等六个方面的最新进展,探讨了多模态、图方法和知识增强技术,并指出现有挑战与未来发展方向。
2025-12-19 cs.AI cs.CL math.OC
Evolving Safety Landscape of Multi-modal Large Language Models: A Survey of Emerging Threats and Safeguards
University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);NVIDIA(英伟达公司);Penn State University(宾夕法尼亚州立大学);Columbia University(哥伦比亚大学);University of Missouri-Kansas City(密苏里大学堪萨斯分校);Florida State University(佛罗里达州立大学);Auburn University(奥本大学)
本综述针对多模态大语言模型(MLLMs)的新型安全威胁,提出多模态安全威胁分类法,梳理安全策略进展,探讨未来安全机制的研究方向。
2026-08-11 cs.AI cs.CY cs.LG
A Survey on Recognizing Textual Entailment as an NLP Evaluation
Barnard College, Data Science Institute, Columbia University(巴纳德学院、数据科学研究所、哥伦比亚大学);Columbia University(哥伦比亚大学)
文本蕴涵识别(RTE)是一个比较不同自然语言处理系统语义理解的统一评价框架。在这篇综述论文中,我们概述了评估和理解NLP系统推理能力的不同方法。然后,我们通过突出的RTE数据集以及RTE数据集的进展来集中讨论RTE,这些数据集专注于可用于在细粒度级别上评估NLP系统的特定语言现象。我们的结论是,在评估NLP系统时,社区应该利用新引入的RTE数据集,专注于特定的语言现象。
2020-10-06 cs.CL
Beyond Generalization: A Survey of Out-Of-Distribution Adaptation on Graphs
Northwestern University(西北大学)
本文综述了图分布外适应方法,涵盖训练时和测试时两大场景,系统分类现有方法并探讨其技术,最后指出未来研究方向与挑战。
2024-02-17 cs.LG
A Survey on Text Classification: From Shallow to Deep Learning
Beihang University(北京航空航天大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University of Leeds(利兹大学);Lehigh University(里海大学)
文本分类是自然语言处理中最基本、最关键的任务。由于深度学习取得了前所未有的成功,过去十年来,这一领域的研究激增。文献中提出了许多方法、数据集和评价指标,因此需要进行全面和更新的调查。本文通过回顾1961年至2021年的最新方法填补了这一空白,重点关注从传统模型到深度学习的模型。我们根据文本内容和用于特征提取和分类的模型建立了一个文本分类系统。然后,我们将详细讨论这些类别中的每一个,处理支持预测测试的技术发展和基准数据集。本调查还提供了不同技术之间的全面比较,以及各种评估指标的优缺点。最后,总结了本研究的主要意义、未来研究方向和面临的挑战。
2021-12-22 cs.CL
Recent Advances in Reliable Deep Graph Learning: Inherent Noise, Distribution Shift, and Adversarial Attack
Sun Yat-sen University(中山大学);Tencent AI Lab(腾讯人工智能实验室);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
本综述全面回顾了深度图学习在应对固有噪声、分布偏移和对抗攻击方面的可靠性提升方法,并探讨了这些威胁间的关联及未来研究方向。
2023-05-08 cs.CR cs.IR cs.LG
Short Text Topic Modeling Techniques, Applications, and Performance: A Survey
University of Louisiana at Lafayette(路易斯安那大学拉斐特分校)
分析短文本推断歧视性和连贯的潜在主题,这是一个关键的和基本的任务,因为许多现实世界的应用程序需要短文本的语义理解。传统的长文本主题建模算法(例如,PLSA和LDA)不能很好地解决这个问题,因为在短文本中只有非常有限的词共现信息。因此,短文本主题建模近年来已经引起了机器学习研究界的广泛关注,旨在克服短文本中的稀疏性问题。在这项调查中,我们进行了全面的审查,各种短文本主题建模技术提出的文献。我们提出了三类方法的基础上狄利克雷多项式混合,全球词同现,自聚合,在每一类的代表性方法的例子和分析其性能的各种任务。我们开发了第一个全面的开源库,称为STTM,用于Java,将所有调查的算法集成在一个统一的界面,基准数据集,以促进在这一研究领域的新方法的扩展。最后,我们在许多真实世界的数据集上评估了这些最先进的方法,并将它们的性能与长文本主题建模算法进行了比较。
2019-04-13 cs.CL cs.IR
Adversarial Attacks and Defense on Texts: A Survey
Tsinghua University(清华大学)
近年来,深度学习模型已被广泛用于物体识别、自动驾驶汽车、人脸识别、语音识别、情感分析等各种目的。然而,近年来的研究表明,这些模型对噪声的敏感性较差,从而导致模型的误分类。这个问题在图像和音频领域得到了深入的研究。关于文本数据的这一问题研究很少。甚至更少的调查已经执行了这个主题,以了解不同类型的攻击和防御技术。在本文中,我们积累和分析了不同的攻击技术和各种防御模型,以提供更全面的想法。随后,我们指出了所有论文中的一些有趣的发现以及在这一领域取得进展需要克服的挑战。
2020-06-14 cs.CL
Shift-Aware Calibration for Fine-Tuned CLIP: Leveraging Image-Text Alignment
Nanjing University(南京大学)
研究针对微调CLIP时预测置信度与准确性不一致问题,提出无需训练的移位感知校准(SAC)方法,利用原始与微调CLIP输出对数差异作校准信号,经实验验证该方法在多数据集和微调方法上提升了校准效果。
2026-07-28 cs.CV cs.LG
JAWS: Auditing Predictive Uncertainty Under Covariate Shift
Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一系列包装方法\textbf{JAWS},分布自由的不确定性量化任务下的协变量偏移,集中在核心方法\textbf{JAW},\textbf{JA} ckknife+ \textbf{W}与数据相关的似然比权重。JAWS还包括使用高阶影响函数\textbf{JAWA}的JAW的计算高效的\textbf{A}近似。理论上,我们表明,JAW放宽刀切+的假设,即使在协变量偏移的数据交换,以实现相同的有限样本覆盖保证。JAWA在一般规律性假设下,在样本大小或影响函数阶数的限制下进一步逼近了JAW保证。此外,我们提出了一种通用的方法来重新利用预测区间生成方法及其对反向任务的保证:基于用户指定的错误标准(例如真实标签周围的安全或可接受的公差阈值)估计预测错误的概率。然后,我们提出\textbf{JAW-E}和\textbf{JAWA-E}作为这个\textbf{E}错误评估任务的重新用途的建议方法。实际上,JAWS优于国家的最先进的预测推理基线在各种有偏见的现实世界的数据集的间隔生成和错误评估预测不确定性审计任务。
2022-11-23 cs.LG stat.ML
A Comprehensive Survey of Text Classification Techniques and Their Research Applications: Observational and Experimental Insights
Khalifa University(哈利法大学);University of London, Birkbeck College(伦敦大学伯克贝克学院);Brighton College, Dubai(迪拜布莱顿学院)
本文提出一个基于研究领域的文本分类分层分类法,并通过经验与实验双重评估方法比较和排名各方法学子技术,为研究人员提供领域特定的决策依据。
2024-11-25 cs.CL
Tackling Concept Shift in Text Classification using Entailment-style Modeling
Amazon(亚马逊)
针对文本分类中类别定义随时间变化的概念偏移问题,提出将普通分类重构为蕴含式建模的方法,在少样本场景下实现显著F1提升,且部署后可节省75%标注成本。
2023-11-06 cs.CL
Deep Learning for Text Style Transfer: A Survey
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Max Planck Institute(马克斯·普朗克研究所);ETH Zürich(苏黎世联邦理工学院);UC San Diego(加州大学圣迭戈分校);University of Waterloo(滑铁卢大学);University of Michigan(密歇根大学)
文本风格转换是自然语言生成中的一项重要任务,旨在控制生成文本中的某些属性,如礼貌、情感、幽默等。它在自然语言处理领域有着悠久的历史,最近由于深度神经模型带来的有前途的性能而重新获得了极大的关注。本文对神经文本风格迁移的研究进行了系统的综述,涵盖了自2017年第一个神经文本风格迁移工作以来的100多篇代表性文章。我们讨论的任务制定,现有的数据集和子任务,评估,以及丰富的方法,在并行和非并行数据的存在。我们还就有关这项任务未来发展的各种重要主题进行了讨论。我们的策展论文列表位于https://github.com/zhijing-jin/Text_Style_Transfer_Survey
2021-12-16 cs.AI cs.CL cs.LG
A Survey of Knowledge-Enhanced Text Generation
University of Notre Dame(圣母大学);Microsoft Research(微软研究院);The Chinese University of Hong Kong(香港中文大学);University of California at San Diego(加州大学圣迭戈分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
文本生成的目标是使机器能够用人类的语言进行表达。它是自然语言处理中最重要也是最具挑战性的任务之一。自2014年以来,Seq 2Seq开创的各种神经编码器-解码器模型已经被提出,通过学习将输入文本映射到输出文本来实现目标。然而,仅靠输入文本往往只能提供有限的知识来生成所需的输出,因此文本生成的性能在许多现实场景中仍然远远不能令人满意。为了解决这个问题,研究人员考虑将输入文本之外的各种形式的知识纳入生成模型。这一研究方向被称为知识增强文本生成。本文综述了近五年来知识增强文本生成的研究进展。主要内容包括两部分:(1)知识集成到文本生成中的一般方法和体系结构;(2)针对不同形式的知识数据,给出具体的技术和应用。这项调查可以有广泛的受众,包括学术界和工业界的研究人员和从业人员。
2022-01-22 cs.AI cs.CL cs.LG
A survey on text generation using generative adversarial networks
São Paulo State University(圣保罗州立大学)
本文对使用生成对抗网络进行文本生成的研究进展进行了全面的综述。使用对抗学习来生成文本是有希望的,因为它提供了生成所谓的“自然”语言的替代方案。然而,对抗性文本生成并不是一项简单的任务,因为其最重要的架构生成对抗网络被设计用于处理连续信息(图像)而不是离散数据(文本)。因此,大多数作品都基于三种可能的选择,即,Gumbel-Softmax微分,强化学习和修改的训练目标。所有的替代品在本次调查中进行审查,因为他们提出了最新的方法来生成文本使用基于对抗的技术。所选的作品来自著名的数据库,如Science Direct,IEEEEXplore,Springer,Association for Computing Machinery和arXiv,而每一个选定的工作都经过严格的分析和评估,以呈现其目标,方法和实验结果。
2022-12-20 cs.AI cs.CL cs.LG
Diachronic word embeddings and semantic shifts: a survey
University of Oslo(奥斯陆大学);ANZ(澳新银行)
近年来出现了大量的论文,旨在使用分布方法,特别是基于预测的词嵌入模型来追踪词汇语义的时间变化。然而,这种研究缺乏凝聚力,共同的术语和共同的做法,更成熟的领域自然语言处理。本文综述了历时词嵌入和语义转移检测的研究现状。我们从讨论语义转移的概念开始,然后继续概述现有的方法来跟踪这种与时间相关的转移与词嵌入模型。我们提出了几个轴,沿着这些方法可以进行比较,并概述了这个新兴的NLP子领域的主要挑战,以及前景和可能的应用。
2018-06-13 cs.CL
A Survey on Temporal Reasoning for Temporal Information Extraction from Text (Extended Abstract)
University Medical Center Utrecht(乌得勒支大学医学中心);KU Leuven(鲁汶大学)
时间深深地融入了人们对世界的感知和交流。我们几乎是无意识地为我们的语言话语提供了时间线索,比如动词时态,没有这些线索,我们很难造句。从文本中提取时间线索,并构建关于描述事件顺序的全局时间视图是自动自然语言理解的主要挑战。时间推理是将不同的时间线索组合成一个连贯的时间视图的过程,在时间信息抽取中起着核心作用。本文综述了过去几十年来关于文本时间信息抽取的时间推理研究,并提供了一个将符号推理与基于机器学习的信息抽取系统相结合的案例研究。
2020-05-15 cs.AI cs.CL cs.LG
A Systematic Survey of Text Worlds as Embodied Natural Language Environments
University of Arizona(亚利桑那大学)
文本世界是一种虚拟环境,与2D或3D环境不同,它是专门使用文本描述呈现的。这些环境提供了一种替代高保真度的3D环境,因为它们的进入门槛低,提供了研究语义,组合推理和其他高级任务的能力,具有丰富的高级动作空间,同时控制感知输入。本系统的调查概述了工具,环境和代理建模的文本世界的最新发展,同时检查最近的趋势,知识图谱,常识推理,迁移学习文本世界的性能,以更高的保真度的环境,以及近期的发展目标,一旦实现,使文本世界自然语言处理有吸引力的一般研究范式。
2021-07-08 cs.AI cs.CL
Indian Legal NLP Benchmarks : A Survey
ThoughtWorks(思特沃克)
本文综述了印度法律NLP基准现状,提出创建针对法律系统特有任务的挑战性基准,以推动该领域创新并惠及AI社区与法律界。
2021-07-13 cs.AI cs.CL cs.LG
An Empirical Survey of Unsupervised Text Representation Methods on Twitter Data
ProtagoLabs;Dartmouth College(达特茅斯学院)
近年来,NLP领域取得了前所未有的成就。最值得注意的是,随着大规模预训练的基于transformer的语言模型(如BERT)的出现,文本表示有了明显的改进。然而,目前还不清楚这些改进是否会转化为嘈杂的用户生成的文本,如推文。在本文中,我们提出了一个实验性的调查,广泛的知名的文本表示技术的文本聚类嘈杂的Twitter数据的任务。我们的研究结果表明,更先进的模型不一定最好的工作推文,在这方面需要更多的探索。
2020-12-07 cs.CL cs.LG
Automatic Arabic Dialect Identification Systems for Written Texts: A Survey
Taif University(泰夫大学)
阿拉伯语方言识别是自然语言处理的一项具体任务,旨在自动预测给定文本的阿拉伯语方言。阿拉伯语方言识别是各种自然语言处理应用(例如机器翻译、多语言文本到语音合成和跨语言文本生成)的第一步。因此,在过去十年中,人们对解决阿拉伯方言识别问题的兴趣有所增加。在本文中,我们提出了一个全面的调查阿拉伯语方言识别研究的书面文本。首先,我们要明确问题及其挑战。然后,调查广泛地讨论了在批判的态度与阿拉伯语方言识别任务的许多方面。因此,我们回顾了传统的机器学习方法,深度学习架构和复杂的学习方法来识别阿拉伯语方言。我们还详细介绍了用于训练所提出的系统的特征表示的功能和技术。此外,我们说明了文献中研究的阿拉伯方言的分类,阿拉伯方言识别进行的文本处理的各个层次(例如,标记、句子和文档级别),以及可用的注释资源,包括评估基准语料库。在调查结束时讨论了公开的挑战和问题。
2020-09-26 cs.CL cs.LG
Evaluation of Text Generation: A Survey
Facebook AI Research(Facebook人工智能研究);University of Washington(华盛顿大学);Microsoft Research(微软研究院)
本文综述了近年来发展起来的自然语言生成系统的评价方法。我们将NLG评估方法分为三类:(1)以人为中心的评估指标,(2)不需要训练的自动指标,以及(3)机器学习的指标。对于每个类别,我们讨论了已经取得的进展和仍然面临的挑战,重点是最近提出的NLG任务和神经NLG模型的评估。然后,我们提出了两个特定任务的NLG评估的自动文本摘要和长文本生成的例子,并提出了未来的研究方向。
2021-05-18 cs.CL cs.LG
A Survey of AI Text-to-Image and AI Text-to-Video Generators
Kent State University(肯特州立大学)
本文综述了AI文生图与文生视频生成模型,涵盖数据预处理、神经网络类型、评估指标,并讨论挑战与未来方向,指出其在视频制作、内容创作和数字营销中的广阔应用前景。
2023-11-10 cs.AI cs.CL cs.CV
Pretrained Language Models for Text Generation: A Survey
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Information, Renmin University of China(中国人民大学信息学院)
文本生成已成为自然语言处理中最重要也是最具挑战性的任务之一。深度学习的复兴通过神经生成模型,特别是预训练语言模型(PLM)的范式,极大地推进了这一领域。在本文中,我们提出了一个概述的主要进展取得的主题PLM文本生成。作为论文的第二部分,我们给出了通用的任务定义,并简要描述了用于文本生成的PLM的主流体系结构。作为核心内容,我们讨论了如何适应现有的PLM模型,以不同的输入数据,并满足在生成的文本中的特殊属性。我们进一步总结了文本生成的几个重要的微调策略。最后,我们提出了几个未来的发展方向,并总结本文。我们的调查旨在为文本生成研究人员提供一个综合和指针相关的研究。
2021-05-25 cs.AI cs.CL
Automatic Detection of Machine Generated Text: A Critical Survey
University of British Columbia(英属哥伦比亚大学)
文本生成模型(TGM)擅长生成与人类语言风格相当匹配的文本。这样的TGM可能被对手滥用,例如,通过自动生成假新闻和虚假的产品评论,这些评论看起来很真实,可以欺骗人类。能够区分由TGM生成的文本与人类书面文本的检测器在减轻TGM的这种滥用方面起着至关重要的作用。最近,自然语言处理(NLP)和机器学习(ML)社区都在为英语构建准确的检测器。尽管这个问题的重要性,目前还没有工作,调查这一快速增长的文献,并介绍新的重要的研究挑战。在这项工作中,我们填补了这一空白,提供了一个重要的调查和审查,这方面的文献,以促进全面了解这个问题。我们对最先进的探测器进行了深入的误差分析,并讨论了研究方向,以指导这一令人兴奋的领域的未来工作。
2020-11-02 cs.AI cs.CL
Controllable Text Summarization: Unraveling Challenges, Approaches, and Prospects -- A Survey
TCS Research(塔塔咨询服务研究中心);IIIT Hyderabad(印度信息技术与管理大学海得拉巴分校)
本综述系统梳理可控文本摘要(CTS)任务,分类可控属性,考察现有数据集与方法,揭示研究空白并探讨未来方向。
2024-05-28 cs.AI cs.CL
Detecting ChatGPT: A Survey of the State of Detecting ChatGPT-Generated Text
Technical University of Munich(慕尼黑工业大学)
本综述探讨了区分人类与ChatGPT生成文本的关键问题,全面梳理了相关数据集构建、检测方法及文本特征定性分析,并总结出一般性见解。
2023-09-14 cs.AI cs.CL
A Brief Survey of Text Mining: Classification, Clustering and Extraction Techniques
University of Georgia(佐治亚大学)
每天生成的文本数量正在急剧增加。这些大量的非结构化文本不能简单地被计算机处理和感知。因此,需要高效和有效的技术和算法来发现有用的模式。文本挖掘是从文本中提取有意义信息的任务,近年来受到了广泛的关注。在本文中,我们描述了几个最基本的文本挖掘任务和技术,包括文本预处理,分类和聚类。此外,我们简要介绍了文本挖掘在生物医学和医疗保健领域。
2017-07-28 cs.AI cs.CL cs.IR
Interpretable Text Embeddings and Text Similarity Explanation: A Survey
University of Zurich(苏黎世大学);University of Stuttgart(斯图加特大学)
该综述针对文本嵌入可解释性及相似性解释的研究缺口,系统梳理了固有可解释文本嵌入与文本相似性解释的相关方法、思路、权衡与评估方式,并总结经验、指出未来研究方向。
2025-10-02 cs.AI cs.CL cs.IR
A Survey on Contextualised Semantic Shift Detection
Università degli Studi di Milano(米兰大学);Department of Computer Science(计算机科学系)
本文综述了基于语境化嵌入的语义漂移检测方法,提出以含义表示、时间感知和学习模态为维度的分类框架,并系统比较评估度量、性能及可扩展性、可解释性与鲁棒性问题,指出未来研究方向。
2024-06-11 cs.CL
Hitting a Moving Target: Test-Time Adaptation for AI Text Detection under Continual Distribution Shift
Cornell Tech(康奈尔科技);MIT(麻省理工学院)
提出一种基于半监督学习的测试时适应方法,利用推理时未标记样本的同质性,应对AI文本检测中持续出现的分布漂移,显著优于现有监督检测器。
2026-10-16 cs.AI cs.CL
TASSY -- A Text Annotation Survey System
University of Konstanz(康斯坦茨大学);University of Passau(帕绍大学);University of Wuppertal(伍珀塔尔大学)
我们提出了一个免费和开源的工具,用于创建基于Web的调查,包括文本注释任务。现有工具提供文字注释或测量功能,但不能同时提供。结合这两种输入类型对于调查读者对文本的感知特别相关,这也取决于读者的背景,例如年龄,性别和教育。我们的工具主要满足图书馆和信息科学,社会科学和人文科学研究人员的需求,他们应用内容分析来调查,例如,媒体偏见、政治传播或假新闻。
2021-12-16 cs.CL
Compression of Deep Learning Models for Text: A Survey
Microsoft(微软)
近年来,自然语言处理(NLP)和信息检索(IR)领域取得了巨大的进步,这要归功于深度学习模型,如递归神经网络(RNN),门控递归单元(GRU)和长短期记忆(LSTM)网络,以及基于Transformer [120]的模型,如来自Transformers的双向编码器表示(BERT)[24],生成预训练Transformer(GPT-2)[94],多任务深度神经网络(MT-DNN)[73],超长网络(XLNet)[134],文本到文本传输Transformer(T5)[95],T-NLG [98]和GShard [63]。但这些模型都是巨大的。另一方面,现实世界的应用程序需要小的模型大小,低响应时间和低计算功率瓦数。在这项调查中,我们讨论了六种不同类型的方法,(修剪、量化、知识蒸馏、参数共享、张量分解和基于次二次Transformer的方法)来压缩这些模型,使其能够部署在实际的工业NLP项目中。鉴于构建具有高效和小型模型的应用程序的迫切需求,以及最近在该领域发表的大量工作,我们相信,这份调查整理了过去几年“NLP的深度学习”社区所做的大量工作,并将其作为一个连贯的故事呈现出来。
2021-06-13 cs.AI cs.CL cs.CV
Survey of Query-based Text Summarization
针对基于查询的文本摘要领域现有研究缺乏系统梳理的问题,本综述总结了该领域及相关通用文本摘要的代表性研究,并提出分类体系与相关分析。
2024-10-06 cs.CL cs.IR
A Survey on Table-and-Text HybridQA: Concepts, Methods, Challenges and Future Directions
Research Center for Social Computing and Information Retrieval(社会计算与信息检索研究中心);Harbin Institute of Technology(哈尔滨工业大学)
表格-文本混合问答(HybridQA)是一种广泛应用于金融和科学领域的具有挑战性的自然语言处理任务。早期的研究主要集中在将其他QA任务方法迁移到HybridQA上,随着研究的深入,越来越多的HybridQA专用方法被提出。随着HybridQA技术的迅速发展,对HybridQA技术的系统研究还有待于进一步的探索。因此,本文对当前HybridQA的基准测试和方法进行了总结,并分析了HybridQA面临的挑战和未来的发展方向。本文的贡献可以概括为三个方面:(1)第一次调查,据我们所知,包括基准,方法和挑战的HybridQA;(2)系统的调查与合理的比较现有的系统,阐明其优点和缺点;(3)详细分析的挑战,在四个重要的维度,以揭示未来的发展方向。
2023-02-02 cs.AI cs.CL
Recent Advances in Neural Text Generation: A Task-Agnostic Survey
University of Surrey(萨里大学);The University of Sheffield(谢菲尔德大学)
本文是一篇任务无关的神经文本生成综述,从数据构建、神经框架等四大维度梳理最新进展,探讨未来研究方向,为该领域研发提供参考。
2023-06-12 cs.AI cs.CL
GAN Computers Generate Arts? A Survey on Visual Arts, Music, and Literary Text Generation using Generative Adversarial Network
American University of Sharjah(沙迦美国大学)
“艺术是谎言,它使我们能够认识真理。- 巴勃罗·毕加索几个世纪以来,人类一直致力于创造艺术来表达他们的想象力。技术的进步,特别是深度学习,引起了许多研究人员的注意,他们试图研究计算机和算法是否可以产生艺术。使用生成对抗网络(GANs),实现了合成逼真的人脸和从图像自动创建字幕等应用。本调查全面介绍了最近使用GANs生成视觉艺术,音乐和文学文本的作品。各种GAN架构的性能比较和描述。最后,强调了使用GANs生成艺术的一些关键挑战,并对未来的工作提出了建议。
2021-08-14 cs.AI cs.CL cs.CV
Automatic Extraction of Causal Relations from Natural Language Texts: A Comprehensive Survey
University of Waterloo(滑铁卢大学)
从自然语言文本中自动提取因果关系是人工智能领域的一个具有挑战性的开放性问题。大多数早期的解决方案都是在小型和特定领域的数据集上手动构建语言和句法规则。然而,随着大数据的出现,可负担得起的计算能力的可用性以及最近机器学习的普及,解决这个问题的范式已经慢慢改变。机器现在被期望以领域独立的方式,在最少的监督下从标记数据中学习通用的因果提取规则。在本文中,我们提供了一个全面的调查因果关系抽取技术从这两种范式,并分析其相对的优势和劣势,为今后的工作提出建议。
2016-05-25 cs.AI cs.CL cs.IR
Automated text summarisation and evidence-based medicine: A survey of two domains
Macquarie University(麦考瑞大学);CSIRO Australia(澳大利亚联邦科学与工业研究组织)
循证医学(EBM)的实践促使医生在做出临床决策时利用最新的研究证据。由于各种医学主题的大量和不断增长的出版研究,从业者经常发现自己的信息超载。因此,自然语言处理研究最近已经开始探索用于执行医学领域特定的自动文本摘要(ATS)技术的技术-针对压缩大型医学文本的任务。然而,为这项任务开发有效的摘要技术需要跨领域的知识。我们提出了一个调查的循证医学,特定领域的需求,循证医学,自动摘要技术,以及它们是如何被应用到迄今为止。我们设想,这项调查将作为第一资源,为循证医学的未来业务文本摘要技术的发展。
2017-06-25 cs.CL
Text Summarization Techniques: A Brief Survey
University of Georgia(佐治亚大学);Institute of Bioinformatics(生物信息学研究所)
近年来,来自各种来源的文本数据量呈爆炸式增长。这一卷文本是一个宝贵的信息和知识来源,需要有效地总结才能有用。本文综述了文本自动摘要的主要方法。我们回顾了不同的总结过程,并描述了不同方法的有效性和缺点。
2017-07-28 cs.CL
Machine Generated Text: A Comprehensive Survey of Threat Models and Detection Methods
本综述系统分析当代NLG系统威胁模型,全面回顾机器生成文本检测方法,强调检测系统需具备公平性、鲁棒性与问责制以应对滥用。
2023-05-08 cs.CL cs.CR cs.CY
Content Selection in Data-to-Text Systems: A Survey
Edinburgh Napier University(爱丁堡纳皮尔大学)
数据到文本系统在从数据自动生成报告方面非常强大,因此它们简化了复杂数据的表示。数据到文本系统不是使用可视化技术来呈现数据,而是使用自然(人类)语言,这是人与人之间交流的最常见方式。此外,数据到文本系统可以使其输出内容适应用户的偏好、背景或兴趣,因此用户可以愉快地与之交互。内容选择是每个数据到文本系统的重要组成部分,因为它是确定哪些可用信息应该传达给用户的模块。本文首先介绍了数据到文本生成领域,描述了一般的数据到文本系统的体系结构,然后回顾了最先进的内容选择方法。最后,它提供了选择方法的建议,并讨论了未来研究的机会。
2016-10-26 cs.CL
Explainability of Text Processing and Retrieval Methods: A Survey
Indian Statistical Institute(印度统计研究所)
本文综述了文本处理和检索方法的可解释性,涵盖词嵌入、序列建模、注意力模块等技术,并探讨了未来研究方向。
2026-03-10 cs.AI cs.CL cs.IR
A Survey on Retrieval-Augmented Text Generation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);University of Cambridge(剑桥大学);The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
近年来,检索增强的文本生成越来越受到计算语言学界的关注。与传统的文本生成模型相比,检索增强文本生成模型具有显著的优势,特别是在许多自然语言处理任务中,检索增强文本生成模型的性能达到了最先进的水平。本文旨在对检索增强的文本生成进行综述。首先介绍了检索增强生成的一般范式,然后根据对话响应生成、机器翻译和其他生成任务的不同,回顾了值得注意的方法。最后,它指出了一些重要的方向,最近的方法,以促进未来的研究。
2022-02-13 cs.CL
Recent Advances in Text-to-SQL: A Survey of What We Have and What We Expect
University of Michigan(密歇根大学);Westlake University(西湖大学)
Text-to-SQL由于能够将自然语言中的语义转换为SQL查询,并在构建与数据库系统的自然语言接口中得到了实际应用,因此受到了自然语言处理和数据库社区的关注。文本到SQL的主要挑战在于对自然语句的含义进行编码,解码为SQL查询,以及在这两种形式之间转换语义。最近的进展在不同程度上解决了这些挑战。然而,仍然缺乏对这项任务的全面调查。为此,我们回顾了文本到SQL的数据集,方法和评估的最新进展,并提供了这个系统的调查,解决了上述挑战,并讨论了潜在的未来方向。我们希望这项调查可以作为快速访问现有的工作,并激励未来的研究。
2022-08-22 cs.CL
Back Translation Survey for Improving Text Augmentation
PeopleTec, Inc(PeopleTec公司);Auburn University(奥本大学)
自然语言处理(NLP)在很大程度上依赖于训练数据。随着Transformers变得越来越大,它们需要大量的训练数据。为了满足这个要求,文本扩充应该被看作是一种扩展当前数据集和泛化模型的方法。我们将研究的一个文本增强是翻译增强。我们把一个英语句子翻译成另一种语言,然后再翻译回英语。在本文中,我们研究了108种不同语言的反向翻译对各种指标和文本嵌入的影响。
2022-11-16 cs.CL
Pretrained Language Models for Text Generation: A Survey
Renmin University of China(中国人民大学);Université de Montréal(蒙特利尔大学)
文本生成的目的是从输入数据中生成人类语言的合理和可读的文本。深度学习的复兴极大地推动了这一领域的发展,特别是在基于预训练语言模型(PLM)的神经生成模型的帮助下。基于PLM的文本生成技术在学术界和工业界都被认为是一种很有前途的方法。在本文中,我们提供了一个调查利用PLM在文本生成。我们首先介绍了应用PLM文本生成的三个关键方面:1)如何将输入编码为保留输入语义的表示,这些表示可以融合到PLM中; 2)如何设计一个有效的PLM作为生成模型; 3)如何有效地优化给定参考文本的PLM,并确保生成的文本满足特殊的文本属性。然后,我们展示了在这些方面出现的主要挑战,以及可能的解决方案。我们还包括各种有用的资源和基于PLM的典型文本生成应用程序的摘要。最后,我们强调了未来的研究方向,这将进一步提高这些PLM的文本生成。本文旨在帮助对文本生成问题感兴趣的研究人员了解基于PLM的文本生成的核心概念、主要技术和最新进展。
2022-05-13 cs.CL