When Does Data Augmentation Help? Evaluating LLM and Back-Translation Methods for Hausa and Fongbe NLP
Carnegie Mellon University Africa（卡内基梅隆大学非洲分校）；Centre for Text Technology（文本技术中心）；North-West University（北开普大学）
本文评估了LLM生成和回译方法在豪萨语和丰贝语中的有效性，发现任务类型而非语言或LLM质量决定增强效果，不同任务对增强结果有不同影响。
2026-04-14 cs.AI cs.CL
Structured Prediction in NLP -- A survey
Indian Institute of Technology Kanpur（坎普尔印度理工学院）
在过去的几年里，NLP中的结构化预测领域已经取得了巨大的进步，包括复杂的概率图模型、基于能量的网络及其与基于深度学习的方法的结合。本综述简要介绍了结构化预测的主要技术及其在NLP领域的应用，如解析、序列标记、文本生成和序列到序列任务。我们还深入研究了结构化预测中基于能量和基于注意力的技术，确定了当前最先进研究中的一些相关开放问题和差距，并为这些领域的未来研究提出了一些详细的想法。
2021-08-31 cs.AI cs.CL cs.LG
Representing Numbers in NLP: a Survey and a Vision
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
NLP系统很少特别考虑文本中的数字。这与神经科学的共识形成鲜明对比，神经科学认为，在大脑中，数字与文字的表现方式不同。我们将最近关于计算能力的NLP工作整理成一个全面的任务和方法分类。我们将算术的主观概念分解为7个子任务，沿着两个维度排列：粒度（精确与近似）和单位（抽象与接地）。我们分析了无数的代表性的选择，由18个以前出版的数字编码器和解码器。我们综合了在文本中表示数字的最佳实践，并阐述了NLP中整体计算能力的愿景，包括设计权衡和统一评估。
2021-03-24 cs.AI cs.CL cs.LG
Meta Learning for Natural Language Processing: A Survey
National Taiwan University（国立台湾大学）；Amazon AI（亚马逊人工智能）；University of Stuttgart（斯图加特大学）
深度学习已经成为自然语言处理领域的主流技术。然而，这些技术需要许多标记的数据，并且跨领域的通用性较低。元学习是机器学习中一个新兴的研究领域，旨在研究如何更好地学习学习算法。这些方法旨在从各个方面改进算法，包括数据效率和泛化能力。方法的有效性在许多NLP任务中得到了证实，但在NLP中还没有对这些方法进行系统的调查，这阻碍了更多的研究者加入这一领域。我们这篇调查论文的目标是为研究人员提供NLP中相关元学习作品的指针，并吸引NLP社区更多的关注，以推动未来的创新。本文首先介绍了元学习的一般概念和常用的元学习方法。然后，我们总结了任务的建设，设置和应用元学习的各种NLP问题，并回顾了元学习在NLP社区的发展。
2022-07-02 cs.AI cs.CL cs.LG
Indian Legal NLP Benchmarks : A Survey
ThoughtWorks（思特沃克）
本文综述了印度法律NLP基准现状，提出创建针对法律系统特有任务的挑战性基准，以推动该领域创新并惠及AI社区与法律界。
2021-07-13 cs.AI cs.CL cs.LG
Multilingual Prompt Engineering in Large Language Models: A Survey Across NLP Tasks
New York University, CIMS（纽约大学）；Cleveland State University（克利夫兰州立大学）
本文综述多语言提示工程，按任务分类39种提示技术，分析覆盖约250种语言的36篇论文及30项NLP任务，并总结LLM、SoTA方法与跨语系资源差异。
2025-05-16 cs.AI cs.CL cs.LG
Taxonomic survey of Hindi Language NLP systems
DDU
自然语言处理（NLP）代表了机器自动处理自然人类语言的任务。NLP有很多可能的应用，有助于自动化任务，如将文本从一种语言翻译成另一种语言，从非常庞大的存储库中检索和总结数据，垃圾邮件过滤，识别数字媒体中的假新闻，发现人们的情绪和反馈，发现政治观点和人民对各种政府政策的看法，根据病人过去的历史记录提供有效的医疗援助等印地语是印度的官方语言，在印度有近6.91亿用户，在世界其他地区有3.66亿用户。目前，印度和国外的一些政府和私营部门的项目和研究人员正在努力开发印度语言的NLP应用程序和资源。该调查报告了印地语NLP可用的资源和应用程序。
2021-01-30 cs.AI cs.CL
Putting Humans in the Natural Language Processing Loop: A Survey
College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）
我们如何设计能够从人类反馈中学习的自然语言处理（NLP）系统？越来越多的人在回路（HITL）NLP框架的研究机构不断整合人类反馈以改进模型本身。HITL NLP研究是新兴的，但五花八门-解决各种NLP问题，从不同的人那里收集不同的反馈，并应用不同的方法从收集的反馈中学习。我们对机器学习（ML）和人机交互（HCI）社区的HITL NLP工作进行了调查，突出了其短暂但鼓舞人心的历史，并彻底总结了最近的框架，重点是他们的任务，目标，人类交互和反馈学习方法。最后，我们讨论了在NLP开发循环中整合人类反馈的未来方向。
2021-03-06 cs.AI cs.CL cs.HC
Explanation-Based Human Debugging of NLP Models: A Survey
Imperial College London（伦敦帝国学院）
机器学习模型是困难的，因为错误通常涉及训练数据和学习过程。对于一个不透明的深度学习模型来说，如果我们不知道模型实际上是如何工作的，这就变得更加困难了。在本调查中，我们回顾了利用解释使人类能够提供反馈和调试NLP模型的论文。我们把这个问题称为基于解释的人工调试（EBHD）。特别是，我们分类和讨论现有的工作沿EBHD的三个方面（错误的背景下，工作流程和实验设置），编译EBHD组件如何影响反馈提供者的调查结果，并突出开放的问题，可能是未来的研究方向。
2021-12-10 cs.AI cs.CL cs.HC
Natural Language Processing Advancements By Deep Learning: A Survey
Virginia Polytechnic Institute and State University（弗吉尼亚理工大学）；University of Minnesota Twin Cities（明尼苏达大学双城校区）
自然语言处理（NLP）通过增强对人类语言的更好理解来帮助智能机器进行基于语言的人机通信。计算能力的最新发展和大量语言数据的出现提高了使用数据驱动方法进行自动语义分析的需求。由于在计算机视觉、自动语音识别，特别是NLP等领域使用深度学习方法所表现出的显著改进，数据驱动策略的利用现在很普遍。本调查对受益于深度学习的NLP的不同方面和应用进行了分类和解决。它涵盖了核心NLP任务和应用程序，并描述了深度学习方法和模型如何推进这些领域。我们进一步分析和比较不同的方法和最先进的模型。
2021-02-27 cs.AI cs.CL cs.LG
RAC: Efficient LLM Factuality Correction with Retrieval Augmentation
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文提出检索增强校正（RAC）方法，通过将大语言模型输出分解为原子事实并进行细粒度验证与校正，在不微调的情况下以低延迟提升事实性，实验显示最高提升30%。
2024-10-21 cs.AI cs.CL cs.LG
A Systematic Survey of Natural Language Processing for the Greek Language
Athens University of Economics and Business（雅典经济与商业大学）；Athena Research Center（雅典娜研究中心）；Stockholm University（斯德哥尔摩大学）
本研究提出一个可推广的系统性单语NLP综述框架，应用于希腊语（2012-2023），通过结构化搜索、任务与资源分类法分析现状与资源空白，并提供公开更新的常青资源，展示了对低资源语言的适用性。
2025-06-18 cs.AI cs.CL
Data Augmentation Approaches in Natural Language Processing: A Survey
Harbin Institute of Technology（哈尔滨工业大学）
作为一种有效的策略，数据增强（DA）可以解决深度学习技术可能失败的数据稀缺场景。它在计算机视觉中得到了广泛的应用，然后被引入到自然语言处理中，并在许多方面取得了改进。DA方法的主要重点之一是提高训练数据的多样性，从而帮助模型更好地推广到看不见的测试数据。在这项调查中，我们框架DA方法分为三类的基础上增强数据的多样性，包括释义，噪声和采样。我们的论文开始详细分析DA方法，根据上述类别。此外，我们还介绍了它们在NLP任务中的应用以及面临的挑战。附录中提供了一些有用的资源。
2022-06-27 cs.AI cs.CL cs.LG
Diffusion Models in NLP: A Survey
Southwestern University of Finance and Economics（西南财经大学）
扩散模型已经成为一个强大的深生成模型家族，在许多应用中具有破纪录的性能。本文首先对扩散模型的基本理论进行了概述和推导，然后从文本生成、文本驱动图像生成等四个方面回顾了扩散模型在自然语言处理领域的研究成果，并对整理出的相关文献资料进行了分析和总结，最后记录了本课题文献综述研究的体会和感受。
2023-03-14 cs.AI cs.CL
Optimizing Sentence Embedding with Pseudo-Labeling and Model Ensembles: A Hierarchical Framework for Enhanced NLP Tasks
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Chinese Academy of Sciences（中国科学院大学）；Cornell University（康奈尔大学）
本文提出一个结合伪标签生成与模型集成的分层框架，利用外部数据、交叉注意力与数据增强技术，显著提升了句子嵌入任务的准确率和 F1 分数。
2025-01-27 cs.AI cs.CL
Diversity-oriented Data Augmentation with Large Language Models
Computer Network Information Center, CAS（中国科学院计算机网络信息中心）；University of Chinese Academy of Sciences（中国科学院大学）；Portland State University（波特兰州立大学）
针对现有数据增强忽视样本分布多样性的问题，提出面向多样性的DoAug框架，通过微调LLM生成多样化改写并整合核心集，在12个数据集上平均性能提升10.52%。
2025-06-02 cs.AI cs.CL cs.LG
A Survey on Out-of-Distribution Detection in NLP
Alibaba Group（阿里巴巴集团）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文首次系统综述NLP中的分布外检测，按数据可用性将方法分为三类，并介绍数据集、应用与指标，总结现状并展望未来方向。
2023-12-27 cs.AI cs.CL cs.LG
Challenges and Opportunities of Using Transformer-Based Multi-Task Learning in NLP Through ML Lifecycle: A Survey
doXray B.V.（doXray有限公司）
本文综述 NLP 中基于 Transformer 的多任务学习方法，并从数据工程、开发、部署到监控的机器学习生命周期分析其挑战与机遇，同时倡导结合持续学习。
2023-08-16 cs.AI cs.CL cs.LG
A Survey of Methods for Addressing Class Imbalance in Deep-Learning Based Natural Language Processing
Bosch Center for Artificial Intelligence（博世人工智能中心）；Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）
许多自然语言处理（NLP）任务自然是不平衡的，因为某些目标类别比现实世界中的其他目标类别出现得更频繁。在这种情况下，当前的NLP模型在不太频繁的类上仍然表现不佳。解决NLP中的类不平衡是一个活跃的研究课题，然而，为特定的任务和不平衡场景找到一个好的方法是困难的。通过这项调查，我们首次对基于深度学习的NLP中的类不平衡进行了概述，为NLP研究人员和实践者处理不平衡数据提供了指导。我们首先讨论各种类型的控制和现实世界的阶级不平衡。然后，我们的调查涵盖了为类不平衡的NLP任务明确提出的方法，或者起源于计算机视觉社区的方法，已经对其进行了评估。我们组织的方法，无论是基于采样，数据增强，选择损失函数，分阶段学习，或模型设计。最后，我们讨论了开放的问题，如处理多标签场景，并提出系统的基准和报告，以推动这个问题作为一个社区。
2023-02-22 cs.AI cs.CL
A Survey on Bias and Fairness in Natural Language Processing
Stanford University（斯坦福大学）
随着NLP模型与人们的日常生活越来越紧密地结合在一起，研究这些系统的使用所产生的社会影响变得非常重要。虽然这些模型能够理解语言，并在困难的下游任务上提高了准确性，但有证据表明，这些模型放大了性别、种族和文化陈规定型观念，并在许多情况下导致恶性循环。在这项调查中，我们分析了偏见的起源，公平的定义，以及NLP的不同子领域如何减轻偏见。最后，我们将讨论未来的研究如何消除NLP算法中的有害偏见。
2022-03-06 cs.AI cs.CL
A Survey of Prompt Engineering Methods in Large Language Models for Different NLP Tasks
New York University（纽约大学）
本文综述了44篇研究论文，总结了29个NLP任务上的39种提示工程方法，分类讨论了这些技术在各数据集上的性能、所用LLMs及对应SoTA。
2024-07-24 cs.AI cs.CL
Large Language Models Meet NLP: A Survey
School of Computer Science（计算机科学学院）；Engineering, Central South University（工程学院，中南大学）；Research Center for Social Computing（社会计算研究中心）；Interactive Robotics, Harbin Institute of Technology（交互机器人研究，哈尔滨工业大学）；Department of Computer Science, University of Hong Kong（计算机科学系，香港大学）；Shenzhen International Graduate School, Tsinghua University（深圳国际研究生院，清华大学）；Department of Computer Science, University of Illinons at Chicago（计算机科学系，伊利诺伊大学香槟分校）
本综述针对LLMs在NLP领域系统性研究不足的问题，通过统一分类法（参数冻结、调优范式）全面概述其应用现状，探讨传统任务解决情况与未来方向，为该领域提供见解与实用指南。
2025-08-25 cs.AI cs.CL
Interpretation of Black Box NLP Models: A Survey
Indian Institute of Technology Delhi（印度理工学院德里分校）
越来越多的机器学习模型被部署在金融和医疗保健等高风险领域。尽管它们的性能优越，但许多模型本质上是难以解释的黑匣子。研究人员正在努力开发解释这些黑箱模型的方法。基于扰动的事后解释（如LIME）是在机器学习模型构建后对其进行解释的广泛使用的方法。这类方法已被证明表现出很大的不稳定性，对方法本身的有效性构成严重挑战，并损害用户的信任。在本文中，我们提出了S-LIME，它利用一个假设检验框架的基础上，中心极限定理确定扰动点的数量，以保证稳定的解释。仿真和真实世界的数据集上的实验证明了我们的方法的有效性。
2022-03-31 cs.AI cs.CL cs.IR
Knowledge Management System with NLP-Assisted Annotations: A Brief Survey and Outlook
Columbia University（哥伦比亚大学）
知识管理系统（KMS）对工业研究人员，化学或研究企业，或基于证据的决策有很高的需求。然而，现有的系统在分类和组织论文见解或关系方面具有局限性。传统的数据库通常与日志系统不相交，这限制了它在生成简明、整理的概述方面的效用。在这项工作中，我们简要地调查现有的方法，这个问题的空间，并提出了一个统一的框架，利用关系数据库记录层次信息，以促进研究和写作过程中，或产生有用的知识，从参考或见解连接的概念。我们的双向知识管理系统（BKMS）框架实现了新的功能，包括改进的分层笔记，人工智能辅助的头脑风暴和多向关系。潜在的应用包括为制造或研究企业管理库存和变更，或生成基于证据的决策分析报告。
2022-11-03 cs.AI cs.CL cs.DB
State of NLP in Kenya: A Survey
Maseno University（马塞诺大学）；University of Cape Town（开普敦大学）；African Institute for Mathematical Sciences - AIMS（非洲数学科学研究所）；United States International University-Africa（美国国际大学非洲分校）；Zindi（津迪平台）；Jomo Kenyatta University of Agriculture and Technology - JKUAT（乔莫·肯雅塔农业技术大学）；The University of Minnesota, Twin Cities（明尼苏达大学双城分校）；University of Manchester（曼彻斯特大学）；Songhai（松海机构）；University of Groningen（格罗宁根大学）；Stellenboch University（斯泰伦博斯大学）；Jumia Group（朱米亚集团）；Adventist University of Africa（非洲基督复临大学）；University of Nairobi（内罗毕大学）；Deep Learning Indaba（深度学习印达巴组织）；Karadeniz Technical University（卡拉德尼兹技术大学）；Datawise Africa（非洲数据智能机构）；Kisii University（基西大学）；Future Africa - University of Pretoria（比勒陀利亚大学未来非洲中心）
本调查评估了肯尼亚自然语言处理现状，揭示了本土语言在数据集与模型方面的资源缺口，并分析了关键应用及政策法规，提出了加速技术发展的战略路线图。
2024-10-13 cs.AI cs.CL
Survey of Natural Language Processing for Education: Taxonomy, Systematic Review, and Future Trends
School of Data Science and Engineering, East China Normal University（数据科学与工程学院，东华大学）
本综述系统回顾了NLP在教育领域的应用，构建了涵盖问答、问题构建、自动评估和错误纠正等任务的分类体系，探讨了前沿技术及LLM方法，并指出了五个未来研究方向。
2025-10-11 cs.AI cs.CL
What Do NLP Researchers Believe? Results of the NLP Community Metasurvey
Paul G. Allen School for Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Center for Data Science, New York University（纽约大学数据科学中心）；Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Department of Linguistics, New York University（纽约大学语言学系）；Department of Computer Science, Johns Hopkins University（约翰斯·霍普金斯大学计算机科学系）
我们介绍了NLP社区元调查的结果。该调查于2022年5月至6月进行，就有争议的问题征求意见，包括该领域的行业影响力，对AGI的担忧以及道德。我们的研究结果为几个争议提供了具体的数字：例如，受访者在关于人工通用智能的重要性，语言模型是否理解语言，以及语言结构和归纳偏见对解决NLP问题的必要性的问题上几乎正好分为两半。此外，调查还提出了元问题，要求受访者预测调查答复的分布情况。这不仅使我们能够深入了解NLP研究人员所持有的信念，而且还可以发现社区预测与现实不符的错误社会学信念。我们发现，在许多问题上都存在这种不匹配。在其他结果中，社区大大高估了自己对基准的有用性和扩展解决现实问题的潜力的信念，同时低估了自己对语言结构，归纳偏见和跨学科科学的重要性的信念。
2022-08-26 cs.AI cs.CL
A Survey of Multi-task Learning in Natural Language Processing: Regarding Task Relatedness and Training Methods
University of Notre Dame（圣母大学）
多任务学习（MTL）在自然语言处理（NLP）中越来越受欢迎，因为它通过利用它们的共性和差异来提高相关任务的性能。然而，如何根据训练任务的相关性来实现多任务学习，目前还没有很好的理解。在这项调查中，我们回顾了NLP中多任务学习方法的最新进展，目的是根据任务相关性将其总结为两种通用的多任务训练方法：（i）联合训练和（ii）多步训练。我们提出了各种NLP下游应用程序的例子，总结了任务关系，并讨论了这个有前途的主题的未来发展方向。
2023-02-14 cs.AI cs.CL
Incorporating Worker Perspectives into MTurk Annotation Practices for NLP
UC Berkeley（加州大学伯克利分校）
本研究通过文献综述和工人调查，揭示MTurk工人偏好与NLP研究者认知的差异，并提出改进标注实践以尊重工人权利和提升数据质量的建议。
2023-11-16 cs.AI cs.CL
An Audit on the Perspectives and Challenges of Hallucinations in NLP
College of Information Sciences and Technology, Pennsylvania State University（宾夕法尼亚州立大学信息科学与技术学院）；School of Interactive Computing, Georgia Institute of Technology（佐治亚理工学院交互计算学院）；Department of Computer Science & Engineering, Pennsylvania State University（宾夕法尼亚州立大学计算机科学与工程系）；Adobe Research（奥多比研究中心）
本研究通过审计103篇NLP文献及调研171名从业者，发现领域内对大语言模型幻觉术语缺乏共识，呼吁明确相关定义与框架，并梳理了幻觉的社会影响与潜在挑战。
2024-09-14 cs.AI cs.CL
Unifying the Perspectives of NLP and Software Engineering: A Survey on Language Models for Code
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
本文系统综述了语言模型在软件工程中的应用，涵盖70+模型、180+数据集，整合SE与NLP视角，并指出代码建模从统计模型到LLM的演进，同时展望了未来挑战与方向。
2024-06-26 cs.AI cs.CL cs.SE
How to Enable Effective Cooperation Between Humans and NLP Models: A Survey of Principles, Formalizations, and Beyond
Sichuan University（四川大学）；Singapore Management University（新加坡国立大学）；York University（约克大学）；Engineering Research Center of Machine Learning and Industry Intelligence, Ministry of Education, China（机器学习与产业智能工程研究中心，教育部，中国）；National University of Singapore（新加坡国立大学）
本文综述了人类与NLP模型合作的新范式，提出统一分类法总结现有方法，并探讨前沿挑战，为未来研究奠定基础。
2025-05-22 cs.AI cs.CL cs.HC
TeacherLM: Teaching to Fish Rather Than Giving the Fish, Language Modeling Likewise
University of the Chinese Academy of Sciences（中国科学院大学）；Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）；University of Electronic Science and Technology of China（电子科技大学）；The University of Hong Kong（香港大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；SenseTime Research（商汤科技研究院）
本文提出TeacherLM-7.1B模型，通过为NLP样本标注基础、思维链和常见错误，增强数据以教导小型模型理解“为什么”，在MMLU上零样本得分52.3，超越百亿参数模型，并显著提升多任务学生模型性能。
2024-07-16 cs.AI cs.CL
Large Language Models on Fine-grained Emotion Detection Dataset with Data Augmentation and Transfer Learning
Carnegie Mellon University（卡内基梅隆大学）；Purdue University（普渡大学）；University of Michigan（密歇根大学）
本文针对 GoEmotions 细粒度文本情感识别难题，结合数据增强与迁移学习提升大语言模型分类性能，并总结洞见、展望跨数据集综述研究。
2024-04-09 cs.AI cs.CL
NLP Privacy Risk Identification in Social Media (NLP-PRISM): A Survey
George Mason University（乔治·马歇尔大学）
本文提出NLP-PRISM框架，系统评估社交媒体中NLP处理的隐私风险，揭示模型隐私保护与效用之间的权衡，并呼吁加强隐私保护措施。
2026-01-26 cs.AI cs.CL cs.CR
A Survey on Patent Analysis: From NLP to Multimodal AI
Department of Computer Science, University of Illinois Chicago（计算机科学系，伊利诺伊大学芝加哥分校）
本综述总结了专利分析中基于NLP和多模态AI的最新方法，提出基于专利生命周期任务与方法细节的新分类法，为相关领域的研究人员、从业者及专利局构建高效专利系统提供全面资源。
2025-06-26 cs.AI cs.IR
A Short Survey of Pre-trained Language Models for Conversational AI-A NewAge in NLP
Macquarie University（麦考瑞大学）；The University of Adelaide（阿德莱德大学）
构建一个能够自然地与人交流的对话系统是基于主体的计算中一个具有挑战性且有趣的问题。该领域的快速发展通常受到长期存在的数据稀缺问题的阻碍，因为这些系统需要从数量不足的特定任务数据集中学习语法、语法、决策和推理。最近引入的预训练语言模型有可能解决数据稀缺的问题，并通过生成上下文化的词嵌入带来相当大的优势。这些模型被认为是NLP中ImageNet的对应模型，并已被证明可以捕获语言的不同方面，例如层次关系，长期依赖和情感。在这篇简短的调查论文中，我们讨论了预训练语言模型领域的最新进展。我们还讨论了如何利用这些语言模型的优势来设计更有吸引力和更雄辩的会话代理。因此，本文旨在确定这些预先训练的模型是否可以克服与对话系统相关的挑战，以及如何利用它们的架构来克服这些挑战。还审议了对话系统领域的公开挑战。
2021-04-22 cs.AI cs.CL cs.IR
TextAttack: A Framework for Adversarial Attacks, Data Augmentation, and Adversarial Training in NLP
Department of Computer Science, University of Virginia（弗吉尼亚大学计算机科学系）；Computer Science and Artificial Intelligence Laboratory, MIT（麻省理工学院计算机科学与人工智能实验室）
虽然已经有大量的研究使用对抗攻击来分析NLP模型，但每种攻击都在自己的代码库中实现。开发NLP攻击并利用它们来提高模型性能仍然具有挑战性。本文介绍了TextAttack，这是一个用于NLP中的对抗攻击、数据增强和对抗训练的Python框架。TextAttack从四个组件构建攻击：目标函数，一组约束，转换和搜索方法。TextAttack的模块化设计使研究人员能够很容易地从新的和现有的组件的组合构建攻击。TextAttack提供了文献中16种对抗攻击的实现，并支持各种模型和数据集，包括BERT和其他Transformers，以及所有GLUE任务。TextAttack还包括数据增强和对抗训练模块，用于使用对抗攻击的组件来提高模型的准确性和鲁棒性。TextAttack正在使NLP民主化：任何人都可以在任何模型或数据集上尝试数据增强和对抗训练，只需几行代码。代码和教程可在https://github.com/QData/TextAttack上获得。
2020-10-05 cs.AI cs.CL cs.LG
Natural Language Processing Methods for Symbolic Music Generation and Information Retrieval: a Survey
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（里尔中央理工学院）；Univ. Bordeaux（波尔多大学）；Bordeaux INP（波尔多综合理工学院）；Singapore University of Technology and Design（新加坡科技设计大学）
本综述梳理了应用于符号音乐生成与信息检索的NLP方法，涵盖符号音乐表示、适配的深度学习模型及专用机制，并讨论了技术问题与文本音乐差异，为后续适配研究指明方向。
2024-02-27 cs.AI cs.IR cs.SD
Data Augmentation for Neural NLP
University of Zagreb, Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算学院）；Text Analysis and Knowledge Engineering Lab（文本分析与知识工程实验室）
数据稀缺是一个问题，发生在语言和任务中，我们没有大量的标记数据，但希望使用最先进的模型。此类模型通常是需要大量数据来进行训练的深度学习模型。获取各种机器学习问题的数据伴随着高标签成本。数据增强是解决数据稀缺问题的一种低成本方法。本文概述了当前用于自然语言处理的最先进的数据增强方法，重点是神经和基于转换器的模型的方法。此外，它还讨论了数据增强的实际挑战，可能的缓解措施和未来研究的方向。
2023-02-22 cs.CL cs.LG
Substructure Substitution: Structured Data Augmentation for NLP
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们研究了一系列的数据增强方法，子结构替换（SUB2），自然语言处理（NLP）任务。SUB2通过替换子结构（例如，子树或连续性）与具有相同标签的子树，这可以应用于许多结构化的NLP任务，例如词性标注和解析。对于更一般的任务（例如，文本分类），没有显式注释的子结构，我们提出了基于选区解析树的SUB2的变体，将结构感知的数据增强方法引入到一般的NLP任务中。在大多数情况下，使用SUB2的增强数据集进行训练比使用原始训练集进行训练获得更好的性能。进一步的实验表明，在不同的任务和种子数据集的大小上，SUB2比其他研究的增强方法具有更一致的性能。
2021-01-02 cs.CL
UXLA: A Robust Unsupervised Data Augmentation Framework for Zero-Resource Cross-Lingual NLP
Nanyang Technological University（南洋理工大学）；Salesforce Research Asia（Salesforce亚洲研究院）
迁移学习已经在许多有监督的NLP任务中产生了最先进的（SoTA）结果。然而，在每一种目标语言中的每一个目标任务的注释数据是罕见的，特别是对于低资源语言。我们提出了UXLA，一种新的无监督数据增强框架的零资源迁移学习的情况下。特别地，UXLA旨在解决从源语言任务分布到未知目标语言任务分布的跨语言适应问题，假设目标语言中没有训练标签。在其核心，UXLA执行同时自我训练与数据增强和无监督的样本选择。为了证明其有效性，我们进行了广泛的实验上三个不同的零资源跨语言迁移任务。UXLA在所有任务中都实现了SoTA结果，远远优于基线。通过深入的框架解剖，我们展示了不同组件对其成功的累积贡献。
2021-06-26 cs.CL cs.LG
Mixup-Transformer: Dynamic Data Augmentation for NLP Tasks
Lehigh University（理海大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Salesforce Research（赛富时研究院）；Hangzhou Dianzi University（杭州电子科技大学）
Mixup是一种最新的数据增强技术，它对输入示例和相应的标签进行线性插值。它通过在像素级对图像进行插值，在图像分类中显示出很强的有效性。受这条研究路线的启发，在本文中，我们探讨了i）如何将mixup应用于自然语言处理任务，因为文本数据很难以原始格式混合; ii）如果mixup在基于transformer的学习模型中仍然有效，例如，BERT。为了实现这一目标，我们将mixup合并到基于transformer的预训练架构中，名为“mixup-transformer”，用于广泛的NLP任务，同时保持整个端到端的训练系统。我们通过在GLUE基准上进行广泛的实验来评估所提出的框架。此外，我们还通过以一定比例减少训练数据来检查混合变换器在低资源场景中的性能。我们的研究表明，mixup是一种与预训练语言模型无关的领域数据增强技术，可以显著提高基于transformer的模型的性能。
2020-11-10 cs.CL cs.LG
Data Augmentation for Maltese NLP using Transliterated and Machine Translated Arabic Data
University of Malta（马耳他大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
针对马耳他语与阿拉伯语系亲属语言存在的正字法差距，本文提出利用阿拉伯语资源通过音译方案、机器翻译方法及新型音译系统进行跨语言数据增强，显著提升了马耳他语NLP任务中单语和多语模型的性能。
2025-09-20 cs.CL
Does Data Augmentation Improve Generalization in NLP?
Brown University（布朗大学）
神经模型通常利用表面特征来实现良好的性能，而不是导出更一般的特征。克服这种趋势是表示学习和ML公平性等领域的核心挑战。最近的工作已经提出使用数据增强，即，生成表面特征失效的训练样本，作为鼓励模型偏好更强特征的手段。我们设计了一系列的玩具学习问题来测试这样一个假设，即数据增强会导致模型忘记较弱的特征，但不会学习更强的特征。我们发现部分支持这一假设：数据增强往往在它帮助之前就伤害了，当首选的强特征比竞争的弱特征更难提取时，它的效果就不那么好了。
2020-10-09 cs.CL
Text Data Augmentation Made Simple By Leveraging NLP Cloud APIs
TÉLUQ / UQAM（魁北克大学远程教学学院 / 魁北克大学蒙特利尔分校）；Lingua Technologies Inc.（Lingua技术公司）；DataFranca（DataFranca公司）
在实践中，通常发现自己的文本数据太少，无法训练深度神经网络。这种“大数据墙”对互联网上的少数民族语言社区、组织、实验室和与GAFAM竞争的公司（谷歌、亚马逊、Facebook、苹果、微软）构成了挑战。虽然文本数据增强的大部分研究工作都是着眼于寻找端到端学习解决方案的长期目标，这相当于“使用神经网络来喂养神经网络“，但这项工程工作侧重于使用实用，健壮，可扩展和易于实现的数据增强预处理技术，类似于计算机视觉中成功的技术。已经试验了几种文本增强技术。一些现有的测试是为了比较的目的，比如噪声注入或正则表达式的使用。另一些是修改或改进的技术，如词汇替换。最后，更具创新性的方法，例如使用反向翻译或通过语法树转换生成释义，都是基于强大，可扩展和易于使用的NLP云API。研究的所有文本增强技术，放大因子仅为5，在文本极性预测的标准化任务上，结果的准确性提高了4.3%至21.6%，具有显著的统计波动。测试了一些标准的深度神经网络架构：多层感知器（MLP），长短期记忆递归网络（LSTM）和双向LSTM（biLSTM）。经典的XGBoost算法已经过测试，最多有2.5%的改进。
2018-12-05 cs.CL cs.LG
KnowDA: All-in-One Knowledge Mixture Model for Data Augmentation in Low-Resource NLP
Macquarie University（麦考瑞大学）；Peking University（北京大学）；Microsoft Corporation（微软公司）
本文主要研究训练集有限的低资源NLP任务的数据增强。现有的解决方案或者利用与任务无关的启发式规则（例如，同义词替换）或微调通用预训练语言模型（例如，GPT 2）使用有限的训练实例来产生新的合成数据。因此，它们具有琐碎的特定于任务的知识，并且限于产生低质量的合成数据。为了解决这个问题，我们提出了知识混合数据增强模型（KnowDA），这是一个Seq 2Seq语言模型，在知识混合训练（KoMT）的新框架下，对不同的NLP任务进行了预训练。KoMT的目标是将不同的NLP任务特定知识浓缩到单个KnowDA模型中（即，使KnowDA能够利用这些知识，通过有限的训练实例，快速掌握目标任务的内在合成规律。具体而言，KoMT将来自各种异构NLP任务的输入示例重新格式化为统一的文本到文本格式，并采用不同粒度的去噪训练目标来学习重建部分或完整样本。据我们所知，我们是第一次尝试将100+ NLP多任务训练应用于数据增强。广泛的实验表明i）由KnowDA产生的合成数据成功地提高了强预训练语言模型的性能（即，BERT，ALBert和Deberta）在低资源的NLP基准FewGLUE，CoNLL'03和WikiAnn上获得了很大的优势; ii）KnowDA成功地将任务知识转移到NLP任务，其类型在KoMT中可见和不可见。
2023-01-27 cs.CL
Iterative Mask Filling: An Effective Text Augmentation Method Using Masked Language Modeling
Yildiz Technical University（耶尔德兹技术大学）
本文提出一种基于BERT模型Fill-Mask功能的迭代掩码文本增强方法，通过迭代掩码句子中的单词并用模型预测替换，在多种NLP任务上显著提升性能，尤其在主题分类数据集上效果突出。
2024-01-03 cs.AI cs.CL cs.LG
Testing the effectiveness of saliency-based explainability in NLP using randomized survey-based experiments
Procter & Gamble（宝洁公司）；Singapore Management University（新加坡管理大学）
随着自然语言处理（NLP）在政治分析、教育论文审查等敏感领域的应用激增，迫切需要提高NLP模型的透明度，以建立与利益相关者的信任并识别偏见。可解释人工智能的许多工作都旨在设计解释方法，让人类深入了解NLP模型的工作和预测。虽然这些方法将预测从复杂的模型（如神经网络）中提取出来，转化为可消费的解释，但人类如何理解这些解释仍然是广泛未探索的。人类与生俱来的倾向和偏见可能会阻碍人类对这些解释的理解，也可能导致他们对模型和预测做出错误的判断。我们设计了一个基于随机调查的实验，以了解自然语言处理中基于显着性的事后可解释性方法的有效性。实验结果表明，人类倾向于接受不那么批判性的解释。
2022-11-25 cs.AI cs.CL cs.LG
CoDa: Constrained Generation based Data Augmentation for Low-Resource NLP
University of Maryland（马里兰大学）；NVIDIA（英伟达公司）
CoDa通过从低资源数据中提取简单约束并提示大语言模型生成多样化训练样本，实现无需训练的可控数据增强，在11个数据集上优于基线方法。
2024-03-30 cs.CL
Rethink the Effectiveness of Text Data Augmentation: An Empirical Analysis
University College London（伦敦大学学院）
该研究针对数据增强对语言模型微调效果存疑的问题，通过7类NLP任务结合回译的实验，证实增强数据上的持续预训练可提升下游微调性能，少样本场景下最优提升超10%。
2023-06-13 cs.AI cs.CL cs.LG
CoSDA-ML: Multi-Lingual Code-Switching Data Augmentation for Zero-Shot Cross-Lingual NLP
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）；Harbin Institute of Technology（哈尔滨工业大学）
多语言上下文嵌入，如多语言BERT（mBERT），已在各种zero-shot跨语言任务中显示出成功。然而，这些模型受到不同语言的子词的上下文表示不一致的限制。现有的工作解决这个问题的双语投影和微调技术。我们提出了一个数据增强框架来生成多语言的代码切换数据，以微调mBERT，它鼓励模型对齐表示从源和多个目标语言一次混合他们的上下文信息。与现有的工作相比，我们的方法不依赖于双语句子进行训练，对于多个目标语言只需要一个训练过程。对5个任务19种语言的实验结果表明，我们的方法导致显着提高性能的所有任务相比，mBERT。
2020-07-13 cs.CL
LINDA: Unsupervised Learning to Interpolate in Natural Language Processing
Hyundai Motor Company（现代汽车公司）；New York University（纽约大学）；Genentech（基因泰克公司）；CIFAR Fellow（加拿大高等研究院研究员）
尽管mixup在数据增强方面取得了成功，但由于自然语言的离散和可变长度性质，其对自然语言处理（NLP）任务的适用性受到限制。因此，最近的研究依赖于特定领域的语言学和手工制作的资源，如字典，以便在NLP中应用mixup。在本文中，我们提出了一种用于数据增强的文本插值的无监督学习方法，我们称之为“学习插值数据增强“（LINDA），它不需要任何语法分析，也不需要手动制作的资源，而是学习在自然语言流形上的任何一对自然语言句子之间插值。在经验证明LINDA的插值能力后，我们表明LINDA确实允许我们在NLP中无缝地应用mixup，并在域内和域外的文本分类中实现更好的泛化。
2021-12-28 cs.CL cs.LG
A Survey on Model Compression and Acceleration for Pretrained Language Models
University of California, San Diego（加州大学圣地亚哥分校）
尽管在许多NLP任务上实现了最先进的性能，但高能量成本和长推理延迟阻止了基于transformer的预训练语言模型（PLM）被更广泛地采用，包括边缘和移动计算。高效的NLP研究旨在全面考虑NLP整个生命周期的计算，时间和碳排放，包括数据准备，模型训练和推理。在本次调查中，我们重点关注推理阶段，并回顾了预训练语言模型的模型压缩和加速的现状，包括基准测试，指标和方法。
2022-11-29 cs.AI cs.CL cs.LG
