Compression of Deep Learning Models for Text: A Survey
Microsoft(微软)
近年来,自然语言处理(NLP)和信息检索(IR)领域取得了巨大的进步,这要归功于深度学习模型,如递归神经网络(RNN),门控递归单元(GRU)和长短期记忆(LSTM)网络,以及基于Transformer [120]的模型,如来自Transformers的双向编码器表示(BERT)[24],生成预训练Transformer(GPT-2)[94],多任务深度神经网络(MT-DNN)[73],超长网络(XLNet)[134],文本到文本传输Transformer(T5)[95],T-NLG [98]和GShard [63]。但这些模型都是巨大的。另一方面,现实世界的应用程序需要小的模型大小,低响应时间和低计算功率瓦数。在这项调查中,我们讨论了六种不同类型的方法,(修剪、量化、知识蒸馏、参数共享、张量分解和基于次二次Transformer的方法)来压缩这些模型,使其能够部署在实际的工业NLP项目中。鉴于构建具有高效和小型模型的应用程序的迫切需求,以及最近在该领域发表的大量工作,我们相信,这份调查整理了过去几年“NLP的深度学习”社区所做的大量工作,并将其作为一个连贯的故事呈现出来。
2021-06-13 cs.AI cs.CL cs.CV
Towards transparency in NLP shared tasks
Iconic Translation Machines, Ltd.(艾康尼克翻译机器有限公司);Dublin City University(都柏林城市大学)
本文报告了在自然语言处理(NLP)社区进行的一项调查。该调查旨在收集研究界对围绕共同任务的问题的意见,包括参与和组织。在收到的175份答复中,既有积极的意见,也有消极的意见。我们对这些反应进行了广泛的分析,并提出了报告,这使我们提出了一个共享的任务组织清单,可以支持未来的参与者和组织者。拟议的检查表是灵活的,足以适应我们的领域中的共享任务的广泛多样性,其目标不是指令性的,而是作为一种工具,鼓励共享任务组织者突出道德行为,从175个受访者认为重要的共同问题开始。它的使用不仅可以作为一种工具来反映共同任务的重要方面,而且还可以促进提高这些方面的透明度。
2021-05-11 cs.CL
TutorialBank: A Manually-Collected Corpus for Prerequisite Chains, Survey Extraction and Resource Recommendation
Department of Computer Science, Yale University(耶鲁大学计算机科学系)
自然语言处理(NLP)领域正在迅速发展,每天都有新的研究成果发表,同时还有大量的教程、代码库和其他在线资源。为了了解这个充满活力的领域或保持最新的最新研究,学生以及教育工作者和研究人员必须不断筛选多个来源,以找到有价值的相关信息。为了解决这种情况,我们引入了TutorialBank,这是一个新的公开数据集,旨在促进NLP教育和研究。我们已经手动收集和分类了超过6,300个关于NLP以及人工智能(AI),机器学习(ML)和信息检索(IR)相关领域的资源。值得注意的是,我们的数据集是用于NLP教育的最大的手动挑选的资源语料库,其中不仅包括学术论文。此外,我们还为资源创建了一个搜索引擎和一个命令行工具,并对语料库进行了注释,以包括研究主题列表、每个主题的相关资源、主题之间的先决条件关系、单个资源的相关子部分以及其他注释。我们正在发布数据集,并提出了几种进一步研究的途径。
2018-05-11 cs.CL
NLP Techniques for Water Quality Analysis in Social Media Content
University of Engineering and Technology, Peshawar(白沙瓦工程技术大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
本文介绍了我们对MediaEval 2021任务的贡献,即“WaterMM:社交多媒体中的水质”。该任务旨在分析与水质相关的社交媒体帖子,特别关注水彩,气味,味道和相关疾病等方面。为此,提供了一个包含文本和视觉信息以及元数据的多模态数据集。考虑到可用内容的质量和数量,我们主要集中在文本信息,分别采用三种不同的模型和联合后融合的方式。这些模型包括(i)来自Transformers的双向编码器表示(BERT),(ii)鲁棒优化的BERT预训练方法(XLM-RoBERTa),以及(iii)定制的长短期记忆(LSTM)模型,在官方测试集上分别获得0.794、0.717、0.663的总体F1分数。在融合方案中,所有的模型都被平等对待,并没有显着的改善,观察到在性能最好的个人模型。
2021-11-30 cs.CL cs.SI
Detecting Greenwashing: A Natural Language Processing Literature Survey
LIX, CNRS, Inria, École polytechnique(LIX、CNRS、Inria、巴黎高等学院);Institut Polytechnique de Paris(巴黎高等理工学院)
本文综述了NLP在检测绿色洗脑中的应用,指出当前方法在数据标注和模型设计上的不足,提出需结合可靠标注与可解释模型以提升检测效果。
2026-01-29 cs.CL
Meta-learning for Few-shot Natural Language Processing: A Survey
Salesforce Research(Salesforce 研究院)
Few-Shot自然语言处理(NLP)是指仅伴随少数标记示例的NLP任务。这是人工智能系统必须学会处理的现实挑战。通常我们依赖于收集更多的辅助信息或开发更有效的学习算法。然而,如果从头开始训练,则高容量模型中的一般基于梯度的优化需要在大量标记的示例上执行许多参数更新步骤以表现良好(Snell等人,2017年)的报告。如果目标任务本身不能提供更多的信息,那么如何收集更多的带有丰富注释的任务来帮助模型学习呢?元学习的目标是训练具有丰富注释的各种任务的模型,使得它可以仅使用少量标记的样本来解决新任务。关键思想是训练模型的初始参数,使得模型在通过零或几个梯度步骤更新参数之后在新任务上具有最大性能。已经有一些关于元学习的调查,例如(Vilalta和Drissi,2002; Vanschoren,2018; Hospedales等人,2020年)。然而,本文的重点是自然语言处理领域,特别是Few-Shot应用。本文试图给出元学习在Few-Shot NLP中应用的更清晰的定义、进展总结和一些常用的数据集。
2020-07-19 cs.CL cs.LG
BanglaParaphrase: A High-Quality Bangla Paraphrase Dataset
Bangladesh University of Engineering and Technology (BUET)(孟加拉国工程技术大学)
在这项工作中,我们提出了BanglaParaphrase,这是一个由新型过滤管道管理的高质量合成Bangla Paraphrase数据集。我们的目标是通过引入BanglaParaphrase来缓解孟加拉语在NLP领域中的低资源地位,通过保留语义和多样性来确保质量,使其对增强其他孟加拉语数据集特别有用。我们展示了我们的数据集和在其上训练的模型与其他现有作品之间的详细比较分析,以建立我们的合成释义数据生成管道的可行性。我们将在https://github.com/csebuetnlp/banglaparaphrase上公开数据集和模型,以进一步促进Bangla NLP的发展。
2022-10-11 cs.CL
A Survey on Legal Judgment Prediction: Datasets, Metrics, Models and Challenges
Saarland Informatics Campus(萨尔兰信息学园区);Northwestern Polytechnical University(西北工业大学)
法律判决预测是运用自然语言处理技术,根据事实描述自动预测判决结果。最近,大规模的公共数据集和NLP研究的进展导致了对LJP的兴趣越来越大。尽管机器和人类的表现之间存在明显的差距,但在各种基准数据集中取得了令人印象深刻的结果。本文针对目前缺乏对现有LJP任务、数据集、模型和评价的全面综述的现状,(1)分析了6种语言的31个LJP数据集,给出了它们的构造过程,定义了3种不同属性的LJP分类方法;(2)针对LJP任务的不同输出,总结了4类14个评价指标;(3)我们回顾了3种语言的12个法律领域预训练模型,并强调了LJP的3个主要研究方向;(4)我们展示了来自不同法院案件的8个代表性数据集的最新结果,并讨论了开放的挑战。本文可以提供最新的和全面的评论,以帮助读者了解LJP的地位。我们希望能促进NLP研究者和法律专业人士在这个问题上的进一步共同努力。
2022-04-11 cs.CL cs.LG
Exploring NLP Benchmarks in an Extremely Low-Resource Setting
National Kaohsiung University of Science and Technology(高雄科技大学);University of Innsbruck(因斯布鲁克大学)
本文针对濒危罗曼语Ladin的Val Badia变体,利用少量平行语料生成合成数据集,提升低资源环境下的情感分析和多项选择问答性能,提供首个公开可用的Ladin数据集。
2025-09-04 cs.CL
Recent advancements in computational morphology : A comprehensive survey
Dharmsinh Desai University(达尔明辛德赛大学)
本文按时间顺序系统综述了计算形态学从传统方法到深度学习方法的发展,梳理了跨语言数据集,并分析了神经模型的有效性、独特挑战及开放问题。
2024-06-08 cs.CL cs.LG
Revealing Trends in Datasets from the 2022 ACL and EMNLP Conferences
Information Science Division(信息科学部);Nara Institute of Science and Technology(奈良科学技术研究所)
本研究分析2022年ACL和EMNLP会议引入的92个新数据集,揭示其趋势与见解,并为未来数据集策划提供建议。
2024-07-15 cs.CL cs.LG
The Web Is Your Oyster - Knowledge-Intensive NLP against a Very Large Web Corpus
Facebook AI Research(脸书人工智能研究院);University College London(伦敦大学学院);University of Mannheim(曼海姆大学);ENS, PSL University(巴黎高等师范学院,巴黎文理研究大学);Inria(法国国家信息与自动化研究所);University of Washington(华盛顿大学)
为了满足现实世界应用日益增长的需求,知识密集型NLP(KI-NLP)的研究应该通过捕捉真正开放领域环境的挑战来推进:网络规模的知识,缺乏结构,不一致的质量和噪音。为此,我们提出了一个新的设置,用于评估现有的知识密集型任务,在该任务中,我们将背景语料库概括为一个通用的Web快照。我们调查了一系列依赖于知识的NLP任务-无论是事实还是常识,并要求系统使用CCNet的一个子集-Sphere语料库-作为知识源。与维基百科相比,其他KI-NLP中的常见背景语料库,Sphere的数量级更大,更好地反映了网络上知识的全部多样性。尽管覆盖面存在潜在的差距,规模的挑战,缺乏结构和质量较低,我们发现,从球体检索使最先进的系统,以匹配,甚至超越基于维基百科的模型在几个任务。我们还观察到,虽然密集索引可以在维基百科上优于稀疏BM 25基线,但在Sphere上这还不可能。为了促进进一步的研究和减少社区对专有的黑盒搜索引擎的依赖,我们分享我们的索引,评估指标和基础设施。
2022-05-24 cs.AI cs.CL cs.IR
A Survey on Recognizing Textual Entailment as an NLP Evaluation
Barnard College, Data Science Institute, Columbia University(巴纳德学院、数据科学研究所、哥伦比亚大学);Columbia University(哥伦比亚大学)
文本蕴涵识别(RTE)是一个比较不同自然语言处理系统语义理解的统一评价框架。在这篇综述论文中,我们概述了评估和理解NLP系统推理能力的不同方法。然后,我们通过突出的RTE数据集以及RTE数据集的进展来集中讨论RTE,这些数据集专注于可用于在细粒度级别上评估NLP系统的特定语言现象。我们的结论是,在评估NLP系统时,社区应该利用新引入的RTE数据集,专注于特定的语言现象。
2020-10-06 cs.CL
A Survey of Race, Racism, and Anti-Racism in NLP
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院);University of Sheffield(谢菲尔德大学);University of Washington(华盛顿大学)
尽管种族和语言之间有着千丝万缕的联系,但在NLP的研究和开发中,很少有研究考虑种族问题。在这项工作中,我们调查了ACL选集中提到种族的79篇论文。这些论文揭示了在NLP模型开发的各个阶段存在的各种类型的种族相关偏见,强调了积极考虑NLP系统如何维护种族等级制度的必要性。然而,在种族和NLP的研究中仍然存在持续的差距:种族一直被孤立为一个利基主题,在许多NLP任务中仍然被忽视;大多数工作将种族作为一个固定的单维变量,带有地面真理标签,这有可能加强历史种族主义产生的差异;历史上被边缘化的人的声音在NLP文献中几乎不存在。通过确定NLP文献在何处以及如何考虑种族,特别是与相关领域相比,我们的工作呼吁在NLP研究实践中实现包容和种族正义。
2021-07-15 cs.CL
NLP for The Greek Language: A Longer Survey
FORTH-ICS;University of Crete(克里特大学)
针对希腊语NLP资源匮乏的现状,本文系统梳理了三十年来希腊语自动处理的研究、资源与工具,覆盖现代希腊语、古希腊语及方言,为相关研究者提供参考。
2024-08-20 cs.CL
A Survey on Out-of-Distribution Evaluation of Neural NLP Models
Deakin University(迪肯大学);VinUniversity(文莱大学)
本综述探讨了神经NLP模型的分布外(OOD)评估,在统一定义下比较了对抗鲁棒性、领域泛化和数据集偏差三个研究方向,总结了各自的数据生成过程与评估协议,并指出了未来的挑战与机遇。
2023-06-27 cs.CL
Culturally Aware and Adapted NLP: A Taxonomy and a Survey of the State of the Art
Technical University of Darmstadt(达姆施塔特工业大学);Konrad Zuse School of Excellence in Learning and Intelligent Systems (ELIZA)(康拉德·楚泽学习与智能系统卓越学院(ELIZA));University of Cambridge(剑桥大学)
针对 NLP 中“文化”概念缺乏共识的问题,本文提出细粒度文化要素分类体系,并据此综述文化感知与适配 NLP 的资源、方法、进展与空白。
2025-03-14 cs.CL
Taxonomic survey of Hindi Language NLP systems
DDU
自然语言处理(NLP)代表了机器自动处理自然人类语言的任务。NLP有很多可能的应用,有助于自动化任务,如将文本从一种语言翻译成另一种语言,从非常庞大的存储库中检索和总结数据,垃圾邮件过滤,识别数字媒体中的假新闻,发现人们的情绪和反馈,发现政治观点和人民对各种政府政策的看法,根据病人过去的历史记录提供有效的医疗援助等印地语是印度的官方语言,在印度有近6.91亿用户,在世界其他地区有3.66亿用户。目前,印度和国外的一些政府和私营部门的项目和研究人员正在努力开发印度语言的NLP应用程序和资源。该调查报告了印地语NLP可用的资源和应用程序。
2021-01-30 cs.AI cs.CL
A Survey of Knowledge-Intensive NLP with Pre-Trained Language Models
University of California, Los Angeles(加州大学洛杉矶分校);Microsoft Research(微软研究院)
随着预训练的语言模型带来的模型容量的增加,出现了对具有高级功能(包括提供和灵活使用百科知识和常识知识)的更有知识的自然语言处理(NLP)模型的需求。然而,仅仅预先训练的语言模型缺乏单独处理这种知识密集型NLP任务的能力。为了应对这一挑战,大量用外部知识源增强的预训练语言模型被提出并处于快速发展中。本文通过剖析基于预训练语言模型的知识增强模型(PLMKEs)的三个关键要素:知识源、知识密集型NLP任务和知识融合方法,总结了PLMKEs的研究进展。最后,我们提出了PLMKE的挑战的基础上讨论的三个要素,并试图提供NLP从业者进一步研究的潜在方向。
2022-02-17 cs.CL
Towards Faithful Model Explanation in NLP: A Survey
University of Pennsylvania(宾夕法尼亚大学)
本文从忠实性视角系统综述了NLP中110余种模型解释方法,将其归纳为五类并分析各自优缺点,指出共性优势、现存挑战与未来方向。
2024-01-12 cs.CL
The Decades Progress on Code-Switching Research in NLP: A Systematic Survey on Trends and Challenges
Bloomberg(彭博);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Brown University(布朗大学)
本文系统综述了NLP领域数十年来语码转换研究的演进,从语言学理论方法到机器学习方法,梳理了趋势、挑战与未来研究方向。
2023-05-24 cs.CL
A Survey of Adversarial Defences and Robustness in NLP
Robert Bosch Centre for Data Science and AI(罗伯特·博世数据科学与人工智能中心);Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Bhupat and Jyoti Mehta School of Biosciences(布帕特与乔蒂·梅塔生物科学学院)
本文综述了 NLP 中对抗防御方法,提出新分类法,并分析了深度神经网络的脆弱性及防御挑战。
2023-04-18 cs.CL
Neural Unsupervised Domain Adaptation in NLP---A Survey
University of Trento(特伦托大学);ITU Copenhagen(哥本哈根信息技术大学)
深度神经网络擅长从标记数据中学习,并在各种自然语言处理任务中实现最先进的结果。相比之下,从未标记数据中学习,特别是在域转移下,仍然是一个挑战。受最新进展的启发,在这次调查中,我们回顾了神经无监督领域自适应技术,不需要标记的目标域数据。这是一个更具挑战性但适用范围更广的设置。我们概述了从早期传统的非神经方法到预训练模型转移的方法。我们还重新审视了域的概念,我们发现了最受关注的自然语言处理任务类型的偏见。最后,我们概述了未来的发展方向,特别是对未来NLP的分布外泛化的更广泛需求。
2020-10-28 cs.CL
Structured Prediction in NLP -- A survey
Indian Institute of Technology Kanpur(坎普尔印度理工学院)
在过去的几年里,NLP中的结构化预测领域已经取得了巨大的进步,包括复杂的概率图模型、基于能量的网络及其与基于深度学习的方法的结合。本综述简要介绍了结构化预测的主要技术及其在NLP领域的应用,如解析、序列标记、文本生成和序列到序列任务。我们还深入研究了结构化预测中基于能量和基于注意力的技术,确定了当前最先进研究中的一些相关开放问题和差距,并为这些领域的未来研究提出了一些详细的想法。
2021-08-31 cs.AI cs.CL cs.LG
An Empirical Survey of Data Augmentation for Limited Data Learning in NLP
Georgia Institute of Technology(佐治亚理工学院);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
在过去的十年中,通过使用神经模型和大型标记数据集,NLP取得了很大的进步。对大量数据的依赖阻止了NLP模型应用于低资源环境或新任务,这些任务需要大量的时间,金钱或专业知识来标记大量的文本数据。最近,数据增强方法已经被探索作为提高NLP中的数据效率的手段。到目前为止,还没有系统的经验概述数据增强的NLP在有限的标记数据设置,很难理解哪些方法在哪些设置工作。在本文中,我们提供了一个实证调查的最新进展数据增强的NLP在有限的标记数据设置,总结了景观的方法(包括标记级增强,扩展级增强,对抗性增强,隐藏空间增强),并进行了实验,11个数据集涵盖主题/新闻分类,推理任务,释义任务,单句任务。基于这些结果,我们得出了几个结论,以帮助从业者在不同的环境中选择适当的增强,并讨论了NLP中有限数据学习的当前挑战和未来方向。
2021-06-14 cs.AI cs.CL
Neuron-level Interpretation of Deep NLP Models: A Survey
Dalhousie University(达尔豪斯大学);Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
深度神经网络在各个领域的扩散已经看到了对这些模型的可解释性的增加的需求。在这方面所做的初步工作和调查这方面的文件,都集中在高级别代表性分析。然而,最近的一个分支的工作集中在更细粒度的分析这些模型中的神经元的可解释性。在本文中,我们综述了在神经元分析方面所做的工作,包括:i)发现和理解网络中神经元的方法,ii)评估方法,iii)主要发现,包括神经元分析所揭示的跨架构比较,iv)神经元探测的应用,例如:控制模型,领域自适应等,以及v)讨论未解决的问题和未来的研究方向。
2022-08-16 cs.CL
From Triage to Discharge: A Survey of NLP Tasks, Methods, and Open Challenges in the Emergency Department
University of New South Wales(新南威尔士大学)
本综述分析46篇论文,梳理急诊部门分诊、诊断、处置阶段的NLP任务与方法,指出模型从特定架构向预训练语言模型转变等趋势,明确泛化能力有限等开放挑战,为相关研究提供方向。
2026-08-26 cs.CL
Measure and Improve Robustness in NLP Models: A Survey
Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院)
随着NLP模型在基准测试中达到最先进的性能并获得广泛应用,确保这些模型在现实世界中的安全部署变得越来越重要,例如,确保模型在不可见或具有挑战性的情况下具有鲁棒性。尽管鲁棒性是一个越来越多研究的主题,但它已在视觉和NLP等应用中单独探索,在多个研究领域中有各种定义,评估和缓解策略。在本文中,我们的目标是提供一个统一的调查如何定义,测量和提高NLP的鲁棒性。我们首先连接了鲁棒性的多种定义,然后统一了识别鲁棒性故障和评估模型鲁棒性的各种工作。相应地,我们提出了数据驱动、模型驱动和基于归纳先验的缓解策略,并对如何有效提高NLP模型的鲁棒性提出了更系统的观点。最后,我们总结了开放的挑战和未来的方向,以激励在这一领域的进一步研究。
2022-05-09 cs.CL cs.LG
A Systematic Survey of Natural Language Processing for the Greek Language
Athens University of Economics and Business(雅典经济与商业大学);Athena Research Center(雅典娜研究中心);Stockholm University(斯德哥尔摩大学)
本研究提出一个可推广的系统性单语NLP综述框架,应用于希腊语(2012-2023),通过结构化搜索、任务与资源分类法分析现状与资源空白,并提供公开更新的常青资源,展示了对低资源语言的适用性。
2025-06-18 cs.AI cs.CL
Representing Numbers in NLP: a Survey and a Vision
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
NLP系统很少特别考虑文本中的数字。这与神经科学的共识形成鲜明对比,神经科学认为,在大脑中,数字与文字的表现方式不同。我们将最近关于计算能力的NLP工作整理成一个全面的任务和方法分类。我们将算术的主观概念分解为7个子任务,沿着两个维度排列:粒度(精确与近似)和单位(抽象与接地)。我们分析了无数的代表性的选择,由18个以前出版的数字编码器和解码器。我们综合了在文本中表示数字的最佳实践,并阐述了NLP中整体计算能力的愿景,包括设计权衡和统一评估。
2021-03-24 cs.AI cs.CL cs.LG
Meta Learning for Natural Language Processing: A Survey
National Taiwan University(国立台湾大学);Amazon AI(亚马逊人工智能);University of Stuttgart(斯图加特大学)
深度学习已经成为自然语言处理领域的主流技术。然而,这些技术需要许多标记的数据,并且跨领域的通用性较低。元学习是机器学习中一个新兴的研究领域,旨在研究如何更好地学习学习算法。这些方法旨在从各个方面改进算法,包括数据效率和泛化能力。方法的有效性在许多NLP任务中得到了证实,但在NLP中还没有对这些方法进行系统的调查,这阻碍了更多的研究者加入这一领域。我们这篇调查论文的目标是为研究人员提供NLP中相关元学习作品的指针,并吸引NLP社区更多的关注,以推动未来的创新。本文首先介绍了元学习的一般概念和常用的元学习方法。然后,我们总结了任务的建设,设置和应用元学习的各种NLP问题,并回顾了元学习在NLP社区的发展。
2022-07-02 cs.AI cs.CL cs.LG
Diffusion Models in NLP: A Survey
Southwestern University of Finance and Economics(西南财经大学)
扩散模型已经成为一个强大的深生成模型家族,在许多应用中具有破纪录的性能。本文首先对扩散模型的基本理论进行了概述和推导,然后从文本生成、文本驱动图像生成等四个方面回顾了扩散模型在自然语言处理领域的研究成果,并对整理出的相关文献资料进行了分析和总结,最后记录了本课题文献综述研究的体会和感受。
2023-03-14 cs.AI cs.CL
Natural Language Processing - A Survey
自然语言处理(NLP)的效用和力量似乎注定要以深刻和根本的方式改变我们的技术社会。然而,到目前为止,很少有针对大众的NLP科学的描述,甚至是针对聪明但不知情的科学家的描述。本文旨在提供这样一个概述。简而言之,本文的目的是以清晰,平衡和可读的方式描述NLP的目的,程序和实际应用。我们将研究描述NLP方法和过程的最新文献,分析研究人员面临的一些挑战,并简要概述这门科学在IT研究中的当前和未来应用。
2012-09-25 cs.CL
Language (Technology) is Power: A Critical Survey of "Bias" in NLP
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Microsoft Research(微软研究院);Cornell University(康奈尔大学);University of Maryland(马里兰大学)
我们调查了146篇分析NLP系统中“偏见”的论文,发现他们的动机往往是模糊的,不一致的,缺乏规范性推理,尽管分析“偏见”是一个固有的规范过程。我们进一步发现,这些论文提出的用于测量或减轻“偏见”的定量技术与他们的动机不匹配,并且没有与NLP之外的相关文献相结合。基于这些发现,我们通过提出三项建议来描述前进道路的开始,这些建议应该指导分析NLP系统中的“偏见”的工作。这些建议基于对语言和社会等级之间关系的更大认识,鼓励研究人员和实践者阐明他们对“偏见”的概念-即,什么样的系统行为是有害的,以什么方式,对谁,为什么,以及这些陈述背后的规范性推理-并围绕受NLP系统影响的社区成员的生活经验开展工作,同时询问和重新想象技术人员与这些社区之间的权力关系。
2020-05-29 cs.CL cs.CY
Can NLP Tackle Hate Speech in the Real World? Stakeholder-Informed Feedback and Survey on Counterspeech
The Interaction Lab, Heriot-Watt University(赫瑞斯·沃德大学交互实验室);University of Edinburgh(爱丁堡大学)
本文通过系统综述74项NLP反言论研究和与五个NGO的参与式案例研究,揭示当前研究忽视利益相关者参与,并提出重新以利益相关者专业知识为中心的建议。
2025-08-06 cs.CL
Testing the effectiveness of saliency-based explainability in NLP using randomized survey-based experiments
Procter & Gamble(宝洁公司);Singapore Management University(新加坡管理大学)
随着自然语言处理(NLP)在政治分析、教育论文审查等敏感领域的应用激增,迫切需要提高NLP模型的透明度,以建立与利益相关者的信任并识别偏见。可解释人工智能的许多工作都旨在设计解释方法,让人类深入了解NLP模型的工作和预测。虽然这些方法将预测从复杂的模型(如神经网络)中提取出来,转化为可消费的解释,但人类如何理解这些解释仍然是广泛未探索的。人类与生俱来的倾向和偏见可能会阻碍人类对这些解释的理解,也可能导致他们对模型和预测做出错误的判断。我们设计了一个基于随机调查的实验,以了解自然语言处理中基于显着性的事后可解释性方法的有效性。实验结果表明,人类倾向于接受不那么批判性的解释。
2022-11-25 cs.AI cs.CL cs.LG
An Introductory Survey on Attention Mechanisms in NLP Problems
Georgia Institute of Technology(佐治亚理工学院)
注意力机制是一种简单的方法,可以用于基于每个元素被分配的重要性得分来对序列数据进行编码,它首先来源于人类直觉,后来适应于机器翻译以进行自动标记对齐,已经被广泛应用于自然语言处理中的各种任务,包括情感分类、文本摘要、问答、依存句法分析、在本文中,我们调查通过最近的工作,并进行了介绍性总结的注意力机制在不同的NLP问题,旨在为我们的读者提供基本知识,这种广泛使用的方法,讨论其不同的变体为不同的任务,探索其与其他技术在机器学习,并检查方法评估其性能。
2018-11-12 cs.CL cs.LG stat.ML
STAMP 4 NLP -- An Agile Framework for Rapid Quality-Driven NLP Applications Development
FH Aachen - University of Applied Sciences(亚琛应用技术大学);University of Kassel(卡塞尔大学)
在过去几年中,自然语言处理(NLP)研究的进展为公司提供了新的商业机会,如自动化用户交互或改进的数据分析。构建复杂的NLP应用程序需要处理现代机器学习(ML)技术,这阻碍了企业建立成功的NLP项目。我们在应用NLP研究项目中的经验表明,在生产环境中不断集成研究原型与质量保证,可以建立对软件的信任,并显示出对业务目标的便利性和实用性。我们引入STAMP 4 NLP作为开发NLP应用程序的迭代和增量过程模型。通过STAMP 4 NLP,我们将软件工程原则与数据科学的最佳实践相结合。实例化我们的流程模型可以通过利用模板、约定和实现来高效地创建原型,使开发人员和数据科学家能够专注于业务目标。由于我们的迭代增量方法,企业可以在每次迭代后将原型的增强版本部署到其软件环境中,从而尽早最大化潜在的业务价值和信任,并避免成功但从未部署的实验成本。
2021-11-16 cs.AI cs.CL
Beyond Monolingual Assumptions: A Survey of Code-Switched NLP in the Era of Large Language Models across Modalities
IIT Gandhinagar(印度理工学院加尔各答分校);NMIMS Mumbai(孟买NMIMS学院);SVNIT Surat(Surat SVNIT学院);LINGO Research Group(LINGO研究小组)
本文综述了大语言模型时代跨语言自然语言处理的研究,分析了327项研究,涵盖五类研究领域、15+任务、30+数据集和80+语言,指出现有挑战及未来发展方向。
2026-04-21 cs.CL
Putting Humans in the Natural Language Processing Loop: A Survey
College of Computing, Georgia Institute of Technology(佐治亚理工学院计算学院)
我们如何设计能够从人类反馈中学习的自然语言处理(NLP)系统?越来越多的人在回路(HITL)NLP框架的研究机构不断整合人类反馈以改进模型本身。HITL NLP研究是新兴的,但五花八门-解决各种NLP问题,从不同的人那里收集不同的反馈,并应用不同的方法从收集的反馈中学习。我们对机器学习(ML)和人机交互(HCI)社区的HITL NLP工作进行了调查,突出了其短暂但鼓舞人心的历史,并彻底总结了最近的框架,重点是他们的任务,目标,人类交互和反馈学习方法。最后,我们讨论了在NLP开发循环中整合人类反馈的未来方向。
2021-03-06 cs.AI cs.CL cs.HC
Scripts Through Time: A Survey of the Evolving Role of Transliteration in NLP
Nilekani Centre at AI4Bharat(AI4Bharat的Nilekani中心);Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Indian Institute of Engineering, Science and Technology(印度工程、科学与技术学院)
本文综述了翻译学在跨语言NLP中的应用,分析了其在语言模型中的演变和有效性,讨论了关键权衡,并提供了针对不同语言、任务和资源约束的翻译策略建议。
2026-04-20 cs.CL
A Survey of Code-switched Arabic NLP: Progress, Challenges, and Future Directions
MBZUAI(Mohamed bin Zayed 人工智能大学);German International University, Egypt(德国国际大学);University of Stuttgart(斯图加特大学);University of Houston(休斯顿大学);New York University Abu Dhabi(纽约大学阿布扎比分校)
本文综述阿拉伯语代码转换NLP领域,涵盖阿拉伯世界多语与双重语体背景下的代码转换现象,总结现有工作、挑战与研究空白,并提出未来研究方向建议。
2025-01-23 cs.CL
Explanation-Based Human Debugging of NLP Models: A Survey
Imperial College London(伦敦帝国学院)
机器学习模型是困难的,因为错误通常涉及训练数据和学习过程。对于一个不透明的深度学习模型来说,如果我们不知道模型实际上是如何工作的,这就变得更加困难了。在本调查中,我们回顾了利用解释使人类能够提供反馈和调试NLP模型的论文。我们把这个问题称为基于解释的人工调试(EBHD)。特别是,我们分类和讨论现有的工作沿EBHD的三个方面(错误的背景下,工作流程和实验设置),编译EBHD组件如何影响反馈提供者的调查结果,并突出开放的问题,可能是未来的研究方向。
2021-12-10 cs.AI cs.CL cs.HC
A Survey of Cognitive Distortion Detection and Classification in NLP
Department of Informatics, King’s College London(信息学院,伦敦国王学院)
本文首次系统综述了NLP领域二十年来的38项认知扭曲检测与分类研究,统一了分类体系与任务设置,并提供评估指标、数据表模板和伦理流程图等实用资源,以提升研究的可比性与可复现性。
2025-09-22 cs.CL
Natural Language Processing for Dialects of a Language: A Survey
University of New South Wales(新南威尔士大学);National Institute of Information and Communications Technology(信息通信技术研究所);University of Surrey(萨里大学);Monash University(莫纳什大学)
该综述聚焦方言NLP领域,从数据集和方法梳理相关研究,划分NLU和NLG任务类别,覆盖多语言,介绍经典与深度学习方法,为构建公平语言技术提供参考。
2024-12-06 cs.CL
Natural Language Processing for Human Resources: A Survey
Megagon Labs(美加刚实验室)
本文综述了自然语言处理在人力资源领域的应用,分析了信息抽取和文本分类等基础任务及其在下游应用中的作用,并指出了研究空白与伦理问题。
2025-03-25 cs.CL
A survey on improving NLP models with human explanations
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Oldenburg University(奥尔登堡大学)
通过访问人类解释来训练模型可以提高数据效率和域内和域外数据的模型性能。除了这些经验发现之外,与人类学习过程的相似性使得从解释中学习成为建立富有成效的人机交互的一种有希望的方式。已经提出了几种方法来改进具有人类解释的自然语言处理(NLP)模型,这些方法依赖于不同的解释类型和机制来将这些解释集成到学习过程中。这些方法很少相互比较,使得从业者很难为特定用例选择解释类型和集成机制的最佳组合。在本文中,我们概述了从人类解释中学习的不同方法,并讨论了可以为特定用例选择哪种方法的不同因素。
2022-04-19 cs.CL
Post-hoc Interpretability for Neural NLP: A Survey
École Polytechnique de Montréal(蒙特利尔综合理工学院);Mila(米拉研究所);McGill University(麦吉尔大学);Facebook(脸书)
本文综述了神经自然语言处理中的事后可解释性方法,系统分类其解释方式、深入分析各类方法并讨论验证问题,以促进模型的安全、伦理与问责。
2023-11-28 cs.CL cs.LG cs.NE
NLP for Counterspeech against Hate: A Survey and How-To Guide
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学);The Alan Turing Institute(阿兰·图灵研究所);Heriot-Watt University(赫瑞瓦特大学)
本文系统综述了利用自然语言处理技术分析、收集、分类和自动生成反驳言论以对抗网络仇恨的研究现状,并提供研究步骤、最佳实践及未来方向指南。
2024-03-29 cs.CL
A Survey of Methods for Addressing Class Imbalance in Deep-Learning Based Natural Language Processing
Bosch Center for Artificial Intelligence(博世人工智能中心);Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心)
许多自然语言处理(NLP)任务自然是不平衡的,因为某些目标类别比现实世界中的其他目标类别出现得更频繁。在这种情况下,当前的NLP模型在不太频繁的类上仍然表现不佳。解决NLP中的类不平衡是一个活跃的研究课题,然而,为特定的任务和不平衡场景找到一个好的方法是困难的。通过这项调查,我们首次对基于深度学习的NLP中的类不平衡进行了概述,为NLP研究人员和实践者处理不平衡数据提供了指导。我们首先讨论各种类型的控制和现实世界的阶级不平衡。然后,我们的调查涵盖了为类不平衡的NLP任务明确提出的方法,或者起源于计算机视觉社区的方法,已经对其进行了评估。我们组织的方法,无论是基于采样,数据增强,选择损失函数,分阶段学习,或模型设计。最后,我们讨论了开放的问题,如处理多标签场景,并提出系统的基准和报告,以推动这个问题作为一个社区。
2023-02-22 cs.AI cs.CL
A Survey of Early Exit Deep Neural Networks in NLP
Department of IEOR, IIT Bombay(印度理工学院孟买分校工业与运筹工程系)
本文针对大规模DNN计算成本高、需适配样本难度的问题,系统综述了通过在不同层附加分类器实现自适应推理的早退策略,及其在NLP领域的应用与降延迟、提鲁棒性的优势。
2025-01-13 cs.CL cs.LG
Why Current XAI Is Not Enough for Arabic NLP: A Critical Survey of the Explainability Gap
University of Luxembourg(卢森堡大学);University of Alicante(阿利坎特大学)
该研究通过批判性综述指出当前阿拉伯语NLP的XAI存在方法、任务、语言学三方面差距,提出涵盖多维度的分类体系并给出基于语言学的阿拉伯语XAI研究议程。
2026-08-28 cs.CL
Natural Language Processing with Commonsense Knowledge: A Survey
College of Information Engineering Shanghai Maritime University;Independent Researcher;School of AI;Advanced Computing Xi'an Jiaotong-Liverpool University;Alibaba Business School Hangzhou Normal University;School of Computer
该综述梳理了常识知识库、评估基准、融入方法及在NLP任务中的应用,分析了相关挑战与趋势,为融合常识提升NLP推理能力的研究提供了系统参考。
2024-09-13 cs.CL
A survey of neural-network-based methods utilising comparable data for finding translation equivalents
Natural Language Processing Centre(自然语言处理中心);Faculty of Informatics(信息学院);Masaryk University(马萨里克大学);Lexical Computing(词汇计算中心)
本文综述了基于神经网络利用可比数据自动诱导翻译等价对的方法,从词典学视角分析现有方法并指出可整合词典学见解的方向,以促进NLP与词典学的交叉研究。
2024-10-19 cs.CL