NLPG: Natural-Language Policy Gradients for Self-Evolving Language Agents
Wuhan University(武汉大学)
提出自然语言策略梯度(NLPG),一种外部策略记忆方法,通过诊断执行轨迹并将失败转化为局部自然语言修正,在不改变参数或结构的情况下改进冻结的智能体,在六个基准上平均超越最强基线8.71个百分点。
2026-09-29 cs.AI cs.CL
Natural Language Processing for Smart Healthcare
Jinan University(暨南大学);University of Macau(澳门大学)
智能医疗近年来取得了重大进展。新兴的人工智能(AI)技术使各种医疗保健场景中的各种智能应用成为可能。自然语言处理(NLP)作为人工智能驱动的关键技术,由于其分析和理解人类语言的能力,在智能医疗中发挥着关键作用。在这项工作中,我们从技术和应用的角度回顾了有关智能医疗的NLP的现有研究。我们首先从技术角度详细介绍了不同的NLP方法和智能医疗的NLP管道。然后,在采用NLP技术的智能医疗应用的背景下,我们介绍了代表性的智能医疗场景,包括临床实践,医院管理,个人护理,公共卫生和药物开发。我们进一步讨论两个具体的医疗问题,即,2019冠状病毒病(COVID-19)大流行和心理健康,其中NLP驱动的智能医疗保健发挥着重要作用。最后,我们讨论了当前工作的局限性,并确定了未来工作的方向。
2022-09-26 cs.AI cs.CL
A Survey of Methods for Addressing Class Imbalance in Deep-Learning Based Natural Language Processing
Bosch Center for Artificial Intelligence(博世人工智能中心);Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心)
许多自然语言处理(NLP)任务自然是不平衡的,因为某些目标类别比现实世界中的其他目标类别出现得更频繁。在这种情况下,当前的NLP模型在不太频繁的类上仍然表现不佳。解决NLP中的类不平衡是一个活跃的研究课题,然而,为特定的任务和不平衡场景找到一个好的方法是困难的。通过这项调查,我们首次对基于深度学习的NLP中的类不平衡进行了概述,为NLP研究人员和实践者处理不平衡数据提供了指导。我们首先讨论各种类型的控制和现实世界的阶级不平衡。然后,我们的调查涵盖了为类不平衡的NLP任务明确提出的方法,或者起源于计算机视觉社区的方法,已经对其进行了评估。我们组织的方法,无论是基于采样,数据增强,选择损失函数,分阶段学习,或模型设计。最后,我们讨论了开放的问题,如处理多标签场景,并提出系统的基准和报告,以推动这个问题作为一个社区。
2023-02-22 cs.AI cs.CL
Speciesism in Natural Language Processing Research
Graduate School of Information Science and Technology, Hokkaido University(北海道大学信息科学与技术研究生院);Faculty of Information Science and Technology, Hokkaido University(北海道大学信息科学与技术学院)
本文通过调查与实验揭示NLP研究者、数据和模型中普遍存在物种歧视,并提出减少此类偏见的讨论。
2024-10-18 cs.AI cs.CL
A Tutorial on Dual Decomposition and Lagrangian Relaxation for Inference in Natural Language Processing
对偶分解和更一般的拉格朗日松弛是组合优化的经典方法;它最近已被应用于自然语言处理(NLP)中的几个推理问题。本教程概述了该技术。我们描述了示例算法,描述了正式的方法保证,并描述了在实现算法的实际问题。虽然我们的例子主要来自NLP文献,但这些材料应该与机器学习中的推理问题具有普遍的相关性。本教程的一个中心主题是,拉格朗日松弛自然地与广泛的组合算法相结合,允许在模型中进行推理,这些推理远远超出了以前在图形模型中进行拉格朗日松弛推理的工作。
2014-01-23 cs.AI cs.CL
NLP Meets the World: Toward Improving Conversations With News Media About Natural Language Processing Research
Department of Human-Centered Computing and Social Informatics(人机交互与社会信息学系)
本文针对大型语言模型引发的公众对NLP的关注,提出了向大众有效传达NLP能力与局限性的沟通建议,涵盖术语模糊、期望不合理和伦理失败三大障碍,以促进透明沟通并加强公众理解与研究支持。
2026-10-20 cs.AI cs.CL cs.CY
A Systematic Survey of Natural Language Processing for the Greek Language
Athens University of Economics and Business(雅典经济与商业大学);Athena Research Center(雅典娜研究中心);Stockholm University(斯德哥尔摩大学)
本研究提出一个可推广的系统性单语NLP综述框架,应用于希腊语(2012-2023),通过结构化搜索、任务与资源分类法分析现状与资源空白,并提供公开更新的常青资源,展示了对低资源语言的适用性。
2025-06-18 cs.AI cs.CL
ARC-NLP at PAN 2023: Transition-Focused Natural Language Inference for Writing Style Detection
Aselsan Research Center(阿瑟尔桑研究中心)
ARC-NLP团队将多作者写作风格检测表述为连续段落配对的自然语言推理问题,提出聚焦段落转换并截断输入标记的方法,采用带预热的Transformer编码器,在PAN 2023各难度设置中表现优于基线。
2023-07-27 cs.CL
A Scoping Review of Publicly Available Language Tasks in Clinical Natural Language Processing
University of Wisconsin(威斯康星大学);Loyola University Chicago(芝加哥洛约拉大学);George Mason University(乔治梅森大学)
目的:提供关于临床自然语言处理(NLP)任务的论文的范围审查,这些任务使用来自一组患者的公开电子健康记录数据。材料和方法:检索了6个数据库,包括生物医学研究和计算机科学文献数据库。由两名评审员进行一轮标题/摘要筛选和全文筛选。我们的方法遵循系统性综述和荟萃分析(PRISMA)指南的首选报告项目。结果:2007年至2021年,共有35篇论文,47项临床NLP任务符合纳入标准。我们根据NLP问题的类型对任务进行了分类,包括名称实体识别,摘要和其他NLP任务。以药物滥用、表型分析、临床试验队列选择等临床决策支持应用为主题,介绍了一些任务。我们通过出版物和数据集信息总结了任务。讨论:随着NLP领域随着语言系统的进步而发展,临床NLP任务的广度不断增长。然而,在一般领域NLP社区和临床信息学社区之间的不同利益以及数据源的可概括性方面存在差距。我们还发现了数据选择和准备方面的问题,包括缺乏对时间敏感的数据,以及问题规模和评估的无效性。结论:现有的临床NLP任务涵盖了广泛的主题,该领域将继续增长,并吸引更多来自一般领域NLP和临床信息学社区的关注。我们鼓励未来的工作纳入多学科合作,报告透明度和数据准备的标准化。
2021-12-07 cs.AI cs.CL
Taxonomic survey of Hindi Language NLP systems
DDU
自然语言处理(NLP)代表了机器自动处理自然人类语言的任务。NLP有很多可能的应用,有助于自动化任务,如将文本从一种语言翻译成另一种语言,从非常庞大的存储库中检索和总结数据,垃圾邮件过滤,识别数字媒体中的假新闻,发现人们的情绪和反馈,发现政治观点和人民对各种政府政策的看法,根据病人过去的历史记录提供有效的医疗援助等印地语是印度的官方语言,在印度有近6.91亿用户,在世界其他地区有3.66亿用户。目前,印度和国外的一些政府和私营部门的项目和研究人员正在努力开发印度语言的NLP应用程序和资源。该调查报告了印地语NLP可用的资源和应用程序。
2021-01-30 cs.AI cs.CL
Meta-Embeddings for Natural Language Inference and Semantic Similarity tasks
单词表示是几乎所有高级自然语言处理(NLP)应用程序(如文本挖掘,问答和文本摘要等)的核心组件。在过去的二十年中,人们进行了大量的研究,以提出一个单一的模型来解决所有主要的NLP任务。目前的主要问题是,不同的NLP任务有太多的选择。因此,对于NLP从业者来说,选择正确的模型本身就成了一个挑战。因此,结合多个预训练的词嵌入并形成Meta嵌入已成为改进处理NLP任务的可行方法。Meta嵌入学习是从给定的一组预先训练的输入词嵌入中产生单个词嵌入的过程。在本文中,我们建议使用来自少数最先进(SOTA)模型的Meta Embedding来有效地处理主流NLP任务,如分类,语义相关性和文本相似性。我们比较了集成和动态变量,以确定一个有效的方法。所获得的结果表明,即使是最好的国家的最先进的模型可以更好。从而向我们展示了元嵌入可以通过利用几个单独表示的力量来用于几个NLP任务。
2020-12-01 cs.AI cs.CL cs.IR
A Survey on Bias and Fairness in Natural Language Processing
Stanford University(斯坦福大学)
随着NLP模型与人们的日常生活越来越紧密地结合在一起,研究这些系统的使用所产生的社会影响变得非常重要。虽然这些模型能够理解语言,并在困难的下游任务上提高了准确性,但有证据表明,这些模型放大了性别、种族和文化陈规定型观念,并在许多情况下导致恶性循环。在这项调查中,我们分析了偏见的起源,公平的定义,以及NLP的不同子领域如何减轻偏见。最后,我们将讨论未来的研究如何消除NLP算法中的有害偏见。
2022-03-06 cs.AI cs.CL
Meta Learning for Natural Language Processing: A Survey
National Taiwan University(国立台湾大学);Amazon AI(亚马逊人工智能);University of Stuttgart(斯图加特大学)
深度学习已经成为自然语言处理领域的主流技术。然而,这些技术需要许多标记的数据,并且跨领域的通用性较低。元学习是机器学习中一个新兴的研究领域,旨在研究如何更好地学习学习算法。这些方法旨在从各个方面改进算法,包括数据效率和泛化能力。方法的有效性在许多NLP任务中得到了证实,但在NLP中还没有对这些方法进行系统的调查,这阻碍了更多的研究者加入这一领域。我们这篇调查论文的目标是为研究人员提供NLP中相关元学习作品的指针,并吸引NLP社区更多的关注,以推动未来的创新。本文首先介绍了元学习的一般概念和常用的元学习方法。然后,我们总结了任务的建设,设置和应用元学习的各种NLP问题,并回顾了元学习在NLP社区的发展。
2022-07-02 cs.AI cs.CL cs.LG
Survey of Natural Language Processing for Education: Taxonomy, Systematic Review, and Future Trends
School of Data Science and Engineering, East China Normal University(数据科学与工程学院,东华大学)
本综述系统回顾了NLP在教育领域的应用,构建了涵盖问答、问题构建、自动评估和错误纠正等任务的分类体系,探讨了前沿技术及LLM方法,并指出了五个未来研究方向。
2025-10-11 cs.AI cs.CL
Natural Language Processing for Analyzing Electronic Health Records and Clinical Notes in Cancer Research: A Review
University of Florida(佛罗里达大学);University of Sargodha(萨戈达大学)
本综述系统分析了2019-2024年间94项研究,揭示NLP在癌症研究中从规则方法向transformer模型转变的趋势,并指出未来需提升模型泛化能力和临床整合度。
2024-10-29 cs.AI cs.CL
Interpretation of NLP models through input marginalization
Seoul National University(首尔国立大学)
为了揭开用于自然语言处理(NLP)的深度神经网络的“黑箱”属性的神秘面纱,已经提出了几种方法,通过测量删除输入的每个标记后预测概率的变化来解释它们的预测。由于现有的方法用预定义的值(即,零),则所得到的句子位于训练数据分布之外,从而产生误导性的解释。在这项研究中,我们提出了现有的解释方法引起的分布外的问题,并提出了一个补救措施,我们建议边缘化每个令牌了。我们解释各种NLP模型训练情感分析和自然语言推理使用所提出的方法。
2020-10-27 cs.AI cs.CL
A Review of Digital Learning Environments for Teaching Natural Language Processing in K-12 Education
University of Florida(佛罗里达大学)
本文针对K-12阶段NLP教学需求,全面综述现有数字学习环境的工具功能、教育场景下的可解释性与评估效果,梳理其优劣势与发展现状,为后续工具优化、新工具开发及NLP融入K-12教育的策略研究提供指引。
2023-10-02 cs.AI cs.CL cs.HC
Leveraging Natural Language Processing to Unravel the Mystery of Life: A Review of NLP Approaches in Genomics, Transcriptomics, and Proteomics
The Shmunis School of Biomedicine and Cancer Research, George S. Wise Faculty of Life Sciences, Tel-Aviv University(谢蒙尼生物医学与癌症研究学院,乔治·S·威斯生命科学学院,特拉维夫大学)
探讨自然语言处理方法在生物序列数据(基因组学、转录组学和蛋白质组学)中的应用,介绍从经典到先进模型的适配,分析分词策略与模型架构,提及生物数据应用进展及语言模型融入生物信息学的前景。
2026-07-07 cs.AI cs.CL q-bio.GN
Deep Natural Language Processing for LinkedIn Search Systems
LinkedIn(领英)
许多搜索系统与大量自然语言数据一起工作,搜索查询、用户简档和文档,其中基于深度学习的自然语言处理技术(deep NLP)可以提供很大帮助。在本文中,我们介绍了一个全面的研究应用深度自然语言处理技术的五个代表性的任务在搜索引擎。通过五个任务的模型设计和实验,读者可以找到三个重要问题的答案:(1)深度NLP在搜索系统中什么时候有用/没有帮助?(2)如何应对延迟挑战?(3)如何保证模型的鲁棒性?这项工作建立在LinkedIn搜索的现有努力之上,并在商业搜索引擎上进行了大规模测试。我们相信我们的经验可以为行业和研究界提供有用的见解。
2021-07-30 cs.AI cs.CL
DocNLI: A Large-scale Dataset for Document-level Natural Language Inference
Salesforce Research(赛富时研究院);Yale University(耶鲁大学)
自然语言推理(NLI)是一个统一的框架,用于解决各种自然语言处理问题,如关系抽取、问答、摘要等。然而,大多数现有的研究集中在仅仅是中间层的推理,这限制了NLI的应用范围在下游的NLP问题。本文提出了一种新的大规模文档级自然语言集成数据集DocNLI。DocNLI是从广泛的NLP问题转换而来的,涵盖了多种文本类型。前提总是停留在文档粒度上,而假设的长度从单个句子到数百个单词的段落不等。此外,DocNLI具有非常有限的工件,不幸的是,这些工件广泛存在于一些流行的文档级NLI数据集中。我们的实验表明,即使没有微调,在DocNLI上预训练的模型在流行的文档级基准测试中表现出良好的性能,并很好地推广到依赖于文档粒度推理的域外NLP任务。针对特定任务的微调可以带来进一步的改进。数据、代码和预训练模型可以在https://github.com/salesforce/DocNLI上找到。
2021-06-17 cs.CL
A Survey of Multi-task Learning in Natural Language Processing: Regarding Task Relatedness and Training Methods
University of Notre Dame(圣母大学)
多任务学习(MTL)在自然语言处理(NLP)中越来越受欢迎,因为它通过利用它们的共性和差异来提高相关任务的性能。然而,如何根据训练任务的相关性来实现多任务学习,目前还没有很好的理解。在这项调查中,我们回顾了NLP中多任务学习方法的最新进展,目的是根据任务相关性将其总结为两种通用的多任务训练方法:(i)联合训练和(ii)多步训练。我们提出了各种NLP下游应用程序的例子,总结了任务关系,并讨论了这个有前途的主题的未来发展方向。
2023-02-14 cs.AI cs.CL
On the Ethical Limits of Natural Language Processing on Legal Text
University of York(约克大学);University of Sheffield(谢菲尔德大学)
用于分析法律文本的自然语言处理(NLP)方法为法律学者和实践者提供了一系列允许大规模地实证分析法律的工具。然而,研究人员似乎很难确定使用NLP系统获得关于法律和系统预测能力的真正见解的道德限制。在本文中,我们提出了一些系统地思考这些问题的方法。我们把重点放在三个关键的规范参数,据我们所知,被低估了目前的辩论:(a)学术自由的重要性,(b)存在的法律和道德规范的广泛多样性国内,但更是如此国际和(c)道德主义的威胁,在有关计算法的研究。对于这三个参数,我们为法律NLP社区提供了具体的建议。我们的讨论是围绕着一个现实生活中的场景进行的,这个场景最近引发了法律NLP研究界的争论。
2021-05-25 cs.AI cs.CL
NLPre: a revised approach towards language-centric benchmarking of Natural Language Preprocessing systems
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
本文提出一种受GLUE启发的以语言为中心的NLPre基准测试系统,能公平全面地持续评估自然语言预处理工具,并在波兰语NLPre-PL基准上验证,同时开源支持多语言定制。
2024-03-27 cs.CL
Putting Humans in the Natural Language Processing Loop: A Survey
College of Computing, Georgia Institute of Technology(佐治亚理工学院计算学院)
我们如何设计能够从人类反馈中学习的自然语言处理(NLP)系统?越来越多的人在回路(HITL)NLP框架的研究机构不断整合人类反馈以改进模型本身。HITL NLP研究是新兴的,但五花八门-解决各种NLP问题,从不同的人那里收集不同的反馈,并应用不同的方法从收集的反馈中学习。我们对机器学习(ML)和人机交互(HCI)社区的HITL NLP工作进行了调查,突出了其短暂但鼓舞人心的历史,并彻底总结了最近的框架,重点是他们的任务,目标,人类交互和反馈学习方法。最后,我们讨论了在NLP开发循环中整合人类反馈的未来方向。
2021-03-06 cs.AI cs.CL cs.HC
A Survey of Prompt Engineering Methods in Large Language Models for Different NLP Tasks
New York University(纽约大学)
本文综述了44篇研究论文,总结了29个NLP任务上的39种提示工程方法,分类讨论了这些技术在各数据集上的性能、所用LLMs及对应SoTA。
2024-07-24 cs.AI cs.CL
Natural Language Processing in the Legal Domain
Singapore Management University(新加坡管理大学);CodeX, Stanford University, USA(CodeX,斯坦福大学,美国);Illinois Tech - Chicago Kent College of Law, USA(伊利诺伊理工学院—芝加哥肯特法学院,美国);Bucerius Law School, Germany(伯克勒尔法学院,德国);IIT-Bhubaneswar(IIT-巴纳拉斯瓦尔)
本文综述了NLP与法律领域的现状,分析了过去十年中相关论文数量、任务和语言的增加,以及方法的复杂性提升,指出该领域正逐步达到通用NLP的方法论水平和数据可用性标准。
2026-05-11 cs.AI cs.CL
Natural Language Processing in-and-for Design Research
Singapore University of Technology and Design(新加坡科技设计大学)
我们回顾了利用自然语言处理(NLP)技术来支持设计过程的学术贡献。使用启发式的方法,我们收集了223篇文章,发表在32种期刊在1991年至今。我们根据自然语言文本来源的类型来回顾这些文章,以展示最先进的NLP设计研究:内部报告,设计概念,话语记录,技术出版物,消费者意见等。在总结和确定这些贡献中的差距后,我们利用现有的设计创新框架来确定目前由NLP支持的应用程序。然后,我们提出了一些方法和理论方向,为未来的NLP在和设计研究。
2022-07-02 cs.AI cs.CL cs.DL
Indian Legal NLP Benchmarks : A Survey
ThoughtWorks(思特沃克)
本文综述了印度法律NLP基准现状,提出创建针对法律系统特有任务的挑战性基准,以推动该领域创新并惠及AI社区与法律界。
2021-07-13 cs.AI cs.CL cs.LG
Switching Contexts: Transportability Measures for NLP
University of Manchester(曼彻斯特大学);Idiap Research Institute(伊迪亚普研究所)
本文探讨了可移植性的主题,作为一个子领域的概括性。通过提出利用基于完善的统计数据的指标,我们能够估计NLP模型在新环境中的性能变化。定义新的可移植性度量可以更好地估计新领域中的NLP系统性能,并且在评估新任务和领域中的NLP系统性能时至关重要。通过几个日益复杂的实例,我们展示了如何轻量级域相似性的措施,可以用来作为估计的可移植性在NLP应用程序。建议的可移植性措施进行评估的背景下,命名实体识别和自然语言推理任务。
2021-05-03 cs.AI cs.CL cs.LG
Natural Language Processing Advancements By Deep Learning: A Survey
Virginia Polytechnic Institute and State University(弗吉尼亚理工大学);University of Minnesota Twin Cities(明尼苏达大学双城校区)
自然语言处理(NLP)通过增强对人类语言的更好理解来帮助智能机器进行基于语言的人机通信。计算能力的最新发展和大量语言数据的出现提高了使用数据驱动方法进行自动语义分析的需求。由于在计算机视觉、自动语音识别,特别是NLP等领域使用深度学习方法所表现出的显著改进,数据驱动策略的利用现在很普遍。本调查对受益于深度学习的NLP的不同方面和应用进行了分类和解决。它涵盖了核心NLP任务和应用程序,并描述了深度学习方法和模型如何推进这些领域。我们进一步分析和比较不同的方法和最先进的模型。
2021-02-27 cs.AI cs.CL cs.LG
Natural Language Reasoning, A Survey
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Halmstad University(哈尔姆斯塔德大学)
本综述为NLP中的自然语言推理提供清晰定义与分类,全面回顾经典逻辑推理、自然语言推断、多跳问答和常识推理,并强调反向推理与可废止推理作为未来方向。
2023-05-13 cs.CL
Operationalising Representation in Natural Language Processing
Stanford University(斯坦福大学)
本文借鉴认知科学,提出了一个评估神经 NLP 模型组件表征主张的框架及三项标准,并利用探测分类器将其操作化,为哲学家与 NLP 研究者提供了新测试平台与研究指引。
2023-10-08 cs.AI cs.CL cs.LG
Predictive Biases in Natural Language Processing Models: A Conceptual Framework and Overview
Stony Brook University(石溪大学);Bocconi University(博科尼大学)
越来越多的自然语言处理工作已经解决了偏差对预测结果的影响,引入了作用于标准NLP管道(数据和模型)不同部分的缓解技术。然而,这些工作是孤立进行的,没有一个统一的框架来组织外地的努力。这导致了重复的方法,并将不适当的重点放在偏见的影响上,而不是它们的起源。侧重于偏见症状而不是根本原因的研究可能会限制有效对策的制定。在本文中,我们提出了一个统一的概念:NLP的预测偏差框架。我们总结了NLP文献,并提出了NLP中预测偏差的一般数学定义以及概念框架,区分了偏差的四个主要来源:标签偏差,选择偏差,模型过度放大和语义偏差。我们讨论了过去的工作是如何对抗每一个偏见的起源。我们的框架用于指导NLP中预测偏差的介绍性概述,将现有工作整合到一个单一的结构中,并为未来的研究开辟道路。
2020-09-12 cs.AI cs.CL cs.LG
Empirical Evaluation of Membership Inference Attacks on NLP Text Classifiers: A Baseline Study on SST-2
Minot State University(迈诺特州立大学)
本文在SST-2上比较TF-IDF逻辑回归与DistilBERT的成员推断攻击脆弱性,发现两者均泄露成员信号,而轻量训练调整(如减少epoch)可在效用损失极小下改善隐私-效用权衡。
2026-09-11 cs.CL cs.CR cs.LG
Recent Advances in Natural Language Inference: A Survey of Benchmarks, Resources, and Approaches
University of Michigan(密歇根大学);Michigan State University(密歇根州立大学);Computer Science and Engineering(计算机科学与工程学院)
在NLP社区中,近年来出现了大量研究活动,这些研究活动旨在解决机器执行深度语言理解的能力,这种能力超越了文本中明确陈述的内容,而是依赖于推理和对世界的了解。已经创建了许多基准任务和数据集来支持这种自然语言推理能力的开发和评估。随着这些基准成为NLP研究社区的工具和驱动力,本文旨在概述最近的基准,相关知识资源以及最先进的学习和推理方法,以支持更好地理解这个不断发展的领域。
2020-02-26 cs.CL
Replicability Analysis for Natural Language Processing: Testing Significance with Multiple Datasets
Technion IIT(以色列理工学院)
随着来自各种语言、领域和流派的文本数据量的不断增长,在多个数据集上评估NLP算法以确保异构设置之间的一致性能已成为标准。然而,这种多重比较对自然语言处理中的传统统计分析方法提出了重大挑战,并可能导致错误的结论。在本文中,我们提出了一个可复制性分析框架,用于对NLP任务算法之间的多重比较进行统计上的合理分析。我们讨论了这个框架的理论优势,目前,统计不合理的,在NLP文献中的实践,并证明其经验价值在四个应用:多域依存句法分析,多语言词性标注,跨域情感分类和词相似度预测。
2017-09-27 cs.CL
Fairness Certification for Natural Language Processing and Large Language Models
Leipzig University(莱比锡大学);Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI) Dresden/Leipzig(可扩展数据分析与人工智能中心(ScaDS.AI)德累斯顿/莱比锡)
本文针对自然语言处理和大型语言模型中的公平性问题,采用定性研究方法,通过文献回顾和专家访谈,系统提出了六项可细分为18个子类别的公平性标准,为公平性认证流程的操作化和测试奠定了基础。
2024-01-03 cs.AI cs.CL cs.CY
Interpreting and improving natural-language processing (in machines) with natural language-processing (in the brain)
Neuroscience Institute(神经科学研究所);Department of Machine Learning(机器学习系);Carnegie Mellon University(卡内基梅隆大学)
NLP的神经网络模型通常在没有语言规则的显式编码的情况下实现,但它们能够打破一个又一个的性能记录。这引起了人们对解释这些网络所学习的表征的大量研究兴趣。我们在这里提出了一种新的解释方法,它依赖于我们唯一能理解语言的处理系统:人脑。我们使用受试者阅读复杂自然文本的大脑成像记录来解释最近4个NLP模型- ELMo,USE,BERT和Transformer-XL的单词和序列嵌入。我们研究了它们的表示如何在层深度,上下文长度和注意力类型上有所不同。我们的研究结果揭示了这些模型中与上下文相关的表示的差异。此外,在Transformer模型中,我们发现层深度和上下文长度之间以及层深度和注意类型之间存在相互作用。我们最后假设,改变BERT以更好地与大脑记录保持一致,将使它能够更好地理解语言。使用句法NLP任务探测改变后的BERT显示,具有增加的大脑对齐的模型优于原始模型。认知神经科学家已经开始使用NLP网络来研究大脑,这项工作关闭了NLP和认知神经科学之间的互动,使其成为真正的交叉授粉。
2019-11-13 cs.AI cs.CL cs.LG
NLP Privacy Risk Identification in Social Media (NLP-PRISM): A Survey
George Mason University(乔治·马歇尔大学)
本文提出NLP-PRISM框架,系统评估社交媒体中NLP处理的隐私风险,揭示模型隐私保护与效用之间的权衡,并呼吁加强隐私保护措施。
2026-01-26 cs.AI cs.CL cs.CR
OYXOY: A Modern NLP Test Suite for Modern Greek
Aalto University(阿尔托大学);University of Crete(克里特大学)
该研究推出面向现代希腊语的OYXOY NLP测试套件,含四项专家验证的任务,提出多标签推理数据集与低成本低资源语料构建方法,实验验证了任务难度与发展必要性。
2024-01-26 cs.CL
Requirement Formalisation using Natural Language Processing and Machine Learning: A Systematic Review
University of Roehampton(罗汉普顿大学);University of Sheffield(谢菲尔德大学)
软件开发方法的改进吸引了开发人员在需求工程(RE)领域的自动需求形式化(RF)。在不同的研究中报告了应用自然语言处理(NLP)和机器学习(ML)在减少用自然语言编写的需求的模糊性和不完整性方面的潜在优势。本文的目标是调查和分类现有的工作自然语言处理和ML RF,确定在这个领域的挑战,并提供有前途的未来研究方向。为了实现这一目标,我们进行了系统的文献综述,通过从常用的图书馆中选择257篇论文,概述了RF中NLP和ML技术的最新发展。通过定义纳入和排除标准对检索结果进行筛选,并选择了2012年至2022年间的47项相关研究。我们发现,启发式NLP方法是用于自动RF的最常见的NLP技术,主要操作结构化和半结构化数据。这项研究还表明,深度学习(DL)技术并没有得到广泛应用,相反,经典的ML技术在调查研究中占主导地位。更重要的是,我们发现,由于缺乏RF的标准基准案例,很难比较不同方法的性能。
2023-03-18 cs.AI cs.CL cs.LG
Mediators: Conversational Agents Explaining NLP Model Behavior
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Technische Universität Berlin(柏林工业大学)
以人为中心的可解释人工智能(HCXAI)社区提出了将解释过程框定为人机对话的需求。在本立场文件中,我们为中介者(Mediators)建立了必要条件,中介者是基于文本的对话代理,能够使用自然语言交互式解释神经模型的行为。从自然语言处理(NLP)研究的角度来看,我们工程师这样一个调解人的情感分析的任务的蓝图,并评估目前的研究有多远的道路上,以对话为基础的解释。
2022-06-13 cs.AI cs.CL cs.HC
Robust Natural Language Processing: Recent Advances, Challenges, and Future Directions
University of Central Florida(中佛罗里达大学);Ewha Womans University(梨花女子大学)
最近的自然语言处理(NLP)技术在基准数据集上实现了高性能,这主要归功于深度学习的性能显著提高。研究界的进步导致了NLP任务的最先进生产系统的极大增强,例如虚拟助理,语音识别和情感分析。然而,这样的NLP系统在测试对抗攻击时仍然经常失败。最初缺乏鲁棒性暴露了当前模型的语言理解能力中令人不安的差距,当NLP系统部署在现实生活中时会产生问题。在本文中,我们提出了一个结构化的概述NLP鲁棒性的研究,通过总结文献系统的方式在各个方面。然后,我们深入研究了健壮性的各个方面,包括技术、指标、嵌入和基准。最后,我们认为,鲁棒性应该是多维度的,提供对当前研究的见解,找出文献中的差距,提出值得追求的方向,以解决这些差距。
2022-01-03 cs.AI cs.CL cs.CR
Natural Language Processing, Sentiment Analysis and Clinical Analytics
Effat University(埃法特大学)
大数据的最新进展促使医疗保健从业者利用社交媒体上的数据来辨别情绪和情感表达。健康信息学和临床分析在很大程度上依赖于从不同来源收集的信息。传统上,医疗从业者会要求病人填写一份问卷,这将形成诊断医疗条件的基础。然而,医疗从业人员可以获得许多数据来源,包括患者在各种媒体上的文章。自然语言处理(NLP)允许研究人员收集这些数据并对其进行分析,以收集这些文字的潜在含义。情感分析领域(应用于许多其他领域)在很大程度上依赖于NLP使用的技术。这项工作将研究NLP领域的各种流行理论,以及如何利用它们来收集社交媒体上的用户情绪。这种情绪可以在一段时间内剔除,从而最大限度地减少数据输入和其他压力源引入的错误。此外,我们还研究了情感分析的一些应用以及NLP在心理健康方面的应用。读者还将了解实现各种NLP理论的NLTK工具包,以及它们如何使数据清理过程变得更加容易。
2019-02-02 cs.CL
A Thorough Investigation into the Application of Deep CNN for Enhancing Natural Language Processing Capabilities
University of Missouri(密苏里大学)
本文针对传统NLP模型在准确性和效率上的不足,提出整合深度卷积神经网络(DCNN)、机器学习算法和生成对抗网络(GAN)的方法,显著提升了分词、词性标注等任务的性能,分割准确率提高10%,召回率提升4%。
2024-12-20 cs.CL
CS-NLP team at SemEval-2020 Task 4: Evaluation of State-of-the-art NLP Deep Learning Architectures on Commonsense Reasoning Task
Western Michigan University(西密歇根大学);Virginia Commonwealth University(弗吉尼亚联邦大学)
在本文中,我们研究了一个常识推理任务,统一自然语言理解和常识推理。我们描述了我们在SemEval-2020任务4竞赛中的尝试:常识验证和解释(ComVE)挑战。我们讨论了几种最先进的深度学习架构来应对这一挑战。我们的系统使用准备好的标记文本数据集,这些数据集是针对三个不同的自然语言推理子任务手动策划的。第一个子任务的目标是测试模型是否能够区分有意义和无意义的自然语言语句。我们比较了几种语言模型和微调分类器的性能。然后,我们提出了一种受问答任务启发的方法,将分类问题视为多项选择题任务,以提高我们的实验结果的性能(96.06%),这明显优于基线。对于第二个子任务,即选择一个陈述没有意义的原因,我们站在前六个团队(93.7%)的27名参与者中,结果非常有竞争力。我们的结果为最后一个子任务的生成原因对无意义的声明显示了许多潜力,为未来的研究,因为我们应用了最强大的语言生成模型(GPT-2)与6.1732 BLEU得分在前四个团队。
2020-07-18 cs.CL
Accelerating and Evaluation of Syntactic Parsing in Natural Language Question Answering Systems
Shanghai Jiao Tong University(上海交通大学);Athabasca University(阿萨巴斯卡大学)
随着自然语言处理(Natural Language Processing,NLP)技术的发展,越来越多的系统希望在用户界面模块中采用NLP技术来处理用户输入,从而以自然的方式与用户进行交流。然而,这带来了速度问题。也就是说,如果NLP模块不能在持久的时间延迟内处理句子,用户将永远不会使用系统。因此,对处理时间要求严格的系统,如对话系统、Web搜索系统、自动客服系统,特别是实时系统,为了获得更快的系统响应,不得不放弃NLP模块。本文旨在解决速度问题。本文首先介绍了一个基于语料库机器学习和统计模型的句法分析器的构造,然后对该句法分析器及其算法的速度问题进行了分析。在此基础上,提出了两种加速方法:压缩词性集和句法模式剪枝,有效地提高了NLP模块中句法分析的时间效率。为了评估加速算法中的不同参数,引入了两个新的因素,PT和RT,并详细解释。最后通过实验对这些方法进行了验证,为自然语言处理的应用提供了理论依据。
2009-03-10 cs.AI cs.HC
Supervised Learning of Universal Sentence Representations from Natural Language Inference Data
Facebook AI Research(Facebook人工智能研究院);LIUM, Université Le Mans(勒芒大学LIUM实验室)
许多现代NLP系统依赖于词嵌入作为基本特征,这些词嵌入以前在大型语料库上以无监督的方式进行训练。然而,为更大的文本块(例如句子)获得嵌入的努力并不那么成功。学习句子的无监督表示的几次尝试都没有达到令人满意的性能,无法被广泛采用。在本文中,我们展示了使用斯坦福自然语言推理数据集的监督数据训练的通用句子表示如何在广泛的迁移任务中始终优于SkipThought向量等无监督方法。就像计算机视觉如何使用ImageNet来获取特征,然后将其转移到其他任务一样,我们的工作往往表明自然语言推理对于迁移学习到其他NLP任务的适用性。我们的编码器是公开的。
2018-07-08 cs.CL
Multi-Task Learning in Natural Language Processing: An Overview
The Ohio State University(俄亥俄州立大学);Southern University of Science and Technology(南方科技大学);Hong Kong University of Science and Technology(香港科技大学)
本文综述了多任务学习在自然语言处理中的应用,将MTL架构分为四类并介绍了多种优化技术,探讨了其在各类NLP任务中的应用及基准数据集,最后讨论了未来研究方向。
2024-04-28 cs.AI
Universal Natural Language Processing with Limited Annotations: Try Few-shot Textual Entailment as a Start
Salesforce Research(Salesforce研究);Yale University(耶鲁大学)
解决不同NLP问题的标准方法是首先构建一个特定于问题的数据集,然后构建一个模型来拟合这个数据集。为了构建最终的人工智能,我们需要一台能够处理各种新问题的机器,而特定于任务的注释是有限的。我们提出文本蕴涵作为一个统一的解决方案,这样的NLP问题。然而,目前的文本蕴涵研究并没有在以下问题上投入太多的精力:(i)一个预先训练好的文本蕴涵系统在只有少数特定领域示例的情况下跨领域泛化的效果如何?以及(ii)什么时候值得将NLP任务转换为文本蕴涵?我们认为,转换是不必要的,如果我们可以获得丰富的注释这项任务。文本蕴涵真的很重要,特别是当目标NLP任务没有足够的注释时。通用NLP可能可以通过不同的例程来实现。在这项工作中,我们介绍了通用的Few-Shot文本蕴涵(UFO蕴涵)。我们证明了这个框架使预训练的蕴涵模型在Few-Shot设置中的新蕴涵域上工作良好,并显示其作为几个下游NLP任务的统一求解器的有效性,如问答和共指消解,当最终任务注释有限时。代码:https://github.com/salesforce/UniversalFewShotNLP
2020-10-06 cs.CL
A Review of Bangla Natural Language Processing Tasks and the Utility of Transformer Models
Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所);Cognitive Insight Limited(认知洞察有限公司);BJIT Limited(BJIT有限公司);Dhaka University(达卡大学)
孟加拉语是世界上使用最广泛的第六种语言(https://www.ethnologue.com/guides/ethnologue200),有2.3亿人以孟加拉语为母语,但在自然语言处理(NLP)社区中,孟加拉语仍然被认为是一种低资源语言。经过三十年的研究,孟加拉语自然语言处理(BNLP)仍然落后,主要是由于资源的稀缺和随之而来的挑战。在BNLP的不同领域,工作很少;然而,尚未完成一项全面的调查报告以前的工作和最新进展。在这项研究中,我们首先回顾了研究社区可用的孟加拉NLP任务、资源和工具;我们使用当前最先进的算法(即,基于变压器的模型)。我们通过比较不同大小的单语与多语言模型,为所研究的NLP任务提供了比较结果。我们使用个人和合并数据集报告我们的结果,并为未来的研究提供数据分割。我们共查阅了108篇论文,进行了175组实验。我们的结果显示,使用基于变换器的模型具有良好的性能,同时强调了与计算成本的权衡。我们希望这样一个全面的调查将激励社区建立和进一步推进对孟加拉语NLP的研究。
2021-07-25 cs.AI cs.CL cs.IR
LINDA: Unsupervised Learning to Interpolate in Natural Language Processing
Hyundai Motor Company(现代汽车公司);New York University(纽约大学);Genentech(基因泰克公司);CIFAR Fellow(加拿大高等研究院研究员)
尽管mixup在数据增强方面取得了成功,但由于自然语言的离散和可变长度性质,其对自然语言处理(NLP)任务的适用性受到限制。因此,最近的研究依赖于特定领域的语言学和手工制作的资源,如字典,以便在NLP中应用mixup。在本文中,我们提出了一种用于数据增强的文本插值的无监督学习方法,我们称之为“学习插值数据增强“(LINDA),它不需要任何语法分析,也不需要手动制作的资源,而是学习在自然语言流形上的任何一对自然语言句子之间插值。在经验证明LINDA的插值能力后,我们表明LINDA确实允许我们在NLP中无缝地应用mixup,并在域内和域外的文本分类中实现更好的泛化。
2021-12-28 cs.CL cs.LG
Natural Language Processing Methods for Symbolic Music Generation and Information Retrieval: a Survey
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院);Univ. Bordeaux(波尔多大学);Bordeaux INP(波尔多综合理工学院);Singapore University of Technology and Design(新加坡科技设计大学)
本综述梳理了应用于符号音乐生成与信息检索的NLP方法,涵盖符号音乐表示、适配的深度学习模型及专用机制,并讨论了技术问题与文本音乐差异,为后续适配研究指明方向。
2024-02-27 cs.AI cs.IR cs.SD
Building a Multivariate Time Series Benchmarking Datasets Inspired by Natural Language Processing (NLP)
Technical University of Munich(慕尼黑工业大学);Fraunhofer Institute for Electronic Microsystems and Solid State Technologies EMFT(弗劳恩霍夫电子微系统与固态技术研究所EMFT)
受NLP基准数据集成功启发,提出创建多变量时间序列基准数据集的新方法,并利用多任务学习策略提升模型性能,推动时间序列建模发展。
2024-10-14 cs.AI cs.CL