Speciesism in Natural Language Processing Research
Graduate School of Information Science and Technology, Hokkaido University(北海道大学信息科学与技术研究生院);Faculty of Information Science and Technology, Hokkaido University(北海道大学信息科学与技术学院)
本文通过调查与实验揭示NLP研究者、数据和模型中普遍存在物种歧视,并提出减少此类偏见的讨论。
2024-10-18 cs.AI cs.CL
Challenges Encountered in Turkish Natural Language Processing Studies
Iskenderun Technical University(伊斯肯德伦技术大学)
自然语言处理是计算机科学的一个分支,它将人工智能与语言学相结合。它旨在用软件分析语言元素,如写作或口语,并将其转换为信息。考虑到每种语言都有自己的语法规则和词汇多样性,这一领域的研究的复杂性是可以理解的。例如,土耳其语在许多方面都是一种非常有趣的语言。这方面的例子有粘着词结构、辅音/元音和谐、大量的生产性派生语素(几乎无限的词汇)、派生和句法关系、对词汇和语音规则的复杂强调。在这项研究中,土耳其语在自然语言处理方面的有趣功能被提到。此外,还给出了关于为土耳其语开发的自然语言处理技术、系统和各种来源的摘要信息。
2021-01-21 cs.AI cs.CL
Gap Analysis of Natural Language Processing Systems with respect to Linguistic Modality
Infosys(印孚瑟斯)
情态是语言学中语法的重要组成部分。它让说话者表达对事态的态度、评价或潜力。它意味着不同的意义,因此根据上下文有不同的感知。本文介绍了一个帐户显示的差距,在功能的当前状态的最先进的自然语言处理(NLP)系统。研究了语言情态的语境性质。本文综述了自然语言处理系统处理情态的工作和逻辑方法。它将人类认知和智能视为多层次的方法,可以由智能学习系统实现。最后,讨论了该领域目前的研究进展,为今后的研究提供了参考。
2015-04-18 cs.AI cs.CL
A methodology to characterize bias and harmful stereotypes in natural language processing in Latin America
Universidad Nacional de Córdoba(国立科尔多瓦大学);Fundación Via Libre(自由之路基金会);Consejo Nacional de Investigaciones Científicas y Técnicas(国家科学技术研究委员会)
自动决策系统,特别是那些基于自然语言处理的系统,在我们的生活中无处不在。它们不仅是我们日常使用的互联网搜索引擎的幕后推手,而且还扮演着更重要的角色:选择工作候选人,确定犯罪嫌疑人,诊断自闭症等等。这种自动化系统会产生错误,这在许多方面可能是有害的,无论是因为后果的严重性(如健康问题)还是因为它们影响的人数众多。当一个自动化系统所犯的错误对一个群体的影响大于其他群体时,我们称这个系统为\textit{biased}。大多数现代自然语言技术都是基于使用机器学习从大量文本中获得的工件,即语言模型和词嵌入。由于它们是通过应用子符号机器学习(主要是人工神经网络)创建的,它们是不透明的,实际上无法通过直接检查来解释,因此很难对其进行审计。在本文中,我们提出了一种方法,阐明了社会科学家,领域专家和机器学习专家如何合作探索词嵌入和大语言模型中的偏见和有害的刻板印象。我们的方法基于以下原则:* 关注歧视在词嵌入和语言模型上的语言表现,而不是模型的数学特性 * 减少歧视专家的技术障碍,无论是社会科学家,领域专家或其他 * 除了基于度量的方法外,还通过定性探索过程进行表征 * 将缓解作为培训过程的一部分,而不是事后的想法
2023-03-28 cs.AI cs.CL
Conceptor-Aided Debiasing of Large Language Models
University of Pennsylvania(宾夕法尼亚大学);New York University(纽约大学)
本文提出基于conceptors软投影的两种LLM去偏方法:后处理NOT投影和CI-BERT架构,在保持GLUE性能的同时实现SoTA去偏效果,并强调精心构建偏见子空间的重要性。
2023-10-30 cs.AI cs.CL
"Im not Racist but...": Discovering Bias in the Internal Knowledge of Large Language Models
USC Information Sciences Institute(南加州大学信息科学研究所);Aptima, Inc(Aptima公司)
本文提出一种纯提示方法,动态生成知识表示以揭示任意大型语言模型中的隐藏刻板印象,促进NLP系统的透明与公平。
2023-10-13 cs.AI cs.CL
DeepZensols: Deep Natural Language Processing Framework
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
通过发布公开可用的源代码在出版物中复制结果变得越来越流行。鉴于再现机器学习(ML)实验的困难,在减少这些结果的方差方面已经做出了重大努力。正如在任何科学中一样,持续复制结果的能力有效地加强了工作的基本假设,因此,应该被视为与研究本身的新颖性一样重要。这项工作的贡献是一个框架,能够重现一致的结果,并提供了一种轻松创建,训练和评估自然语言处理(NLP)深度学习(DL)模型的方法。
2021-09-08 cs.AI cs.CL
Language Tasks and Language Games: On Methodology in Current Natural Language Processing Research
University of Potsdam(波茨坦大学);Department of Linguistics(语言学系)
“这篇论文介绍了一个新的任务和一个新的数据集”,“我们通过Y改进了X的最新技术水平”--很难找到一篇当前的自然语言处理论文(或更普遍的AI论文)不包含这样的陈述。然而,最隐含的是这样一种假设,即这必然构成进步,以及它构成了什么样的进步。在这里,我们更精确的印象通常使用的语言任务和语言游戏的概念,并询问如何建立在这些研究计划可能取得进展的目标建模一般的语言能力。
2019-08-28 cs.AI cs.CL
COOL, a Context Outlooker, and its Application to Question Answering and other Natural Language Processing Tasks
National University of Singapore(新加坡国立大学)
本文提出COOL,一种用于自然语言处理的展望注意力机制,通过编码局部句法上下文提升变换器模型性能,在问答等任务上取得竞争性结果。
2023-05-15 cs.AI cs.CL
Using Natural Language Processing to Develop an Automated Orthodontic Diagnostic System
Institute for Datability Science(数据可及性科学研究所);Osaka University(大阪大学);Graduate School of Dentistry(牙医学研究生院)
我们的工作任务是根据牙医撰写的医疗证明中的发现自动设计治疗计划。为了开发一个处理牙医撰写的自由格式证书的人工智能系统,我们对研究结果进行了注释,并利用了自然语言处理方法。作为使用990个证书的实验的结果,从调查结果中提取正畸问题的任务实现了0.585 F1分数,并且治疗优先化任务实现了与人类排名的0.584相关系数。
2019-05-31 cs.AI cs.CL
A Tutorial on Dual Decomposition and Lagrangian Relaxation for Inference in Natural Language Processing
对偶分解和更一般的拉格朗日松弛是组合优化的经典方法;它最近已被应用于自然语言处理(NLP)中的几个推理问题。本教程概述了该技术。我们描述了示例算法,描述了正式的方法保证,并描述了在实现算法的实际问题。虽然我们的例子主要来自NLP文献,但这些材料应该与机器学习中的推理问题具有普遍的相关性。本教程的一个中心主题是,拉格朗日松弛自然地与广泛的组合算法相结合,允许在模型中进行推理,这些推理远远超出了以前在图形模型中进行拉格朗日松弛推理的工作。
2014-01-23 cs.AI cs.CL
Bias and Fairness in Large Language Models: A Survey
Stanford University(斯坦福大学);Adobe Research(奥多比研究院);Pattern Data(帕特恩数据公司);Intel Labs(英特尔实验室)
该综述整合规范了大语言模型的偏见与公平性概念,提出偏见评估指标、数据集及缓解技术三类分类体系,梳理现有研究并指出未来挑战,为防范LLM偏见传播提供指引。
2024-07-12 cs.AI cs.CL cs.CY
Putting Natural in Natural Language Processing
Tilburg University(蒂尔堡大学)
本文指出NLP过度依赖文本而忽视口语,主张借助深度学习的进展统一语音处理与主流NLP,将口语视为人类交流的主要模式,从而构建更高效、拟人且超越文本模态的系统。
2023-05-23 cs.AI cs.CL eess.AS
Doing Natural Language Processing in A Natural Way: An NLP toolkit based on object-oriented knowledge base and multi-level grammar base
China Mobile Research Institute(中国移动研究院)
介绍了一个基于面向对象知识库和多级语法库的自然语言处理工具包。该工具包以语义解析为核心,具有自动发现新知识和语法的能力,新发现的知识和语法将由人工识别,并用于更新知识库和语法库。这个过程可以重复多次,以不断改进工具包。
2021-06-08 cs.AI cs.CL cs.LG
Machine Learning Meets Natural Language Processing -- The story so far
International Hellenic University(国际希腊大学)
自然语言处理(NLP)在过去十年中有了显著的发展。本文强调了这一时期最重要的里程碑,同时试图确定每个模型和算法对整体进展的贡献。此外,它侧重于仍然有待解决的问题,强调了Transformers,BERT和所有类似的基于注意力的模型的突破性建议。
2021-03-27 cs.AI cs.CL cs.LG
Understanding scholarly Natural Language Processing system diagrams through application of the Richards-Engelhardt framework
University of Manchester(曼彻斯特大学)
我们利用Richards-Engelhardt框架作为理解自然语言处理系统图的工具。通过四个例子,从学术会议,我们发现,这个生态和复杂的域的框架的应用是有效的,反映这些图。我们主张用词汇来描述图表中的多重编码、符号变异性以及视觉编码原则的不一致或滥用。此外,对于学术自然语言处理系统的应用,也许更广泛的系统图,我们建议增加“对象的”作为一个新的视觉编码原则,和“强调”作为一个新的视觉编码类型。
2020-08-26 cs.AI cs.CL cs.HC
Information Propagation by Composited Labels in Natural Language Processing
IBM Japan(IBM日本公司)
在自然语言处理中,对文本中的词、句子、段落等区域进行标注是一项基本任务。本文将标注定义为文本中某一区域实体的提及与包含该提及的文本中更广区域实体的上下文之间的映射。该定义自然地引入了由区域的包含关系引起的实体的链接,并且连接的实体形成表示由地图定义的信息流的图。它还允许使用熵计算通过地图的信息损失,熵损失被认为是图上的路径上的两个实体之间的距离。
2022-05-23 cs.AI cs.CL cs.LG
Deep Learning, Natural Language Processing, and Explainable Artificial Intelligence in the Biomedical Domain
Medical University of Vienna(维也纳医科大学)
在这篇文章中,我们首先在第一部分介绍了人工智能及其在生物学和医学中的应用。然后在第2节中描述深度学习方法。我们在第3节中缩小了对文本数据的研究重点,其中描述了自然语言处理及其在生物医学领域的应用。在第4节中,我们介绍了可解释的人工智能,并讨论了可解释性的重要性,人工智能系统,特别是在生物医学领域。
2022-03-07 cs.AI cs.CL cs.LG
Information retrieval in folktales using natural language processing
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
我们的目标是从非结构化文本中提取文学人物的信息。我们对领域本体进行自然语言处理和推理。第一个任务是确定主要人物和故事中这些人物被描述或表演的部分。我们说明了在民间故事领域的一个场景中的系统。该系统依赖于一个民间故事本体,我们已经开发的基础上Propp的模型的民间故事形态。
2015-11-10 cs.AI cs.CL cs.IR
Federated Learning Meets Natural Language Processing: A Survey
Deakin University(迪肯大学)
联邦学习旨在从多个分散的边缘设备(例如手机)或服务器学习机器学习模型,而不会牺牲本地数据隐私。最近的自然语言处理技术依赖于深度学习和大型预训练语言模型。然而,大型深度神经和语言模型都是用大量数据训练的,这些数据通常位于服务器端。由于文本数据广泛来源于最终用户,在这项工作中,我们研究了最近的NLP模型和技术,使用联邦学习作为学习框架。我们的调查讨论了联邦自然语言处理的主要挑战,包括算法挑战,系统挑战以及隐私问题。我们还对现有的联邦NLP评估方法和工具进行了严格的审查。最后,我们强调了目前的研究差距和未来的发展方向。
2021-07-27 cs.AI cs.CL cs.DC
Introduction: Cognitive Issues in Natural Language Processing
CNRS(法国国家科学研究中心);École normale supérieure(巴黎高等师范学院);Université Sorbonne Nouvelle(索邦新大学);University of Potsdam(波茨坦大学)
这期特刊致力于更好地了解计算语言学和认知科学之间的关系。它特别提出了两个问题:“计算语言建模对认知科学的潜在贡献是什么?“反过来说:“认知科学对当代计算语言学的影响是什么?"
2016-10-24 cs.AI cs.CL cs.HC
Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A Survey
Raytheon BBN Technologies(雷神BBN技术公司);Harvard University(哈佛大学);University of Pennsylvania(宾夕法尼亚大学);University of Oregon(俄勒冈大学);University of the Basque Country (UPV/EHU)(巴斯克大学 (UPV/EHU))
像BERT这样的大型、预先训练的基于transformer的语言模型已经彻底改变了自然语言处理(NLP)领域。我们对最近的工作进行了调查,这些工作使用这些大语言模型通过预训练,然后微调,提示或文本生成方法来解决NLP任务。我们还提出了使用预训练的语言模型来生成用于训练增强或其他目的的数据的方法。最后,我们讨论的局限性和建议的未来研究方向。
2021-11-01 cs.AI cs.CL cs.LG
Interpreting and improving natural-language processing (in machines) with natural language-processing (in the brain)
Neuroscience Institute(神经科学研究所);Department of Machine Learning(机器学习系);Carnegie Mellon University(卡内基梅隆大学)
NLP的神经网络模型通常在没有语言规则的显式编码的情况下实现,但它们能够打破一个又一个的性能记录。这引起了人们对解释这些网络所学习的表征的大量研究兴趣。我们在这里提出了一种新的解释方法,它依赖于我们唯一能理解语言的处理系统:人脑。我们使用受试者阅读复杂自然文本的大脑成像记录来解释最近4个NLP模型- ELMo,USE,BERT和Transformer-XL的单词和序列嵌入。我们研究了它们的表示如何在层深度,上下文长度和注意力类型上有所不同。我们的研究结果揭示了这些模型中与上下文相关的表示的差异。此外,在Transformer模型中,我们发现层深度和上下文长度之间以及层深度和注意类型之间存在相互作用。我们最后假设,改变BERT以更好地与大脑记录保持一致,将使它能够更好地理解语言。使用句法NLP任务探测改变后的BERT显示,具有增加的大脑对齐的模型优于原始模型。认知神经科学家已经开始使用NLP网络来研究大脑,这项工作关闭了NLP和认知神经科学之间的互动,使其成为真正的交叉授粉。
2019-11-13 cs.AI cs.CL cs.LG
Data Readiness for Natural Language Processing
RISE(瑞典研究院)
本文档涉及机器学习和自然语言处理背景下的数据准备。它描述了组织如何识别、提供、验证和准备数据,以促进自动化分析方法。该文件的内容基于我们作为应用研究机构在工作中遇到的实际挑战和常见问题,帮助公共和私营部门的组织和公司在其业务流程中使用数据。
2020-09-30 cs.AI cs.CL cs.CY
Quantifying Uncertainties in Natural Language Processing Tasks
University of California, Santa Barbara(加州大学圣巴巴拉分校)
可靠的不确定性量化是构建可解释、透明和负责任的人工智能系统的第一步。贝叶斯深度学习的最新进展使这种量化成为可能。在本文中,我们提出了新的方法来研究自然语言处理(NLP)任务的特征模型和数据的不确定性的好处。通过对情感分析、命名实体识别和使用卷积和递归神经网络模型进行语言建模的实证实验,我们表明,显式建模不确定性不仅是测量输出置信度所必需的,而且有助于增强各种NLP任务中的模型性能。
2018-11-18 cs.AI cs.CL cs.LG
Natural Language Processing in-and-for Design Research
Singapore University of Technology and Design(新加坡科技设计大学)
我们回顾了利用自然语言处理(NLP)技术来支持设计过程的学术贡献。使用启发式的方法,我们收集了223篇文章,发表在32种期刊在1991年至今。我们根据自然语言文本来源的类型来回顾这些文章,以展示最先进的NLP设计研究:内部报告,设计概念,话语记录,技术出版物,消费者意见等。在总结和确定这些贡献中的差距后,我们利用现有的设计创新框架来确定目前由NLP支持的应用程序。然后,我们提出了一些方法和理论方向,为未来的NLP在和设计研究。
2022-07-02 cs.AI cs.CL cs.DL
IDL-Expressions: A Formalism for Representing and Parsing Finite Languages in Natural Language Processing
University of Padua(帕多瓦大学)
我们提出了一个形式主义的有限语言,被称为类的IDL表达式,它结合了概念,只考虑在现有的形式主义隔离表示。建议的应用是在自然语言处理中,更具体地说,在表面自然语言生成和机器翻译中,通过首先生成以紧凑方式表示的候选句子的大集合,然后通过分析器过滤这样的集合来获得句子。我们研究了IDL表达式的几个形式属性,并将这种新的形式主义与更标准的形式主义进行了比较。我们还提出了一种新的解析算法的IDL表达式,并证明了其时间复杂度的一个非平凡的上限。
2011-06-30 cs.AI
File mapping Rule-based DBMS and Natural Language Processing
本文描述了一种类似于自然语言结构的信息存储、提取和处理系统。对于递归推理,系统使用具有相同表示的规则作为数据。操作系统的文件映射(SHM)机制为信息的存储提供了环境。本文阐述了动态数据结构和推理规则记录语言的构造原则,考虑了现有实现的特点,并给出了在自然语言上实现语义信息检索的应用描述。
2001-06-10 cs.AI cs.CL cs.DB
A Novel Pipeline for Improving Optical Character Recognition through Post-processing Using Natural Language Processing
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校)
本文提出一种端到端流水线,先对手写或印刷文本执行OCR,再利用自然语言处理进行后处理,以解决相似字符和手写变体导致的识别准确率有限问题。
2023-07-09 cs.AI cs.CV
The Dawn of Quantum Natural Language Processing
Ceridian HCM Inc.(赛里迪安人力资本管理公司);University of Amsterdam(阿姆斯特丹大学);Brookhaven National Laboratory(布鲁克海文国家实验室);University of Pavia(帕维亚大学)
在本文中,我们讨论了基于量子计算的深度学习模型来增强人类语言理解的初步尝试。通过数值模拟,我们成功地训练了一个量子增强的长短期记忆网络来完成词性标注任务。此外,量子增强的Transformer被提出来执行基于现有数据集的情感分析。
2021-10-13 cs.AI cs.CL cs.CV
Implicit Bias-Like Patterns in Reasoning Models
Washington University in St. Louis(圣路易斯华盛顿大学);Rutgers University(罗格斯大学)
研究推理模型在处理关联不兼容任务时消耗更多推理token,揭示其隐性偏见特征及模型内部推理内容的影响
2026-04-06 cs.AI cs.CY
Security Vulnerability Detection Using Deep Learning Natural Language Processing
Ball State University(鲍尔州立大学);Illinois State University(伊利诺伊州立大学)
几十年来,在软件被利用之前检测软件中的安全漏洞一直是一个具有挑战性的问题。传统的代码分析方法已经被提出,但通常是无效和低效的。在这项工作中,我们将软件漏洞检测建模为一个自然语言处理(NLP)问题,将源代码视为文本,并使用最近先进的深度学习NLP模型,辅以书面英语的迁移学习,来解决自动化软件venerability检测问题。为了进行培训和测试,我们对NIST NVD/SARD数据库进行了预处理,并使用$C$程序设计语言构建了一个包含123种漏洞的10万多个文件的数据集。大量的实验表明,该算法在安全漏洞检测中的准确率达到了93%以上。
2021-05-06 cs.AI cs.CR
Mitigating Gender Bias in Natural Language Processing: Literature Review
UC Santa Barbara(加州大学圣巴巴拉分校);UC Los Angeles(加州大学洛杉矶分校)
随着自然语言处理(NLP)和机器学习(ML)工具的普及,认识到它们在塑造社会偏见和刻板印象方面的作用变得越来越重要。虽然NLP模型在建模各种应用程序方面取得了成功,但它们传播甚至可能放大文本语料库中的性别偏见。虽然对人工智能中的偏见的研究并不新鲜,但减轻NLP中性别偏见的方法相对较新。在本文中,我们回顾了当代研究识别和减轻NLP中的性别偏见。我们讨论了基于四种形式的表征偏见的性别偏见和分析方法识别性别偏见。此外,我们讨论了现有的性别去偏见方法的优点和缺点。最后,我们讨论了未来的研究,以识别和减轻NLP中的性别偏见。
2019-06-21 cs.CL
Situated Data, Situated Systems: A Methodology to Engage with Power Relations in Natural Language Processing Research
University of Edinburgh(爱丁堡大学)
我们提出了一个偏见意识的方法,从事权力关系的自然语言处理(NLP)的研究。NLP研究很少涉及社会背景下的偏见,限制了其减轻偏见的能力。虽然研究人员推荐了行动,技术方法和文档实践,但没有方法可以将对偏见的批判性反思与技术NLP方法相结合。在本文中,经过广泛的和跨学科的文献综述,我们贡献了一个偏见意识的方法NLP研究。我们还提供了有偏见的文本的定义,有偏见的NLP系统的影响的讨论,并展示了我们是如何执行偏见意识的方法在研究档案元数据描述的案例研究。
2020-11-11 cs.CL
Gender Bias in Neural Natural Language Processing
Carnegie Mellon University(卡内基梅隆大学)
我们研究神经自然语言处理(NLP)系统是否反映了训练数据中的历史偏差。我们定义了一个通用的基准来量化各种神经NLP任务中的性别偏见。我们使用最先进的神经共指消解和在基准数据集上训练的基于RNN的语言模型进行的实证评估发现,模型如何看待职业存在显著的性别偏见。然后,我们减轻偏见与CDA:一个通用的方法,语料库增强通过因果干预,打破性别和性别中性词之间的关联。我们的经验表明,CDA有效地减少性别偏见,同时保持准确性。我们还探讨了空间的缓解策略与CDA,一个事先的方法,词嵌入去偏置(WED),和他们的组合。我们表明,CDA优于WED,大大,所以当词嵌入的训练。对于预训练的嵌入,这两种方法可以有效地组合。我们还发现,随着对原始数据集进行梯度下降训练,性别偏见随着损失的减少而增加,这表明优化鼓励偏见; CDA减轻了这种行为。
2019-05-30 cs.CL
Statistically Profiling Biases in Natural Language Reasoning Datasets and Models
Shanghai Jiao Tong University(上海交通大学)
最近的工作表明,许多自然语言理解和推理数据集包含可能被NLP模型忽略的统计线索,因此其能力可能被严重高估。为了发现模型中潜在的弱点,人们提出了一些人为设计的压力测试,但它们的创建成本很高,并且不能推广到任意模型。我们提出了一个轻量级的通用统计分析框架ICQ(I-See-Cue),它可以自动识别任何多项选择NLU数据集中可能存在的偏差,而无需创建任何额外的测试用例,并通过黑盒测试进一步评估模型可能利用这些偏差的程度。
2021-02-09 cs.AI cs.CL
Selection Bias Explorations and Debias Methods for Natural Language Sentence Matching Datasets
Tencent(腾讯);IBM Research(IBM研究院);Harbin Institute of Technology(哈尔滨工业大学)
自然语言句子匹配(NLSM)得到了学术界和工业界的广泛关注,丰富的公共数据集为这一过程做出了巨大贡献。然而,有偏差的数据集也会损害训练模型的泛化性能,并给出不可信的评估结果。对于许多NLSM数据集,提供者选择一些句子对到数据集中,并且这种采样过程很容易带来非预期的模式,即,选择偏差一个例子是QuoraQP数据集,其中一些与内容无关的朴素特征具有不合理的预测性。这些特征是选择偏置的反映,称为泄漏特征。在本文中,我们研究了六个NLSM数据集的选择偏差问题,发现其中四个是显着的偏见。我们进一步提出了一个培训和评估框架,以减轻偏见。QuoraQP上的实验结果表明,该框架可以提高训练模型的泛化能力,并为现实世界的采用提供更可信的评估结果。
2019-06-10 cs.AI cs.CL
A Survey on Gender Bias in Natural Language Processing
University of Copenhagen(哥本哈根大学)
语言可被用作复制和强化有害的陈规定型观念和偏见的手段,许多研究都对此进行了分析。本文对304篇关于自然语言处理中性别偏见的论文进行了统计分析。我们分析了社会科学中性别及其类别的定义,并将其与NLP研究中性别偏见的正式定义联系起来。我们调查了性别偏见研究中应用的词汇和数据集,然后比较和对比了检测和减轻性别偏见的方法。我们发现,性别偏见的研究受到四个核心限制。1)大多数研究将性别视为二元变量,忽视了其流动性和连续性。2)大多数工作都是在英语或其他高资源语言的单语设置中进行的。3)尽管有无数关于NLP方法中性别偏见的论文,但我们发现大多数新开发的算法都没有测试他们的模型是否存在偏见,也没有考虑到他们工作中可能存在的道德问题。4)最后,在这一研究领域制定的方法存在根本性缺陷,涉及性别偏见的定义非常有限,缺乏评价基线和管道。我们建议克服这些限制,为今后的研究提供指导。
2021-12-28 cs.CL cs.CY
[RE] Double-Hard Debias: Tailoring Word Embeddings for Gender Bias Mitigation
Thapar University(塔帕尔大学)
尽管在自然语言处理(NLP)任务中广泛使用,但词嵌入因继承了训练语料库的非故意性别偏见而受到批评。程序员与男人的关系更密切,家庭主妇与女人的关系更密切。这种性别偏见也被证明在下游任务中传播。
2021-04-14 cs.AI cs.CL
Detecting Natural Language Biases with Prompt-based Learning
本研究探索将提示工程应用于检测语言模型偏见,设计了针对性别、种族、性取向和宗教四类偏见的提示,并在BERT、RoBERTa和T5模型上通过人工与模型自我诊断双重方法进行评估。
2023-09-11 cs.AI cs.CL
Modeling natural language emergence with integral transform theory and reinforcement learning
Stanford University(斯坦福大学);Quiltomics
Zipf定律预测了语言交流系统中词序和频率之间的幂律关系,并且在各种自然语言处理应用中得到了广泛报道。然而,自然语言的出现通常被建模为说话者和听者利益之间的偏见的函数,这缺乏一个直接的方式有关的信息理论偏见Zipfian等级。偏见的功能也是对说话者和听话者之间交流努力的一种非直觉的解释。我们针对这些缺点,提出了一种新的积分变换和内核映射到相应的词的频率等级表示在任何任意的相变点,从而在一个直接的方式来链接沟通的努力(建模扬声器/听众的偏见),以特定的词汇使用(由字排名)。我们展示了我们的积分变换的实际效用,通过展示如何从偏置到秩的变化导致在图像分类任务中更高的准确性和性能,用于将单词标签分配给从CIFAR 10随机子采样的图像。我们将此任务建模为说话者和听话者之间的强化学习游戏,并比较了偏见和Zipfian单词等级对两个代理之间的沟通性能(和准确性)的相对影响。
2018-11-30 cs.AI cs.CL
ANGLEr: A Next-Generation Natural Language Exploratory Framework
University of Ljubljana(卢布尔雅那大学)
自然语言处理用于解决各种各样的问题。一些从事语言资源工作的学者和兴趣小组并不精通编程,因此需要一个好的图形化框架,让用户在不需要编程的情况下,快速设计和测试自然语言处理管道。现有的框架并不能满足这种工具的所有要求。因此,我们提出了一个新的框架,为用户提供了一种简单的方法来构建语言处理管道。它还允许一种简单的程序设计语言不可知的方式来添加新模块,这将有助于自然语言处理开发人员和研究人员的采用。建议框架的主要部分包括(a)基于Docker的可插拔架构,(b)通用数据模型,以及(c)API描述和图形用户界面。所提出的设计被用于实现一个新的自然语言处理框架,称为ANGLEr。
2022-05-10 cs.AI cs.CL
On Adversarial Removal of Hypothesis-only Bias in Natural Language Inference
Harvard University(哈佛大学);Johns Hopkins University(约翰斯·霍普金斯大学);Massachusetts Institute of Technology(麻省理工学院)
流行的自然语言推理(NLI)数据集已被证明是污染的假设只有偏见。对抗性学习可以帮助模型忽略数据中的敏感偏差和虚假相关性。我们评估了对抗学习是否可以用于NLI,以鼓励模型学习没有假设偏见的表示。我们的分析表明,通过对抗性学习学习的表示可能偏差较小,NLI准确性只有小幅下降。
2019-07-09 cs.CL
Natural Language Processing using Hadoop and KOSHIK
Eastern Institute of Technology(东部理工学院)
自然语言处理作为一种数据分析相关技术,在人工智能、人类语言处理、翻译等领域有着广泛的应用。目前,由于数据的爆炸式增长,自然语言处理面临着许多挑战。Hadoop是能够处理自然语言处理所需的大量数据的平台之一。KOSHIK是自然语言处理架构之一,利用Hadoop并包含语言处理组件,如Stanford CoreNLP和OpenNLP。本文介绍了如何使用相关工具构建KOSHIK平台,并提供了分析wiki数据的步骤。最后,对KOSHIK体系结构的优缺点进行了评价和讨论,并给出了提高处理性能的建议。
2016-08-15 cs.CL
Simple Natural Language Processing Tools for Danish
ITU Copenhagen(哥本哈根信息技术大学)
本技术说明介绍了一套用于自动处理丹麦文文本的基线工具。这些工具是基于机器学习的,使用经过先前注释的文档训练的自然语言处理模型。它们保存在国际电联哥本哈根办事处,并将始终免费提供。
2019-07-26 cs.CL
Theories of "Sexuality" in Natural Language Processing Bias Research
Department of Computer Science(计算机科学系);Department of Women, Gender, and Sexuality(性别研究系)
针对NLP偏见研究中酷儿性取向分析的缺口,该研究调查分析55篇相关文献,发现性取向定义模糊、性别与性身份混淆等问题,提出结合酷儿群体与跨学科文献的改进建议,以完善性取向相关NLP偏见分析。
2025-11-17 cs.CL cs.CY
Debiasing Methods in Natural Language Understanding Make Bias More Accessible
Technion – Israel Institute of Technology(以色列理工学院)
模型对偏差的鲁棒性通常由精心设计的分布外数据集的泛化决定。自然语言理解(NLU)中的最新去偏方法通过迫使模型做出无偏预测来提高此类数据集的性能。这种方法背后的一个基本假设是,这也会导致在模型的内部表示中发现更强大的功能。我们提出了一个一般的探测为基础的框架,允许事后解释的偏见在语言模型,并使用信息理论的方法来衡量提取模型的表示某些偏见。我们用几个NLU数据集和已知的偏见进行了实验,结果表明,与直觉相反,语言模型越是被推向去偏见的状态,其内部表示中实际编码的偏见就越多。
2021-09-09 cs.CL
Using Natural Sentences for Understanding Biases in Language Models
MIT(麻省理工学院)
语言模型中的偏差评估通常限于合成生成的数据集。这种依赖性可以追溯到对触发语言模型的特定行为的XSLT样式数据集的需求。在本文中,我们通过创建一个提示数据集,从维基百科中存在的真实世界的自然句子中收集的职业来解决这一差距。我们的目的是了解使用基于模板的提示和自然句子提示时,研究性别职业偏见的语言模型之间的差异。我们发现偏见的评价是非常敏感的模板提示的设计选择,我们建议使用自然句子提示系统的评价,远离设计选择,可能会引入偏见的意见。
2022-05-12 cs.CL cs.LG
Quantifying Gender Bias in Consumer Culture
Wharton School, University of Pennsylvania(宾夕法尼亚大学沃顿商学院)
歌曲等文化项目在创造和加强陈规定型观念、偏见和歧视方面具有重要影响。但这些项目的实际性质往往不那么透明。以歌曲为例。歌词对女性有偏见吗?随着时间的推移,这些偏见是如何改变的?自然语言处理对50年来25万首歌曲进行了量化。女性不太可能与理想的特征(即,虽然这种偏见已经减少,但它仍然存在。辅助分析进一步表明,歌词可能有助于推动社会对女性的刻板印象的转变,而抒情的转变是由男性艺术家推动的(因为女性艺术家一开始就没有那么偏见)。总的来说,这些结果揭示了文化进化,偏见和歧视的微妙措施,以及自然语言处理和机器学习如何更深入地了解刻板印象和文化变革。
2022-01-10 cs.CL
ScispaCy: Fast and Robust Models for Biomedical Natural Language Processing
Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
尽管最近在自然语言处理方面取得了进展,但许多用于处理文本的统计模型在域转移下表现得非常差。生物医学和临床文本处理是自然语言处理的一个非常重要的应用领域,目前还没有成熟的、实用的、公开可用的模型。本文介绍了scispaCy,一个新的实用生物医学/科学文本处理的工具,它极大地利用了spaCy库。我们详细介绍了在scispaCy中发布的两个模型包的性能,并展示了它们在多个任务和数据集上的鲁棒性。型号和代码可在https://allenai.github.io/scispacy/上获得
2019-10-09 cs.CL
A Primer on Neural Network Models for Natural Language Processing
在过去的几年里,神经网络已经重新成为强大的机器学习模型,在图像识别和语音处理等领域取得了最先进的成果。最近,神经网络模型也开始应用于文本自然语言信号,再次取得了非常有希望的结果。本教程从自然语言处理研究的角度调查神经网络模型,试图使自然语言研究人员加快神经技术的速度。本教程涵盖了自然语言任务的输入编码、前馈网络、卷积网络、递归网络和递归网络,以及自动梯度计算的计算图抽象。
2015-10-02 cs.CL
Mapping the Multilingual Margins: Intersectional Biases of Sentiment Analysis Systems in English, Spanish, and Arabic
Columbia University(哥伦比亚大学)
随着自然语言处理系统变得越来越普遍,有必要解决其实施和部署中的公平性问题,以确保其对社会的负面影响得到理解和最小化。然而,使用多语言和交叉框架或下游任务研究公平性的工作有限。在本文中,我们介绍了四个多语种的公平评估语料库,补充测试集,旨在衡量社会偏见,和一个新的统计框架,研究自然语言处理中的单一和交叉的社会偏见。我们使用这些工具来测量性别,种族,民族和跨部门的社会偏见,在英语,西班牙语和阿拉伯语的情绪回归任务训练的五个模型。我们发现,许多系统表现出统计上显着的单一和交叉的社会偏见。
2022-04-07 cs.CL
Avoiding the Hypothesis-Only Bias in Natural Language Inference via Ensemble Adversarial Training
University College London(伦敦大学学院);University of Cambridge(剑桥大学)
自然语言推理(NLI)数据集包含注释伪像,其导致自然语言话语与它们各自的蕴涵类之间的虚假相关。即使只考虑假设而忽略前提,神经网络也会利用这些人为因素,从而导致不必要的偏差。Belinkov等人(2019 b)提出通过对抗训练来解决这个问题,但这可能会导致学习到的句子表示仍然存在相同的偏见。我们表明,可以通过使用对手的集合来减少句子表示中的偏差,鼓励模型在拟合数据的同时共同降低这些不同对手的准确性。这种方法产生更稳健的NLI模型,当推广到12个其他数据集时,其表现优于先前的去偏置努力(Belinkov等人,2019 a; Mahabadi等人,2020年)。此外,我们发现对抗分类器的最佳数量取决于句子表示的维度,更大的句子表示更难去偏见,同时受益于使用更多的对手。
2021-05-27 cs.AI cs.CL cs.LG
Deep Learning Based Natural Language Processing for End to End Speech Translation
Vivekanand Education Society's Institute of Technology(维韦卡南德教育协会理工学院)
深度学习方法采用多个处理层来学习数据的分层表示。它们已经被部署在大量的应用程序中,并产生了最先进的结果。近年来,随着计算机处理能力的增长,能够进行高维张量计算,自然语言处理(NLP)应用在效率和准确性方面得到了显著的提高。在本文中,我们将研究各种信号处理技术,然后将其应用于使用深度递归神经网络生成语音到文本系统。
2018-08-09 cs.CL