UnMASKed: Quantifying Gender Biases in Masked Language Models through Linguistically Informed Job Market Prompts
The University of Alabama（阿拉巴马大学）
本研究针对掩码语言模型的性别偏见问题，构建含两类提示的新数据集，评估6款主流模型，发现均存在性别刻板对齐，多语言变体偏见相对更低。
2024-01-28 cs.CL
Investigating the Relationship between Multi-Party Linguistic Entrainment, Team Characteristics, and the Perception of Team Social Outcomes
University of Pittsburgh（匹兹堡大学）；University of Maryland（马里兰大学）
多方语言夹带是指说话人在会话过程中说话方式趋于相似的现象。首先，我们开发了新的措施，描述语言风格的功能，多方夹带，然后检查夹带和团队特征的性别组成，团队规模和多样性之间的关系。接下来，我们预测的感知团队的社会成果，使用多方语言夹带和团队特征与层次回归模型。我们发现，性别多样性更大的团队比性别多样性更少的团队具有更高的最小收敛性。无论是单独还是控制团队特征，夹带都对预测感知的团队社会成果有显着贡献。
2019-09-02 cs.CL
Inferring gender of a Twitter user using celebrities it follows
State University of New York（纽约州立大学）
本文讨论了在社交媒体中的用户性别分类的任务，Twitter的应用程序。该方法通过利用可观察到的信息，如推文行为，用户的Twitter提要的语言内容和用户关注的名人，自动预测性别。本文首先使用LIWC字典和流行的邻域功能，使用维基百科和Freebase的语言内容为基础的功能进行评估。然后增强这两个特征，从而显著提高了性别预测的准确性。结果表明，丰富的语言特征结合流行的邻域证明价值和有前途的额外的用户分类需求。
2014-05-26 cs.CL cs.IR
It's How You Ask: Gender-Associated Linguistic Bias in LLMs
该研究发现LLMs会因提示中女性常用的语言特征生成更短欠正式的回应，其影响远大于明确性别线索，且事后缓解困难，呼吁关注语言变异以缓解LLM介导职场交流的差异化影响。
2026-08-14 cs.AI cs.CL
Shifting social norms as a driving force for linguistic change: Struggles about language and gender in the German Bundestag
Leibniz Institute for the German Language (IDS)（莱布尼茨德语研究所）
本文以德国联邦议院自1980年代以来的语言实践为例，论证社会规范转变驱动语言变化，并探讨早期性别语言斗争对当前性别包容性语言辩论的启示。
2024-02-06 cs.CL
Gender identity and lexical variation in social media
我们提出了一个研究性别，语言风格和社交网络之间的关系，使用一个新的语料库的14,000 Twitter用户。以前的定量工作性别往往把这个社会变量作为一个女性/男性的二元，我们主张一个更细致入微的方法。通过对Twitter用户进行聚类，我们发现数据集自然分解为各种风格和主题兴趣。许多集群具有强烈的性别倾向，但它们对语言资源的使用有时与人口层面的语言统计直接冲突。我们认为，这些集群作为一个更准确地反映性别语言风格的多面性。以前基于语料库的研究也很少涉及语言风格与人口性别模式相悖的个体。为了识别这些个体，我们训练统计分类器，并测量数据集中每个个体的分类器置信度。检查个人的语言不匹配的分类器的模型，他们的性别，我们发现，他们有社交网络，其中包括显着较少的同性社会联系，并在一般情况下，社会网络同质性与使用同性语言标记。因此，配对计算方法和社会理论提供了一个新的视角，即性别如何随着个人相对于受众、主题和主流性别规范的定位而出现。
2014-05-12 cs.CL
Shirtless and Dangerous: Quantifying Linguistic Signals of Gender Bias in an Online Fiction Writing Community
Stanford University（斯坦福大学）
想象一下，一位公主在城堡里熟睡，等待着她的王子杀死龙来拯救她。像著名的《睡美人》这样的故事显然划分了性别角色。但是更现代的故事呢？这些故事是由越来越意识到性别歧视和种族主义等社会结构的一代人所产生的。这些故事是倾向于强化性别刻板印象，还是对抗它们？在本文中，我们提出了一种技术，结合自然语言处理与众包的刻板印象词汇捕捉小说中的性别偏见。我们将这种技术应用于来自Wattpad在线写作社区的18亿字小说，调查故事中的性别代表性，男性和女性角色的行为和描述，以及作者如何使用性别刻板印象与社区的评级相关。我们发现，男性的过度代表性和传统的性别陈规定型观念（例如，占主导地位的男人和顺从的女人）在我们的语料库中几乎每一种体裁中都很常见。然而，只有一些刻板印象，如性或暴力的男人，与高评价的故事有关。最后，尽管妇女往往是负面陈规定型观念的目标，但女作家与男子一样有可能写出这种陈规定型观念。
2016-03-29 cs.CL cs.SI
LUC at ComMA-2021 Shared Task: Multilingual Gender Biased and Communal Language Identification without using linguistic features
CENIDET（墨西哥国家数字教育技术中心）；COLMEX（墨西哥学院）；IIM（印度管理研究所）；Université de Montréal（蒙特利尔大学）；EBSI（图书馆与信息科学学院）；Université d’Avignon（阿维尼翁大学）；LIA（阿维尼翁计算机科学实验室）
这项工作的目的是评估能力，概率和国家的最先进的向量空间建模（VSM）的方法提供给众所周知的机器学习算法，以确定社交网络文件被归类为侵略性，性别偏见或共同负责。为此，首先进行探索性阶段，以找到相关的设置进行测试，即通过使用训练和开发样本，我们使用多个向量空间建模和概率方法训练了多个算法，并丢弃了信息量较少的配置。这些系统被提交给ComMA@ICON'21多语言性别偏见和公共语言识别研讨会的竞争。
2021-12-19 cs.CL cs.IR
Grammatical Gender, Neo-Whorfianism, and Word Embeddings: A Data-Driven Approach to Linguistic Relativity
New York University（纽约大学）
语言与思维的关系问题已经困扰了语言学家至少一个世纪。新沃尔夫主义是有争议的萨皮尔-沃尔夫假说的一个弱版本，认为我们的思想受到母语语法结构的微妙影响。这方面的一个研究领域集中在名词的语法性如何影响我们感知相应对象的方式。例如，在德语中音调是阳性的（der Schlüssel），而在西班牙语中音调是阴性的（la llave），这一事实是否改变了说话者对这些对象的看法？Boroditsky et al.（2003，§4）提出的心理语言学证据表明，答案可能是肯定的：当被要求说出最能描述一个调的形容词时，德语和西班牙语使用者分别说出了更具刻板印象的男性和女性形容词。然而，最近重复这些实验的尝试失败了（Mickan等人，2014年）。在这项工作中，我们提供了一个计算模拟Boroditsky等人（2003，§4）的实验设计的9种语言，找到证据反对新沃尔夫主义。
2019-10-22 cs.CL
Adaptable Moral Stances of Large Language Models on Sexist Content: Implications for Society and Gender Discourse
University of Ottawa（渥太华大学）；National Research Council Canada（加拿大国家研究委员会）
本研究评估了八个大型语言模型在性别歧视内容上的道德推理能力，发现它们既能批评也能辩护性别歧视语言，并揭示了模型输出中进步与保守并存的意识形态倾向，警示滥用风险的同时指出其可用于理解歧视根源和设计干预措施。
2024-09-30 cs.CL
Using Artificial French Data to Understand the Emergence of Gender Bias in Transformer Language Models
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；Université Paris Cité（巴黎西岱大学）
本研究使用基于法语的 PCFG 生成人工语料库以精确控制性别分布，探究 Transformer 语言模型在何种条件下能正确捕获性别信息或产生性别偏见。
2023-10-24 cs.AI cs.CL
Do LSTMs See Gender? Probing the Ability of LSTMs to Learn Abstract Syntactic Rules
University of Bristol（布里斯托大学）；National Research University Higher School of Economics（高等经济学院国立研究大学）
经过下一个词预测训练的LSTM可以准确地执行需要跟踪长距离语法依赖关系的语言任务。值得注意的是，模型精度接近人类在数字一致性任务上的表现（Gulordava等人，2018年）。然而，我们没有一个机械的理解LSTM如何执行这样的语言任务。LSTM是学习抽象的语法规则，还是依赖简单的语法？在这里，我们测试性别协议在法国，这需要跟踪两个层次的句法结构和词汇单位的固有性别。我们的模型能够可靠地预测长距离性别协议在两个主谓语境：名词形容词和名词被动动词协议。该模型显示，与单数情况相比，具有性别吸引子的复数名词短语更不准确，这表明依赖于性别文章的线索来达成协议。总的来说，我们的研究强调了LSTM偏离人类行为的关键方式，并质疑LSTM是否真正学习抽象的句法规则和类别。我们建议使用性别一致性作为一个有用的探针来研究LSTM语言模型的潜在机制、内部表示和语言能力。
2022-10-31 cs.AI cs.CL cs.LG
Integrating gender inclusivity into large language models via instruction tuning
Institute of Computer Science Polish Academy of Sciences（计算机科学研究所波兰科学院）
本研究通过IPIS数据集指令微调多语言和波兰语专用LLMs，将性别包容性融入模型，以系统性缓解波兰语生成中的性别偏见。
2025-08-25 cs.CL
''Fifty Shades of Bias'': Normative Ratings of Gender Bias in GPT Generated English Text
Microsoft Research India（微软研究院印度分院）；University of Michigan（密歇根大学）；Carnegie Mellon University（卡内基梅隆大学）
本文构建了首个带有性别偏见规范性评分的GPT生成英文文本数据集，采用Best–Worst Scaling进行人工比较标注，系统分析偏见主题变化，发现身份攻击与性别偏见最相关，并评估了现有自动模型在该数据集上的表现。
2023-10-26 cs.CL
ConGA: Guidelines for Contextual Gender Annotation. A Framework for Annotating Gender in Machine Translation
University of Pisa（比萨大学）；University of Naples ``L'Orientale''（那不勒斯）；Tilburg University（蒂尔堡大学）
本文提出ConGA框架，通过上下文性别标注解决机器翻译中性别处理的挑战，揭示当前系统在性别标注上的系统性偏差。
2026-03-18 cs.CL
Cross-linguistic differences in gender congruency effects: Evidence from meta-analyses
University of Potsdam（波茨坦大学）
本文通过元分析检验性别一致性效应的跨语言差异，证实德语/斯拉夫语与罗曼语在同时呈现条件下表现不同，但现有证据尚不足以支持或否定晚期选择假说。
2023-04-26 cs.CL q-bio.QM
From 'Showgirls' to 'Performers': Fine-tuning with Gender-inclusive Language for Bias Reduction in LLMs
Insight SFI Research Centre for Data Analytics（Insight SFI数据 analytics研究中心）；School of Information and Communication Studies（信息与传播研究学院）；University College Dublin（都柏林大学学院）
本文通过构建包含692个性别排他性术语及中立变体的微调数据集“Tiny Heap”，对三个大语言模型进行性别包容语言微调，有效减少了模型中的性别刻板化倾向。
2024-07-05 cs.CL
Identifying Gender Stereotypes and Biases in Automated Translation from English to Italian using Similarity Networks
Department of Computer Science（计算机科学系）；Università degli Studi di Milano（米兰大学）；Department of Italian and Supranational Public Law（意大利与超国家公法系）
该跨学科研究聚焦英意自动化翻译的性别偏见问题，通过结合法学与语言学定义、分析性别特定术语的余弦相似度及数值特征评估偏见强度方向，为性别中立翻译算法开发提供了洞见。
2025-02-17 cs.AI cs.CL
Misgendering and Assuming Gender in Machine Translation when Working with Low-Resource Languages
University of Washington（华盛顿大学）；University of Melbourne（墨尔本大学）
本章研究低资源语言机器翻译中的性别误指问题，以孟加拉语为例揭示性别预设机制及其社会影响，并提出赋予语言更多自主权的解决方向。
2024-03-12 cs.CL
Corpus of Chinese Dynastic Histories: Gender Analysis over Two Millennia
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Toronto（多伦多大学）；Academia Sinica（中央研究院）
中国的断代史形成了一个大约2000年的连续的语言空间，从公元前3世纪到公元18世纪。这些历史记录在一个超过2000万字的语料库中，适合于历史词汇和语义变化的计算分析。然而，这些历史没有免费的开源语料库，使得文言文资源匮乏。该项目介绍了一个新的开放源代码语料库的二十四个朝代的历史知识共享许可证覆盖。本文编制了一份原始的古汉语性别词汇表，作为分析历史上男性和女性词汇使用情况的个案研究。研究表明，这些术语的使用相当稳定，男性术语占主导地位。词义的探索使用关键字分析的重点语料库创建的性别特定的条款。这种方法产生了有意义的语义表示，可用于未来的历时语义研究。
2020-05-18 cs.CL
Machine Translationese: Effects of Algorithmic Bias on Linguistic Complexity in Machine Translation
Tilburg University（蒂尔堡大学）；University of Maryland, College Park（马里兰大学帕克分校）
最近在机器翻译（MT）和自然语言处理（NLP）领域的研究表明，现有模型放大了在训练数据中观察到的偏差。语言技术中偏见的放大主要是针对具体现象进行研究的，如性别偏见。在这项工作中，我们超越了性别的研究MT和调查如何偏见放大可能会影响语言在更广泛的意义上。我们假设，“算法偏见”，即频繁观察到的模式的恶化与较不频繁的模式的丢失相结合，不仅加剧了当前数据集中存在的社会偏见，而且还可能导致人为贫困的语言：“机器语言”。我们评估的语言丰富性（在词汇和形态水平）的翻译创建不同的数据驱动的MT范式-基于短语的统计（PB-SMT）和神经MT（NMT）。我们的实验表明，有一个损失的词汇和形态的丰富性，在两个语言对（EN<=>FR和EN<=>ES）的所有研究MT范式产生的翻译。
2021-01-30 cs.AI cs.CL cs.CY
Hypers at ComMA@ICON: Modelling Aggressiveness, Gender Bias and Communal Bias Identification
PSG College of Arts and Science（PSG 艺术与科学学院）；BMS College of Engineering（BMS 工程学院）；Indian Institute of Information Technology Tiruchirappalli（印度信息技术学院蒂鲁吉拉帕利分校）；SRM Institute of Science and Technology（SRM 科学技术学院）；ULTRA Arts and Science College（ULTRA 艺术与科学学院）；National University of Ireland Galway（爱尔兰国立大学高威分校）
由于社交媒体的影响力呈指数级增长，因此必须关注其负面影响，因为它可能会分裂社会并煽动人们采取暴力行为。在本文中，我们提出了我们的系统描述工作的共享任务ComMA@ICON，在那里我们必须分类如何积极的句子是，如果句子是性别偏见或社区偏见。这三个因素可能是造成社会重大问题的主要原因。作为Hypers团队，我们提出了一种方法，该方法利用不同的预训练模型与注意力和均值池方法。我们能够在孟加拉语上以0.223实例F1得分获得排名3，在多语言集上以0.322实例F1得分获得排名2，在Meitei上以0.129实例F1得分获得排名4，在印地语上以0.336实例F1得分获得排名5。可以在这里找到这项工作的源代码和预训练模型。
2022-01-13 cs.CL
The Lou Dataset -- Exploring the Impact of Gender-Fair Language in German Text Classification
Technical University of Darmstadt（达姆施塔特工业大学）；Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）；University of Hamburg（汉堡大学）
本文提出了首个德语文本分类数据集 Lou，通过在七项任务上评估 16 个语言模型，发现性别公平语言会显著改变模型预测、确定性和注意力模式，但不影响模型整体排名。
2024-09-26 cs.CL
Gender Lost In Translation: How Bridging The Gap Between Languages Affects Gender Bias in Zero-Shot Multilingual Translation
Maastricht University（马斯特里赫特大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文研究零样本多语言神经机器翻译中的性别偏见，发现语言无关表示可减轻男性偏见，且桥接语言性别屈折程度越高，枢轴翻译在性别保留公平性上越优于零样本翻译。
2023-05-26 cs.CL
Professional Presentation and Projected Power: A Case Study of Implicit Gender Information in English CVs
University of Melbourne（墨尔本大学）
招聘中的性别歧视是社会中一种相关而持久的偏见，也是探索NLP偏见的一个常见激励例子。然而，性别语言在申请材料中的表现受到的关注有限。本文研究了自我认同的男性和女性简历中技能和背景的框架。我们引入了来自美国的1.8K真实的英语简历数据集，涵盖了16个职业，使我们能够部分控制混淆的职业特定性别基础率。我们发现，（1）女性使用更多的动词唤起低权力的印象;（2）分类器捕捉性别信号，即使在数据平衡和删除代词和命名实体后，这对基于transformer和线性分类器都适用。
2022-11-17 cs.CL
Judging a Book by its Description : Analyzing Gender Stereotypes in the Man Bookers Prize Winning Fiction
IBM Research AI-India（IBM印度研究院人工智能部门）；IIIT-Delhi（德里英德拉普拉斯塔信息技术学院）；DTU-Delhi（德里理工大学）
在社会的许多方面存在性别陈规定型观念是一个众所周知的现象。在本文中，我们专注于研究和量化这种刻板印象和偏见的曼布克奖获奖小说。我们考虑了1969年至2017年期间入围曼布克奖的275本书。通过对Goodreads上的图书描述进行语义建模，分析了性别偏见。这反映了性别偏见和刻板印象在书中的不同特征，如职业，介绍和与书中人物有关的行动。
2018-07-25 cs.AI cs.CL
Gender Bias in Machine Translation and The Era of Large Language Models
本章综述传统神经机器翻译与大语言模型中的性别偏见，并通过英语—意大利语场景下的 ChatGPT 实验评估其偏见应对能力，强调持续缓解偏见、促进公平包容的必要性。
2024-01-18 cs.AI cs.CL cs.CY
Linguistic Triggers of Gender and Racial Bias in Open-Weight LLMs Applied to Recruitment
Recruit Co., Ltd.（瑞可利有限公司）
本研究首次系统审计六个开源权重LLM，发现招聘语言中的代理型与编码排斥词汇分别抑制女性和非白人候选人评分，并提出部署前审计协议以应对欧盟AI法案合规风险。
2026-09-17 cs.AI cs.CL cs.CY
Harms of Gender Exclusivity and Challenges in Non-Binary Representation in Language Technologies
UCLA（加州大学洛杉矶分校）；University of Utah（犹他大学）
在语言任务的背景下，在审查语言模型传播的定型观念时，性别问题得到了广泛的讨论。然而，目前的讨论主要将性别视为二元的，这可能会使伤害永久化，例如周期性地消除非二元性别身份。这些伤害是由模型和数据集偏见驱动的，这是不承认和缺乏对社会中非二元性别的理解的后果。在本文中，我们解释了性别和语言的复杂性，并调查了非二进制的人，以了解在英语语言技术中将性别视为二进制的危害。我们还详细介绍了当前的语言表示（例如，GloVe、BERT）捕捉并延续这些危害和相关挑战，这些危害和挑战需要得到承认和解决，以便代表公平地编码性别信息。
2021-09-10 cs.AI cs.CL cs.LG
Gender Neutralization for an Inclusive Machine Translation: from Theoretical Foundations to Open Challenges
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；University of Trento（特伦托大学）
本文以英意翻译为对象，系统探讨性别中立翻译的定义、使用场景与技术挑战，并提出推动机器翻译性别包容性的潜在方案。
2023-07-04 cs.CL
Exploring Gender Biases in Language Patterns of Human-Conversational Agent Conversations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究探讨对话智能体（CAs）的性别设计如何触发并强化用户的性别偏见，分析人机交互的语言模式，为促进性别平等的伦理设计提供指导。
2024-01-05 cs.CL cs.CY cs.HC
Pick a Fight or Bite your Tongue: Investigation of Gender Differences in Idiomatic Language Usage
University of Toronto（多伦多大学）；Bar-Ilan University（巴伊兰大学）
大量关于性别相关语言的研究已经建立了关于词汇，情感和主题偏好的跨性别差异的基础，以及它们的社会学基础。我们编制了一个新的，大的和多样化的语料库的自发语言生产与说话人的性别注释，并进行了第一次大规模的实证研究之间的区别使用\textit{figurative language}男性和女性作者。我们的分析表明：（1）习惯用法的选择反映了一般语言中特定性别的词汇和语义偏好，（2）男性和女性的习惯用法表达了比他们的字面语言更高的情感，与他们的字面话语相比，男性和女性作者在优势维度上存在可检测的差异，尽管更微妙，（3）对习语的语境分析显示出相当大的差异，反映了跨性别交际风格和语义偏见所形成的使用环境的微妙差异。
2020-10-31 cs.CL
Gender Bias in MT for a Genderless Language: New Benchmarks for Basque
本文通过引入两个新数据集，研究巴斯克语翻译中的性别偏见问题，发现模型存在系统性偏好阳性形式的现象。
2026-03-09 cs.CL
Investigating individual writing style as a contributor to gender gaps in science and technology
Carnegie Mellon University（卡内基梅隆大学）；Coleridge Initiative（科尔里奇倡议）；University of Minnesota（明尼苏达大学）
该研究发现科技领域女性写作风格比男性更具参与性，这种性别化的写作风格差异会影响论文的引用情况，揭示了评价偏见持续存在的微妙渠道。
2026-08-17 cs.CL cs.CY
Mitigating Gender Bias in Machine Learning Data Sets
University College Dublin（都柏林大学学院）
人工智能有能力放大和延续社会偏见，并为社会带来深刻的伦理影响。在招聘广告和招聘工具的背景下，由于依赖于潜在的语言处理和推荐算法，性别偏见已被确定。解决这些问题的尝试涉及测试学习关联，将公平性概念集成到机器学习中，并对训练数据进行更严格的分析。考虑到性别意识形态嵌入语言的复杂方式，在文本数据上训练算法时减轻偏见尤其具有挑战性。本文提出了一个识别机器学习训练数据中性别偏见的框架，利用性别理论和社会语言学，系统地指出文本训练数据和相关神经词嵌入模型中的偏见水平，从而突出了从训练数据中消除偏见并严格评估其影响的途径。
2020-05-18 cs.CL cs.LG
taz2024full: Analysing German Newspapers for Gender Bias and Discrimination across Decades
Faculty for Computer Science and Mathematics, Hochschule München University of Applied Sciences（计算机科学与数学系，慕尼黑应用科学大学）；Department of Statistics, LMU Munich（统计学系，慕尼黑大学）；Munich Center for Machine Learning (MCML), LMU Munich（慕尼黑机器学习中心（MCML），慕尼黑大学）
本文发布德国最大报纸语料库taz2024full（1980-2024年、超180万篇），并基于该语料分析四十年性别代表性，发现男性过度呈现但近年趋于均衡，为德语NLP偏见研究提供基础资源。
2025-06-03 cs.CL
Under the Morphosyntactic Lens: A Multifaceted Evaluation of Gender Bias in Speech Translation
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
性别偏见在很大程度上被认为是一种影响语言技术的问题现象，最近的研究强调，它可能在不同的语言中表现得不同。然而，目前大多数的评价实践都是在综合条件下，对一组狭窄的职业名词进行词级评价。这种协议忽略了语法性别语言的关键特征，其特征是性别协议的形态句法链，标记在各种词汇和词性（POS）上。为了克服这一限制，我们丰富了自然的、性别敏感的Must-SHE语料库（Bentivogli等人，2020）与两个新的语言注释层（POS和协议链），并探讨在何种程度上不同的词汇类别和协议现象的影响性别倾斜。专注于语音翻译，我们对三种语言方向（英语-法语/意大利语/西班牙语）进行了多方面的评估，模型在不同的数据量和不同的分词技术上进行了训练。通过揭示模型行为，性别偏见及其在几个粒度级别上的检测，我们的研究结果强调了专门分析的价值，而不仅仅是汇总的整体结果。
2022-03-18 cs.CL
Unveiling Gender Bias in Terms of Profession Across LLMs: Analyzing and Addressing Sociological Implications
Indian Institute of Technology Bhilai（印度理工学院比莱分校）
本研究通过对比GPT-2与GPT-3.5，分析大语言模型在职业术语中的性别偏见，揭示其社会学影响，并提出算法与数据增强等缓解策略，旨在推动更公平的AI系统。
2023-08-31 cs.CL
Demographic and Linguistic Bias Evaluation in Omnimodal Language Models
Freie Universität Berlin（柏林自由大学）
本文评估了多模态语言模型中的人口和语言偏差，通过不同任务揭示图像和视频理解任务在人口差异上表现更优，而音频理解任务存在显著偏差和预测崩溃。
2026-04-11 cs.AI cs.CL cs.CV
Overview of the NLPCC 2025 Shared Task: Gender Bias Mitigation Challenge
Multimodal Art Projection Research Community University of Manchester Independent Researcher
针对中文语境下性别偏见计算语言学资源匮乏的问题，本研究构建了含3.29万条标注句子的CORGI-PM语料库，设置三项NLPCC 2025共享任务挑战以推动文本性别偏见自动化检测、分类与消减，并呈现参赛结果分析。
2025-06-14 cs.CL
Exploiting Biased Models to De-bias Text: A Gender-Fair Rewriting Model
University of Zurich（苏黎世大学）；Textshuttle（Textshuttle公司）；ETH Zurich（苏黎世联邦理工学院）；University of Edinburgh（爱丁堡大学）
针对自然语言生成模型的性别偏见问题，提出利用机器翻译模型通过往返翻译从性别公平文本生成偏见文本作为训练数据，无需手工规则即可训练德语性别公平改写模型，并验证了其有效性。
2023-05-18 cs.CL
North or South? Diagnosing LLMs' Understanding of North Korean Language, Society, and Knowledge
KAIST（韩国科学技术院）
本研究构建含1765个问题的LENS基准，评估LLMs对朝鲜语言、社会文化及特定领域知识的理解，发现模型在社会文化视角与领域知识上存在明显局限，强调需开发针对相关语境的评估资源。
2026-10-14 cs.AI cs.CL
Unmasking Contextual Stereotypes: Measuring and Mitigating BERT's Gender Bias
University of Groningen（格罗宁根大学）；University of Malta（马耳他大学）
语境化的词嵌入已经取代标准嵌入，成为NLP系统中选择的表征性知识源。由于之前在标准词嵌入中发现了各种偏见，因此评估其替换中编码的偏见也至关重要。关注BERT（Devlin等人，2018），我们通过研究英语和德语中表示性别的目标词与职业名称之间的关联来衡量性别偏见，并将研究结果与现实世界的劳动力统计数据进行比较。我们通过在GAP语料库上微调BERT来减轻偏差（Webster等人，2018），在应用反事实数据替代（CDS）（Maudslay等人，2019年）。我们表明，我们的方法测量偏见是适当的语言，如英语，但不适合语言丰富的形态和性别标记，如德语。我们的研究结果强调了跨语言调查偏见和缓解技术的重要性，特别是考虑到目前对大规模，多语言语言模型的重视。
2020-10-27 cs.CL
Evaluating Gender Bias in the Translation of Gender-Neutral Languages into English
Microsoft（微软）
针对中性性别语言英译时性别偏见缺乏评估基准的问题，研究团队构建了含四种语言对、带多性别变体的GATE X-E扩展语料库，并基于GPT-3.5 Turbo提出英语性别改写方案且完成评估，相关成果已开源。
2023-12-13 cs.AI cs.CL
Characterizing Interconnections and Linguistic Patterns in Twitter
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）
社交媒体被认为是一个民主的空间，人们在其中相互联系和互动，而不管他们的性别，种族或任何其他人口统计学方面。尽管许多人努力探索社交媒体中的人口统计学方面，但仍不清楚社交媒体是否会延续线下世界的旧不平等。在这篇论文中，我们尝试使用Face++中先进的图像处理算法来识别位于美国的Twitter用户的性别和种族。我们调查了不同的人口群体如何相互联系，并在语言风格和他们的兴趣方面区分他们。我们量化了一个群体在多大程度上相互关注和互动，以及这些联系和互动在多大程度上反映了Twitter中的不平等。我们还提取语言特征，从六个类别（情感属性，认知属性，词汇密度和意识，时间参考，社会和个人的关注，以及人际焦点），以确定他们在Twitter上分享的消息的相似性和差异。此外，我们提取了人口统计组之间的顶级短语的绝对排名差异。作为多样性的一个维度，我们使用我们从每个用户那里检索到的感兴趣的主题。我们的分析表明，在Twitter上，被识别为白人和男性的用户往往在追随者数量和在另一个用户列表中的次数方面获得更高的位置。在性别和种族领域以及感兴趣的主题方面，不同人口群体的写作方式存在明显差异。我们希望我们的努力能够促进在线空间人口统计信息新理论的发展。最后，我们开发了一个基于Web的系统，利用用户的人口统计方面提供透明度的Twitter趋势主题系统。
2018-03-30 cs.CL cs.SI
Gender and Racial Stereotype Detection in Legal Opinion Word Embeddings
Thomson Reuters Labs（汤森路透实验室）
研究表明，一些自然语言处理（NLP）系统编码和复制有害的偏见，对我们的社会产生潜在的不良道德影响。在这篇文章中，我们提出了一种方法来识别性别和种族刻板印象的词嵌入培训的司法意见，从美国判例法。当下游系统用于分类、信息抽取、问答或用于构建法律研究工具的其他机器学习系统时，包含原型信息的嵌入可能会造成伤害。我们首先解释了以前提出的识别这些偏见的方法是如何不适合用于在法律意见文本上训练的词嵌入的。然后，我们提出了一个域适应的方法来识别性别和种族偏见在法律领域。我们使用这些方法进行的分析表明，种族和性别偏见被编码到经过法律意见训练的词嵌入中。这些偏见并没有通过排除历史数据来减轻，并且出现在法律的多个大的主题领域。下游系统，使用法律意见词嵌入和潜在的缓解策略的建议，根据我们的观察的影响进行了讨论。
2022-04-12 cs.AI cs.CL
Gender Trouble in Language Models: An Empirical Audit Guided by Gender Performativity Theory
University of Oxford（牛津大学）；University of Oxford Institute of Advanced Studies (UCL)（牛津大学高级研究院）
本研究以性别操演理论为指导，拓展语言模型性别偏见定义，实证测试16款不同语言模型发现其将性别编码为绑定生理性别的二元范畴，且大模型该关联更强，呼吁重新评估性别危害的定义与应对。
2025-05-20 cs.AI cs.CL cs.CY
Welcome to the Modern World of Pronouns: Identity-Inclusive Natural Language Processing beyond Gender
Università Luigi Bocconi（博科尼大学）；University of South Carolina（南卡罗来纳大学）
代词的世界正在发生变化。从一个成员很少的封闭的词类到一个更开放的术语集，以反映身份。然而，自然语言处理（NLP）几乎没有反映这种语言转变，尽管最近的工作概述了性别排斥语言技术的危害。特别有问题的是目前的第三人称代词建模，因为它在很大程度上忽略了各种现象，如新代词，即，古人云：“物以稀为贵，物以稀为贵。这一遗漏助长了对边缘化和代表性不足群体的歧视，例如，非二元个体。然而，性别之外的其他身份表达现象也被当前的NLP技术所忽视。在本文中，我们提供了一个NLP第三人称代词问题的概述。基于我们的观察和伦理的考虑，我们定义了一系列的desiderata建模代词在语言技术。我们评估现有的和新的建模方法w.r.t.这些都需要从质量上和数量上说明更加无歧视的方法对既定基准数据的影响。
2022-02-24 cs.CL
GATE X-E : A Challenge Set for Gender-Fair Translations from Weakly-Gendered Languages
Microsoft（微软公司）
本文提出GATE X-E基准，扩展GATE语料库以评估从四种弱性别语言到英语的翻译性别偏见，并基于GPT-4构建改写方案进行评测，开源数据以推动性别去偏研究。
2024-02-22 cs.AI cs.CL
GOSt-MT: A Knowledge Graph for Occupation-related Gender Biases in Machine Translation
National Technical University of Athens（雅典国立技术大学）；Panteion University of Social and Political Sciences（潘泰翁社会政治大学）；National and Kapodistrian University of Athens（雅典国立卡波迪斯特里安大学）
本文提出GOSt-MT知识图谱，整合真实劳动力性别统计与机器翻译训练语料，用于分析英语、法语和希腊语中职业相关性别偏见，以推动机器翻译系统更加公平。
2024-10-04 cs.AI cs.CL
Confounds and Consequences in Geotagged Twitter Data
School of Interactive Computing（交互计算学院）；Georgia Institute of Technology（佐治亚理工学院）
Twitter经常用于定量研究，以确定地理偏好的主题，写作风格和实体。这些研究依赖于附加到单个消息的GPS坐标，或者依赖于每个配置文件中的用户提供的位置字段。在本文中，我们比较了这些数据采集技术，并量化了它们引入的偏见，我们还测量了它们对语言分析和基于文本的地理定位的影响。GPS标记和自我报告的位置产生可测量的不同语料库，这些语言差异部分归因于年龄和性别的数据集组成的差异。使用隐变量模型，以诱导年龄和性别，我们显示这些人口统计变量如何与地理相互作用，影响语言使用。我们还表明，基于文本的地理定位的准确性随人口统计数据而变化，对于40岁以上的男性来说，结果最好。
2015-08-22 cs.CL
Cross-Lingual Probing and Community-Grounded Analysis of Gender Bias in Low-Resource Bengali
Department of Computer Science（计算机科学系）；AIUB, Dhaka, Bangladesh；Department of Information Technology（信息科技系）；Wilmington University, Delaware, USA；WUST, Virginia, USA；Faculty of Information Science（信息科学系）；Technology Multimedia University, Melaka, Malaysia（技术多媒体大学, Melaka, Malaysia）；Centre for Intelligent Cloud Computing（智能云计算中心）
本研究通过跨语言探测和社区导向分析，揭示了孟加拉语中性别偏见的特征，强调需本地化方法和社区参与以减少偏见。
2026-01-25 cs.AI cs.CL
I Think, Therefore I Am Under-Qualified? A Benchmark for Evaluating Linguistic Shibboleth Detection in LLM Hiring Evaluations
University of Washington（华盛顿大学）；UC Berkeley（伯克利大学）；Stanford University（斯坦福大学）
本文提出一个评估LLM招聘评估中语言Shibboleth检测的综合基准，通过100个问答对模拟面试生成受控语言变体，发现模糊限制性回答评分平均低25.6%，为检测AI系统语言歧视提供基础框架。
2025-08-06 cs.CL
Probing Gender Bias in Multilingual LLMs: A Case Study of Stereotypes in Persian
University of Tehran（德黑兰大学）；Tehran Institute for Advanced Studies（德黑兰高等研究院）
本研究提出基于模板的探测方法和DS-GSI指标，评估四个多语言大模型在波斯语中的性别刻板印象，发现所有模型均存在偏见且波斯语差异大于英语，体育领域最严重。
2025-09-24 cs.CL
