GeBioToolkit: Automatic Extraction of Gender-Balanced Multilingual Corpus of Wikipedia Biographies
我们介绍GeBioToolkit,一个工具,用于提取多语言平行语料库在句子级别,从维基百科的传记文件和性别信息。尽管维基百科中存在性别不平等,但该工具包旨在提取性别平衡的语料库。虽然我们的工具包可以定制为任何数量的语言(和不同的领域),但在这项工作中,我们提供了英语,西班牙语和加泰罗尼亚语的2,000个句子的语料库,这些句子已经由母语人士进行了后期编辑,成为机器翻译评估的高质量数据集。虽然GeBioCorpus旨在成为第一个非合成性别平衡的测试数据集之一,但GeBioToolkit旨在为标准化程序铺平道路,以产生性别平衡的数据集
2019-12-10 cs.CL
Analyzing Gender Representation in Multilingual Models
University of Washington(华盛顿大学);Bar Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
多语言语言模型被证明允许跨脚本和语言的非平凡传输。在这项工作中,我们研究的内部表示,使这种转移的结构。我们专注于性别差异的代表性作为一个实际的案例研究,并检查在何种程度上的性别概念编码在不同的语言共享子空间。我们的分析表明,性别表征包括几个突出的组件,这些组件是跨语言共享的,以及语言特定的组件。语言独立和语言特定的组件的存在提供了一个有趣的经验观察,我们作出的解释:虽然性别分类转移以及跨语言,性别去除的干预措施,在一个单一的语言培训,不容易转移到其他人。
2022-08-12 cs.CL
Gender Lost In Translation: How Bridging The Gap Between Languages Affects Gender Bias in Zero-Shot Multilingual Translation
Maastricht University(马斯特里赫特大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文研究零样本多语言神经机器翻译中的性别偏见,发现语言无关表示可减轻男性偏见,且桥接语言性别屈折程度越高,枢轴翻译在性别保留公平性上越优于零样本翻译。
2023-05-26 cs.CL
Gender Bias in Multilingual Neural Machine Translation: The Architecture Matters
TALP Research Center(TALP研究中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
多语言神经机器翻译体系结构的差异主要在于语言之间共享模块和参数的数量。在本文中,从算法的角度来看,我们探讨了当使用相同的数据进行训练时,所选择的架构是否会影响性别偏见的准确性。在四个语言对的实验表明,特定于存储的编码器-解码器表现出更少的偏见比共享的编码器-解码器架构。进一步对源语嵌入和注意力的可解释性分析表明,在特定性别的情况下,源语嵌入编码了更多的性别信息,其注意力更容易被转移。这两种行为都有助于减轻性别偏见。
2020-12-24 cs.CL
Twists, Humps, and Pebbles: Multilingual Speech Recognition Models Exhibit Gender Performance Gaps
Instituto de Telecomunicações(电信研究所);University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);Bocconi University(博科尼大学)
本文系统评估两个多语言ASR模型在19种语言上的性别性能差距,发现差距无法由声学或词汇属性解释,但与模型内部性别可区分性相关,并强调训练数据可及性和细致评估对缓解性别差距的重要性。
2024-10-03 cs.CL
On Evaluating and Mitigating Gender Biases in Multilingual Settings
Microsoft Research India(微软印度研究院)
本文针对多语言环境下性别偏见评估与缓解的挑战,构建了基于人工标注的印度语言偏见评估基准,扩展多种去偏方法并验证其在多语言模型上的效果。
2023-07-04 cs.CL
EuroGEST: Investigating gender stereotypes in multilingual language models
University of Edinburgh(爱丁堡大学);Warsaw University of Technology(华沙技术大学);Aveni
EuroGEST研究多语言语言模型中的性别刻板印象,通过跨29种欧洲语言的数据集揭示了性别刻板印象的普遍性及模型对刻板印象的编码强度。
2026-02-23 cs.CL
What is Your Favorite Gender, MLM? Gender Bias Evaluation in Multilingual Masked Language Models
Emory University(埃默里大学)
针对多语言 MLM 性别偏见评估不足的问题,本文提出不依赖英语平行语料的多语言方法和基于模型的句子对生成技术,并用多种指标证明既有评估不稳定。
2024-04-09 cs.CL
TBCOV: Two Billion Multilingual COVID-19 Tweets with Sentiment, Entity, Geo, and Gender Labels
Qatar Computing Research Institute(卡塔尔计算研究所);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
本文构建TBCOV大规模多语言COVID-19推文数据集,利用深度学习标注情感、实体、用户与性别,并提出地理标记方法以支持疫情舆情与现实问题分析。
2021-10-04 cs.CL cs.SI
Breaking Language Barriers or Reinforcing Bias? A Study of Gender and Racial Disparities in Multilingual Contrastive Vision Language Models
Queen Mary University of London(伦敦大学玛丽女王学院);Institut Jožef Stefan(乔泽夫·斯蒂芬研究所)
本文首次系统审计四种公开多语言CLIP变体的种族与性别偏见,发现多语言性未缓解偏见反而存在刻板印象跨语言迁移等问题,指出需开展语言感知的细粒度偏见评估。
2025-11-18 cs.CL cs.LG
What an Elegant Bridge: Multilingual LLMs are Biased Similarly in Different Languages
Oxford Artificial Intelligence Society, University of Oxford(牛津大学牛津人工智能学会)
该研究从语法性别视角出发,利用多语言大语言模型重现拓展经典心理语言学实验,通过形容词共现分析与二元分类器验证,发现不同语言下大语言模型的偏见模式具有相似性与跨语言迁移性。
2024-07-12 cs.CL
Type B Reflexivization as an Unambiguous Testbed for Multilingual Multi-Task Gender Bias
University of Copenhagen(哥本哈根大学);Alexandra Instituttet(亚历山德拉研究所);Google Research(谷歌研究院)
在以前的NLP性别偏见研究中,片面关注英语错过了其他语言的机会:英语挑战数据集,如GAP和WinoGender,突出了“幻觉”的模型偏好,例如,消除性别模糊的“医生”作为男性医生的出现。我们表明,对于具有B型反身化的语言,例如,瑞典语和俄语,我们可以构建多任务挑战数据集,用于检测导致明确错误模型预测的性别偏见:在这些语言中,“医生摘下面具”的直接翻译在共指阅读和不相交阅读之间并不模糊。相反,共指阅读需要一个无性别的代词,而有性别的所有格代词是反反身的。我们提出了一个多语言,多任务的挑战数据集,它跨越了四种语言和四个NLP任务,只关注这种现象。我们在所有的任务语言组合中发现了性别偏见的证据,并将模型偏见与国家劳动力市场统计数据相关联。
2020-09-28 cs.CL cs.LG
Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer
Microsoft Research AI(微软研究院人工智能);University of California, Los Angeles(加州大学洛杉矶分校)
多语言表示将来自许多语言的单词嵌入到单个语义空间中,使得具有相似含义的单词彼此接近,而不管语言。这些嵌入已被广泛用于各种环境中,例如跨语言迁移,其中在一种语言上训练的自然语言处理(NLP)模型被部署到另一种语言。虽然跨语言迁移技术是强大的,他们携带性别偏见从源语言到目标语言。在本文中,我们研究了多语言嵌入中的性别偏见以及它如何影响自然语言处理应用程序的迁移学习。我们创建了一个多语言数据集的偏见分析,并提出了几种方法来量化偏见的多语言表示从内在和外在的角度。实验结果表明,当我们将嵌入对齐到不同的目标空间时,多语言表示中的偏差大小会发生不同的变化,并且对齐方向也会对迁移学习中的偏差产生影响。我们还提供了使用多语言单词表示的下游任务的建议。
2020-05-02 cs.CL cs.CY cs.LG
MORPHOGEN: A Multilingual Benchmark for Evaluating Gender-Aware Morphological Generation
SBILab, Indraprastha Institute of Information Technology Delhi(SBILab,印度理工学院信息技术研究所德里)
MORPHOGEN通过构建三门语法有性语言的合成数据集,评估15种多语言大模型在性别意识形态生成任务中的表现,揭示当前模型在处理形态性别时的不足。
2026-04-20 cs.AI cs.CL cs.LG
Probing Gender Bias in Multilingual LLMs: A Case Study of Stereotypes in Persian
University of Tehran(德黑兰大学);Tehran Institute for Advanced Studies(德黑兰高等研究院)
本研究提出基于模板的探测方法和DS-GSI指标,评估四个多语言大模型在波斯语中的性别刻板印象,发现所有模型均存在偏见且波斯语差异大于英语,体育领域最严重。
2025-09-24 cs.CL
Mind the Inclusivity Gap: Multilingual Gender-Neutral Translation Evaluation with mGeNTE
Fondazione Bruno Kessler(布鲁诺·科塞尔基金会);Instituto de Telecomunicações(电信研究所);DIT Forlì - University of Bologna(福利大学迪提学院);Data Science Group - University of Hamburg(汉堡大学数据科学组);University of Trento(特伦托大学);LT 3 - Ghent University(根特大学LT 3)
本文引入专家策划的资源mGeNTE,利用指令遵循语言模型对多语言性别中立翻译进行系统性评估,发现模型虽能识别中立需求但难以持续生成中立翻译,并通过可解释性分析揭示了其内部动态。
2025-09-18 cs.CL
UDapter: Language Adaptation for Truly Universal Dependency Parsing
University of Groningen(格罗宁根大学)
多语言依存句法分析的最新进展使真正的通用语法分析器的想法更接近现实。然而,跨语言干扰和有限的模型能力仍然是主要障碍。为了解决这个问题,我们提出了一种新的多语言任务适应方法的上下文参数生成和适配器模块的基础上。这种方法允许通过语言嵌入来学习适配器,同时跨语言共享模型参数。它还允许一个简单而有效的整合现有的语言类型学功能到解析网络。由此产生的解析器,UDBACK,优于强大的单语和多语言的基线上的大多数高资源和低资源(zero-shot)的语言,显示出成功的建议的适应方法。我们的深入分析表明,通过类型特征共享软参数是成功的关键。
2020-10-06 cs.CL
LUC at ComMA-2021 Shared Task: Multilingual Gender Biased and Communal Language Identification without using linguistic features
CENIDET(墨西哥国家数字教育技术中心);COLMEX(墨西哥学院);IIM(印度管理研究所);Université de Montréal(蒙特利尔大学);EBSI(图书馆与信息科学学院);Université d’Avignon(阿维尼翁大学);LIA(阿维尼翁计算机科学实验室)
这项工作的目的是评估能力,概率和国家的最先进的向量空间建模(VSM)的方法提供给众所周知的机器学习算法,以确定社交网络文件被归类为侵略性,性别偏见或共同负责。为此,首先进行探索性阶段,以找到相关的设置进行测试,即通过使用训练和开发样本,我们使用多个向量空间建模和概率方法训练了多个算法,并丢弃了信息量较少的配置。这些系统被提交给ComMA@ICON'21多语言性别偏见和公共语言识别研讨会的竞争。
2021-12-19 cs.CL cs.IR
GENDIS: Gender-Related Discourse and Stance in Multilingual YouTube Comments from India, Kenya, and Nigeria
World Bank(世界银行);Technical University of Munich(慕尼黑工业大学);University of Oxford(牛津大学);New York University(纽约大学);University of Pennsylvania(宾夕法尼亚大学)
针对现有性别相关在线内容研究的数据集局限,推出含印度、肯尼亚、尼日利亚各3200条共9600条多语言YouTube评论的GENDIS数据集,采用两级标注框架,实验表明轻监督分类器成本低且性能优,跨国迁移有限。
2026-10-14 cs.CL
Generating Multilingual Gender-Ambiguous Text-to-Speech Voices
Innoetics, Samsung Electronics(三星电子Innoetics公司);Mobile eXperience Business, Samsung Electronics(三星电子移动体验事业部)
本研究提出一种性别感知方法,从潜在说话人嵌入空间高效采样,在多说话人多语言场景下生成性别模糊的TTS语音,经评估效果优于基线,且听众性别与母语不影响性别感知,是首个经验证的相关系统方法。
2023-06-11 cs.CL cs.LG cs.SD
Multilingual Text-to-Image Generation Magnifies Gender Stereotypes and Prompt Engineering May Not Help You
TU Darmstadt(图宾根大学);Ontocord(Ontocord公司);Technical University of Munich (TUM)(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心);CERTAIN(CERTAIN公司);DFKI(德意志联邦防务研究院);Charles University Prague(布拉格查理大学);Centre for Cognitive Science, Darmstadt(达姆施塔特认知科学中心);Munich Data Science Institute(慕尼黑数据科学研究所)
本文提出多语言性别偏见基准MAGBIG,发现多语言文本到图像模型不仅存在显著的性别刻板印象,且不同语言间表现差异显著,而提示工程策略缓解偏见效果有限并损害文本对齐。
2025-06-02 cs.CL cs.CY cs.LG
UnMASKed: Quantifying Gender Biases in Masked Language Models through Linguistically Informed Job Market Prompts
The University of Alabama(阿拉巴马大学)
本研究针对掩码语言模型的性别偏见问题,构建含两类提示的新数据集,评估6款主流模型,发现均存在性别刻板对齐,多语言变体偏见相对更低。
2024-01-28 cs.CL
A Simple Approach to Multilingual Polarity Classification in Twitter
CONACyT(墨西哥国家科学技术委员会);INFOTEC(墨西哥信息技术研究与开发中心);Centro de Investigación en Geografía y Geomática “Ing. Jorge L. Tamayo”, A.C.(豪尔赫·L·塔马约工程地理与测绘研究中心);Universidad Michoacana de San Nicolás de Hidalgo(圣尼古拉斯·伊达尔戈米却肯大学)
最近,由于对挖掘社交媒体用户的意见的兴趣,情感分析受到了很多关注。情感分析包括确定给定文本的极性,即,积极或消极的程度。传统上,情感分析算法已经被定制为特定语言,给定了由生成内容的人引入的大量词汇变化和错误的复杂性。在这方面的贡献,我们的目标是提供一个简单的实现和易于使用的多语言框架,可以作为一个基线的情感分析比赛,并作为起点,建立新的情感分析系统。我们用八种不同的语言比较我们的方法,其中三种语言具有重要的国际比赛,即SemEval(英语),TASS(西班牙语)和SENTIPOLC(意大利语)。在比赛中,我们的方法在排名中从中等位置到高位置;而在其他语言中,我们的方法优于报告的结果。
2016-12-15 cs.CL cs.LG stat.ML
An Empirical Study of Gendered Stereotypes in Emotional Attributes for Bangla in Multilingual Large Language Models
Bangladesh University of Engineering and Technology (BUET)(孟加拉工程技术大学)
本研究首次针对闭源与开源大语言模型,全面调查孟加拉语语境下的性别情感归因偏见,证实该类偏见存在并揭示其随性别角色选择的变化规律,公开相关资源以支持孟加拉语NLP研究。
2024-07-08 cs.CL
Multilingual Holistic Bias: Extending Descriptors and Patterns to Unveil Demographic Biases in Languages at Scale
Meta AI
研究提出MULTILINGUALHOLISTICBIAS数据集,通过扩展描述符和模式覆盖50种语言,旨在揭示人口统计偏见并量化缓解措施,发现翻译质量在男性参考下普遍优于女性。
2023-05-22 cs.CL
Towards Massive Multilingual Holistic Bias
FAIR, Meta(FAIR,Meta)
本文提出大规模多语言整体偏见数据集MMHB及自动构建方法,通过占位符和系统化翻译高效扩展多语言句子,并揭示机器翻译中的性别偏见与附加毒性问题。
2024-06-29 cs.CL
Can Demographic Factors Improve Text Classification? Revisiting Demographic Adaptation in the Age of Transformers
University of Mannheim(曼海姆大学);NEC Laboratories Europe GmbH(NEC欧洲实验室有限公司);University of Hamburg(汉堡大学);Bocconi University(博科尼大学);University of Würzburg(维尔茨堡大学)
本研究考察人口统计适配在预训练Transformer语言模型中的有效性,发现表面上的性能提升源于混杂因素而非人口统计知识,表明该问题在现代NLP中仍未解决。
2023-05-09 cs.CL
Measuring Gender Bias in Job Title Matching for Grammatical Gender Languages
Avature Machine Learning(阿瓦图尔机器学习)
本研究提出基于RBO的性别控制排名比较指标,构建四种语法性别语言的职位匹配测试集,评估多语言模型并揭示其普遍存在的性别偏见。
2025-09-17 cs.CL
Colombian Waitresses y Jueces canadienses: Gender and Country Biases in Occupation Recommendations from LLMs
Erasmus Mundus Master in Language and Communication Technologies(埃拉斯谟 Mundus 语言与沟通技术硕士项目);HiTZ Center - Ixa, University of the Basque Country (UPV/EHU)(巴斯克国家大学(UPV/EHU)HiTZ中心 - Ixa);Cohere(Cohere公司);Saarland University(萨尔兰州大学)
本文构建涵盖英语、西班牙语、德语及25个国家、四组代词的职业推荐基准,评估5个基于Llama的模型,揭示LLM存在显著的交叉性国家与性别偏见。
2025-07-26 cs.CL
Preventing Author Profiling through Zero-Shot Multilingual Back-Translation
Saarland University(萨尔兰大学)
短至一句话的文件可能会无意中泄露有关作者的敏感信息,包括例如其性别或种族。风格转换是一种转换文本的有效方法,可以删除任何可能导致作者分析的信息。然而,对于许多当前最先进的方法,改进的隐私性伴随着经变换的数据的下游效用的不期望的下降。在本文中,我们提出了一种简单的,zero-shot的方法,通过使用现成的翻译模型进行多语言回译来有效地降低作者分析的风险。我们将我们的模型与五个代表性的文本风格传输模型在不同领域的三个数据集上进行比较。自动和人工评估的结果表明,我们的方法达到了最佳的整体性能,而不需要训练数据。我们能够将性别和种族的对抗性预测降低高达$22\%$,同时保留下游任务的原始效用$95\%$。
2021-09-19 cs.CL
From Measurement to Mitigation: Exploring the Transferability of Debiasing Approaches to Gender Bias in Maltese Language Models
Department of Artificial Intelligence, University of Malta(人工智能系,马耳他大学)
本文测量马耳他语BERTu和mBERTu模型中的性别偏见,并将英语去偏方法适配到马耳他语进行迁移性研究,揭示现有方法在形态丰富低资源语言上的局限,并创建评估数据集以推动更具包容性的多语言NLP发展。
2025-07-03 cs.CL
Integrating gender inclusivity into large language models via instruction tuning
Institute of Computer Science Polish Academy of Sciences(计算机科学研究所波兰科学院)
本研究通过IPIS数据集指令微调多语言和波兰语专用LLMs,将性别包容性融入模型,以系统性缓解波兰语生成中的性别偏见。
2025-08-25 cs.CL
What Do Compressed Multilingual Machine Translation Models Forget?
NAVER LABS Europe(NAVER欧洲实验室);IDIAP Research Institute(IDIAP研究所);EPFL(洛桑联邦理工学院)
本文研究了压缩技术对多语言神经机器翻译模型的影响,发现压缩虽对平均 BLEU 指标影响微小,却导致低资源语言性能显著下降,并放大了性别与语义偏见。
2023-06-27 cs.AI cs.CL cs.LG
Gender-specific Machine Translation with Large Language Models
Meta;UCL Centre for Artificial Intelligence(伦敦大学学院人工智能中心);University of the Basque Country (UPV/EHU)(巴斯克大学 (UPV/EHU))
本研究利用大语言模型的提示可控性,探究LLaMa生成性别特定译文的能力,发现其性能与顶尖多语言NMT系统NLLB相当,且依赖共指消解判定性别,为LLM输出可控性研究提供了案例参考。
2024-04-16 cs.CL
Multilingual Twitter Corpus and Baselines for Evaluating Demographic Bias in Hate Speech Recognition
Adobe Research(奥多比研究院)
现有的文献分类模型的公平性评价研究主要是使用合成的单语数据,没有地面真理的作者人口统计属性。在这项工作中,我们组装并发布了一个多语言的Twitter语料库的仇恨言论检测的任务推断四个作者的人口统计因素:年龄,国家,性别和种族/民族。语料库涵盖五种语言:英语、意大利语、波兰语、葡萄牙语和西班牙语。我们使用众包平台评估推断的人口统计标签,图8。为了检验可能导致偏见的因素,我们对英语语料库进行了人口预测性的实证分析。我们测量四个流行的文档分类器的性能,并评估的公平性和偏见的基线分类器上的作者级的人口统计属性。
2020-03-03 cs.CL
The Gender-GAP Pipeline: A Gender-Aware Polyglot Pipeline for Gender Characterisation in 55 Languages
Meta AI
本文提出Gender-GAP流水线,利用多语言性别化人称名词词典自动量化55种语言文本中的性别表征,并应用于WMT数据,揭示其男性偏向,建议通过数据增强实现平衡。
2023-08-31 cs.AI cs.CL
Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation
Technische Universität Darmstadt(达姆施塔特工业大学)
我们提出了一个简单而有效的方法来扩展现有的句子嵌入模型到新的语言。这允许从以前的单语模型创建多语言版本。训练基于这样的想法,即翻译的句子应该映射到向量空间中与原始句子相同的位置。我们使用原始的(单语)模型来生成源语言的句子嵌入,然后在翻译的句子上训练一个新的系统来模仿原始模型。与其他训练多语言句子嵌入的方法相比,这种方法有几个优点:很容易将现有的模型与相对较少的样本扩展到新的语言,更容易确保向量空间的期望属性,并且训练的硬件要求较低。我们证明了我们的方法对来自不同语系的50多种语言的有效性。将句子嵌入模型扩展到400多种语言的代码是公开的。
2020-10-05 cs.CL
DINFRA: A One Stop Shop for Computing Multilingual Semantic Relatedness
Insight Centre for Data Analytics(数据 analytics 洞察中心);NUI Galway(爱尔兰国立高威大学);University of Passau(帕绍大学)
这个演示提出了一个基础设施,通过使用三个分布式语义模型(DSM)计算多语言语义相关性和相关性的12种自然语言。我们的演示器- DInfra(分布式基础设施)为研究人员和开发人员提供了一个非常有用的平台,用于处理大规模语料库和进行分布式语义实验。我们在我们的Web服务中集成了多个多语言DSM,因此最终用户可以获得结果,而无需担心构建DSM的复杂性。我们的网络服务允许用户轻松访问具有不同参数的DSM的广泛比较。此外,用户可以使用易于使用的API配置和访问DSM参数。
2018-05-16 cs.CL cs.IR
Measuring Gender Bias in West Slavic Language Models
University of Copenhagen(哥本哈根大学)
本文构建首个捷克语、波兰语和斯洛伐克语的模板数据集,通过毒性和性别化程度量化分析西斯拉夫语言模型中的性别偏见,发现以男性为主体时模型产生更多与暴力、死亡和疾病相关的有害补全。
2023-05-25 cs.CL
Causally Disentangled Contrastive Learning for Multilingual Speaker Embeddings
Informatics Institute, University of Amsterdam(阿姆斯特丹大学信息学院);Department of Computer Science and Technology, SUNY Empire State University(SUNY帝国州大学计算机科学与技术系)
本文研究了多语言说话人嵌入中 demographics 信息的泄露问题,提出因果瓶颈架构和对抗训练策略以减少泄露,发现性别信息强且线性,而年龄和口音则较弱且非线性,对抗训练减少性别泄露但影响其他属性,因果瓶颈虽抑制信息但导致性能下降。
2026-02-01 cs.CL cs.SD eess.AS
Unmasking Contextual Stereotypes: Measuring and Mitigating BERT's Gender Bias
University of Groningen(格罗宁根大学);University of Malta(马耳他大学)
语境化的词嵌入已经取代标准嵌入,成为NLP系统中选择的表征性知识源。由于之前在标准词嵌入中发现了各种偏见,因此评估其替换中编码的偏见也至关重要。关注BERT(Devlin等人,2018),我们通过研究英语和德语中表示性别的目标词与职业名称之间的关联来衡量性别偏见,并将研究结果与现实世界的劳动力统计数据进行比较。我们通过在GAP语料库上微调BERT来减轻偏差(Webster等人,2018),在应用反事实数据替代(CDS)(Maudslay等人,2019年)。我们表明,我们的方法测量偏见是适当的语言,如英语,但不适合语言丰富的形态和性别标记,如德语。我们的研究结果强调了跨语言调查偏见和缓解技术的重要性,特别是考虑到目前对大规模,多语言语言模型的重视。
2020-10-27 cs.CL
Exploring Gender Bias in Large Language Models: An In-depth Dive into the German Language
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限责任公司);Know Center Research GmbH(Know Center研究有限责任公司)
本文通过构建五个德语性别偏见评估数据集并在八个多语言LLM上测试,揭示了德语中男性职业术语歧义和中性名词影响性别感知等独特挑战,强调需要定制化评估框架。
2025-07-22 cs.CL cs.LG
A Multilingual Human Annotated Corpus of Original and Easy-to-Read Texts to Support Access to Democratic Participatory Processes
本文提出一个多语言原始及易读文本标注语料库,用于评估易读语言对民主参与的影响,特别针对西班牙语、加泰罗尼亚语和意大利语,提供高质量的人工标注资源。
2026-03-16 cs.CL
Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words
Beijing Jiaotong University(北京交通大学);Tencent Inc(腾讯公司)
本研究提出基准 AmbGIMT 和基于情感态度得分(EAS)的新评估流程,利用歧义态度词评估二元性别之外的机器翻译性别偏见,发现非二元语境翻译质量较差且偏见明显,提示中加入约束上下文可大幅减少但无法消除偏见。
2024-07-23 cs.CL
Investigating Gender Bias in Turkish Language Models
German Research Center for Artificial Intelligence (DFKI) Berlin, Germany(德国人工智能研究中心(DFKI)柏林)
本研究针对土耳其语这类语法无性别语言的性别偏见研究空白,拓展现有偏见评估框架,设计适配土耳其语境的测试,还评估了族群偏见,分析偏见与模型特征的关联并公开数据集。
2024-04-17 cs.CL
FairLex: A Multilingual Benchmark for Evaluating Fairness in Legal Text Processing
University of Copenhagen(哥本哈根大学);National University of Defense Technology(国防科技大学)
我们提出了一个由四个数据集组成的基准套件,用于评估预训练的语言模型的公平性,以及用于对下游任务进行微调的技术。我们的基准涵盖四个司法管辖区(欧洲理事会、美国、瑞士和中国)、五种语言(英语、德语、法语、意大利语和中文)以及五个属性(性别、年龄、地区、语言和法律领域)的公平性。在我们的实验中,我们使用几种组鲁棒微调技术来评估预训练的语言模型,并表明在许多情况下,表现组差异是充满活力的,而这些技术都不能保证公平性,也不能始终如一地减轻组差异。此外,我们提供了一个定量和定性分析我们的结果,突出了开放的挑战,在法律NLP的鲁棒性方法的发展。
2022-03-14 cs.CL
Beyond Content: How Grammatical Gender Shapes Visual Representation in Text-to-Image Models
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Vector Institute of AI(Vector人工智能研究所);University of Central Florida(中佛罗里达大学);University of British Columbia(不列颠哥伦比亚大学);Emory University(埃默里大学);Invertible AI
研究揭示语法性别对文本到图像模型中视觉表示的显著影响,通过跨语言实验展示不同语法性别对性别表示的系统性影响。
2026-02-01 cs.CL
Gender Bias in Masked Language Models for Multiple Languages
Tokyo Institute of Technology(东京工业大学);CogSmart Co., Ltd.(CogSmart有限公司);University of Liverpool(利物浦大学);Amazon(亚马逊)
通过预测大型语料库上的掩蔽标记来预训练的掩蔽语言模型(Masked Language Models,MLMs)已经成功地用于各种语言的自然语言处理任务。不幸的是,据报告,多层膜也学习有关性别和种族等属性的歧视性偏见。由于大多数研究都集中在英语中的多语言标记语,很少有人研究其他语言中的多语言标记语的偏见。由于费用和征聘注释员的困难,英文以外其他语文的评价数据的人工注释一直具有挑战性。此外,现有的偏见评估方法需要由相同的上下文与属性词(例如,他/她是一名护士)组成的刻板句子对。我们提出了多语言偏差评估(MBE)分数,以评估偏见,在各种语言中使用只有英语属性词表和平行语料库之间的目标语言和英语,而不需要手动注释的数据。我们使用MBE评估了八种语言的MLMs,并确认所有这些语言的MLMs中都编码了与性别相关的偏见。我们手动创建了日语和俄语的性别偏见数据集,以评估MBE的有效性。结果表明,MBE报告的偏见分数显着相关,从上述手动创建的数据集和现有的英语数据集的性别偏见计算。
2022-05-04 cs.CL
Inference of Partial Colexifications from Multilingual Wordlists
University of Passau(帕绍大学);Max Planck Institute for Evolutionary Anthropology(马克斯·普朗克进化人类学研究所)
在过去的几年里,对各个语系,特别是世界各语言中的共词化模式的研究急剧增加。具体而言,计算研究受益于这样一个事实,即共形词化作为一个科学结构是很容易操作的,使学者能够推断出大量的跨语言数据的共形词化模式。然而,到目前为止,专门研究部分共词化的研究很少进行,部分共词化模式不涉及整个单词,而是单词的各个部分。这并不奇怪,因为部分共外化在计算方法中不太容易处理,并且可能容易受到由假阳性匹配引起的各种噪声的影响。为了解决这个问题,本研究提出了处理部分共词化的新方法,通过(1)提出可以表示部分共词化模式的新模型,(2)开发新的有效方法和工作流程,帮助从多语言词表中推断各种类型的部分共词化模式,以及(3)示出了部分共激发的推断图案如何可以被计算分析和交互式可视化。
2023-02-01 cs.CL
Purdah and Patriarchy: Evaluating and Mitigating South Asian Biases in Open-Ended Multilingual LLM Generations
George Mason University(乔治·马歇尔大学)
本研究针对南亚多语种LLM评估中文化交叉偏见被忽略的问题,构建涵盖多维度的文化偏见词典,分析10种南亚语言生成内容中的父权制相关偏见,并验证两种自我去偏见策略的效果,拓展了文化偏见研究的视角与范围。
2026-05-06 cs.CL
Leveraging Large Language Models to Measure Gender Representation Bias in Gendered Language Corpora
ELLIS Alicante, Spain(西班牙阿利坎特ELLIS研究所);University of Alicante, Spain(西班牙阿利坎特大学)
针对性别化语言语料中性别表征偏差研究不足的问题,提出基于大语言模型的人物指代词汇识别分类方法,检测出多语料的男性主导失衡,且发现小规模反向性别偏向训练可缓解该偏差对模型输出的影响。
2025-06-17 cs.CL cs.CY
Quantifying Gender Bias Towards Politicians in Cross-Lingual Language Models
University of Copenhagen(哥本哈根大学);University of Cambridge(剑桥大学);ETH Zürich(苏黎世联邦理工学院)
本文提出一种探测方法,在七种语言和六种架构中量化预训练语言模型对全球25万名政治人物的性别偏见,发现偏见因语言而异,且模型规模增大不显著加剧偏见。
2023-11-09 cs.CL stat.ML
PGST: a Polyglot Gender Style Transfer method
University of Guilan(吉兰大学)
文本风格转换的最新发展使这一领域比以往任何时候都更加突出。将输入的样式转换为另一个样式的任务伴随着大量的挑战(例如,流畅性和内容保存),需要加以照顾。在本研究中,我们介绍了PGST,一种新的多语言文本风格迁移的性别域,由不同的构成要素。与以前的研究相比,它是可行的,适用于多种语言的风格转移方法,通过履行我们的方法的预定义元素。我们已经进行了用于标记替换目的的预训练的词嵌入,用于性别交换目的的基于字符的标记分类器,以及用于提取最流畅组合的束搜索算法。由于在我们的研究中引入了不同的方法,我们确定了一个权衡值,用于评估不同模型在用转移文本伪造我们的性别识别模型方面的成功。为了证明我们的方法的多语言适用性,我们将我们的方法应用于英语和波斯语语料库,并最终分别以45.6%和39.2%击败了我们提出的性别识别模型。虽然这项研究的重点并不限于特定的语言,我们获得的评价结果是非常有竞争力的类比之间的英语国家的最先进的方法。
2021-06-26 cs.CL cs.LG
BiasLab: A Multilingual Dual-Framing Framework for LLM Bias Measurement, Applied to Workplace and HR Contexts
Tsinghua University(清华大学);Federal University of Rio de Janeiro(里约热内卢联邦大学)
研究针对大语言模型在工作场所和人力资源领域的偏差问题,提出BiasLab多语言双框架框架,结合多种方法对十个模型在六个主题上评估,发现模型有一致方向性偏好,为模型偏差测量提供标准化工具助组织审查。
2026-07-14 cs.AI cs.CL