Who Are You Behind the Screen? Implicit MBTI and Gender Detection Using Artificial Intelligence
Sharif University of Technology(谢里夫理工大学)
本文利用 Telegram 对话数据微调 RoBERTa,从语言模式隐式识别 MBTI 与性别,人格分类准确率达 86.16%,性别分类达 74.4%。
2025-03-14 cs.AI cs.CL
Unsupervised Adversarial Domain Adaptation for Implicit Discourse Relation Classification
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
隐性话语关系比显性话语关系更难分类,也更难诠释。我们解决了缺乏隐式关系训练数据的情况,并从显式关系中利用领域自适应(Ji et al.,2015年)。我们提出了一个无监督的对抗域自适应网络,配备了重建组件。我们的系统优于以前的作品和其他对抗基准的无监督领域自适应。此外,我们扩展我们的系统,以利用标记的数据,如果有的话。
2020-04-15 cs.CL
'Since Lawyers are Males..': Examining Implicit Gender Bias in Hindi Language Generation by LLMs
Indraprastha Institute of Information Technology(英德拉普拉斯塔信息技术学院);Graphic Era University(图形时代大学);Jadavpur University(贾达普大学);Cornell Tech(康奈尔理工学院)
本研究探讨了 LLM 在印地语文本生成中的隐性性别偏见,开发了受 WinoBias 启发的印地语数据集测试 GPT-4o 和 Claude-3 sonnet,发现印地语性别偏见高达 87.8%,远超英语的 33.4%,揭示了跨语言偏见差异及应对考量。
2024-09-20 cs.AI cs.CL cs.HC
Transcending the "Male Code": Implicit Masculine Biases in NLP Contexts
Tokyo Institute of Technology(东京工业大学);University of Waterloo(滑铁卢大学);The University of Tokyo(东京大学)
本文考察两个NLP数据集,揭示性别化语言中普遍存在且随语境变化的隐性男性偏见,并发布AVA词典以刻画虚拟助手语言中的性别化模糊关联。
2023-04-22 cs.CL cs.CY cs.HC
Neural Machine Translation Doesn't Translate Gender Coreference Right Unless You Make It
University of Cambridge(剑桥大学)
神经机器翻译(NMT)已经被证明与依赖于人类指代物的性别的语法性别作斗争,这可能导致性别偏见效应。针对这一问题,现有的许多方法试图通过在源句中显式或隐式地添加性别特征来控制目标语言中的性别屈折变化,通常是在句子层面上。在本文中,我们提出了将显式的词级性别变化标签到NMT的计划。我们探索这种性别变化控制的翻译时,性别特征可以从人类参考确定的潜力,或者当一个测试句子可以自动性别标记,评估英语到西班牙语和英语到德语的翻译。我们发现,简单的现有方法可以过度概括的性别功能,在一个句子中的多个实体,并建议有效的替代品的形式标记的共指适应数据。我们还提出了一个扩展,以评估翻译的性别中立的实体从英语给出了相应的语言公约,如非二进制的拐点,在目标语言。
2020-12-10 cs.CL
Gender Biases Unexpectedly Fluctuate in the Pre-training Stage of Masked Language Models
University of Chicago(芝加哥大学)
掩蔽的语言模型在预训练期间会出现性别偏见。这种偏差通常归因于某种模型架构及其预训练语料库,并隐含假设预训练过程中的其他变化,例如随机种子或停止点的选择,对测量的偏差没有影响。然而,我们发现,严重的波动存在于个别模板的基本水平,使假设无效。与人类如何获得偏见的直觉相反,这些波动与预测代词的确定性或预训练语料库中的专业频率无关。我们发布我们的代码和数据,以利于未来的研究。
2022-11-26 cs.CL
Theories of "Gender" in NLP Bias Research
Umeå University(于默奥大学);Uppsala University(乌普萨拉大学)
人们对自然语言处理(NLP)技术包含和延续社会偏见的担忧日益增加,导致了一个丰富且快速增长的研究领域。性别偏见是正在分析的中心偏见之一,但迄今为止,还没有全面分析“性别”在该领域的理论化。我们调查了近200篇关于NLP中性别偏见的文章,以发现该领域如何明确地(例如通过术语的定义)和隐含地(例如通过性别如何在实践中运作)将性别概念化。为了更好地了解新兴的思想轨迹,我们将这些文章按时间分为两个部分。我们发现,大多数的文章并没有使他们的性别理论明确,即使他们明确定义了“偏见”。几乎没有人使用交叉或包含非二元性别的性别模型;许多人将性别特征,社会性别和语言性别混为一谈,无视跨性别,非二元和双性人的存在和经验。在承认性别是一个复杂现实的声明中,这两个时间段之间的声明有所增加,但是,很少有文章能够将这种承认付诸实践。除了分析这些发现,我们提供了具体的建议,以促进跨学科的工作,并纳入性别研究的理论和方法。我们希望这将在NLP中产生更具包容性的性别偏见研究。
2022-05-05 cs.CL
Unsupervised Concept Vector Extraction for Bias Control in LLMs
Department of Computer Science University of Virginia(计算机科学系 首都维吉尼亚大学)
本文提出一种无监督概念向量提取方法,通过概率加权和投影控制来测量并操控大语言模型中的性别偏见,并验证其可泛化至种族偏见。
2025-09-18 cs.CL cs.CY
Gender Disambiguation in Machine Translation: Diagnostic Evaluation in Decoder-Only Architectures
Research Center for Cognitive Science and Artificial Intelligence(认知科学与人工智能研究中心);Tilburg School of Humanities and Digital Sciences(蒂尔堡人文与数字科学学院);Tilburg University(蒂尔堡大学)
本文针对机器翻译中性别偏见问题,提出新的评估框架,揭示解码器-only模型在性别特定指标上的表现及后训练对偏见的缓解作用。
2026-03-18 cs.CL
Evaluating Bias in LLMs for Job-Resume Matching: Gender, Race, and Education
Megagon Labs(美嘉岗实验室)
本研究评估大语言模型在职位-简历匹配中的公平性,发现近期模型虽减少性别和种族偏见,但教育背景的隐性偏见仍显著,需持续评估和开发缓解策略。
2025-03-24 cs.CL
Gender Bias in Text: Labeled Datasets and Lexicons
American University of Beirut(贝鲁特美国大学);Beirut, Lebanon(黎巴嫩贝鲁特)
语言对我们的思想、观念和性别角色的概念有着深远的影响。因此,性别包容性语言是促进社会包容和促进实现性别平等的一个关键工具。因此,发现和减轻文本中的性别偏见有助于阻止其传播和社会影响。然而,缺乏性别偏见数据集和词典,用于使用监督和无监督机器学习(ML)和自然语言处理(NLP)技术自动检测性别偏见。因此,这项工作的主要贡献是公开提供标记的数据集和详尽的词汇,通过收集,注释和增强相关的句子,以促进检测英语文本中的性别偏见。为此,我们提出了一个更新的版本,我们以前提出的分类重新形式化的结构,增加了一个新的偏见类型,并映射到一个适当的检测方法,每个偏见亚型。发布的数据集和词典跨越多个偏见子类型,包括:通用他,通用她,性别的显式标记和性别新词。我们利用词嵌入模型来进一步扩充收集的词典。
2023-02-23 cs.AI cs.CL
A Multi-Discriminator CycleGAN for Unsupervised Non-Parallel Speech Domain Adaptation
Salesforce Research(赛富时研究院)
领域自适应对于语音识别模型起着重要的作用,特别是对于具有低资源的领域。提出了一种新的基于循环一致生成对抗网络(CycleGAN)的无监督非并行语音领域自适应生成模型。该模型在功率谱图上采用多个独立的鉴别器,每个鉴别器负责不同的频带。因此,我们有1)更好的鉴别器,专注于频率特征的细粒度细节,以及2)能够生成更真实的域适应谱图的生成器。我们证明了我们的方法对性别适应的语音识别的有效性,其中模型在训练期间只能访问来自一种性别的监督数据,但在测试时对另一种性别进行评估。我们的模型是能够实现的平均$7.41\%$音素错误率,和$11.10\%$字出错率相对性能改善相比,基线,TIMIT和华尔街日报数据集,分别。从质量上讲,我们的模型在以其他领域的数据为条件时,也会生成更自然的语音。
2018-07-09 cs.CL cs.LG
ImplicitBBQ: Benchmarking Implicit Bias in Large Language Models through Characteristic Based Cues
International Institute of Information Technology, Hyderabad(国际信息技术学院海得拉巴);Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校)
本文提出ImplicitBBQ基准测试,通过基于特征的提示评估大语言模型中的隐性偏见,发现隐性偏见在模糊情境中比显性偏见高六倍,现有方法难以有效缓解。
2026-07-24 cs.AI cs.CL
Who Gets the Mic? Investigating Gender Bias in the Speaker Assignment of a Speech-LLM
Department of Linguistics(语言学系);Department of Speech, Music, and Hearing(语音、音乐与听觉系)
本研究通过分析语音大语言模型Bark的说话人分配来探究性别偏见,构建职业和性别色彩词语两个数据集,发现Bark虽无系统性偏见但具有性别意识和一定倾向。
2025-08-19 cs.AI cs.CL
The Root Shapes the Fruit: On the Persistence of Gender-Exclusive Harms in Aligned Language Models
FAIR, Meta(FAIR与Meta);Meta United States(Meta美国分公司);Meta France(Meta法国分公司);Gen AI, Meta(Meta生成式人工智能部门);UCLA United States(加州大学洛杉矶分校)
本文研究对齐是否延续基础模型的性别多元偏见,评估16个DPO阶段模型,发现SFT会放大污名化和不肯定性别语言,并提出隐式奖励偏见测量框架。
2025-05-12 cs.CL
Towards Implicit Bias Detection and Mitigation in Multi-Agent LLM Interactions
University of Michigan(密歇根大学)
该研究针对多智能体大语言模型交互中的隐性性别偏见,构建场景数据集和评估指标,并提出基于上下文示例的自我反思与监督微调两种缓解策略,实验证明二者结合效果最佳。
2024-10-03 cs.CL cs.CY
Measuring Gender Bias in Word Embeddings of Gendered Languages Requires Disentangling Grammatical Gender Signals
George Washington University(乔治华盛顿大学);University of Washington(华盛顿大学)
当衡量一种语言的词嵌入所捕获的语义性别信息时,语言的语法性别是否会产生干扰?一些在性别语言嵌入中的异常性别偏见测量表明了这种可能性。我们证明,词嵌入学习语法性别的语言,这可能会扭曲社会性别偏见的测量名词和它的语法性别之间的关联。因此,词嵌入后处理方法被引入到量化,解开,和评估语法性别信号。该评估是在印欧语系的日耳曼语、罗曼语和斯拉夫语分支的五种性别语言上进行的。我们的方法降低了语法性别信号的强度,这是衡量的效果大小(科恩的d),由一个显着的平均值d = 1.3为法语,德语和意大利语,和d = 0.56为波兰语和西班牙语。一旦语法性别被解开,超过90%的10,000无生命名词和他们的语法性别之间的关联减弱,跨语言的偏见结果从词嵌入协会测试(WEAT)变得更加符合国家级的内隐偏见测量。结果进一步表明,从词嵌入中解开语法性别信号可能会导致语义机器学习任务的改进。
2022-06-03 cs.AI cs.CL cs.CY
A General Framework for Implicit and Explicit Debiasing of Distributional Word Vector Spaces
University of Mannheim(曼海姆大学);University of Cambridge(剑桥大学)
最近的研究表明,分布词向量编码了许多人类偏见,最明显的是性别和种族偏见,因此提出了减弱这种偏见的模型。然而,现有的模型和研究(1)在规定不足和相互不同的偏倚定义上操作,(2)针对特定偏倚(例如,性别偏见)和(3)的评价不一致和不严格。在这项工作中,我们介绍了一个通用的框架去偏置词嵌入。我们通过辨别两种类型的偏见规范:明确的和隐含的偏见的定义操作。然后,我们提出了三个去偏置模型,操作显式或隐式偏置规范,可以组成更强大的去偏置。最后,我们设计了一个成熟的评估框架,在其中我们耦合现有的偏见指标与新提出的。三种嵌入方法的实验结果表明,所提出的去偏置模型是鲁棒的和广泛适用的:它们通常完全消除隐式和显式的偏见,而不会降低任何输入分布空间中编码的语义信息。此外,我们成功地转移去偏置模型,通过跨语言的嵌入空间,并删除或减弱偏见的语言,缺乏现成的偏见规范的分布词向量空间。
2020-01-03 cs.AI cs.CL
Word Embeddings via Causal Inference: Gender Bias Reducing and Semantic Information Preserving
University of Alberta(阿尔伯塔大学);University of Essex(埃塞克斯大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
随着自然语言处理(NLP)在日常生活中的广泛应用,NLP模型中继承的社会偏见变得更加严重和成问题。先前的研究表明,在人类生成的语料库上训练的词嵌入具有强烈的性别偏见,可以在下游任务中产生歧视性结果。以前的去偏见方法主要集中在对偏见进行建模,只隐含地考虑语义信息,而完全忽视了偏见和语义成分之间复杂的潜在因果结构。为了解决这些问题,我们提出了一种新的方法,利用因果推理框架,以有效地消除性别偏见。所提出的方法使我们能够构建和分析复杂的因果机制,促进性别信息流,同时保留词嵌入内的甲骨文语义信息。我们的综合实验表明,该方法在性别去偏见任务中取得了最先进的结果。此外,我们的方法在单词相似性评估和各种外部下游NLP任务中具有更好的性能。
2021-12-09 cs.CL cs.CY
Unsupervised Commonsense Question Answering with Self-Talk
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院)
自然语言理解包括用隐含的背景知识来解读字里行间的意思。当前的系统要么依赖于预先训练的语言模型作为世界知识的唯一隐式来源,要么求助于外部知识库(KB)来合并额外的相关知识。我们提出了一个基于自我对话的无监督框架,作为多项选择常识任务的新替代方案。受基于探究的发现学习(Bruner,1961)的启发,我们的方法用一些信息寻求问题(如“$\textit{what is the definition of ...}$“)来查询语言模型,以发现额外的背景知识。实证结果表明,自我对话过程大大提高了性能的zero-shot语言模型基线上的四个常识基准,并与模型,从外部知识库获取知识。虽然我们的方法在几个基准测试中提高了性能,但即使在导致正确答案的情况下,自我对话诱导的知识也并不总是被人类判断者视为有用的,这就提出了关于常识推理的预训练语言模型的内部工作原理的有趣问题。
2020-09-15 cs.CL
A Close Reading Approach to Gender Narrative Biases in AI-Generated Stories
Sapienza University of Rome(罗马萨皮恩扎大学);Link University of Rome(罗马链接大学)
本文采用细读方法,基于Propp角色分类和Freytag叙事结构设计提示词,分析ChatGPT、Gemini和Claude生成故事中的性别叙事偏见,揭示了隐性偏见的持续存在并强调多层面评估的重要性。
2025-08-13 cs.AI cs.CL cs.CY
Measuring Implicit Bias in Explicitly Unbiased Large Language Models
Princeton University(普林斯顿大学)
本研究提出两种基于提示的偏见测量方法(LLM隐式偏见与LLM决策偏见),揭示8个价值对齐模型在21个刻板印象中的隐式偏见,并证明其能更好预测下游决策行为。
2024-05-23 cs.CL cs.CY
Benchmarking Educational LLMs with Analytics: A Case Study on Gender Bias in Feedback
University College London, UCL Knowledge Lab(伦敦大学学院,UCL知识实验室);Carnegie Mellon University(卡内基梅隆大学)
本文通过600篇真实学生作文,利用嵌入式基准框架检测LLM在形成性反馈中的偏见,发现隐性性别提示比显性提示更易引发语义偏移,揭示了LLM在反馈中持续存在的性别偏见。
2026-04-01 cs.AI cs.CL cs.CY
Investigating Gender Bias in LLM-Generated Stories via Psychological Stereotypes
Johannes Kepler University (JKU)(约翰内斯·开普勒大学);Linz Institute of Technology (LIT)(林茨技术研究所);University of Innsbruck(因斯布鲁克大学)
本研究通过心理刻板印象在叙事生成中探究大语言模型的性别偏见,提出StereoBias-Stories数据集,发现属性条件化可缓解偏见,组合属性加剧或缓解偏见,且模型偏见与心理真实情况一致。
2025-08-05 cs.AI cs.CL
Evaluating Gender Bias in Large Language Models via Chain-of-Thought Prompting
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Tokyo Institute of Technology(东京工业大学);University of Liverpool(利物浦大学);Amazon(亚马逊)
本研究针对不可扩展任务中CoT提示对大语言模型性别偏见的影响展开探究,构建了兼具算术与符号推理特征的词汇计数基准,发现CoT提示可减轻大语言模型的无意识社会偏见,促进公平预测。
2024-01-28 cs.CL
Exploring the Linear Subspace Hypothesis in Gender Bias Mitigation
University of Cambridge(剑桥大学);ETH Zürich(苏黎世联邦理工学院)
本文推广Bolukbasi等人(2016)的线性性别偏见缓解方法至核化非线性版本,并实证验证了偏见子空间确为线性,支持原假设。
2024-05-22 cs.CL cs.CY cs.LG
Evaluating Gender Bias in Hindi-English Machine Translation
Manipal Institute of Technology(马尼帕尔理工学院);MAHE(马尼帕尔高等教育学院)
随着语言模型在现实世界中的部署越来越多,解决其输出的公平性问题至关重要。这些语言模型的词嵌入表示通常隐含地绘制不需要的关联,从而在模型内形成社会偏见。像印地语这样的性别语言的性质给量化和减轻偏见带来了另一个问题,因为句子中的单词形式会根据主语的性别发生变化。此外,在印度语的测量和去偏置系统领域也做了一些工作。在我们的工作中,我们试图评估和量化的印地语-英语机器翻译系统中的性别偏见。我们实现了一个修改后的版本,现有的TGBI指标的基础上,印地语的语法考虑。我们还比较和对比了预训练嵌入的多个指标和通过我们的机器翻译模型学习的多个指标的偏差测量。
2021-06-16 cs.AI cs.CL cs.CY
"The Dentist is an involved parent, the bartender is not": Revealing Implicit Biases in QA with Implicit BBQ
Georgia Institute of Technology(佐治亚理工学院)
隐性BBQ通过隐性提示揭示问答系统中的隐性偏见,发现GPT-4o在性取向等类别中存在显著性能下降,表明现有LLMs存在未被显性基准检测到的偏见。
2025-12-07 cs.AI cs.CL
Unsupervised Speech Domain Adaptation Based on Disentangled Representation Learning for Robust Speech Recognition
Sogang University(西江大学);Naver Corp.(NAVER公司);Clova AI Research(Clova人工智能研究院)
通常,由于训练环境和测试环境之间的不匹配,自动语音识别(ASR)系统的性能显著降低。最近,提出了一种基于深度学习的图像到图像翻译技术,将图像从源域翻译到所需域,并应用循环一致性对抗网络(CycleGAN)来学习从说话人到目标说话人的语音到语音转换的映射。然而,该方法可能不足以去除用于鲁棒ASR的破坏性噪声分量,因为它被设计为转换语音本身。在本文中,我们提出了一种基于生成对抗网络(GANs)的域自适应方法,具有解纠缠表示学习,以实现ASR系统的鲁棒性。特别是,两个独立的编码器,上下文和域编码器,引入学习不同的潜在变量。潜变量允许我们根据其上下文和域表示来转换语音的域。我们通过应用噪声到清洁环境自适应以实现鲁棒ASR,将CHiME 4挑战语料库的单词准确率提高了6.55~ 15.70%。此外,与基于CycleGAN的方法类似,该方法可用于性别不匹配识别中的性别自适应。
2019-04-12 cs.CL cs.SD eess.AS
Quantifying Gender Biases Towards Politicians on Reddit
University of Copenhagen(哥本哈根大学)
本研究通过分析Reddit上千万条政治讨论评论,评估了5种性别偏见,发现公众对女性政治家虽有同等兴趣,但表达方式不如对男性专业尊重,且在极右翼社区中差异最显著。
2025-08-12 cs.CL cs.CY
Evaluating Bias In Dutch Word Embeddings
Maastricht University(马斯特里赫特大学)
自然语言处理的最新研究表明,词嵌入可以对训练数据中存在的社会偏见进行编码,这可能会影响现实世界应用中的少数群体。本文探讨了荷兰语嵌入隐含的性别偏见,同时调查是否英语为基础的方法也可以在荷兰语中使用。我们实现了词嵌入关联测试(WEAT),聚类和句子嵌入关联测试(SEAT)的方法来量化荷兰语词嵌入中的性别偏见,然后我们继续减少与硬Debias和发送Debias缓解方法的偏见,最后我们评估的下游任务中的debiased嵌入的性能。结果表明,除其他外,性别偏见是存在于传统的和语境化的荷兰语词嵌入。我们强调如何使用的技术来衡量和减少偏见创建英语可以在荷兰嵌入充分翻译的数据,并考虑到语言的独特性。此外,我们分析了去偏置技术对下游任务的影响,这些任务对传统嵌入的影响可以忽略不计,而在上下文化嵌入中,性能下降了2%。最后,我们将翻译后的荷兰语数据集与传统的嵌入一起发布给公众,以减轻偏见。
2020-11-03 cs.CL
Men Are Elected, Women Are Married: Events Gender Bias on Wikipedia
University of Southern California(南加利福尼亚大学);Information Sciences Institute, University of Southern California(南加利福尼亚大学信息科学研究所);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
人类活动可以被视为一系列事件,这对理解社会至关重要。不同人口群体的不成比例的事件分布可以表现和放大社会陈规定型观念,并可能危及某些群体成员追求某些目标的能力。在本文中,我们提出了第一个以事件为中心的研究性别偏见的维基百科语料库。为了便于研究,我们策划了一个职业和个人生活描述的语料库,其中包含来自10,412位名人的7,854个片段。然后,我们用最先进的事件检测模型检测事件,使用策略生成的模板校准结果,并提取与性别有不对称关联的事件。我们的研究发现,维基百科的页面往往会将个人生活事件与女性的专业事件相结合,而不是男性,这需要维基百科社区的意识,以正式制定指导方针,并训练编辑注意贡献者所携带的隐性偏见。我们的工作也奠定了基础,为未来的工作量化和发现事件的偏见在语料库的水平。
2021-06-03 cs.AI cs.CL cs.CY
Cross-Lingual Probing and Community-Grounded Analysis of Gender Bias in Low-Resource Bengali
Department of Computer Science(计算机科学系);AIUB, Dhaka, Bangladesh;Department of Information Technology(信息科技系);Wilmington University, Delaware, USA;WUST, Virginia, USA;Faculty of Information Science(信息科学系);Technology Multimedia University, Melaka, Malaysia(技术多媒体大学, Melaka, Malaysia);Centre for Intelligent Cloud Computing(智能云计算中心)
本研究通过跨语言探测和社区导向分析,揭示了孟加拉语中性别偏见的特征,强调需本地化方法和社区参与以减少偏见。
2026-01-25 cs.AI cs.CL
Unsupervised Low-Dimensional Vector Representations for Words, Phrases and Text that are Transparent, Scalable, and produce Similarity Metrics that are Complementary to Neural Embeddings
University of Illinois College of Medicine(伊利诺伊大学医学院)
神经嵌入是一组流行的方法,用于将单词,短语或文本表示为低维向量(通常为50 - 500维)。然而,很难以有意义的方式解释这些维度,并且创建神经嵌入需要对多个参数和超参数进行广泛的训练和调整。我们在这里提出了一个简单的无监督的方法来表示单词,短语或文本作为一个低维向量,其中的意义和维度的相对重要性是透明的检查。我们已经创建了一个近乎全面的矢量表示的话,并选择二元组,三元组和缩写,使用的标题和摘要集在PubMed作为语料库。这个向量被用来创建几个新的隐式词-词和文本-文本相似性度量。隐式词-词相似性度量与人类对词对相似性和相关性的判断密切相关,并且在各种生物医学基准上优于或等于所有其他报告的方法,包括在PubMed语料库上训练的神经嵌入的几种实现。与基于word2vec的度量相比,我们的隐式词-词度量捕获了词-词相关性的不同方面,并且仅部分相关(rho =~0.5 - 0.8,取决于任务和语料库)。单词、双字母组、三字母组、缩写和PubMed标题+摘要的矢量表示都可以从www.example.com公开获得,并在CC-BY-NC许可下发布。在同一个网站上也提供了几个公共网络查询界面,其中一个允许用户指定一个给定的单词,并根据直接同现以及不同的隐式相似性度量来查看其最密切相关的术语。
2018-01-09 cs.CL cs.IR
PowerTransformer: Unsupervised Controllable Revision for Biased Language Correction
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
无意识的偏见在现代文本和媒体中仍然普遍存在,这就需要算法来帮助作者纠正偏见。例如,一个故事中的女性角色往往被描绘成被动和无能为力的(“她梦想成为一名医生”),而一个男人则被描绘成更主动和强大的(“他追求他的梦想成为一名医生”)。我们制定 * 可控的去偏见 *,一个新的修订任务,旨在重写给定的文本,以纠正隐含的和潜在的不良偏见的人物刻画。然后,我们介绍PowerTransformer作为一种方法,通过内涵框架的镜头来消除文本的偏见(Sap等人,2017年),编码语用知识的隐含权力动态相对于动词谓词。我们的任务的一个关键挑战是缺乏平行语料库。为了应对这一挑战,我们采用了一种无监督的方法,使用辅助监督与相关任务,如基于重建损失的释义和自我监督,建立在预训练的语言模型上。通过基于自动和人工评估的综合实验,我们证明了我们的方法优于消融和相关任务的现有方法。此外,我们展示了使用PowerTransformer作为减轻电影剧本中角色刻画中有据可查的性别偏见的一步。
2020-10-26 cs.AI cs.CL
MALIBU Benchmark: Multi-Agent LLM Implicit Bias Uncovered
Algoverse AI Research(Algoverse AI研究院)
本文提出MALIBU基准,通过两阶段多智能体评判评估LLM多智能体系统中的隐性社会偏见,发现偏见缓解可能偏向边缘化群体而非真正中立,强调需要更精细的公平策略。
2025-04-10 cs.CL cs.CY
Unsupervised Non-transferable Text Classification
Singapore University of Technology and Design(新加坡科技设计大学)
训练一个好的深度学习模型需要大量的数据和计算资源,这使得生成的神经模型成为一个有价值的知识产权。为了防止神经网络被不期望地利用,已经提出了不可转移学习来降低模型在特定目标域中的泛化能力。然而,现有的方法需要标记的目标域的数据,这可能是难以获得的。此外,它们没有机制来恢复模型访问目标域的能力。在本文中,我们提出了一种新的无监督的不可转移的学习方法的文本分类任务,不需要注释的目标域数据。我们进一步介绍了一个秘密密钥组件在我们的方法恢复访问目标域,在那里我们设计了一个显式和隐式的方法这样做。大量的实验证明了我们方法的有效性。
2023-02-19 cs.AI cs.CL
Investigating Markers and Drivers of Gender Bias in Machine Translations
Edinburgh Napier University(爱丁堡龙比亚大学);School of Computing, Engineering, and Built Environment(计算、工程与建筑环境学院)
本文通过DeepL回译56项软件工程任务,比较五种无性别中间语言并提出新的性别变化度量指标,识别主要动词为偏见驱动因素,验证了回译方法用于分析语言模型性别偏见的有效性与可重复性。
2024-04-02 cs.CL cs.CY cs.SE
Dual-Metric Evaluation of Social Bias in Large Language Models: Evidence from an Underrepresented Nepali Cultural Context
Center for Artificial Intelligence Research Nepal(尼泊尔人工智能研究中心)
本研究通过双指标评估框架,分析了大语言模型在尼泊尔文化背景下对性别、种族和社会文化刻板印象的偏见,揭示了显性一致性偏见与隐性生成偏见的关系及影响因素。
2026-03-08 cs.AI cs.CL cs.CY
Evaluating Implicit Biases in LLM Reasoning through Logic Grid Puzzles
Rutgers University(罗格斯大学);Johns Hopkins University(约翰霍普金斯大学)
提出PRIME框架,利用逻辑网格谜题系统探测LLM在复杂推理中受社会刻板印象的影响,发现模型在解与刻板印象一致时推理更准确。
2026-07-02 cs.AI cs.CL cs.CY
Do Bias Benchmarks Generalise? Evidence from Voice-based Evaluation of Gender Bias in SpeechLLMs
Department of Speech, Music and Hearing(语音、音乐与听觉系)
本文通过微调SpeechLLMs测试MCQA偏见基准的推广能力,发现其在不同任务间的泛化效果有限,并提出新的评估方法。
2026-02-01 cs.AI cs.CL cs.SD