Towards Implicit Bias Detection and Mitigation in Multi-Agent LLM Interactions
University of Michigan(密歇根大学)
该研究针对多智能体大语言模型交互中的隐性性别偏见,构建场景数据集和评估指标,并提出基于上下文示例的自我反思与监督微调两种缓解策略,实验证明二者结合效果最佳。
2024-10-03 cs.CL cs.CY
Producers of Popular Science Web Videos. Between New Professionalism and Old Gender Issues
本文基于对190个YouTube视频的定量分析,概述了与科学传播相关的网络视频制作环境。作者探讨了生产者的主要特征和持续战略,重点放在三个主题:专业精神,生产者的性别和年龄概况,社区建设。在讨论中,作者将定量结果与最近发表的关于科普网络视频制作者的定性研究进行了比较。这种补充方法进一步证明了YouTube上大多数科普传播者的主要特征,它显示了一种新型的专业精神,超越了迄今为止用户生成内容(UGC)和专业生成内容(PGC)之间的区别,提出了性别问题,并质疑YouTube上科学传播者的参与文化。
2019-08-15 cs.CY
Word Embeddings via Causal Inference: Gender Bias Reducing and Semantic Information Preserving
University of Alberta(阿尔伯塔大学);University of Essex(埃塞克斯大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
随着自然语言处理(NLP)在日常生活中的广泛应用,NLP模型中继承的社会偏见变得更加严重和成问题。先前的研究表明,在人类生成的语料库上训练的词嵌入具有强烈的性别偏见,可以在下游任务中产生歧视性结果。以前的去偏见方法主要集中在对偏见进行建模,只隐含地考虑语义信息,而完全忽视了偏见和语义成分之间复杂的潜在因果结构。为了解决这些问题,我们提出了一种新的方法,利用因果推理框架,以有效地消除性别偏见。所提出的方法使我们能够构建和分析复杂的因果机制,促进性别信息流,同时保留词嵌入内的甲骨文语义信息。我们的综合实验表明,该方法在性别去偏见任务中取得了最先进的结果。此外,我们的方法在单词相似性评估和各种外部下游NLP任务中具有更好的性能。
2021-12-09 cs.CL cs.CY
Benchmarking Educational LLMs with Analytics: A Case Study on Gender Bias in Feedback
University College London, UCL Knowledge Lab(伦敦大学学院,UCL知识实验室);Carnegie Mellon University(卡内基梅隆大学)
本文通过600篇真实学生作文,利用嵌入式基准框架检测LLM在形成性反馈中的偏见,发现隐性性别提示比显性提示更易引发语义偏移,揭示了LLM在反馈中持续存在的性别偏见。
2026-04-01 cs.AI cs.CL cs.CY
Computational appraisal of gender representativeness in popular movies
长期以来,大众传媒中的性别表现主要通过定性分析内容来研究。这篇文章说明了如何自动计算方法可以在这种情况下使用,以扩大这样的经验观察,并提高其分辨率和意义。我们专门在30多年的流行电影中应用人脸和性别检测算法,对屏幕上的女性和男性进行大规模评估。除了证实妇女代表性严重不足之外,我们还表现出一种明显的时间趋势,即代表性更加公平。我们进一步对比了我们的研究结果与电影类型,预算和各种观众相关的功能,如电影总量和用户评级。最后,我们提出了一个很好的描述显着的不对称性的mise-en-scène和mise-en-cadre的字符与他们的性别和空间组成的一个给定的框架。
2021-05-12 cs.CY stat.AP
A Comprehensive Study of Implicit and Explicit Biases in Large Language Models
University of California, Davis(加州大学戴维斯分校)
该研究针对大型语言模型(LLMs)中的隐式和显式偏见问题,通过分析StereoSet等基准并提出自动化偏见识别框架,评估了BERT等模型的偏见情况,经提示微调等增强策略使模型在隐式偏见基准上性能提升达20%。
2025-11-18 cs.CY cs.LG
Evaluating Gender Bias in Hindi-English Machine Translation
Manipal Institute of Technology(马尼帕尔理工学院);MAHE(马尼帕尔高等教育学院)
随着语言模型在现实世界中的部署越来越多,解决其输出的公平性问题至关重要。这些语言模型的词嵌入表示通常隐含地绘制不需要的关联,从而在模型内形成社会偏见。像印地语这样的性别语言的性质给量化和减轻偏见带来了另一个问题,因为句子中的单词形式会根据主语的性别发生变化。此外,在印度语的测量和去偏置系统领域也做了一些工作。在我们的工作中,我们试图评估和量化的印地语-英语机器翻译系统中的性别偏见。我们实现了一个修改后的版本,现有的TGBI指标的基础上,印地语的语法考虑。我们还比较和对比了预训练嵌入的多个指标和通过我们的机器翻译模型学习的多个指标的偏差测量。
2021-06-16 cs.AI cs.CL cs.CY
Exploring the Linear Subspace Hypothesis in Gender Bias Mitigation
University of Cambridge(剑桥大学);ETH Zürich(苏黎世联邦理工学院)
本文推广Bolukbasi等人(2016)的线性性别偏见缓解方法至核化非线性版本,并实证验证了偏见子空间确为线性,支持原假设。
2024-05-22 cs.CL cs.CY cs.LG
Measuring Implicit Bias in Explicitly Unbiased Large Language Models
Princeton University(普林斯顿大学)
本研究提出两种基于提示的偏见测量方法(LLM隐式偏见与LLM决策偏见),揭示8个价值对齐模型在21个刻板印象中的隐式偏见,并证明其能更好预测下游决策行为。
2024-05-23 cs.CL cs.CY
Gender Differences in Research Topic and Method Selection in Library and Information Science: Perspectives from Three Top Journals
Department of Information Management, Nanjing University of Science and Technology(南京理工大学信息管理学院)
本研究使用细粒度方法分类系统和基于全文认知的自动分类模型CogFT,分析图书馆与信息科学领域性别对研究方法选择的影响,发现女性更倾向访谈法,男性更倾向理论方法,并提出了促进学术性别包容性的建议。
2026-07-03 cs.CL cs.CY cs.DL
From Perceived Effectiveness to Measured Impact: Identity-Aware Evaluation of Automated Counter-Stereotypes
National Research Council Canada(加拿大国家研究委员会);ifo Institute for Economic Research(ifo经济研究所)
本研究评估两种自动反刻板印象策略对社交媒体用户性别偏见的实际影响,发现实际效果与感知不一致且因身份而异,呼吁动态情境感知的评估与缓解方法。
2025-10-27 cs.CY
Men Are Elected, Women Are Married: Events Gender Bias on Wikipedia
University of Southern California(南加利福尼亚大学);Information Sciences Institute, University of Southern California(南加利福尼亚大学信息科学研究所);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
人类活动可以被视为一系列事件,这对理解社会至关重要。不同人口群体的不成比例的事件分布可以表现和放大社会陈规定型观念,并可能危及某些群体成员追求某些目标的能力。在本文中,我们提出了第一个以事件为中心的研究性别偏见的维基百科语料库。为了便于研究,我们策划了一个职业和个人生活描述的语料库,其中包含来自10,412位名人的7,854个片段。然后,我们用最先进的事件检测模型检测事件,使用策略生成的模板校准结果,并提取与性别有不对称关联的事件。我们的研究发现,维基百科的页面往往会将个人生活事件与女性的专业事件相结合,而不是男性,这需要维基百科社区的意识,以正式制定指导方针,并训练编辑注意贡献者所携带的隐性偏见。我们的工作也奠定了基础,为未来的工作量化和发现事件的偏见在语料库的水平。
2021-06-03 cs.AI cs.CL cs.CY
Quantifying Gender Biases Towards Politicians on Reddit
University of Copenhagen(哥本哈根大学)
本研究通过分析Reddit上千万条政治讨论评论,评估了5种性别偏见,发现公众对女性政治家虽有同等兴趣,但表达方式不如对男性专业尊重,且在极右翼社区中差异最显著。
2025-08-12 cs.CL cs.CY
Investigating Markers and Drivers of Gender Bias in Machine Translations
Edinburgh Napier University(爱丁堡龙比亚大学);School of Computing, Engineering, and Built Environment(计算、工程与建筑环境学院)
本文通过DeepL回译56项软件工程任务,比较五种无性别中间语言并提出新的性别变化度量指标,识别主要动词为偏见驱动因素,验证了回译方法用于分析语言模型性别偏见的有效性与可重复性。
2024-04-02 cs.CL cs.CY cs.SE
What's in a Name? Auditing Large Language Models for Race and Gender Bias
Stanford Law School(斯坦福法学院)
本研究通过审计设计发现GPT-4等大型语言模型在建议中系统性地歧视与少数种族和女性相关的名字,尤其是黑人女性,并指出数值锚点可缓解偏见,强调部署时审计的必要性。
2025-01-24 cs.AI cs.CL cs.CY
Anonymous Expression in an Online Community for Women in China
妇女面临的性别问题从工作场所骚扰到家庭暴力不等。虽然在社交媒体上公开披露这些问题可能很难,但有些人可能倾向于匿名表达自己。我们在中国社交媒体上接触了这样一个匿名的女性社区,通过定性内容分析讨论性别问题。通过观察女性用户提供的匿名体验,并由影响者公开提供,我们确定了20个经常讨论的问题,其中作弊伴侣,控制父母和年龄焦虑占主导地位。研究结果与中国文化和对性别的期望相结合。通过描述中国女性所面临的社会挑战的背景下的结果,并了解这些问题是如何匿名和公开讨论的,我们的目标是激励更多的政策和平台设计,以满足受影响人群的需求。
2022-08-18 cs.CY cs.HC cs.SI
Evaluation of Bias Towards Medical Professionals in Large Language Models
本研究评估GPT-4、Claude-3和Mistral-Large在住院医师选拔中对医疗专业人员的性别和种族偏见,发现所有模型均表现出显著偏见,且选择比例偏离真实人口统计,凸显了LLM在医疗决策中可能加剧不公平的风险。
2024-06-30 cs.AI cs.CY
Interventions for Ranking in the Presence of Implicit Bias
Yale University(耶鲁大学);Indian Institute of Technology, Kanpur(坎pur印度理工学院)
内隐偏见是将特定品质(或缺乏)无意识地归因于来自特定社会群体的成员(例如,按性别或种族划分)。对内隐偏见的研究表明,这些无意识的刻板印象在各种社会背景下都会产生不良后果,例如工作筛选,教学或警务。最近,(Kleinberg和Raghavan,2018)考虑了隐式偏差的数学模型,并证明了鲁尼规则作为约束的有效性,以提高子集选择问题某些情况下结果的效用。在这里,我们研究的问题,设计干预措施的泛化子集选择-排名-需要输出一个有序的集合,是一个中央原语在各种社会和计算环境。我们提出了一系列简单且可解释的约束条件,并表明它们可以最佳地减轻隐式偏差,以推广(Kleinberg和Raghavan,2018)中研究的模型。随后,我们证明,在自然分布的假设下,项目的效用,简单的,鲁尼规则一样,约束也可以令人惊讶地恢复几乎所有的效用损失,由于隐含的偏见。最后,我们用来自IIT-JEE(2009)数据集和Semantic Scholar Research语料库的真实世界分布的经验发现来增强我们的理论结果。
2020-01-23 cs.AI cs.CY cs.DS
Dual-Metric Evaluation of Social Bias in Large Language Models: Evidence from an Underrepresented Nepali Cultural Context
Center for Artificial Intelligence Research Nepal(尼泊尔人工智能研究中心)
本研究通过双指标评估框架,分析了大语言模型在尼泊尔文化背景下对性别、种族和社会文化刻板印象的偏见,揭示了显性一致性偏见与隐性生成偏见的关系及影响因素。
2026-03-08 cs.AI cs.CL cs.CY
Selection in the Presence of Implicit Bias: The Advantage of Intersectional Constraints
Yale University(耶鲁大学);CNRS(法国国家科学研究中心)
在招聘、晋升和大学录取等选拔过程中,对候选人的种族、性别或性取向等社会显著属性的隐性偏见会产生持续的不平等,降低决策者的总体效用。干预措施,如鲁尼规则及其推广,这要求决策者选择至少指定数量的个人从每个受影响的群体,已被提出,以减轻在选择隐式偏见的不利影响。最近的工作已经确定,这样的下限约束可以非常有效地提高总效用的情况下,每个人属于最多一个受影响的群体。然而,在一些情况下,个人可能属于多个受影响的群体,因此,由于这种交叉性,面临更极端的隐性偏见。我们考虑独立绘制的效用,并表明,在交叉的情况下,上述非交叉约束只能恢复部分的总效用实现在没有隐含的偏见。另一方面,我们表明,如果一个包括适当的下限约束的交叉点,几乎所有的实用程序实现的情况下,隐式偏差可以恢复。因此,在减少不平等方面,交叉约束可以提供比逐维简化的非交叉方法更大的优势。
2022-06-07 cs.AI cs.CY cs.LG
MALIBU Benchmark: Multi-Agent LLM Implicit Bias Uncovered
Algoverse AI Research(Algoverse AI研究院)
本文提出MALIBU基准,通过两阶段多智能体评判评估LLM多智能体系统中的隐性社会偏见,发现偏见缓解可能偏向边缘化群体而非真正中立,强调需要更精细的公平策略。
2025-04-10 cs.CL cs.CY
Justice in Judgment: Unveiling (Hidden) Bias in LLM-assisted Peer Reviews
CISPA Helmholtz Center for Information Security(CISPA 欧洲信息安全研究中心);Saarland University(萨尔兰大学)
本文研究LLM生成的同行评审中的偏见,通过操控作者元数据发现机构偏见、资历偏好和性别影响,揭示隐性偏见在软评分中的显现。
2026-04-28 cs.AI cs.CY
Uncovering Bias in Foundation Models: Impact, Testing, Harm, and Mitigation
Nankai University(南开大学);University of Oulu(奥卢大学);National University of Defense Technology(国防科技大学)
本研究提出TriProTesting测试方法和AdaLogAdjustment后处理技术,揭示并缓解CLIP等基础模型在性别、种族等属性上的显性和混合偏见,无需重训练即可显著提升公平性。
2025-01-14 cs.AI cs.CY cs.LG
VEAT Quantifies Implicit Associations in Text-to-Video Generator Sora and Reveals Challenges in Bias Mitigation
University of Washington(华盛顿大学)
VEAT量化Sora视频生成器中隐含的种族和性别关联,揭示去偏提示可能反噬的问题,强调T2V生成器需严格评估以避免代表性伤害。
2026-01-02 cs.AI cs.CY
Silenced voices: social media polarization and women's marginalization in peacebuilding during the Northern Ethiopia War
Bahir Dar University(巴希尔达尔大学);Hub of Computing and Data Science, University of Hamburg(汉堡大学计算与数据科学中心)
本研究以北埃塞俄比亚战争为例,揭示社交媒体武器化加剧极化与暴力并使女性在和平建设中边缘化,进而提出媒介素养、包容性框架和性别敏感技术等数字和平建设建议。
2025-09-18 cs.CY cs.SI