BiasJailbreak:Analyzing Ethical Biases and Jailbreak Vulnerabilities in Large Language Models
Theori Inc.(Theori公司)
研究分析了大型语言模型中的伦理偏见和 jailbreak 漏洞,提出 BiasJailbreak 和 BiasDefense 方法以提高模型安全性。
2025-11-25 cs.AI cs.CL cs.LG
PoliTune: Analyzing the Impact of Data Selection and Fine-Tuning on Economic and Political Biases in Large Language Models
Brown University(布朗大学);University of Michigan(密歇根大学)
本研究提出微调方法PoliTune,利用PEFT技术和Llama3-70B进行数据选择与DPO偏好数据集合成,系统探索并评估了数据选择与微调对开源LLMs经济及政治偏见的影响,为AI伦理部署提供参考。
2024-07-27 cs.AI cs.CL cs.LG
Unveiling Gender Bias in Terms of Profession Across LLMs: Analyzing and Addressing Sociological Implications
Indian Institute of Technology Bhilai(印度理工学院比莱分校)
本研究通过对比GPT-2与GPT-3.5,分析大语言模型在职业术语中的性别偏见,揭示其社会学影响,并提出算法与数据增强等缓解策略,旨在推动更公平的AI系统。
2023-08-31 cs.CL
Reproducing, Analyzing, and Detecting Reward Hacking in Rubric-Based Reinforcement Learning
Tsinghua University(清华大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Xi’an Jiaotong University(西安交通大学)
本文提出可控黑客环境CHERRL,通过注入已知偏见复现奖励黑客行为,分析其可发现性与可利用性,并探索基于智能体的自动检测方法。
2026-09-30 cs.AI cs.CL cs.LG
Format as a Prior: Quantifying and Analyzing Bias in LLMs for Heterogeneous Data
本文通过三阶段分析,揭示了LLM在处理异构数据时的格式偏见问题,提出通过数据预处理、推理干预和平衡训练语料库来减少偏见的方法。
2026-01-13 cs.CL cs.LG
The Bias is in the Details: An Assessment of Cognitive Bias in LLMs
Department of Psychology(心理学系);University of Central Florida, USA(佛罗里达中央大学)
本文构建多选评估框架与220个场景,评测45个LLM的八类认知偏差,发现模型规模和提示细节会显著影响偏差表现。
2025-09-26 cs.CL
Small Changes, Large Consequences: Analyzing the Allocational Fairness of LLMs in Hiring Contexts
UC Irvine(uci)
本研究针对招聘场景下大语言模型的分配公平性问题,通过简历摘要和求职者排名任务,结合带扰动的合成简历数据集实验,发现模型存在人口群体相关偏见,且检索阶段的偏见问题尤为突出。
2025-09-04 cs.CL
Analyzing LLM Reasoning to Uncover Mental Health Stigma
BetterHelp
本文通过分析LLM推理过程,揭示隐藏的污名化语言及内部逻辑,利用临床专业知识分类污名化模式,并扩展心理健康污名基准以识别模型逻辑缺陷。
2026-09-11 cs.AI cs.CL
Analyzing Diversity in Healthcare LLM Research: A Scientometric Perspective
Massachusetts Institute of Technology(麻省理工学院);Universidad del Cauca(考卡大学);University of Michigan(密歇根大学);Universidad de Chile(智利大学);Universidad de Concepción(康塞普西翁大学);Beth Israel Deaconess Medical Center(贝斯以色列女执事医疗中心);Mass General Brigham, Harvard Medical School(麻省总医院布里格姆医疗系统,哈佛医学院)
本文通过科学计量分析2021至2024年医疗大语言模型研究,揭示性别与地域代表性失衡,并提出基于基尼多样性的期刊多样性指数及改进策略,以促进医疗AI公平性。
2024-09-02 cs.CL
Analyzing Sentiment Polarity Reduction in News Presentation through Contextual Perturbation and Large Language Models
IIT Kharagpur(印度理工学院卡哈拉格普尔分校)
本文提出通过对抗攻击式扰动和基于ChatGPT的提示方法,结合束搜索算法降低新闻文本情感极性,实验证明该方法在保持文本质量的同时有效减少情感偏见,促进客观报道。
2024-02-03 cs.CL
Analyzing Political Bias in LLMs via Target-Oriented Sentiment Classification
Université Paris-Saclay, CEA, List(巴黎-萨克雷大学、欧洲原子能机构、List)
本研究提出基于熵不一致性指标的新方法,通过1319个政治人物姓名和450个政治句子在七模型六语言中分析LLM政治偏见,发现偏见普遍存在且与政治立场相关,更大模型偏见更强,并用虚构姓名部分缓解不可靠性。
2025-05-26 cs.AI cs.CL
Social Bias Evaluation for Large Language Models Requires Prompt Variations
Tokyo Institute of Technology(东京工业大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);National Institute of Informatics(情报信息学研究所)
本文研究大语言模型社会偏见评估对提示变体的敏感性,发现提示变化会导致模型排名波动并揭示性能与偏见之间的权衡,建议使用多样化提示进行评估。
2024-07-03 cs.CL
Assessing Bias in Metric Models for LLM Open-Ended Generation Bias Benchmarks
Holistic AI(霍利斯提克人工智能公司);Stanford University(斯坦福大学);University College London(伦敦大学学院)
本研究通过两项实验(反事实与SHAP)评估开放式生成偏见基准中度量模型的偏见,发现对人口统计描述符处理不平等,需更稳健的度量模型。
2024-10-14 cs.AI cs.CL
Musical ethnocentrism in Large Language Models
Munich University of Applied Sciences(慕尼黑应用科学大学)
本文分析了大型语言模型中的音乐种族中心主义偏见,通过让ChatGPT和Mixtral生成“前100名”音乐贡献者名单及对不同国家音乐文化进行评分,发现模型对西方音乐文化存在强烈偏好。
2025-02-03 cs.AI cs.CL cs.SD
Towards Safer Pretraining: Analyzing and Filtering Harmful Content in Webscale datasets for Responsible LLMs
Microsoft(微软)
本文分析了网络规模预训练数据集中的有害内容,提出有害网页分类体系,并构建了高精度过滤模型HarmFormer与毒性基准HAVOC,为构建负责任的LLM提供安全保障与合规资源。
2025-08-12 cs.CL cs.LG
Analyzing the Safety of Japanese Large Language Models in Stereotype-Triggering Prompts
Graduate School of Science and Technology, University of Tsukuba(筑波大学科学技术研究科);Institute of Systems and Information Engineering, University of Tsukuba(筑波大学系统与信息工程学院);Department of Electronics, Information and Bioengineering, Politecnico di Milano(米兰理工大学电子、信息与生物工程系)
本研究构建了3,612个刻板印象触发提示,对比分析日语、英语和中文基础模型在直接评估下的安全性,发现日语原生模型LLM-jp拒绝率最低且更易生成有毒响应,揭示了日语LLM伦理安全机制的不足。
2025-03-05 cs.CL cs.CY
"Kelly is a Warm Person, Joseph is a Role Model": Gender Biases in LLM-Generated Reference Letters
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University Of Southern California(南加利福尼亚大学);Adobe Research(奥多比研究院)
本文通过语言风格、词汇内容及幻觉偏见三个维度评估ChatGPT和Alpaca生成的推荐信,揭示其中存在显著性别偏见,警示未经审查使用此类模型可能损害女性申请者,并强调研究大语言模型职业文书中隐藏偏见的重要性。
2023-12-01 cs.AI cs.CL
Are Large Language Models Really Bias-Free? Jailbreak Prompts for Assessing Adversarial Robustness to Bias Elicitation
University of Calabria(卡拉布里亚大学)
本研究探究最新大型语言模型(LLMs)中的固有偏见,测试其对偏见诱导越狱提示的对抗性鲁棒性,通过实验证实LLMs仍可被操纵生成偏见响应,强调需增强缓解技术以提升AI公平性与可靠性。
2025-02-13 cs.AI cs.CL
Unequal Representations: Analyzing Intersectional Biases in Word Embeddings Using Representational Similarity Analysis
Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一种新的方法来检测人类一样的社会偏见,在词嵌入使用代表性相似性分析。具体来说,我们探讨语境化和非语境化嵌入的证据交叉偏见对黑人妇女。我们发现,这些嵌入代表黑人女性同时比白人女性女性少,黑人比黑人男性少。这一发现与交叉性理论相一致,该理论认为,多重身份类别(如种族或性别)相互叠加,以创造出任何单个类别都不共享的独特歧视模式。
2020-11-24 cs.CL
Attributing Culture-Conditioned Generations to Pretraining Corpora
University of Southern California(南加州大学);IIIT Delhi(德里印度理工学院)
研究通过分析预训练数据模式,探讨预训练如何导致文化条件化生成的偏差,提出MEMOed框架以识别记忆化生成,并发现高频文化生成更多记忆符号,而低频文化则无生成。
2025-03-19 cs.AI cs.CL
MindShift: Analyzing Language Models' Reactions to Psychological Prompts
FusionBrain Lab(融合大脑实验室);Applied AI Institute(应用人工智能研究院);Innopolis University(因诺普里斯大学)
MindShift通过评估语言模型对心理提示的反应,揭示了模型在心理适应性和人格模拟方面的性能差异。
2025-12-18 cs.AI cs.CL
White Men Lead, Black Women Help? Benchmarking and Mitigating Language Agency Social Biases in LLMs
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出LABE基准评估LLM在文本生成中的语言能动性社会偏见,并发现其性别与交叉偏见严重且提示缓解不稳定,进而提出MSR策略通过能动性分类器选择性改写文本以更有效可靠地缓解偏见。
2025-05-30 cs.AI cs.CL cs.CY
Towards detecting unanticipated bias in Large Language Models
Munich University of Applied Sciences(慕尼黑应用科学大学)
针对大型语言模型中研究不足的隐性、未预见偏见,本文提出结合不确定性量化与可解释 AI 方法,评估决策确定性并揭示内部过程,以提升偏见检测能力与 AI 公平性、透明度。
2024-04-03 cs.AI cs.CL cs.LG
To Know or Not To Know? Analyzing Self-Consistency of Large Language Models under Ambiguity
LMU Munich(慕尼黑大学);Faculty of Philological and Cultural Studies, University of Vienna(维也纳大学语言与文化学院);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);UniVie Doctoral School Computer Science(维也纳大学计算机博士学院)
本文针对大语言模型在实体类型歧义下的自洽性问题,提出区分知识掌握与知识应用的评估协议,在49个歧义实体上测试并揭示LLMs准确率有限且存在系统性不一致,强调需解决实体歧义以提升模型可信度。
2024-10-04 cs.CL cs.LG
Mitigating Bias in Queer Representation within Large Language Models: A Collaborative Agent Approach
App-In Club(App-In俱乐部)
针对 LLM 在性别代词使用中排斥酷儿身份的问题,本文提出含偏见检测与纠正专用智能体的协作流水线,并在 Tango 上证明其相较 GPT-4o 显著提升包容性代词判断。
2024-12-02 cs.CL cs.MA
Analyzing Cognitive Differences Among Large Language Models through the Lens of Social Worldview
Wangxuan Institute of Computer Technology, Peking University(北京大学计算机技术研究院);Information Management Department, Peking University(北京大学信息管理系);Renmin University of China(中国人民大学)
本研究通过社会世界观分类法分析大型语言模型的认知差异,揭示其在动态社会环境中的适应性与认知灵活性。
2025-12-29 cs.AI cs.CL cs.HC
The Unequal Opportunities of Large Language Models: Revealing Demographic Bias through Job Recommendations
University of Southern California Information Sciences Institute(南加州大学信息科学研究所);Aptima, Inc.(Aptima公司)
本研究提出了一种通过职位推荐分析和比较大型语言模型中人口统计学偏差的方法,揭示了ChatGPT和LLaMA在性别和国籍等方面的明显偏差,强调了测量下游应用中LLMs偏差的重要性。
2024-01-09 cs.AI cs.CL cs.CY
Mitigation of Gender and Ethnicity Bias in AI-Generated Stories through Model Explanations
Portland State University(波特兰州立大学);Old Dominion University(老道明大学)
本文针对AI生成职业故事中的性别与种族偏见问题,提出基于模型解释的BAME偏见缓解策略,通过定向提示工程在不改模型参数的情况下实现2%-20%的表征改善,助力构建更透明的生成式AI系统。
2025-09-03 cs.AI cs.CL
Metamorphic Testing for Fairness Evaluation in Large Language Models: Identifying Intersectional Bias in LLaMA and GPT
East Carolina University(东卡罗来纳大学);University of North Florida(北佛罗里达大学)
本文提出一种基于蜕变测试的方法,通过定义面向公平性的蜕变关系,系统性地检测LLaMA和GPT模型中的交叉偏见,尤其在语气与情感方面,为公平性敏感应用中的偏见检测与缓解提供了结构化方案。
2025-04-04 cs.AI cs.CL
Inclusivity in Large Language Models: Personality Traits and Gender Bias in Scientific Abstracts
Information Sciences Institute, University of Southern California(南加州大学信息科学学院);Iovine and Young Academy, University of Southern California(南加州大学约万与杨学院);In Vivo Group
本文通过LIWC框架分析三个主流大语言模型在科学摘要生成中的风格特征,发现其虽接近人类写作但存在显著性别偏见,强调需保持写作风格多样性以促进学术包容性。
2024-06-27 cs.AI cs.CL
Analyzing Correlations Between Intrinsic and Extrinsic Bias Metrics of Static Word Embeddings With Their Measuring Biases Aligned
The University of Tokyo(东京大学)
本研究通过对齐内在与外在偏见指标的测量对象,分析静态词嵌入两类偏见指标的相关性,发现内在指标仅能预测特定场景下的NLP系统偏见行为。
2024-09-14 cs.CL
Wisdom from Diversity: Bias Mitigation Through Hybrid Human-LLM Crowds
Machine Learning Group, Université Libre de Bruxelles(布鲁塞尔自由大学机器学习组);AI Lab, Vrije Universiteit Brussel(布鲁塞尔自由大学人工智能实验室);FARI, AI for the Common-Good Institute, ULB-VUB(ULB-VUB共同利益人工智能研究所);Center for Human-Compatible AI, UC Berkeley(伯克利人类兼容人工智能中心)
针对大语言模型易延续训练数据偏差的问题,研究发现单纯多模型平均会加剧偏差,而局部加权聚合可缓解偏差并提升准确率,结合人类与LLM的混合众包群体能进一步优化性能、降低种族和性别相关偏差。
2025-05-18 cs.AI cs.CL cs.CY
Analyzing Finetuning Representation Shift for Multimodal LLMs Steering
ISIR, Sorbonne Université(ISIR,索邦大学)
本文提出一种无需训练的框架,通过将MLLM隐藏状态映射为可解释概念并利用偏移向量捕捉微调引发的概念变化,揭示模型动态偏移与潜在偏差,从而实现模型去偏与安全控制。
2025-08-13 cs.AI cs.CL cs.CV
Analyzing Biases in Political Dialogue: Tagging U.S. Presidential Debates with an Extended DAMSL Framework
International Institute of Information Technology(国际信息研究所)
本文提出BEADS框架扩展DAMSL,标注2024年美国总统辩论,发现特朗普在对抗性修辞、恐惧诉求等类别中持续主导,确立可扩展的批判性话语分析工具。
2025-05-27 cs.CL
Investigating Societal Biases in a Poetry Composition System
USC Information Sciences Institute(南加州大学信息科学研究所);Google Research(谷歌研究院)
有越来越多的工作分析和减轻社会偏见的语言理解,生成和检索任务,虽然检查偏见的创造性任务仍然没有得到充分的探索。创造性语言应用程序旨在与用户直接交互,因此量化和减轻这些应用程序中的社会偏见非常重要。我们介绍了一种新的研究管道,以减轻社会偏见时,检索下一节诗的建议,在诗歌创作系统。我们的研究结果表明,通过情感风格转移的数据增强具有减轻社会偏见的潜力。
2020-11-05 cs.CL
Everyone deserves their voice to be heard: Analyzing Predictive Gender Bias in ASR Models Applied to Dutch Speech Data
Eindhoven University of Technology(埃因霍温理工大学);Netherlands Organisation for Applied Scientific Research (TNO)(荷兰应用科学研究组织(TNO))
本研究分析了 Whisper 模型在荷兰语音数据上的预测性别偏见,发现不同性别群体在所有模型规模下均存在显著的词错误率差异,并探讨了其对自动字幕等服务公平性的影响。
2024-11-14 cs.CL
Analyzing Bias in Swiss Federal Supreme Court Judgments Using Facebook's Holistic Bias Dataset: Implications for Language Model Training
Otto von Guericke University Magdeburg(马格德堡奥托·冯·格里克大学);Leibniz Institute for Educational Media | Georg Eckert Institute(莱布尼茨教育媒体研究所(格奥尔格·埃克特研究所))
本研究借助 Holistic Bias 社会偏见描述符与注意力可视化分析 SJP-Dataset,揭示法律判决预测数据中的偏见及其对模型行为的影响。
2025-01-06 cs.AI cs.CL
In What Languages are Generative Language Models the Most Formal? Analyzing Formality Distribution across Languages
Huawei Turkey R&D Center(华为土耳其研发中心);Nisum Latam(Nisum拉美公司);Banco de Crédito e Inversiones(智利信贷与投资银行);North South University(南北大学);Sorbonne Université(索邦大学)
多语言生成语言模型(LM)在各种语言中越来越流利。他们接受过多种语言语料库连接的训练,能够从高资源语言到低资源语言进行强大的转换。然而,在这些模型的预测中,文化偏见是什么仍然是未知的。在这项工作中,我们专注于一个高度受文化影响的语言属性:正式。我们分析了XGLM和BLOOM的预测,两个流行的生成式多语言语言模型,在5种语言的正式分布。我们将每种语言的1,200代分为正式的、非正式的或无凝聚力的,并测量了即时正式对预测的影响。总的来说,我们观察到跨模型和语言的行为多样性。例如,XGLM在非正式提示的条件下生成阿拉伯语和孟加拉语的非正式文本,比BLOOM多得多。此外,即使这两个模型是高度偏向于正式的风格时,提示中立,我们发现,即使在正式的文本提示模型产生了大量的非正式的预测。我们发布了6,000个带注释的样本,为将来的生成多语言LM的正式工作铺平了道路。
2023-02-23 cs.CL
Fair Embedding Engine: A Library for Analyzing and Mitigating Gender Bias in Word Embeddings
Delhi Technological University(德里技术大学)
非语境词嵌入模型已经被证明继承了来自训练语料库的类似人类的性别、种族和宗教的刻板偏见。为了解决这个问题,出现了大量研究,旨在减轻这些偏见,同时保持嵌入的语法和语义效用不变。本文介绍了公平嵌入引擎(FEE),用于分析和减轻性别偏见的词嵌入库。FEE结合了各种最先进的技术,用于在标准抽象下量化、可视化和减轻词嵌入中的性别偏见。FEE将帮助从业者快速分析嵌入模型上现有的去偏方法。此外,它将允许通过评估一套标准度量的性能来快速原型化新方法。
2020-10-25 cs.CL cs.CY
BharatBBQ: A Multilingual Bias Benchmark for Question Answering in the Indian Context
IIT Bombay(印度理工学院博伊斯)
针对现有偏见基准侧重西方语境的局限,提出面向印度语境的多语言偏见评估基准BharatBBQ,覆盖8种语言与13个社会类别,评估发现多语言模型在印度语言中偏见显著且较英语常被放大。
2025-08-09 cs.CL
Analyzing Language Bias Between French and English in Conventional Multilingual Sentiment Analysis Models
本文通过SVM和朴素贝叶斯模型探讨法语和英语在多语言情感分析中的偏差,发现法语在准确性、召回率和F1分数上表现更优,但SVM模型在公平性指标上接近平衡,而朴素贝叶斯模型存在明显差异。
2026-04-01 cs.CL
Religious Bias Landscape in Language and Text-to-Image Models: Analysis, Detection, and Debiasing Strategies
Islamic University of Technology(伊斯兰技术大学);The University of Manchester(曼彻斯特大学)
本文系统分析语言模型和文本到图像模型中的宗教偏见,通过约400个自然提示发现显著刻板印象及跨领域偏见,并评估纠正性提示的去偏效果,呼吁开发更公平的模型。
2025-01-14 cs.CL
On The Origin of Cultural Biases in Language Models: From Pre-training Data to Linguistic Phenomena
Georgia Institute of Technology(佐治亚理工学院)
本文构建阿拉伯语—英语平行基准 CAMeL-2,揭示语言模型的文化偏见源于预训练实体频率、多义性、词汇重叠及频率分词机制。
2025-01-08 cs.CL
Examining the Inductive Bias of Neural Language Models with Artificial Languages
University of Cambridge(剑桥大学);ETH Zürich(苏黎世联邦理工学院)
由于语言模型用于对各种语言进行建模,因此很自然地会问用于任务的神经架构是否对特定类型的语言建模有归纳偏见。这些偏差的调查已被证明是复杂的,由于在实验设置中出现的许多变量。语言在许多类型学维度上都有差异,很难挑出一两种来进行研究,而不把其他语言作为混杂因素。我们提出了一种新的方法来调查的归纳偏见的语言模型使用人工语言。这些语言的构建是为了让我们能够创建跨语言的平行语料库,这些语言之间的差异仅在于所研究的类型学特征,如词序。然后我们使用它们来训练和测试语言模型。这构成了一个完全受控的因果框架,并展示了语法工程如何成为分析神经模型的有用工具。使用这种方法,我们发现,常用的神经架构表现出不同的归纳偏见:LSTM显示关于单词排序的偏好很小,而Transformers显示出明显的偏好,一些排序超过其他。此外,我们发现LSTM的归纳偏差和Transformer的归纳偏差似乎都没有反映出我们在经过验证的自然语言中看到的任何趋势。
2021-06-02 cs.CL
The Woman Worked as a Babysitter: On Biases in Language Generation
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);University of California, Los Angeles(加州大学洛杉矶分校)
我们提出了一个系统的研究,在自然语言生成(NLG)的偏见,通过分析文本生成的提示,包含提到不同的人口群体。在这项工作中,我们引入了对人口统计的概念,使用不同程度的考虑对不同的人口统计作为一个定义性的指标,在NLG的偏见,并分析在何种程度上的情绪分数是一个相关的代理度量方面。为此,我们从语言模型中收集策略生成的文本,并使用情感和关注分数手动注释文本。此外,我们通过迁移学习建立了一个自动的关注分类器,这样我们就可以分析看不见的文本中的偏见。总之,这些方法揭示了语言模型生成的偏见性质的程度。我们的分析提供了一个研究的偏见NLG,偏见指标和相关的人类判断,以及经验证据的有用性,我们的注释数据集。
2019-10-23 cs.AI cs.CL
TFW, DamnGina, Juvie, and Hotsie-Totsie: On the Linguistic and Social Aspects of Internet Slang
University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
俚语在互联网上无处不在。微博、问答论坛、社交网络等新的社交语境的出现,使得网络上出现了大量俚语和不规范的表达方式。尽管如此,俚语在传统上一直被视为一种非标准语言,这种语言形式不是语言学分析的重点,在很大程度上被忽视了。在这项工作中,我们使用UrbanDictionary进行了第一次大规模的俚语及其社会方面的语言分析在互联网上产生的见解,这种语言越来越多地使用在世界各地的在线。我们首先通过计算分析俚语的语音,形态和句法特性。然后,我们研究了四个特定类别的俚语,即重叠,混合,剪切和重叠的语言模式。我们的分析表明,俚语显示出显着区别于标准形式的语音和形态形成的语法外规则,从而揭示其生成模式。其次,我们从俚语使用中的主体限制和刻板印象两个方面来分析俚语的社会性。对成千上万的俚语进行分析后发现,互联网上的大多数俚语都属于两大类:性和毒品。我们还注意到,俚语的使用不仅不能避免普遍的社会偏见和成见,而且比标准的俚语更强烈地反映了这种偏见和成见。
2017-12-22 cs.CL
Transformer Language Models Handle Word Frequency in Prediction Head
Tohoku University(东北大学);RIKEN(理化学研究所);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本研究通过BERT和GPT-2实验揭示预测头偏置参数在反映词频中的关键作用,并证明控制偏置可在不降低文本质量的前提下提升生成多样性。
2023-05-29 cs.CL
Analyzing Dataset Annotation Quality Management in the Wild
Ubiquitous Knowledge Processing Lab(普适知识处理实验室);Hessian Center for AI(黑森州人工智能中心)
该研究调研了数据集创建的推荐质量管理实践,构建含591篇文本数据集论文的语料库并标注质量相关维度,分析发现多数研究质量管理良好,但30%投入不足,且存在标注一致性使用等常见问题。
2024-03-09 cs.CL
ABNIRML: Analyzing the Behavior of Neural IR Models
University of Glasgow(格拉斯哥大学);Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
针对预训练语言模型在即席搜索中效果优异但行为机制不明的问题,本文提出ABNIRML分析框架,通过新型诊断探测测试多项特征,经实证研究厘清模型性能提升因素并识别出潜在偏差。
2023-07-20 cs.CL cs.IR
Analyzing COVID-19 Tweets with Transformer-based Language Models
ASRC Federal(ASRC联邦公司);University of Maryland Baltimore County(马里兰大学巴尔的摩分校)
本文描述了一种使用基于转换器的语言模型(TLM)来理解社交媒体帖子中的公众舆论的方法。在这种方法中,我们在几个COVID-19推文语料库上训练了一组GPT模型,这些语料库反映了具有独特观点的用户群体。然后,我们使用基于查询的查询来探测这些模型,以揭示用户的偏见和意见。我们展示了如何使用这种方法来产生类似于对不同的社会,政治和公共卫生问题进行民意调查的结果。对COVID-19推文数据的研究结果表明,Transformer语言模型是很有前途的工具,可以帮助我们大规模地了解社交媒体上的公众意见。
2021-05-06 cs.CL cs.CY
Bias Evaluation and Mitigation in Retrieval-Augmented Medical Question-Answering Systems
University of Pittsburgh(匹兹堡大学);School of Computing and Information, University of Pittsburgh(匹兹堡大学计算与信息学院);Clinical and Translational Science Institute, University of Pittsburgh(匹兹堡大学临床与转化科学研究所);University of Pittsburgh Medical Center(匹兹堡大学医学中心)
本研究系统评估了医学RAG问答系统在多个基准上的种族、性别等人口统计偏差,并比较了多种缓解策略,发现多数投票聚合能显著提升准确性和公平性。
2025-03-27 cs.CL
Analyzing the Evaluation of Cross-Lingual Knowledge Transfer in Multilingual Language Models
University of Amsterdam(阿姆斯特丹大学)
本文质疑多语言模型零样本跨语言性能评估的有效性,通过多语言实例实验证明高性能多源于任务与表面知识而非真实语言转移,呼吁改进评估设置。
2024-02-03 cs.AI cs.CL cs.LG
Nationality Bias in Text Generation
College of Information Sciences and Technology(信息科学与技术学院);Pennsylvania State University(宾夕法尼亚州立大学)
很少有人关注分析语言模型中的国籍偏见,特别是当国籍被高度用作提高社会NLP模型性能的一个因素时。本文探讨了文本生成模型,GPT-2,强调预先存在的社会偏见,基于国家的恶魔。我们使用GPT-2生成不同国籍的故事,并使用敏感性分析来探索互联网用户数量和国家经济状况如何影响故事的情感。为了减少偏见通过大语言模型(LLM)的传播,我们探索了对抗性触发的去偏见方法。我们的研究结果表明,GPT-2对互联网用户较少的国家表现出明显的偏见,而对抗性触发有效地减少了这种偏见。
2023-02-14 cs.AI cs.CL