Context in Informational Bias Detection
Leibniz ScienceCampus(莱布尼茨科学园区);Heidelberg University(海德堡大学)
信息偏见是通过句子或子句传达的偏见,这些句子或子句提供了可能影响读者对实体的看法的切线,推测或背景信息。从本质上讲,信息偏差是依赖于上下文的,但以前的工作信息偏差检测没有探讨的作用,上下文以外的句子。在本文中,我们探讨了英语新闻文章中的信息偏见的四种语境:相邻的句子,完整的文章,来自其他新闻出版商的同一事件的文章,和来自同一领域的文章(但可能不同的事件)。我们发现,整合事件上下文提高了分类性能在一个非常强大的基线。此外,我们在这个任务上进行了模型的第一次误差分析。我们发现,表现最好的上下文包容模型优于基线较长的句子,从政治中间派的文章句子。
2020-12-03 cs.CL
HierBias: Context-Conditioned Hierarchical Media Bias Detection with Multi-Task Type Classification
Xidian University(西安电子科技大学)
提出HierBias模型,利用文档上下文进行分层媒体偏见检测,通过理论证明上下文降低贝叶斯误差,多任务学习提升小样本效率,在BABE和BASIL上取得SOTA性能。
2026-06-26 cs.CL
Look at the First Sentence: Position Bias in Question Answering
Korea University(高丽大学)
许多提取问答模型被训练来预测答案的开始和结束位置。选择预测答案作为立场主要是因为它的简单性和有效性。在这项研究中,我们假设当答案位置的分布在训练集中高度偏斜时(例如,答案仅存在于每个段落的第k个句子中),将答案预测为位置的QA模型可以学习虚假的位置线索,并且无法在不同的位置给出答案。我们首先在流行的提取QA模型(如Biobox和BERT)中说明这种位置偏差,并彻底研究位置偏差如何通过BERT的每一层传播。为了安全地传递位置信息而没有位置偏差,我们用各种去偏差方法包括熵正则化和偏差集成来训练模型。其中,我们发现使用答案位置的先验分布作为偏差模型在减少位置偏差方面非常有效,当在有偏差的SQuAD数据集上训练时,BERT的性能从37.48%恢复到81.64%。
2021-03-08 cs.CL
Debiasing Sentence Embedders through Contrastive Word Pairs
CITEC, University of Bielefeld(比勒费尔德大学CITEC(认知交互技术中心))
针对现有去偏方法直接从词嵌入转移而忽略句子嵌入非线性特性的问题,本文提出通过对比词对去除句子嵌入中线性和非线性偏见信息的方法,且不影响下游任务性能。
2024-03-27 cs.CL
CrisisTransformers: Pre-trained language models and sentence encoders for crisis-related social media texts
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院)
针对危机相关社交媒体文本分析的现有模型适配性不足问题,本研究提出在超150亿词元的多类危机推文语料上训练的CrisisTransformers模型组,在18个数据集上分类与句子编码任务均取得更优性能,且模型已公开。
2024-04-11 cs.CL
Gender Inflected or Bias Inflicted: On Using Grammatical Gender Cues for Bias Evaluation in Machine Translation
National Institute of Technology, Hamirpur(哈米尔普尔国家理工学院)
针对现有NMT性别偏见评估多依赖英语或性别中立句的局限,本研究以印地语为源语言构建OTSC-Hindi、WinoMT-Hindi性别特指数据集,验证了用含语法性别线索的句子评估偏见的合理性,强调评估数据集设计需考虑语言特性。
2023-11-07 cs.CL
NewB: 200,000+ Sentences for Political Bias Detection
Dartmouth College(达特茅斯学院)
本文提出包含超20万句子的NewB政治偏见数据集,涵盖11个新闻来源,通过训练深度学习模型预测句子来源并分析n-grams以揭示媒体对Trump的描绘,促进复杂政治偏见的NLP研究。
2023-09-08 cs.CL
Don't Overlook the Grammatical Gender: Bias Evaluation for Hindi-English Machine Translation
National Institute of Technology, Hamirpur(国家理工学院(哈姆普尔));Anu(阿努)
针对现有评测多用英语源句或性别中立句的问题,本文构建两套印地语性别特定句集,自动评估HI-EN NMT系统能否依据语法性别线索识别性别。
2023-11-11 cs.CL
The Table of Media Bias Elements: A sentence-level taxonomy of media bias types and propaganda techniques
Center for Responsible Artificial Intelligence (CRAI), Coburg University of Applied Sciences and Arts(负责任人工智能中心(CRAI)、科堡应用科学与艺术大学);Center for Responsible Artificial Intelligence (CRAI), and University of Sheffield, Department of Computer Science(负责任人工智能中心(CRAI)、谢菲尔德大学计算机科学系)
本文提出一个句子级的媒体偏见分类体系,通过分析26,464个句子,揭示偏见表达的细粒度类型及传播技巧,并提供识别指导。
2026-01-08 cs.CL cs.CY
PHINC: A Parallel Hinglish Social Media Code-Mixed Corpus for Machine Translation
Indian Institute of Technology Gandhinagar(甘地讷格尔印度理工学院)
语码混用是指在一个句子中使用一种以上语言的现象。这是社交媒体平台上经常观察到的沟通模式。在一条短信中灵活使用多种语言可能有助于与目标受众进行有效沟通。但是,它在更大程度上增加了处理和理解自然语言的挑战。本文介绍了一个由13,738个英-印地语混合语码句子组成的平行语料库及其相应的英语翻译。句子的翻译由注释者手动完成。我们正在发布的平行语料库,以促进未来的研究机会,代码混合机器翻译。注释的语料库可在https://doi.org/10.5281/zenodo.3605597上获得。
2020-04-20 cs.CL
Multilingual Holistic Bias: Extending Descriptors and Patterns to Unveil Demographic Biases in Languages at Scale
Meta AI
研究提出MULTILINGUALHOLISTICBIAS数据集,通过扩展描述符和模式覆盖50种语言,旨在揭示人口统计偏见并量化缓解措施,发现翻译质量在男性参考下普遍优于女性。
2023-05-22 cs.CL
Logic Against Bias: Textual Entailment Mitigates Stereotypical Sentence Reasoning
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
由于其基于相似性的学习目标,预先训练的句子编码器经常内化反映其训练语料库中存在的社会偏见的刻板假设。在本文中,我们描述了流行的句子表示模型中存在的关于不同社区的几种刻板印象,包括预训练的下一句预测和对比句子表示模型。我们比较这样的模型文本蕴涵模型,学习语言逻辑的各种下游语言理解任务。通过比较基于文本相似度的强预训练模型和文本蕴涵学习,我们得出结论,具有文本蕴涵的显式逻辑学习可以显著减少偏见,提高社会社区的识别,而无需显式的去偏见过程
2023-03-10 cs.AI cs.CL cs.CY
Averaging Bias: Human Faithfulness Annotations are not Locally Faithful
Stony Brook University(石溪大学)
该研究发现文本摘要忠实性基准的人类全局标注存在平均偏差,即标注者接受大部分句子忠实的摘要,而非严格合取规则要求的所有句子都忠实,需改进人类标注设计。
2026-08-04 cs.CL
DebCSE: Rethinking Unsupervised Contrastive Sentence Embedding Learning in the Debiasing Perspective
Sina Weibo(新浪微博);China Literature Limited(阅文集团)
本文提出DebCSE框架,通过逆倾向加权采样方法消除对比句嵌入学习中的多种偏差,在STS基准上以80.33%的Spearman相关系数显著优于现有最先进模型。
2023-09-14 cs.AI cs.CL
Towards Debiasing Sentence Representations
Carnegie Mellon University(卡内基梅隆大学)
随着自然语言处理方法越来越多地应用于医疗保健、法律系统和社会科学等现实场景,有必要认识到它们在塑造社会偏见和刻板印象方面可能发挥的作用。先前的研究揭示了广泛使用的词嵌入中存在的社会偏见,涉及性别、种族、宗教和其他社会结构。虽然提出了一些方法来消除这些单词级嵌入的偏置,但是考虑到最近向新的上下文化句子表示(例如ELMo和BERT)的转变,需要在句子级执行消除偏置。在本文中,我们调查的存在下,社会偏见的水平表示,并提出了一种新的方法,发送Debias,以减少这些偏见。我们表明,Sent Debias是有效的,在消除偏见,并在同一时间,保留性能的水平上的下游任务,如情感分析,语言的可接受性,和自然语言理解。我们希望我们的工作将激励未来的研究,从广泛采用的句子表示中描述和消除社会偏见,以实现更公平的NLP。
2020-07-16 cs.CL cs.LG
Selection Bias Explorations and Debias Methods for Natural Language Sentence Matching Datasets
Tencent(腾讯);IBM Research(IBM研究院);Harbin Institute of Technology(哈尔滨工业大学)
自然语言句子匹配(NLSM)得到了学术界和工业界的广泛关注,丰富的公共数据集为这一过程做出了巨大贡献。然而,有偏差的数据集也会损害训练模型的泛化性能,并给出不可信的评估结果。对于许多NLSM数据集,提供者选择一些句子对到数据集中,并且这种采样过程很容易带来非预期的模式,即,选择偏差一个例子是QuoraQP数据集,其中一些与内容无关的朴素特征具有不合理的预测性。这些特征是选择偏置的反映,称为泄漏特征。在本文中,我们研究了六个NLSM数据集的选择偏差问题,发现其中四个是显着的偏见。我们进一步提出了一个培训和评估框架,以减轻偏见。QuoraQP上的实验结果表明,该框架可以提高训练模型的泛化能力,并为现实世界的采用提供更可信的评估结果。
2019-06-10 cs.AI cs.CL
Towards Massive Multilingual Holistic Bias
FAIR, Meta(FAIR,Meta)
本文提出大规模多语言整体偏见数据集MMHB及自动构建方法,通过占位符和系统化翻译高效扩展多语言句子,并揭示机器翻译中的性别偏见与附加毒性问题。
2024-06-29 cs.CL
WinoQueer-NL: Assessing Bias in Dutch Language Models toward LGBTQ+ Identities
Maastricht University(马斯特里赫特大学)
本研究开发文化适配的荷兰语数据集WinoQueer-NL,评估荷兰语MLMs和ARLMs对LGBTQ+身份的偏见,发现模型对跨性别等身份偏见显著,凸显文化相关数据集的重要性。
2026-10-07 cs.CL
WSDMS: Debunk Fake News via Weakly Supervised Detection of Misinforming Sentences with Contextualized Social Wisdom
Hong Kong Baptist University(香港浸会大学);Singapore Management University(新加坡管理大学);Jinan University(暨南大学)
针对假新闻辟谣中缺乏句子级标注数据集的挑战,本文提出弱监督模型WSDMS,仅需包级标签即可结合情境化社交媒体对话推断句子级错误信息和文章级真实性,并在三个基准上优于现有基线。
2023-10-25 cs.CL
Kernel-Whitening: Overcome Dataset Bias with Isotropic Sentence Embedding
Fudan University(复旦大学);Shanghai Key Laboratory of Intelligent Information Processing(上海市智能信息处理重点实验室)
数据集偏差对模型泛化能力的影响引起了人们的广泛关注。目前主流的解决方案是设计一个额外的浅层模型来预先识别有偏见的实例。然而,这种两阶段方法增加了训练过程的计算复杂性,并且在减轻偏差的同时阻碍了有效的特征信息。为了解决这个问题,我们利用表示规范化方法,旨在解开编码的句子的特征之间的相关性。我们发现它也有希望通过提供各向同性的数据分布来消除偏差问题。我们进一步提出核白化,Nystrom核近似方法,以实现更彻底的非线性虚假相关的去偏。我们的框架是端到端的,微调的时间消耗类似。实验表明,Kernel-Whitening算法在保持分布内精度的同时,显著提高了分布外数据集上的BERT性能。
2022-10-14 cs.CL cs.LG
Whose wife is it anyway? Assessing bias against same-gender relationships in machine translation
Pacific Northwest National Laboratory(太平洋西北国家实验室);University of Michigan(密歇根大学)
该研究针对机器翻译系统是否存在对同性关系的偏见问题,利用多种名词性别语言的职业名词模板句测试三款主流服务,发现其同性关系句翻译准确率低且受语境、职业女性占比影响,为NLP系统社会关系内在偏见评估提供案例。
2024-07-12 cs.CL
Correcting the Common Discourse Bias in Linear Representation of Sentences using Conceptors
Jacobs University Bremen(不来梅雅各布大学);University of Pennsylvania(宾夕法尼亚大学)
单词的分布式表示,更好地称为词嵌入,已经成为自然语言处理任务的重要构建块。许多研究致力于将无监督词嵌入的成功转移到句子嵌入。在本文中,我们介绍了一个简单的表示的句子中,一个句子嵌入表示为加权平均的词向量,其次是一个软投影。我们证明了该方法在BioCreative/OHNLP Challenge 2018的临床语义文本相似性任务上的有效性。
2018-11-17 cs.CL cs.LG stat.ML
BTC-SAM: Leveraging LLMs for Generation of Bias Test Cases for Sentiment Analysis Models
Insight SFI Research Center on Data Analytics, Dublin City University(数据分析洞察SFI研究中心,都柏林城市大学);Laboratoire LITAN, École supérieure en Sciences et Technologies de l’Informatique et du Numérique(LITAN实验室,信息与数字技术高等学院);School of Computing, Dublin City University(计算学院,都柏林城市大学);Plus Que Pro, Strasbourg, France(斯特拉斯堡法国Plus Que Pro公司);ServiceNow, Zurich, Switzerland(瑞士苏黎世ServiceNow公司);Department of Information Engineering and Computer Science, University of Trento(信息工程与计算机科学系,特伦托大学);Télécom SudParis, SAMOVAR, Institut Polytechnique de Paris(巴黎理工学院SAMOVAR,Telecom SudParis)
本文提出BTC-SAM框架,利用大语言模型生成高质量、多样化的偏见测试用例,以高效检测情感分析模型的社会偏见,实验证明其优于基础提示方法,并能覆盖未见过的偏见。
2025-10-15 cs.CL
BiasTestGPT: Using ChatGPT for Social Bias Testing of Language Models
California Institute of Technology(加州理工学院);NVIDIA(英伟达)
本文提出 BiasTestGPT,利用 ChatGPT 按任意社会群体与属性组合可控生成多样化测试句,并以开源框架接入 PLM,从而更有效地检测包括交叉性偏见在内的社会偏见。
2023-12-06 cs.CL cs.CY
On Measuring Gender Bias in Translation of Gender-neutral Pronouns
Seoul National University(首尔大学);INMC
关于社会偏见的伦理学最近在自然语言处理中提出了引人注目的问题。特别是对于与性别相关的主题,在诸如图像描述、内容推荐和自动化就业的领域中,对减少模型偏差的系统的需求已经增长。然而,机器翻译系统中的性别偏见的检测和评估尚未得到彻底的研究,因为任务是跨语言的,具有挑战性的定义。在本文中,我们提出了一个计划,使一个测试集,评估性别偏见的机器翻译系统,与韩国,一种语言的性别中性代词。三个词/短语集主要是构建,每个包含积极/消极的表达或职业;所有的术语都是性别独立的或至少没有严重偏向一侧。然后,根据代词的正式性和句子的礼貌性构建了附加的句子列表。在生成的句子集的大小为4,236,我们评估传统的机器翻译系统中的性别偏见,利用所提出的措施,这是在这里被称为翻译性别偏见指数(TGBI)。语料库和评价代码可在线查阅。
2019-05-28 cs.CL
Comparing Sentence-Level Suggestions to Message-Level Suggestions in AI-Mediated Communication
Cornell University(康奈尔大学);Thomson Reuters Labs(汤森路透实验室);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
传统上,写作辅助系统专注于简短甚至单个单词的建议。最近,像GPT-3这样的大语言模型已经可以生成更长的自然建议,提供更高级的帮助机会。本研究探讨了句子与消息级别的建议之间的权衡人工智能介导的通信。我们招募了120名参与者,作为立法者办公室的工作人员,他们经常需要对大量的选民关注做出回应。参与者被要求回复电子邮件,提供不同类型的帮助。结果表明,收到消息级别建议的参与者响应更快,对体验更满意,因为他们主要编辑建议的草稿。此外,他们写的文章被其他人评价为更有帮助。相比之下,接受中级援助的参与者保留了更高的代理感,但需要更长的时间完成任务,因为他们需要计划他们的回应流程并决定何时使用建议。我们的研究结果对设计适合任务的沟通辅助系统具有一定的意义。
2023-02-26 cs.CL cs.HC
Multi-Sentence Resampling: A Simple Approach to Alleviate Dataset Length Bias and Beam-Search Degradation
Yandex Research(Yandex研究院);Moscow Institute of Physics and Technology(莫斯科物理技术学院);HSE University(俄罗斯国立高等经济大学)
众所周知,神经机器翻译(NMT)存在束搜索问题:在某个点之后,增加波束大小会导致翻译质量的整体下降。这种影响在长句子中尤为明显。虽然已经做了很多工作来分析这种现象,主要是针对自回归NMT模型,但对其根本原因仍然没有达成共识。在这项工作中,我们分析的错误,导致主要的质量下降与大波束NMT和自动语音识别(ASR)。我们发现,一个因素,大大有助于大光束的质量下降是\textit{dataset length-bias} - \textit{NMT datasets are strongly biased towards short sentences}。为了缓解这个问题,我们提出了一种新的数据增强技术-- \textit{Multi-Sentence Resampling (MSR)}。这种技术通过连接原始数据集中的几个句子来扩展训练示例,以生成一个长的训练示例。我们证明,MSR显着减少退化与日益增长的光束大小,并提高最终的翻译质量的IWSTL $15$ En-Vi,IWSTL $17$ En-Fr,和WMT $14$ En-De数据集。
2021-09-13 cs.AI cs.CL cs.LG
Neural Media Bias Detection Using Distant Supervision With BABE -- Bias Annotations By Experts
University of Wuppertal(伍珀塔尔大学);University of Konstanz(康斯坦茨大学);NII Tokyo(东京国立信息学研究所)
本研究构建了专家标注的高质量媒体偏见数据集BABE,提出基于远程监督预训练的BERT偏见检测模型,在该数据集上取得0.804的宏F1分数,优于现有方法。
2022-09-29 cs.CL
Dutch CrowS-Pairs: Adapting a Challenge Dataset for Measuring Social Biases in Language Models for Dutch
Department of Advanced Computing Sciences(高级计算科学系);Maastricht University(马斯特里赫特大学)
本文构建了荷兰语版 CrowS-Pairs 偏见测量数据集(1463 个句子对、9 个类别),并评估多个荷兰语及多语言模型,发现不同语言和模型人设会显著影响偏见水平。
2025-07-22 cs.CL
The Media Bias Taxonomy: A Systematic Literature Review on the Forms and Automated Detection of Media Bias
University of Göttingen(哥廷根大学);University of Würzburg(维尔茨堡大学);TH Köln - University of Applied Sciences(科隆应用技术大学);Charité – Universitätsmedizin Berlin(柏林夏里特医学院)
本文系统综述了2019至2022年间3140篇媒体偏见检测研究,提出媒体偏见分类法,指出Transformer方法显著提升了检测准确率与细粒度识别能力,并强调未来需加强跨学科融合与多样化偏见评估策略。
2024-01-10 cs.CL
Generating Gender Augmented Data for NLP
ADAPT Centre, Trinity College Dublin(都柏林圣三一学院ADAPT中心);ADAPT Centre, Dublin City University(都柏林城市大学ADAPT中心);Microsoft(微软);Tilburg University(蒂尔堡大学)
性别偏见在基于NLP的应用程序中经常发生,尤其是在性别变化的语言中。偏见可以通过某些形容词和有生命的名词与所指对象的自然性别的关联来出现,但也可能是由于屈折词的语法性别频率不平衡。这种类型的偏见在生成句子中没有指定性别的对话语句时变得更加明显,因为大多数当前的NLP应用程序仍然在会话级别的上下文上工作。作为迈向更包容的NLP的一步,本文提出了一种自动和可推广的短会话句子重写方法。重写方法可以应用于句子,没有额外的背景下,有多个等价的性别方面的替代品。该方法既可以用于创建性别平衡的输出,也可以用于创建性别平衡的训练数据。所提出的方法是基于神经机器翻译(NMT)系统训练“翻译”从一个性别的替代品到另一个。无论是自动和手动分析的方法显示出可喜的成果,自动生成的会话句子的性别选择在西班牙语。
2021-07-13 cs.CL
How Ethos and Pathos Appeals Resonate in Reader Interpretations of Social Media Messages
Warsaw University of Technology(华沙理工大学);KU Leuven(鲁汶大学);Ghent University(根特大学)
研究通过分析社交媒体句子及其人类解读,发现30%的解读偏离原文,修辞性内容引发更大变异性,且原文中的道德和情感诉求可预测读者对作者的态度。
2026-07-02 cs.CL
Detecting Media Bias in News Articles using Gaussian Bias Distributions
Paderborn University(帕德博恩大学);Bauhaus-Universität Weimar(魏玛包豪斯大学)
媒体在塑造公众舆论方面发挥着重要作用。有偏见的媒体可以影响人们在不可取的方向,因此应该被揭露。我们观察到,基于特征和神经文本分类方法,只依赖于低层次的词汇信息的分布无法检测媒体偏见。这一弱点在关于新事件的文章中最为明显,这些文章中的词语出现在新的上下文中,因此它们的“偏见预测性”不清楚。因此,在本文中,我们研究了文章中关于有偏见的陈述的二阶信息如何有助于提高检测效率。特别是,我们利用概率分布的频率,位置和顺序的词汇和信息的重复水平的偏见在高斯混合模型。在现有的媒体偏见数据集上,我们发现有偏见的陈述的频率和位置强烈影响文章水平的偏见,而它们的确切顺序是次要的。使用一个标准的模型,为文章级的偏见检测,我们提供了经验证据表明,文章级的偏见检测器,使用二阶信息明显优于那些没有。
2020-10-20 cs.CL
DS4DH at #SMM4H 2023: Zero-Shot Adverse Drug Events Normalization using Sentence Transformers and Reciprocal-Rank Fusion
University of Geneva(日内瓦大学)
本研究针对SMM4H 2023共享任务5的Twitter药物不良事件归一化需求,提出BERT微调实体识别结合Sentence Transformers与倒数排名融合的零样本归一化两阶段方法,取得任务最优性能,验证了该方法的有效性与应用潜力。
2023-11-06 cs.CL
Fuzzy Based Implicit Sentiment Analysis on Quantitative Sentences
Universiti Technologi Malaysia(马来西亚理工大学)
随着网络上社交媒体的快速发展,情感极性计算已经成为文本挖掘社区中一个蓬勃发展的前沿领域。然而,由于社交媒体数据的多样性和规模,了解最新趋势并总结关于产品的状态或一般意见是具有挑战性的,这就需要自动化和实时的的意见提取和挖掘。另一方面,目前的大部分研究一直致力于研究包含意见关键词的主观句子,并已报告了有限的工作,暗示情绪的客观陈述。在本文中,基于模糊的知识工程模型已开发的情感分类的特殊群体的这样的句子,包括改变或偏离所需的范围或值。药物评论是此类声明的丰富来源。因此,在本研究中,一些实验进行了患者的评论几种不同的降胆固醇药物,以确定他们的情绪极性。通过本研究得出的主要结论是,为了提高现有的药物意见挖掘系统的准确率水平,应该考虑到客观的句子,其中暗示的意见。我们的实验结果表明,我们提出的模型获得超过72%的F1值。
2017-01-03 cs.CL
Sentence-Level BERT and Multi-Task Learning of Age and Gender in Social Media
University of British Columbia(不列颠哥伦比亚大学);University of Pennsylvania(宾夕法尼亚大学)
社交媒体目前为我们的生活提供了一个窗口,使我们能够了解来自不同地方,不同背景,年龄和性别的人如何使用语言。在这项工作中,我们利用一个新创建的阿拉伯语数据集与地面真相年龄和性别标签学习这些属性都单独和在句子级别的多任务设置。我们的模型基于深度双向神经网络的变体。更具体地说,我们建立模型与门控经常性单位和双向编码器表示从Transformers(BERT)。我们的效用多任务学习(MTL)的两个任务,并确定特定任务的注意力作为一个更好的选择,在这种情况下。我们还发现,一个单一的任务BERT模型优于我们最好的MTL模型上的两个任务。我们报告年龄任务(三向)的推文准确率为51.43%,性别任务(二进制)为65.30%,这两个都大大超过了我们的基线。我们的模型与语言无关,因此可以应用于其他语言。
2019-11-02 cs.CL cs.LG
Likelihood-based Mitigation of Evaluation Bias in Large Language Models
Tokyo Institute of Technology(东京技术大学);MBZUAI
本文研究大语言模型评估中的似然偏差问题,提出利用高偏差实例作为少样本示例进行上下文学习来缓解偏差,实验证明该方法能有效减少偏差并显著提升评估性能。
2025-11-10 cs.AI cs.CL
Navigating News Narratives: A Media Bias Analysis Dataset
Vector Institute for Artificial Intelligence(向量人工智能研究院)
本文发布涵盖多种偏见类型的媒体偏见分析数据集 Navigating News Narratives,以支持媒体偏见的自动检测与分析研究。
2023-12-07 cs.CL
Evaluating Gender Bias in Large Language Models
Darmstadt University of Applied Sciences(达姆施塔特应用科学大学)
本研究评估了 GPT-4 等大型语言模型在职业代词选择中的性别偏见,发现提示方法对性别分布的影响大于模型选择,句子补全与实际数据相关性最强。
2024-11-14 cs.CL
RuBia: A Russian Language Bias Detection Dataset
Toloka AI(托洛卡人工智能公司)
本文提出了专门针对俄语设计的偏见检测数据集RuBia,涵盖4个领域和19个子领域,包含近2,000个句子对,并通过对最先进LLM的诊断性评估揭示了其社会偏见倾向。
2024-03-26 cs.CL
Reducing Position Bias in Simultaneous Machine Translation with Length-Aware Framework
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
同步机器翻译(SiMT)在接收流式源输入的同时开始翻译,因此源句子在翻译期间总是不完整的。与使用传统seq-to-seq架构的整句MT不同,SiMT通常应用前缀到前缀架构,其强制每个目标词仅与部分源前缀对齐以适应流输入中的不完整源。然而,由于词头中出现的词头较多,处于词头前位置的源词往往被错误地认为更重要,从而产生了位置偏向,使得模型在测试时更加关注词头前位置。本文首先分析了SiMT中的位置偏差现象,并提出了一个长度感知框架,通过弥合SiMT和整句MT之间的结构鸿沟来减少位置偏差。具体来说,给定流输入,我们首先预测整句长度,然后用位置编码填充未来的源位置,从而将流输入变成伪整句。所提出的框架可以集成到大多数现有的SiMT方法,以进一步提高性能。两个具有代表性的SiMT方法,包括国家的最先进的自适应政策的实验表明,我们的方法成功地减少了位置偏差,从而实现更好的SiMT性能。
2022-03-23 cs.AI cs.CL
Do You Think It's Biased? How To Ask For The Perception Of Media Bias
University of Konstanz(康斯坦茨大学);University of Wuppertal(伍珀塔尔大学)
媒体报道对公众对事件的看法具有重大影响。媒体报道事件的方式可以极大地改变我们社会的信仰和看法。然而,几乎所有媒体都以有偏见的方式报道新闻。虽然这种偏见可以通过改变词汇选择或省略信息来引入,但偏见的感知也在很大程度上取决于读者的个人背景。因此,媒体偏见是一个非常复杂的结构来识别和分析。尽管媒体偏见已经成为许多研究的主题,但以往的评估策略过于简单,缺乏重叠和经验评估。因此,本研究的目的是开发一个量表,可以作为一个可靠的标准来评估文章的偏见。举一个例子:要衡量一篇新闻文章中的偏见,我们应该问:“这篇文章有多偏见?或者我们应该问,“这篇文章是如何对待美国总统的?”".我们进行了文献检索,找到824个相关问题的文本感知在以前的研究主题。在一个多迭代的过程中,我们总结和浓缩这些问题的语义,总结出一个完整的和有代表性的可能的问题类型的偏见。最后一组包括25个问题,不同的回答格式,17个问题,使用语义差异,和6个等级的感觉。我们在190篇文章中测试了每个问题,共有663名参与者,以确定这些问题如何衡量文章的感知偏见。我们的研究结果表明,21个最终项目是合适的和可靠的测量媒体偏见的看法。我们在http://bias-question-tree.gipplab.org/上发布了最终的问题集。
2021-12-16 cs.CL
Designing Evaluations of Machine Learning Models for Subjective Inference: The Case of Sentence Toxicity
Delft University of Technology(代尔夫特理工大学)
机器学习(ML)越来越多地应用于现实生活中,引起了人们对自动决策中偏见的担忧。我们将偏见作为一种观点排除的概念,它源于传统ML管道的直接应用,以推断主观属性。我们认为,这样的ML系统应该考虑到主观性和偏见进行评估。考虑到缺乏评估标准尚未创建评估基准,我们提出了一个初始的规范列表,以创建评估数据集之前定义,以便以后准确地评估偏差。以一个句子毒性推理系统为例,我们说明了规范如何支持与主观性有关的偏见的分析。我们强调了实例化这些规范的困难,并列出了众包社区未来的工作,以帮助创建适当的评估数据集。
2019-11-06 cs.CL cs.LG stat.ML
An Interdisciplinary Approach for the Automated Detection and Visualization of Media Bias in News Articles
University of Wuppertal(伍珀塔尔大学)
媒体报道对公众对事件的看法有重大影响。然而,媒体往往有偏见。使新闻文章产生偏见的一种方法是改变用词。通过词语选择自动识别偏见是具有挑战性的,主要是由于缺乏黄金标准数据集和高度的上下文依赖性。在这个研究项目中,我的目标是设计数据集和方法来识别媒体偏见。为了实现这一目标,我计划研究使用自然语言处理和深度学习的方法,同时使用心理学和语言学的模型和分析概念。第一批结果表明了跨学科研究方法的有效性。我的愿景是设计一个系统,帮助新闻读者意识到偏见造成的媒体报道差异。到目前为止,我最好的基于BERT的模型是在由远距离标签组成的更大语料库上进行预训练的,这表明远距离监督有可能成为偏见检测这一困难任务的解决方案。
2021-12-26 cs.CL
Adversarial Examples Generation for Reducing Implicit Gender Bias in Pre-trained Models
在过去的几年里,情境化的预训练神经语言模型,如BERT,GPT,在各种NLP任务中表现出显着的进步。为了增强现有预训练模型的鲁棒性,一种方法是对抗性示例生成和评估,以进行数据增强或对抗性学习。与此同时,在实际应用中,嵌入在模型中的性别偏见似乎是一个严重的问题。许多研究都涉及到了词汇层面的性别偏见(如性别刻板印象职业),而很少有研究涉及词汇层面的性别偏见和内隐性别偏见。本文提出了一种自动生成隐性性别偏见样本的方法和一种衡量性别偏见的指标。我们的方法生成的样品将在准确性方面进行评估。该指标将用于指导从预训练模型生成示例。因此,这些示例可以用于对预训练模型进行攻击。最后,我们讨论了我们生成的例子对减少性别偏见的评估功效,为未来的研究。
2021-10-03 cs.CL
The MediaSpin Dataset: Post-Publication News Headline Edits Annotated for Media Bias
Carnegie Mellon University(卡内基梅隆大学);National University of Singapore(新加坡国立大学);NUS Centre for Trusted Internet and Community(新加坡国立大学可信互联网与社区中心)
MediaSpin数据集通过标注13种媒体偏见类型,研究新闻标题修改对语言框架和偏见的影响,展示跨国家的标题修改分析、变压器偏见分类及社交媒体行为分析。
2026-05-15 cs.CL
Mitigating Language Bias in Cross-Lingual Job Retrieval: A Recruitment Platform Perspective
Chulalongkorn University(朱拉隆功大学)
本文提出统一句子编码器,通过多任务双编码器框架联合学习简历与职位文本的多个组成部分,并引入LBKL指标评估语言偏见,在较小模型规模下实现优于现有模型的跨语言职位检索性能。
2025-02-05 cs.CL
Distantly Supervised Relation Extraction with Sentence Reconstruction and Knowledge Base Priors
Toyota Technological Institute(丰田工业大学);Artificial Intelligence Research Center, National Institute of Advanced Industrial Science and Technology(日本产业技术综合研究所人工智能研究中心)
我们提出了一个多任务,概率的方法,以促进远程监督关系抽取,使更接近的句子,包含相同的知识库对的表示。为了实现这一点,我们通过与关系分类器联合训练的变分自编码器(VAE)来偏置句子的潜在空间。潜码引导成对表征并影响句子重构。通过远程监督创建的两个数据集上的实验结果表明,多任务学习的性能优势。将知识库先验引入VAE的额外探索表明,句子空间可以向知识库的空间转移,提供可解释性并进一步改善结果。
2021-04-16 cs.CL
Fair Hate Speech Detection through Evaluation of Social Group Counterfactuals
University of Southern California(南加州大学)
用于减轻监督模型中的偏差的方法被设计为减少模型对输入数据的特定敏感特征的依赖,提到社会团体。然而,在检测仇恨言论的情况下,并不总是希望均衡社会群体的影响,因为它们在区分外群体贬损仇恨方面发挥着重要作用,因此,特定类型的仇恨言论只有在围绕某些社会群体标记进行语境化时才具有预期意义。针对所提及的社会群体的反事实令牌公平性评估模型的预测,以确定它们对于(a)实际句子和(b)通过改变句子中所提及的社会群体而生成的反事实实例是否相同。我们的方法确保了强大的模型预测的反事实,意味着类似的意义,作为实际的句子。为了量化句子及其反事实的相似性,我们比较了生成语言模型计算的可能性得分。通过均衡每个句子及其反事实的模型行为,我们在保持整体分类性能的同时减轻了所提出的模型中的偏差。
2020-10-24 cs.CL
MBIC -- A Media Bias Annotation Dataset Including Annotator Characteristics
University of Konstanz(康斯坦茨大学);University of Wuppertal(伍珀塔尔大学);University of Passau(帕绍大学);University of Zurich(苏黎世大学)
许多人认为新闻文章是了解时事的可靠来源。然而,由于影响新闻机构的各种因素,这种报道可能并不总是公正的。媒体的偏见,或有倾向性的新闻报道,可以对公众对事件的看法产生重大影响,因此,可能会改变公众的信念和观点。当前媒体偏见检测研究的主要数据缺口是一个强大的,有代表性的,多样化的数据集,包含有偏见的单词和句子的注释。特别是,现有的数据集不控制注释者的个人背景,这可能会影响他们的评估,因此,代表了将他们的注释置于上下文的关键信息。在这张海报中,我们提出了一种基于矩阵的方法,使用自主开发的注释平台来众包这些数据。我们还提出了MBIC(媒体偏见包括特征)-第一个样本的1,700个陈述代表各种媒体偏见的情况。这些陈述由10名注释者审查,每个注释者都包含在单词和句子层面上识别媒体偏见的标签。MBIC是第一个关于媒体偏见的数据集,报告了注释者特征及其个人背景的详细信息。目前的数据集已经大大扩展了这一领域的现有数据,为偏见的感知提供了独特和更可靠的见解。在未来,我们将进一步扩展它的文章和每篇文章的注释者的数量。
2021-05-20 cs.CL
Self-Adaptive Reconstruction with Contrastive Learning for Unsupervised Sentence Embeddings
South China University of Technology(华南理工大学);School of Computer Science and Engineering(计算机科学与工程学院)
针对预训练语言模型词元偏置导致无监督句嵌入细粒度语义丢失的问题,提出SARCSE框架,通过自编码器重构全部词元并引入自适应重构损失,在7个STS任务上显著优于SimCSE。
2024-02-23 cs.CL cs.LG
Exploiting Transformer-based Multitask Learning for the Detection of Media Bias in News Articles
University of Wuppertal(伍珀塔尔大学);University of Konstanz(康斯坦茨大学);University of Passau(帕绍大学);Institute for Artificial Intelligence Research and Development of Serbia(塞尔维亚人工智能研发研究院);University of Kassel(卡塞尔大学);NII Tokyo(东京国立信息学研究所)
媒体对公众对事件的看法有重大影响。对任何话题的片面或两极分化的观点通常被描述为媒体偏见。在新闻报道中引入偏见的方法之一就是改变用词。有偏见的词语选择并不总是显而易见的,也不表现出高度的上下文依赖性。因此,检测偏差往往是困难的。我们提出了一个基于transformer的深度学习架构,通过多任务学习训练,使用六个偏见相关的数据集来解决媒体偏见检测问题。我们的最佳性能实现达到了0.776的宏$F_{1}$,与我们的基线相比,性能提高了3%,优于现有的方法。我们的研究结果表明,多任务学习作为一个有前途的替代方案,以改善现有的基线模型,在确定倾斜的报告。
2022-11-07 cs.CL
In Plain Sight: Media Bias Through the Lens of Factual Reporting
Northeastern University(东北大学);Texas A&M University(得克萨斯农工大学)
新闻媒体中政治偏见的日益普遍,要求提高公众对它的认识,并采取强有力的检测方法。虽然NLP之前的工作主要集中在语言属性(如单词选择和语法)所捕获的词汇偏见,但其他类型的偏见源于文本中选择的实际内容。在这项工作中,我们调查的信息偏见的影响:事实的内容,但可以部署到动摇读者的意见。我们首先产生了一个新的数据集,BASIL,300篇新闻文章注释与1,727个偏见跨度,并找到证据表明,信息偏见出现在新闻文章中更频繁地比词汇偏见。我们进一步研究我们的注释,以观察不同媒体的新闻文章中信息偏见的表面。最后,通过对标记数据进行微调BERT,提出了信息偏差预测的基线模型,指出了任务的挑战和未来的发展方向。
2019-09-05 cs.CL
Improved Models for Media Bias Detection and Subcategorization
Information Access Research Group, Coburg University of Applied Sciences(信息获取研究组,科堡应用科学大学);University of Sheffield, Department of Computer Science(谢菲尔德大学,计算机科学系)
本文提出改进的模型用于检测和分类新闻媒体偏见,通过比较不同模型性能并利用合成数据提升准确性。
2024-12-16 cs.CL