Detecting Unintended Social Bias in Toxic Language Datasets
Indian Institute of Technology Bombay(印度理工学院孟买分校)
随着网络仇恨言论的兴起,仇恨言论、攻击性文本的自动检测作为一项自然语言处理任务越来越受欢迎。然而,很少有研究从这些有毒的语言数据集中检测出无意的社会偏见。本文介绍了一个新的数据集ToxicBias策展从现有的Kaggle比赛的数据集命名为“拼图意外偏见毒性分类”。我们的目标是检测社会偏见,其类别和目标群体。该数据集包含注释了五个不同偏倚类别的实例,即,性别、种族/民族、宗教、政治和LGBTQ。我们使用我们策划的数据集训练基于transformer的模型,并报告偏差识别、目标生成和偏差影响的基线性能。模型偏差及其缓解也进行了详细讨论。我们的研究激励了从有毒语言数据集中系统地提取社会偏见数据。在这项工作中用于实验的所有代码和数据集都是公开的
2022-10-21 cs.CL
Detecting Linguistic Bias in Government Documents Using Large language Models
Ministerie van OCW(荷兰教育、文化与科学部);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文构建专家标注的荷兰政府文件偏见检测数据集 DGDB,微调 BERT 类模型并与生成式语言模型比较,证明微调方法性能更优。
2025-02-19 cs.CL
Detecting and Reducing Bias in a High Stakes Domain
Columbia University(哥伦比亚大学);University of California, Berkeley(加州大学伯克利分校)
芝加哥等城市的帮派青年有时会在社交媒体上发帖,表达他们对敌对帮派的攻击性,此前的研究表明,深度学习方法可以预测帖子中的攻击性和损失。为了解决在这个敏感的应用程序中存在偏差的可能性,我们开发了一种方法来系统地解释最先进的模型。令人惊讶的是,我们发现,它经常将其预测基于诸如“a”或“on”之类的停止词,这种方法可能会伤害没有攻击意图的社交媒体用户。为了解决这种偏见,领域专家对基本原理进行了注释,突出了解释为什么推文被贴上“侵略”标签的单词。这些新的注释使我们能够定量地衡量模型预测的合理性,并构建能够大大减少偏差的模型。我们的研究表明,在高风险的情况下,准确性本身不能保证一个良好的系统,我们需要新的评估方法。
2019-10-23 cs.CL
Detecting dementia in Mandarin Chinese using transfer learning from a parallel corpus
University of Toronto(多伦多大学);Vector Institute(矢量研究所);Academia Sinica(中央研究院);Toronto Rehabilitation Institute(多伦多康复研究所)
机器学习已经显示出通过语音自动检测阿尔茨海默病(AD)的前景;然而,数据的稀缺阻碍了这一努力,特别是英语以外的语言。我们提出了一种方法来学习两种语言中独立设计的词汇句法特征之间的对应关系,使用大型并行语料库的域外电影对话数据。我们将其应用于普通话中的痴呆检测,并证明我们的方法优于单语和基于机器翻译的基线。这似乎是第一项在检测认知能力下降时转移特征域的研究。
2019-06-01 cs.CL
Detecting Bias and Enhancing Diagnostic Accuracy in Large Language Models for Healthcare
Dalla Lana School of Public Health, University of Toronto(多伦多大学达拉·拉纳公共卫生学院)
该研究针对医疗领域大语言模型的偏差与误诊问题,构建BiasMD、DiseaseMatcher两个数据集,微调出EthiClinician模型,在伦理推理和临床判断上均优于GPT-4,为医疗AI的安全可靠设立新基准。
2024-10-09 cs.CL
Are LLMs Rational Investors? A Study on Detecting and Reducing the Financial Bias in LLMs
School of Computer Science, Fudan University(复旦大学计算机科学技术学院);Institute of Fintech, Fudan University(复旦大学金融科技研究院);School of Electronics and Information Engineering, Tongji University(同济大学电子与信息工程学院);Tandon School of Engineering, New York University(纽约大学坦登工程学院);DataGrand Inc.(数据堂公司)
本文提出金融偏见指标(FBI)框架,通过行为金融学与因果去偏方法评估并减少23个大语言模型中的金融非理性偏见,为构建更可靠的金融分析工具奠定基础。
2024-07-01 cs.CL
PolBiX: Detecting LLMs' Political Bias in Fact-Checking through X-phemisms
Quality & Usability Lab, Technische Universität Berlin(柏林技术大学质量与可用性实验室);German Research Center for Artificial Intelligence (DFKI), Berlin(德国人工智能研究中心(DFKI));Department of Media and Communication, Ludwig-Maximilians-Universität München(慕尼黑路德维希-马克西米利安大学媒体与传播系)
本文通过构造德语委婉语/贬义语最小对立陈述对,系统评估六个大语言模型在事实核查中的政治偏见,发现评判性词语比政治倾向更能影响真实性判断,且提示中呼吁客观主义无法缓解偏见。
2025-09-23 cs.CL
Does Welsh media need a review? Detecting bias in Nation.Cymru's political reporting
University of Cambridge, Cambridge, United Kingdom(剑桥大学)
本文通过计算方法检测威尔士媒体中的偏见,发现Reform UK的报道偏见程度显著高于Plaid Cymru,为威尔士媒体审查提供依据。
2026-04-22 cs.CL
Detecting Bias in Large Language Models: Fine-tuned KcBERT
College of Science, Sungkyunkwan University(成均馆大学理学院)
本研究使用KcBERT和KOLD数据微调模型,通过MLM和LPBS、CBS指标评估韩语模型中的社会偏见,并提出数据平衡和去偏正则化两种缓解方法,证明韩语模型存在语言依赖的社会偏见。
2024-03-16 cs.CL
Diffusion Theory as a Scalpel: Detecting and Purifying Poisonous Dimensions in Pre-trained Language Models Caused by Backdoor or Bias
Peking University(北京大学);Tencent Inc.(腾讯公司)
提出Fine-purifying方法,利用扩散理论分析微调动态,检测并重置有毒维度,在小型干净数据集上有效净化带后门或偏见的预训练语言模型。
2023-05-08 cs.CL
Detecting Gender Bias in Course Evaluations
Chalmers University of Technology(查尔姆斯理工大学)
本文基于机器学习和NLP方法分析课程评价数据,发现学生评价内容因主考教师性别而异,并通过对比英语和瑞典语课程揭示更细微的性别偏见。
2024-04-02 cs.CL cs.LG
Detecting Gender Bias in Transformer-based Models: A Case Study on BERT
University of Connecticut(康涅狄格大学);University of New Mexico(新墨西哥大学);George Mason University(乔治梅森大学);Illinois Institute of Technology(伊利诺伊理工学院);Stevens Institute of Technology(斯蒂文斯理工学院)
在本文中,我们提出了一种新的性别偏见检测方法,利用注意力地图的transformer为基础的模型。通过对注意力模块的修改,设计了性别偏见检测器; 3)将性别偏见检测器插入到模型的不同位置,以呈现性别偏见的内部流程,4)通过扫描整个维基百科(一个BERT预训练数据集)得出一致的性别偏见结论。我们观察到:1)注意力矩阵,Wq和Wk比其他模块引入更多的性别偏见(包括嵌入层)和2)偏差度在模型内部周期性地变化(注意矩阵Q,K,V,以及注意层的剩余部分(包括全连接层,剩余连接,以及层归一化模块)增强了性别偏差,而平均注意力减小了偏差)。
2021-10-15 cs.CL cs.LG
Detecting and Mitigating Bias in LLMs through Knowledge Graph-Augmented Training
Althire AI(阿尔泰人工智能公司);Gen AI Research(生成式人工智能研究院)
本研究提出知识图谱增强训练(KGAT)方法,利用结构化领域知识缓解大型语言模型中的偏见,通过在Gender Shades等数据集上的评估与针对性策略,显著降低了偏见输出并提升了公平性指标。
2025-04-01 cs.AI cs.CL
Towards detecting unanticipated bias in Large Language Models
Munich University of Applied Sciences(慕尼黑应用科学大学)
针对大型语言模型中研究不足的隐性、未预见偏见,本文提出结合不确定性量化与可解释 AI 方法,评估决策确定性并揭示内部过程,以提升偏见检测能力与 AI 公平性、透明度。
2024-04-03 cs.AI cs.CL cs.LG
Cross-lingual Transfer Can Worsen Bias in Sentiment Analysis
University of Edinburgh(爱丁堡大学)
本研究通过反事实评估发现,情感分析中使用跨语言迁移通常比单语迁移引入更多性别和种族偏见,并发布了1,525个模型及评估代码以促进相关研究。
2023-05-22 cs.CL
Detecting Prefix Bias in LLM-based Reward Models
Washington University in St Louis(华盛顿大学圣路易斯分校);Meta Platforms, Inc.(Meta平台公司)
本文提出检测基于LLM的奖励模型中前缀偏差的新方法,揭示了模型在种族和性别维度上的显著偏差,并提出数据增强策略有效缓解该偏差,强调公平AI需采用偏差感知的数据集设计。
2025-06-19 cs.AI cs.CL
Detecting Emergent Intersectional Biases: Contextualized Word Embeddings Contain a Distribution of Human-like Biases
George Washington University(乔治华盛顿大学)
以语言的统计特征反映了人类的隐性偏见为出发点,可以测量英语静态词嵌入中的偏见。最先进的神经语言模型根据单词出现的上下文生成动态词嵌入。当前的方法测量出现在句子模板定义的特定上下文中的预定义的社会和交叉偏见。免除模板,我们介绍了语境化嵌入关联测试(CEAT),它可以总结神经语言模型的整体偏差的大小,通过纳入随机效应模型。社会和交叉偏见的实验表明,CEAT发现所有测试的偏见的证据,并提供了全面的信息,在不同的情况下,相同的偏见的影响幅度的方差。我们研究的所有英语语料库训练的模型都包含有偏见的表征。此外,我们开发了两种方法,交叉偏见检测(IBD)和新兴交叉偏见检测(EIBD),自动识别交叉偏见和新兴交叉偏见从静态词嵌入除了测量它们在上下文词嵌入。我们提出了第一个算法偏见检测结果,交叉组成员如何强烈相关的独特的紧急偏见,不重叠的偏见,他们的组成少数民族的身份。IBD和EIBD在检测非裔美国女性和墨西哥裔美国女性的交叉和突发偏见时具有很高的准确性。我们的研究结果表明,在种族和性别的交叉点与多个少数群体的成员,如非洲裔美国女性和墨西哥裔美国女性的偏见,在所有的神经语言模型的幅度最高。
2021-05-19 cs.AI cs.CL cs.CY
To Bias or Not to Bias: Detecting bias in News with bias-detector
Technical University of Munich (TUM)(慕尼黑技术大学);Sapienza University of Rome(罗马大学)
本文提出了一种基于RoBERTa模型的句子级偏见检测方法,通过微调专家标注的BABE数据集,在媒体偏见检测中实现了性能提升,并探讨了上下文感知建模等未来方向。
2025-12-26 cs.AI cs.CL cs.HC
Text Style Transfer for Bias Mitigation using Masked Language Modeling
University of Antwerp(安特卫普大学)
众所周知,互联网和其他数字平台上的文本数据包含大量偏见和刻板印象。虽然许多这样的文本包含固有地存在于自然语言中的刻板印象和偏见,其原因不一定是恶意的,但有关键的原因来减轻这些偏见。首先,这些文本正被用作训练语料库,为简历筛选、搜索引擎和聊天机器人等突出应用训练语言模型;这些应用正在产生歧视性的结果。此外,一些研究结果得出结论,有偏见的文本对目标人口群体有显着影响。例如,男性化措辞的招聘广告往往对女性申请人不那么有吸引力。在本文中,我们提出了一个文本风格转换模型,可以用来自动去偏文本数据。我们的风格转换模型改进了许多现有风格转换技术的局限性,例如内容信息丢失。我们的模型通过将潜在内容编码与显式关键字替换相结合来解决这些问题。我们将证明,这种技术产生更好的内容保存,同时保持良好的风格转移的准确性。
2022-01-21 cs.CL
Black is to Criminal as Caucasian is to Police: Detecting and Removing Multiclass Bias in Word Embeddings
Microsoft AI Development Acceleration Program(微软人工智能发展加速计划);Carnegie Mellon University(卡内基梅隆大学)
在线文本--跨越体裁、领域和风格--充斥着人类的刻板印象,以公开或微妙的方式表达。在这些文本上训练的词嵌入使这些刻板印象永久化并放大,并将偏见传播到使用词嵌入作为特征的机器学习模型。在这项工作中,我们提出了一种方法来消除种族和宗教等多类设置中的词嵌入,扩展了Bolukbasi等人的工作,2016)从二进制设置,如二进制性别。接下来,我们提出了一种新的方法来评估多类去偏置。我们证明了我们的多类去偏是强大的,并保持在标准的NLP任务的功效。
2019-07-02 cs.CL cs.LG stat.ML
Detecting and Mitigating Indirect Stereotypes in Word Embeddings
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出BIRM方法,通过在学习嵌入前修改词间共现概率来消除偏见属性影响,以缓解词嵌入中的间接偏见,实验证明其能降低偏见且仅轻微影响语义质量。
2023-05-23 cs.CL cs.LG
DS@GT at CheckThat! 2025: Detecting Subjectivity via Transfer-Learning and Corrective Data Augmentation
Georgia Institute of Technology(佐治亚理工学院)
本文提出结合迁移学习与GPT-4o校正性数据增强的方法,用于检测英语新闻中的主观性,在CheckThat! 2025任务中排名16/24,验证了编码器专业化与标签一致增强的有效性。
2025-07-08 cs.AI cs.CL
Towards Equitable AI: Detecting Bias in Using Large Language Models for Marketing
Horace Mann School(霍勒斯·曼恩学校);Columbia University(哥伦比亚大学);Arab American University(阿拉伯美国大学)
本研究通过ChatGPT生成1,700条面向17个人口统计群体的金融营销口号,并结合相对偏见计算与KS检验,揭示AI营销信息存在显著的人口统计偏见。
2025-02-18 cs.CL cs.CY
Investigating Bias in Multilingual Language Models: Cross-Lingual Transfer of Debiasing Techniques
KU Leuven(鲁汶大学);IESEG School of Management(IESEG管理学院);University of Applied Sciences Darmstadt(达姆施塔特应用科学大学);University of Southampton(南安普顿大学)
本研究探究多语言模型中去偏技术的跨语言迁移,利用mBERT验证其在英法德荷四种语言上的可行性,发现SentenceDebias效果最佳,平均降低偏见13%,且无性能损失,为多语言偏见缓解提供指导。
2023-10-16 cs.CL
A Data-Centric Approach to Detecting and Mitigating Demographic Bias in Pediatric Mental Health Text: A Case Study in Anxiety Detection
University College London(伦敦大学学院);Queen Mary University of London(伦敦玛丽女王大学);University of Cincinnati(辛辛那提大学);Oak Ridge National Laboratory(橡树岭国家实验室)
本文提出一种以数据为中心的去偏方法,通过中和性别化语言并保留临床关键信息,缓解儿科心理健康文本中的人口统计学偏差,在焦虑检测中将诊断偏差降低最多27%。
2024-12-30 cs.AI cs.CL
Towards Unbiased Evaluation of Detecting Unanswerable Questions in EHRSQL
KAIST(韩国科学技术院);University of British Columbia(不列颠哥伦比亚大学)
本文发现EHRSQL数据集中不可回答问题存在可通过N-gram模式识别的偏差,并提出调整验证集与测试集划分的去偏方法,在MIMIC-III上验证了其有效性。
2024-04-29 cs.AI cs.CL
Detecting Languages Unintelligible to Multilingual Models through Local Structure Probes
Polytechnique Montréal(蒙特利尔理工学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Quebec Artificial Intelligence Institute (Mila)(魁北克人工智能研究所(Mila))
为低资源和濒危语言提供更好的语言工具对于公平增长至关重要。大规模多语言预训练模型的最新进展已被证明在执行zero-shot迁移到各种语言方面非常有效。然而,这种转移并不是普遍的,目前多语种办法不理解许多语文。据估计,只有72种语言拥有一个“小的标记数据集”,我们可以测试模型的性能,绝大多数语言没有可用的资源来简单地评估性能。在这项工作中,我们试图澄清哪些语言做,并没有从这种转移目前受益。为此,我们开发了一种通用方法,只需要未标记的文本来检测哪些语言不能很好地理解跨语言模型。我们的方法是来自假设,如果一个模型的理解是不敏感的扰动,以文本的语言,它很可能有一个有限的理解该语言。我们构建了一个跨语言的句子相似性任务,以评估我们的方法经验上的350,主要是低资源,语言。
2022-11-09 cs.CL
Detecting early signs of depression in the conversational domain: The role of transfer learning in low-resource scenarios
PRHLT research center, Universitat Politècnica de València(瓦伦西亚理工大学PRHLT研究中心);Faculty of Mathematics and Computer Science, University of Bucharest(布加勒斯特大学数学与计算机科学学院);CIIRC, Czech Technical University(捷克技术大学捷克信息学、机器人与控制论研究所)
抑郁症在社会中的高度流行引起了对新的数字化工具的需求,以帮助其早期发现。为此,现有的研究主要集中在检测社交媒体领域的抑郁症,其中有足够的数据量。然而,随着Siri或Alexa等会话代理的兴起,会话领域变得越来越重要。不幸的是,缺乏对话领域的数据。我们进行了一项研究,侧重于领域自适应从社会媒体到会话域。我们的方法主要利用文本的矢量表示中保留的语言信息。我们描述了迁移学习技术,以分类用户谁患有抑郁症的早期迹象与高回忆。我们在一个常用的会话数据集上实现了最先进的结果,并且我们强调了该方法如何轻松地用于会话代理。我们公开发布所有源代码。
2022-04-22 cs.CL cs.LG
Confident, Calibrated, or Complicit: Probing the Trade-offs between Safety Alignment and Ideological Bias in Language Models in Detecting Hate Speech
School of Physics, Mathematics and Computing(物理、数学与计算学系);Network Analysis and Social Influence Modelling (NASIM) Lab(网络分析与社会影响建模实验室);The University of Western Australia(西澳大学)
该研究探究大语言模型安全对齐程度与仇恨言论检测表现的关联,发现已审查模型准确率更高但存在意识形态锚定效应,且所有模型均存在语言理解缺陷、公平性差异和过度自信问题,呼吁构建更完善的审计框架。
2025-08-31 cs.AI cs.CL cs.IR
DeepPavlov at SemEval-2024 Task 8: Leveraging Transfer Learning for Detecting Boundaries of Machine-Generated Texts
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
针对人机混合写作的文本边界检测需求,DeepPavlov团队提出基于DeBERTaV3有监督微调的数据增强流水线,在SemEval-2024任务8中取得了最优MAE成绩。
2024-05-17 cs.AI cs.CL
Detecting Insincere Questions from Text: A Transfer Learning Approach
Pune Institute of Computer Technology(浦那计算机技术学院)
今天的互联网已经成为一个无与伦比的信息来源,人们在Quora、Reddit、StackOverflow和Twitter等基于内容的网站上交谈,提出疑问,并与世界分享知识。这些网站出现的一个主要问题是有毒评论或不真诚的情况激增,其中用户不是保持真诚的动机,而是沉迷于传播有毒和分裂的内容。应对这种情况的直接行动是事先检测此类内容并防止其在线存在。近年来,自然语言处理中的迁移学习得到了前所未有的发展。今天,随着Transformers和各种最先进的创新的存在,各种NLP领域已经取得了巨大的增长。BERT的引入在NLP社区引起了不小的轰动。如前所述,当发布时,BERT主导了性能基准测试,从而激励了许多其他作者对其进行实验并发布类似的模型。这导致了整个BERT家族的发展,每个成员都专注于不同的任务。在本文中,我们解决了不真诚的问题分类问题,微调四个切割年龄模型,即BERT,RoBERTa,蒸馏BERT和ALBERT。
2020-12-07 cs.AI cs.CL cs.LG
Contaminated Collaboration: Measuring Gender Bias Transfer in LLM-Assisted Student Writing
Brac University(布拉卡大学)
通过实验发现,使用性别偏见的LLM写作助手会显著增加学生职业规划作文中的性别刻板印象,且偏见迁移不对称:女性目标作文的能动性被抑制,男性目标作文受影响较小。
2026-06-16 cs.CL cs.HC
Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer
Microsoft Research AI(微软研究院人工智能);University of California, Los Angeles(加州大学洛杉矶分校)
多语言表示将来自许多语言的单词嵌入到单个语义空间中,使得具有相似含义的单词彼此接近,而不管语言。这些嵌入已被广泛用于各种环境中,例如跨语言迁移,其中在一种语言上训练的自然语言处理(NLP)模型被部署到另一种语言。虽然跨语言迁移技术是强大的,他们携带性别偏见从源语言到目标语言。在本文中,我们研究了多语言嵌入中的性别偏见以及它如何影响自然语言处理应用程序的迁移学习。我们创建了一个多语言数据集的偏见分析,并提出了几种方法来量化偏见的多语言表示从内在和外在的角度。实验结果表明,当我们将嵌入对齐到不同的目标空间时,多语言表示中的偏差大小会发生不同的变化,并且对齐方向也会对迁移学习中的偏差产生影响。我们还提供了使用多语言单词表示的下游任务的建议。
2020-05-02 cs.CL cs.CY cs.LG
Towards Transfer Unlearning: Empirical Evidence of Cross-Domain Bias Mitigation
The University of Tokyo(东京大学);The University of Edinburgh(爱丁堡大学);RIKEN AIP(理化学研究所人工智能项目)
本文提出一种基于掩码语言建模的遗忘技术,通过对仇恨言论执行梯度上升来选择性遗忘有害内容,有效缓解LLMs偏见并保持语言能力,且揭示了跨领域迁移遗忘的潜力。
2024-07-24 cs.CL cs.LG
Style Transfer as Bias Mitigation: Diffusion Models for Synthetic Mental Health Text for Arabic
School of Engineering and Applied Science(工程与应用科学学院);George Washington University(乔治·华盛顿大学)
本文提出基于扩散模型的风格迁移方法,用于生成阿拉伯语心理健康文本,以缓解性别偏见问题。
2026-01-20 cs.AI cs.CL
Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases
NVIDIA(英伟达);California Institute of Technology(加州理工学院)
检测文本中的社会偏见是具有挑战性的,因为细微差别,主观性,以及难以获得高质量的大规模标记数据集,特别是考虑到社会偏见和社会的演变性质。为了解决这些挑战,我们提出了一种基于Few-Shot的方法来提示预训练的语言模型(LM)。我们从一个小的支持库中选择了一些类平衡的样本,这些样本最接近嵌入空间中要标记的查询。然后,我们为LM提供指令,该指令由标记样本的子集、要分类的查询文本、偏差的定义组成,并提示LM做出决定。我们证明了在Few-Shot上下文中使用的大型LM可以检测不同类型的细粒度偏差,其精度与微调模型相似,有时甚至更高。我们观察到,与较小的模型相比,最大的530B参数模型在检测社会偏见方面明显更有效(与其他模型相比,AUC指标至少提高了13%)。当标记的储存库减少到$100$样品时,它也保持高AUC(下降小于2%)。因此,大型的预训练语言模型使得构建新的偏见检测器变得更容易和更快。
2022-04-15 cs.AI cs.CL
Fine-Grained Bias Detection in LLM: Enhancing detection mechanisms for nuanced biases
Amazon(亚马逊)
本文提出一种融合上下文分析、注意力可解释性与反事实数据增强的细粒度偏见检测框架,通过对比提示和合成数据集提升大语言模型中细微偏见的识别能力,并验证其在教育、法律和医疗等敏感场景中的透明性与负责任部署价值。
2025-03-08 cs.AI cs.CL
Bias after Prompting: Persistent Discrimination in Large Language Models
Apple(苹果公司)
针对偏见迁移假设的错误认知,研究验证提示适配下大语言模型的偏见迁移现象,发现主流提示去偏方法无法持续阻断偏见迁移,指出修正模型固有偏见的重要性。
2025-11-19 cs.CL cs.LG
CBBQ: A Chinese Bias Benchmark Dataset Curated with Human-AI Collaboration for Large Language Models
Tianjin University(天津大学)
本研究提出中文偏见基准数据集CBBQ,通过人机协作构建超10万个涵盖14个社会维度的测试问题,实验表明10个公开中文大模型均存在偏见,微调可促使模型实现道德自我纠正。
2023-06-28 cs.AI cs.CL
Disentangling Structure and Style: Political Bias Detection in News by Inducing Document Hierarchy
KAIST AI(韩国科学技术院人工智能学院);KAIST Moon Soul Graduate School of Future Strategy(韩国科学技术院文术未来战略研究生院)
本文提出一种多头层级注意力模型,通过同时建模句子语义和文档修辞结构,实现与写作风格无关的新闻政治偏见检测,并在稳健性和准确性上优于已有方法。
2023-10-27 cs.CL cs.LG
Fine-Tuned Multi-Agent Framework for Detecting OCEAN in Life Narratives
Southern Methodist University(南卫理公会大学);Washington University in St. Louis(圣路易斯华盛顿大学)
研究旨在从文本中准确评估人格,提出微调多智能体框架,通过掩码语言建模和心理测量监督让子智能体针对特质采用不同视角,评判大语言模型生成预测,经实验验证该方法可扩展且可解释,突出多智能体推理优势。
2026-07-15 cs.CL cs.LG cs.MA
Evaluating LLMs for Demographic-Targeted Social Bias Detection: A Comprehensive Benchmark Study
本文通过评估LLM在检测定向社会偏见的能力,探讨了多标签任务和多种技术的系统性评估,揭示了规模化检测的潜力与不足。
2026-04-09 cs.CL cs.CY cs.LG
Deep Learning for Detecting Cyberbullying Across Multiple Social Media Platforms
Indian Institute of Technology, Guwahati(印度理工学院古瓦哈提分校)
网络欺凌的骚扰是社交媒体上的一个重要现象。现有的网络欺凌检测工作至少有以下三个瓶颈之一。首先,他们只针对一个特定的社交媒体平台(SMP)。第二,它们只涉及网络欺凌的一个主题。第三,它们依赖于精心手工制作的数据特征。我们表明,基于深度学习的模型可以克服所有这三个瓶颈。这些模型在一个数据集上学到的知识可以转移到其他数据集。我们使用三个真实世界的数据集进行了广泛的实验:Formspring(12k帖子),Twitter(16k帖子)和维基百科(100k帖子)。我们的实验提供了一些有用的见解网络欺凌检测。据我们所知,这是第一项使用基于深度学习的模型和迁移学习系统地分析多个SMP中各种主题的网络欺凌检测的工作。
2018-01-19 cs.CL cs.IR cs.SI
ReDepress: A Cognitive Framework for Detecting Depression Relapse from Social Media
Indian Institute of Technology Bombay(印度理工学院班加罗尔)
本文提出首个经临床验证的抑郁症复发检测数据集ReDepress及认知框架,融合注意偏向、解释偏向、记忆偏向和反刍等认知标记,使基于Transformer的时序模型F1达到0.86,验证了认知理论在早期复发检测中的有效性。
2025-09-22 cs.AI cs.CL cs.LG
Evaluating Gender Bias Transfer between Pre-trained and Prompt-Adapted Language Models
Apple(苹果公司)
本文考察提示适配场景下的性别偏见迁移,发现 Mistral、Falcon 和 Llama 的预训练内在偏见与零样本、少样本及公平/偏见提示下的表现高度相关。
2024-12-04 cs.AI cs.CL cs.LG
Detecting and Mitigating Treatment Leakage in Text-Based Causal Inference: Distillation and Sensitivity Analysis
Institute for Analytical Sociology, Linköping University, Sweden(分析社会学研究所,利乌波尔大学);Department of Computer Science and Engineering, Chalmers University of Technology, Sweden(计算机科学与工程系,查尔姆斯理工大学);Department of Government, University of Texas at Austin, USA(政府系,德克萨斯大学奥斯汀分校)
本文提出了一种基于文本的因果推断中检测和缓解处理泄漏的方法,通过蒸馏和敏感性分析来减少偏倚并提高估计精度。
2025-12-30 cs.CL econ.EM econ.GN