Identifying Bias in Machine-generated Text Detection
Pindrop
研究发现机器生成文本检测系统存在性别、种族、ELL状态和经济状况等方面的偏见,部分模型对弱势群体存在误判,且人工标注未发现显著偏见。
2025-12-10 cs.AI cs.CL
Automated assessment of non-native learner essays: Investigating the role of linguistic features
Iowa State University(爱荷华州立大学)
自动论文评分(AES)是指对给定提示的自由文本响应进行评分的过程,将人类评分者的分数视为黄金标准。写这样的文章是许多语言和能力测试的重要组成部分。因此,AES成为一个活跃和成熟的研究领域,今天有许多专有系统用于实际应用。然而,关于哪些特定的语言特征对预测有用以及这些特征在多大程度上在数据集之间是一致的,我们知之甚少。这篇文章通过使用两个公开的非母语英语作文数据集来探索各种语言特征在自动作文评分中的作用来解决这个问题。通过对特征集中学习者语言的词汇、句法、语篇和错误类型进行编码,对语言属性进行建模。然后使用这两个数据集上的这些特征开发预测模型,并比较最具预测性的特征。虽然结果表明,使用的特征集在两个数据集上都能产生良好的预测模型,但问题是“什么是最具预测性的特征?“对于每个数据集都有不同的答案。
2016-12-02 cs.CL
Investigating first-language bias in LLM-based automated essay scoring: A cross-prompt evaluation of an open-weight AI-model on TOEFL essays
研究基于大语言模型的自动作文评分中母语偏见,用LoRA适配的开放权重模型Gemma-3-27B-it,在托福作文语料库测试其跨提示泛化和母语评分效果,发现有评分偏移,实现了较高等级一致性,是首次此类大规模L1公平性分析。
2026-07-17 cs.CL cs.CY
Explanation Bias is a Product: Revealing the Hidden Lexical and Position Preferences in Post-Hoc Feature Attribution
Computational Linguistics and Text Mining Lab, Vrije Universiteit Amsterdam(计算语言学与文本挖掘实验室,荷兰自由大学);TNO–The Netherlands Organization for Applied Scientific Research, The Hague(荷兰应用科学研究院(TNO),海牙);Leiden University Centre for Linguistics (LUCL), Leiden University, Leiden(莱顿大学语言中心(LUCL),莱顿大学,莱顿)
本文通过构建无模型和方法依赖的评估框架,系统评估了两种transformer模型的词汇和位置偏差,发现模型在词汇偏差和位置偏差之间存在权衡,并发现异常解释更可能带有偏差。
2026-04-20 cs.AI cs.CL
Contaminated Collaboration: Measuring Gender Bias Transfer in LLM-Assisted Student Writing
Brac University(布拉卡大学)
通过实验发现,使用性别偏见的LLM写作助手会显著增加学生职业规划作文中的性别刻板印象,且偏见迁移不对称:女性目标作文的能动性被抑制,男性目标作文受影响较小。
2026-06-16 cs.CL cs.HC
Does the Prompt-based Large Language Model Recognize Students' Demographics and Introduce Bias in Essay Scoring?
Centre for Learning Analytics, Monash University(学习分析中心,莫纳什大学)
本研究探讨了基于提示的大语言模型在自动作文评分中能否识别学生人口统计特征及引入偏见,发现GPT-4o能部分推断学生第一语言背景,且正确预测时评分偏见更显著,非母语者评分误差增加。
2025-04-30 cs.CL
Implicit Grading Bias in Large Language Models: How Writing Style Affects Automated Assessment Across Math, Programming, and Essay Tasks
Department of Computer Science(计算机科学系);Savitribai Phule Pune University(萨维特里·巴伊·普内大学);Dr. D. Y. Patil School of Science and Technology(D.Y.帕提尔科学与技术学院)
研究探讨了大语言模型在内容正确性不变时,写作风格对评分的隐性偏见,发现作文任务存在显著偏见,而数学和编程任务则无显著偏见。
2026-03-19 cs.CL
Evaluating Austrian A-Level German Essays with Large Language Models for Automated Essay Scoring
Salzburg University of Applied Sciences(萨尔茨堡应用科学大学)
本文利用大型语言模型评估奥地利A级德语作文,发现其在评分一致性上存在显著不足,无法替代人类评分。
2026-03-06 cs.AI cs.CL
Isolating LLM Lexical Bias: A Curation-Free Triangulated Metric for Preference-Stage Learning
Florida State University(佛罗里达州立大学)
提出一种无需人工标注的三角化偏好偏移分数(Triangulated Preference Shift score),通过对比人类标准、基础模型和指令变体,量化偏好学习阶段引入的词汇偏差。
2026-05-29 cs.AI cs.CL
[Re] Badder Seeds: Reproducing the Evaluation of Lexical Methods for Bias Measurement
University of Amsterdam(阿姆斯特丹大学)
在NLP中对抗偏见需要偏见测量。偏差测量几乎总是通过使用种子术语的词典来实现,即指定刻板印象或感兴趣的维度的单词集。这项再现性研究的重点是原作者的主要主张,即这些词典的构建原理需要在使用前进行彻底的检查,因为用于偏差测量的种子本身也会表现出偏差。本研究旨在评价论文中给出的定量和定性结果的重现性及其得出的结论。我们重现了大部分支持原作者一般主张的结果:种子集经常受到偏见的影响,影响其作为偏见指标基线的性能。一般来说,我们的结果反映了原始文件的。它们在某些情况下略有不同,但不会破坏论文显示种子集脆弱性的总体意图。
2022-06-03 cs.AI cs.CL cs.CY
Take its Essence, Discard its Dross! Debiasing for Toxic Language Detection via Counterfactual Causal Effect
School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院);School of Foreign Chinese, Dalian University of Technology(大连理工大学对外汉语学院)
针对毒性语言检测中词汇偏差被无差别消除导致准确率下降的问题,提出反事实因果去偏框架(CCDF),通过因果推断分离并消除误导性影响、保留有用影响,提升了模型的准确率、公平性与分布外泛化能力。
2024-06-03 cs.AI cs.CL
Evaluating Geographic Lexical Knowledge in Large Language Models Across 21 Spanish-Speaking Countries
University of Tokyo(东京大学)
本研究通过评估LLMs对西班牙语地域词形变异的识别能力,揭示了模型在不同方言表现上的系统性差异,并指出数据量之外的因素影响方言表征。
2026-10-28 cs.CL
The Divergence Hypothesis: Unmasking Lexical Interference and Label Bias in Mental Health NLP
Doha Institute for Graduate Studies(多哈高等研究院)
该研究提出TSS诊断框架与DoD统计量,揭示心理健康NLP分类器的词汇干扰与标签偏差,可标记特定标签源的捷径学习,为相关模型审计提供支撑。
2026-08-24 cs.AI cs.CL
Operationalizing Automated Essay Scoring: A Human-Aware Approach
Brigthlands Institute for a Smart Society(智能社会研究院)
本文比较了机器学习与大型语言模型在自动化作文评分中的表现,发现ML模型准确性高但可解释性差,LLMs解释丰富但准确性较低,两者在偏差和边缘分数鲁棒性上均有不足。
2025-10-17 cs.CL cs.CY cs.LG
Towards Robustifying NLI Models Against Lexical Dataset Biases
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
虽然深度学习模型在自然语言推理任务上取得了快速进展,但最近的研究也表明,这些模型通过利用几个数据集偏差来实现高准确性,而无需深入理解语言语义。使用矛盾词偏差和词重叠偏差作为我们的两个偏差的例子,本文探讨了数据级和模型级的去偏置方法,以鲁棒模型对词汇数据集的偏见。首先,我们通过数据增强和增强来消除数据集的偏差,但表明通过这种方法不能完全消除模型偏差。接下来,我们还比较了两种在不事先知道数据集偏差的情况下直接消除模型偏差的方法。第一种方法旨在消除嵌入级别的标签偏差。第二种方法采用词袋子模型来捕获可能利用偏差的特征,并通过强制这两个子模型之间的正交性来防止原始模型学习这些偏差特征。我们对从原始MNLI数据集以及NLI压力测试中提取的新平衡数据集进行了评估,结果表明正交方法在消除模型偏差方面更好,同时保持了具有竞争力的整体准确性。我们的代码和数据可在https://github.com/owenzx/LexicalDebias-ACL2020上获得
2020-05-13 cs.CL cs.LG
LEA: Improving Sentence Similarity Robustness to Typos Using Lexical Attention Bias
NielsenIQ Innovation(尼尔森IQ创新部)
本文提出词汇感知注意力模块 LEA,通过融合句子间词语的原始文本相似度来缓解拼写错误引起的词元分布偏移,从而提升交叉编码器在句子相似度任务中的鲁棒性,并在多个数据集上验证了其有效性。
2023-07-06 cs.AI cs.CL
Klasifikasi Komponen Argumen Secara Otomatis pada Dokumen Teks berbentuk Esai Argumentatif
Universitas Indonesia(印度尼西亚大学)
通过自动识别论证成分,论文作者可以对他们所写的文章进行检查。这将有助于论文评分过程客观和准确,因为论文评分员能够看到如何以及论点组成部分的建设。一些研究者尝试着对论元进行检测和分类,并在一些领域中实现了它。常用的方法是对文本进行特征提取。一般来说,这些特征包括结构特征、词汇特征、句法特征、指示特征和语境特征。在这项研究中,我们添加新的功能到现有的功能。它采用Knott和Dale(1993)的关键词列表。实验结果表明,该方法的论元分类准确率达到72.45%。此外,即使没有关键字列表,我们仍然可以获得相同的准确性。这表明关键字列表对特征没有显著影响。所有的特征在区分主论点和主论点方面仍然是薄弱的,因此我们需要其他的特征来区分这两种论点成分。
2015-12-02 cs.CL cs.IR
Does Continued Pretraining on a Learner Corpus Improve Automated Essay Scoring on English Proficiency Tests? Evidence from EFCAMDAT
University of Greenwich(格林威治大学)
研究通过在EFCAMDAT学习者语料库上进行领域自适应继续预训练(DAPT),探究其对基于Transformer的自动作文评分(AES)在英语水平测试中的影响,发现全语料库DAPT效果不一,而基于CEFR分级的针对性DAPT能更可靠地提升领域内评分性能。
2026-09-16 cs.CL cs.LG
Differentiating Between Human-Written and AI-Generated Texts Using Automatically Extracted Linguistic Features
University of Nicosia(尼科西亚大学)
本研究通过分析人类与AI生成文本的语言特征,揭示了AI在模仿人类写作方面的局限性,并强调了自动化工具在语言评估中的重要性。
2026-02-17 cs.AI cs.CL
Resolving Lexical Bias in Model Editing
Department of Computer Science, Dalhousie University, Halifax, Canada(计算机科学系,达尔豪斯大学,哈利法克斯,加拿大)
本文提出PENME方法,通过学习解耦表示空间解决模型编辑中的词汇偏差问题,实现精确编辑定位,在保持计算效率的同时达到最先进性能。
2025-05-28 cs.CL
Stubborn Lexical Bias in Data and Models
Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本文研究多种交叉词汇虚假关联对NLP模型的累积影响,提出通过优化重加权训练数据减少数千种偏差,却发现模型仍保留顽固偏差。
2023-06-03 cs.CL
An Empirical Analysis on Large Language Models in Debate Evaluation
University of Rochester(罗切斯特大学)
本研究探讨了GPT-3.5和GPT-4在辩论评估中的能力与偏见,发现其表现超越人类和微调模型,并揭示了位置、词汇和结束等固有偏见。
2024-06-04 cs.AI cs.CL
Improving Lexical Difficulty Prediction with Context-Aligned Contrastive Learning and Ridge Ensembling
Mantera Studio(Mantera工作室);The University of Manchester(曼彻斯特大学);Universitas Gadjah Mada(加查马达大学)
本文提出上下文对齐对比回归方法,结合岭回归集成与交叉视图上下文和有序软对比学习,提升跨语言词汇难度预测的准确性和稳定性。
2026-05-09 cs.AI cs.CL
Crowdsourcing Lexical Diversity
Department of Information Engineering and Computer Science, University of Trento(信息工程与计算机科学系,特伦托大学);Palestine Technical University–Kadoorie(巴勒斯坦技术大学–卡多里);Open University of Cyprus, CYENS - Centre of Excellence(塞浦路斯开放大学,CYENS-卓越中心);Lab-STICC CNRS UMR 628, IMT Atlantique(Lab-STICC CNRS UMR 628,IMT阿蒂安大学)
本文提出了一种众包方法,通过比较两种语言的词项来减少词义资源中的偏见,以识别跨语言词义缺口。
2025-11-20 cs.CL
Mechanistic Diagnostics of Spatial Lexical Bias in Multimodal Large Language Model Spatial Reasoning
Kyoto University(京都大学);NII LLMC(日本国立信息与通信技术研究所语言模型中心);RIKEN AIP(日本理化学研究所先进理工研究所);Case Western Reserve University(凯斯西储大学);The Hong Kong Polytechnic University(香港理工大学);The University of Osaka(大阪大学);University of Tokyo(东京大学)
本文发现多模态大语言模型存在空间词汇偏差,即添加空间关系词会吸引模型选择该选项,并通过机制可解释性工具揭示偏差主要源于语言侧而非视觉侧,最后提出轻量级LLM-only DPO更新可有效缓解偏差。
2026-09-01 cs.CL cs.CV
Word Sense Disambiguation in Native Spanish: A Comprehensive Lexical Evaluation Resource
Telef\'onica Innovación Digital, Research, Spain
本文针对西班牙语词义消歧资源匮乏且偏重英语的问题,构建了基于西班牙皇家学院词典的义项清单和词汇数据集,并用最先进系统评估了现有西班牙语资源。
2024-09-30 cs.AI cs.CL
Integrating Multiplicative Features into Supervised Distributional Methods for Lexical Entailment
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Bar-Ilan University(巴伊兰大学)
监督分布方法在词汇蕴涵中得到了成功的应用,但最近的工作质疑这些方法是否真的学习了两个词之间的关系。具体来说,Levy等人(2015)声称线性分类器只学习每个单词的单独属性。我们提出了一种廉价而简单的方法来提高这些方法的性能,将乘法功能集成到常用的表示。我们提供了一个广泛的评估与不同的分类器和评估设置,并建议一个合适的评估设置的任务,消除偏见存在于以前的。
2018-04-24 cs.CL
SMILE: A Composite Lexical-Semantic Metric for Question-Answering Evaluation
Salesforce AI Research(Salesforce人工智能研究)
SMILE是一种结合句子级和关键词级语义理解的新型问答评估度量标准,通过平衡词法精确性与语义相关性,提供全面且高效的评估方法。
2025-11-21 cs.AI cs.CL cs.CV
Detecting Media Bias in News Articles using Gaussian Bias Distributions
Paderborn University(帕德博恩大学);Bauhaus-Universität Weimar(魏玛包豪斯大学)
媒体在塑造公众舆论方面发挥着重要作用。有偏见的媒体可以影响人们在不可取的方向,因此应该被揭露。我们观察到,基于特征和神经文本分类方法,只依赖于低层次的词汇信息的分布无法检测媒体偏见。这一弱点在关于新事件的文章中最为明显,这些文章中的词语出现在新的上下文中,因此它们的“偏见预测性”不清楚。因此,在本文中,我们研究了文章中关于有偏见的陈述的二阶信息如何有助于提高检测效率。特别是,我们利用概率分布的频率,位置和顺序的词汇和信息的重复水平的偏见在高斯混合模型。在现有的媒体偏见数据集上,我们发现有偏见的陈述的频率和位置强烈影响文章水平的偏见,而它们的确切顺序是次要的。使用一个标准的模型,为文章级的偏见检测,我们提供了经验证据表明,文章级的偏见检测器,使用二阶信息明显优于那些没有。
2020-10-20 cs.CL
In Plain Sight: Media Bias Through the Lens of Factual Reporting
Northeastern University(东北大学);Texas A&M University(得克萨斯农工大学)
新闻媒体中政治偏见的日益普遍,要求提高公众对它的认识,并采取强有力的检测方法。虽然NLP之前的工作主要集中在语言属性(如单词选择和语法)所捕获的词汇偏见,但其他类型的偏见源于文本中选择的实际内容。在这项工作中,我们调查的信息偏见的影响:事实的内容,但可以部署到动摇读者的意见。我们首先产生了一个新的数据集,BASIL,300篇新闻文章注释与1,727个偏见跨度,并找到证据表明,信息偏见出现在新闻文章中更频繁地比词汇偏见。我们进一步研究我们的注释,以观察不同媒体的新闻文章中信息偏见的表面。最后,通过对标记数据进行微调BERT,提出了信息偏差预测的基线模型,指出了任务的挑战和未来的发展方向。
2019-09-05 cs.CL
RILEC: Detection and Generation of L1 Russian Interference Errors in English Learner Texts
Higher School of Economics(俄罗斯高等经济学院);Université Claude Bernard Lyon 1(克莱尔蒙特大学里昂1分校);Université Lumière Lyon 2(里昂2大学路易斯大学);ERIC(教育研究与创新中心)
RILEC通过生成语言模型和增强方法,有效检测和生成英语学习者文本中的L1俄语干扰错误。
2026-03-07 cs.CL
Towards Lexical Gender Inference: A Scalable Methodology using Online Databases
Insight SFI Research Centre for Data Analytics(Insight SFI数据分析研究中心);School of ICS(信息与计算科学学院);University College Dublin(都柏林大学学院)
提出了一种在大规模语言数据集中自动检测具有词汇性别的词的新方法。目前,在自然语言处理中对性别偏见的评估依赖于人工编译的性别表达的词典,例如代词(“他”、“她”等)。以及带有词汇性的名词(“mother”、“boyfriend”、“policewoman”等)。然而,如果不定期更新,手工汇编这些列表可能会导致信息静态化,并且往往涉及个人注释者和研究人员的价值判断。此外,未列入清单的术语不在分析范围之内。为了解决这些问题,我们设计了一个可扩展的,基于字典的方法来自动检测词汇性别,可以提供一个动态的,最新的分析,高覆盖率。我们的方法在确定从维基百科样本中随机检索的名词的词汇性别时,以及在以前的研究中使用的性别词列表上进行测试时,准确率达到80%以上。
2022-06-28 cs.CL
Disentangling Dialect from Social Bias via Multitask Learning to Improve Fairness
Leibniz University Hannover(汉诺威莱布尼茨大学);Paderborn University(帕德博恩大学)
针对偏见语言检测中方言导致的性能差异,本文提出将方言建模作为辅助任务的多任务学习方法,在非裔美式英语实验中提升公平性并取得SOTA效果。
2024-06-14 cs.CL
Under the Morphosyntactic Lens: A Multifaceted Evaluation of Gender Bias in Speech Translation
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
性别偏见在很大程度上被认为是一种影响语言技术的问题现象,最近的研究强调,它可能在不同的语言中表现得不同。然而,目前大多数的评价实践都是在综合条件下,对一组狭窄的职业名词进行词级评价。这种协议忽略了语法性别语言的关键特征,其特征是性别协议的形态句法链,标记在各种词汇和词性(POS)上。为了克服这一限制,我们丰富了自然的、性别敏感的Must-SHE语料库(Bentivogli等人,2020)与两个新的语言注释层(POS和协议链),并探讨在何种程度上不同的词汇类别和协议现象的影响性别倾斜。专注于语音翻译,我们对三种语言方向(英语-法语/意大利语/西班牙语)进行了多方面的评估,模型在不同的数据量和不同的分词技术上进行了训练。通过揭示模型行为,性别偏见及其在几个粒度级别上的检测,我们的研究结果强调了专门分析的价值,而不仅仅是汇总的整体结果。
2022-03-18 cs.CL
Automatic transcription of 17th century English text in Contemporary English with NooJ: Method and Evaluation
Samm, Paris-1 University(SAMM机构,巴黎第一大学);Riadi, Manouba University(RIADI机构,马努巴大学);Lancaster University(兰卡斯特大学);Helsinki University(赫尔辛基大学)
自2006年以来,我们一直致力于描述17世纪英语和当代英语之间的差异,这要归功于NLP软件。研究一个跨越整个世纪的语料库(17世纪奥斯曼帝国的英国旅行者的故事,玛丽·阿斯特尔的论文《对女士们的严肃建议》和其他文学文本)使我们能够突出各种词汇,形态或语法的奇异性。感谢NooJ语言平台,我们创建了词典索引词汇变体及其在CE中的转录。后者通常是形态图动态识别的形式验证的结果。我们还建立了句法图表,旨在转录当代英语中的某些古老形式。我们以前的研究暗示了一系列交替的文本分析和结果验证的基本步骤。我们设法提供了transmitting的例子,但我们还没有创建一个全球性的自动转录工具。因此,我们需要关注迄今为止所取得的成果,研究创建这种工具的条件,并分析可能存在的困难。在本文中,我们将讨论我们在以前的工作中尚未涉及的技术和语言方面。我们正在使用以前的研究成果,并提出一个转录方法的单词或序列确定为古老的。
2011-09-22 cs.CL
SURGELLM: Rethinking Multi-Task Evaluation through Task-Aware Feature Gating with Class-Balanced Normalization
Istanbul Technical University(伊斯坦布尔理工大学)
针对异构NLP任务中归纳偏置不匹配、类别不平衡和缺乏外部词汇知识的问题,提出统一Transformer框架SURGELLM,包含手术特征门控、任务条件前缀令牌和实例加权归一化,在四个任务上平均F1提升0.036。
2026-10-27 cs.AI cs.CL
Combining Lexical and Syntactic Features for Detecting Content-dense Texts in News
Redfin Inc.(Redfin公司);University of Pennsylvania(宾夕法尼亚大学)
内容密集型新闻以直接、简洁的方式报道有关事件的重要事实信息。诸如信息抽取、问答和摘要之类的信息搜索应用通常假设它们处理的所有文本都是内容密集的。在这里,我们实证检验这一假设的新闻文章从商业,美国国际关系,体育和科学新闻领域。我们的研究结果清楚地表明,在我们的研究中,大约有一半的新闻文本实际上是不密集的内容,并激励监督内容密度检测器的发展。我们对一个大型的训练语料库进行了分类标注,并训练了一个基于词汇和非词汇化句法特征的两层分类模型。在手动注释的数据上,我们比较了特定于领域的分类器的性能,这些分类器仅对来自给定新闻领域的数据进行训练,而一般分类器则将来自所有四个领域的数据汇集在一起。我们的注释和预测实验表明,内容密度的概念根据域而变化,天真的注释者提供的判断偏向于刻板的域标签。特定领域分类器对于内容密集文本通常较少的领域更准确。领域独立分类器再现更好的天真众包判断。分类预测在所有条件下都很高,约为80%。
2017-04-03 cs.CL
Exploiting the English Vocabulary Profile for L2 word-level vocabulary assessment with LLMs
ALTA Institute, Department of Engineering, University of Cambridge(ALTA研究所,工程系,剑桥大学)
本文提出将大语言模型与英语词汇画像(EVP)相结合,对二语写作中的单个词进行语境化能力等级评估,实验表明该方法优于基于词性的基线,并能检验EVP等级一致性。
2025-06-03 cs.AI cs.CL
Different Time, Different Language: Revisiting the Bias Against Non-Native Speakers in GPT Detectors
Charles University, Faculty of Mathematics and Physics(查理大学数学与物理系);University of Oslo, Language Technology Group(奥斯陆大学语言技术组)
该研究重新审视了GPT检测器对非母语者的偏见问题,发现非母语者的文本困惑度不低,并且现代检测器无需依赖困惑度即可有效工作。
2026-02-05 cs.CL
In-Context Learning (and Unlearning) of Length Biases
University of Virginia(弗吉尼亚大学)
本研究针对大型语言模型上下文学习中未充分探索的统计数据偏差问题,聚焦长度偏差展开实证分析,揭示其对模型预测的影响及调节因素,并验证上下文学习可抵消预编码长度偏差,为模型去偏提供新途径。
2025-02-10 cs.CL
Measuring Inductive Biases of In-Context Learning with Underspecified Demonstrations
New York University(纽约大学);University of Chicago(芝加哥大学);Princeton University(普林斯顿大学);University of Maryland(马里兰大学)
本研究从特征偏置角度探究上下文学习(ICL)的归纳偏置,发现LLMs表现出明显的特征偏好,且干预措施难以完全克服强烈的先验偏置。
2023-05-22 cs.AI cs.CL cs.LG
Are Language Models Borrowing-Blind? A Multilingual Evaluation of Loanword Identification across 10 Languages
本文探讨了预训练语言模型在多语言环境下识别借词的能力,发现模型在区分借词与本土词汇方面表现不佳,对少数语言NLP工具开发和语言保护有重要意义。
2026-03-03 cs.CL
Character-level Chinese Backpack Language Models
Stanford University(斯坦福大学)
在字符分词的中文上训练并评估 Backpack 语言模型,发现其性能与 Transformer 相当,字符语义能组合形成词义,且可通过定位并干预特定字符语义来减少性别偏差。
2023-10-19 cs.CL
A Sociophonetic Analysis of Racial Bias in Commercial ASR Systems Using the Pacific Northwest English Corpus
本研究利用PNWE语料库评估四大商业ASR系统的种族偏见,通过社会语音特征分析发现元音变异是错误率差异主因,非裔美国人受影响最大,并提出改进建议。
2025-10-26 cs.CL
C2PO: Diagnosing and Disentangling Bias Shortcuts in LLMs
Jinan University(济南大学);Nanyang Technological University(南洋理工大学);Engineering Research Center of Trustworthy AI (Ministry of Education)(可信人工智能工程研究中心);Guangxi Key Laboratory of Trusted Software(广西可信软件重点实验室)
C2PO通过因果对比偏好优化框架,解决大语言模型中的偏见问题,同时保持推理能力。
2025-12-29 cs.CL