Synthetic Reader Panels: Tournament-Based Ideation with LLM Personas for Autonomous Publishing
Nimble Books LLC（Nimble Books公司）；Big Five Killer LLC（Big Five Killer公司）
该研究提出利用合成读者面板进行自主出版，通过LLM角色模拟多样化读者进行比赛评估，有效识别内容问题并提升高质量概念比例。
2026-02-16 cs.AI cs.CL cs.CY
Whose doctor does the AI recommend? An algorithm audit of reputation and demographic signals in large language model-assisted physician choice
Heidelberg University（海德堡大学）
该研究通过随机算法审计发现，LLM辅助医生选择时，声誉信号影响最大，人口统计信号存在倾斜但模型解释未体现，提出重复行为审计是合适的监测技术。
2026-08-17 cs.AI cs.CL cs.CY
Different Demographic Cues Yield Inconsistent Conclusions About LLM Personalization and Bias
World Bank（世界银行）；University of Oxford（牛津大学）；New York University（纽约大学）；University of Pennsylvania（宾夕法尼亚大学）；LMU Munich（慕尼黑大学）；Allen Institute for AI（人工智能研究院）
研究通过1480万个提示测试了人口统计线索对LLM响应的影响，发现同一群体的不同线索导致响应变化不一致，偏见结论不稳定，揭示了身份线索与语言信号的关系。
2026-09-01 cs.CL cs.CY
Behind the Mask: Demographic bias in name detection for PII masking
LivePerson Inc.（LivePerson公司）；University of Washington（华盛顿大学）
许多数据集包含个人身份信息或PII，这对个人构成隐私风险。PII掩蔽通常用于从文本数据中编辑姓名、地址和电话号码等个人信息。大多数现代PII掩蔽流水线涉及机器学习算法。然而，这些系统在性能上可能会有所不同，使得来自特定人口统计群体的个人承担其个人信息暴露的更高风险。在本文中，我们评估了三个现成的PII掩蔽系统的名称检测和编辑的性能。我们使用客户服务域中的名称和模板生成数据。我们发现，一个开源的罗伯塔为基础的系统比我们测试的商业模式显示更少的差异。然而，所有系统都表现出基于人口统计学的出错率的显著差异。特别是，最高的出错率发生在与黑人和亚洲/太平洋岛民个人有关的名字上。
2022-05-09 cs.CL
Name-Bias in Large Language Models
University of Maryland（马里兰大学）
本研究评估6个不同参数规模的本地大语言模型的姓名偏见，发现模型偏好非刻板男性、年长、受欢迎的白人名字，性别偏见最显著，强调需标准化评估与缓解策略。
2026-10-16 cs.CL
When Names Change Verdicts: Intervention Consistency Reveals Systematic Bias in LLM Decision-Making
Indian Institute of Information Technology, Allahabad (IIITA)（印度阿勒颇理工学院，阿勒颇（IIITA））；National Institute of Electronics and Information Technology (NIELIT)（国家电子与信息技术研究所（NIELIT））
研究通过干预一致性测试检测LLM对虚假特征的依赖，发现权威偏见和框架偏见显著高于人口偏见，并展示结构化分解方法可大幅降低偏差，通过迭代提示修复实现78%的偏见减少。
2026-03-19 cs.AI cs.CL cs.CY
The Prompt Makes the Person(a): A Systematic Evaluation of Sociodemographic Persona Prompting for Large Language Models
University of Mannheim（曼海姆大学）；GESIS - Leibniz Institute for the Social Sciences（莱布尼茨社会科学研究所）；Complexity Science Hub Vienna（维也纳复杂科学中心）
该研究针对大语言模型社会人口统计人格提示的模拟保真度问题，系统评估不同提示策略对15个交叉群体模拟的影响，发现访谈式提示与姓名启动可减少刻板印象，且小模型表现优于大模型，为相关提示设计提供指导。
2025-10-03 cs.CL
Prompt and Prejudice
University of Florence（佛罗伦萨大学）；University of Siena（锡耶纳大学）
论文通过向伦理场景附加300多个不同性别与族裔名字，审计主流LLM/VLM的人口统计偏见，并提出PSB基准评估日常及贷款、保险等敏感决策中的偏见风险。
2024-08-07 cs.AI cs.CL cs.CY
The Audit Decides the Verdict: Instrument Effects Rival Demographic Bias in LLM Decision Audits
Carnegie Mellon University（卡内基梅隆大学）；Amazon Web Services AI Native（亚马逊网络服务AI原生部门）；Indian Institute of Technology（印度理工学院）
本研究通过大规模实验发现，LLM决策审计结果主要受审计工具设计影响，而非人口统计偏见，且此结论在招聘、贷款和医疗分诊中均成立。
2026-09-09 cs.AI cs.CL cs.CY
ImplicitBBQ: Benchmarking Implicit Bias in Large Language Models through Characteristic Based Cues
International Institute of Information Technology, Hyderabad（国际信息技术学院海得拉巴）；Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）
本文提出ImplicitBBQ基准测试，通过基于特征的提示评估大语言模型中的隐性偏见，发现隐性偏见在模糊情境中比显性偏见高六倍，现有方法难以有效缓解。
2026-11-10 cs.AI cs.CL
Show Less, Instruct More: Enriching Prompts with Definitions and Guidelines for Zero-Shot NER
University of Siena（锡耶纳大学）
针对现有零样本NER大模型微调实体类与测试集重叠的问题，提出SLIMER方法，用含定义和指南的丰富提示、少量示例指导模型处理未见实体标签，性能达SOTA且训练设置更公平鲁棒。
2024-09-18 cs.CL
Nationality and Region Prediction from Names: A Comparative Study of Neural Models and Large Language Models
本研究比较神经模型与大语言模型在国籍预测中的表现，发现LLMs在所有粒度级别均优于神经模型，且在低频国籍上表现下降，错误类型差异显著。
2026-01-19 cs.CL
CLLMFS: A Contrastive Learning enhanced Large Language Model Framework for Few-Shot Named Entity Recognition
iFLYTEK Co., Ltd.（科大讯飞股份有限公司）；Tsinghua University（清华大学）；Huazhong University of Science and Technology（华中科技大学）
针对少样本命名实体识别在跨领域上鲁棒性不足的问题，提出CLLMFS框架，结合低秩适应与对比学习增强大型语言模型的内部表示，有效提升了实体边界感知与识别准确率，在多个基准上取得显著的F1分数提升。
2024-08-23 cs.AI cs.CL
Obscured but Not Erased: Evaluating Nationality Bias in LLMs via Name-Based Bias Benchmarks
NatWest AI Research（国民西敏寺银行人工智能研究院）；University College London（伦敦大学学院）
本文提出源自BBQ的基于姓名的国籍偏见基准，评估多家主流LLM，发现小模型在模糊语境中偏见更强、准确率更低且更易保留错误。
2025-07-22 cs.CL
Understanding Intrinsic Socioeconomic Biases in Large Language Models
HEC Montreal（蒙特利尔高等商学院）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）
本研究通过百万级英文句子数据集，系统量化了LLMs中的人口统计与社会经济偏见，发现交叉性显著放大偏见，并强调需主动缓解以保障公平决策。
2024-05-28 cs.CL cs.CY cs.LG
"You Gotta be a Doctor, Lin": An Investigation of Name-Based Bias of Large Language Models in Employment Recommendations
University of Maryland（马里兰大学）；University of Southern California（南加州大学）；Microsoft Research（微软研究院）
本研究针对大语言模型的就业推荐偏见问题，用两款主流LLM基于320个带种族性别信号的姓名、超75万条提示模拟招聘，发现模型存在白人女性姓名偏好且薪资推荐差异最高达5%，与美国劳动力市场特征不符，凸显LLM就业应用的风险调查必要性。
2024-10-05 cs.AI cs.CL
Pre-Trained Language Models as Zero-Shot Tools for Social Science Research
Harvard University（哈佛大学）
该研究提出预训练语言模型可作为社会科学研究的零样本工具，通过EnsembleLink算法实现记录链接，大型语言模型在姓名族裔推断上表现优异，还能减少地理种族差距估计偏差。
2026-10-15 cs.CL
Enriching the NArabizi Treebank: A Multifaceted Approach to Supporting an Under-Resourced Language
Inria（法国国家信息与自动化研究所）
针对NArabizi标注数据稀缺问题，本文通过添加命名实体识别、冒犯性语言检测标注层及重新标注分词等层增强NArabizi树库，实验验证其价值并公开资源，为该语言的NLP工具开发铺路。
2023-06-26 cs.CL
Enriching Rare Word Representations in Neural Language Models by Embedding Matrix Augmentation
Nanyang Technological University（南洋理工大学）
神经语言模型（NLM）通过学习词的密集表示并利用它们来估计概率分布函数，从而获得很强的泛化能力。然而，学习稀有词的表示是一个具有挑战性的问题，导致NLM产生不可靠的概率估计。为了解决这个问题，我们提出了一种方法来丰富预训练的NLM中稀有词的表示，从而提高其概率估计性能。该方法在保持其他参数不变的情况下，增加了预训练NLM的词嵌入矩阵。具体来说，我们的方法更新的嵌入向量的罕见的话，使用嵌入向量的其他语义和语法相似的话。为了评估所提出的方法，我们丰富了罕见的街道名称在预先训练的NLM和使用它rescore 100最好的假设输出从新加坡英语语音识别系统。与基线NLM相比，丰富的NLM将单词出错率相对降低了6%，并且将稀有单词的识别准确性绝对提高了16%。
2019-07-31 cs.CL
Dissecting Bias in LLMs: A Mechanistic Interpretability Perspective
University of California San Diego（加州大学圣地亚哥分校）；Indian Institute of Technology, Kharagpur（印度理工学院，Khargpur分校）；University of Liverpool（利物浦大学）
本文从机制可解释性视角分析 GPT-2 和 Llama2 中偏见表示，发现偏见计算高度局部化且随微调变化，移除相关组件虽能减少偏见但会损害命名实体识别等任务。
2025-06-06 cs.AI cs.CL
Decoding Demographic un-fairness from Indian Names
Indian Institute of Technology（印度理工学院）
人口统计分类在推荐系统的公平性评估或在线网络和投票系统中的非故意偏见测量中至关重要。教育和政治等重要领域往往为社会平等的未来奠定基础，需要仔细审查，以制定政策，更好地促进受国内人口分布不平衡制约的资源分配平等。我们收集了三个公开的数据集，训练国家的最先进的分类器在性别和种姓分类领域。我们在印度上下文中训练模型，在印度，相同的名字可以有不同的样式约定（Jolly Abraham/Kumar Abhishikta在一个州可能被写为Abraham Jolly/Abishikta Kumar）。最后，我们还进行了交叉测试（在不同数据集上进行训练和测试），以了解上述模型的有效性。我们还对预测模型进行了误差分析。最后，我们试图评估现有的印度系统的偏见作为案例研究，并发现一些有趣的模式，表现在复杂的人口布局的次大陆在性别和种姓的尺寸。
2022-09-07 cs.CL cs.CY cs.DL
Who Gets a Token, and What Does It Carry? Unequal Name Support and Concept Access in Large Language Models
University of Alberta（阿尔伯塔大学）
本研究揭示大型语言模型中名字的词汇支持不平等，提出NameTrace框架衡量概念可访问性，证明词汇差异影响任务表现，强调行为可比性始于词汇可比性。
2026-09-29 cs.AI cs.CL cs.CY
Semantics Preserving Emoji Recommendation with Large Language Models
School of Computational Science and Engineering（计算科学与工程学院）；Georgia Institute of Technology（佐治亚理工学院）；School of Computer Science（计算机科学学院）；University of Rochester（罗切斯特大学）
针对现有表情符号推荐评估忽略单文本可对应多合理表情的问题，提出语义保留评估框架，构建基准测试6款大语言模型，发现GPT-4o表现最优并分析了模型偏差与推荐多样性。
2024-09-16 cs.CL cs.SI
Prompt Tuning Pushes Farther, Contrastive Learning Pulls Closer: A Two-Stage Approach to Mitigate Social Biases
Jilin University（吉林大学）；New Jersey Institute of Technology（新泽西理工学院）
本文提出CCPA二阶段去偏方法，通过连续提示增强推远群体表示距离，再用对比学习拉近增强样本对距离，以提升预训练语言模型的社会偏见缓解效果并保持语言建模能力。
2023-07-04 cs.AI cs.CL
Probing Commonsense Knowledge in Pre-trained Language Models with Sense-level Precision and Expanded Vocabulary
INESC TEC（葡萄牙国家工程与系统创新研究所）；University of Porto（波尔图大学）；Cardiff University（卡迪夫大学）
常识推理的进展通常是从设计要求常识知识的问答任务的性能改进来衡量的。然而，在这些特定任务上微调大语言模型（LM）并不直接评估在预训练期间学习的常识。在预先训练的LM中，对常识知识的最直接评估可以说是针对常识断言的完形填空式任务（例如，一笔用于[面具]。）然而，这种方法受到LM可用于屏蔽预测的词汇表的限制，并且其精度取决于断言提供的上下文。在这项工作中，我们提出了一种方法，用于丰富LM与接地的感觉库存（即，WordNet）在词汇水平上可用，无需进一步培训。这种修改将完形填空式提示的预测空间增大到大型本体的大小，同时实现更细粒度（感测级）的查询和预测。为了评估LM具有更高的精度，我们提出了SenseLAMA，一个完形填空风格的任务，具有来自WordNet，WikiData和ConceptNet的消歧三元组的动词化关系。将我们的方法应用于BERT，产生一个名为SynBERT的WordNet丰富版本，我们发现LM可以从自我监督中学习非平凡的常识知识，覆盖众多的关系，并且比基于相似性的方法更有效。
2022-10-12 cs.AI cs.CL
In the Name of Fairness: Assessing the Bias in Clinical Record De-identification
Massachusetts Institute of Technology（麻省理工学院）
本研究通过大规模实证分析评估临床记录去标识化系统在姓名上的偏差，发现多数方法在不同人口维度上存在显著性能差距，并提出通过临床语境和多样化姓名微调来缓解偏差。
2024-01-03 cs.CL cs.CR cs.CY
Enriching Relation Extraction with OpenIE
University of Luxembourg（卢森堡大学）
关系抽取（RE）是信息抽取（IE）的一个子学科，其关注于从自然语言输入设备（例如句子、子句或甚至由多个句子和/或子句组成的短段落）预测关系谓词。RE与命名实体识别（NER）和消歧（NED）一起构成了许多高级IE任务（如知识库（KB）填充和验证）的基础。在这项工作中，我们将探讨如何最近的开放信息抽取（OpenIE）的方法可能有助于提高RE的任务，通过编码结构化信息的句子的主要单位，如主题，对象，动词短语，状语，到各种形式的矢量化（因此非结构化）表示的句子。我们的主要猜想是，通过OpenIE将长且可能复杂的句子分解为多个较小的子句，甚至有助于微调上下文敏感的语言模型，如RE的BERT（及其大量变体）。我们的实验在两个注释语料库，知识网和FewRel，证明了我们的丰富的模型相比，现有的RE方法的准确性提高。我们的最佳结果分别达到KnowledgeNet和FewRel的F1分数的92%和71%，证明了我们的方法在竞争基准上的有效性。
2022-12-19 cs.CL cs.IR cs.LG
Analyzing Political Bias in LLMs via Target-Oriented Sentiment Classification
Université Paris-Saclay, CEA, List（巴黎-萨克雷大学、欧洲原子能机构、List）
本研究提出基于熵不一致性指标的新方法，通过1319个政治人物姓名和450个政治句子在七模型六语言中分析LLM政治偏见，发现偏见普遍存在且与政治立场相关，更大模型偏见更强，并用虚构姓名部分缓解不可靠性。
2025-05-26 cs.AI cs.CL
A Self-enhancement Approach for Domain-specific Chatbot Training via Knowledge Mining and Digest
TikTok；Emory University（埃默里大学）
本文提出一种自增强方法，通过训练知识挖掘器LLMiner从领域文档中提取问答对，并结合对话数据微调LLM，以提升领域特定聊天机器人的性能，仅需600个种子实例即可实现显著改进。
2023-11-17 cs.AI cs.CL
Hi, my name is Martha: Using names to measure and mitigate bias in generative dialogue models
Facebook AI Research（Facebook AI研究院）
所有人工智能模型都容易受到训练数据的学习偏差的影响。对于生成对话模型，在包含不平衡性别和种族/民族参考的真实人类对话中进行训练可能会导致模型显示出学习偏差，我们在这里将其广义地定义为基于人口统计组的对话中单词或语义内容分布的任何可测量差异。我们通过在对话模型的两个副本之间产生人工对话来测量这种偏见的强度，调节一个对话伙伴说出通常与特定性别和/或种族/民族相关的名字。我们发现，更大的容量模型往往表现出更多的性别偏见和更大的性别职业刻板印象。我们发现，调整这些对话模型的几种方法，特别是名称加扰，控制生成，和不可能的训练，是有效的减少偏见的对话，包括在下游的会话任务。名称加扰也可以有效地降低对话中令牌使用的差异，其中合作伙伴的名称与不同性别或种族/民族相关。
2021-09-07 cs.CL
Examining the Causal Effect of First Names on Language Models: The Case of Social Commonsense Reasoning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出受控实验框架衡量名字对语言模型社会常识推理的因果效应，发现低频名字更易引发预测分歧，并通过可解释性分析指出数据集需增强名字多样性。
2023-06-01 cs.CL
Are Personalized Stochastic Parrots More Dangerous? Evaluating Persona Biases in Dialogue Systems
University of California, Los Angeles（加州大学洛杉矶分校）；Stanford University（斯坦福大学）；Amazon AI（亚马逊AI）
本文提出角色偏见分类与五维评估框架，并利用 UNIVERSALPERSONA 评测四种对话模型，揭示角色设定会显著诱发有害表达与有害赞同。
2023-11-02 cs.AI cs.CL
Hearsay: Vision-Language Medical Diagnoses Without an Image
Carnegie Mellon University（卡内基梅隆大学）；Amazon Web Services AI Native（亚马逊网络服务AI原生部门）
该研究发现前沿视觉-语言模型在无图像时会基于人口统计学特征编造医学诊断，存在不同失败模式，提出需直接审计其结构化输出通道并将探针词敏感性作为核心评估维度。
2026-07-30 cs.AI cs.CL cs.CV
Gender Gap in Natural Language Processing Research: Disparities in Authorship and Citations
National Research Council Canada（加拿大国家研究委员会）
性别之间在作者和引用方面的差异不仅对弱势性别，而且对整个研究领域都可能产生重大不利影响。衡量性别差距是解决这些问题的关键一步。在这项工作中，我们研究了女性第一作者的百分比和引用他们的论文在自然语言处理（1965年至2019年）。我们使用现有的手动策划的作者-性别列表以及与性别密切相关的名字来确定聚合级统计数据。我们发现，只有大约29%的第一作者是女性，只有大约25%的最后作者是女性。值得注意的是，这一比例自2000年代中期以来没有改善。我们还表明，平均而言，女性第一作者被引用的次数少于男性第一作者，即使在控制经验和研究领域的情况下。最后，我们讨论了自动人口统计分析中涉及的伦理问题。
2020-09-03 cs.CL cs.DL
