DyMT-ESB: Dynamic Multi-Turn Evaluation of Social Bias in User-LLM Interactions
Institute of Science Tokyo（东京科学大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Third Intelligence；The University of Liverpool（利物浦大学）
本文提出DyMT-ESB协议，通过响应条件生成后续查询和可变轮数，评估LLM多轮交互中的社会偏见动态，发现后期出现、非单调及重新出现的偏见模式，强调轮级动态分析的重要性。
2026-09-17 cs.CL
Navigating Prompt Complexity for Zero-Shot Classification: A Study of Large Language Models in Computational Social Science
The University of Sheffield（谢菲尔德大学）
本研究评估了ChatGPT和OpenAssistant在六项计算社会科学任务中的零样本分类性能，发现其不及微调的BERT-large模型，且不同提示策略对准确率和F1分数的影响超过10%。
2024-03-24 cs.CL
Investigating the Effects of Cognitive Biases in Prompts on Large Language Model Outputs
National University of Singapore（新加坡国立大学）
本研究通过系统化框架在提示中引入认知偏差，在多基准数据集上验证其会显著降低大语言模型准确率，并结合注意力权重分析揭示内部影响机制，为偏差感知的提示设计与AI可靠性提升提供依据。
2025-06-14 cs.CL
Evaluation is all you need. Prompting Generative Large Language Models for Annotation Tasks in the Social Sciences. A Primer using Open Models
Goethe University（歌德大学）；University Leipzig（莱比锡大学）
本文探讨在社会科学标注任务中使用开源生成式LLMs，通过推文情感分析和作文休闲活动识别示例，评估多种模型与提示策略，指出需仔细验证并定制提示工程，开源模型在隐私和可重复性上具优势。
2023-12-30 cs.CL
BiasAlert: A Plug-and-play Tool for Social Bias Detection in LLMs
Zhejiang University（浙江大学）
BiasAlert是一种即插即用工具，结合外部知识与推理能力，在开放文本生成中可靠检测LLM社会偏见，性能优于GPT4-as-A-Judge，并支持偏见评估与缓解。
2024-07-20 cs.CL
Do LLMs Align Human Values Regarding Social Biases? Judging and Explaining Social Biases with LLMs
Kyoto University（京都大学）
本研究探讨LLM在社交偏见上与人类价值观的对齐，通过对12个模型和4个数据集的分析发现，大模型参数规模不必然降低错位率，同家族模型判断一致性更高，且微调后的小模型生成的解释更具可读性但同意率较低。
2025-09-17 cs.CL
Co$^2$PT: Mitigating Bias in Pre-trained Language Models through Counterfactual Contrastive Prompt Tuning
Texas A&M University（德州农工大学）；George Mason University（乔治梅森大学）
针对预训练语言模型在下游应用中放大社会偏见的问题，提出了一种名为Co$^2$PT的高效去偏方法，通过在下游任务中进行反事实对比提示微调来缓解偏见，实验证明其有效且能适应现有上游去偏模型。
2023-10-19 cs.CL
The power of Prompts: Evaluating and Mitigating Gender Bias in MT with LLMs
Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心）
本文基于LLMs研究英译加泰罗尼亚语和西班牙语机器翻译中的性别偏见，发现基础LLMs偏见高于NMT模型，并提出一种提示结构在WinoMT上减少高达12%性别偏见。
2024-07-26 cs.CL
KoSBi: A Dataset for Mitigating Social Bias Risks Towards Safer Large Language Model Application
NAVER AI Lab（NAVER人工智能实验室）；NAVER Cloud（NAVER云）；Seoul National University（首尔国立大学）；University of Richmond（里士满大学）
针对韩国语言文化背景下大语言模型社会偏见资源不足的问题，本文构建了覆盖72个人口群体的34k对韩语社会偏见数据集KoSBi，并验证基于过滤的调节可使HyperCLOVA和GPT-3的偏见平均降低16.47个百分点。
2023-05-30 cs.CL
Identifying and Measuring Token-Level Sentiment Bias in Pre-trained Language Models with Prompts
Virginia Tech（弗吉尼亚理工大学）
大规模预训练语言模型由于其优越的性能，在人类社会的许多方面得到了广泛的应用。然而，我们仍然缺乏有效的工具来理解黑盒模型中嵌入的潜在偏见。提示微调的最新进展显示了探索PLM内部机制的可能性。在这项工作中，我们提出了两个标记级的情感测试：情感关联测试（SAT）和情感转移测试（SST），利用提示作为探针，以检测潜在的偏见在PLM。我们在情感数据集上的实验表明，SAT和SST都可以识别PLM中的情感偏差，SST能够量化偏差。研究结果还表明，微调可能会增加现有的偏置PLM。
2022-04-15 cs.CL
Social Bias in Large Language Models For Bangla: An Empirical Study on Gender and Religious Bias
Bangladesh University of Engineering and Technology (BUET)（孟加拉工程技术大学）
针对孟加拉语大语言模型偏见研究匮乏的问题，该研究考察其性别与宗教两类社会偏见，构建偏见测量基准数据集，测试两种探测技术，为该领域首项同类研究，资源公开可用。
2024-12-13 cs.CL
Prompting Techniques for Reducing Social Bias in LLMs through System 1 and System 2 Cognitive Processes
Bellini College of AI, Cybersecurity and Computing University of South Florida（人工智能、网络安全与计算学院，佛罗里达州立大学）
本文研究如何通过系统1/系统2双过程理论、思维链提示和去偏策略减少大语言模型的社会偏见，发现这些方法普遍有效，最佳组合因模型和偏见类别而异，可使刻板判断最多降低33%。
2025-08-22 cs.CL
Uncovering and Categorizing Social Biases in Text-to-SQL
Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）；ETH Zurich（苏黎世联邦理工学院）；Microsoft Research（微软研究院）
针对 Text-to-SQL 模型在中立数据集上训练可能掩盖社会偏见的问题，本文构建测试基准并分类结构化数据中的偏见，揭示准确率相近模型的偏见率差异。
2023-06-07 cs.CL
Probing Social Identity Bias in Chinese LLMs with Gendered Pronouns and Social Groups
Department of Electronics, Information and Bioengineering, Politecnico di Milano（电子、信息与生物工程系，米兰理工大学）；University of Science and Technology of China（中国科学技术大学）
通过设计考虑中文语言特性的提示，评估十种代表性中文大语言模型在240个社会群体上的内群体与外群体框架下的情感和毒性偏见，发现系统性不对称且指令调优减少情感偏见但毒性差距更持久，女性标记代词与更高毒性相关。
2026-05-26 cs.CL
Exploring Causal Effect of Social Bias on Faithfulness Hallucinations in Large Language Models
Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所）；School of Software and Microelectronics, Peking University（北京大学软件与微电子学院）
本研究利用结构因果模型和偏见干预数据集，首次探究并验证了社会偏见是导致大型语言模型产生忠实性幻觉的重要因果因素。
2025-08-11 cs.CL
Deep and shallow biases in language models
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；University of Michigan（密歇根大学）；KAIST（韩国科学技术院）；University of Virginia（弗吉尼亚大学）；Auburn University（奥本大学）
本文提出偏见深度评分，区分深层与浅层偏见，发现深层偏见更顽固且难以消除，为理解语言模型偏见提供新视角。
2026-09-10 cs.CL
Psychologically Potent, Computationally Invisible: LLMs Generate Social-Comparison-Eliciting Posts They Fail to Detect
Department of English Language Education（英语语言教育系）；Analytics/Assessment Research Centre（分析/评估研究中心）
本研究通过构建小红书社会比较读者诱发基准（XHS-SCoRE），发现 LLM 在生成引发社会比较的帖子时存在生成-检测不匹配，即该信号在领域内可学习但无法通过提示分类稳健访问。
2026-08-31 cs.CL
Improving Generalizability of Extracting Social Determinants of Health Using Large Language Models through Prompt-tuning
University of Florida（佛罗里达大学）；NVIDIA（英伟达）
该研究提出基于软提示的学习架构，通过提示微调提高LLMs在跨领域提取健康社会决定因素（SDoH）的泛化能力，实验表明仅解码器模型GatorTronGPT在跨机构和跨疾病数据集上均优于传统微调方法。
2024-03-19 cs.CL
What's Not Said Still Hurts: A Description-Based Evaluation Framework for Measuring Social Bias in LLMs
George Mason University（乔治·马歇尔大学）
针对LLM表面规避偏见但隐蔽语境偏见仍存的问题，提出基于描述的偏见基准（DBB），在语义层面评估现实场景中隐藏的社会偏见，发现6个先进模型在术语层面减少偏见但细微语境下仍强化偏见。
2025-09-16 cs.CL
How Does Differential Privacy Affect Social Bias in LLMs? A Systematic Evaluation
University of Arkansas（阿肯色大学）
本文系统评估了在差分隐私框架下训练的大语言模型的社会偏见，发现差分隐私在句子评分任务中减少偏见，但无法普遍适用，揭示了logit层偏见与输出层偏见的差异。
2026-05-11 cs.CL
BanStereoSet: A Dataset to Measure Stereotypical Social Biases in LLMs for Bangla
University of South Florida（佛罗里达州立大学）；North South University（北南大学）
本研究提出BanStereoSet数据集，通过本地化现有数据集构建包含1,194个句子、覆盖9类偏见的孟加拉语资源，用于评估多语言LLMs中的刻板社会偏见，分析显示模型存在显著偏见，强调了文化适应数据集的重要性。
2025-05-29 cs.CL
Assessing GPT's Bias Towards Stigmatized Social Groups: An Intersectional Case Study on Nationality Prejudice and Psychophobia
University of Washington（华盛顿大学）
本研究通过结构化提示评估GPT-3.5/4/4o对美国和朝鲜国籍及心理障碍者的偏见，发现朝鲜人面临更大负面偏见，凸显LLM需增强对交叉性身份的理解。
2025-05-15 cs.CL
Explicit vs. Implicit: Investigating Social Bias in Large Language Models through Self-Reflection
College of Intelligence and Computing, Tianjin University（智能与计算学院，天津大学）；AI Lab, China Mobile Communication Group Tianjin Co., Ltd.（中国移动通信集团天津有限公司人工智能实验室）
本文通过自反思框架系统比较LLMs的显式与隐式社会偏见，发现二者存在显著不一致，且对齐技术对隐式偏见效果有限。
2025-06-03 cs.CL
The Devil is in the Neurons: Interpreting and Mitigating Social Biases in Pre-trained Language Models
Chinese University of Hong Kong（香港中文大学）；Peking University（北京大学）；National University of Singapore（新加坡国立大学）；Microsoft Research（微软研究院）；IBM Research（IBM研究院）
本文提出 Social Bias Neurons 概念，利用 IG² 定位 PLM 中导致社会偏见的神经元，并通过 BNS 抑制这些神经元，以低成本在保持语言建模能力的同时提升公平性。
2024-06-14 cs.CL
Confirming Our Biases? Evaluating the Capabilities, Risks, and Societal Impact of Large Language Models
University of Tübingen（蒂宾根大学）
本研究评估6个大型语言模型（LLMs）对160条跨10个主题的提示的响应，发现LLMs会系统调整响应以匹配提示框架，甚至在事实类情境中也如此，明确了其可被操纵的程度与界限。
2026-08-10 cs.CL
Bias Mitigation or Cultural Commonsense? Evaluating LLMs with a Japanese Dataset
The University of Tokyo（东京大学）；Riken（理化学研究所）；University of Liverpool（利物浦大学）
本文提出日语基准SOBACO，统一评估LLM的社会偏见与文化常识，发现去偏见方法会显著损害文化常识表现，强调需在公平性与实用性间权衡。
2025-09-29 cs.CL
Navigating the Prompt Space: Improving LLM Classification of Social Science Texts Through Prompt Engineering
本文通过系统变化提示工程的三个方面，探讨如何通过增加提示上下文提高LLM对社会科学文本的分类准确性，发现最小的上下文增加能显著提升性能，但过度增加反而可能降低准确性。
2026-03-26 cs.CL cs.CY
Wordflow: Social Prompt Engineering for Large Language Models
Georgia Tech（佐治亚理工学院）
针对非专业人士难以开展提示工程的问题，研究提出社会化提示工程范式，并开发开源社会化文本编辑器Wordflow，支持普通用户协作设计、分享提示词及本地私密运行大语言模型，助力提升非专业用户与大语言模型的交互体验。
2024-01-25 cs.AI cs.CL cs.HC
German General Social Survey Personas: A Survey-Derived Persona Prompt Collection for Population-Aligned LLM Studies
University of Mannheim（曼海姆大学）；GESIS -- Leibniz Institute for the Social Sciences（莱布尼茨社会科学研究所）；RWTH Aachen University（亚琛工业大学）；Complexity Science Hub（复杂性科学中心）
本文提出德国通用社会调查人设集合，用于构建与人口一致的LLM研究，通过实验证明其在模拟调查响应方面的有效性。
2026-03-02 cs.AI cs.CL cs.CY
Ask LLMs Directly, "What shapes your bias?": Measuring Social Bias in Large Language Models
本文提出一种直接量化不同身份视角下社会感知的新策略及聚合度量指标，用于细粒度、全面地测量大语言模型中的多维社会偏见。
2024-06-06 cs.AI cs.CL cs.CY
BiasTestGPT: Using ChatGPT for Social Bias Testing of Language Models
California Institute of Technology（加州理工学院）；NVIDIA（英伟达）
本文提出 BiasTestGPT，利用 ChatGPT 按任意社会群体与属性组合可控生成多样化测试句，并以开源框架接入 PLM，从而更有效地检测包括交叉性偏见在内的社会偏见。
2023-12-06 cs.CL cs.CY
Prompt Selection Matters: Enhancing Text Annotations for Social Sciences with Large Language Models
Université Paris 1 Panthéon-Sorbonne（巴黎第一大学先贤祠-索邦大学）；Université Paris-Saclay（巴黎萨克雷大学）；Institut Jean Nicod（让·尼科德研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL-EHESS-CNRS（巴黎文理研究大学-法国高等社会科学研究院-法国国家科学研究中心）
本文研究提示选择对大型语言模型社会科学文本标注准确性的影响，发现不同提示性能差异显著，并提出自动提示优化方法以系统构建高质量提示，同时提供浏览器实现工具。
2025-03-10 cs.AI cs.CL cs.CY
Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction
Wuhan University（武汉大学）；Beihang University（北京航空航天大学）；The University of Sydney（悉尼大学）；Nanyang Technological University（南洋理工大学）
本文调查了预训练语言模型在事实知识抽取中的提示偏置问题，并提出一种基于表示的推理时去偏方法，通过估计并移除内部偏置表示，有效纠正过拟合性能并提升提示检索能力达10%。
2024-03-26 cs.AI cs.CL cs.IR
Social Meaning in Large Language Models: Structure, Magnitude, and Pragmatic Prompting
Leibniz-Centre General Linguistics, Berlin, Germany（莱布尼茨普通语言学中心，柏林，德国）
本文研究大语言模型在社会意义上的表现，提出两种校准指标并探讨语用理论指导的提示策略对模型校准的影响，发现提示策略能有效减少模型在规模校准上的偏差。
2026-08-13 cs.AI cs.CL
Social Bias Benchmark for Generation: A Comparison of Generation and QA-Based Evaluations
KAIST（韩国科学技术院）
针对现有偏见评估方法难以衡量大语言模型长文本生成偏见的问题，研究提出适配BBQ的生成式偏见基准BBG，通过故事续写评估偏见，构建英韩双语版本并测试10个大模型，发现其与选择题式BBQ评估结果不一致。
2025-06-12 cs.AI cs.CL
Mind vs. Mouth: On Measuring Re-judge Inconsistency of Social Bias in Large Language Models
Tianjin University（天津大学）；China Mobile Communication Group Tianjin Co., Ltd.（中国移动通信集团天津有限公司）
该研究聚焦大语言模型的外显与内隐社会偏见，提出两阶段方法发现“重判不一致性”现象，经ChatGPT和GPT-4实验验证其稳定性，为借助心理学理论探究大模型认知机制提供新视角。
2023-08-24 cs.AI cs.CL
Detecting Natural Language Biases with Prompt-based Learning
本研究探索将提示工程应用于检测语言模型偏见，设计了针对性别、种族、性取向和宗教四类偏见的提示，并在BERT、RoBERTa和T5模型上通过人工与模型自我诊断双重方法进行评估。
2023-09-11 cs.AI cs.CL
Debiasing Large Language Models toward Social Factors in Online Behavior Analytics through Prompt Knowledge Tuning
George Mason University（乔治梅森大学）
本文研究了在社交情境中通过引入用户目标推断 dispositional 因果性和消息上下文推断 situational 因果性对 LLM 性能的影响，提出了一种通过增强指令提示来减少社会归因偏见的方法，提升零样本分类任务的性能。
2026-03-28 cs.AI cs.CL
Empathetic Cascading Networks: A Multi-Stage Prompting Technique for Reducing Social Biases in Large Language Models
ECN通过多阶段提示技术减少大型语言模型的社会偏见，提升对话AI的共情与包容性。
2026-02-19 cs.AI cs.CL
Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases
NVIDIA（英伟达）；California Institute of Technology（加州理工学院）
检测文本中的社会偏见是具有挑战性的，因为细微差别，主观性，以及难以获得高质量的大规模标记数据集，特别是考虑到社会偏见和社会的演变性质。为了解决这些挑战，我们提出了一种基于Few-Shot的方法来提示预训练的语言模型（LM）。我们从一个小的支持库中选择了一些类平衡的样本，这些样本最接近嵌入空间中要标记的查询。然后，我们为LM提供指令，该指令由标记样本的子集、要分类的查询文本、偏差的定义组成，并提示LM做出决定。我们证明了在Few-Shot上下文中使用的大型LM可以检测不同类型的细粒度偏差，其精度与微调模型相似，有时甚至更高。我们观察到，与较小的模型相比，最大的530B参数模型在检测社会偏见方面明显更有效（与其他模型相比，AUC指标至少提高了13%）。当标记的储存库减少到$100$样品时，它也保持高AUC（下降小于2%）。因此，大型的预训练语言模型使得构建新的偏见检测器变得更容易和更快。
2022-04-15 cs.AI cs.CL
Bias after Prompting: Persistent Discrimination in Large Language Models
Apple（苹果公司）
针对偏见迁移假设的错误认知，研究验证提示适配下大语言模型的偏见迁移现象，发现主流提示去偏方法无法持续阻断偏见迁移，指出修正模型固有偏见的重要性。
2025-11-19 cs.CL cs.LG
On Measuring Social Biases in Prompt-Based Multi-Task Learning
Boston University（波士顿大学）；Harvard University（哈佛大学）；Koç University（科奇大学）
大语言模型在混合的NLP任务上训练，这些任务使用提示转换为文本到文本格式，可以概括为新的语言形式并处理新的任务。提示工程中的大量工作试图了解输入表单和提示在实现卓越性能方面的效果。我们考虑一种替代措施，并询问输入编码的方式是否会影响输出中促进的社会偏见。在本文中，我们研究了T0，一个大规模的多任务文本到文本的语言模型训练使用基于学习。我们考虑两种不同形式的语义等价输入：问题-答案格式和前提-假设格式。我们使用现有的偏见基准为前烧烤和创建第一个偏见基准在自然语言推理BBNLI与手写的假设，同时也将每个基准转换成其他形式。两个基准测试的结果表明，给定基本相同输入的两种不同配方，T0在训练期间看到的问答形式中的行为明显比与其训练样本不同的前提假设形式更有偏见。代码和数据在https://github.com/feyzaakyurek/bbnli下发布。
2022-05-23 cs.CL cs.CY
Quantifying Social Biases Using Templates is Unreliable
UC Irvine（加州大学欧文分校）
最近，人们越来越多地致力于了解大语言模型（LLM）如何传播和放大社会偏见。一些作品利用模板进行公平性评估，这使得研究人员能够在没有受保护属性标签的测试集的情况下量化社会偏见。虽然模板评估可以是一种方便和有用的诊断工具，以了解模型的缺陷，它往往使用一个简单的和有限的模板集。在本文中，我们研究是否偏置测量是敏感的基准用于模板的选择。具体来说，我们调查的不稳定性的偏差测量手动修改模板提出在以前的作品中的语义保留的方式和测量偏差在这些修改。我们发现，偏见值和由此产生的结论有很大的不同，在四个任务的模板修改，范围从81%的减少（NLI）到162%的增加（MLM）（特定任务）的偏见测量。我们的研究结果表明，在LLM中量化公平性，在目前的实践中，可以是脆弱的，需要更加小心和谨慎。
2022-10-09 cs.CL cs.LG
Prompt Refinement or Fine-tuning? Best Practices for using LLMs in Computational Social Science Tasks
IT University of Copenhagen（哥本哈根信息技术大学）；Pioneer Center for AI（人工智能先锋中心）
本文通过在23项社会知识任务基准上评估现代大语言模型分类方法，提出三项最佳实践：选用更大词汇量和预训练语料库的模型、采用AI增强提示而非简单零样本，以及在任务数据上微调并视数据丰富度决定是否进行多数据集指令微调。
2024-08-02 cs.CL cs.CY physics.soc-ph
Mechanics of Bias and Reasoning: Interpreting the Impact of Chain-of-Thought Prompting on Gender Bias in LLMs
Mila – Quebec AI Institute（魁北克人工智能研究所）；McGill University（麦吉尔大学）；HEC Montreal（蒙特利尔HEC）
本文研究了链式推理提示对大语言模型中性别偏见的影响，结合基准测试评估与机制可解释性技术，发现链式推理并未有效减少偏见，偏见仍存在于隐藏表示中。
2026-05-19 cs.AI cs.CL
Investigating Thinking Behaviours of Reasoning-Based Language Models for Social Bias Mitigation
本文研究了基于推理的语言模型在缓解社会偏见中的思维机制，发现两种导致偏见累积的失败模式，并提出轻量级提示方法减少偏见同时保持准确性。
2026-05-12 cs.AI cs.CL
Generative Language Models Exhibit Social Identity Biases
University of Cambridge（剑桥大学）；New York University（纽约大学）
本文评估56个大型语言模型，发现其普遍存在与人类相似的内群体偏好和外群体敌意，并指出数据整理与指令微调可缓解该偏见。
2024-06-17 cs.CL cs.CY
Are Large Language Models Really Bias-Free? Jailbreak Prompts for Assessing Adversarial Robustness to Bias Elicitation
University of Calabria（卡拉布里亚大学）
本研究探究最新大型语言模型（LLMs）中的固有偏见，测试其对偏见诱导越狱提示的对抗性鲁棒性，通过实验证实LLMs仍可被操纵生成偏见响应，强调需增强缓解技术以提升AI公平性与可靠性。
2025-02-13 cs.AI cs.CL
Prompt-Based Bias Calibration for Better Zero/Few-Shot Learning of Language Models
Purdue University（普渡大学）
针对预训练语言模型固有偏差导致提示式零/少样本学习性能不佳的问题，提出零输入提示的高效偏差校准方法，仅更新0.1%参数，在多数据集上显著提升两类场景的学习性能。
2024-10-06 cs.CL cs.LG
Intersectional Bias in Japanese Large Language Models from a Contextualized Perspective
The University of Tokyo（东京大学）；Riken（理化学研究所）；Rikkyo University（立命馆大学）；Softbank corp.（软银公司）
本文构建日语问答基准 inter-JBBQ，用于评估 LLM 的交叉社会偏见，并通过 GPT-4o 与 Swallow 揭示相同属性组合下偏见输出仍受语境影响。
2025-07-27 cs.AI cs.CL
Rethinking LLM Bias Probing Using Lessons from the Social Sciences
Harvard University（哈佛大学）；John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）
针对LLM偏见探测缺乏选择标准、冲突协调系统和泛化推理框架的挑战，本文借鉴社会科学见解系统化偏见探测，并提出EcoLevels框架以确定探测方法、协调冲突发现并预测偏见泛化。
2025-02-28 cs.AI cs.CL cs.CY
Mitigating Social Desirability Bias in Random Silicon Sampling
Eindhoven University of Technology（埃因霍温理工大学）
本研究通过提示工程方法减轻LLM中的社会可取性偏差，提升硅样本与人类数据的一致性。
2026-10-06 cs.CL cs.CY
Can Prompt Modifiers Control Bias? A Comparative Analysis of Text-to-Image Generative Models
The Pennsylvania State University（宾夕法尼亚州立大学）
本文通过比较 Stable Diffusion、DALL-E 3 和 Adobe Firefly，系统分析了提示修饰语及其顺序对文本到图像模型中社会偏见的控制效果，并提出偏见敏感性分类法，为 AI 伦理评估奠定基础。
2024-06-09 cs.CL cs.CV
PLACES: Prompting Language Models for Social Conversation Synthesis
Columbia University（哥伦比亚大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
收集高质量的会话数据对于大多数应用程序来说可能非常昂贵，并且由于隐私，道德或类似问题而对其他应用程序来说是不可行的。解决这个问题的一个有希望的方向是通过提示大语言模型来生成合成对话。在这项工作中，我们使用一小部分专家撰写的对话作为上下文示例，使用提示合成社交对话数据集。我们对我们的合成对话与人类收集的对话进行了几次彻底的评估。这包括直接对合成对话进行人工评估的对话质量的各个维度，以及对合成生成的数据集进行微调的聊天机器人的交互式人工评估。我们还证明，这种提示方法是可推广到多方对话，为多方任务创建新的合成数据提供了可能。与从人类收集的多方数据集采样的对话摘录相比，我们的合成多方对话在所有测量维度上都得到了更有利的评价。
2023-02-17 cs.AI cs.CL cs.IR
