Do Language Models Exhibit the Same Cognitive Biases in Problem Solving as Human Learners?
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；KU Leuven（鲁汶大学）；New York University（纽约大学）
本文将算术解题分为文本理解、规划与执行三步，并用神经符号生成的受控题目测试 LLM，发现其在前两步具有类人认知偏差，而在算术执行步骤没有。
2024-06-17 cs.AI cs.CL cs.LG
AI Can Be Cognitively Biased: An Exploratory Study on Threshold Priming in LLM-Based Batch Relevance Assessment
The Hong Kong Polytechnic University（香港理工大学）；The University of Oklahoma（俄克拉荷马大学）；Waseda University（早稻田大学）
该研究通过TREC 2019数据集实验发现，大语言模型在批量相关性判断中存在类似人类的阈值启动认知偏差，提示相关设计评估需考虑此类偏差。
2024-10-08 cs.AI cs.CL
Cognitive Biases in Large Language Models for News Recommendation
University of Amsterdam（阿姆斯特丹大学）；Shandong University（山东大学）；Leiden University（莱顿大学）；Peoples' Friendship University of Russia (RUDN University)（俄罗斯人民友谊大学（RUDN大学））；Joint Institute for Nuclear Research（联合核子研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Skövde（舍夫德大学）
该研究聚焦大语言模型应用于新闻推荐系统时认知偏差带来的风险，探究多种认知偏差的潜在影响，并从数据、提示、算法层面讨论缓解策略，为提升系统可靠性提供方向。
2024-10-03 cs.AI cs.CL cs.IR
Investigating the Effects of Cognitive Biases in Prompts on Large Language Model Outputs
National University of Singapore（新加坡国立大学）
本研究通过系统化框架在提示中引入认知偏差，在多基准数据集上验证其会显著降低大语言模型准确率，并结合注意力权重分析揭示内部影响机制，为偏差感知的提示设计与AI可靠性提升提供依据。
2025-06-14 cs.CL
Conditional Cognitive Biases in LLMs: How Biased User Turns Modulate In-Context Reasoning
Northeastern University（东北大学）
本研究通过三条件实验框架与含24300条提示的基准数据集，评估8个前沿LLMs在多轮交互中受有偏差用户轮次的影响，发现多数模型偏差表现变化，明确相关动态并发布研究资源。
2026-08-07 cs.CL cs.CY cs.HC
MindScope: Exploring cognitive biases in large language models through Multi-Agent Systems
School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；School of Computer Science, Fudan University（复旦大学计算机学院）
针对现有大语言模型认知偏差检测方法能力不完善、覆盖偏差类型有限的问题，本研究提出整合静动态元素的MindScope数据集及融合RAG、辩论与强化学习决策的多智能体检测方法，检测准确率较GPT-4最高提升35.10%。
2024-10-06 cs.AI cs.CL
Cognitive Bias Detection Using Advanced Prompt Engineering
Georgetown University（乔治城大学）；CGI Federal（CGI联邦公司）
本文提出利用大语言模型与高级提示工程实时检测用户文本中的确认偏差、循环推理等认知偏差，实验证明其高准确性，可提升内容客观性并降低有偏决策风险。
2025-03-07 cs.AI cs.CL cs.CY
Cognitive Biases in Large Language Models: A Survey and Mitigation Experiments
Kyoto University（京都大学）
本文综述大型语言模型认知偏差研究，并借鉴众包中的人类去偏方法，在 GPT-3.5 和 GPT-4 上测试 SoPro 与 AwaRe 对六种偏差的缓解效果，发现 AwaRe 能显著提升回应理性。
2024-11-30 cs.AI cs.CL
CogBias: Measuring and Mitigating Cognitive Bias in Large Language Models
Indiana University Bloomington（印第安纳大学伯明顿分校）；Singapore Management University（新加坡管理大学）
本文研究大型语言模型中的认知偏差，通过定义四种偏差类型，评估三种模型并发现偏差在不同家族中表现不同，通过激活引导技术减少偏差并保持模型能力。
2026-04-01 cs.AI
Bias Beware: The Impact of Cognitive Biases on LLM-Driven Product Recommendations
National Technical University of Athens（国家技术大学雅典）；Instituto de Telecomunicações（电信研究所）
本研究首次将认知偏差作为黑盒对抗策略，探究其对LLM驱动的产品推荐的影响，发现不同认知偏差对推荐效果的影响存在差异，且认知偏差已深度嵌入先进LLMs，给推荐系统的安全防护带来挑战。
2025-10-22 cs.CL
Cognitive bias in large language models: Cautious optimism meets anti-Panglossian meliorism
Vanderbilt University（范德堡大学）
本文探讨了大型语言模型中的认知偏差，提出对当前模型偏差普遍性保持谨慎乐观，同时承认真实偏差并努力减少，并分析了其哲学启示。
2023-11-18 cs.AI
(Ir)rationality and Cognitive Biases in Large Language Models
University College London（伦敦大学）；University of Bologna（博洛尼亚大学）
本文通过心理学文献中的任务评估七种语言模型，发现其在非理性表现上与人类相似，但表现形式不同，且存在响应不一致的额外非理性特征。
2024-02-15 cs.AI cs.CL cs.HC
Investigating the Impact of LLM Personality on Cognitive Bias Manifestation in Automated Decision-Making Tasks
The University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；University of Oklahoma（俄克拉荷马大学）
本文研究LLM人格特质与认知偏差的关系，发现六种主要偏差及尽责性、宜人性对缓解策略的促进作用，为个性化去偏差提供依据。
2025-02-20 cs.AI
Human-Like Intuitive Behavior and Reasoning Biases Emerged in Language Models -- and Disappeared in GPT-4
该研究用认知反思测试和语义错觉探测大语言模型，发现GPT-3存在类人直觉行为与认知偏差，而ChatGPT、GPT-4可避免此类错误呈超理性表现，证明心理学方法能揭示LLM的未知涌现特性。
2023-08-18 cs.AI cs.CL cs.LG
Self-Adaptive Cognitive Debiasing for Large Language Models in Decision-Making
Shandong University（山东大学）；University of Amsterdam（阿姆斯特丹大学）；University of Birmingham（伯明翰大学）；Leiden University（莱顿大学）
针对LLMs在决策中存在的认知偏差问题，提出自适应认知去偏方法SACD，通过偏差判定、分析和去偏三个步骤迭代优化提示，在金融、医疗和法律任务中有效降低了单偏差与多偏差场景下的平均偏差分数。
2025-11-02 cs.CL
Heuristics and Biases in AI Decision-Making: Implications for Responsible AGI
Golisano Institute for Sustainability Rochester Institute of Technology Rochester, The United States；Information Sciences \& Technology, CEHC University at Albany, SUNY Albany, The United States
本研究通过1,500个实验评估GPT-4o、Gemma 2和Llama 3.1在九种认知偏差上的表现，发现GPT-4o最佳、Llama 3.1最差，凸显LLM推理稳健性挑战及减轻偏差对负责任AGI的重要性。
2025-04-07 cs.AI cs.CL cs.LG
The Bias is in the Details: An Assessment of Cognitive Bias in LLMs
Department of Psychology（心理学系）；University of Central Florida, USA（佛罗里达中央大学）
本文构建多选评估框架与220个场景，评测45个LLM的八类认知偏差，发现模型规模和提示细节会显著影响偏差表现。
2025-09-26 cs.CL
Instructed to Bias: Instruction-Tuned Language Models Exhibit Emergent Cognitive Bias
Technion – Israel Institute of Technology（以色列理工学院）；School of Computer Science and Engineering, The Hebrew University of Jerusalem（耶路撒冷希伯来大学计算机科学与工程学院）
研究揭示指令微调与RLHF会诱发大语言模型出现诱饵效应、确定性效应和信念偏差等认知偏差，为构建更可靠无偏见的语言模型提供依据。
2024-03-31 cs.AI cs.CY cs.LG
Probing Multimodal Large Language Models on Cognitive Biases in Chinese Short-Video Misinformation
Johns Hopkins University（约翰霍普金斯大学）；Chinese University of Hong Kong（香港中文大学）；University of Chicago（芝加哥大学）；Renmin University of China（中国人民大学）
本文通过200个短视频数据集评估8种多模态大语言模型在健康领域虚假信息中的表现，发现Gemini-2.5-Pro表现最佳（信念分数71.5/100），而模型易受权威频道ID等社会线索影响。
2026-06-05 cs.CL
Dynamics of Cognitive Heterogeneity: Investigating Behavioral Biases in Multi-Stage Supply Chains with LLM-Based Simulation
Harbin Institute of Technology（哈尔滨工业大学）；The Hong Kong Polytechnic University（香港理工大学）
本文通过引入大语言模型模拟多阶段供应链，基于分层推理框架分析认知异质性对智能体交互的影响，发现信息共享可缓解短视和自利行为导致的系统效率低下。
2026-06-02 cs.AI cs.MA
Cognitive Bias in Decision-Making with LLMs
University of California, San Diego（加利福尼亚大学圣迭戈分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
针对大语言模型存在类人认知偏差、影响决策公平可解释的问题，研究提出BiasBuster框架，构建含13465条提示的数据集评估偏差，提出自助式去偏差方法，可有效缓解多类模型的认知偏差且无需手动构造示例。
2024-10-03 cs.AI cs.CL
Humanlike Cognitive Patterns as Emergent Phenomena in Large Language Models
Information Sciences Institute（信息科学研究所）；USC Viterbi School of Engineering（南加州大学维特比工程学院）
本文系统综述了LLMs在决策偏差、推理和创造力三大认知领域的能力，发现其认知模式与人类仅部分一致，GPT-4表现出类人系统2思维，且在语言创造力上表现优异，并为人机协作及未来研究提供了指导。
2024-12-20 cs.AI cs.CL
Large Language Newsvendor: Decision Biases and Cognitive Mechanisms
School of Business Administration, South China University of Technology（华南理工大学商学院）；Department of Decisions, Operations and Technology, The Chinese University of Hong Kong（香港中文大学决策、运营与技术系）
研究分析大语言模型在新闻供应商问题中的决策偏差，发现其放大人类认知偏差，提出通过结构化提示优化AI决策可靠性。
2025-12-14 cs.AI
Do Chains-of-Thoughts of Large Language Models Suffer from Hallucinations, Cognitive Biases, or Phobias in Bayesian Reasoning?
University of Chile（智利大学）；Institute of Education, CIAE（CIAE教育研究所）
该研究探究大语言模型思维链在贝叶斯推理中的认知问题，发现其不会主动使用具身启发式等生态效度策略，加入引导提示后采纳仍不稳定，存在符号推理偏差与对生态策略的回避现象，可为贝叶斯推理学习与模型优化提供参考。
2025-03-19 cs.AI
Predicting Biased Human Decision-Making with Large Language Models in Conversational Settings
University College Dublin（都柏林大学）
研究大语言模型能否预测对话环境中的偏差决策，通过预注册研究发现参与者有认知偏差及负载偏差交互，评估LLMs预测能力，结果表明GPT-4家族表现出色，有助于理解LLMs模拟人类决策及设计适应偏差的对话代理。
2026-07-07 cs.AI cs.HC
Assessing Cognitive Biases in LLMs for Judicial Decision Support: Virtuous Victim and Halo Effects
Sierra S. Liu
研究评估大语言模型在司法决策支持中的认知偏差，发现善良受害者效应和光环效应存在差异，部分偏差在人类和模型间有显著差异。
2026-02-21 cs.AI cs.CY
Addressing cognitive bias in medical language models
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland, College Park（马里兰大学帕克分校）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文提出BiasMedQA基准，通过在USMLE题目中引入临床认知偏差，评估六个医学大语言模型的表现，发现GPT-4对偏差最鲁棒，而Llama 2 70B-chat和PMC Llama 13B受影响显著，强调医学LLMs需进行偏差缓解。
2024-02-20 cs.CL cs.HC
Leveraging a Cognitive Model to Measure Subjective Similarity of Human and GPT-4 Written Content
Carnegie Mellon University（卡内基梅隆大学）
本文融合 IBL 认知模型与 LLM 嵌入提出 IBIS 个体化相似度指标，并通过钓鱼/正常邮件人工分类数据集验证其在教育场景中刻画主观相似性的效果。
2024-10-10 cs.CL
Enhancing Diagnostic Accuracy through Multi-Agent Conversations: Using Large Language Models to Mitigate Cognitive Bias
Singapore General Hospital（新加坡中央医院）；Duke-NUS Medical School（杜克-新加坡国立大学医学院）；Singapore Eye Research Institute（新加坡眼科研究所）；Singapore National Eye Center（新加坡国家眼科中心）；Byers Eye Institute, Stanford University（斯坦福大学拜尔斯眼科研究所）；National University of Singapore（新加坡国立大学）
本研究针对临床决策中的认知偏差致误诊问题，构建基于GPT-4的四角色多智能体对话框架模拟临床协作，在16个误诊病例的80次模拟中，将首位鉴别诊断准确率从0%提升至71.3%，为复杂医疗场景提升诊断准确性提供了可行方案。
2024-05-12 cs.AI cs.CL
InMind: Evaluating LLMs in Capturing and Applying Individual Human Reasoning Styles
Nankai University（南开大学）；Shanghai Innovation Institute（上海创新研究院）；Shanghai AI Laboratory（上海人工智能实验室）；Fudan University（复旦大学）；Johns Hopkins University（约翰霍普金斯大学）；Wuhan University（武汉大学）；University of Science and Technology of China（中国科学技术大学）
本文提出InMind评估框架，通过社交推理游戏中的策略轨迹与赛后反思，检验大语言模型捕捉和应用个体化推理风格的能力，发现通用模型存在局限而推理增强模型初显风格敏感推理能力。
2025-09-21 cs.AI cs.CL
How Does Cognitive Bias Affect Large Language Models? A Case Study on the Anchoring Effect in Price Negotiation Simulations
Kyoto University（京都大学）
本文研究了LLM在价格谈判模拟中的锚定效应，发现LLM像人类一样易受影响，推理模型通过长思维链可缓解该效应，而个性特征无显著相关性，有助于推动LLM安全应用。
2025-09-17 cs.CL
Fuzzy, Symbolic, and Contextual: Enhancing LLM Instruction via Cognitive Scaffolding
Department of Computer Science University of Regina（计算机科学系 皇家大学）
该研究探究提示层归纳偏置对大语言模型教学对话认知行为的影响，提出搭配短期记忆模式的符号支架方法，经消融实验验证完整系统优于基线，证明认知支架可有效塑造LLM的教学策略。
2025-10-29 cs.AI cs.CL
Emulating Aggregate Human Choice Behavior and Biases with GPT Conversational Agents
University College Dublin（都柏林大学）
本研究利用GPT对话代理模拟人类决策偏差，通过对话实验揭示LLMs在个体层面预测和再现偏差的能力，为设计适应性AI系统提供重要启示。
2026-02-05 cs.AI cs.HC cs.MA
VIGIL: An Extensible System for Real-Time Detection and Mitigation of Cognitive Bias Triggers
Ghent University（根特大学）
VIGIL通过浏览器扩展实时检测和缓解在线信息中的认知偏差触发，结合LLM重述和隐私分层推理，提供可扩展的插件系统。
2026-04-20 cs.CL cs.CY cs.HC
Evaluating Large Language Models with NeuBAROCO: Syllogistic Reasoning Ability and Human-like Biases
Keio University（庆应义塾大学）
本研究通过NeuBAROCO数据集评估大型语言模型的三段论推理能力，发现其在处理信念偏见、转换错误和氛围效应三类类人偏见问题时表现更差。
2023-06-21 cs.AI cs.CL
Capturing Bias Diversity in LLMs
School of Computing（计算学院）；Insight Centre for Data Analytics（数据分析洞察中心）；Dublin City University（都柏林城市大学）
该研究提出名为BiasGPT的框架，通过构建嵌入性别、年龄、种族等不同人口特征偏差的定制化GPT实例并融合其多元视角，以生成更具代表性的AI对话，实验验证了其可行性，为打造更包容的AI技术提供了新方向。
2024-10-09 cs.AI cs.CL
Do Large Language Models Show Biases in Causal Learning? Insights from Contingency Judgment
本研究通过医学情境下的1000个零偶然性场景，测试大型语言模型在偶然性判断任务中的表现，发现所有模型均系统性地产生因果幻觉，支持其仅复现因果语言而非真正理解因果关系的假设。
2025-10-15 cs.AI
Analyzing Cognitive Differences Among Large Language Models through the Lens of Social Worldview
Wangxuan Institute of Computer Technology, Peking University（北京大学计算机技术研究院）；Information Management Department, Peking University（北京大学信息管理系）；Renmin University of China（中国人民大学）
本研究通过社会世界观分类法分析大型语言模型的认知差异，揭示其在动态社会环境中的适应性与认知灵活性。
2025-12-29 cs.AI cs.CL cs.HC
Security Logs to ATT&CK Insights: Leveraging LLMs for High-Level Threat Understanding and Cognitive Trait Inference
USC Institute for Creative Technologies（南加州大学创新技术研究院）；Northeastern University（东北大学）
本文提出利用大语言模型分析Suricata IDS日志，将底层网络事件映射到MITRE ATT&CK技术，并推断攻击者的认知偏差（如损失厌恶），为行为自适应网络防御奠定基础。
2025-10-23 cs.AI cs.CR
Anthropocentric bias in language model evaluation
University of Oxford（牛津大学）；Forschungszentrum Jülich（尤利希研究中心）
本文指出语言模型评估中存在人本偏见，提出通过结合行为实验与机制研究来减少这些偏见，以更准确评估模型能力。
2025-12-11 cs.CL
Anchoring Bias in Large Language Models: An Experimental Study
National Day School（国庆学校）
本研究通过实验探讨了大型语言模型中的锚定偏差，发现模型对偏差提示敏感，且需从多角度收集提示以缓解该偏差，而思维链等简单算法效果不足。
2024-12-18 cs.CL
Biased by Design: Leveraging AI Biases to Enhance Critical Thinking of News Readers
University of Lausanne（洛桑大学）；University of Zurich（苏黎世大学）
本文提出利用AI偏见提升新闻读者批判性思维的设计策略，通过用户选择和个性化方法增强信息辨别能力。
2025-11-28 cs.AI cs.HC
Prompting Techniques for Reducing Social Bias in LLMs through System 1 and System 2 Cognitive Processes
Bellini College of AI, Cybersecurity and Computing University of South Florida（人工智能、网络安全与计算学院，佛罗里达州立大学）
本文研究如何通过系统1/系统2双过程理论、思维链提示和去偏策略减少大语言模型的社会偏见，发现这些方法普遍有效，最佳组合因模型和偏见类别而异，可使刻板判断最多降低33%。
2025-08-22 cs.CL
Knowledge is Power: Harnessing Large Language Models for Enhanced Cognitive Diagnosis
Zhejiang University（浙江大学）
针对现有认知诊断模型（CDMs）在诊断低频学生和练习时缺乏先验知识的问题，提出模型无关的知识增强认知诊断（KCD）框架，通过整合大型语言模型（LLMs）并分两阶段处理，有效提升了诊断性能。
2025-02-08 cs.AI
Bridging Social Psychology and LLM Reasoning: Conflict-Aware Meta-Review Generation via Cognitive Alignment
Beihang University（北京航空航天大学）；Chinese Academy of Sciences（中国科学院）；Zhongguancun Laboratory（中关村实验室）
针对现有大语言模型生成元评审时难以处理冲突观点、易引入认知偏差的问题，提出基于双过程理论的认知对齐框架CAF，通过三步认知流水线实现冲突感知的元评审生成，在情感和内容一致性上均优于现有方法。
2025-03-21 cs.AI
Behavioral Economics of AI: LLM Biases and Corrections
Questrom School of Business, Boston University（波士顿大学奎斯特罗姆商学院）；SC Johnson College of Business, Cornell University（康奈尔大学SC约翰逊商学院）；National Bureau of Economic Research（美国国家经济研究局）
本文研究了大语言模型在经济决策中的偏见问题，通过实验发现模型在不同任务中表现出不同的行为模式，并提出通过提示使模型做出理性决策以减少偏见。
2026-02-10 cs.AI econ.GN q-fin.EC
Blind Spots and Biases: Exploring the Role of Annotator Cognitive Biases in NLP
Pennsylvania State University（宾夕法尼亚州立大学）；Information Sciences and Technology（信息科学与技术学院）
本文系统回顾了自然语言处理中标注者认知偏差的研究方法，探讨人类参与对AI偏差的双重影响，为理解标注属性如何导致偏差提供基础。
2024-04-29 cs.CL cs.HC
Words That Stick: Predicting Decision Making and Synonym Engagement Using Cognitive Biases and Computational Linguistics
State University of New York at Albany（纽约州立大学奥尔巴尼分校）；Google（谷歌公司）
本研究基于认知心理学和NLP技术，提出READ模型整合四种认知偏差，预测数字平台上的用户决策与同义词参与度，发现符合特定认知特征的同义词能显著提升用户参与度，为跨领域数字内容设计提供了新视角。
2023-07-26 cs.AI cs.CL cs.HC
Capturing Human Cognitive Styles with Language: Towards an Experimental Evaluation Paradigm
Stony Brook University（石溪大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出基于行为实验的评估框架，通过经典决策任务识别认知风格，并证明语言特征可较准确预测决策风格。
2025-02-18 cs.CL
Studying the Effects of Cognitive Biases in Evaluation of Conversational Agents
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
人类经常与会话代理人互动。通过神经网络的生成语言建模的快速发展有助于促进智能会话代理的创建。研究人员通常通过众包判断来评估他们的模型的输出，但没有建立进行此类研究的最佳实践。此外，目前还不清楚决策中的认知偏见是否会影响众包工作者在承担这些任务时的判断。为了进行调查，我们与77名众包工作人员进行了一项受试者间研究，以了解认知偏见的作用，特别是锚定偏见，当人类被要求评估会话代理的输出时。我们的研究结果提供了深入了解如何最好地评估会话代理。我们发现，在两个实验条件下，评级的一致性增加可能是锚定偏差的结果。我们还确定，外部因素，如时间和以前的经验，在类似的任务有影响的评分员之间的一致性。
2020-02-26 cs.CL cs.HC
Towards Socially Responsible AI: Cognitive Bias-Aware Multi-Objective Learning
IBM Research Dublin（IBM 研究院都柏林分院）
人类社会有着长期的认知偏见，导致社会偏见和大规模不公正。大量历史数据中普遍存在的认知偏见可能会构成威胁，表现为不道德和看似不人道的预测，作为在这些数据上训练的人工智能系统的输出。为了缓解这个问题，我们提出了一个偏见意识的多目标学习框架，给定一组身份属性（例如性别，种族等）。以及预测输出的可能类别的敏感类别的子集，学习减少预测它们的某些组合的频率，例如预测诸如“大多数黑人使用辱骂性语言”或“恐惧是女性的美德”之类的刻板印象。我们在具有平衡类先验的情感预测任务上进行的实验表明，一组基线偏差不可知模型表现出与性别有关的认知偏差，例如女性倾向于害怕，而男性更倾向于愤怒。相比之下，我们提出的偏见意识的多目标学习方法，以减少这种偏见的预测情绪。
2020-07-28 cs.CL cs.CY cs.LG
Emergent Word Order Universals from Cognitively-Motivated Language Models
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；The University of Tokyo（东京大学）；The University of Melbourne（墨尔本大学）
本文通过带有认知偏置的语言模型模拟发现，类型学典型语序具有更低困惑度，表明认知偏置与可预测性的相互作用能解释语序普遍性。
2024-06-07 cs.CL
GSDFuse: Capturing Cognitive Inconsistencies from Multi-Dimensional Weak Signals in Social Media Steganalysis
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing IntokenTech Co., Ltd.（北京IntokenTech公司）
针对社交媒体隐写分析中认知不一致性难以识别和多维弱信号聚合难的问题，提出GSDFuse方法，通过多模态特征工程、数据增强、自适应融合和判别嵌入学习，在复杂对话环境中实现最先进性能。
2025-05-20 cs.AI cs.CL cs.CR
Cascading Biases: Investigating the Effect of Heuristic Annotation Strategies on Data and Models
University of Pennsylvania（宾夕法尼亚大学）
认知心理学家已经证明，人类使用认知捷径，或心理捷径，在花费更少精力的同时做出快速决策。当在众包平台上执行注释工作时，我们假设注释者之间的这种启发式使用级联到数据质量和模型鲁棒性上。在这项工作中，我们研究了认知启发式使用的背景下，注释多项选择阅读理解数据集。我们提出跟踪注释者启发式痕迹，在那里我们有形地测量低努力的注释策略，可以表明使用各种认知技巧。我们发现的证据表明，注释者可能会使用多种这样的语言，基于与一组心理测试的相关性。重要的是，注释者之间的启发式使用在几个维度上决定了数据质量：（1）已知的有偏见的模型，如部分输入模型，更容易解决由在启发式使用方面得分很高的注释者编写的示例，（2）在启发式使用方面得分很高的注释者上训练的模型也不会泛化，以及（3）寻求启发式的注释者倾向于创建定性上不那么具有挑战性的示例。我们的研究结果表明，跟踪注释者之间的启发式使用可能有助于收集具有挑战性的数据集和诊断模型偏差。
2023-01-23 cs.CL
