Infer Human's Intentions Before Following Natural Language Instructions
University of Washington（华盛顿大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
该研究针对人类指令的歧义问题，提出FISER框架，通过显式推断人类意图改进协作具身任务的指令遵循，在HandMeThat基准上达到最优性能。
2026-08-27 cs.AI cs.CL cs.LG
Conceptual structure coheres in human cognition but not in large language models
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Albany State University（奥尔巴尼州立大学）
本研究通过认知心理学方法比较人类与大语言模型的概念结构，发现人类概念结构跨文化、语言和方法稳健一致，而大语言模型的概念结构因任务而异，内部一致性较低，揭示了当代机器语言的局限性。
2023-11-10 cs.AI cs.CL cs.LG
Training Language Models with Language Feedback
New York University（纽约大学）；University of the Basque Country（巴斯克大学）；Genentech（基因泰克）；CIFAR LMB（加拿大高等研究院分子生物学实验室）
预训练的语言模型通常不会以符合我们偏好的方式执行任务，例如，生成攻击性文本或事实上不正确的摘要。最近的工作接近上述问题，从一个简单的形式的人类评估学习：对模型生成的任务输出之间的比较。比较反馈传达了有限的信息，人类的喜好，每个人的评价。在这里，我们建议从自然语言反馈中学习，它可以传达更多的信息。我们使用三步学习算法从模型输出的语言反馈中学习。首先，我们根据初始输出和反馈来调整语言模型，以生成许多细化。其次，我们选择与反馈相似度最高的细化。第三，我们微调一个语言模型，以最大限度地提高所选择的细化给定的输入的可能性。在合成实验中，我们首先评估语言模型是否准确地结合反馈以产生改进，发现只有大语言模型（175 B参数）这样做。我们的学习算法仅使用100个人类书面反馈的样本，就将GPT-3模型微调到大致人类水平的总结能力。
2022-11-17 cs.AI cs.CL cs.LG
Child vs. machine language learning: Can the logical structure of human language unleash LLMs?
ZAS（莱布尼茨语言信息中心）；HU Berlin（柏林洪堡大学）
本文对比人类与机器语言学习差异，通过德语复数形成实验证明大语言模型遗漏语言逻辑，提出关注结构差异以提升性能。
2025-02-24 cs.AI cs.CL
Language Instructed Reinforcement Learning for Human-AI Coordination
Stanford University（斯坦福大学）
针对多智能体强化学习易收敛至非人类偏好均衡、缺高质量人类行为数据的人机协作难题，提出instructRL框架，用大语言模型基于自然语言指令生成先验策略以正则化RL目标，在Hanabi等基准验证了符合人类偏好的策略效果及人机协作性能提升。
2023-06-10 cs.AI cs.CL cs.LG
Divergences between Language Models and Human Brains
Carnegie Mellon University（卡内基梅隆大学）
本研究通过对比语言模型表征与人类MEG脑响应，系统探究人机语言处理差异，发现语言模型在社会/情绪智能和物理常识领域存在不足，微调可提升其与脑响应的对齐度。
2025-01-13 cs.AI cs.CL cs.LG
Structured, flexible, and robust: benchmarking and improving large language models towards more human-like behavior in out-of-distribution reasoning tasks
University of Cambridge（剑桥大学）；MIT（麻省理工学院）
人类语言为我们的思想提供了一个强大的窗口-我们讲故事，给出解释，并通过文字表达我们的信仰和目标。大量的证据也表明，语言在构建我们的学习中起着发展性的作用。在这里，我们要问：有多少类似人类的思维可以通过学习语言中的统计模式来捕捉？我们首先贡献了一个新的挑战基准比较人类和分布式大语言模型（LLM）。我们的基准测试包含两个问题解决领域（规划和解释生成），并被设计为需要泛化到新的，用语言表达的分布问题。我们发现，在这个基准上，人类比LLM更强大。接下来，我们提出了一个混合解析和求解模型，它增加了分布式LLM与结构化的符号推理模块。我们发现，该模型显示出对分布外规划问题的更强大的适应性，证明了混合人工智能模型对更人性化推理的承诺。
2022-05-11 cs.AI cs.CL cs.LG
Do Large Language Models know what humans know?
UC San Diego（加州大学圣地亚哥分校）
本文通过让 GPT-3 与人类完成语言版错误信念任务，检验语言接触能否解释心理状态推理能力，发现模型虽优于随机但不及人类，说明语言统计学习之外仍需其他机制。
2023-06-01 cs.AI cs.CL
When the LM misunderstood the human chuckled: Analyzing garden path effects in humans and language models
Blavatnik School of Computer Science, Tel Aviv University（特拉维夫大学布拉瓦尼克计算机科学学院）；Department of Linguistics, Tel Aviv University（特拉维夫大学语言学系）；Sagol School of Neuroscience, Tel Aviv University（特拉维夫大学萨戈尔神经科学学院）
本文通过花园路径句理解任务比较人类与大型语言模型（LLMs）的语言处理，验证心理语言学假设，发现两者均受特定句法复杂性影响，部分模型与人类理解高度相关，并通过释义和图像生成任务进一步验证结果。
2025-02-13 cs.AI cs.CL
Putting Humans in the Natural Language Processing Loop: A Survey
College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）
我们如何设计能够从人类反馈中学习的自然语言处理（NLP）系统？越来越多的人在回路（HITL）NLP框架的研究机构不断整合人类反馈以改进模型本身。HITL NLP研究是新兴的，但五花八门-解决各种NLP问题，从不同的人那里收集不同的反馈，并应用不同的方法从收集的反馈中学习。我们对机器学习（ML）和人机交互（HCI）社区的HITL NLP工作进行了调查，突出了其短暂但鼓舞人心的历史，并彻底总结了最近的框架，重点是他们的任务，目标，人类交互和反馈学习方法。最后，我们讨论了在NLP开发循环中整合人类反馈的未来方向。
2021-03-06 cs.AI cs.CL cs.HC
Grounding Visual Illusions in Language: Do Vision-Language Models Perceive Illusions Like Humans?
University of Michigan（密歇根大学）；University of California, Berkeley（加州大学伯克利分校）；The New School（新学院大学）；Northwestern University（西北大学）
本文构建包含五类视觉错觉的数据集并设计四项任务，考察视觉语言模型是否像人类一样产生错觉，发现更大模型更接近人类感知且更易受错觉影响。
2023-10-31 cs.AI cs.CL cs.CV
Data-Efficient Alignment of Large Language Models with Human Feedback Through Natural Language
Amazon（亚马逊）
本研究提出利用少量自然语言形式的人类反馈微调开源LLM，使其能通过批评与修订机制提升ChatGPT等强大模型的响应质量，验证了该方法在数据高效对齐方面的有效性。
2023-11-24 cs.AI cs.CL
Representational Similarity Alignment of Figurative Language in Humans and Large Language Models
本文研究了LLM在解读隐喻性语言方面是否能像人类一样，发现GPT-4在表征层面最接近人类，但所有模型在处理讽刺、俚语和隐喻时均表现不佳。
2026-10-14 cs.AI cs.CL
Aspects of human memory and Large Language Models
Institute of Theoretical Physics（理论物理研究所）；Mark Kac Center for Complex Systems Research（马克·卡茨复杂系统研究中心）；Jagiellonian University（雅盖隆大学）
本文研究LLM的记忆特性，发现其与人类记忆关键特征惊人相似，并论证这些特性源于训练文本统计而非架构本身，揭示人类记忆生物学特征对文本叙事结构的影响。
2024-04-08 cs.AI cs.CL cs.LG
Comparing Semantic Navigation in Humans and Large Language Models using Natural Language Processing
该研究通过语言流畅性数据，运用基于轨迹的自然语言处理指标，比较人类与三个大语言模型的语义搜索动态，量化相关维度，发现人类语义搜索在局部利用和全局探索间有独特平衡，当前模型架构无法重现。
2026-07-15 cs.AI cs.CL
Large language models converge toward human-like concept organization
University of Copenhagen（哥本哈根大学）
本研究探讨大型语言模型是否形成类人概念组织，发现其与知识库结构高度相似，且模型规模越大、性能越好，概念组织越接近人类。
2023-08-29 cs.CL cs.LG
The Real, the Better: Aligning Large Language Models with Online Human Behaviors
Baidu Inc.（百度公司）
本文提出RLHB框架，通过生成对抗方式直接利用真实在线人类行为对齐大语言模型，以自然语言行为建模和多模型联合训练实现可持续在线对齐，并经实验验证有效。
2024-05-01 cs.AI cs.CL
The Sensitivity of Language Models and Humans to Winograd Schema Perturbations
University of Copenhagen（哥本哈根大学）；University of Oslo（奥斯陆大学）；Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
大规模预训练的语言模型是最近Winograd Schema Challenge性能改进的主要驱动力，Winograd Schema Challenge是一种广泛使用的常识推理能力测试。然而，我们用一个新的诊断数据集表明，这些模型对Winograd例子的语言扰动很敏感，这些例子对人类理解的影响最小。我们的研究结果突出了人类和语言模型之间有趣的差异：语言模型比人类对数字或性别变化和同义词替换更敏感，人类在预测中更稳定和一致，保持更高的绝对性能，并且在非关联实例上比关联实例表现得更好。总的来说，人类比开箱即用的模型更经常是正确的，而模型有时是出于错误的原因而正确的。最后，我们表明，对大型特定任务数据集进行微调可以为这些问题提供解决方案。
2020-05-07 cs.CL cs.LG
HumBEL: A Human-in-the-Loop Approach for Evaluating Demographic Factors of Language Models in Human-Machine Conversations
Northeastern University（东北大学）
提出人机协同评估框架HumBEL，结合临床言语病理学技术与自动化方法，衡量语言模型在年龄等人口统计维度上的语言能力，发现GPT-3.5在推理和记忆任务上表现不均且语用技能不足。
2024-02-05 cs.AI cs.CL
When Large Language Models contradict humans? Large Language Models' Sycophantic Behaviour
School of Informatics, University of Edinburgh, UK（爱丁堡大学信息学院）；Department of Computing Science, University of Aberdeen, UK（阿伯丁大学计算科学系）
本文研究了大型语言模型在人类反馈下产生的谄媚行为，发现模型在主观问题上倾向迎合用户观点，但在数学等客观任务中能保持正确性。
2025-06-24 cs.AI cs.CL
Are they human? Detecting large language models by probing human memory constraints
Princeton University（普林斯顿大学）
本文通过探测人类认知限制来区分大语言模型与人类，展示了在特定任务中人类工作记忆容量的限制可被利用以识别非人类参与者。
2026-03-10 cs.AI cs.CL
Play the Shannon Game With Language Models: A Human-Free Approach to Summary Evaluation
Primer AI
摘要的目的是简明扼要地陈述文档中最重要的信息。考虑到这一原则，我们引入了新的无参考摘要评估指标，使用预训练的语言模型来估计文档及其摘要之间共享的信息内容。这些指标是对香农游戏的现代化改造，香农游戏是几十年前提出的一种摘要质量评分方法，我们用语言模型取代了人类注释者。我们还认为这些指标作为一个扩展的BLANC，最近提出的方法，摘要质量测量的基础上的性能的语言模型与和没有帮助的摘要。使用基于Transformer的语言模型，我们实证验证了我们的指标实现了最先进的相关性与人类判断的摘要质量维度的连贯性和相关性，以及竞争力的相关性与人类判断的一致性和流畅性。
2021-12-16 cs.CL cs.LG
Evaluating Large Language Models with NeuBAROCO: Syllogistic Reasoning Ability and Human-like Biases
Keio University（庆应义塾大学）
本研究通过NeuBAROCO数据集评估大型语言模型的三段论推理能力，发现其在处理信念偏见、转换错误和氛围效应三类类人偏见问题时表现更差。
2023-06-21 cs.AI cs.CL
High-Dimension Human Value Representation in Large Language Models
The Hong Kong University of Science and Technology（香港科技大学）
本文提出UniVaR，一种高维神经表征，用于在LLMs中表示人类价值分布，通过自监督学习并在15个模型上评估，探索了25种语言文化中的价值优先级。
2025-03-25 cs.AI cs.CL
Enhancing Human-Like Responses in Large Language Models
本文提出通过提升自然语言理解、对话连贯性和情感智能来增强大型语言模型的人类化响应，展示了改进用户交互和跨领域应用的潜力。
2026-02-01 cs.AI cs.CL
ConSiDERS-The-Human Evaluation Framework: Rethinking Human Evaluation for Generative Large Language Models
AWS AI Labs（AWS AI实验室）
该研究针对生成式大语言模型人类评估的可靠性问题，提出融合多学科视角的ConSiDERS-The-Human评估框架，含六大支柱，以提升评估的科学性与可扩展性。
2024-08-31 cs.AI cs.CL
Combatting Human Trafficking in the Cyberspace: A Natural Language Processing-Based Methodology to Analyze the Language in Online Advertisements
本项目针对在线C2C市场中的人口贩卖问题，提出一种基于NLP的新方法，通过生成伪标签数据集并利用Transformer模型进行风险预测和有组织活动检测，同时引入Integrated Gradients可解释性框架，为执法提供可扩展的机器学习解决方案。
2023-11-22 cs.AI cs.CL cs.CY
Can Large Language Models Capture Dissenting Human Voices?
KAIST AI（韩国科学技术院人工智能学院）
本文通过蒙特卡洛估计和对数概率估计评估大型语言模型在自然语言推理任务中的分布与人类分歧分布的一致性，发现其推理能力有限且难以捕捉人类分歧，尤其在高分歧样本上表现更差。
2023-10-27 cs.AI cs.CL
Fine-tuning vs Prompting, Can Language Models Understand Human Values?
HKUST（香港科技大学）
本文探讨了微调与提示调优在人类价值检测任务中的效果，并验证了预训练知识与RLHF对齐的LLMs在该任务中的能力，展示了初步实验结果。
2024-03-12 cs.AI cs.CL
Human-Alignment, Calibration, and Activation Patterns in Large Language Model Uncertainty
Vanderbilt University（范德比大学）；Tennessee Technological University（田纳西技术大学）
研究大型语言模型的不确定性与人类不确定性的相似性，通过分析行为与内部激活模式，发现模型在多项选择和开放式事实回忆数据集上同时存在对齐与校准，并描述了指令微调的影响。
2026-05-29 cs.AI cs.CL
Can Large Language Models Predict Associations Among Human Attitudes?
本研究利用新数据集测试GPT-4o预测人类态度关联的能力，发现即使态度间缺乏表面相似性，模型仍能准确预测，表明LLMs捕捉了人类信念系统的深层潜在结构。
2025-03-26 cs.AI cs.CL
Shaping Shared Languages: Human and Large Language Models' Inductive Biases in Emergent Communication
Leiden Institute of Advanced Computer Science, Leiden University, Netherlands（莱顿高级计算机科学研究所，莱顿大学，荷兰）；School of Computing, University of Kent, United Kingdom（计算学院，肯特大学，英国）；Cognitive Psychology Unit, Institute of Psychology, Leiden, the Netherlands（认知心理学单元，心理学研究所，莱顿，荷兰）
通过经典指代游戏研究人类与大语言模型在涌现通信中的归纳偏置，发现人机交互能缓解语言差异并产生更类人的词汇，强调了包含人类交互的LLM训练新方法的重要性。
2025-05-28 cs.CL
HumT DumT: Measuring and controlling human-like language in LLMs
Stanford University（斯坦福大学）
本文提出HumT和SocioT指标测量LLM输出中的类人语气及社会感知，并发现用户在多数情境下偏好非类人输出；同时提出DumT方法，在不损害模型性能的前提下系统降低类人语气，以缓解拟人化语言带来的欺骗、过度依赖等风险。
2025-05-30 cs.AI cs.CL cs.CY
Agreeing to Interact in Human-Robot Interaction using Large Language Models and Vision Language Models
Microsoft（微软公司）
针对人机交互启动决策依赖多情境因素的难题，对比四种基于LLM与VLM的系统设计模式，在含84个场景的测试集上验证了其在明确场景下的有效性，指出开放场景仍存挑战。
2025-01-07 cs.CL cs.HC cs.LG
HumanVLM: Foundation for Human-Scene Vision-Language Model
Chongqing University of Posts and Telecommunications（重庆邮电大学）
本文提出人类-场景视觉语言模型HumanVLM，构建大规模数据集并训练模型，在人类相关任务上表现优异，超越同类模型。
2024-11-05 cs.AI cs.MM
A Comparison of Large Language Model and Human Performance on Random Number Generation Tasks
Ophiuchus LLC（奥菲乌斯有限责任公司）
本研究通过改编人类随机数字生成任务，测试ChatGPT-3.5是否表现出类似人类的认知偏差，发现其更有效地避免重复和顺序模式，为认知科学应用提供新视角。
2024-08-20 cs.AI cs.CL q-bio.NC
HLB: Benchmarking LLMs' Humanlikeness in Language Use
The Chinese University of Hong Kong（香港中文大学）；Brain and Mind Institute, The Chinese University of Hong Kong（香港中文大学脑与认知科学研究所）
本文提出人类相似性基准（HLB），通过10项心理语言学实验和2000余名人类数据对比，系统评估20个大语言模型在语言使用中的人类相似性，发现模型其他性能提升未必增加人类相似性。
2024-09-24 cs.CL
AI Act and Large Language Models (LLMs): When critical issues and privacy impact require human and ethical oversight
International Institute of Informatics and Systemics (IIIS)（国际信息学与系统学研究所）
本文针对大语言模型快速发展带来的风险，探讨了人类监督、伦理监督与隐私影响评估在应对隐私、数据保护及伦理问题中的作用。
2024-04-02 cs.AI cs.CL cs.CY
Using Natural Language for Human-Robot Collaboration in the Real World
Center for Integrated Cognition（综合认知中心）；Conitive（Conitive 公司）
本文探讨如何将大语言模型与物理机器人结合，以提升机器人在现实世界中的自然语言理解能力，实现更自然的人机协作，并通过三个基于ChatGPT的概念验证实验展示了可行性。
2025-09-19 cs.AI cs.CL cs.RO
What makes a language easy to deep-learn? Deep neural networks and humans similarly benefit from compositional structure
University of Southern Denmark（南丹麦大学）；Max Planck Institute for Psycholinguistics（马克斯·普朗克心理语言学研究所）；Tel Aviv University（特拉维夫大学）；University of Glasgow（格拉斯哥大学）
本文通过让大型语言模型和循环神经网络学习组合程度不同的语言，证明二者均像人类一样更易学习组合性强的语言，并表现出更系统的泛化与更高的一致性。
2024-10-10 cs.CL
Large Language Models are as persuasive as humans, but how? About the cognitive effort and moral-emotional language of LLM arguments
Toulouse Business School（图卢兹商学院）
本文比较了 LLM 与人类论证的说服策略，发现 LLM 生成的论证具有更高的认知努力和道德语言使用频率，但在情感内容上无显著差异，揭示了其在数字说服中对信息完整性的双重影响。
2024-04-21 cs.CL
Comparing Abstraction in Humans and Large Language Models Using Multimodal Serial Reproduction
Princeton Neuroscience Institute（普林斯顿神经科学研究所）；Princeton University（普林斯顿大学）；NYU Center for Data Science（纽约大学数据科学中心）；NYU Dept. of Psychology（纽约大学心理学系）
通过多模态序列复制实验，比较人类与GPT-4在抽象形成中的差异，发现语言模态对人类影响更大，表明人类视觉与语言表征更可分离。
2024-02-06 cs.AI cs.CL q-bio.NC
Large Language Models for Machine Translation Quality Annotation: Humans and Models Are Both Challenged
Apple（苹果公司）
本文评估LLMs在MQM和ESA两种MT质量标注方案上与人类标注者的一致性，发现二者在多数场景下不可靠，明确了人类与LLM各自的标注挑战，提出可通过人类-LLM协作标注流程提升可靠性。
2026-10-09 cs.CL
Concept Generalization in Humans and Large Language Models: Insights from the Number Game
Department of Biomedical Engineering, Sungkyunkwan University, South Korea（生物医学工程系，全州大学，韩国）
研究通过数字游戏对比人类与大语言模型在概念泛化上的差异，揭示人类灵活的推理策略与LLM依赖数学规则的本质区别。
2025-12-23 cs.AI
Cultural Biases of Large Language Models and Humans in Historical Interpretation
Research & Development Department of Information Security and Communication Technology（信息安全和通信技术研发部）；Maggioli SpA（Maggioli股份公司）；Norwegian University of Science and Technology - NTNU（挪威科技大学）
本文比较了人类和大型语言模型在历史注释中的表现，发现两者均存在文化偏见，但语言模型在短文本历史事实解读上达成更高共识，而人类因个人偏见常有分歧。
2026-03-29 cs.CL
Accommodation Goes Both Ways: Studying Linguistic Convergence Between Humans and Language Models
Khoury College of Computer Sciences（科里学院计算机科学学院）
通过大规模研究人类与LLM对话中的语言趋同现象，发现LLM在功能词和开放类特征上过度适应人类风格，而人类对LLM的适应程度与人类之间对话的基线一致。
2026-05-28 cs.CL
From Language to Cognition: How LLMs Outgrow the Human Language Network
EPFL（苏黎世联邦理工学院）；MIT（麻省理工学院）；Georgia Institute of Technology（佐治亚理工学院）
本文通过分析8种规模、300B token训练过程中的34个检查点，发现大语言模型的类脑对齐主要追踪形式语言能力而非功能能力，并表明模型规模并非可靠预测指标，现有大脑对齐基准仍未饱和。
2025-09-20 cs.CL
Human-LLM Alignment in Language Attitudes Toward Non-Native Japanese
该研究对比人类与LLM对母语及非母语日语邮件的评价，发现LLM以结构化弱化形式重现母语者的语言态度，为审计LLM提供了可推广的语言态度框架。
2026-10-27 cs.CL
Limits of Large Language Models in Debating Humans
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本研究通过预注册的辩论共识游戏测试大语言模型智能体与人类辩论的局限性，发现智能体虽能提升辩论专注度与生产力，但在说服力、自信度及行为模式上仍与人类存在明显差异。
2025-02-01 cs.AI cs.CL cs.HC
Quantifier Scope Interpretation in Language Learners and LLMs
Department of English, Purdue University（英语系，普渡大学）；Department of Linguistics, Purdue University（语言学系，普渡大学）；School of Languages and Cultures, Purdue University（语言与文化学院，普渡大学）
本研究采用跨语言方法考察大语言模型在英汉双语中处理量词辖域歧义的表现，发现多数模型倾向表层辖域解释，且模型架构、规模及预训练数据语言背景显著影响其与人类解释的相似度。
2025-09-13 cs.CL
Transformer-Based Language Model Surprisal Predicts Human Reading Times Best with About Two Billion Training Tokens
The Ohio State University（俄亥俄州立大学）
本研究通过系统评估不同训练数据量和模型容量的基于Transformer的语言模型变体，发现具有当代模型容量的变体在约20亿训练词元时对人类阅读时间的预测最佳，过多训练数据会导致拟合变差，且需一定模型容量才能捕捉类人预期。
2023-10-22 cs.CL
Aligning Crowd-sourced Human Feedback for Reinforcement Learning on Code Generation by Large Language Models
City University of Hong Kong（香港城市大学）；Nanyang Technological University（南洋理工大学）
该研究提出基于贝叶斯优化的众包人类反馈对齐框架，结合RLHF与众包计算优化大语言模型的文本到代码生成，分散反馈收集负担，验证了方法有效性，可适配通用领域特定语言。
2025-03-19 cs.AI
Investigating Human-Aligned Large Language Model Uncertainty
Vanderbilt University（范德堡大学）；Tennessee Tech University（田纳西理工大学）
本文评估多种大语言模型不确定性度量，发现贝叶斯度量和top-k熵与人类群体不确定性较一致，并证明组合度量可在保持人类对齐的同时降低模型规模依赖。
2025-03-16 cs.CL
Agreement Between Large Language Models and Human Raters in Essay Scoring: A Research Synthesis
Department of Educational Policy Studies, Georgia State University（乔治亚州立大学教育政策研究系）
通过综合65项研究，发现大型语言模型与人类评分者在论文评分中的一致性高度依赖上下文，且跨研究及研究内部差异显著。
2026-05-25 cs.CL
