How do Language Models Generate Slang: A Systematic Comparison between Human and Machine-Generated Slang Usages
Data Science Institute University of Chicago（芝加哥大学数据科学研究所）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文系统比较人类与GPT-4o、Llama-3生成的俚语用法，从偏差特征、创造性和信息量三方面评估，发现LLM虽掌握俚语创造性知识但与人类认知存在显著偏差，尚不足以支撑语言分析等外推任务。
2025-09-19 cs.AI cs.CL cs.LG
Evaluating Behavioral Alignment in Conflict Dialogue: A Multi-Dimensional Comparison of LLM Agents and Humans
University of Southern California（南加州大学）；USC for Institute of Creative Technologies（南加州大学创意技术研究所）
本研究通过模拟含谈判的冲突对话，从语言风格、情感表达和策略行为三个维度比较人格提示LLM与人类的行为对齐，发现GPT-4.1和Claude-3.7-Sonnet各有所长但仍存在显著差距，为社交复杂交互中的LLM对齐建立了基准。
2025-09-19 cs.AI cs.CL cs.HC
Human-Like Attention? A Psychophysical Comparison of Visual Search in Humans and MLLMs
本研究通过心理物理学实验比较人类与多模态大语言模型在视觉搜索中的表现，发现MLLMs虽能复现人类的高层性能特征（错误率相关性达0.82），但在目标缺失时的响应机制存在显著差异。
2026-10-06 cs.AI cs.CV cs.HC
Does AI-Generated Scientific Text Follow Human Argumentation Patterns? A CARS-Based Comparison of Research Article Introductions
Università della Svizzera italiana (USI)（瑞士意大利语大学）
本研究通过CARS模型比较人类与AI生成的研究文章引言，发现人类写作更灵活，AI生成更统一，且提供CARS定义会加剧僵化。
2026-10-02 cs.CL
LLMs for Survey Text Analysis - A Performance Comparison Between Humans and GPT-5 on Inductive Content Analysis
本研究对比人类与GPT-5.4在903份欧洲博士生调查开放式回答的归纳内容分析中的性能，发现GPT-5.4编码的ARI为0.61，可近似人类编码表现，或可作为归纳质性分析的可扩展支持工具。
2026-08-25 cs.AI cs.CL cs.HC
Surprise-Guided MergeSort: Budget-Efficient Human-in-the-Loop Ranking via Adaptive Comparison Scheduling
Hanyang University（汉阳大学）；Hankuk University of Foreign Studies（韩国外国语大学）
提出惊喜引导的归并排序（SGS）框架，利用视觉语言模型（VLM）作为问题优先级排序器，通过自适应预算分配将高模糊度比较路由给人类，在六个基准上以相同预算实现Kendall's τ×100提升6-12点。
2026-06-24 cs.AI cs.LG
Synthetic Heuristic Evaluation: A Comparison between AI- and Human-Powered Usability Evaluation
University of Washington（华盛顿大学）
本文提出基于多模态大语言模型的合成启发式评估方法，在两个应用上识别出73%和77%的可用性问题，超过5名人类专家，且在布局检测上表现突出，为AI驱动的可用性评估设计提供了依据。
2025-07-03 cs.AI cs.HC
Human Behavioral Benchmarking: Numeric Magnitude Comparison Effects in Large Language Models
Georgia Institute of Technology（佐治亚理工学院）
本研究从行为视角探讨大型语言模型（LLMs）对数字大小的表征能力，发现不同架构的LLMs在缺乏人脑神经回路的情况下，仍表现出惊人的人类般数字表征，验证了行为基准在理解LLMs认知合理性方面的效用。
2023-11-08 cs.AI
Heads, Tails, and AI Fails: LLMs, Randomness, and Human Judgments
Cornell University（康奈尔大学）
本研究通过生成二元随机序列的视角，探讨 LLM 如何处理随机性及其失败方式，发现 GPT 4 和 Llama 3 加剧了人类偏见，而 GPT 3.5 更随机，并提出随机性与人类特征的二分法是 LLM 的基本问题。
2026-10-05 cs.AI cs.LG
Defining and Categorising Human-AI Interactions in Clinical Trials: A Multidimensional Human-AI Classification Approach
Keele University（基尔大学）；Manchester Metropolitan University（曼彻斯特城市大学）
本文提出一种多维分类框架，用于定义和分类临床试验中的人机交互，涵盖AI任务、关系、配置和人群，并通过15项试验验证了LLM辅助分类的潜力，强调人类判断的重要性。
2026-10-01 cs.AI
When Does Span-Guided Detoxification Help? Human Preferences and Evaluator Diagnostics in a Controlled Comparison
Yonsei University（延世大学）
该研究对比跨度引导与无引导解毒方法的人类偏好，发现二者存在权衡，不同分层偏好不同，自动评估无法替代人类判断，推动了新评估协议的发展。
2026-07-30 cs.CL
How Far Can LLMs Improve from Experience? Measuring Test-Time Learning Ability in LLMs with Human Comparison
Tsinghua University（清华大学）
本研究提出语义游戏测试平台和客观评估框架，比较LLMs在有限与累积经验下的表现，发现其测试时学习能力可测但提升稳定性与速度不及人类，揭示模型与人类间的智力差距。
2025-08-06 cs.CL
A Comparison of Human and ChatGPT Classification Performance on Complex Social Media Data
本文比较了ChatGPT和人类在复杂社交媒体数据分类中的性能，发现GPT-4在处理微妙语言时存在困难，需谨慎使用。
2025-11-29 cs.CL
Can LLMs Address Mental Health Questions? A Comparison with Human Therapists
University of Chicago（芝加哥大学）；University of Virginia（弗吉尼亚大学）
本研究比较了ChatGPT、Gemini和Llama与人类治疗师对真实心理健康问题的回复，发现LLM回复在文本质量和用户评价上更优，但用户和治疗师仍更偏好人类支持，强调了平衡LLM沟通优势与信任隐私问题的设计需求。
2025-09-15 cs.AI cs.HC
Challenges for AI in Multimodal STEM Assessments: a Human-AI Comparison
EPFL（苏黎世联邦理工学院）
本文通过构建201道大学STEM多模态题目数据集，对比四种AI模型与学生的答题表现，发现人类在视觉类题目上始终优于AI，并提出利用题目特征设计来维护学术诚信的实践建议。
2025-07-02 cs.AI cs.CY
Dodgersort: Uncertainty-Aware VLM-Guided Human-in-the-Loop Pairwise Ranking
Hanyang University（翰阳大学）；Hankuk University of Foreign Studies（韩国民法大学）
Dodgersort通过CLIP基于的分层预排序、神经排名头和概率集成方法，减少人工比较并提升排序可靠性，在医学影像、历史 dating 和美学任务中实现11-16%的标注减少。
2026-03-21 cs.AI cs.CV cs.HC
A fine-grained comparison of pragmatic language understanding in humans and language models
Massachusetts Institute of Technology（麻省理工学院）；Sarah Lawrence College（莎拉·劳伦斯学院）；Carleton University（卡尔顿大学）；McGovern Institute for Brain Research, Massachusetts Institute of Technology（麻省理工学院麦戈文脑科学研究所）
本研究在七种语用现象上对语言模型与人类进行细粒度比较，发现最大模型能匹配人类错误模式且无需显式心理状态表征即可涌现语用行为，但在依赖社会期望违背的现象上仍有困难。
2023-05-23 cs.AI cs.CL
Active Evaluation: Efficient NLG Evaluation with Few Pairwise Comparisons
Microsoft（微软）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；RBCDSAI, IIT Madras（印度理工学院马德拉斯分校罗希尼·巴拉钱德兰数据科学与人工智能学院）
最近的研究表明，使用成对比较而不是直接评估来评估NLG系统的优势。给定$k$系统，用于识别排名最高的系统的简单方法是从所有${k \choose 2}$系统对中均匀地获得成对比较。然而，这可能是非常昂贵的，因为所需的人工注释的数量将随着$k$成二次方地增长。在这项工作中，我们引入了主动评估，一个框架，以有效地确定排名靠前的系统，积极选择系统对比较使用决斗强盗算法。我们在13个NLG评估数据集上使用13个决斗强盗算法进行了广泛的实验，结果表明，人类注释的数量可以减少80%。为了进一步减少人类注释的数量，我们提出了基于模型的决斗强盗算法，结合自动评估指标与人类的评价。具体来说，我们甚至在人工注释过程之前就消除了次优系统，并且只在自动度量高度不确定的测试示例上进行人工评估。这将所需的人工注释数量进一步减少了89%。实际上，我们表明，识别排名靠前的系统只需要几百个人类注释，这些注释随着$k$线性增长。最后，我们提供了实用的建议和最佳实践，以有效地识别排名靠前的系统。我们的代码已在https://github.com/akashkm99/duelnlg上公开发布
2022-04-17 cs.AI cs.CL cs.LG
Monte Carlo Sort for unreliable human comparisons
University of Cambridge（剑桥大学）；babylon health（巴比伦健康公司）；ASI Data Science（ASI数据科学公司）
将实数列表按升序排序的算法已经研究了几十年。它们通常基于一系列成对比较，并完全在芯片上运行。然而，人们通常会根据主观或复杂的判断对列表进行排序，而这些判断无法自动化。例子包括市场调研;调查用于了解客户对产品的偏好，招聘过程;面试官试图对潜在员工进行排名，以及体育比赛;我们从一系列一对一的比赛中推断团队排名。我们开发了一种新的排序算法，其中每个成对比较反映了主观的人类判断哪个元素更大或更好。我们引入了一个有限的和大的出错率的每一个判断，我们采取的成本，每个比较显着超过其他计算步骤的成本。该算法必须从用户那里请求信息量最大的比较序列;以便以最少的人工输入识别正确的排序列表。我们的离散绝热蒙特卡罗方法通过跟踪一组合理的假设来逐步获取信息，这些假设在每次额外的比较后都会更新。
2016-12-27 cs.AI cs.DS cs.HC
A Systematic Comparison of Syllogistic Reasoning in Humans and Language Models
Massachusetts Institute of Technology（麻省理工学院）；Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
该研究对比人类与PaLM2系列语言模型的三段论推理能力，发现大模型逻辑性优于小模型和人类，但仍存在部分与人类相似的系统性推理偏差，验证了模型既会模仿训练数据中的人类偏差，也能在部分场景中克服偏差。
2024-04-11 cs.AI cs.CL cs.LG
Learning from Richer Human Guidance: Augmenting Comparison-Based Learning with Feature Queries
UC Merced（加州大学默塞德分校）；UC Berkeley（加州大学伯克利分校）
我们专注于学习机器人所需的目标函数。虽然轨迹演示可以提供所需目标的大量信息，但用户也很难提供。回答比较查询，询问两个轨迹中的哪一个更好，对用户来说更容易，并且已经成为一种有效的替代方案。不幸的是，比较的信息量要少得多。我们认为，有更丰富的信息，用户可以很容易地提供，机器人应该利用。我们专注于增强与特征查询的比较，并引入了一个统一的形式主义，用于将所有答案视为对真正期望奖励的观察。我们推导出一个主动查询选择算法，并测试这些查询在模拟和真实用户。我们发现，更丰富的、功能增强的查询可以更快地提取更多信息，从而使机器人在行为上更好地匹配用户偏好。
2018-02-05 cs.AI
Generating Human-Like Movement: A Comparison Between Two Approaches Based on Environmental Features
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；TNO（荷兰应用科学研究组织）
在仿真中模拟真实的人类行为是一个持续的挑战，存在于社会科学，哲学和人工智能等多个领域之间。人类运动是一种特殊类型的行为，由意图（例如购买食品杂货）和周围环境（例如好奇地看到新的有趣的地方）驱动。在线和离线提供的服务在规划路径时通常不考虑环境，这在休闲旅行中尤其具有决定性。提出了两种基于环境特征的仿人轨迹生成算法。基于吸引力的A* 算法在其计算中包括来自环境特征的信息，同时，基于吸引力的A* 算法在其计算中还注入来自真实轨迹的信息。人类相似的方面已经过测试，由人类专家判断最终生成的轨迹是真实的。本文提出了两种方法之间的比较，在一些关键指标，如效率，功效，和超参数的敏感性。我们展示了尽管根据我们预定义的指标生成更接近真实轨迹的轨迹，但与基于吸引力的A* 算法相比，基于吸引力的A* 算法在时间效率上不足，阻碍了模型在现实世界中的可用性。
2020-12-11 cs.AI
Explaining Human Comparisons using Alignment-Importance Heatmaps
Center for Mind/Brain Sciences (CIMeC)（心智/脑科学中心）；University of Trento（特伦托大学）
本文提出基于对齐重要性分数（AIS）热图的可解释性方法，通过深度视觉模型特征图对DNN与人类表征几何对齐的独特贡献，改善人类相似性判断预测并直观解释图像比较的关键区域。
2024-09-08 cs.AI cs.CV
Optimizing Generative AI's Accuracy and Transparency in Inductive Thematic Analysis: A Human-AI Comparison
AI4STEM Education Center, University of Georgia（佐治亚大学AI4STEM教育中心）；Kutztown University（库茨敦大学）；College of Nursing, Midwifery and Allied Health Sciences（护理、助产与联合健康科学学院）；University of Connecticut（康涅狄格大学）
本研究对比人与AI的归纳式主题分析，采用集成GPT-4 Turbo API的分步提示Python脚本提升GenAI编码的可追溯性与准确性，发现其编码水平接近人类，且解读视角更具概括性。
2025-03-24 cs.AI cs.HC
Optimizing Bipedal Locomotion for The 100m Dash With Comparison to Human Running
Collaborative Robotics and Intelligent Systems Institute, Oregon State University（协作机器人与智能系统研究所，俄勒冈州立大学）
本文提出优化双足机器人Cassie跑步步态的方法，与人类跑步机制对比，并集成控制器实现100米短跑，创下吉尼斯世界纪录。
2025-08-05 cs.AI cs.RO
EZ-Sort: Efficient Pairwise Comparison via Zero-Shot CLIP-Based Pre-Ordering and Human-in-the-Loop Sorting
Hanyang University（翰阳大学）；Hankuk University of Foreign Studies（韩国民法大学）
本文提出 EZ-Sort，利用零样本 CLIP 分层预排序、桶感知 Elo 初始化和不确定性引导的人在回路 MergeSort，显著降低成对排序的人工标注成本并保持可靠性。
2025-08-29 cs.AI cs.CV
When majority voting fails: Comparing quality assurance methods for noisy human computation environment
Xerox Innovation Group（施乐创新集团）
质量保证仍然是人类计算研究的一个关键主题。先前的工作表明，多数表决是有效的低难度的任务，但有困难的任务的限制。本文探讨了解决这个问题的两种方法：锦标赛选择和淘汰选择，利用2，3和4路不同的答案之间的比较，人类计算任务。我们的实验结果和统计分析表明，这两种方法产生正确的答案在嘈杂的人类计算环境中更经常比多数表决。此外，我们发现，相对于使用双向比较，使用4向比较可以显着降低质量保证的成本。
2012-04-16 cs.AI cs.SI
A psychophysics approach for quantitative comparison of interpretable computer vision models
Beuth University（博伊特大学）
透明机器学习（ML）领域已经贡献了许多新方法，旨在更好地解释计算机视觉和ML模型。但是，透明ML方法提供的解释对人类有多有用仍然难以评估。大多数研究在定性比较中评估可解释性，他们使用的实验范式不允许方法之间的直接比较，或者他们只报告离线实验，没有人类参与。虽然没有人类参与的评估有明显的优势，例如可扩展性，可重复性和比人类参与的评估更少的算法偏见，但如果我们不了解这些指标与其他考虑人类认知的指标之间的关系，这些指标的有用性就会受到限制。在这里，我们调查的质量可解释的计算机视觉算法使用的技术从心理物理学。在众包注释任务中，我们研究了不同可解释性方法对注释准确性和任务时间的影响。为了将这些发现与没有人类参与的可解释性的质量度量相关联，我们比较了有和没有人类参与的质量度量。我们的研究结果表明，心理物理实验允许强大的质量评估的透明度在机器学习。有趣的是，在没有人类参与的情况下计算的质量指标并没有提供一致的可解释性方法排名，也不能代表解释对人类的有用程度。这些发现突出了经典心理物理学方法在现代机器学习应用中的潜力。我们希望我们的研究结果为评估其自然栖息地，人类-ML交互中的可解释性提供令人信服的论据，如果目标是获得对可解释性的真实评估。
2019-11-24 cs.AI cs.CV cs.HC
Benchmarking human visual search computational models in natural scenes: models comparison and reference datasets
Universidad de Buenos Aires（布宜诺斯艾利斯大学）；CONICET（阿根廷国家科学与技术研究理事会）
视觉搜索是几乎所有日常人类目标导向与环境互动的重要组成部分。如今，有几种算法能够在简单的观察过程中预测注视位置，但很少有模型试图模拟人类在自然场景中视觉搜索时的行为。此外，这些模型在设计上差异很大，在评估它们的数据集和指标上也存在差异。因此，需要有一个参照点，以便对每个模式进行测试，并从中得出可能的改进。在目前的工作中，我们选择了自然场景中公开可用的最先进的视觉搜索模型，并在不同的数据集上对其进行评估，采用相同的指标来估计其效率和与人类主题的相似性。特别是，我们提出了一个改进的理想贝叶斯搜索器，通过结合一个基于神经网络的视觉搜索模型，使其能够推广到其他数据集。目前的工作揭示了当前模型的局限性，以及如何通过组合方法来实现潜在的改进。此外，它进一步提供了一个解决方案，迫切需要基准数据和指标，以支持更一般的人类视觉搜索计算模型的发展。
2021-12-10 cs.AI cs.CV
Principled Reinforcement Learning with Human Feedback from Pairwise or $K$-wise Comparisons
UC Berkeley（加州大学伯克利分校）
本文为RLHF建立理论框架，证明线性奖励下MLE收敛但策略训练失败，悲观MLE在覆盖假设下更优，统一RLHF与最大熵IRL并给出首个样本复杂度界。
2024-02-08 cs.AI cs.HC cs.LG
