What makes a language easy to deep-learn? Deep neural networks and humans similarly benefit from compositional structure
University of Southern Denmark(南丹麦大学);Max Planck Institute for Psycholinguistics(马克斯·普朗克心理语言学研究所);Tel Aviv University(特拉维夫大学);University of Glasgow(格拉斯哥大学)
本文通过让大型语言模型和循环神经网络学习组合程度不同的语言,证明二者均像人类一样更易学习组合性强的语言,并表现出更系统的泛化与更高的一致性。
2024-10-10 cs.CL
AI, Take the Wheel: What Drives Delegation and Trust in Human-Computer Cooperative Question Answering?
University of Maryland(马里兰大学);University of California(加州大学);MBZUAI
通过问答游戏实验,研究人类在何时以及为何选择委托AI或采纳其建议,发现人类存在对AI正确建议的低依赖(3.9%)和错误建议的过度依赖(1.7%),并受确认偏见影响,建议通过校准置信度、基于证据的解释和信任细化机制来改进人机协作。
2026-05-27 cs.AI cs.CL cs.HC
Who Does What? Archetypes of Roles Assigned to LLMs During Human-AI Decision-Making
University of Cambridge(剑桥大学);National Cancer Institute, National Institutes of Health(国家癌症研究所,国立卫生研究院);Research Centre Trust, UA Ruhr, University Duisburg-Essen(研究信托中心,UA Ruhr,杜伊斯堡-埃森大学)
本文提出人类-LLM范式概念,通过分析113篇论文得出17种角色模式,并探讨其对决策结果的影响及设计权衡。
2026-02-12 cs.AI cs.HC
What can LLMs tell us about the mechanisms behind polarity illusions in humans? Experiments across model scales and training steps
University of Potsdam(波茨坦大学)
研究通过Pythia缩放套件探讨大语言模型中极性错觉的产生机制,发现模型规模增大时NPI错觉减弱而深度电荷错觉增强,挑战了人类句法处理中'理性推断'机制的必要性。
2026-03-29 cs.CL
What Helps Language Models Predict Human Beliefs: Demographics or Prior Stances?
Center for Complex Networks and Systems Research, Indiana University(复杂网络与系统研究中心,印第安纳大学);School of Data Science, University of Virginia(数据科学学院,弗吉尼亚大学)
研究探讨了语言模型预测人类信念时,人口统计学特征与先前立场对预测效果的影响,发现两者结合效果最佳,但不同信念领域中其相对价值存在差异。
2026-01-29 cs.CL
The PRISM Alignment Dataset: What Participatory, Representative and Individualised Human Feedback Reveals About the Subjective and Multicultural Alignment of Large Language Models
University of Oxford(牛津大学);University of Pennsylvania(宾夕法尼亚大学);Bocconi University(博科尼大学);ML Commons;Contextual AI;Factored AI;UCL(伦敦大学学院);Cohere;MetaAI;New York University(纽约大学);AWS AI Labs(亚马逊云科技AI实验室);Meedan
针对LLM对齐中人类反馈的方法、领域等开放性问题,本文引入PRISM数据集,通过多国家多人口样本与LLM对话反馈,揭示主观多元文化对齐需求,强调反馈提供者的重要性。
2024-12-03 cs.CL
What Do LLMs Associate with Your Name? A Human-Centered Black-Box Audit of Personal Data
Columbia University(哥伦比亚大学)
研究通过LMP2工具审计LLMs对个人数据的关联,发现模型能准确生成用户特征,引发对数据隐私权在LLMs中的适用性讨论。
2026-02-19 cs.AI cs.CL cs.CY
Can AI Guess What You Know? Performance Comparison of Large Language Models for Human Domain Knowledge Estimation From Communication Logs
Osaka Metropolitan University(大阪 metropolitan 大学)
本研究通过分析 Slack 日志,比较了七种大型语言模型在零样本设置下估计用户领域知识的能力,发现 Gemini 2.5 Flash 误差最低(MAE 21.13%),且估计精度与消息量弱相关。
2026-05-21 cs.CL cs.HC
The MedPerturb Dataset: What Non-Content Perturbations Reveal About Human and Clinical LLM Decision Making
Massachusetts Institute of Technology(麻省理工学院);Cornell University(康奈尔大学)
本研究提出MedPerturb数据集,通过性别、风格和格式三类扰动,系统比较医疗LLM与人类专家在临床决策中的差异,发现LLM对性别和风格更敏感,人类对格式更敏感,凸显动态评估框架的必要性。
2025-06-20 cs.AI
What Counts as Strategic Reasoning? A Systematic Mapping of Chess Research on Humans, Engines, and Language Models
University of Bologna(博洛尼亚大学);University of Molise(莫利塞大学)
本研究系统映射84个国际象棋研究家族,发现文献集中于评估与行动选择,而规划、解释、元认知和人机协作不足,提出混合系统差异及人机协同评估问题,并指明未来研究方向。
2026-09-17 cs.AI
EgoTaskQA: Understanding Human Tasks in Egocentric Videos
Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院);Peking University(北京大学);Tsinghua University(清华大学)
通过视频观察理解人类任务是智能代理的基本能力。这种能力的挑战在于难以产生对情境动作的详细理解,它们对对象状态的影响(即,状态变化)及其因果依赖关系。多智能体协作中多任务和部分观测的自然并行性进一步加剧了这些挑战。大多数先前的作品利用动作本地化或未来预测作为用于评估来自视频的这种任务理解的间接度量。为了进行直接评估,我们引入了EgoTaskQA基准,该基准通过对现实世界中以自我为中心的视频进行问答,为任务理解的关键维度提供了一个单一的家。我们精心设计的问题旨在理解(1)行动依赖性和效果,(2)意图和目标,以及(3)代理人对他人的信念。这些问题分为四种类型,包括描述性的(什么地位?),预测(什么会?),解释性(什么原因造成的?),和反事实(如果?)提供对目标导向任务的空间、时间和因果理解的诊断分析。我们评估国家的最先进的视频推理模型在我们的基准和人类之间的显着差距,在理解复杂的目标导向的自我中心的视频。我们希望这一努力将推动视觉社区向前发展,以目标为导向的视频理解和推理。
2022-10-08 cs.AI cs.CL cs.CV
When Researchers Say Mental Model/Theory of Mind of AI, What Are They Really Talking About?
Center for Human, Artificial Intelligence, and Robot Teaming(人类、人工智能与机器人协同中心)
本文指出当前AI心智理论研究混淆了行为预测与真实认知,提出应转向人机交互中的互惠心智理论框架。
2026-06-11 cs.AI cs.HC
The author is dead, but what if they never lived? A reception experiment on Czech AI- and human-authored poetry
Department of Linguistics(语言学系);Institute of Czech and Deaf studies(捷克与聋人研究学院);Department of Germanic and Nordic Studies(德语与北欧研究系)
本研究探讨了AI和人类创作捷克诗歌的可识别性及审美评价,发现AI生成的诗歌在捷克本地人中难以辨识,且受作者身份信念影响较大。
2025-11-26 cs.CL
Large Models of What? Mistaking Engineering Achievements for Human Linguistic Agency
Mozilla Foundation(Mozilla基金会);School of Computer Science and Statistics(计算机科学与统计学院);Trinity College Dublin(都柏林三一学院);Department of Psychology(心理学系);Mary Immaculate College(圣玛丽学院)
本研究从认知科学生成式视角出发,指出关于大语言模型语言能力的误导性主张基于两个无据假设,揭示LLM缺失人类语言的三大核心特征,说明其无法成为人类式语言能动者。
2024-07-11 cs.CL cs.CY
What Should We Engineer in Prompts? Training Humans in Requirement-Driven LLM Use
Carnegie Mellon University(卡内基梅隆大学);Columbia University(哥伦比亚大学);University of Washington(华盛顿大学)
本文提出ROPE框架,通过评估和训练套件帮助用户生成清晰需求,提升LLM应用构建效果。
2025-04-28 cs.AI cs.HC
What is the Difference Between Me and You? Benchmarking the Quality Gap Between Human-Written and AI-Generated Code
University of Naples Federico II(那不勒斯费德里科二世大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
本研究通过大规模函数对比较人类与AI生成代码,发现AI代码更紧凑模板化,缺陷类型不同,安全性因语言而异,并发布CQBench基准。
2026-09-22 cs.AI cs.SE
Power-up! What Can Generative Models Do for Human Computation Workflows?
Delft University of Technology(代尔夫特理工大学)
本文从任务请求者、众包工人、平台和最终用户视角,提出将大语言模型引入众包工作流关键节点以增强现有人机混合设计模式的愿景。
2023-07-05 cs.AI cs.HC
Large Pre-trained Language Models Contain Human-like Biases of What is Right and Wrong to Do
Technical University of Darmstadt(达姆施塔特工业大学);Leibniz Institute for Research and Information in Education(莱布尼茨教育研究与信息研究所);Hessian Center for Artificial Intelligence (hessian.ai)(黑森州人工智能中心)
由于最近大规模的基于transformer的语言模型(LM)的进步,人工书写正在渗透我们的生活,例如BERT及其变体,GPT-2/3等。使用它们作为预先训练的模型并针对特定任务进行微调,研究人员已经扩展了许多NLP任务的最新技术水平,并表明它们不仅捕获语言知识,而且还保留了数据中隐含的一般知识。不幸的是,在未经过滤的文本语料库上训练的LM遭受退化和有偏见的行为。虽然这是公认的,但我们发现,最近的LM也包含了类似人类的偏见,即什么是对的,什么是错的,某种形式的社会伦理和道德规范-它们使“道德方向”浮出水面。也就是说,我们表明,这些规范可以捕捉几何方向,这可以计算,例如,通过PCA,在嵌入空间中,很好地反映了短语与训练文本中隐含表达的社会规范的一致性,并提供了减弱甚至防止LM中毒性退化的路径。能够评价任意短语的(非)规范性,而无需为此任务明确训练LM,我们展示了“道德方向”的能力,用于指导(甚至其他)LM产生规范性文本,并在RealToxicityTests测试平台上展示它,防止GPT-2中的神经毒性退化。
2022-02-14 cs.CL cs.CY
A large-scale evaluation of commonsense knowledge in humans and large language models
本文提出了一种评估人类和大语言模型常识知识的方法,发现较小的开放权重模型在常识能力上表现更优,强调常识知识的文化基础与人类群体差异。
2026-01-21 cs.AI cs.HC cs.SI
What's In My Human Feedback? Learning Interpretable Descriptions of Preference Data
UC Berkeley(加州大学伯克利分校);FAIR at Meta(Meta AI研究院)
本文提出WIMHF方法,通过稀疏自编码器解释人类反馈数据,揭示偏好数据中的人类可解释特征,发现不同数据集中的偏好差异及潜在不安全偏好,为数据筛选和个性化调整提供支持。
2026-04-11 cs.AI cs.CL
The CRINGE Loss: Learning what language not to model
Meta AI;ETH Zürich(苏黎世联邦理工学院);Princeton University(普林斯顿大学)
标准语言模型训练采用黄金人类文档或人-人交互数据,并将所有训练数据视为正例。越来越多的证据表明,即使有非常大量的正训练数据,问题仍然存在,可以用相对少量的负数据来缓解-模型不应该做什么的例子。在这项工作中,我们提出了一种新的程序,训练与这样的数据称为CRINGE损失(对比迭代负生成)。我们展示了这种方法在安全生成,矛盾避免和开放域对话任务的三个不同实验中的有效性。我们的模型优于多个强基线,概念简单,易于训练和实施。
2022-11-10 cs.AI cs.CL
The State of SLIVAR: What's next for robots, human-robot interaction, and (spoken) dialogue systems?
Boise State University(博伊西州立大学)
我们综合了最近召开的研讨会和研讨会的报告结果和建议,讨论机器人,人机交互和口语对话系统研究的重要交叉点内的开放性问题。这一日益增长的研究领域的目标是使人们能够更有效、更自然地与机器人进行交流。为了将网络和讨论的机会推向具体的、有可能获得资助的项目,我们鼓励感兴趣的各方考虑参加未来的虚拟和面对面的讨论和研讨会。
2021-08-24 cs.CL
What's the Difference Between Professional Human and Machine Translation? A Blind Multi-language Study on Domain-specific MT
TextShuttle AG(TextShuttle股份公司);University of Zurich(苏黎世大学)
机器翻译(MT)已被证明会产生一些需要人工后期编辑的错误,但专业人工翻译(HT)包含此类错误的程度尚未与MT进行比较。我们编译MT和HT交错的预翻译文档,并要求专业翻译人员标记错误并在盲评估中对这些文档进行后编辑。我们发现,MT段的后期编辑工作仅在三种语言对中的两种中更高,并且具有错误术语、遗漏和排版问题的段的数量在HT中相似。
2020-06-08 cs.CL
What makes a good conversation? How controllable attributes affect human judgments
Stanford University(斯坦福大学);Facebook AI Research(Facebook人工智能研究院)
一场好的谈话需要平衡--在简单和细节之间;在保持主题和改变主题之间;在提出问题和回答问题之间。虽然对话代理通常通过人类对整体质量的判断进行评估,但质量与这些个体因素之间的关系研究较少。在这项工作中,我们研究了两种可控的神经文本生成方法,条件训练和加权解码,以控制四个重要属性的闲聊对话:重复,特异性,响应相关性和提问。我们进行了大规模的人类评估,以衡量这些控制参数对PersonaChat任务上的多轮交互式对话的影响。我们提供了一个详细的分析,他们的关系,高层次的对话方面,并表明,通过控制这些变量的组合,我们的模型获得了明显的改善,在人类的质量判断。
2019-04-10 cs.CL
What Can We Learn from Collective Human Opinions on Natural Language Inference Data?
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
尽管许多NLP任务具有主观性,但大多数NLU评估都集中在使用大多数标签作为基础事实。很少有人注意到人类意见的分布。我们收集了ChaosNLI,一个总共有464,500个注释的数据集,以研究常用NLI评估集中的集体HumAn OpinionS。该数据集是通过收集SNLI和MNLI中3,113个示例和外展NLI中1,532个示例的每个示例100个注释创建的。分析表明:(1)在这些数据集中,大量的例子中存在高度的人类不一致;(2)最先进的模型缺乏恢复人类标签上的分布的能力;(3)模型在具有高水平人类一致性的数据子集上实现了近乎完美的准确性,而在具有低水平人类一致性的数据上,它们几乎无法击败随机猜测,这构成了最先进的模型在评估集上产生的大多数常见错误。这就质疑了在评估数据集的低一致性部分的旧指标上提高模型性能的有效性。因此,我们主张在未来的数据汇集工作中对人类协议进行详细检查,并根据人类集体意见的分布评估模型输出。ChaosNLI数据集和实验脚本可在https://github.com/easonnie/ChaosNLI上获得
2020-10-08 cs.AI cs.CL cs.LG
What Do Humans Hear When Interacting? Experiments on Selective Listening for Evaluating ASR of Spoken Dialogue Systems
Nara Institute of Science and Technology(奈良科学技术研究所);RIKEN(理化学研究所);Japan National Institute of Informatics(日本信息处理学会);Tokyo Institute of Technology(东京技术大学)
本研究通过实验确认人类在生成对话响应时存在选择性听力,并探讨利用该特性评估ASR系统与人类转录能力差距的新方法。
2025-10-07 cs.CL
What Comes Next? Evaluating Uncertainty in Neural Text Generators Against Human Production Variability
University of Amsterdam(阿姆斯特丹大学);ITU Copenhagen(哥本哈根信息技术大学);MCML Munich(慕尼黑机器学习中心);LMU Munich(慕尼黑大学)
本文研究神经文本生成器在NLG任务中面对人类产出变异时的不确定性,通过实例级方法分析模型概率分布与解码算法,证明多采样和多参考探查能更好理解模型的不确定性表示。
2023-10-20 cs.AI cs.CL cs.LG
What can we know about that which we cannot even imagine?
Santa Fe Institute(圣塔菲研究所)
本文通过探讨智能、语言和数学的局限性,部分回答了关于我们无法构想之物的认知边界问题。
2024-03-18 cs.CL physics.hist-ph
What the Harm? Quantifying the Tangible Impact of Gender Bias in Machine Translation with a Human-centered Study
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);University of Groningen(格罗宁根大学)
本研究针对现有机器翻译性别偏见评估多依赖自动化方法、难以反映实际下游危害的问题,通过90名参与者的译后编辑行为实验,证实女性相关内容译后编辑成本更高,且现有偏见测量无法反映该差异,倡导以人为中心的偏见评估方法。
2024-10-07 cs.CL
Beyond Static and Linear: What Attention Constraints Best Fit Human Reading Times?
Georgetown University(乔治城大学);The Ohio State University(俄亥俄州立大学);UC San Diego(加州大学圣迭戈分校)
该研究在不同模型规模与训练语料下系统比较多种注意力记忆机制,发现对中间词元内容敏感的约束与人类阅读时间匹配度最高,且动态记忆课程下心理测量拟合度与语法能力存在分离,提示Transformer无法作为通用认知模型。
2026-10-26 cs.CL
What should I say? -- Interacting with AI and Natural Language Interfaces
Georgia Institute of Technology(佐治亚理工学院)
本文探讨人类与AI自然语言界面交互时心智理论表征的建立机制,指出当前HAI设计缺乏对认知变化的充分理解,并强调该问题对成功沟通的关键意义。
2024-01-12 cs.AI cs.CL cs.HC
To what extent do human explanations of model behavior align with actual model behavior?
Johns Hopkins University(约翰霍普金斯大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Facebook AI Research(Facebook人工智能研究)
鉴于NLP模型在我们的生活中扮演着越来越重要的角色,人类对模型行为的期望与实际的模型行为保持一致是很重要的。使用自然语言推理(NLI)作为一个案例研究,我们调查的程度,人类生成的解释模型的推理决策与模型实际上如何使这些决定。更具体地说,我们定义了三个对齐度量,量化自然语言解释与模型对输入单词的敏感性的对齐程度,如通过集成梯度测量的。然后,我们评估了八种不同的模型(BERT,RoBERTa和ELECTRA的基础和大版本,以及一个RNN和词袋模型),并发现BERT基础模型与人类生成的解释具有最高的对齐度,对于所有对齐度量。专注于Transformers,我们发现,基础版本往往有更高的对齐与人类生成的解释比他们的更大的同行,这表明,增加模型参数的数量导致,在某些情况下,与人类的解释更差的对齐。最后,我们发现模型与人类解释的一致性并不是由模型的准确性预测的,这表明准确性和一致性是评估模型的互补方式。
2021-09-16 cs.CL
From Instructor to Collaborator: What a 90-Participant Study Reveals about Human-Agent Collaboration in a Mobile Serious Game
University of Bedfordshire(伯明翰大学)
通过90名被试的对比实验,研究高拟人化语音交互体与低拟人化文本代理在移动严肃游戏中的用户偏好,发现高拟人化代理显著更受青睐,并探讨角色、混合主动对话及故障修复对目标导向任务中人机协作的影响。
2026-04-10 cs.AI cs.CL cs.HC
If Attention Serves as a Cognitive Model of Human Memory Retrieval, What is the Plausible Memory Representation?
The University of Tokyo(东京大学);NINJAL;The University of Osaka(大阪大学)
本文研究以句法结构为表征单元的 Transformer Grammar 注意力机制能否作为人类记忆提取的认知模型,实验表明其预测自定步速阅读时间优于普通 Transformer,且两类模型贡献独立,说明人类句子加工依赖句法结构与词元序列双重记忆表征。
2025-06-01 cs.CL
What if we had no Wikipedia? Domain-independent Term Extraction from a Large News Corpus
IBM Research AI(IBM人工智能研究院)
在过去的二十年里,人类最令人印象深刻的努力之一就是以自由和可访问的格式收集和分类人类知识,这就是维基百科。在这项工作中,我们问是什么让一个术语值得进入这个知识的殿堂,并在维基百科中拥有自己的页面?这在多大程度上是人类持续对话和讨论的自然产物,而不是维基百科编辑的特殊选择?具体来说,我们的目标是在一个庞大的新闻语料库中识别这样的“维基值得”的术语,并看看这是否可以在不依赖或最小依赖于实际维基百科条目的情况下完成。为此,我们建议采用五步流程,提供所有五个步骤的基线结果,以及用于基准测试的相关数据集。我们的工作揭示了新的领域特定的自动术语提取问题,与手头的问题是一个域独立的变体。
2020-09-17 cs.CL
Where Should Language Sit in a Multimodal Model? Lessons from What Language Does to Human Perception and Cognition
本文通过人类感知认知证据和多模态模型线索冲突实验,论证语言应位于模型边界与共享码本中,而非内部表征,并提出七点启示。
2026-09-16 cs.CL
What do Reward Models Memorize?
研究通过在两个人类偏好数据集上测量反事实记忆,探究判别训练的奖励模型记住了什么。发现奖励模型存在记忆分配错误、记住特定数据集捷径、过度概括简单启发式关联等问题,表明此类模型有偏差,无法在上下文相关场景中判断响应质量。
2026-10-08 cs.CL cs.LG
Emergent Communication for Understanding Human Language Evolution: What's Missing?
Max Planck Institute for Psycholinguistics(马克斯·普朗克心理语言学研究所);Tel Aviv University(特拉维夫大学);University of Glasgow(格拉斯哥大学)
人类和人工神经网络代理之间的紧急通信协议还没有共享相同的属性,并且在结果中显示出一些关键的不匹配。我们描述了关于组合性的出现和益处的三个重要现象:易于学习、泛化和群体规模效应(即,更大的群体创造更系统的语言)。后两个没有完全复制与神经代理,这阻碍了使用神经涌现通信语言进化研究。我们认为,这些不匹配的一个可能的原因是,人类的关键认知和沟通的限制尚未整合。具体来说,在人类中,记忆约束和说话者和听话者角色之间的交替是语言结构出现的基础,但这些约束在神经模拟中通常不存在。我们认为,引入这样的沟通和认知的限制,将促进更多的语言合理的行为与神经代理。
2022-04-22 cs.CL cs.LG cs.NE
Transformers over-extend what humans underlearn: the case of Spanish L-shaped morphome
Department of English Language and Linguistics, Heinrich Heine University Düsseldorf(海因里希·海涅大学英语语言与语言学系);Institut für Germanistik, Philologische Fakultät, Ruhr-Universität Bochum(波恩鲁尔大学德语研究所);Department of Linguistics, College of Liberal Arts and Sciences, University of Florida(佛罗里达大学文理学院语言学系)
本研究通过Transformer模型在三种频率条件下学习西班牙语L形形态词素,并与人类行为数据对比,发现模型能从分布输入中习得该模式但泛化方式与人类定性不同。
2026-05-24 cs.CL
What Would You Ask the Machine Learning Model? Identification of User Needs for Model Explanations Based on Human-Model Conversations
University of Warsaw(华沙大学);Warsaw University of Technology(华沙理工大学)
最近,我们看到越来越多的方法在可解释的人工智能领域。令我们惊讶的是,它们的开发是由模型开发人员驱动的,而不是对人类最终用户需求的研究。对需求的分析,如果做的话,采取A/B测试的形式,而不是对开放性问题的研究。为了回答“人类操作员想问ML模型什么?“我们提出了一个会话系统,解释预测模型的决定。在这个实验中,我们开发了一个名为dr_ant的聊天机器人来谈论经过训练的机器学习模型,以预测泰坦尼克号的生存几率。人们可以与dr_ant讨论模型的不同方面,以理解其预测背后的基本原理。在收集了1000多个对话的语料库后,我们分析了用户最常见的问题类型。据我们所知,这是第一项使用对话系统从预测模型的交互式和迭代对话探索中收集人类操作员需求的研究。
2020-07-31 cs.CL cs.CY cs.HC
Coloring the Black Box: What Synesthesia Tells Us about Character Embeddings
University of Colorado Boulder(科罗拉多大学博尔德分校);Columbia University(哥伦比亚大学)
相对于单词级或字符级的对应物,字符嵌入仍然知之甚少。我们的目标是通过对英语字符嵌入的深入研究来缩小这一差距。为此,我们使用了来自字形-颜色联觉研究的资源-一种神经心理学现象,其中字母与颜色相关,这使我们了解哪些字符与联觉者相似以及字符如何在颜色空间中组织。比较10个不同的字符嵌入,我们问:字符嵌入有多相似的联觉者的字符感知?从不同模型中提取的字符嵌入有多相似?我们发现LSTM比Transformers更适合人类。比较不同的任务,字素到音素转换的结果是最像人类的字符嵌入。最后,ELMo嵌入不同于人类和其他模型。
2021-01-26 cs.CL
What does Kiki look like? Cross-modal associations between speech sounds and visual shapes in vision-and-language models
Leiden University(莱顿大学);Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所)
研究探测四个视觉-语言模型是否具备人类 bouba-kiki 跨模态偏好,未发现结论性证据,但指出结果受模型架构、规模和训练细节影响,为人类认知起源及模型对齐提供参考。
2024-07-25 cs.CL
What artificial intelligence might teach us about the origin of human language
Nagoya University of Business and Commerce(名古屋商科大学)
这项研究探讨了一个有趣的模式,从研究中出现的结合人工智能与声音象征。在这些研究中,监督机器学习算法被训练成基于所指名称的声音对样本进行分类。机器学习算法是声音符号的有效学习者,但它们倾向于偏向一个类别。模式是这样的:当一个类别可以说代表更大的威胁时,算法往往会对该类别进行过度预测。一个假设,错误管理理论框架,提出建议,这可能是适应偏好谨慎行为的证据。通过构建极端梯度提升(XGBoost)模型,使用的声音,使中国,日本和韩国的口袋妖怪的名字和观察分类误差分布,这一假设进行了测试。
2023-01-15 cs.CL cs.LG cs.SD
What's the best place for an AI conference, Vancouver or ______: Why completing comparative questions is difficult
Google Research(谷歌研究院)
虽然像BERT这样的大型神经语言模型(LM)可以被微调,在许多NLP任务上产生最先进的结果,但通常不清楚这些模型实际上学习了什么。在这里,我们研究使用这样的LM来填充人类编写的比较问题中的实体,比如“哪个国家更老,印度还是_?”也就是说,我们研究神经LM提出(而不是回答)合理问题的能力。我们发现,这种填空任务的准确性与人类对问题是否合理的判断密切相关,并且这些模型可以经过训练,在完成三个不同子域的比较问题时达到接近人类水平的性能。然而,分析表明,他们所学到的东西未能对任何关于哪些实体在语义上是可比或相似的广泛概念进行建模-相反,训练的模型是非常特定于领域的,并且性能与训练集中观察到的特定实体之间的共现高度相关。这对于在一般文本语料库上预训练的模型以及在大型比较问题语料库上训练的模型都是如此。因此,我们的研究加强了最近的结果,即很难根据特定基准问题的表现来声称深度模型的世界知识或语言能力。我们公开了我们的评估数据集,以促进未来在人类交互标准下对此类模型中复杂理解和推理的研究。
2021-04-05 cs.CL
What is the Best Automated Metric for Text to Motion Generation?
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文系统评估了文本到动作生成任务的自动化指标,发现现有指标样本级相关性差,并提出基于多模态模型MoBERT的新指标,在样本级和模型级评估上均表现优异。
2023-09-19 cs.CL cs.GR cs.LG