A fine-grained comparison of pragmatic language understanding in humans and language models
Massachusetts Institute of Technology(麻省理工学院);Sarah Lawrence College(莎拉·劳伦斯学院);Carleton University(卡尔顿大学);McGovern Institute for Brain Research, Massachusetts Institute of Technology(麻省理工学院麦戈文脑科学研究所)
本研究在七种语用现象上对语言模型与人类进行细粒度比较,发现最大模型能匹配人类错误模式且无需显式心理状态表征即可涌现语用行为,但在依赖社会期望违背的现象上仍有困难。
2023-05-23 cs.AI cs.CL
Implicature in Interaction: Understanding Implicature Improves Alignment in Human-LLM Interaction
Jyvaskylan yliopisto(耶夫斯克扬大学)
研究探讨LLM在基于上下文的提示中推断用户意图的能力,发现更大模型更接近人类解释,隐含意义提示能显著提升响应的相关性和质量,67.6%参与者偏好隐含意义提示。
2026-05-02 cs.AI cs.CL
Extending Memory for Language Modelling
idoba;Murdoch University(莫道克大学)
针对记忆网络处理长序列文本受限的问题,提出长记忆网络(LTM)以学习无限长序列并优先处理当前输入,在多个数据集上验证了其在语言建模中的有效性。
2023-05-19 cs.CL
Deep Human Answer Understanding for Natural Reverse QA
Tianjin University(天津大学);University of Michigan(密歇根大学)
本研究的重点是一个反向的问答(QA)程序,其中机器主动提出问题和人类提供的答案。这个过程存在于许多真实的人机交互应用中。然而,人机交互中的一个关键问题是答案理解。现有的解决方案依赖于强制性选项术语选择来避免自动答案理解。然而,这些解决方案导致了不自然的人机交互,并且负面地影响了用户体验。为此,目前的研究提出了一种新的深度答案理解网络,称为AntNet,用于反向QA。该网络由三个新的模块组成,即,骨架注意问题,相关意识的答案表示,和基于多跳的融合。由于逆向问答的答案理解还没有被探索,一个新的数据语料库,在本研究中编译。实验结果表明,我们提出的网络是显着优于现有的方法和那些从经典的自然语言处理深度模型修改。三个新模块的有效性也得到了验证。
2020-11-29 cs.AI cs.CL cs.LG
Machine Explanations and Human Understanding
University of Chicago(芝加哥大学);Microsoft Research(微软研究院)
该研究针对机器解释对人类理解的提升效果不一致的问题,用因果图形式化刻画二者作用机制,明确三类理解核心概念,指出无任务直觉假设时解释仅能提升对模型决策边界的理解,验证了直觉的重要性,为相关研究提供框架与指导。
2023-05-01 cs.AI cs.CL cs.CY
Increasing faithfulness in human-human dialog summarization with Spoken Language Understanding tasks
Aix-Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心);LIS(信息科学与系统实验室);Enedis(恩吉斯公司);International Laboratory on Learning Systems - ILLS - IRL CNRS(国际学习系统实验室(ILLS - IRL 法国国家科学研究中心))
针对对话摘要模型易产生不一致内容、忠实度不足的问题,本研究将口语理解的语义信息融入面向任务的人与人对话摘要,提出新评估标准与标注数据集,实验验证该方法可提升摘要准确率。
2024-09-16 cs.AI cs.CL
Improving Personality Consistency in Conversation by Persona Extending
Huazhong University of Science and Technology(华中科技大学);Alibaba Group(阿里巴巴集团);Beijing Institute of Technology(北京理工大学);Ping An Property & Casualty Insurance company of China, Ltd(中国平安财产保险股份有限公司)
赋予聊天机器人一致的个性对于代理提供类似人类的交互起着至关重要的作用。然而,现有的个性化方法通常根据静态的预定义人物角色来生成响应,这可能会严重限制人类和聊天机器人的交互性,特别是当代理需要回答预定义人物角色中排除的查询时,这就是所谓的预定义人物角色外问题(简称为OOP)。为了解决这一问题,本文提出了一种新的从检索到预测的范式,它由两个子组件组成:(1)人物角色检索模型(PRM),它基于自然语言推理模型(NLI)从全局集合中检索人物角色,推理出的人物角色与预定义的人物角色一致;以及(2)后验评分的Transformer(PS-Transformer),它采用了角色后验分布,进一步考虑了在地面响应中使用的实际角色,最大限度地减轻了训练和推断之间的差距。此外,我们提出了一个名为IT-ConvAI 2的数据集,它首先突出了个性化对话中的OOP问题。在IT-ConvAI 2和ConvAI 2上进行的大量实验表明,我们提出的模型在自动度量和人工评估方面都有相当大的改进。
2022-08-23 cs.CL
Conversational Agents and the Understanding of Human Language: Reflections on AI, LLMs, and Cognitive Science
HEIG-VD / HES-SO(瑞士西部应用科学与艺术大学伊韦尔东工程与管理高等学院);EPFL(瑞士洛桑联邦理工学院)
本文探讨计算机自然语言处理与人类语言能力理解的关系,分析NLP发展与语言能力理论的异同,指出语言技术的进步未显著深化人类语言处理机制的理解。
2026-03-29 cs.CL
Are Words the Quanta of Human Language? Extending the Domain of Quantum Cognition
Center Leo Apostel for Interdisciplinary Studies(里奥·阿波斯泰尔跨学科研究中心);Brussels Free University(布鲁塞尔自由大学)
在之前的研究中,我们表明“讲述故事的文本”表现出的统计结构不是麦克斯韦-玻尔兹曼,而是玻色-爱因斯坦。我们的解释是,这是由于人类语言中存在“不可分割性”,这是由于相同的单词在故事的不同部分无法区分。在这篇文章中,我们开始为这种玻色-爱因斯坦统计提供解释。我们表明,这是存在的“意义”的“故事”,导致缺乏独立性的特点玻色-爱因斯坦,并提供了确凿的证据,“字可以被认为是人类语言的量子”,结构上类似于如何“光子是光的量子”。使用我们布鲁塞尔研究小组的几项关于纠缠的研究,我们还表明,文本中的“意义”的存在也使得整个文本的冯诺依曼熵相对于组成它的单词的熵更小。我们解释了本文中的新见解如何与称为“量子认知”的研究领域相适应,其中量子概率模型和量子向量空间用于人类认知,并且还与量子结构在信息检索和自然语言处理中的使用相关,以及他们如何引入“量子化”和“玻色-爱因斯坦统计”作为相关的量子效应。受量子力学概念性解释的启发,并依靠新的见解,我们提出了关于物理实在本质的假设。在这样做的过程中,我们注意到这种新类型的熵减少及其解释对于量子热力学的发展可能是重要的。我们同样注意到,它如何也可以产生一个原始的解释性图片的性质的物理现实的行星地球表面,其中人类文化出现作为一个加强延续的生命。
2021-12-21 cs.CL q-bio.NC quant-ph
Bridging the Creativity Understanding Gap: Small-Scale Human Alignment Enables Expert-Level Humor Ranking in LLMs
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Washington(华盛顿大学);Air Mail and Cartoon Collections(航空邮件与卡通收藏机构)
本研究将幽默理解分解为视觉增强、推理解释和人类偏好对齐三部分,通过小规模对齐使LLM在漫画标题排名上达到82.4%准确率,超越先前67%基准并匹敌人类专家,证明聚焦对齐可有效解决创造性判断局限。
2025-02-27 cs.AI cs.CL cs.LG
Face-Human-Bench: A Comprehensive Benchmark of Face and Human Understanding for Multi-modal Assistants
Beijing University of Posts and Telecommunications(北京邮电大学);Beijing Normal University(北京师范大学)
本文提出Face-Human-Bench基准,基于三层能力分类法构建1800个问题,评估25个多模态大语言模型的脸部和人体理解能力,并探讨能力相关性、位置影响及思维链提示效果。
2025-10-23 cs.AI cs.CL cs.CV
HLVU : A New Challenge to Test Deep Understanding of Movies the Way Humans do
National Institute of Standards and Technology(美国国家标准与技术研究院);Georgetown University(乔治城大学)
在本文中,我们提出了一个新的评估挑战和方向,在该地区的高层次视频理解。我们提出的挑战旨在测试自动视频分析和理解,以及系统在演员,实体,事件及其相互关系方面理解电影的准确程度。为人类评估者收集了开源电影的试点高级视频理解(HLVU)数据集,以构建表示其中每一个的知识图谱。将从知识图谱中导出一组查询,以测试系统检索参与者之间的关系,以及推理和检索非视觉概念。目标是测试一个计算机系统是否能像人类看同一部电影一样“理解”不明确但明显的关系。这是一个长期存在的问题,在文本领域正在解决,这个项目将类似的研究转移到视频领域。这种性质的工作是未来视频分析和视频理解技术的基础。这项工作可能对流媒体服务和广播公司感兴趣,他们希望为客户提供更直观的方式来与视频内容进行交互和消费。
2020-05-01 cs.AI cs.CL cs.CV
Text Understanding in GPT-4 vs Humans
McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所)
本研究通过标准化测试和更难的入学考试文本,对比 GPT-4 与人类的文本理解能力,发现 GPT-4 表现略优或明显更优,并展现出泛化与推断等真正理解的标志。
2025-01-17 cs.CL
TUX: Measuring Human--AI Tacit Understanding
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);New York University(纽约大学)
通过光谱放置任务和TUX指数,量化人类与LLM之间的默契理解,发现人格特征影响对齐程度。
2026-09-03 cs.AI cs.CL cs.CY
EgoTaskQA: Understanding Human Tasks in Egocentric Videos
Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院);Peking University(北京大学);Tsinghua University(清华大学)
通过视频观察理解人类任务是智能代理的基本能力。这种能力的挑战在于难以产生对情境动作的详细理解,它们对对象状态的影响(即,状态变化)及其因果依赖关系。多智能体协作中多任务和部分观测的自然并行性进一步加剧了这些挑战。大多数先前的作品利用动作本地化或未来预测作为用于评估来自视频的这种任务理解的间接度量。为了进行直接评估,我们引入了EgoTaskQA基准,该基准通过对现实世界中以自我为中心的视频进行问答,为任务理解的关键维度提供了一个单一的家。我们精心设计的问题旨在理解(1)行动依赖性和效果,(2)意图和目标,以及(3)代理人对他人的信念。这些问题分为四种类型,包括描述性的(什么地位?),预测(什么会?),解释性(什么原因造成的?),和反事实(如果?)提供对目标导向任务的空间、时间和因果理解的诊断分析。我们评估国家的最先进的视频推理模型在我们的基准和人类之间的显着差距,在理解复杂的目标导向的自我中心的视频。我们希望这一努力将推动视觉社区向前发展,以目标为导向的视频理解和推理。
2022-10-08 cs.AI cs.CL cs.CV
Extending a Parliamentary Corpus with MPs' Tweets: Automatic Annotation and Evaluation Using MultiParTweet
本文提出MultiParTweet,通过自动标注和人工验证,整合了多语言推文及媒体内容,展示了模型间互为预测性及多模态注释的优越性。
2025-12-12 cs.CL cs.MM
Understanding The Effect Of Temperature On Alignment With Human Opinions
Queen Mary University of London(伦敦玛丽女王大学);University of Utrecht(乌得勒支大学)
本文实证分析了三种获取LLM意见分布的方法,发现通过简单参数调整的采样和对数概率方法在主观任务中比直接提示更能有效对齐人类意见,同时指出需进一步研究人类主观性对模型不确定性的影响。
2024-11-15 cs.CL cs.CY
Extending Challenge Sets to Uncover Gender Bias in Machine Translation: Impact of Stereotypical Verbs and Adjectives
人类的性别偏见反映在语言和文本的产生中。由于最先进的机器翻译(MT)系统是在大型文本语料库(主要由人类生成)上训练的,因此在MT中也可以发现性别偏见。例如,当职业从英语这样的语言(主要使用性别中性词)翻译成德语这样的语言(主要使用女性和男性职业版本)时,必须由机器翻译系统做出决定。最近的研究表明,机器翻译系统偏向于刻板的职业翻译。2019年,第一个也是迄今为止唯一一个明确旨在衡量MT系统中性别偏见程度的挑战集已经发布。在这一套中,性别偏见的衡量完全基于职业的翻译。在本文中,我们提出了这个挑战集的扩展,称为WiBeMT,带有性别偏见的形容词,并添加了带有性别偏见的动词的句子。最终的挑战集由超过70,000个句子组成,并已被三个商业机器翻译系统翻译:DeepL翻译,微软翻译和谷歌翻译。结果表明,所有三个MT系统的性别偏见。这种性别偏见在很大程度上受形容词的影响,在较小程度上受动词的影响。
2021-07-24 cs.CL
Are Shortest Rationales the Best Explanations for Human Understanding?
Pennsylvania State University(宾夕法尼亚州立大学);University of Washington(华盛顿大学)
现有的自我解释模型通常倾向于提取尽可能短的基本原理--“负责”相应输出的输入文本片段--来解释模型预测,假设较短的基本原理对人类来说更直观。然而,这一假设尚待验证。最短的理由真的是最能被人理解的吗?为了回答这个问题,我们设计了一个自我解释的模型,LimitedInk,它允许用户以任何目标长度提取基本原理。与现有的基线相比,LimitedInk实现了兼容的最终任务性能和人类注释的基本原理协议,使其成为最近一类自我解释模型的合适代表。我们使用LimitedInk对合理长度的影响进行用户研究,我们要求人类法官仅根据LimitedInk生成的不同长度的合理性来预测文档的情感标签。我们发现,太短的理由并不能帮助人类更好地预测标签比随机掩蔽的文本,这表明需要更仔细的设计最好的人类理由。
2022-03-16 cs.AI cs.CL cs.HC
Bridging Human and LLM Judgments: Understanding and Narrowing the Gap
Department of Statistics, University of Michigan(密歇根大学统计学系);Institute of Foundation Models, MBZUAI(基础模型研究院)
Bridge通过统一统计框架弥合人类与LLM判断差距,改进评分并揭示系统性差异。
2025-12-01 cs.AI cs.CL cs.LG
Translator2Vec: Understanding and Representing Human Post-Editors
Unbabel;Instituto de Telecomunicações(电信研究所)
机器和人类相结合进行翻译是有效的,许多研究表明,当人类对机器翻译的输出进行后期编辑而不是从头开始翻译时,生产率会提高。为了充分利用这种组合,我们需要对人工翻译的工作方式有一个细致的了解,以及哪些后期编辑风格比其他风格更有效。在本文中,我们发布并分析了一个新的数据集与文档级的编辑后的动作序列,包括编辑操作,鼠标动作,和等待时间。我们的数据集包括66,268个完整的文档会话,由332名人类进行后期编辑,是迄今为止发布的最大的文档会话。我们表明,动作序列的信息量足以准确地识别后期编辑,相比基线,只看初始和最终文本。我们以此为基础来学习和可视化后期编辑器的连续表示,我们表明,这些表示提高了预测后期编辑时间的下游任务。
2019-07-24 cs.CL
Persuasion at Play: Understanding Misinformation Dynamics in Demographic-Aware Human-LLM Interactions
University of Michigan - Ann Arbor, USA(密歇根大学安娜堡分校);Texas State University(德克萨斯州立大学)
本研究通过双向说服动态和多智能体框架,揭示人口统计因素影响LLM与人类对错误信息的易感性,并发现回音室行为,为干预提供见解。
2025-10-14 cs.CL
Towards a Benchmark for Scientific Understanding in Humans and Machines
Institute for Science in Society, Faculty of Science, Radboud University(拉德堡德大学理学院社会中的科学研究所);High Energy Physics, Faculty of Science, Radboud University(拉德堡德大学理学院高能物理系);Nikhef(荷兰国家亚原子物理研究所);Institute for Computing and Information Sciences, Faculty of Science, Radboud University(拉德堡德大学理学院计算与信息科学研究所)
本文提出科学理解基准(SUB)框架,利用科学哲学工具设计覆盖信息检索、解释组织和反事实推断的测试,以评估和比较人类与机器的科学理解能力,从而推动科学理解发展。
2023-04-21 cs.AI cs.CL cs.HC
A Deep Learning Approach to Integrate Human-Level Understanding in a Chatbot
Brac University(布拉克大学);Jadavpur University(贾达普大学)
近年来,许多人都参与了建立自己的企业。与人类不同,聊天机器人可以同时为多个客户提供服务,全天候可用,并在不到一秒钟的时间内回复。虽然聊天机器人在面向任务的活动中表现良好,但在大多数情况下,它们无法理解个性化的意见,陈述甚至查询,这些意见,陈述甚至查询后来会影响组织的服务管理。机器人缺乏理解能力,使人类不愿意继续与它们对话。通常,当聊天机器人无法准确解释用户的文本时,它们会给出荒谬的回应。通过使用聊天机器人从对话中提取客户评论,组织可以减少用户和聊天机器人之间的理解差距,并提高他们的产品和服务质量。因此,在我们的研究中,我们纳入了聊天机器人准确分析和理解输入文本所需的所有关键要素。我们使用深度学习进行情感分析、情感检测、意图分类和命名实体识别,以开发具有人文理解和智能的聊天机器人。通过详细的分析,可以证明我们的方法的有效性。
2021-12-31 cs.CL cs.LG
Improving Grounded Natural Language Understanding through Human-Robot Dialog
University of Washington(华盛顿大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Tufts University(塔夫茨大学)
机器人的自然语言理解可能需要大量的特定于领域和平台的工程。例如,移动机器人在环境中拾取和放置物体以满足人类命令,我们可以指定人类用来发出此类命令的语言,并将概念词(如红色)与物理对象属性联系起来。一种方法来减轻这种工程的一个新的领域是使机器人在人类环境中动态适应-不断学习新的语言结构和感知概念。在这项工作中,我们提出了一个端到端的管道,用于将自然语言命令转换为离散的机器人动作,并使用澄清对话框来共同提高语言解析和概念基础。我们在Amazon Mechanical Turk上的虚拟环境中对该代理进行训练和评估,并将学习的代理转移到物理机器人平台上,以便在现实世界中进行演示。
2019-03-01 cs.CL cs.HC
Logical forms complement probability in understanding language model (and human) performance
University of Chicago(芝加哥大学);University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
本文构建命题与模态逻辑三段论受控数据集,系统评估LLM的自然语言逻辑推理能力,证明逻辑形式与输入概率共同影响模型行为,并比较了人类与LLM的推理异同。
2025-02-17 cs.CL cs.LO
Extending an Information Extraction tool set to Central and Eastern European languages
在一个高度多语言和多文化的环境中,例如在欧盟委员会,很快就有超过20种官方语言,迫切需要使用最少语言知识的文本分析工具,以便它们可以适应多种语言,而无需太多的人力。我们提出了两个这样的信息抽取工具,已经适应了各种西欧和东欧的语言:一个用于识别文本中的日期表达式,一个用于检测地理地名和可视化的结果在地理地图。对业绩的评价产生了非常令人满意的结果。
2006-09-12 cs.CL cs.IR
HAIC: Improving Human Action Understanding and Generation with Better Captions for Multi-modal Large Language Models
Kuaishou Technology(快手科技);Shandong University(山东省大学)
本文提出两阶段人类动作视频标注流程,构建 HAICTrain 与 HAICBench,证明高质量描述数据可同时提升 MLLM 的动作理解和文本到视频生成能力。
2025-06-08 cs.CL cs.CV cs.MM
Avaya Conversational Intelligence: A Real-Time System for Spoken Language Understanding in Human-Human Call Center Conversations
Avaya(Avaya公司);Wrocław University of Science and Technology(弗罗茨瓦夫理工大学);Poznan University of Technology(波兹南理工大学);AGH University of Science and Technology(AGH科技大学)
Avaya Conversational Intelligence(ACI)是一款端到端、基于云的解决方案,用于呼叫中心的实时口语理解。它结合了大词汇量、实时语音识别、转录细化以及实体和意图识别,以便将实时音频转换为丰富的可操作的结构化事件流。这些事件可以进一步与业务规则引擎一起使用,从而作为实时监督和辅助应用程序的基础。在摄取之后,呼叫通过无监督的关键字提取、抽象摘要和业务定义的属性来丰富,从而实现离线用例,例如商业智能、主题挖掘、全文搜索、质量保证和代理培训。ACI提供了一个包含数百个意图的预训练、可配置库和一个强大的意图训练环境,允许高效、经济高效地创建和定制客户特定的意图。
2019-09-02 cs.CL cs.LG cs.SD