What Prompts Don't Say: Understanding and Managing Underspecification in LLM Prompts
Carnegie Mellon University(卡内基梅隆大学);Google DeepMind(谷歌DeepMind)
本文探讨了LLM提示中的不充分性问题,指出默认推断的稳定性差且易退化,提出要求意识的提示优化机制和系统性的主动发现与监控流程以提升性能。
2026-04-24 cs.CL cs.SE
"What's my model inside of?": Exploring the role of environments for grounded natural language understanding
Hebrew University of Jerusalem(耶路撒冷希伯来大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本论文采用生态学方法研究具身自然语言理解,探索环境设计在数据收集、模型开发中的作用,提出了基于文本游戏环境的训练标注方法、Breakpoint Transformers模型及具身NLP研究路线图,并设计了AI增强的社会思维环境。
2024-02-04 cs.AI cs.CL cs.SI
"What is on your mind?" Automated Scoring of Mindreading in Childhood and Early Adolescence
University of Birmingham(伯明翰大学)
在本文中,我们提出了第一个工作的自动评分的读心能力在童年中期和青春期早期。我们创建了MIND-CA,这是一个新的语料库,包含11,311个英语问答对,来自1,066名7至14岁的儿童。我们进行了机器学习实验,并进行了广泛的定量和定性评估。我们获得了令人鼓舞的结果,证明了最先进的NLP解决方案对新领域和任务的适用性。
2020-11-16 cs.CL cs.LG
What does it mean to understand language?
Kempner Institute for the Study of Natural & Artificial Intelligence(自然与人工智能研究 institute);Harvard University(哈佛大学);School of Psychology(心理学学院);Georgia Institute of Technology(佐治亚理工学院);Massachusetts Institute of Technology(麻省理工学院);Department of Brain and Cognitive Sciences(脑科学与认知科学系)
本文探讨了理解语言的认知和神经机制,提出通过将信息导出至其他大脑区域来构建心理模型,以深入理解语言。
2026-11-13 cs.CL
To What Degree Can Language Borders Be Blurred In BERT-based Multilingual Spoken Language Understanding?
Amazon Alexa(亚马逊Alexa)
本文讨论的问题,在何种程度上基于BERT的多语言口语语言理解(SLU)模型可以跨语言的知识转移。通过实验,我们将表明,虽然它的工作相当不错,即使在遥远的语言群体,仍然有一个理想的多语言性能的差距。此外,我们提出了一种新的基于BERT的对抗模型架构,以学习多语言SLU的语言共享和语言特定的表示。我们的实验结果证明,该模型是能够缩小差距,理想的多语言性能。
2020-11-10 cs.AI cs.CL
What Does a TextCNN Learn?
Peking University(北京大学)
TextCNN是文本的卷积神经网络,是一种有用的深度学习算法,用于句子分类任务,如情感分析和问题分类。然而,神经网络一直被称为黑匣子,因为解释它们是一项具有挑战性的任务。研究人员已经开发了几种工具来通过深度可视化来理解用于图像分类的CNN,但关于深度TextCNN的研究仍然不足。在本文中,我们试图了解TextCNN在两个经典的NLP数据集上学习了什么。我们的工作重点是不同卷积核的功能和卷积核之间的相关性。
2018-01-19 cs.CL cs.LG stat.ML
What Makes it Difficult to Understand a Scientific Literature?
University of Chinese Academy of Sciences(中国科学院大学);Wuhan University(武汉大学)
在人工智能领域,最终目标之一是使计算机理解人类语言并提供帮助。为了实现这一理想,计算机科学的研究者们提出了许多模型和算法,试图使机器能够在不同的语义层次上分析和处理人类的自然语言。虽然最近在这一领域的进展提供了很大的希望,我们仍然要问,目前的研究是否可以提供帮助,人们真正希望在阅读和理解。为此,我们对两篇不同风格的科技论文进行了阅读理解测试。我们使用语义链接模型来分析人们在阅读科技文献的过程中会遇到的理解障碍,并找出导致人们难以理解科技文献的原因。通过分析,总结出不同知识水平的人在理解科技文献难点时所反映出的一些特点和问题,这些特点和问题可以用语义链接网络进行建模。我们相信这些特点和问题将有助于我们重新审视现有的机型,并有助于设计新的机型。
2015-12-04 cs.CL
How Adults Understand What Young Children Say
Massachusetts Institute of Technology(麻省理工学院);Duke University(杜克大学);University of Chicago(芝加哥大学)
儿童的早期语言通常与成人的语言几乎没有相似之处,但父母和其他照顾者能够解释这种语言并做出相应的反应。在这里,我们调查这些成年人的推理作为听众反映了复杂的信念,孩子们试图沟通,以及如何儿童可能会发音的话。使用贝叶斯框架建模口语单词识别,我们发现,计算模型可以复制成人的解释儿童的讲话,只有当他们包括强大的,特定于上下文的事先预期的消息,儿童会想要沟通。这表明了成人认知过程在支持早期沟通方面的关键作用,并揭示了儿童如何积极促使成人代表他们采取行动,即使他们对成人语言只有初步的理解。我们讨论了第一语言习得理论的成年人强大的听力能力的广泛影响。
2023-03-16 cs.CL
I Do Not Understand What I Cannot Define: Automatic Question Generation With Pedagogically-Driven Content Selection
Multimedia Communications Lab, Technical University of Darmstadt(达姆施塔特工业大学多媒体通信实验室)
大多数学习者在被动阅读课本时不能发展深层的文本理解。对学习者所读的内容提出问题是一种行之有效的培养学生阅读能力的方法。然而,许多教科书缺乏自我评估问题,因为编写它们既耗时又昂贵。自动问题生成器可以通过生成合理的教学问题来缓解这种短缺。然而,自动生成问题带来了语言和教学上的挑战。我们应该问什么?那么,我们如何自动表达这个问题呢?我们解决这些挑战与自动问题生成器接地学习理论。本文介绍了一种新的教学意义的内容选择机制,发现有问题的句子和答案中的任意教科书内容。我们与教育专家进行了一项实证评估研究,在六个不同的领域注释150个生成的问题。结果表明,生成的问题的语言质量高。此外,评估结果意味着,大多数生成的问题询问与给定的文本相关的中心信息,并可能促进在特定的学习场景中的文本理解。
2021-10-08 cs.CL
What Will it Take to Fix Benchmarking in Natural Language Understanding?
New York University(纽约大学);Google Research(谷歌研究院)
许多自然语言理解(NLU)任务的评估都被打破了:不可靠和有偏见的系统在标准基准测试中得分如此之高,以至于开发更好系统的研究人员几乎没有空间来展示他们的改进。最近的趋势是放弃IID基准测试,而采用逆向构造的、分布外的测试集,这确保了当前模型的性能很差,但最终只会掩盖我们希望基准测试测量的能力。在这份立场文件中,我们列出了我们认为NLU基准应该满足的四个标准。我们认为,目前大多数基准测试都未能达到这些标准,而对抗性的数据汇集并不能有意义地解决这些失败的原因。相反,恢复健康的评估生态系统将需要在基准数据集的设计、注释的可靠性、规模以及处理社会偏见的方式方面取得重大进展。
2021-10-15 cs.CL
Emergent Communication for Understanding Human Language Evolution: What's Missing?
Max Planck Institute for Psycholinguistics(马克斯·普朗克心理语言学研究所);Tel Aviv University(特拉维夫大学);University of Glasgow(格拉斯哥大学)
人类和人工神经网络代理之间的紧急通信协议还没有共享相同的属性,并且在结果中显示出一些关键的不匹配。我们描述了关于组合性的出现和益处的三个重要现象:易于学习、泛化和群体规模效应(即,更大的群体创造更系统的语言)。后两个没有完全复制与神经代理,这阻碍了使用神经涌现通信语言进化研究。我们认为,这些不匹配的一个可能的原因是,人类的关键认知和沟通的限制尚未整合。具体来说,在人类中,记忆约束和说话者和听话者角色之间的交替是语言结构出现的基础,但这些约束在神经模拟中通常不存在。我们认为,引入这样的沟通和认知的限制,将促进更多的语言合理的行为与神经代理。
2022-04-22 cs.CL cs.LG cs.NE
Matching Theory and Data with Personal-ITY: What a Corpus of Italian YouTube Comments Reveals About Personality
University of Groningen(格罗宁根大学);Università degli Studi di Torino(都灵大学);IT University of Copenhagen(哥本哈根信息技术大学)
作为对英语以外语言的人格检测的贡献,我们依靠远程监督来创建Personal-ITY,这是一个意大利语YouTube评论的新语料库,作者被贴上了人格特征的标签。这些特质来自心理学研究中的主流人格理论之一,名为MBTI。使用人格预测实验,我们(i)在我们的语料库以及TwiSty上研究人格预测任务本身,TwiSty是一个也用MBTI标签注释的Twitter数据集;(ii)对分类器使用的特征进行广泛深入的分析,并根据我们最初用于创建语料库的原始理论来具体查看它们。我们观察到,没有一个单一的模型是最好的人格检测,虽然有些特征比其他特征更容易检测,也更容易与理论相匹配,但对于其他不太常见的特征,情况要模糊得多。
2020-11-11 cs.CL
Life after BERT: What do Other Muppets Understand about Language?
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
现有的预训练的Transformer分析工作通常一次只关注一个或两个模型族,忽略了架构和预训练目标的可变性。在我们的工作中,我们利用oLMpics基准测试和心理语言学探测数据集,用于包括T5,BART和ALBERT在内的29种模型。此外,我们还将oLMpics zero-shot设置用于自回归模型,并评估不同大小的GPT网络。我们的研究结果表明,这些模型都不能以zero-shot的方式解决组合问题,这表明使用现有的预训练目标无法学习这种技能。此外,我们发现,全局模型决策,如架构,方向性,数据集大小和预训练目标并不能预测模型的语言能力。
2022-09-29 cs.CL
The Generative AI Paradox: "What It Can Create, It May Not Understand"
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本文提出并验证生成式人工智能悖论假说:生成模型虽能超越人类生成专家级输出,但其生成能力并不依赖于理解能力,在语言和图像实验中理解表现仍弱于人类且更脆弱。
2023-10-31 cs.AI cs.CL cs.CV
What BERT Based Language Models Learn in Spoken Transcripts: An Empirical Study
语言模型(LM)已经普遍地用于包括口语语言理解(SLU)的各种任务中。口语需要仔细理解说话人的交互,对话状态和语音诱导的多模态行为,以生成有意义的会话表示。在这项工作中,我们建议解剖SLU分为三个代表性的属性:会话(不流利,停顿,overtalk),通道(扬声器类型,轮任务)和ASR(插入,删除,替换)。我们探测基于BERT的语言模型(BERT,RoBERTa)训练的口语成绩单,以调查其能力,理解多种属性,在没有任何语音提示。实验结果表明,LM是令人惊讶的好捕捉会话属性,如暂停预测和overtalk检测词汇标记。在缺点方面,LM在回合任务和ASR错误预测方面得分较低。此外,对LM进行口头成绩单的预训练抑制了其语言理解。最后,我们在两个基准数据集上建立了上述属性的有效性和可移植性:Switchboard Dialog Act和Disfluency数据集。
2021-09-21 cs.AI cs.CL cs.LG
When Words Don't Mean What They Say: Figurative Understanding in Bengali Idioms
Islamic University of Technology(伊斯兰技术大学);National University of Bangladesh(孟加拉国国立大学)
本文提出一个包含10361个孟加拉成语的数据集,评估30种LLMs在隐喻理解任务上的表现,发现模型在跨语言和文化推理上存在显著不足。
2026-02-13 cs.CL
Provable Limitations of Acquiring Meaning from Ungrounded Form: What Will Future Language Models Understand?
Allen Institute for AI(艾伦人工智能研究所);Bar Ilan University(巴伊兰大学);Hebrew University of Jerusalem(耶路撒冷希伯来大学);University of Washington(华盛顿大学)
在数十亿个标记上训练的语言模型最近在许多NLP任务上取得了前所未有的结果。这一成功提出了一个问题,原则上,一个系统是否可以在没有某种形式的基础的情况下“理解”原始文本。我们正式调查的能力,不接地系统获得的意义。我们的分析集中在“断言”的作用:文本上下文,提供有关潜在语义的间接线索。我们研究断言是否使系统能够模拟表示保留语义关系,如等价。我们发现,断言使语义仿真的语言,满足一个强大的概念,语义透明。然而,对于类的语言,相同的表达式可以在不同的上下文中采取不同的值,我们表明,仿真可以成为不可计算的。最后,我们讨论我们的正式模型和自然语言之间的差异,探索我们的结果如何推广到一个模态设置和其他语义关系。总之,我们的研究结果表明,在代码或语言中的断言不提供足够的信号,完全模仿语义表示。我们形式化的方式,其中不接地的语言模型似乎是从根本上限制了他们的“理解”的能力。
2021-06-22 cs.CL
What You See is What You Ask: Evaluating Audio Descriptions
CVIT, IIIT Hyderabad(计算机视觉与人工智能技术研究所,IIIT海得拉巴)
针对现有自动音频描述(AD)研究仅用裁剪片段和单参考评估的不足,该研究量化了AD创作的主观性,提出在数分钟连贯视频层面评估AD的ADQA问答基准,发现现有方法远逊于人工AD,并推出公开排行榜。
2025-10-01 cs.AI cs.CL cs.CV
On Efficient Language and Vision Assistants for Visually-Situated Natural Language Understanding: What Matters in Reading and Reasoning
NAVER Cloud AI(NAVER云AI);KAIST AI(韩国科学技术院AI)
针对当前视觉语言助手透明度不足、复杂视觉场景文本理解任务计算成本高的问题,研究通过策略构建数据集、优化视觉模块等方式,在受限推理成本下实现了性能与吞吐量的兼顾,并将开源相关资源。
2024-10-06 cs.CL cs.CV
Incremental processing of noisy user utterances in the spoken language understanding task
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Maastricht University(马斯特里赫特大学)
最先进的神经网络架构使创建具有高质量和快速处理时间的口语语言理解系统成为可能。现实世界应用程序的一个主要挑战是这些系统的高延迟,这是由具有高执行时间的触发动作引起的。如果一个动作可以被分成子动作,系统的反应时间可以通过用户话语的增量处理和在话语仍在发出时开始子动作来改善。在这项工作中,我们提出了一个模型不可知的方法来实现高质量的处理增量产生的部分话语。基于清洁和嘈杂版本的ATIS数据集,我们展示了如何创建数据集与我们的方法来创建低延迟的自然语言理解组件。我们在指标F1分数中获得了高达47.91个绝对百分点的改进。
2019-09-30 cs.CL cs.SD eess.AS