Aquila-plus: Prompt-Driven Visual-Language Models for Pixel-Level Remote Sensing Image Understanding
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院)
本文提出Aquila-plus,一种掩码-文本指令微调方法,通过掩码感知视觉提取器和10万样本数据集,实现遥感图像的像素级视觉-语言理解,并在区域理解任务中优于现有方法。
2024-11-09 cs.AI cs.CV
Time-Stamped Language Model: Teaching Language Models to Understand the Flow of Events
Michigan State University(密歇根州立大学)
由于过程中描述的世界的动态性,在文本中描述的整个过程中跟踪实体具有挑战性。首先,我们建议制定这个任务作为一个问答问题。这使我们能够在其他QA基准测试中使用预先训练的基于transformer的语言模型,使其适应过程性文本理解。其次,由于基于transformer的语言模型不能单独对事件流进行编码,本文提出了一种基于时间戳的语言模型(TSLM模型),通过引入时间戳编码来对LM体系结构中的事件信息进行编码。我们的模型在Propara数据集上进行了评估,结果显示出对已发表的最新结果的改进,F1评分增加了$3.1\%$。此外,我们的模型在NPN-Cooking数据集上的位置预测任务上产生了更好的结果。这一结果表明,我们的方法是有效的程序性文本的理解一般。
2021-04-15 cs.AI cs.CL cs.LG
ShapeWorld - A new test methodology for multimodal language understanding
University of Cambridge(剑桥大学)
我们引入了一个新的框架,用于评估多模态深度学习模型的语言理解和泛化能力。在这种方法中,根据实验者的规格自动生成人工数据。在训练和评估过程中,数据的内容可以被详细控制,这使得能够创建需要真正的泛化能力的任务,特别是以新颖的方式组合先前引入的概念。我们通过评估四个不同任务的各种视觉问答模型来展示我们方法的潜力,并展示我们的框架如何让我们详细了解它们的能力和局限性。通过开源我们的框架,我们希望刺激多模态语言理解领域的进步。
2017-04-14 cs.AI cs.CL cs.CV
Ethical-Advice Taker: Do Language Models Understand Natural Language Interventions?
University of California, Los Angeles(加州大学洛杉矶分校);Allen Institute for AI(艾伦人工智能研究所)
是否有可能使用自然语言来干预模型的行为,并以期望的方式改变其预测?我们调查的有效性自然语言干预阅读理解系统,研究这一背景下的社会刻板印象。具体来说,我们提出了一个新的语言理解任务,语言伦理干预(LEI),其目标是通过传达特定于上下文的道德和公平原则来修正问答(QA)模型的不道德行为。用不同种类的道德干预和在这些干预下所期望的行为模式来增强它们。我们的zero-shot评估发现,即使是今天强大的神经语言模型也是非常糟糕的道德建议接受者,也就是说,它们对道德干预的反应令人惊讶地少,即使这些干预是以简单的句子来陈述的。少样本学习改进了模型行为,但仍然远远没有达到预期的结果,特别是在评估各种类型的泛化时。因此,我们的新任务对社区的语言理解提出了新的挑战。
2021-06-02 cs.AI cs.CL cs.LG
Psychologically-informed chain-of-thought prompts for metaphor understanding in large language models
Stanford University(斯坦福大学);Oberlin College(欧柏林学院)
本文提出基于认知心理学理论的思维链提示方法,将概率模型结构引入大型语言模型,通过引导模型推断潜在变量及关系来提升隐喻释义选择任务的性能。
2023-05-19 cs.AI cs.CL cs.LG
A non-ergodic framework for understanding emergent capabilities in Large Language Models
本文提出非遍历性框架,基于邻近可能性理论解释大语言模型能力涌现,通过资源受限方程和三个模型实验验证,为架构设计提供理论指导。
2025-02-28 cs.AI cs.CL cs.LG
Preservation of Language Understanding Capabilities in Speech-aware Large Language Models
Adam Mickiewicz University(亚当·密茨凯维奇大学)
提出C3T基准,通过文本任务和语音克隆TTS评估语音感知大语言模型在语音输入下语言理解能力的保持程度、说话者公平性及跨模态鲁棒性。
2025-10-16 cs.AI cs.CL
LLMs' Understanding of Natural Language Revealed
Institute for Experiential AI, Northeastern University(东北大学体验式人工智能研究所)
本文通过反向操作测试大语言模型的语言理解能力,揭示其理解仅停留在基于海量文本记忆的表面推断,并未真正理解语言。
2024-08-02 cs.AI
Practical Approach to Knowledge-based Question Answering with Natural Language Understanding and Advanced Reasoning
本研究假设,一种实用的方法,以一个解决方案框架的形式被称为自然语言理解和推理的智能(NaLURI),它结合了全话语自然语言理解,强大的表示形式主义,能够利用本体信息和推理方法与先进的功能,将解决以下问题,而不损害实用性因素:1)对问题和响应的性质的限制,以及2)对跨域扩展和对现实生活中的自然语言文本的限制。
2007-07-24 cs.AI cs.CL cs.HC
Language Model is All You Need: Natural Language Understanding as Question Answering
Amazon Alexa AI(亚马逊Alexa人工智能部门)
不同风格的迁移学习在推进机器学习的研究和应用方面表现出巨大的影响。在这项工作中,我们研究了使用一个特定的家庭的迁移学习,目标域映射到源域。具体来说,我们映射自然语言理解(NLU)的问题,翻译(QA)的问题,我们表明,在低数据制度,这种方法提供了显着的改进相比,其他方法NLU。此外,我们表明,这些收益可以通过连续的迁移学习从不同领域的NLU问题。我们表明,我们的方法可以减少所需的数据量相同的性能高达10倍。
2020-11-05 cs.AI cs.CL
Fine-tuning vs Prompting, Can Language Models Understand Human Values?
HKUST(香港科技大学)
本文探讨了微调与提示调优在人类价值检测任务中的效果,并验证了预训练知识与RLHF对齐的LLMs在该任务中的能力,展示了初步实验结果。
2024-03-12 cs.AI cs.CL
Can Language Models Understand mmWave Data? Benchmarking Large Language Models for mmWave Radar-Based Human Understanding
DGIST(大邱庆北科学技术院);KAIST(韩国科学技术院);InnoCORE LLM
本研究针对毫米波数据与大语言模型融合的研究空白,构建首个毫米波人类感知基准mmWave-QA,评估LLMs在该任务上的零样本推理潜力与视觉退化下的鲁棒性,为相关研究奠定基础。
2026-08-17 cs.AI
Learning Executable Semantic Parsers for Natural Language Understanding
Stanford University(斯坦福大学)
为了构建问答系统和自然语言接口,语义解析已经成为一种重要而强大的范例。语义分析器将自然语言映射为逻辑形式,这是许多重要语言现象的经典表示。现代的转折是,我们对从数据中学习语义解析器感兴趣,这引入了一个新的统计和计算问题层。本文列出了统计语义解析器的组件,并强调了关键的挑战。我们将看到,语义解析是逻辑和统计世界的丰富融合,这种融合将在未来的自然语言理解系统中发挥不可或缺的作用。
2016-03-22 cs.AI cs.CL
Rethinking the Evaluating Framework for Natural Language Understanding in AI Systems: Language Acquisition as a Core for Future Metrics
Neurocreaciones(神经创意公司)
针对AI领域传统机器智能评估指标的局限,受大语言模型进展启发,提出从图灵测试转向以语言习得为核心的综合评估框架的范式转变,强调跨学科协作以构建更稳健可持续的评估路径。
2023-10-05 cs.AI cs.CL
MERaLiON-TextLLM: Cross-Lingual Understanding of Large Language Models in Chinese, Indonesian, Malay, and Singlish
Institute for Infocomm Research (I2 R), A*STAR(新加坡科研局信息通信研究所)
本文提出MERaLiON-TextLLM系列开源模型,基于Llama-3-8B-Base通过持续预训练和权重合并,提升中文、印度尼西亚语、马来语和新加坡英语的理解与生成,超越官方Llama-3模型。
2025-01-22 cs.AI cs.CL
CoDA21: Evaluating Language Understanding Capabilities of NLP Models With Context-Definition Alignment
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心)
预训练的语言模型(PLM)在许多基准测试中取得了超人的性能,因此需要更难的任务。我们引入CoDA 21(上下文定义对齐),这是一个具有挑战性的基准测试,用于测量PLM的自然语言理解(NLU)能力:给定k个单词的定义和上下文,但不是单词本身,任务是将k个定义与k个上下文对齐。CoDA21需要对上下文和定义有深刻的理解,包括复杂的推理和世界知识。我们发现,人类和PLM性能之间存在很大的差距,这表明CoDA21衡量了NLU的一个方面,而现有的基准测试中没有充分涵盖这一方面。
2022-03-11 cs.AI cs.CL
Visually-Situated Natural Language Understanding with Contrastive Reading Model and Frozen Large Language Models
NAVER Cloud AI(NAVER云AI);KAIST AI(韩国科学技术院AI);Korea University(高丽大学);NAVER AI Lab(NAVER AI实验室)
本文提出对比阅读模型 Cream,通过结合视觉与辅助编码器及对比特征对齐技术,增强冻结大语言模型对富含文本图像的视觉情境语言理解能力,并在多项推理任务中验证了其优越性能。
2023-10-26 cs.AI cs.CL
Semantic Mastery: Enhancing LLMs with Advanced Natural Language Understanding
Apple Inc.(苹果公司)
本文通过高级自然语言理解技术提升大语言模型的语义理解和推理能力,探讨了知识图谱、检索增强生成和对比学习等方法在解决复杂NLP任务中的应用。
2025-12-03 cs.AI cs.CL
Large Language Models Understanding: an Inherent Ambiguity Barrier
本文通过思想实验和半形式化分析提出,大型语言模型存在固有的歧义障碍,因而无法真正理解其流畅对话的含义。
2025-05-08 cs.AI cs.CL
Integrating Symbolic Natural Language Understanding and Language Models for Word Sense Disambiguation
Northwestern University(西北大学)
本文提出利用统计语言模型和符号NLU系统整合的方法,实现无需人工标注数据的词义消歧。
2025-11-20 cs.AI cs.CL
"Understanding AI": Semantic Grounding in Large Language Models
University of Magdeburg(马格德堡大学)
本文探讨LLM是否具备语义奠基,提出将心灵与语言哲学的意义理论应用于LLM,通过功能、社会和因果三维区分证明LLM已发展出世界模型,至少在基本意义上理解了其生成的语言。
2024-02-16 cs.AI cs.CL
Meta Semantics: Towards better natural language understanding and reasoning
Institute of Computing and Mathematical Sciences(计算与数学科学研究所);University of Leicester(莱斯特大学)
针对 LLM 逻辑推理弱且存在 OOV 问题、规则方法又难以处理非正式文本的矛盾,本文受语用学与结构主义启发,提出两种 OOV 解决策略和一个语义模型,以兼顾自然语言理解与推理。
2023-04-20 cs.AI cs.CL
Knowledge-driven Natural Language Understanding of English Text and its Applications
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Universidad Rey Juan Carlos(胡安卡洛斯国王大学)
理解文本的意义是自然语言理解研究的一个基本挑战。一个理想的NLU系统应该以一种不专属于单个任务或数据集的方式来处理语言。考虑到这一点,我们介绍了一种新的知识驱动的语义表示方法的英语文本。通过利用VerbNet词典,我们能够将文本的语法树映射到使用基本知识原语表示的常识意义。从我们的方法表示的通用知识可以用来构建任何基于推理的NLU系统,也可以提供理由。我们应用这种方法来构建两个NLU应用程序,我们在这里介绍:SQuARE(基于语义的问答和推理引擎)和StaCACK(有状态会话代理使用常识知识)。这两个系统都通过“真正理解”它们处理的自然语言文本来工作,并且都为它们的响应提供自然语言解释,同时保持高准确性。
2021-01-27 cs.AI cs.CL cs.LO
Understanding scholarly Natural Language Processing system diagrams through application of the Richards-Engelhardt framework
University of Manchester(曼彻斯特大学)
我们利用Richards-Engelhardt框架作为理解自然语言处理系统图的工具。通过四个例子,从学术会议,我们发现,这个生态和复杂的域的框架的应用是有效的,反映这些图。我们主张用词汇来描述图表中的多重编码、符号变异性以及视觉编码原则的不一致或滥用。此外,对于学术自然语言处理系统的应用,也许更广泛的系统图,我们建议增加“对象的”作为一个新的视觉编码原则,和“强调”作为一个新的视觉编码类型。
2020-08-26 cs.AI cs.CL cs.HC
Testing the Effect of Code Documentation on Large Language Model Code Understanding
The MITRE Corporation(MITRE公司)
本文通过实证分析代码与文档属性对 LLM 的影响,发现错误文档会显著妨碍代码理解,而不完整或缺失文档影响不大。
2024-04-03 cs.AI cs.CL cs.SE
Can ChatGPT Detect Intent? Evaluating Large Language Models for Spoken Language Understanding
Idiap Research Institute(伊迪亚普研究所);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文评估 ChatGPT、OPT 等大模型在口语理解中的零样本/少样本能力,发现大模型意图分类接近监督方法,但槽位填充较弱且易受 ASR 错误影响。
2023-08-17 cs.AI cs.CL cs.SD
Toward Building General Foundation Models for Language, Vision, and Vision-Language Understanding Tasks
ByteDance Research(字节跳动研究院);HKUST(香港科技大学)
本文提出通用基础模型X-FM,通过停止梯度与引导视觉编码器训练,在语言、视觉及视觉-语言任务上超越现有通用模型,媲美专用模型。
2023-10-17 cs.AI cs.CV
VidLanKD: Improving Language Understanding via Video-Distilled Knowledge Transfer
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
由于视觉感知可以提供丰富的信息,超越文本描述的世界理解,有越来越多的兴趣,利用视觉基础的语言学习。最近,通过使用文本到图像检索模型的预测作为语言模型监督的标签,语音化(Tan和Bansal,2020)引起了人们的关注。尽管它的成功,该方法遭受的近似误差使用有限的图像标签和缺乏词汇多样性的一个小的图像-文本数据集。为了克服这些局限性,我们提出了VidLanKD,视频语言知识蒸馏方法,提高语言理解。我们在视频-文本数据集上训练多模态教师模型,然后将其知识转移到具有文本数据集的学生语言模型。为了避免近似误差,我们建议使用不同的知识蒸馏目标。此外,使用大规模的视频文本数据集有助于学习多样化和更丰富的词汇。在我们的实验中,VidLanKD在几个下游语言理解任务(包括GLUE、SQuAD和SWAG)上实现了比纯文本语言模型和语音化模型一致的改进。我们还通过评估GLUE诊断,PIQA和TRACIE数据集来展示我们模型的改进的世界知识,物理推理和时间推理能力。最后,我们提出了全面的消融研究,以及可视化的学习文本到视频接地结果,我们的教师和学生语言模型。我们的代码和模型可在https://github.com/zinengtang/VidLanKD上获得
2021-10-19 cs.AI cs.CL cs.CV
Is BERT Blind? Exploring the Effect of Vision-and-Language Pretraining on Visual Language Understanding
Tel Aviv University(特拉维夫大学)
该研究提出VLU任务集与Stroop零样本探测法,验证了视觉-语言预训练能让文本编码器获得视觉推理能力,在隐含视觉推理的纯文本任务中表现更优,为多模态学习中文本编码器的选择提供参考。
2023-11-02 cs.CL cs.CV cs.LG
OCC-MLLM:Empowering Multimodal Large Language Model For the Understanding of Occluded Objects
University of Toronto(多伦多大学);Giant Network AI Lab(巨人网络AI实验室)
针对多模态大模型对遮挡物体理解不足及相关图文数据稀缺的问题,本文提出 OCC-MLLM 与新型视觉编码器,并构建大规模图文对数据集以提升 RGB 图像遮挡物理解能力。
2024-10-02 cs.CV
Can 3D Vision-Language Models Truly Understand Natural Language?
The University of Hong Kong(香港大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文针对3D视觉-语言模型对语言风格变体敏感的问题,提出语言鲁棒性评估任务和3D语言鲁棒性数据集,系统揭示了现有模型性能显著下降及融合模块脆弱有偏的根源,并设计了一个由LLM驱动的免训练模块以提升语言鲁棒性。
2024-07-03 cs.CV
Temporal-Oriented Recipe for Transferring Large Vision-Language Model to Video Understanding
National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学)
本研究针对大型视觉-语言模型(LVLMs)视频理解潜力受限的问题,通过实证发现视觉编码器与大语言模型的中间接口是时序理解关键,提出含时序训练策略与升级接口的面向时序方案,显著提升了模型在标准视频理解任务上的表现。
2025-05-19 cs.CV
Natural Language Camera Movement Understanding
Boston University(波士顿大学);Pixocial Technology(皮克索西尔科技公司)
研究自然语言相机运动理解问题,指出现有视觉语言模型在此任务上的不足。核心方法是建立分类法、基准和训练集。主要贡献是微调的VLM - 8B在基准测试中性能优于Gemini 3.1 Pro。
2026-07-07 cs.CV
A CLIP-Enhanced Method for Video-Language Understanding
Baidu(百度)
本技术报告总结了我们的视频和语言理解评估(VALUE)挑战方法(https://value-benchmark.github.io/challenge\_2021.html)。我们提出了一个CLIP增强的方法,将图像-文本预训练的知识到下游的视频-文本任务。结合其他几个改进的设计,我们的方法优于最先进的$2.4\%$($57.58$到$60.00$)元平均值评分的价值基准。
2021-10-14 cs.CL cs.CV
TraceVision: Trajectory-Aware Vision-Language Model for Human-Like Spatial Understanding
TraceVision通过整合轨迹感知的空间理解,实现了类人空间认知,提升视觉-语言模型在轨迹引导任务中的表现。
2026-02-24 cs.CV
Do Vision-Language Models Really Understand Visual Language?
本文通过综合测试套件评估大型视觉语言模型(LVLMs)的图表理解能力,发现其关系理解有限,优秀表现多依赖背景知识捷径,真正的图表理解能力不足。
2025-05-25 cs.CL cs.CV