Cross-linguistic differences and similarities in image descriptions
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Edinburgh（爱丁堡大学）
自动图像描述系统通常在大型图像描述数据集上进行训练和评估。最近，研究人员开始收集英语以外语言的此类数据集。一个未探讨的问题是这些数据集与英语有多大不同，如果有任何差异，是什么导致它们不同。本文提供了一个跨语言的比较荷兰语，英语和德语的图像描述。我们发现，这些描述是相似的，在许多方面，但熟悉的人群工作者与图像的主题有一个显着的影响描述特异性。
2017-08-13 cs.AI cs.CL cs.CV
What's in a Caption? Dataset-Specific Linguistic Diversity and Its Effect on Visual Description Models and Metrics
University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
虽然在自动视频描述领域已经取得了显着的进步，但自动描述模型对新领域的泛化性能仍然是在现实世界中使用这些系统的主要障碍。已知大多数视觉描述方法捕获和利用训练数据中的模式，从而导致评估度量增加，但是这些模式是什么？在这项工作中，我们研究了几个流行的视觉描述数据集，并捕获，分析和理解模型利用但不推广到新领域的特定语言模式。在令牌级别，样本级别和数据集级别，我们发现，标题的多样性是一个主要的驱动因素背后的通用和无信息的标题的生成。我们进一步表明，最先进的模型在现代指标上甚至优于地面实况字幕，这种效果是数据集中语言多样性的产物。理解这种语言多样性是构建强大的字幕模型的关键，我们推荐了几种方法和方法来保持新数据收集的多样性，并在使用当前模型和指标时处理有限多样性的后果。
2023-01-12 cs.CL cs.CV
Hire a Linguist!: Learning Endangered Languages with In-Context Linguistic Descriptions
Carnegie Mellon University（卡内基梅隆大学）；UC Santa Barbara（加州大学圣巴巴拉分校）
提出LINGOLLM，一种无需训练的方法，通过在LLM提示中注入语言学知识（词典、语法书、形态分析），显著提升GPT-4和Mixtral在8种濒危语言5任务上的翻译能力，BLEU从0升至10.5。
2024-11-11 cs.CL
Linguistic Descriptions for Automatic Generation of Textual Short-Term Weather Forecasts on Real Prediction Data
Research Centre on Information Technologies (CiTIUS), University of Santiago de Compostela（圣地亚哥-德孔波斯特拉大学信息技术研究中心（CiTIUS））；MeteoGalicia（加利西亚气象局）
在本文中，我们提出了一个应用程序，自动生成文本的每个城市在加利西亚（西班牙西北部）的短期天气预报，使用加利西亚气象局（MeteoGalicia）提供的真实数据。该解决方案以创新的方式将计算与感知技术和数据语言描述策略与自然语言生成（NLG）系统相结合。名为GALiWeather的应用程序从天气预报输入数据中提取相关信息，并使用语言变量和时间参考将其编码为中间描述。这些描述随后由自然语言生成系统翻译成自然语言文本。所获得的预测结果已经由来自MeteoGalicia的气象专家使用质量评估方法进行了彻底验证，该方法涵盖了文本的两个关键方面：其内容的准确性和其形式的正确性。在此验证之后，GALiWeather将作为一项真正的服务发布，为广大公众提供定制预报。
2014-11-18 cs.AI cs.CL
Learning Correlations between Linguistic Indicators and Semantic Constraints: Reuse of Context-Dependent Descriptions of Entities
本文介绍了一项研究的结果施加在词汇选择的某些语境指标的语义约束。我们展示了如何计算这些指标，以及如何使用监督学习自动建立它们之间的相关性和命名实体的名词短语描述的选择。基于这种相关性，我们已经开发出一种技术，在文本生成中的实体描述的自动词汇选择。我们讨论了选择一个适当的描述，在自动生成的文本和描述本身的语义的特定目的的语用之间的潜在关系。我们提出了我们的工作框架中的更一般的概念，自动提取大型语料库的语言结构的重用。我们提出了一个正式的评估我们的方法，我们得出结论，我们的方法的潜在应用的一些想法。
1998-05-31 cmp-lg cs.CL
Generating Simulations of Motion Events from Verbal Descriptions
Brandeis University（布兰迪斯大学）
在本文中，我们描述了一个计算模型的运动事件在自然语言的映射从语言表达，通过动态事件的解释，到三维时间模拟模型。从（Pustejovsky和Moszkowicz，2011）的模型开始，我们使用时间跟踪的标记转换系统分析运动事件。我们在操作语义中对路径运动和方式运动之间的区别进行建模，并进一步根据在整个运动过程中保持的纯拓扑关系来区分不同类型的运动方式动词。从这些表示中，我们生成最小模型，这些模型在使用游戏引擎Unity开发的软件中实现为三维模拟。生成的模拟充当不同的运动动词的语义的概念“调试器”：也就是说，通过测试模型中的一致性和信息量，模拟暴露与语言表达及其组合相关的预设。由于模型生成组件仍然是不完整的，本文的重点是直接从语言解释映射到创建模拟的Unity代码片段的实现。
2016-10-06 cs.CL
Linguistic Analysis, Description, and Typological Exploration with Categorial Grammar (TheBench Guide)
本文介绍了TheBench工具，基于单子结构和范畴语法，通过将应用转变为组合并指定句法与语义命令关系，实现自然语言分析、跨语言比较及语法模型训练。
2024-06-04 cs.CL
From MTEB to MTOB: Retrieval-Augmented Classification for Descriptive Grammars
HSE University（高等经济大学）；Sberbank（俄罗斯联邦储蓄银行）；Institute of Linguistics RAS（俄罗斯科学院语言学研究所）
本文提出基于检索增强生成的基准，评估语言模型从248种语言的描写语法中提取类型学特征的能力，以支持低资源语言NLP任务。
2024-12-26 cs.CL
Group Theory and Grammatical Description
本文提出了一种基于群论的语言描述模型。在这个模型中的语法，或“G-语法”，是一个词汇表达的集合，这些词汇表达是逻辑形式、语音形式及其逆形式的产物。短语描写是通过形成词汇表达的产物和取消彼此相反的相邻元素来获得的。我们展示了这个模型的应用，分析和生成，长距离移动，和量词范围。我们相信，通过从自由幺半群的词汇V -标准的正式语言研究-的自由组V，语言现象和古典代数之间的深刻的亲和力来表面上，挖掘由此建立的数学联系的后果可能是相当大的。
1998-05-07 cmp-lg cs.CL
A Dataset for Movie Description
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
描述性视频服务（DVS）提供电影的语言描述，并允许视障人士与同龄人一起观看电影。这样的描述主要是视觉设计，因此自然形成了一个有趣的数据源计算机视觉和计算语言学。在这项工作中，我们提出了一种新的数据集，其中包含转录的DVS，这是时间上对齐的全长高清电影。此外，我们还收集了对齐的电影剧本，已在以前的工作和比较两个不同的描述来源。电影描述数据集包含来自72部高清电影的超过54，000个句子和视频片段的并行语料库。我们通过对不同的生成视频描述的方法进行基准测试来表征数据集。将DVS与脚本进行比较，我们发现DVS更加直观，并且精确地描述了所显示的内容，而不是根据电影制作之前创建的脚本应该发生的内容。
2015-01-12 cs.CL cs.CV cs.IR
Formal Ontology Learning on Factual IS-A Corpus in English using Description Logics
本体学习（Ontology Learning，OL）是在给定内容为自然语言（NL）的非结构化语料库的情况下生成本体形式的知识库的计算任务。在这一领域可以找到几项工作，其中大部分限于基于统计和词典-句法模式匹配的技术。这些技术并不能导致非常准确的学习，主要是因为在NL的几个语言的细微差别。正式OL是一种替代（较少探索）的方法，使用计算语言学中的理论和工具进行深入的语言学分析，以生成正式的公理和定义，而不是简单地归纳分类。本文提出了一种基于描述逻辑的形式化学习语言框架，用于英语事实IS-A类句子的学习。我们认为IS-A句子的语义构建并非易事。因此，我们也主张，这样的句子需要专门的研究，在任何真正正式的OL可以提出之前的背景下OL。我们介绍了一个学习工具，称为DLOL_IS-A，产生这样的本体的猫头鹰格式。我们采用了基于IS-A丰富的WCL v.1.1数据集和我们自己的社区代表IS-A数据集的“黄金标准”OL评估。与轻量级OL工具Text 2 Onto和正式OL工具FRED相比，我们观察到DLOL_IS-A的显著改进。
2016-03-08 cs.AI cs.CL
Movie Description
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；ICSI（国际计算机科学研究所）；UC Berkeley（加州大学伯克利分校）；Disney Research（迪士尼研究中心）；École Polytechnique de Montréal（蒙特利尔理工学院）；Université de Sherbrooke（舍布鲁克大学）；Twitter（推特）；Université de Montréal（蒙特利尔大学）
音频描述（AD）提供电影的语言描述，并允许视障人士与同龄人一起观看电影。这样的描述主要是视觉设计，因此自然形成了一个有趣的数据源计算机视觉和计算语言学。在这项工作中，我们提出了一个新的数据集，其中包含转录的广告，这是时间上对齐的全长电影。此外，我们还收集和对齐电影脚本中使用的先前的工作，并比较两个来源的描述。大规模电影描述挑战赛（LSMDC）总共包含来自202部电影的118，114个句子和视频剪辑的平行语料库。首先，我们通过对生成视频描述的不同方法进行基准测试来表征数据集。比较广告和剧本，我们发现广告确实更直观，准确地描述了电影所展示的内容，而不是根据电影制作前的剧本所应该发生的事情。此外，我们提出并比较了几个团队的结果，他们参加了在ICCV 2015研讨会“描述和理解视频和大规模电影描述挑战（LSMDC）”的背景下组织的挑战。
2016-05-12 cs.CL cs.CV
Domain Embeddings for Generating Complex Descriptions of Concepts in Italian Language
University of Salerno（萨勒诺大学）
本文提出一种基于意大利语名词和动词语义分类构建的领域共现矩阵资源，通过选择与具体概念知识相关的矩阵来生成概念的语义描述，并在动物名词分类和特征提取实验中验证了其有效性。
2024-02-26 cs.CL
Reasoning Over the Glyphs: Evaluation of LLM's Decipherment of Rare Scripts
National Taiwan University（台湾大学）
本研究评估了 LVLMs 和 LLMs 破译未编码于 Unicode 的罕见文字的能力，通过构建多模态语言学谜题数据集并使用主流模型实验，揭示了当前 AI 在语言破译中的优势与局限。
2025-01-29 cs.CL cs.LG
FALCON: Fast Visual Concept Learning by Integrating Images, Linguistic descriptions, and Conceptual Relations
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；MIT BCS, CBMM, CSAIL（麻省理工学院脑与认知科学系、大脑、心智与机器中心、计算机科学与人工智能实验室）
我们提出了一个元学习框架，用于快速学习新的视觉概念，从一个或几个例子，由多个自然发生的数据流引导：同时看图像，阅读描述场景中对象的句子，并解释将新概念与其他概念联系起来的补充句子。学习到的概念支持下游应用，例如通过推理看不见的图像来回答问题。我们的模型，即ESTCON，代表个人的视觉概念，如颜色和形状，作为轴对齐框在高维空间（“框嵌入空间”）。给定输入图像及其配对句子，我们的模型首先解析句子中的指称表达，并将新概念与场景中的特定对象相关联。接下来，我们的模型解释补充句子，将新概念与其他已知概念联系起来，例如“X具有属性Y”或“X是Y的一种”。最后，它推断出一个最佳的框嵌入的新概念，共同1）最大化图像中观察到的实例的可能性，2）满足新概念和已知的概念之间的关系。我们证明了我们的模型在合成和真实世界的数据集上的有效性。
2022-03-30 cs.AI cs.CL cs.CV
The Parallel Meaning Bank: A Framework for Semantically Annotating Multiple Languages
Center for Language and Cognition, University of Groningen（格罗宁根大学语言与认知中心）
本文给出了一个一般性的描述的想法背后的并行意义银行，一个框架，旨在提供一个简单的方法来注释组成语义的语言以外的其他语言写的文本。注释过程是半自动的，包括七层语言信息：分割，符号化，语义标记，词义消歧，句法结构，主题角色标签，和共指。只要文档是基于英语翻译的，就可以将新的语言添加到意义库中，但也会对并行意义库的语言学假设提出新的有趣挑战。
2020-12-29 cs.CL
The Spatial Semantics of Iconic Gesture
Goethe University Frankfurt（法兰克福歌德大学）
本文提出了一种空间手势语义学，通过区分图标性三个层面，探讨手势与言语意义的结合方式。
2025-12-11 cs.CL
Fuzzy Sets Across the Natural Language Generation Pipeline
Centro Singular de Investigación en Tecnoloxías da Información (CiTIUS)（信息科技卓越研究中心（CiTIUS））；Universidade de Santiago de Compostela（圣地亚哥德孔波斯特拉大学）
我们探讨了使用模糊技术（主要是那些常用的语言描述/总结的数据学科）从自然语言生成的角度来看的影响。为此，我们提供了一个广泛的讨论，一些一般的收敛点和探索的不同任务之间的关系，涉及在标准的NLG系统管道架构和最常见的模糊方法中使用的语言总结/描述的数据，如模糊量化的报表，评估标准或聚合运算符。每个单独的讨论都用相关的用例进行了说明。最近的工作在这两个研究领域的交叉施肥的背景下也被引用。本文包含了一般的想法，出现了博士论文的一部分“应用模糊集的数据到文本系统”。它没有提出具体的应用或正式的方法，而是讨论了当前的高级问题和模糊集（重点是数据的语言摘要）在自然语言生成中的潜在用途。
2016-05-17 cs.AI cs.CL
Human behaviour through a LENS: How Linguistic content triggers Emotions and Norms and determines Strategy choices
University of Milan-Bicocca（米兰比可卡大学）
本文提出 LENS 模型，指出决策问题的语言描述会触发情感反应与行为规范并相互作用，从而塑造个体的策略选择，并回顾了相关实验证据与未来研究方向。
2024-03-22 cs.CL cs.GT econ.GN
A Layered Grammar Model: Using Tree-Adjoining Grammars to Build a Common Syntactic Kernel for Related Dialects
GRIMAAG；Université des Antilles et de la Guyane（安的列斯-圭亚那大学）
本文描述了一组相关方言的核心语法的通用句法描述的设计。通用描述不依赖于抽象的子语言结构，如元语法：它包含在单个FS-LTAG中，其中实际的特定语言作为为特征定义的属性类型集中的属性之一。当lang属性被实例化时，所选的语法子集等价于一种方言的语法。当它不是，我们有一个混合多方言语言系统的模型。这一原则适用于西大西洋地区的一组克里奥尔语，即海地，瓜德罗普岛，马提尼克岛和法属圭亚那的法语克里奥尔语。
2008-10-07 cs.CL
Semantic Regexes: Auto-Interpreting LLM Features with a Structured Language
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Apple（苹果公司）
语义正则表达式通过结构化语言自动解释LLM特性，提供精确且简洁的特征描述，提升模型可解释性分析的准确性和一致性。
2026-02-26 cs.CL
Differentiating Geographic Movement Described in Text Documents
The Pennsylvania State University（宾夕法尼亚州立大学）
理解文本文档中描述的运动非常重要，因为运动的文本描述包含有关人员、野生动物、货物等运动的丰富地理和上下文信息。我们的研究作出了一些贡献，以提高我们的理解文本中的运动描述。首先，我们展示了如何解释文本中描述的地理运动是具有挑战性的，因为一般的空间术语，语言结构，使事情（S）移动不清楚，以及许多类型的时间参考和分组，等等。接下来，作为克服这些挑战的一个步骤，我们报告了一项针对人类受试者的实验，通过该实验，我们确定了人类用来区分一个运动描述与另一个运动描述的运动描述（在文本中发现）的多个重要特征。基于我们的实证结果，我们提供了建议，计算分析使用文本文档中描述的运动。我们的研究结果有助于更好地理解未充分利用的信息的重要特征，以文字描述的形式的地理运动。
2022-01-12 cs.CL
The Sword, Shield, and Achilles' Heel: Characterizing the Linguistic Inductive Bias of Large Language Models for Spatial Reasoning in Navigation Planning
East China Normal University（东华大学）；Information Engineering University（信息工程大学）；Zhengzhou University（郑州大学）
提出双干预框架，通过表示干预和上下文干预分离语言结构与上下文线索，揭示LLM在导航规划中语言归纳偏置的规律：拓扑信息是稳健规划的支柱，语言格式是双刃剑，语义信息是致命弱点。
2026-05-29 cs.AI cs.CL
Embodying Pre-Trained Word Embeddings Through Robot Actions
Waseda University（早稻田大学）；Fujitsu Laboratories LTD.（富士通研究所）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）
我们提出了一个有前途的神经网络模型，获得接地表示机器人的行动和语言描述。正确响应各种语言表达，包括多义词，是机器人通过语言对话与人交互的重要能力。先前的研究表明，机器人可以通过使用预先训练的词嵌入来使用未包含在动作描述配对数据集中的词。然而，在分布假设下训练的词嵌入是不接地的，因为它们纯粹来自文本语料库。在这封信中，我们通过使用机器人的感觉运动经验将预先训练的词嵌入转换为具体化的词嵌入。我们扩展了一个双向翻译模型的行动和描述，将非线性层改造的词嵌入。通过交替训练改进层和双向翻译模型，我们提出的模型能够转换预训练的词嵌入以适应成对的动作描述数据集。我们的研究结果表明，嵌入的同义词形成一个语义集群，反映了经验（行动和环境）的机器人。这些嵌入允许机器人从未与数据集中的动作配对的未见过的单词中正确地生成动作。
2021-04-17 cs.AI cs.CL cs.LG
Understanding Social Media Cross-Modality Discourse in Linguistic Space
The Hong Kong Polytechnic University（香港理工大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
带有文本和图像的多媒体通信在社交媒体上很受欢迎。然而，有限的研究关注如何图像与文本的结构，形成连贯的意义在人类认知。为了填补这一空白，我们提出了一个新的跨模态话语的概念，反映了人类读者如何耦合图像和文本的理解。在多媒体环境中，文本描述首先来自图像（称为字幕）。五个标签-实体级插入，投影和具体化和场景级重述和扩展-进一步被用来塑造字幕和文本的结构，并呈现它们的联合意义。作为试点研究，我们还建立了第一个包含16 K多媒体推文的数据集，其中包含手动注释的话语标签。实验结果表明，基于带字幕的多头注意力的多媒体编码器能够获得较好的编码效果。
2023-02-26 cs.CL cs.MM cs.SI
The Compactness of Construction Grammars
我们提出了一个参数{ \em构造文法}的基础上的最小描述长度（MDL）的原则（一个正式版本的奥卡姆剃刀）。该论点在于使用语言和计算的证据，在建立一个正式的模型，然后应用MDL原则，以证明其优越性与替代模型。我们表明，基于结构的表示至少是一个数量级更紧凑的相应的词汇化表示相同的语言数据。这一结果对于理解句法和语义之间的关系，进而选择自然语言处理体系结构具有重要意义。例如，处理是否应该在从句法到语义再到语用的管道中进行，以及是否应该将所有语言信息组合在一组约束中。从更广泛的角度来看，本文不仅为某种处理模型进行了论证，而且还提供了一种方法来确定不同NLP方法的优势。
1995-05-15 cmp-lg cs.CL
Compositional Semantics in Verbmobil
本文讨论了如何实现组合语义的Verbmobil语音到语音翻译系统使用LUD，一种描述语言，欠指定的话语表示结构。描述了DRT中的描述语言及其形式化解释，以及它的实现和系统的整个句法语义处理模块的体系结构。我们表明，一个语言健全的理论和形式主义可以正确地实现在一个系统（近）实时的要求。
1996-07-30 cmp-lg cs.CL
The Third VoicePrivacy Challenge: Preserving Emotional Expressiveness and Linguistic Content in Voice Anonymization
organization= Universit\'e de Lorraine, CNRS, Inria, LORIA, F-54000 , city= Nancy , country= France；organization= Duke Kunshan University , city= Kunshan , postcode= 215316 , country= China；organization= Mission Défense et Sécurité, Inria , city= Grenoble , country= France；organization= Institute for Natural Language Processing, University of Stuttgart , country= Germany；organization= National Institute of Informatics , addressline= Chiyoda-ku , city= Tokyo , postcode= 101-8340 , country= Japan
本文介绍了2024年第三版语音隐私挑战，旨在通过匿名化技术在保护隐私的同时保留语音内容和情感表达。
2026-01-17 cs.CL cs.SD eess.AS
Automated Extraction of Spatio-Semantic Graphs for Identifying Cognitive Impairment
Arizona State University（亚利桑那州立大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出从 Cookie Theft 图片描述中自动提取内容信息单元以构建时空语义图，从而刻画视觉叙事路径，实验证明该方法可有效区分认知受损与未受损人群，且效果与人工标注相当甚至更好。
2025-02-02 cs.AI cs.CL cs.CV
Semantic and Expressive Variation in Image Captions Across Languages
University of Washington（华盛顿大学）；Allen Institute for AI（人工智能研究院）
本文以语言代理文化，比较7种语言的图像描述，发现多语言描述在对象、关系和属性覆盖上显著更高，并揭示LLaVA等模型继承语言偏差，而多语言微调具有更稳定的跨语言表现。
2025-05-12 cs.CL cs.CV cs.CY
Comprehending and Ordering Semantics for Image Captioning
JD Explore Academy（京东探索研究院）
理解图像中丰富的语义并将其按语言顺序排列是构成图像描述的视觉基础和语言连贯描述的必要条件。现代技术通常利用预先训练的对象检测器/分类器来挖掘图像中的语义，同时使语义的固有语言顺序未得到充分利用。在本文中，我们提出了一个新的配方的变压器式的结构，即理解和排序语义网络（COS-Net），新颖地统一到一个单一的架构，丰富的语义理解和可学习的语义排序过程。在技术上，我们首先利用一个跨模态检索模型来搜索每幅图像的相关句子，并将搜索到的句子中的所有单词作为主要的语义线索。其次，设计了一种新的语义理解器，过滤掉主要语义线索中不相关的语义词，同时基于图像视觉推理缺失的相关语义词。之后，我们将所有筛选和丰富的语义词输入到语义排名器中，该排名器学习按照人类的语言顺序分配所有语义词。这种有序语义词的序列进一步与图像的视觉标记集成以触发句子生成。经验证据表明，COS-Net明显超过了COCO的最新方法，并在Karpathy测试分裂中获得了迄今为止最好的CIDER分数141.1%。源代码可从\url{https://github.com/YehLi/xmodaler/tree/master/configs/image_caption/cosnet}获得。
2022-06-14 cs.AI cs.CL cs.CV
Advancing Automated Spatio-Semantic Analysis in Picture Description Using Language Models
Arizona State University（亚利桑那州立大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本研究提出基于BERT的流水线，自动从图片描述中提取和排序内容信息单元，以表征视觉叙事路径，用于认知障碍评估，在CIU检测中达到93%中位精确率和96%中位召回率，优于词典基线。
2025-09-30 cs.CL cs.CV eess.AS
