Where Do We Go from Here? Multi-scale Allocentric Relational Inference from Natural Spatial Descriptions
Google（谷歌公司）；Bar-Ilan University（巴伊兰大学）
本文提出Rendezvous（RVS）任务与含10,404个示例的数据集，研究基于地图知识的非顺序、他我地理空间指令推理。
2024-08-04 cs.CL cs.LG cs.MM
RelationalFactQA: A Benchmark for Evaluating Tabular Fact Retrieval from Large Language Models
University of Basilicata（巴西利卡塔大学）；EURECOM
本文提出RelationalFactQA基准，用于评估LLMs从参数化知识生成结构化表格输出的能力，发现现有模型在关系型事实检索上准确率低于25%且随输出维度增加而下降。
2025-05-27 cs.AI cs.CL cs.DB
Can LLMs substitute SQL? Comparing Resource Utilization of Querying LLMs versus Traditional Relational Databases
Boston University（波士顿大学）
本研究对比了9款不同参数量的大语言模型与传统关系型数据库SQL的查询资源利用情况和准确率，发现LLM查询能耗极高，不建议用其替代关系型数据库。
2024-04-12 cs.AI cs.CL cs.DB
Morphology-based Entity and Relational Entity Extraction Framework for Arabic
Purdue University（普渡大学）；American University of Beirut（贝鲁特美国大学）
基于规则的技术从文档中提取关系实体，允许用户使用自然语言问题、有限状态自动机、正则表达式和结构化查询语言指定所需的实体。他们需要语言和编程专业知识，缺乏对阿拉伯语形态分析的支持。我们提出了一个基于形态学的阿拉伯语实体和关系实体提取框架（MERF）。MERF需要语言特征和正则表达式的基本知识，并提供交互式指定阿拉伯语形态和句法特征、与正则表达式关联的标记类型以及在子表达式匹配上定义的关系和代码操作的能力。MERF从规范的匹配中构造实体和关系实体。我们通过几个案例研究评估了MERF。结果表明，MERF需要更短的开发时间和精力相比，现有的应用程序特定的技术，并在合理的开销在运行时间内产生合理准确的结果。
2018-11-18 cs.CL cs.IR
Tsetlin Machine Embedding: Representing Words Using Logical Expressions
Centre for AI Research (CAIR), University of Agder（阿格德大学人工智能研究中心（CAIR））
在向量空间中嵌入单词是最先进的自然语言处理（NLP）中基本的第一步。典型的NLP解决方案采用预定义的向量表示，通过在向量空间中共同定位相似的单词来提高泛化能力。例如，Word2Vec是一个自我监督的预测模型，它使用神经网络捕获单词的上下文。类似地，GLoVe是一种流行的无监督模型，结合了语料库范围内的单词共现统计。这样的词嵌入大大提升了重要的NLP任务，包括情感分析、文档分类和机器翻译。然而，嵌入是密集的浮点向量，这使得它们的计算成本很高，并且难以解释。在本文中，我们建议用几个定义词来表示词的语义，这些词使用命题逻辑。为了产生这样的逻辑嵌入，我们引入了一个基于Tsetlin Machine的自动编码器，它可以自我监督地学习逻辑子句。这些条款由“黑”、“杯”和“热”等上下文单词组成，以定义“咖啡”等其他单词，因此是人类可以理解的。我们评估我们的嵌入方法在几个内在和外在的基准，优于GLoVe的六个分类任务。此外，我们使用训练过程中获得的逻辑表示来研究嵌入的可解释性。我们还在向量空间中可视化单词集群，演示我们的逻辑嵌入如何协同定位相似的单词。
2023-01-02 cs.AI cs.CL cs.LG
Named entity recognition using conditional random fields with non-local relational constraints
Università degli studi di Milano（米兰大学）；University of Milano–Bicocca（米兰比可卡大学）
我们首先介绍了自然语言处理的计算机科学分支，然后将注意力集中在它的子分支信息抽取，特别是命名实体识别，简要讨论了它的主要方法。它遵循对线性链形式下的最先进的条件随机场的介绍。随后，约束推理的想法，作为一种方式来模拟文本中的长距离关系，提出了基于一个非线性规划表示的问题。添加这样的关系的问题，自动推断的逻辑公式，可转化为线性条件，我们建议解决由此产生的更复杂的问题的帮助下，拉格朗日松弛，其中一些技术细节的解释。最后，我们给出了一些实验结果。
2013-10-07 cs.CL
Improving Embedded Knowledge Graph Multi-hop Question Answering by introducing Relational Chain Reasoning
Shanghai University（上海大学）；Beijing University of Technology（北京工业大学）；Engineering Research Center of Intelligence Perception and Autonomous Control, Ministry of Education（教育部智能感知与自主控制工程研究中心）
知识图问答（Knowledge Graph知识图谱，KGQA）是通过识别主题实体与答案之间的推理关系，从知识图谱中回答用户提出的问题。作为KGQA的一个复杂分支任务，多跳KGQA需要在KG中保存的多跳关系链上进行推理以获得正确答案。尽管最近取得了成功，但现有的回答多跳复杂问题的工作仍然面临着以下挑战：i）缺乏反映在用户问题中的显式关系链顺序，这源于对用户意图的误解。ii）由于昂贵的标记成本，在数据集缺乏中间推理链注释的弱监督下不正确地捕获关系类型。（3）基于子图检索的算法由于邻域大小的限制，没有考虑结构化KG中隐含的主题实体和答案之间的隐含关系，针对多跳KGQA中的这些问题，本文提出了一种新的模型，即基于关系链的嵌入式KGQA（Rce-KGQA），该方法同时利用自然语言问题中揭示的显式关系链和结构化问题中存储的隐式关系链，KG.我们对三个开放域基准的广泛实证研究证明，我们的方法显着优于最先进的同行，如GraftNet，PullNet和EmbedKGQA。综合消融实验也验证了我们的方法在多跳KGQA任务的有效性。我们在github上提供了模型的源代码：https://github.com/albert-jin/Rce-KGQA。
2022-11-13 cs.CL
Jointly Modeling Hierarchical and Horizontal Features for Relational Triple Extraction
Jilin University（吉林大学）；Huawei Technologies Co., Ltd（华为技术有限公司）；University of Edinburgh（爱丁堡大学）；Peking University（北京大学）
最近的工作关系三元组提取已经显示出的优越性，联合提取实体和关系的流水线提取方式。然而，大多数现有的联合模型未能平衡实体特征的建模和联合解码策略，从而没有充分研究实体层和三层之间的相互作用。在这项工作中，我们首先介绍了两个级别之间的层次依赖性和水平共性，然后提出了一个实体增强的双重标记框架，使三重提取（TE）的任务，利用这种相互作用与自学的实体功能，通过辅助实体提取（EE）的任务，而不会打破联合解码的关系三元组。具体来说，我们对齐EE和TE任务的位置明智的方式，制定它们作为两个序列标记的问题，具有相同的编码器-解码器结构。此外，这两个任务被组织在一个精心设计的参数共享设置，使学习的实体功能可以通过多任务学习自然共享。纽约时报基准的实证实验表明，所提出的框架相比，国家的最先进的方法的有效性。
2022-05-03 cs.CL
Open-Ended Multi-Modal Relational Reasoning for Video Question Answering
Northwestern University（西北大学）；University of Notre Dame（圣母大学）
本文提出一种集成视频识别与自然语言处理的机器人智能体，用于视频场景中的语言问答，实验表明信任与交互效率正相关，且模型性能较基准方法提升2%至3%。
2024-06-11 cs.AI cs.HC cs.RO
Multi-Relational Hyperbolic Word Embeddings from Natural Language Definitions
Idiap Research Institute（伊迪亚普研究所）；University of Manchester（曼彻斯特大学）；National Biomarker Centre（国家生物标志物中心）
本文提出一种多关系模型，通过从词典定义中自动提取概念关系，在双曲空间中利用翻译框架学习词嵌入，实验证明其比欧几里得方法更优，且比神经模型更高效可解释。
2024-02-16 cs.CL cs.LG
Compositional Language Understanding with Text-based Relational Reasoning
Mila（米拉研究所）；McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）；Facebook AI Research (FAIR)（脸书人工智能研究院）；Samsung Advanced Institute of Technology (SAIT)（三星综合技术院）
用于自然语言推理的神经网络主要集中在提取、基于事实的问答（QA）和常识推理。然而，了解神经网络可以从自然语言执行关系推理和组合概括的程度也至关重要-这些能力通常被注释工件和标准QA基准中语言建模的主导地位所掩盖。在这项工作中，我们提出了一个新的基准数据集的语言理解，隔离性能的关系推理。我们还提出了一个神经消息传递基线，并表明，该模型，其中包括一个关系归纳偏差，是优于组合推广相比，传统的递归神经网络方法。
2018-11-08 cs.AI cs.CL
Towards Abstract Relational Learning in Human Robot Interaction
Sapienza University of Rome（罗马第一大学（萨皮恩扎大学））
人类对环境中的实体有着丰富的表征。实体由其属性描述，共享属性的实体通常在语义上相关。例如，如果两本书的“title”属性的值都是“自然语言处理“，那么我们可以预期它们的”topic“属性也是相等的，即“NLP”。人类倾向于概括这样的观察，并推断出任何实体的“主题”属性是“NLP”的充分条件。如果机器人需要与人类成功交互，它们需要以类似的方式表示实体，属性和概括。这最终导致一个语境化的认知主体能够适应其理解，其中语境为正确的理解提供了充分的条件。在这项工作中，我们解决的问题，如何获得这些表示通过人机交互。我们整合视觉感知和自然语言输入，以增量方式构建世界的语义模型，然后使用归纳推理来推断捕捉通用语义关系的逻辑规则，在此模型中为真。这些关系可用于丰富人机交互，用推断的事实填充知识库，或消除机器人的感官输入中的不确定性。
2020-11-20 cs.AI cs.CL cs.LG
Exploring the Landscape of Relational Syllogistic Logics
本文探索关系三段论逻辑，证明其自然子族的完备性定理与复杂性结果，该子族由项和句子的构造器参数化。
2021-11-03 cs.CL cs.LO math.LO
Semantic Parsing Natural Language into Relational Algebra
Northeastern University（东北大学）
数据库自然接口（NLIDB）是近几十年来国内外研究的热点问题之一。NLIDB的核心是一个语义解析器，用于将自然语言转换为SQL。传统NLP方法的解决方案侧重于通过中间逻辑形式进行语法规则模式学习和配对。虽然这些方法在某些特定的数据库和解析任务上提供了可接受的性能，但它们很难推广和扩展。另一方面，神经深度学习的最新进展似乎为构建通用NLIDB系统提供了一个有希望的方向。与传统方法不同，这些神经方法将解析问题视为序列到序列的学习问题。在本文中，我们实验了几个序列到序列的学习模型，并评估其性能的一般数据库解析任务。
2021-06-25 cs.CL
HRKD: Hierarchical Relational Knowledge Distillation for Cross-domain Language Model Compression
Sun Yat-sen University（中山大学）；Alibaba Group（阿里巴巴集团）
在许多自然语言处理任务中，大型预训练语言模型（PLM）与传统的神经网络方法相比表现出了压倒性的性能。然而，它们庞大的模型大小和较低的推理速度在实践中阻碍了在资源有限的设备上的部署。在本文中，我们的目标是压缩PLM与知识蒸馏，并提出了一个层次关系知识蒸馏（HRKD）的方法来捕获层次和领域的关系信息。具体来说，为了增强模型的能力和可移植性，我们利用元学习的思想并建立域关系图来捕获不同域之间的关系信息。为了动态地为每个领域选择最具代表性的原型，我们提出了一种层次比较聚合机制来捕获层次关系。在公共多领域数据集上的实验表明，我们的HRKD方法的优越性能以及其强大的少样本学习能力。为了重现性，我们在https://github.com/cheneydon/hrkd上发布代码。
2021-10-16 cs.AI cs.CL cs.LG
AskYourDB: An end-to-end system for querying and visualizing relational databases using natural language
Thoucentric
在数据库中查询正确的信息是一项耗时且容易出错的任务，通常需要经验丰富的专业人员来完成这项工作。此外，用户需要对数据库有一些先验知识。已经有各种努力来开发一种智能，可以帮助商业用户直接查询数据库。然而，已经取得了一些成功，但在为现实世界的用户测试和部署这些方面却很少。在本文中，我们提出了一种语义解析方法来解决将复杂的自然语言转换为SQL的挑战，并制定出一个productoutit.For这个目的，我们修改了国家的最先进的模型，通过各种预处理和后处理步骤，使模型部署在生产中的重要组成部分。为了使产品服务于企业，我们在查询结果上添加了一个自动可视化框架。
2022-10-16 cs.CL cs.DB cs.IR
A Transfer-Learnable Natural Language Interface for Databases
Auburn University（奥本大学）；Stony Brook University（石溪大学）；Stanford University（斯坦福大学）；WeWork Research（WeWork研究院）
关系数据库管理系统（RDBMS）是强大的，因为它们能够优化和回答针对任何关系数据库的查询。另一方面，数据库的自然语言接口（NLI）是为支持该特定数据库而定制的。在这项工作中，我们介绍了一个通用的可转移学习的NLI学习的一个模型，可以用作任何关系数据库的NLI的目标。我们采用了分离数据及其模式的数据管理原则，但对自然语言的特性和复杂性提供了额外的支持。具体来说，我们引入了一个自动注释机制，分离的模式和数据，其中的模式也涵盖了自然语言的知识。此外，我们提出了一个定制的序列模型，翻译带注释的自然语言查询SQL语句。我们在实验中表明，我们的方法在WikiSQL数据集上的性能优于以前的NLI方法，并且我们学习的模型可以在没有重新训练的情况下应用于另一个基准数据集。
2018-09-07 cs.AI cs.CL
Relational Weight Priors in Neural Networks for Abstract Pattern Learning and Language Modelling
深度神经网络已经成为自然语言处理（NLP）中的主导方法。然而，近年来，很明显，系统性方面存在缺陷，限制了NLP中深度学习的性能和数据效率。这些缺点可以在低级人工任务中清楚地显示出来，主要是在合成数据上。抽象模式是神经网络在对未知数据进行概括方面的最著名的难题。它们是由项目之间的关系定义的，比如相等，而不是它们的值。有人认为，这些低级问题表明神经网络无法系统地学习。在这项研究中，我们提出了嵌入式基于关系的模式（ERBP）作为一种新的方式来创建一个关系的归纳偏见，鼓励学习平等和基于距离的关系抽象模式。ERBP基于基于关系模式（RBP），但被建模为网络权重的贝叶斯先验，并在其他标准网络学习中作为正则化项实现。ERBP易于集成到标准神经网络中，并且不影响其学习能力。在我们的实验中，ERBP先验导致几乎完美的泛化时，从合成的无噪声序列学习抽象模式。ERBP还使用RNN、GRU和LSTM网络改进了单词和字符级别的自然语言模型以及旋律中的音高预测。我们还发现，在更复杂的任务学习图编辑距离和组合句子蕴涵的改进。ERBP始终优于RBP和标准网络，表明它能够实现抽象模式学习，这有助于自然语言任务的性能。
2021-03-10 cs.AI cs.CL cs.LG
Clustering and Relational Ambiguity: from Text Data to Natural Data
本文探讨文本与自然数据中的歧义问题，指出句法上下文不足以消除歧义，噪声可源于数据本身及无意义文本，并可能污染语料库内容。
2014-04-10 cs.CL cs.IR
Assessing the Limits of the Distributional Hypothesis in Semantic Spaces: Trait-based Relational Knowledge and the Impact of Co-occurrences
Prifysgol Caerdydd（卡迪夫大学）；Cardiff University（卡迪夫大学）
由于分布式模型和深度学习的普及，NLP的性能有所提高，但随之而来的是可解释性的下降。这促使人们关注神经网络对自然语言的学习，而不是如何学习。一些工作集中在用于开发数据驱动模型的数据上，但通常这类工作旨在突出数据的问题，例如突出和抵消有害的偏见。这项工作有助于在模型数据中捕获有意义的自然语言表示的相对未涉足的路径。这需要评估英语和西班牙语的语义空间如何捕捉特定类型的关系知识，即与概念相关的特征（例如香蕉黄色），并探索在这种情况下同现的作用。
2022-05-16 cs.AI cs.CL
Few-shot Learning for Slot Tagging with Attentive Relational Network
German Research Center for Artificial Intelligence（德国人工智能研究中心）；University of Stuttgart（斯图加特大学）
基于度量的学习是用于少样本学习的众所周知的方法族，特别是在计算机视觉中。最近，它们已被用于许多自然语言处理应用程序，但不是槽标记。在本文中，我们探讨了基于度量的学习方法在槽标记任务，并提出了一种新的基于度量的学习架构-注意关系网络。我们提出的方法扩展了关系网络，使它们更适合自然语言处理应用程序一般，通过利用预训练的上下文嵌入，如ELMO和BERT，并通过使用注意力机制。SNIPS数据的结果表明，我们提出的方法优于其他国家的最先进的基于度量的学习方法。
2021-03-03 cs.CL
Relational World Knowledge Representation in Contextual Language Models: A Review
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
关系知识库（KB）通常用于表示机器中的世界知识。然而，尽管知识库具有高度的精确性和可解释性，但它们通常是根据手动定义的模式组织的，这限制了它们的表达能力，并且需要大量的人力来设计和维护。在这篇综述中，我们从自然语言处理的角度来看待这些局限性，研究如何通过训练深度上下文语言模型（LM）来部分解决这些局限性，从而以更灵活的形式内化和表达关系知识。我们建议组织知识表示策略在LM的KB监督水平提供的，从没有KB监督在所有实体和关系级的监督。我们的贡献有三个方面：（1）我们提供了一个高层次的，可扩展的分类知识表示在LMs;（2）在我们的分类，我们突出了显着的模型，评估任务和调查结果，以提供一个最新的审查，目前的知识表示能力在LMs;（3）我们建议未来的研究方向，建立在LMs和知识库的互补方面作为知识表示。
2021-09-10 cs.AI cs.CL cs.LG
Modeling Content and Context with Deep Relational Learning
Purdue University（普渡大学）
为现实的自然语言任务构建模型需要处理长文本并考虑复杂的结构依赖关系。神经-符号表示作为一种将符号方法的推理能力与神经网络的表达能力相结合的方式而出现。然而，大多数现有的神经和符号表征相结合的框架已被设计为经典的关系学习任务，工作在一个宇宙的符号实体和关系。在本文中，我们提出了DRaiL，一个开源的声明性框架，用于指定深关系模型，旨在支持各种NLP方案。我们的框架支持与表达性语言编码器轻松集成，并提供了一个接口来研究表示，推理和学习之间的相互作用。
2020-10-20 cs.AI cs.CL
IfcLLM: Natural Language Querying of IFC Models through Complementary Relational and Graph Representations
GRID Lab, School of Built Environment, The University of New South Wales（建筑环境学院，新南威尔士大学GRID实验室）；School of Civil and Environmental Engineering, The University of New South Wales（土木与环境工程学院，新南威尔士大学）
本文提出IfcLLM混合框架，通过关系和图表示结合迭代推理，提升非专家用户对IFC模型的自然语言查询能力，并支持常规BIM分析任务。
2026-10-23 cs.CL
Recent Advances in SQL Query Generation: A Survey
Ss. Cyril and Methodius University（圣西里尔与美多德大学）
假设自然语言是许多领域的最佳用户界面。然而，在自然语言和任何其他领域之间提供接口的通用模型仍然不存在。为关系数据库提供自然语言接口可能会吸引绝大多数精通或不精通查询语言的用户。随着深度学习技术的兴起，在设计一个合适的关系数据库的自然语言接口方面有着广泛的研究。本调查旨在概述在从自然语言生成SQL查询方面提出的一些最新方法和模型。我们描述了各种架构的模型，如卷积神经网络，递归神经网络，指针网络，强化学习等几个数据集旨在解决SQL查询生成问题的解释和简要概述。最后，在该领域中使用的评价指标主要是执行准确性和逻辑形式准确性的组合。
2020-05-15 cs.AI cs.CL cs.LG
Inducing Relational Knowledge from BERT
CRIL - CNRS（法国国家科学研究中心计算机科学与基础信息实验室）；Univ Artois（阿尔图瓦大学）；Cardiff University（卡迪夫大学）
词嵌入最显著的特性之一是它们捕捉了某些类型的语义和句法关系。最近，预先训练的语言模型（如BERT）在广泛的自然语言处理任务中取得了突破性的成果。然而，目前还不清楚这种模型在多大程度上捕获了标准词嵌入已经捕获的关系知识。为了探索这个问题，我们提出了一种方法，从预先训练好的语言模型中提取关系知识。从一个给定关系的几个种子实例开始，我们首先使用一个大型文本语料库来找到可能表达这种关系的句子。然后，我们使用这些提取的句子的子集作为模板。最后，我们微调一个语言模型来预测一个给定的词对是否可能是某个关系的实例，当给定一个该关系的实例化模板作为输入时。
2019-11-28 cs.AI cs.CL
MoMQ: Mixture-of-Experts Enhances Multi-Dialect Query Generation across Relational and Non-Relational Databases
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
本文提出基于混合专家的 MoMQ 框架，通过方言专家组、多级路由和共享专家组提升跨关系型与非关系型数据库的多方言查询生成，并构建覆盖 MySQL、PostgreSQL、Cypher、nGQL 的基准。
2024-10-24 cs.AI cs.CL cs.DB
Neural Latent Relational Analysis to Capture Lexical Semantic Relations in a Vector Space
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
在向量空间中捕捉词的语义关系有助于许多自然语言处理任务。一种很有前途的方法利用词汇句法模式作为词对的特征。在本文中，我们提出了一种新的模型，这种模式为基础的方法，神经潜在关系分析（NLRA）。NLRA可以概括词对的共现和词汇句法模式，并获得不共现的词对的嵌入。这克服了以前的模式为基础的模型中遇到的关键数据稀疏问题。我们在测量关系相似性上的实验结果表明，NLRA优于以前的基于模式的模型。此外，当与向量偏移模型相结合时，NLRA实现了与利用附加语义关系数据的最新模型相当的性能。
2018-09-10 cs.CL
Reasoning-Oriented and Analogy-Based Methods for Locating and Editing in Zero-Shot Event-Relational Reasoning
School of Computer Science and Technology, Dalian University of Technology（大连理工大学计算机科学与技术学院）；School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；School of Computer Science and Artificial Intelligence, Liaoning Normal University（辽宁师范大学计算机与人工智能学院）
本文提出 ROLE 和 ABLE 两种定位与编辑方法，分别通过定位语言模型关键模块和利用任务间类比关系，高效提升零样本事件关系推理的可解释性与性能。
2025-01-01 cs.AI cs.CL
Locating and Extracting Relational Concepts in Large Language Models
University of Sydney（悉尼大学）；BrewAI
该研究针对大语言模型知识调取缺乏可解释性、内部关系概念表示不明的问题，通过因果中介分析定位并提取了关系表示，验证了其可信度与可控事实调取潜力。
2024-06-19 cs.CL
GLoMo: Unsupervisedly Learned Relational Graphs as Transferable Representations
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook人工智能研究院）；Google, Inc.（谷歌公司）；New York University（纽约大学）
现代深度迁移学习方法主要集中在从一个任务中学习可转移到其他任务的通用特征向量，例如语言中的词嵌入和视觉中的预训练卷积特征。然而，这些方法通常转移一元特征，并在很大程度上忽略了更结构化的图形表示。这项工作探索了学习通用潜在关系图的可能性，这些图捕获了数据单元对之间的依赖关系（例如，字或像素），并将图形传输到下游任务。我们提出的迁移学习框架提高了各种任务的性能，包括问答，自然语言推理，情感分析和图像分类。我们还表明，学习的图是通用的，足以被转移到不同的嵌入上，图还没有被训练（包括GloVe嵌入，ELMo嵌入，和特定于任务的RNN隐藏单元），或嵌入免费的单位，如图像像素。
2018-07-02 cs.CL cs.CV cs.LG
Relational Priors as Convergence Pressure in LLM-Based Multi-Agent Systems
该研究将关系先验注入LLM-MAS提示中，发现其主要起收敛压力作用，正向性提升可促进智能体协调但未必提高准确性，建议按需使用而非默认添加。
2026-10-01 cs.CL
