Resolving Sentiment Discrepancy for Multimodal Sentiment Detection via Semantics Completion and Decomposition
IIE, Chinese Academy of Sciences（中国科学院信息工程研究所）；Nankai University（南开大学）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出CoDe网络，通过语义补全与分解解决多模态情感检测中的情感差异问题，提升分类性能。
2025-11-21 cs.CL cs.CV cs.MM
HyperFormer: Enhancing Entity and Relation Interaction for Hyper-Relational Knowledge Graph Completion
Shanxi University（山西大学）；Cardiff University（卡迪夫大学）；University of Edinburgh（爱丁堡大学）
针对超关系知识图谱补全中全局多跳信息引入噪声的问题，本文提出 HyperFormer，通过局部序列建模、三类双向交互和 MoE 前馈层提升预测效果并降低计算开销。
2023-08-12 cs.AI cs.CL
KBLRN : End-to-End Learning of Knowledge Base Representations with Latent, Relational, and Numerical Features
NEC Labs Europe（欧洲NEC实验室）
我们提出了KBLRN，一个从潜在的，关系的，和数值特征的知识库表示的端到端学习的框架。KBLRN将特征类型与神经表示学习和专家模型的概率乘积相结合。据我们所知，KBLRN是第一种通过整合潜在的，关系的和数值特征来学习知识库表示的方法。我们表明，KBLRN的实例优于现有的方法在一系列的知识库完成任务。我们贡献了一个新的数据集，丰富了常用的知识库完成基准与数值特征。这些数据集在许可的BSD-3许可证下可用。我们还研究了数值特征对KBLRN的KB完成性能的影响。
2018-06-11 cs.AI
SciReC: Diagnostic Evaluation of Multimodal, Multi-Turn Relational Reasoning with Adaptive Interaction
Arizona State University（亚利桑那州立大学）；Capital One（第一资本金融公司）
本研究构建了多模态学术对话基准SciReC，提出缺陷诊断框架DMRA评估多模态大语言模型的关系推理能力，发现不同模型在各类关系及领域上的表现差异，明确错误的主要来源。
2026-08-31 cs.AI cs.CL cs.LG
Hierarchical Relational Learning for Few-Shot Knowledge Graph Completion
The University of Sydney（悉尼大学）；University of California, Davis（加州大学戴维斯分校）
本文提出层次关系学习方法HiRe，通过联合捕获实体级、三元组级和上下文级关系信息来学习少样本关系的元表示，从而提升少样本知识图谱补全的泛化能力，并在基准数据集上验证了其优于现有方法的性能。
2025-06-03 cs.AI cs.CV cs.LG
Relational Learning with Gated and Attentive Neighbor Aggregator for Few-Shot Knowledge Graph Completion
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Alibaba Group（阿里巴巴集团）
为了扩大知识图（KG）中少镜头关系（Few-Shot relations）的覆盖范围，少镜头知识图谱补全（FKGC）近年来引起了更多的研究兴趣。Few-Shot关系补全（FKGC）。一些现有的模型采用了Few-Shot关系的多跳邻居信息来增强其语义表示。然而，当邻域过于稀疏并且没有邻域可用于表示Few-Shot关系时，噪声邻域信息可能被放大。此外，以往的知识图谱完备方法在建模和推理1-N、N-1和N-N等复杂关系时，需要较高的模型复杂度和大量的训练实例。因此，由于有限的训练实例，FKGC模型很难在Few-Shot场景中推断复杂的关系。在本文中，我们提出了一个Few-Shot关系学习的全局-局部框架，以解决上述问题。在全局阶段，构建了一种新型的门控和专注的邻居聚合器，用于准确集成Few-Shot关系邻居的语义，即使KG包含极其稀疏的邻居，这也有助于过滤噪音邻居。对于局部阶段，设计了基于元学习的transH（MTtransH）方法来对复杂关系进行建模，并以少样本学习的方式对模型进行训练。大量的实验表明，我们的模型优于最先进的FKGC方法上常用的基准数据集NELL-One和Wiki-One。与强基线模型MetaR相比，我们的模型在NELL-One上实现了8.0%的5次FKGC性能改进，在Wiki-One上实现了2.8%的指标Hits@10。
2021-06-05 cs.AI cs.CL
LLM-Guided Semantic Relational Reasoning for Multimodal Intent Recognition
Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；School of Information Science and Engineering, Hebei University of Science and Technology（河北科技大学信息科学与工程学院）
针对多模态意图识别中现有方法细粒度语义关系推理受限的问题，提出LLM引导的语义关系推理方法LGSRR，通过浅入深思维链提取细粒度语义引导，形式化建模三类语义关系，在多类任务上性能优于现有最优方法。
2025-09-01 cs.AI cs.CL cs.MM
Knowledge Graph Completion with Pre-trained Multimodal Transformer and Twins Negative Sampling
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；College of Software Technology, Zhejiang University（浙江大学软件学院）
将世界知识建模为结构三元组的知识图谱不可避免地是不完整的。多模态知识图谱（MMKG）仍然存在这样的问题。因此，知识图谱补全（KGC）对于预测现有知识图谱中缺失的三元组具有重要意义。对于现有的KGC方法，基于嵌入的方法依赖于人工设计来利用多模态信息，而基于细调的方法在链接预测方面并不优于基于嵌入的方法。针对这些问题，提出了一种基于VisualBERT的知识图谱补全模型（VBKGC）。VBKGC可以捕获实体的深度融合的多模态信息，并将其集成到KGC模型中。此外，通过设计一种新的负抽样策略--孪生负抽样，实现了KGC模型与负抽样的协同设计。双胞胎负采样适用于多模式场景，并且可以对齐实体的不同嵌入。通过大量的实验，验证了VBKGC在链接预测任务上的优异性能，并对VBKGC作了进一步的探索。
2022-09-15 cs.AI cs.CL
PEARL: Path-Entity Aligned Relational Learning with Contextual Subgraphs for Inductive Knowledge Graph Completion
School of Mathematics, Shandong University（山东大学数学学院）；School of Physical and Mathematical Sciences, Nanyang Technological University（南洋理工大学物理与数学科学学院）；Data Science Institute, Shandong University（山东大学数据科学研究院）
PEARL是一种结合上下文子图建模、LLM引导路径检索与双视图对比学习的归纳式知识图谱补全框架，在WN18RR等三个基准数据集上取得最优平均Hits@10，验证了其核心组件的有效性。
2026-09-03 cs.AI
Efficient Relational Context Perception for Knowledge Graph Completion
School of Computer Science, Wuhan University（武汉大学计算机学院）
本文提出TRP架构结合张量分解，通过学习实体和关系的动态上下文并高效计算三元组得分，在多个基准数据集上优于现有知识图谱补全模型。
2024-12-31 cs.AI cs.CL cs.LG
Memory-Driven Self-Disclosure and Relational Turning Points: A Longitudinal Multimodal Study of Human-AI Interaction
Graduate School of Informatics, Kyoto University（京都大学信息学研究科）；Equmenopolis, Inc.（Equmenopolis公司）；Waseda University（早稻田大学）；School of Informatics, Kyoto University（京都大学信息学系）
该研究通过纵向多模态研究，探讨对话式人工智能系统中交互如何发展为关系。核心方法是让参与者对五个关系构建要素评分，发现对话质量影响当下愉悦感，感知记忆受关系制约，关系有崩溃和激增等转折点，揭示了人机关系建立的方式。
2026-07-20 cs.AI cs.CL cs.HC
MAGIC: Multimodal relAtional Graph adversarIal inferenCe for Diverse and Unpaired Text-based Image Captioning
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）；Ningbo University（宁波大学）
基于文本的图像描述（TextCap）需要同时理解视觉内容和阅读图像的文本以生成自然语言描述。虽然任务可以教机器进一步理解复杂的人类环境，因为文本在我们的日常环境中无处不在，但它对正常的字幕提出了额外的挑战。基于文本的图像直观地包含丰富而复杂的多模态关系内容，即图像细节可以从多个视图而不是单个标题中进行描述。当然，我们可以引入额外的成对训练数据来显示图像描述的多样性，这个过程对于带有额外文本的TextCap对注释来说是劳动密集型和耗时的。基于上述见解，我们研究了如何使用不成对的训练范例生成专注于不同图像部分的多样化字幕。我们提出了多模态关系图逆向推理（MAGIC）框架，多样和不成对的文本帽。该框架可以自适应地构造多个图像的多模态关系图，并对图之间的复杂关系进行建模，以表示描述的多样性。此外，一个级联的生成对抗网络开发从建模图，以推断在图像-句子特征对齐和语言连贯性水平的不成对的字幕生成。我们验证了MAGIC的有效性，从不同的关系信息项的图像生成不同的字幕。实验结果表明，MAGIC可以生成非常有希望的结果，而无需使用任何图像-字幕训练对。
2022-03-04 cs.AI cs.CV
Relational Message Passing for Fully Inductive Knowledge Graph Completion
Zhejiang University（浙江大学）；Donghai Laboratory（东海实验室）；The University of Manchester（曼彻斯特大学）；The University of Edinburgh（爱丁堡大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
在知识图谱完备化（KGC）中，预测涉及新出现的实体和/或关系的三元组（当学习KG嵌入时不可见）已成为关键挑战。基于消息传递的子图推理是一种很有前途和流行的解决方案。最近的一些方法已经取得了良好的性能，但它们（i）通常只能预测单独涉及看不见的实体的三元组，无法解决更现实的完全归纳的情况下，看不见的实体和看不见的关系，（ii）经常进行消息传递的实体与关系模式没有充分利用。在这项研究中，我们提出了一种新的方法命名为RMPI，它使用了一种新的关系消息传递网络完全归纳KGC。该方法利用关系模式进行子图推理，在图变换、图剪枝、关系感知邻域关注、空子图寻址等方面提出了新的技术，并且可以利用KG的本体模式中定义的关系语义。多个基准测试的广泛评估表明，RMPI所涉及的技术的有效性和更好的性能相比，现有的方法，支持完全归纳KGC。RMPI也可以与最先进的部分归纳KGC方法相媲美，取得了非常有前途的结果。我们的代码和数据可在https://github.com/zjukg/RMPI上获取。
2022-12-30 cs.AI
Router-Suggest: Dynamic Routing for Multimodal Auto-Completion in Visually-Grounded Dialogs
IIT Kharagpur（印度IIT卡拉格浦大学）；Microsoft（微软公司）
Router-Suggest 通过动态路由选择文本模型和 VLMs，提升多模态对话中的自动补全效率和用户满意度。
2026-01-09 cs.AI cs.CL cs.CV
PRISM: A Category-Theoretic Framework for Measuring and Refining Multimodal Analogies
Delft University of Technology（代尔夫特理工大学）
PRISM提出一种基于范畴论的框架，通过拉回分数测量并迭代优化多模态类比的关系对齐，在视觉隐喻生成中显著提升一致性，但优化可能偏向视觉拥挤而非深层关系。
2026-10-06 cs.AI
MUREL: Multimodal Relational Reasoning for Visual Question Answering
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Heuritech（赫瑞泰克公司）；Conservatoire National des Arts et Métiers（法国国立工艺学院）
多模态注意网络是目前涉及真实图像的视觉问答（VQA）任务的最新模型。虽然注意力可以集中在与问题相关的视觉内容上，但这种简单的机制可能不足以模拟VQA或其他高级任务所需的复杂推理功能。在本文中，我们提出了MuRel，这是一种多模态关系网络，它是端到端学习的，可以在真实图像上进行推理。我们的第一个贡献是介绍了MuRel细胞，原子推理原语表示问题和图像区域之间的相互作用，通过丰富的矢量表示，并与成对组合的区域关系建模。其次，我们将细胞整合到一个完整的MuRel网络中，该网络逐步细化视觉和问题交互，并且可以用来定义比单纯的注意力地图更精细的可视化方案。我们验证了我们的方法与各种消融研究的相关性，并在三个数据集上显示了其优于基于注意力的方法：VQA 2.0，VQA-CP v2和TDIUC。我们最终的MuRel网络在这种具有挑战性的环境中具有竞争力或优于最先进的结果。我们的代码可在：https://github.com/Cadene/murel.bootstrap.pytorch
2019-02-25 cs.AI cs.CL cs.CV
HERGC: Heterogeneous Experts Representation and Generative Completion for Multimodal Knowledge Graphs
University of Minnesota（明尼苏达大学）
针对多模态知识图补全在封闭世界假设下推理受限的问题，提出HERGC框架，通过异构专家表示检索器融合多模态信息并生成候选集，再利用生成式LLM预测器准确识别答案，在三个基准上取得优于现有方法的性能。
2025-08-08 cs.AI cs.CL cs.LG
Diffusion-based Hierarchical Negative Sampling for Multimodal Knowledge Graph Completion
School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院）；College of Computer Science and Technology, Qingdao University（青岛大学计算机科学与技术学院）
针对多模态知识图谱补全中负采样忽略多模态信息的问题，提出基于扩散的分层负采样方案DHNS，结合分层嵌入生成与自适应训练策略，有效生成高质量负三元组，在多个基准上超越现有方法。
2025-01-26 cs.AI cs.CL
MRC-GAT: A Meta-Relational Copula-Based Graph Attention Network for Interpretable Multimodal Alzheimer's Disease Diagnosis
Razi University（拉齐大学）
MRC-GAT通过元关系耦合和多关系注意力机制，实现多模态阿尔茨海默病诊断的高精度与可解释性。
2026-02-17 cs.AI cs.LG q-bio.QM
Context-Driven Knowledge Graph Completion with Semantic-Aware Relational Message Passing
School of Computer Science and Technology, Dalian University of Technology, Dalian, Liaoning, China（计算机科学与技术学院，大连理工大学，大连，辽宁，中国）；Beijing Institute of Technology, Beijing, China（北京理工大学，北京，中国）；School of Mathematical Sciences, Dalian University of Technology, Dalian, Liaoning, China（数学学院，大连理工大学，大连，辽宁，中国）；School of Control Science and Engineering, Dalian University of Technology, Dalian, Liaoning, China（控制科学与工程学院，大连理工大学，大连，辽宁，中国）
针对知识图谱补全中传统消息传递易引入噪声的问题，提出语义感知的Top-K邻居选择与多头注意力聚合方法，在多个基准上取得更优性能。
2025-09-10 cs.AI
Hybrid Transformer with Multi-level Fusion for Multimodal Knowledge Graph Completion
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；State Key Laboratory of Media Convergence Production Technology and Systems（媒体融合生产技术与系统国家重点实验室）
本文提出混合Transformer模型MKGformer，通过统一输入输出架构和多级融合机制整合视觉与文本表示，在多模态知识图谱补全的四个数据集上取得SOTA性能。
2023-09-18 cs.AI cs.CL cs.CV
Query-Driven Knowledge Base Completion using Multimodal Path Fusion over Multimodal Knowledge Graph
University of Florida（佛罗里达大学）
提出一种查询驱动的知识库补全系统，通过构建多模态知识图谱并采用多模态路径融合算法，有效融合非结构化与结构化信息，显著提升补全性能与效率。
2023-05-10 cs.AI cs.DB cs.LG
ELMM: Efficient Lightweight Multimodal Large Language Models for Multimodal Knowledge Graph Completion
School of Computer Science, Beijing University of Posts and Telecommunications（计算机学院，北京邮电大学）
ELMM通过多视图视觉标记压缩和注意力修剪策略，高效解决多模态知识图谱补全中的模态冲突和计算成本问题，实现最先进的性能。
2026-01-06 cs.AI
Transformer-Based Multimodal Knowledge Graph Completion with Link-Aware Contexts
Department of Computer and Information Science and Engineering, University of Florida（计算机与信息科学与工程系，佛罗里达大学）
提出一种结合基于Transformer的KGE模型与预训练VLM生成跨模态上下文的新方法，通过将视觉信息转为文本序列并以序列到序列任务微调模型，有效减小了模型规模并在多个大规模数据集上取得竞争力表现。
2025-09-15 cs.AI cs.CL cs.LG
Knowledge Base Completion using Web-Based Question Answering and Multimodal Fusion
University of Florida（佛罗里达大学）
提出一种融合网络非结构化信息与知识库结构化信息的多模态问答系统，通过问题模板高效提取缺失事实，实现知识库补全。
2023-05-07 cs.AI cs.DB cs.LG
Multimodal Contextualized Plan Prediction for Embodied Task Completion
University of Pittsburgh（匹兹堡大学）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
本研究针对具身任务完成，提出利用多模态情境预测高层规划，证明其优于直接预测低层动作，并指出规划预测与执行模块相互依赖，同时通过oracle规划基准测试量化改进空间。
2023-05-10 cs.AI cs.CL cs.HC
Multimodal Function Vectors for Visual Relations
University of California, Berkeley（加州大学伯克利分校）
通过因果中介分析提取多模态函数向量，操纵注意力头以改善视觉关系推理，并实现零样本和微调性能提升。
2026-05-29 cs.AI cs.LG
Integrating Multimodal Large Language Model Knowledge into Amodal Completion
KAIST（韩国科学技术院）；AITRICS
本文提出AmodalCG框架，利用多模态大语言模型知识指导无模态补全，通过评估遮挡程度选择性调用MLLM指导，结合视觉生成模型迭代优化补全结果，实验表明优于现有方法。
2026-03-30 cs.AI cs.CV
MGDT: MLLM-Guided Diffusion Transformer with Relation-Adaptive Mixture-of-Experts for Multimodal Knowledge Graph Completion
Beijing University of Posts and Telecommunications（北京邮电大学）；Zhejiang University（浙江大学）；University of Science and Technology of China（中国科学技术大学）；Communication University of China（中国传媒大学）
研究多模态知识图谱补全问题，提出MGDT框架，先通过RASR-MoE模块选路径、抑干扰，再用MLLM对齐表示，最后KGDT去噪生成，实验证明该框架在三个基准数据集上性能优于基线。
2026-07-20 cs.AI
RELATE: A Schema-Agnostic Perceiver Encoder for Multimodal Relational Graphs
SAP Palo Alto, CA, USA（SAP帕洛阿尔托分校）；University of Pennsylvania（宾夕法尼亚大学）；SAP Seattle, WA, USA（SAP西雅图分校）
本文提出RELATE，一种模式无关、即插即用的特征编码器，通过共享模态编码器和Perceiver交叉注意力模块聚合多模态属性，在RelBench基准上性能接近特定编码器且大幅减少参数量，支持多数据集预训练，推动关系图基础模型发展。
2025-11-03 cs.AI cs.DB cs.LG
Rethinking Multimodal Point Cloud Completion: A Completion-by-Correction Perspective
Wang Luo, Di Wu, Hengyuan Na, Yinlin Zhu, Miao Hu, Guocong Quan（作者）
PGNet通过补全-修正范式，结合多阶段框架和双特征编码，实现更鲁棒的点云补全，提升重建精度与结构一致性。
2025-12-01 cs.AI cs.CV
UAMD-Net: A Unified Adaptive Multimodal Neural Network for Dense Depth Completion
South China University of Technology（华南理工大学）
深度预测是机器人应用特别是自动驾驶中的关键问题。通常，基于双目立体匹配的深度预测和单目图像与激光点云的融合是两种主流的深度预测方法。然而，前者在构建成本体积时往往会出现过拟合，而后者由于缺乏几何约束，推广能力有限。为了解决这些问题，我们提出了一种新的多模态神经网络，即UAMD-Net，密集深度完成的基础上融合的双目立体匹配和稀疏点云的弱约束。具体地说，稀疏点云被转换为稀疏深度图，并与双目图像一起发送到多模态特征编码器（MFE），构建跨模态成本体积。然后，它将由多模态特征聚合器（MFA）和深度回归层进一步处理。此外，现有的多模态方法忽略了模态依赖问题，即当某个模态输入有问题时，网络将无法工作。因此，我们提出了一种新的训练策略，称为Modal-dropout，它使网络能够自适应地训练多个模态输入和特定模态输入的推理。该网络结构灵活，训练方法自适应，可以在多种模态输入条件下实现统一训练。在KITTI深度完井基准上进行的综合实验表明，我们的方法产生了鲁棒的结果，优于其他国家的最先进的方法。
2022-04-16 cs.AI cs.CV
Multimodal Markup Document Models for Graphic Design Completion
Waseda University（早稻田大学）
MarkupDM是一种多模态标记文档模型，通过统一处理图形设计任务，实现文本、图像和属性值的完成，展示了其在设计自动化中的广泛适用性。
2025-12-04 cs.AI cs.CV cs.MM
Biquaternionic Space with Complex-valued Attention for Temporal Knowledge Graph Completion
University of Chinese Academy of Sciences（中国科学院大学）
提出BSCA模型，在双四元数空间中结合圆与双曲旋转，用复值注意力动态融合实体表示，在GDELT等基准上显著提升时序知识图谱补全性能。
2026-09-15 cs.AI cs.LG
A Comparative Study of Distributional and Symbolic Paradigms for Relational Learning
KU Leuven（鲁汶大学）；EPFL（洛桑联邦理工学院）；NEC Labs（日本电气实验室）
许多现实世界的领域可以表示为图，更一般地，表示为多关系知识图谱。虽然知识图谱的推理和学习传统上是通过符号方法来解决的，但（深度）表示学习的最新方法已经显示出对专门任务（如知识库完成）有希望的结果。这些方法摒弃了传统的符号范式，用欧氏空间中的向量代替符号。除了少数例外，象征性和分配性办法在不同社区得到探讨，但对它们各自的优缺点知之甚少。在这项工作中，我们比较表示学习和关系学习的各种关系分类和聚类任务，并分析这些方法隐式使用的规则的复杂性。初步结果揭示了可能的指标，有助于为特定的知识图谱选择一种方法而不是另一种方法。
2020-03-24 cs.AI cs.LG stat.ML
ViSR-KGC: Visual Subgraph Reasoning with Vision-Language Models for Multimodal Knowledge Graph Completion
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CITIC Securities（中信证券）；School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）
针对多模态知识图谱补全的痛点，提出ViSR-KGC方法，结合表示学习、视觉语言模型与预训练常识，通过提取查询感知子图并转换为可视化内容辅助VLM推理缺失实体。
2026-09-10 cs.AI
Multitask Multimodal Prompted Training for Interactive Embodied Task Completion
Heriot-Watt University（赫瑞-瓦特大学）；Alana AI
针对交互式具身任务的语言锚定与指称消歧难题，提出统一多任务多模态具身智能体EMMA，将动作预测转为文本生成，在DTC基准上取得36.81%成功率的新SOTA。
2023-11-07 cs.AI cs.CV cs.LG
Geometric Relational Embeddings: A Survey
University of Stuttgart（斯图加特大学）；Monash University（莫纳什大学）；VU Amsterdam（阿姆斯特丹自由大学）；Griffith University（格里菲斯大学）；University of Southampton（南安普顿大学）
本文综述几何关系嵌入方法，按嵌入几何与关系推理任务分类，梳理其归纳偏置、典型应用及未来方向。
2023-04-24 cs.AI
Learning to Exploit Long-term Relational Dependencies in Knowledge Graphs
Nanjing University（南京大学）
研究了知识图谱的嵌入问题。对这个问题的一个广泛建立的假设是，相似的实体可能具有相似的关系角色。然而，现有的相关方法主要是基于三层学习的KG嵌入，缺乏捕获实体长期关系依赖的能力。此外，三层学习不足以在实体之间传播语义信息，特别是对于跨KG嵌入的情况。在本文中，我们提出了循环跳跃网络（RSNs），它采用跳跃机制来弥合实体之间的差距。RSN将递归神经网络（RNN）与剩余学习相结合，以有效地捕获KG内部和之间的长期关系依赖关系。我们设计了一个端到端的框架，以支持不同任务的RSN。我们的实验结果表明，RSN优于最先进的基于嵌入的实体对齐方法，并取得了竞争力的KG完成性能。
2019-05-13 cs.AI cs.CL cs.LG
HyperMono: A Monotonicity-aware Approach to Hyper-Relational Knowledge Representation
School of Computer and Information Technology（计算机与信息科技学院）；Shanxi University（山西大学）；School of Computer Science and Informatics（计算机科学与信息学院）；Cardiff University（卡地夫大学）；ILCC, School of Informatics（信息学院）；University of Edinburgh（爱丁堡大学）
本文提出HyperMono模型用于超关系知识图补全，通过锥嵌入实现阶段推理与限定符单调性，在三个数据集上表现优于现有方法。
2025-06-30 cs.AI cs.LG
Open Visual Knowledge Extraction via Relation-Oriented Multimodality Model Prompting
Emory University（埃默里大学）；Tongji University（同济大学）；The Hong Kong University of Science and Technology（香港科技大学）；Georgia Institute of Technology（佐治亚理工学院）；Northwestern University（西北大学）
本文提出OpenVik，通过开放式关系区域检测器和大型多模态模型提示生成无格式限制的视觉知识，并验证其在知识质量与视觉推理应用中的有效性。
2023-10-28 cs.AI cs.CL cs.CV
KathDB: Explainable Multimodal Database Management System with Human-AI Collaboration
University of Washington（华盛顿大学）
KathDB是一种结合关系语义和基础模型推理能力的多模数据库管理系统，通过人机协作实现查询解析、执行和结果解释的可解释性。
2025-12-11 cs.AI cs.DB
Clustering as an Evaluation Protocol for Knowledge Embedding Representation of Categorised Multi-relational Data in the Clinical Domain
University College London（伦敦大学学院）；Institute of Health Informatics（健康信息学研究所）
学习知识表示是一种越来越重要的技术，适用于许多特定领域的机器学习问题。我们讨论了传统的链接预测或知识图谱完成评估协议的有效性时，嵌入知识表示的分类多关系数据在临床领域。链接预测用于将数据划分为训练和评估子集，导致训练过程中的信息丢失，并损害知识表示模型的准确性。我们提出了一个聚类评估协议作为替代传统上使用的评估任务。我们使用了由知识嵌入方法训练的嵌入模型，该方法已经过临床数据集的评估。Pearson和Spearman相关性的实验结果表明，新提出的评估协议是pottententially能够取代链接预测强有力的证据。
2019-12-29 cs.AI cs.LG cs.SI
ModuLM: Enabling Modular and Multimodal Molecular Relational Learning with Large Language Models
University of Science and Technology of China（中国科学技术大学）；Suzhou Institute for Advanced Research, USTC（先进研究所）；Hunan University（湖南大学）；Monash University（墨尔本大学）；State Key Laboratory of Precision and Intelligent Chemistry, USTC（精密与智能化学国家重点实验室）
ModuLM提出一个模块化框架，通过组合多种2D/3D分子编码器、交互层和LLM骨干，支持超过5万种模型配置，解决分子关系学习中的灵活建模与公平基准测试问题。
2025-06-01 cs.AI cs.LG q-bio.BM
A Comprehensive Study on Knowledge Graph Embedding over Relational Patterns Based on Rule Learning
Zhejiang University（浙江大学）；Donghai laboratory（东海实验室）
本文系统评估 7 个 KGE 模型在 2 个基准、4 种关系模式上的表现，结合理论、实体频率和部分到整体分析揭示反直觉结论，并提出免训练的 SPA 方法提升关系模式相关性能。
2023-08-15 cs.AI cs.CL
Learning Sequence Encoders for Temporal Knowledge Graph Completion
NEC Labs Europe（NEC欧洲实验室）；KU Leuven（鲁汶大学）
知识图谱中链接预测的研究主要集中在静态多关系数据上。在这项工作中，我们考虑时间知识图谱，实体之间的关系可能只在一个时间间隔或一个特定的时间点。与以前的静态知识图谱的工作，我们建议解决这个问题，通过学习潜在的实体和关系类型表示。为了整合时间信息，我们利用递归神经网络来学习关系类型的时间感知表示，这些关系类型可以与现有的潜在因子分解方法结合使用。所提出的方法被证明是强大的共同挑战，在现实世界中的KG：时间表达式的稀疏性和异质性。实验表明，我们的方法对四个时间KG的好处。这些数据集在许可的BSD-3许可证下可用1。
2018-09-10 cs.AI cs.CL
Unimodal vs. Multimodal Siamese Networks for Outfit Completion
University of Amsterdam（阿姆斯特丹大学）
网上时尚购物的普及程度持续增长。向客户提供有效建议的能力变得越来越重要。在这项工作中，我们专注于时尚服装挑战赛，SIGIR 2022电子商务研讨会的一部分。这个挑战围绕着填空（FITB）任务，这意味着在给定一套不完整的衣服和一份候选人名单的情况下，预测缺少的衣服。在本文中，我们专注于应用暹罗网络的任务。更具体地说，我们将探讨如何结合来自多种模态（文本和视觉模态）的信息影响模型在任务上的性能。我们在挑战组织者提供的测试分割和我们在开发阶段创建的黄金分配的测试分割上评估我们的模型。我们发现，使用视觉，视觉和文本数据展示了有希望的结果的任务。最后，我们提出了进一步改进我们的方法的方向。
2022-07-21 cs.AI cs.IR cs.LG
Modeling Relational Data with Graph Convolutional Networks
University of Amsterdam（阿姆斯特丹大学）；VU Amsterdam（阿姆斯特丹自由大学）；CIFAR（加拿大高等研究院）
知识图谱支持各种各样的应用，包括问答和信息检索。尽管在创建和维护方面投入了巨大的努力，但即使是最大的（例如，Yago、DBPedia或Wikidata）仍然不完整。我们介绍了关系图卷积网络（R-GCN），并将其应用于两个标准的知识库完成任务：链接预测（恢复丢失的事实，即主谓宾三元组）和实体分类（恢复丢失的实体属性）。R-GCN与最近一类在图上操作的神经网络相关，并且专门开发用于处理现实知识库的高度多关系数据特性。我们证明了R-GCN作为实体分类的独立模型的有效性。我们进一步表明，通过使用编码器模型来丰富它们，以在关系图中的多个推理步骤中积累证据，可以显着改进用于链接预测的因子分解模型（如DistMult），与仅解码器基线相比，FB 15 k-237有29.8%的大幅改进。
2017-10-26 cs.AI cs.DB cs.LG
Learning Representations for Hyper-Relational Knowledge Graphs
Michigan State University（密歇根州立大学）；New Jersey Institute of Technology（新泽西理工学院）
知识图谱（KG）因其学习单关系事实表示的能力而变得突出。近年来，超关系事实模型的研究越来越多，它超越了单关系事实的限制，使我们能够表示更复杂和真实的信息。然而，现有的超关系KG表示学习方法主要集中在增强从限定符到基三元组的通信，而忽略了从基三元组到限定符的信息流。这可能导致次优的限定符表示，特别是当呈现大量限定符时。它促使我们设计一个框架，利用多个聚合器来学习超关系事实的表示：一个从基三元组的角度，另一个从限定符的角度。实验证明了我们的框架的有效性，超关系知识图谱完成跨多个数据集。此外，我们进行了消融研究，验证了我们框架中各个组件的重要性。可以在\url{https://github.com/HarryShomer/QUAD}中找到重现我们结果的代码。
2022-08-30 cs.AI cs.LG
Exploiting Global Semantic Similarities in Knowledge Graphs by Relational Prototype Entities
University of Science and Technology of China（中国科学技术大学）
知识图谱（KG）嵌入旨在学习KG在连续向量空间中的实体和关系的潜在表示。一个经验观察是，由相同关系连接的头（尾）实体通常共享相似的语义属性-具体地说，它们通常属于同一类别-无论它们在KG中彼此相距多远;也就是说，它们共享全局语义相似性。然而，许多现有的方法推导KG嵌入的基础上的本地信息，这不能有效地捕捉这种全局语义相似性的实体。为了解决这个问题，我们提出了一种新的方法，它引入了一组虚拟节点称为\textit{\textbf{relational prototype entities}}来表示原型的头部和尾部实体连接相同的关系。通过强制实体的嵌入接近其相关联的原型的嵌入，我们的方法可以有效地鼓励实体的全局语义相似性-可以远离KG -通过相同的关系连接。实体对齐和KG完成任务的实验表明，我们的方法显着优于最近的国家的最先进的。
2022-06-16 cs.AI cs.CL
Why PairDiff works? -- A Mathematical Analysis of Bilinear Relational Compositional Operators for Analogy Detection
University of Liverpool（利物浦大学）；Japan Advanced Institute of Science and Technology（日本先端科学技术大学院大学）
表示两个给定单词（或实体）之间存在的语义关系是自然语言处理（NLP）广泛应用的重要第一步，如类比推理、知识库补全和关系信息检索。一种简单但精确得令人惊讶的表示两个词之间关系的方法是计算它们对应的词嵌入之间的向量偏移（\PairDiff）。尽管取得了经验上的成功，但仍然不清楚\PairDiff是否是从词嵌入中获得关系表示的最佳算子。我们进行了理论分析的广义双线性算子，可以用来衡量两个字对之间的$\ell_{2}$关系距离。我们表明，如果词嵌入是标准化的和不相关的，这样的操作将是独立的双线性项，并可以简化为一个线性形式，其中\PairDiff是一个特殊情况。对于众多的词嵌入类型，我们实证验证了不相关的假设，证明了我们的理论结果的普遍适用性。此外，我们实验发现\PairDiff从双线性关系复合算子在几个基准模拟数据集。
2017-12-15 cs.AI cs.CL cs.LG
Visual Relationship Detection with Visual-Linguistic Knowledge from Multimodal Representations
National University of Singapore（新加坡国立大学）
视觉关系检测旨在推理图像中显著对象之间的关系，近年来受到越来越多的关注。受人类推理机制的启发，人们认为外部视觉常识知识有利于图像中对象的视觉关系推理，但现有方法很少考虑这一点。在本文中，我们提出了一种新的方法命名为关系视觉语言双向编码器表示从Transformers（RVL-BERT），它执行关系推理与视觉和语言常识知识，通过自我监督的预训练与多模态表示。RVL-BERT还使用了一个有效的空间模块和一个新的掩模注意力模块来显式地捕获对象之间的空间信息。此外，我们的模型将目标检测从视觉关系识别中分离出来，直接采用对象名称，使其能够在任何目标检测系统上使用。我们通过定量和定性的实验表明，与转移的知识和新的模块，RVL-BERT实现两个具有挑战性的视觉关系检测数据集上的竞争力的结果。源代码可在https://github.com/coldmanck/RVL-BERT上获得。
2021-04-05 cs.AI cs.CL cs.CV
End-to-End Entity Classification on Multimodal Knowledge Graphs
Vrije Universiteit（阿姆斯特丹自由大学）；Geodan
知识图谱上的端到端多模式学习在很大程度上尚未解决。相反，大多数端到端模型（如消息传递网络）仅从图结构中编码的关系信息中学习：原始值或文字要么完全省略，要么从其值中剥离并视为常规节点。在任何一种情况下，我们都会失去潜在的相关信息，这些信息本来可以被我们的学习方法利用。为了避免这种情况，我们必须将文字和非文字作为单独的情况对待。我们还必须分别相应地处理每一种形式：数字、文本、图像、几何形状等。我们提出了一个多模态消息传递网络，它不仅从图的结构中学习端到端，而且还从它们可能的多模态节点特征集中学习。我们的模型使用专用（神经）编码器来自然地学习属于五种不同类型模态的节点特征的嵌入，包括图像和几何形状，这些特征与它们的关系信息一起被投影到联合表示空间中。我们展示了我们的模型上的节点分类任务，并评估每种方式对整体性能的影响。我们的研究结果支持了我们的假设，包括来自多个模态的信息可以帮助我们的模型获得更好的整体性能。
2020-03-25 cs.AI cs.CL cs.CV
RelBall: Relation Ball with Quaternion Rotation for Knowledge Graph Completion
South China Normal University（华南师范大学）
提出RelBall模型，通过模长变换建模层次结构，并引入以尾实体为中心的关系球处理多种关系类型，覆盖所有关系模式，在链接预测任务上表现优异。
2026-06-29 cs.AI
