Learning Asymmetric Embedding for Attributed Networks via Convolutional Neural Network
RMIT University（皇家墨尔本理工大学）；Ahvaz Branch, Islamic Azad University（伊斯兰阿扎德大学阿瓦士分校）
近年来，网络嵌入由于其在链接预测、节点分类和节点聚类等网络计算任务中的优势而受到越来越多的关注。网络嵌入的目标是在低维向量空间中表示网络节点，同时保留尽可能多的原始网络信息，包括结构，关系和语义信息。然而，有向网络的非对称性带来了许多挑战，如如何在嵌入过程中最好地保持边缘方向。本文提出了一种基于卷积图神经网络的深度非对称属性网络嵌入模型AAGCN。其主要思想是最大限度地保持有向属性网络的非对称邻近性和非对称相似性。AAGCN引入了两种邻域特征聚合方案，分别将节点的特征与其内外邻居的特征聚合。然后，它为每个节点学习两个嵌入向量，一个源嵌入向量和一个目标嵌入向量。最终的表示是连接源和目标嵌入向量的结果。我们测试的性能AAGCN在三个现实世界的网络重建，链接预测，节点分类和可视化任务。实验结果表明，AAGCN对国家的最先进的嵌入方法的优越性。
2022-02-13 cs.LG cs.SI
QuatRE: Relation-Aware Quaternions for Knowledge Graph Embeddings
Oracle Labs（甲骨文实验室）；AEHRC, CSIRO（澳大利亚联邦科学与工业研究组织澳大利亚电子健康研究中心）；VinAI Research（VinAI研究院）；Monash University（莫纳什大学）
我们提出了一个简单而有效的嵌入模型来学习知识图谱中实体和关系的四元数嵌入。我们的模型旨在增强头部和尾部实体之间的相关性，给定四元数空间内的关系与汉密尔顿产品。该模型通过进一步将每个关系与两个关系感知旋转相关联来实现这一目标，这两个关系感知旋转分别用于旋转头部和尾部实体的四元数嵌入。实验结果表明，我们提出的模型产生国家的最先进的性能在著名的基准数据集知识图谱完成。我们的代码可从以下网址获得：\url{https://github.com/daiquocnguyen/QuatRE}。
2022-03-08 cs.AI cs.CL cs.LG
ConvD: Attention Enhanced Dynamic Convolutional Embeddings for Knowledge Graph Completion
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院）；Tianjin Key Laboratory of Cognitive Computing and Application（认知计算与应用重点实验室）；School of Economics and Management, Ningxia University（宁夏大学经济管理学院）；School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）
针对现有知识图谱卷积嵌入模型特征交互受限的问题，提出带注意力增强的动态卷积嵌入模型ConvD，通过内部卷积核和注意力机制提升性能，在多数据集上指标提升且参数量大幅降低。
2025-06-12 cs.AI cs.CL
LightCAKE: A Lightweight Framework for Context-Aware Knowledge Graph Embedding
Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）；University of Chinese Academy of Sciences（中国科学院大学）
知识图谱嵌入（KGE）模型学习基于观察到的三元组将符号实体和关系投影到连续向量空间中。然而，现有的KGE模型不能在图上下文和模型复杂度之间做出适当的权衡，这使得它们仍然远远不能令人满意。在本文中，我们提出了一个轻量级的框架名为LightCAKE上下文感知KGE。LightCAKE显式地对图上下文进行建模，而不引入冗余的可训练参数，并使用迭代聚合策略将上下文信息集成到实体/关系嵌入中。作为一个通用的框架，它可以用于许多简单的KGE模型，以实现出色的结果。最后，在公共基准上的大量实验证明了我们的框架的效率和有效性。
2021-03-04 cs.AI cs.CL cs.LG
HeteGCN: Heterogeneous Graph Convolutional Networks for Text Classification
Microsoft Research India（微软印度研究院）
我们考虑的问题，学习有效的和归纳的图卷积网络的文本分类与大量的例子和功能。现有的最先进的基于图嵌入的方法，如预测文本嵌入（PTE）和TextGCN的预测性能，可扩展性和归纳能力方面的缺点。为了解决这些限制，我们提出了一种异构图卷积网络（HeteGCN）建模方法，它将PTE和TextGCN的最佳方面结合在一起。其主要思想是使用HeteGCN架构学习特征嵌入并派生文档嵌入，该架构具有跨层使用的不同图。我们通过分解几个HeteGCN模型来简化TextGCN，这（a）有助于研究单个模型的有用性，（b）提供了融合来自不同模型的学习嵌入的灵活性。实际上，模型参数的数量显著减少，从而实现更快的训练并提高小标记训练集场景中的性能。我们详细的实验研究证明了所提出的方法的有效性。
2020-08-19 cs.CL cs.LG stat.ML
Relation-aware Ensemble Learning for Knowledge Graph Embedding
Tsinghua University（清华大学）；Paradigm Inc.（第四范式公司）；Tencent YouTu Lab（腾讯优图实验室）
本文提出关系感知集成学习框架RelEns-DSC，通过分治合并算法独立搜索关系级权重，在保持计算成本的同时提升知识图谱嵌入性能，并在基准数据集上达到最先进水平。
2023-10-13 cs.AI cs.CL cs.LG
Document Structure aware Relational Graph Convolutional Networks for Ontology Population
RV College of Engineering（RV工程学院）；IBM Research（IBM研究院）；IIT Guwahati（印度理工学院古瓦哈蒂分校）
本体包括概念、它们的属性和关系，在许多基于知识的人工智能系统中使用。虽然有努力对特定领域的本体填充，我们研究的文件结构中学习的任何文档语料库中的概念之间的本体关系的作用。受上位词发现和可解释性的启发，我们的方法比独立的R-GCN模型更准确约15点。
2022-04-13 cs.AI cs.CL
RandAlign: A Parameter-Free Method for Regularizing Graph Convolutional Networks
University of Technology Sydney（悉尼科技大学）；School of Electrical and Data Engineering（电气与数据工程学院）
针对图卷积网络的过平滑问题，提出无参数随机正则化方法RandAlign，通过层间随机插值对齐嵌入降低平滑度，在7个基准数据集上提升了多种模型的泛化性能与优化稳定性。
2024-04-15 cs.CV cs.LG
Unifying Graph Embedding Features with Graph Convolutional Networks for Skeleton-based Action Recognition
University of California, Merced（加州大学默塞德分校）；Bishop’s University（毕索大学）；The Education University of Hong Kong（香港教育大学）；City University of Hong Kong（香港城市大学）；Hefei University of Technology（合肥工业大学）
将骨架结构与图卷积网络相结合，在人体动作识别中取得了显著的效果。由于目前的研究主要集中在设计表示骨架数据的基本图，这些嵌入特征包含基本的拓扑信息，无法从骨架数据中学习到更系统的观点。在本文中，我们克服了这一局限性，提出了一种新的框架，它统一了15个图形嵌入特征到图卷积网络的人体动作识别，旨在最好地利用图形信息来区分关键关节，骨骼和人体部位的动作，而不是排他性的单一功能或域。此外，我们充分研究了如何找到最好的骨架结构的图形特征，以提高人体动作识别。此外，骨架序列的拓扑信息进行了探索，以进一步提高在多流框架的性能。在训练过程中，采用自适应的方法提取统一图特征，进一步提高了识别率。我们的模型通过三个大规模数据集，即NTU-RGB+D，Kinetics和SYSU-3D进行验证，并优于最先进的方法。总体而言，本文的工作统一了图嵌入特征，促进了人体动作识别的系统化研究。
2022-10-11 cs.CV cs.LG eess.IV
Convolutional Complex Knowledge Graph Embeddings
Data Science Research Group, Paderborn University（帕德博恩大学数据科学研究中心）
在本文中，我们研究的问题，学习连续向量表示的知识图谱预测丢失的链接。我们提出了一种称为ConEx的新方法，该方法通过利用具有复值嵌入向量的Hermitian内积的2D卷积的组成来推断丢失的链接。我们在WN 18 RR，FB 15 K-237，KINSHIP和UMLS基准数据集上评估了ConEx对最先进方法的影响。我们的实验结果表明，ConEx在所有数据集上的链接预测任务上实现了优于RotatE，QuatE和TuckER等最先进方法的性能，同时需要至少8倍的参数。我们通过提供开源实现来确保我们的结果的可重复性，其中包括训练，评估脚本以及https://github.com/conex-kge/ConEx上的预训练模型。
2021-06-09 cs.CL cs.LG stat.ML
Modelling Multi-relations for Convolutional-based Knowledge Graph Embedding
Murdoch University（莫道克大学）；Curtin University（科廷大学）
知识图谱的表示学习旨在将实体和关系嵌入到低维向量中。现有的大多数工作只考虑实体对之间的直接关系或路径。这种方法被认为断开了实体对之间的多关系的语义连接，我们提出了一个卷积和多关系表示学习模型，ConvMR。ConvMR模型从两个方面解决了多关系问题：（1）将实体对之间的多关系编码成一个统一的向量，保持语义连接。(2)由于不是所有的关系是必要的，而加入多个关系，我们提出了一个基于注意力的关系编码器自动分配权重的语义层次的基础上不同的关系。在两个流行的数据集FB 15 k-237和WN 18 RR上的实验结果在平均排名上取得了一致的改善。我们还发现，ConvMR是有效的处理不太频繁的实体。
2022-10-21 cs.AI cs.CL
End-to-end Structure-Aware Convolutional Networks for Knowledge Base Completion
University of Connecticut（康涅狄格大学）；JD AI Research（京东人工智能研究院）
知识图谱嵌入是知识库补全的一个活跃的研究课题，从最初的transE、transH、DistMult等算法到目前最先进的ConvE算法，知识图谱嵌入技术不断发展。ConvE在嵌入和多层非线性特征上使用2D卷积来建模知识图谱。该模型可以有效地训练和扩展到大型知识图谱。然而，在ConvE的嵌入空间中没有结构强制。最近的图卷积网络（GCN）通过成功地利用图的连通性结构，提供了另一种学习图节点嵌入的方法。在这项工作中，我们提出了一种新的端到端结构感知卷积网络（SACN），它将GCN和ConvE的优点结合在一起。SACN由加权图卷积网络（WGCN）的编码器和称为Conv-TransE的卷积网络的解码器组成。WGCN利用了知识图谱的节点结构、节点属性和边关系类型。它具有可学习的权重，可以适应本地聚合中使用的邻居信息量，从而更准确地嵌入图节点。图中的节点属性表示为WGCN中的附加节点。解码器Conv-TransE使最先进的ConvE能够在实体和关系之间平移，同时保持与ConvE相同的链接预测性能。我们在标准FB 15 k-237和WN 18 RR数据集上证明了所提出的SACN的有效性，并且在HITS@1，HITS@3和HITS@10方面，它比最先进的ConvE相对提高了约10%。
2018-11-15 cs.AI cs.CL
Time-aware Graph Embedding: A temporal smoothness and task-oriented approach
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）；Victoria University（维多利亚大学）；Simon Fraser University（西蒙弗雷泽大学）；South China University of Technology（华南理工大学）
知识图谱嵌入是近年来研究的热点之一，其目的是学习实体和关系的低维表示。然而，大多数知识图谱的嵌入方法只关注固定三元组中的结构关系，而忽略了时态信息。目前，已有的时间感知图嵌入方法只关注事实的可扩展性，而忽略了时间平滑性。时间平滑性是描述事实与其上下文之间交互的模型，因此能够捕获细粒度的时间关系。这导致嵌入相关应用程序的性能有限。为了解决这个问题，本文提出了一种鲁棒的时间感知图嵌入（RTGE）方法，结合时间平滑。本文的两个主要创新点在这里。首先，RTGE在时间感知图嵌入的学习过程中集成了时间平滑性的度量。通过提出的附加平滑因子，RTGE可以保持给定图的结构信息和演化模式。其次，RTGE提供了一个通用的面向任务的负采样策略与时间感知的信息，这进一步提高了所提出的算法的自适应能力，并在各种任务中获得优异的性能发挥了至关重要的作用。在多个基准任务上进行的大量实验表明，RTGE可以提高实体/关系/时间范围预测任务的性能。
2020-07-22 cs.LG stat.ML
K-Core based Temporal Graph Convolutional Network for Dynamic Graphs
Beihang University（北京航空航天大学）；HuaRong RongTong (Beijing) Technology Co., Ltd.（华融通（北京）科技有限公司）
图表示学习是各种应用中的基本任务，其努力学习能够保持图拓扑信息的节点的低维嵌入。然而，许多现有的方法集中在静态图，而忽略了不断变化的图形模式。受图卷积网络（GCN）在静态图嵌入中的成功启发，提出了一种新的基于k核的时态图卷积网络（CTGCN），用于学习动态图的节点表示.与以前的动态图嵌入方法相比，CTGCN可以保持局部连接邻近性和全局结构相似性，同时捕获图的动态特性。在该框架中，传统的图卷积被推广为特征转换和特征聚合两个阶段，从而赋予了CTGCN更大的灵活性，使得CTGCN能够在同一框架下学习连接信息和结构信息.在7个真实图上的实验结果表明，CTGCN在链接预测和结构角色分类等多个任务上优于现有的最先进的图嵌入方法。本工作的源代码可以从\url{https://github.com/jhljx/CTGCN}获得。
2020-11-06 cs.LG cs.SI stat.ML
Graph Node Embeddings using Domain-Aware Biased Random Walks
Galois
最近公开可用的图结构数据的激增已经引发了对用于图数据的机器学习算法的兴趣。由于大多数传统的机器学习算法都假设数据是表格式的，因此将图数据映射到实值向量空间的嵌入算法已经成为一个活跃的研究领域。现有的图嵌入方法纯粹基于结构信息，忽略了底层域的任何语义信息。在本文中，我们证明了语义信息可以在计算图嵌入中发挥有用的作用。具体来说，我们提出了一个框架，用于设计嵌入策略，知道特定领域的解释图节点和边缘，并使用下游机器学习任务的知识，以确定相关的图形子结构。使用两个现实生活中的领域，我们表明，我们的框架产生嵌入，是简单的实现，但实现相同或更高的准确性相比，领域独立的方法在机器学习任务。
2019-08-08 cs.LG cs.SI stat.ML
TransGCN:Coupling Transformation Assumptions with Graph Convolutional Networks for Link Prediction
University of California, Santa Barbara（加州大学圣巴巴拉分校）
链接预测是统计关系学习中一个重要且经常被研究的任务，它有助于理解知识图谱（KG）的结构。受图卷积网络（GCN）在图形数据建模方面的成功启发，我们提出了一个统一的GCN框架，名为TransGCN，以解决这一任务，其中关系和实体嵌入同时学习。为了处理KG中的异构关系，我们引入了一种新的方式表示异构邻域通过引入转换假设的主题，关系，和对象的三元组之间的关系。具体来说，关系被视为将头实体转换为尾实体的转换运算符。在我们的框架中，transE的平移假设和旋转假设RotatE的探索。另外，代替仅学习基于卷积的编码器中的实体嵌入，同时学习解码器中的关系嵌入，如由现有技术的模型所完成的，例如，R-GCN，TransGCN框架在图卷积操作期间同时训练关系嵌入和实体嵌入，因此与R-GCN相比具有更少的参数。实验表明，我们的模型优于最先进的方法在FB 15 K-237和WN 18 RR。
2019-10-01 cs.CL cs.LG stat.ML
Modality-Aware Negative Sampling for Multi-modal Knowledge Graph Embedding
Zhejiang University（浙江大学）
针对多模态知识图谱嵌入中现有负采样方法不适用且效率低的问题，提出轻量高效的MANS，通过对齐实体结构与视觉嵌入提升性能，并在两个基准上验证其优于现有方法。
2023-04-23 cs.AI cs.CL
Efficient Relation-aware Scoring Function Search for Knowledge Graph Embedding
The Hong Kong University of Science and Technology（香港科技大学）；Paradigm Inc.（第四范式）；Tsinghua University（清华大学）
衡量知识图谱（KG）中三元组可扩展性的评分函数是保证KG嵌入优良性能的关键，其设计也是文献中的一个重要问题。自动机器学习（AutoML）技术最近被引入KG中以设计任务感知评分函数，其在KG嵌入中实现了最先进的性能。然而，所搜索的评分函数的有效性仍然不如期望的那样好。在本文中，观察到现有的评分功能可以表现出不同的性能不同的语义模式，我们的动机，探索这样的语义搜索关系感知评分功能。但是关系感知搜索需要比前一个更大的搜索空间。因此，我们建议将空间编码为超网，并提出一种有效的替代最小化算法，以一次性的方式搜索超网。最后，在基准数据集上的实验结果表明，该方法能够有效地搜索关系感知的评分函数，并获得比现有方法更好的嵌入性能.
2021-04-22 cs.CL cs.IR cs.LG
MGCN: Semi-supervised Classification in Multi-layer Graphs with Graph Convolutional Networks
Sharif University of Technology（谢里夫理工大学）
图嵌入是实现节点分类、链接预测等图分析任务的重要方法。图嵌入的目标是找到保留图信息的图节点的低维表示。最近的方法，如图卷积网络（GCN），试图考虑节点属性（如果可用），除了节点关系和学习节点嵌入的无监督和半监督的任务图。另一方面，多层图分析最近受到关注。然而，现有的多层图嵌入方法不能包含所有可用的信息（如节点属性）。此外，他们中的大多数考虑节点或边的类型，他们不处理层内和层间的边缘不同。在本文中，我们提出了一种称为MGCN的方法，利用GCN的多层图。MGCN使用层内和层间关系和节点属性嵌入多层图的节点。我们在半监督节点分类任务上评估我们的方法。实验结果表明，该方法的优越性，其他多层和单层的竞争对手，也显示了积极的效果，使用跨层的边缘。
2019-08-24 cs.LG stat.ML
GlobalWalk: Learning Global-aware Node Embeddings via Biased Sampling
Shanghai Jiao Tong University（上海交通大学）
流行的节点嵌入方法，如DeepWalk，遵循在图上执行随机遍历的范式，然后要求每个节点接近与它一起出现的节点。虽然在各种任务中被证明是成功的，但这种范式将具有拓扑结构的图简化为一组连续的句子，从而省略了全局信息。为了产生全局感知的节点嵌入，我们提出了GlobalWalk，这是一种偏向于语义相似的节点的随机游走策略。经验证据表明，GlobalWalk通常可以提高全球对生成的嵌入的认识。
2022-05-30 cs.AI cs.LG
Dependency-based Convolutional Neural Networks for Sentence Embedding
City University of New York（纽约城市大学）；IBM（国际商业机器公司）
在句子建模和分类中，卷积神经网络方法最近取得了最先进的结果，但所有这些努力都是顺序处理单词向量，忽略了长距离依赖关系。为了利用深度学习和语言结构，我们提出了一个基于树的卷积神经网络模型，它利用了单词之间的各种长距离关系。我们的模型改进了所有三个情感和问题分类任务的顺序基线，并在TREC上实现了最高的发布准确率。
2015-08-03 cs.AI cs.CL cs.LG
An affordable hardware-aware neural architecture search for deploying convolutional neural networks on ultra-low-power computing platforms
University of Genoa（热那亚大学）；Scuola Superiore Sant’Anna（圣安娜高等研究学院）
提出一种轻量级硬件感知神经架构搜索方法，生成可在超低功耗微控制器上运行的微型CNN，在保持分类精度的同时降低搜索成本。
2026-06-16 cs.AI cs.LG
Text classification problems via BERT embedding method and graph convolutional neural network
CREATORY
本文提出了一种将BERT嵌入方法与图卷积神经网络相结合的新方法。这种组合被用来解决文本分类问题。首先，我们将BERT嵌入方法应用于文本（在BBC新闻数据集和IMDB电影评论数据集中），以便将所有文本转换为数值向量。然后，图卷积神经网络将被应用于这些数字向量，以将这些文本分类到其适当的类别/标签。实验表明，图卷积神经网络模型的性能优于BERT嵌入方法与经典机器学习模型相结合的性能。
2022-09-03 cs.CL cs.LG stat.ML
A Geometry-Aware Algorithm to Learn Hierarchical Embeddings in Hyperbolic Space
Alibaba Inc.（阿里巴巴集团）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；Carnegie Mellon University（卡内基梅隆大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Purdue University（普渡大学）
针对双曲空间与欧氏空间几何差异导致层次数据双曲嵌入学习困难的问题，提出一种利用膨胀操作和传递闭包正则化解决三类病态问题的几何感知算法，实验证明其性能优越。
2024-07-23 cs.AI cs.LG
Combining word embeddings and convolutional neural networks to detect duplicated questions
Reutlingen University（罗伊特林根大学）
由于自然语言的模糊性，检测句子之间的语义相似性仍然是一个挑战。在这项工作中，我们提出了一个简单的方法来识别语义相似的问题，结合词嵌入和卷积神经网络（CNN）的优势。此外，我们还演示了如何使用余弦相似性度量来有效地比较特征向量。我们的网络是在Quora数据集上训练的，其中包含超过40万个问题对。我们实验了不同的嵌入方法，如Word2Vec，Fasttext和Doc2Vec，并研究了这些方法对模型性能的影响。我们的模型在Quora数据集上取得了有竞争力的结果，并补充了CNN可用于释义检测任务的确凿证据。
2020-06-08 cs.CL cs.LG
Residual Network and Embedding Usage: New Tricks of Node Classification with Graph Convolutional Networks
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；School of Control and Computer Engineering, North China Electric Power University（华北电力大学控制与计算机工程学院）
已经提出了图卷积网络（GCN）和后续变体来解决图上的任务，特别是节点分类任务。然而，在文献中，大多数技巧或技术要么作为实现细节被简要提及，要么只在源代码中可见。在本文中，我们首先总结了现有的一些有效的技巧用于GCN的小批量训练。在此基础上，提出了两种新的技巧，即GCN_res框架和嵌入用法，利用残差网络和预训练的嵌入来提高基线在不同数据集上的测试精度。在Open Graph Benchmark（OGB）上的实验表明，结合这些技术，各种GCN的测试准确率提高了1.21%~ 2.84%。我们在https://github.com/ytchx1999/PyG-OGB-Tricks上开源了我们的实现。
2021-05-21 cs.LG
Semi-supervised Convolutional Neural Networks for Text Categorization via Region Embedding
RJ Research Consulting（RJ研究咨询公司）；Baidu Inc.（百度公司）；Rutgers University（罗格斯大学）
本文提出了一种新的半监督框架与卷积神经网络（CNN）的文本分类。与以前依赖于单词嵌入的方法不同，我们的方法从未标记的数据中学习小文本区域的嵌入，以集成到有监督的CNN中。所提出的嵌入式学习方案是基于双视图半监督学习的思想，即使训练是在未标记的数据上完成的，也可以用于感兴趣的任务。我们的模型在情感分类和主题分类任务上取得了比以前更好的结果。
2015-11-01 cs.CL cs.LG stat.ML
Multiplex Heterogeneous Graph Convolutional Network
Ocean University of China（中国海洋大学）；The University of Hong Kong（香港大学）；Shandong University of Science and Technology（山东科技大学）
异构图卷积网络在处理异构网络数据的各种网络分析任务（范围从链接预测到节点分类）中获得了极大的普及。然而，现有的研究大多忽略了多类型节点间的关系异构性以及节点嵌入时元路径中关系重要性的差异，难以捕捉不同关系间的异构结构信号。为了解决这一问题，本文提出了一种用于异构网络嵌入的多路异构图卷积网络（MHGCN）。我们的MHGCN可以自动学习有用的异构元路径的相互作用，通过多层卷积聚合在多个异构网络中的不同长度。此外，我们有效地集成多关系结构信号和属性语义到学习节点嵌入与无监督和半监督学习范例。在五个具有各种网络分析任务的真实世界数据集上进行的广泛实验表明，MHGCN在所有评估指标方面都优于最先进的嵌入基线。
2022-08-12 cs.AI cs.LG cs.SI
An Out-of-the-box Full-network Embedding for Convolutional Neural Networks
Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心）；IBM T.J. Watson（IBM T.J.沃森研究中心）
用于特征提取的迁移学习可用于在训练数据非常少、计算资源有限或无法调整训练所需的超参数的情况下利用深度表示。虽然以前对特征提取的贡献提出了基于单层网络的嵌入，但在本文中，我们提出了一种全网络嵌入，它成功地集成了卷积和全连接特征，这些特征来自深度卷积神经网络的所有层。为此，嵌入在问题的上下文中规范化特征，并离散化它们的值以减少噪声并正则化嵌入空间。值得注意的是，这也降低了处理结果表示的计算成本。所提出的方法被证明优于单层嵌入的几个图像分类任务，同时也是更强大的用于获得初始功能的预训练模型的选择。彻底调整的解决方案和全网络嵌入之间的分类精度的性能差距也减少了，这使得所提出的方法对于大量应用来说是有竞争力的解决方案。
2017-05-22 cs.LG cs.NE
Embedding Graph Convolutional Networks in Recurrent Neural Networks for Predictive Monitoring
Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS), Universidade de Santiago de Compostela（圣地亚哥-德孔波斯特拉大学智能技术研究中心（CiTIUS））；Universidade de Santiago de Compostela（圣地亚哥-德孔波斯特拉大学）；Departamento de Electrónica e Computación, Universidade de Santiago de Compostela（圣地亚哥-德孔波斯特拉大学电子与计算系）
业务流程的预测性监控是流程挖掘的一个子领域，其目标是预测下一个事件的特征或下一个事件的序列。尽管已经提出了多种基于深度学习的方法，主要是循环神经网络和卷积神经网络，但它们都没有真正利用过程模型中可用的结构信息。本文提出了一种基于图卷积网络和循环神经网络的方法，该方法直接使用来自过程模型的信息。对真实事件日志的实验评估表明，我们的方法是更一致的，优于目前国家的最先进的方法。
2021-12-23 cs.LG
Convolutional Gaussian Embeddings for Personalized Recommendation with Uncertainty
Fudan University（复旦大学）；Shanghai Institute of Intelligent Electronics & Systems（上海智能电子与系统研究院）
现有的基于嵌入的推荐模型大多使用嵌入（向量）对应于低维空间中的单个固定点，来表示用户和项目。这样的嵌入不能精确地表示推荐系统中经常观察到的具有不确定性的用户/项目。为了解决这个问题，我们提出了一个统一的深度推荐框架，采用高斯嵌入，这是证明适应一些用户表现出的不确定的偏好，从而更好的用户表示和推荐性能。此外，该框架采用Monte-Carlo抽样和卷积神经网络计算目标用户与候选项之间的相关性，并在此基础上实现精确推荐。我们在两个基准数据集上的大量实验不仅证明了我们提出的高斯嵌入很好地捕捉了用户的不确定性，而且还证明了其优于最先进的推荐模型的性能。
2020-06-19 cs.IR cs.LG stat.ML
Leveraging Sequence Embedding and Convolutional Neural Network for Protein Function Prediction
National Tsing Hua University（台湾清华大学）
准确预测蛋白质功能和性质的能力在生物技术产业中是必不可少的，例如药物开发和人工蛋白质合成等。蛋白质功能预测的主要挑战是大的标签空间和缺乏标记的训练数据。我们的方法利用无监督序列嵌入和深度卷积神经网络的成功来克服这些挑战。相比之下，大多数现有的方法删除罕见的蛋白质功能，以减少标签空间。此外，一些现有的方法需要额外的生物信息（例如，蛋白质的三维结构），这在生物化学实验中难以确定。我们提出的方法显着优于其他方法的公开可用的基准只使用蛋白质序列作为输入。这使得识别蛋白质功能的过程得以加速。
2021-12-01 cs.AI cs.LG q-bio.BM
Exploiting Convolutional Neural Network for Risk Prediction with Medical Feature Embedding
University of Southern California（南加州大学）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）
电子健康记录（EHR）的广泛可用性有望迎来个性化医疗时代。然而，从纵向EHR数据中提取有用的临床表示的问题仍然具有挑战性。在本文中，我们探索了深度神经网络模型与学习的医疗特征嵌入，以处理高维和时间性的问题。具体来说，我们使用多层卷积神经网络（CNN）来参数化模型，从而能够捕捉复杂的非线性纵向演变的EHR。我们的模型可以有效地捕捉EHR中的局部/短时依赖性，这有利于风险预测。为了解决高维问题，我们在CNN模型中使用了嵌入的医学特征，这些特征保持了自然的医学概念。我们最初的实验产生了有希望的结果，并证明了医疗特征嵌入和所提出的卷积神经网络在充血性心力衰竭和糖尿病患者队列的风险预测中与几个强基线相比的有效性。
2017-01-25 cs.LG stat.ML
Dynamics-aware Embeddings
New York University（纽约大学）；Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook人工智能研究院）
在本文中，我们考虑自监督表示学习，以提高样本效率的强化学习（RL）。我们提出了一个前向预测目标，同时学习嵌入的状态和动作序列。这些嵌入捕获环境动态的结构，从而实现高效的策略学习。我们证明，我们的动作嵌入单独提高样本效率和峰值性能的无模型RL控制从低维状态。通过结合状态和动作嵌入，我们可以在仅1-2百万个环境步骤中从像素观察中有效学习目标条件连续控制的高质量策略。
2020-01-14 cs.AI cs.LG stat.ML
Locality Preserving Dense Graph Convolutional Networks with Graph Context-Aware Node Representations
Xidian University（西安电子科技大学）；Swinburne University of Technology（斯威本科技大学）
图卷积网络（GCN）已被广泛用于对图数据的表示学习，其可以经由专门设计的卷积和读出操作来捕获图上的结构模式。在许多图分类应用中，基于GCN的方法优于传统方法。然而，大多数现有的GCN是低效的，以保持局部信息的图-一个限制，特别是图分类的问题。在这项工作中，我们提出了一个具有图上下文感知节点表示的保持局部性的稠密GCN。具体来说，我们提出的模型采用了一个本地节点特征重建模块，以保留初始节点特征到节点表示，这是通过一个简单但有效的编码器-解码器机制实现的。为了捕获代表不同局部范围的邻近区域中的局部结构模式，引入了密集连接性来连接每个卷积层及其相应的读出与所有之前的卷积层。为了增强节点的代表性，每个卷积层的输出与前一层的读出的输出连接，以形成全局上下文感知节点表示。此外，自注意模块被引入到聚合逐层表示，以形成最终的表示。在基准数据集上的实验表明，该模型在分类精度方面优于最先进的方法。
2020-10-12 cs.LG
Can Neural Networks Provide Latent Embeddings for Telemetry-Aware Greedy Routing?
Autonomous Learning Robots, Karlsruhe Institute of Technology, Germany（自主学习机器人，卡尔斯鲁厄大学技术与科学学院）
Placer通过信息传递网络将网络状态转换为潜在嵌入，实现高效贪心路由并可视化网络事件对路由决策的影响。
2026-02-13 cs.AI cs.LG cs.NI
Personalized Top-N Sequential Recommendation via Convolutional Sequence Embedding
Simon Fraser University（西蒙弗雷泽大学）
前- $N$顺序推荐将每个用户建模为过去交互的项目序列，旨在预测用户可能在“不久的将来”交互的前- $N$排名项目。交互的顺序意味着序列模式在序列中最近的项目对下一个项目有更大的影响时起着重要的作用。在本文中，我们提出了一个卷积序列嵌入推荐模型（\emph{Caser}）作为解决方案，以满足这一要求。其思想是将最近项目的序列嵌入到时间和潜在空间中的“图像”中，并使用卷积滤波器将序列模式作为图像的局部特征进行学习。这种方法提供了一个统一和灵活的网络结构，用于捕获一般偏好和顺序模式。在公共数据集上的实验表明，Caser在各种常见的评估指标上始终优于最先进的顺序推荐方法。
2018-09-19 cs.IR cs.LG
Pixel Embedding: Fully Quantized Convolutional Neural Network with Differentiable Lookup Table
LeapMind Inc.（LeapMind公司）；Woven by Toyota, Inc.（丰田旗下Woven公司）；Mirai Hoshu K.K.（Mirai Hoshu株式会社）
提出像素嵌入方法，通过可微查找表将输入像素替换为低比特向量，实现完全量化神经网络，在ImageNet和CIFAR-100上显著降低量化误差并加速推理。
2024-07-23 cs.AI cs.CV cs.LG
Seasonality-Aware Hybrid Convolutional Transformer for Antarctic Sea Ice Concentration Forecasting
School of Computer Science, Australian National University（澳大利亚国立大学计算机科学学院）；Yau Mathematical Sciences Center, Tsinghua University（清华大学丘成桐数学科学中心）
针对南极海冰密集度预测的挑战，提出结合卷积、因子化自注意力及两种季节先验机制的混合卷积-Transformer框架，性能优于基线模型，季节先验可提升长短周期预测效果。
2026-09-29 cs.LG
Incorporating Syntactic and Semantic Information in Word Embeddings using Graph Convolutional Networks
Indian Institute of Science（印度科学学院）；Microsoft Research（微软研究院）；IIT Kanpur（印度理工学院坎普尔分校）；Carnegie Mellon University（卡内基梅隆大学）
词嵌入已经在几个NLP应用程序中被广泛采用。大多数现有的词嵌入方法利用词的顺序上下文来学习其嵌入。虽然已经有一些尝试利用一个词的句法上下文，这样的方法导致词汇量的爆炸。在本文中，我们克服了这个问题，提出了SynGCN，一个灵活的图形卷积为基础的方法学习词嵌入。SynGCN利用单词的依赖上下文，而不增加词汇量。SynGCN学习的词嵌入在各种内在和外在任务上优于现有方法，并在与ELMo一起使用时提供优势。我们还提出了SemGCN，一个有效的框架，将不同的语义知识，进一步提高学习单词表示。我们提供这两种模型的源代码，以鼓励可重复的研究。
2019-07-20 cs.CL cs.LG
Improving Graph Convolutional Networks with Transformer Layer in social-based items recommendation
HMI Lab VNU University of Engineering and Technology（河内国立大学工程与技术大学 HMI 实验室）
本文提出在GCN中引入Transformer编码器层，通过注意力机制重排节点特征空间，提升社交网络评分预测和链接预测性能。
2024-01-12 cs.AI cs.IR cs.LG
Convolutional Embedding for Edit Distance
The Chinese University of Hong Kong（香港中文大学）
基于编辑距离的字符串相似性搜索有许多应用，如拼写校正、重复数据删除和序列比对。然而，已知计算编辑距离具有高复杂度，这使得字符串相似性搜索对于大数据集具有挑战性。在本文中，我们提出了一种深度学习管道（称为CNN-ED），它将编辑距离嵌入到欧几里得距离中，以进行快速近似相似性搜索。卷积神经网络（CNN）用于为字符串数据集生成固定长度的向量嵌入，并且损失函数是三元组损失和近似误差的组合。为了证明我们选择使用CNN而不是其他结构（例如，RNN）为模型，理论分析表明，我们的CNN模型中的一些基本操作保持了编辑距离。实验结果表明，CNN-ED在准确性和效率方面大大优于数据无关的CGK嵌入和基于RNN的GRU嵌入。我们还表明，字符串相似性搜索可以显着加速使用基于CNN的嵌入，有时由数量级。
2020-05-22 cs.DB cs.LG
Predicting Flight Delay with Spatio-Temporal Trajectory Convolutional Network and Airport Situational Awareness Map
Royal Melbourne Institute of Technology（皇家墨尔本理工大学）；DATA61 / CSIRO（澳大利亚联邦科学与工业研究组织数据61研究所）；Australian National University（澳大利亚国立大学）
为了准确地建模和预测航班延误，利用机场停机坪区域的各种车辆轨迹和上下文传感器数据至关重要。这些异构传感器数据，如果建模正确，可以用来生成态势感知地图。现有技术将传统的监督学习方法应用于历史数据、上下文特征和不同机场之间的航线信息来预测航班延误是不准确的，并且只能预测到达延误而不能预测起飞延误，这对航空公司来说是必不可少的。在本文中，我们提出了一种基于视觉的解决方案，以实现较高的预测精度，适用于机场。我们的解决方案利用机场态势感知地图的快照，其中包含飞机的各种轨迹和上下文特征，如天气和航班时刻表。我们提出了一个端到端的深度学习架构TrajCNN，它可以从态势感知地图中捕获空间和时间信息。此外，我们发现，态势感知地图的机场有一个重要的影响，估计航班起飞延误。我们提出的框架在预测洛杉矶国际机场的航班起飞延误方面取得了良好的效果（误差约为18分钟）。
2021-05-19 cs.AI cs.DC cs.LG
Convolutional Neural Bandit for Visual-aware Recommendation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在线推荐/广告在网络商业中无处不在。图像显示被认为是与客户交互的最常用的格式之一。上下文多臂强盗已经成功地应用广告来解决推荐过程中存在的探索-开发困境。受视觉感知推荐的启发，本文提出了一种上下文Bandit算法，其中卷积神经网络（CNN）用于学习奖励函数以及用于探索的置信上限（UCB）。我们还证明了一个接近最优的遗憾界$\tilde{\mathcal{O}}(\sqrt{T})$当网络是过参数化，并建立强连接卷积神经切线核（CNTK）。最后，我们评估了所提出的算法的经验性能，并表明它优于其他国家的最先进的基于UCB的强盗算法在现实世界的图像数据集。
2022-02-09 cs.CV cs.LG
Knowledge-aware Document Summarization: A Survey of Knowledge, Embedding Methods and Architectures
The University of Adelaide（阿德莱德大学）；Macquarie University（麦考瑞大学）；JD.COM Silicon Valley Research Center（京东硅谷研究中心）
在过去的几十年里，知识感知方法已经推动了一系列自然语言处理应用。近年来，作为自然语言处理应用之一的文档摘要领域，知识的应用越来越受到人们的关注。以前的工作报告说，知识嵌入式文档摘要擅长生成卓越的摘要，特别是在信息量，连贯性和事实的一致性。本文旨在提出第一个系统的调查，为国家的最先进的方法，将知识嵌入到文档摘要。特别是，我们提出了新的分类法概括知识和知识嵌入下的文件摘要视图。我们进一步探讨了如何在文档摘要模型的嵌入学习架构中生成嵌入，特别是深度学习模型。最后，我们讨论了这一主题的挑战和未来的发展方向。
2022-07-09 cs.AI cs.CL cs.LG
Modeling Embedding Dimension Correlations via Convolutional Neural Collaborative Filtering
University of Electronic Science and Technology of China（电子科技大学）；University of Science and Technology of China（中国科学技术大学）；Platform and Content Group (PCG) of Tencent（腾讯平台与内容事业群）；Nanjing University of Science and Technology（南京理工大学）；National University of Singapore（新加坡国立大学）
协同过滤（CF）是推荐系统的核心，它通过用户与商品的历史交互（如点击、购买等）来模拟用户与商品之间的关系，神经网络凭借其强大的表示能力，近年来为推荐研究带来了革命性的变化，为协同过滤建立了新的标准。然而，现有的神经推荐模型没有显式地考虑嵌入维度之间的相关性，使得它们在建模用户和项目之间的交互函数时效率较低。在这项工作中，我们强调在神经网络嵌入维数之间的相关性建模，以追求更高的CF的有效性。提出了一种新的通用神经协同过滤框架ConvNCF，该框架具有两种设计：1）在用户嵌入和项目嵌入中应用外积，以显式地建模嵌入维之间的成对相关性; 2）在外积之上使用卷积神经网络学习嵌入维之间的高阶相关性.为了证明我们的建议，我们通过使用不同的输入来代表用户并在两个真实世界的数据集上进行实验，提出了ConvNCF的三个实例。大量的结果验证了ConvNCF的嵌入维相关性建模的实用性，它优于几个竞争力的CF方法。
2019-06-26 cs.IR cs.LG
Low-Rank Embedding of Kernels in Convolutional Neural Networks under Random Shuffling
RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所高级智能项目中心（AIP））；Guangdong University of Technology（广东工业大学）
虽然卷积神经网络（CNN）近年来已广泛应用于各种图像处理和计算机视觉任务，但如何在资源有限的平台上降低参数的存储成本仍然是一个具有挑战性的问题。在以前的研究中，张量分解（TD）通过将卷积层的内核嵌入到低秩子空间中来实现有希望的压缩性能。然而，TD的使用是在内核或其指定的变体上天真地使用。与传统的方法不同，本文表明，内核可以嵌入到更一般的，甚至是随机的低秩子空间。我们通过使用CIFAR-10的标准分类任务通过随机混洗张量分解（RsTD）压缩卷积层来证明这一点。此外，我们分析了训练数据的空间相似性如何影响核的低秩结构。实验结果表明，即使核被随机混洗，CNN也可以被显著压缩。此外，RsTD为基础的方法产生更稳定的分类精度比传统的TD为基础的方法在大范围的压缩比。
2018-10-31 cs.LG stat.ML
Video-based Person Re-identification with Two-stream Convolutional Network and Co-attentive Snippet Embedding
Xiamen University（厦门大学）
近年来，在视觉监控和人机交互中，人的重新识别的应用急剧增加，这表明了这个问题的关键作用。在本文中，我们提出了一个双流卷积网络（ConvNet）的基础上的竞争相似性聚合方案和共同关注的嵌入策略，基于视频的人的重新识别。通过将长视频序列划分为多个短视频片段，我们设法利用每个片段的RGB帧、光流图和姿态图来促进残差网络，例如，ResNet，用于双流ConvNet中的特征提取。提取的特征嵌入的共同关注的嵌入方法，它允许减少噪声帧的影响。最后，我们融合两个流的输出作为一个片段的嵌入，并应用竞争片段相似性聚合来衡量两个序列之间的相似性。我们的实验表明，所提出的方法显着优于当前国家的最先进的方法在多个数据集。
2019-05-28 cs.CV cs.IR cs.LG
Text Classification through Glyph-aware Disentangled Character Embedding and Semantic Sub-character Augmentation
Hosei University（法政大学）
我们提出了一个新的基于字符的文本分类框架的非字母的语言，如中文和日语。我们的框架包括一个变分字符编码器（VCE）和字符级文本分类器。VCE由一个$β$ -变分自动编码器（$β$ -VAE）组成，该编码器学习所提出的字形感知解纠缠字符嵌入（GDCE）。由于GDCE提供了零均值单位方差的特征嵌入，是维度独立的，它适用于我们的可解释的数据增强，即语义子字符增强（SSA）。在本文中，我们评估了我们的框架，使用日本文本分类任务的文件和文件级别。我们证实，我们的GDCE和SSA不仅提供了嵌入的可解释性，但也提高了分类性能。我们的建议取得了竞争力的结果，国家的最先进的模型，同时还提供模型的可解释性。我们的代码可在https://github.com/IyatomiLab/GDCE-SSA上获得
2020-11-09 cs.AI cs.CL cs.LG
Source-Aware Embedding Training on Heterogeneous Information Networks
The University of Hong Kong（香港大学）；The Hong Kong University of Science and Technology（香港科技大学）；TCL Corporate Research (Hong Kong)（TCL（香港）公司研究院）
针对异构信息网络中多源子图分布差异被忽视的问题，本文提出可扩展无监督框架SUMSHINE，通过对齐多源嵌入分布提升图嵌入学习效果，并在多个下游任务中验证其优于现有方法。
2023-07-10 cs.AI cs.LG cs.SI
Variance-Aware Weight Initialization for Point Convolutional Neural Networks
Ulm University（乌尔姆大学）；University College London（伦敦大学学院）
合适的权值初始化是成功训练神经网络的关键。最近，批量归一化通过简单地基于批量统计数据对每一层进行归一化来减少权重初始化的作用。不幸的是，当应用于小批量时，批量归一化有几个缺点，因为在点云上学习时需要它们来应对内存限制。虽然有根据的权重初始化策略可以使批量归一化变得不必要，从而避免这些缺点，但对于点卷积网络还没有提出这样的方法。为了填补这一空白，我们提出了一个框架来统一众多的连续卷积。这使得我们的主要贡献，方差感知权重初始化。我们表明，这种初始化可以避免批量归一化，同时实现类似的，在某些情况下，更好的性能。
2022-08-01 cs.CV cs.LG
A Framework for Joint Unsupervised Learning of Cluster-Aware Embedding for Heterogeneous Networks
Technical University of Munich（慕尼黑工业大学）；Mercateo AG（Mercateo公司）
异构信息网络（HIN）嵌入是指保持HIN结构和语义的HIN节点的低维投影。HIN嵌入已经成为网络分析的一个有前途的研究领域，因为它可以实现聚类和节点分类等下游任务。在这项工作中，我们提出了\ours集群嵌入以及集群感知HIN嵌入的联合学习。我们假设连接的节点很有可能落在同一个集群，并采用变分的方法来保持信息的成对关系在集群感知的方式。此外，我们部署对比模块，同时利用多个元路径中的信息，从而缓解元路径选择问题-许多著名的HIN嵌入方法所面临的挑战。HIN嵌入，从而学习，不仅提高了聚类性能，但也保留了成对的接近度以及高阶HIN结构。我们通过将其与三个真实数据集上的聚类和下游节点分类的许多竞争基线进行比较，展示了我们方法的有效性。
2021-08-09 cs.LG
A Simple Fix for Convolutional Neural Network via Coordinate Embedding
卷积神经网络（CNN）在计算机视觉领域有着广泛的应用。然而，考虑到CNN模型是平移不变的，它们不知道每个像素的坐标信息。因此，CNN的泛化能力将受到限制，因为坐标信息对于模型学习直接对每个像素的坐标进行操作的仿射变换至关重要。在这个项目中，我们提出了一种简单的方法，通过坐标嵌入将坐标信息纳入CNN模型。我们的方法不改变下游模型架构，并且可以很容易地应用于目标检测等任务的预训练模型。在德国交通标志检测基准上的实验表明，该方法不仅显著提高了模型性能，而且对仿射变换具有更好的鲁棒性。
2020-03-24 cs.CV cs.LG eess.IV
Abundance-Aware Set Transformer for Microbiome Sample Embedding
Drexel University（德雷塞尔大学）
本文提出丰度感知的Set Transformer变体，通过按相对丰度复制序列嵌入并进行自注意力聚合，构建微生物组样本级嵌入，在真实分类任务上优于平均池化和未加权Set Transformer，验证了丰度感知聚合的有效性。
2025-08-14 cs.LG
