Learning Asymmetric Embedding for Attributed Networks via Convolutional Neural Network
RMIT University（皇家墨尔本理工大学）；Ahvaz Branch, Islamic Azad University（伊斯兰阿扎德大学阿瓦士分校）
近年来，网络嵌入由于其在链接预测、节点分类和节点聚类等网络计算任务中的优势而受到越来越多的关注。网络嵌入的目标是在低维向量空间中表示网络节点，同时保留尽可能多的原始网络信息，包括结构，关系和语义信息。然而，有向网络的非对称性带来了许多挑战，如如何在嵌入过程中最好地保持边缘方向。本文提出了一种基于卷积图神经网络的深度非对称属性网络嵌入模型AAGCN。其主要思想是最大限度地保持有向属性网络的非对称邻近性和非对称相似性。AAGCN引入了两种邻域特征聚合方案，分别将节点的特征与其内外邻居的特征聚合。然后，它为每个节点学习两个嵌入向量，一个源嵌入向量和一个目标嵌入向量。最终的表示是连接源和目标嵌入向量的结果。我们测试的性能AAGCN在三个现实世界的网络重建，链接预测，节点分类和可视化任务。实验结果表明，AAGCN对国家的最先进的嵌入方法的优越性。
2022-02-13 cs.LG cs.SI
Which way? Direction-Aware Attributed Graph Embedding
Royal Institute of Technology（瑞典皇家理工学院）；University of Trento（特伦托大学）
图嵌入算法用于在低维连续向量空间中有效地表示（编码）图，该低维连续向量空间保留了图的最重要属性。经常被忽视的一个方面是图是否有向。大多数研究忽略了方向性，以便学习针对节点分类优化的高质量表示。另一方面，捕获方向性的研究通常在链接预测上有效，但在其他任务上表现不佳。这项初步研究提出了一种新的文本丰富，方向感知算法称为DIAGRAM，基于精心设计的多目标模型来学习嵌入，保留边缘，文本特征和节点的图形上下文的方向。因此，我们的算法不必将一个属性交换为另一个属性，并为多个网络分析任务联合学习高质量的表示。我们的经验表明，DIAGRAM显着优于六个国家的最先进的基线，无论是方向感知和遗忘的，链接预测和网络重建实验使用两个流行的数据集。它还使用相同的数据集在节点分类实验中实现了与这些基线相当的性能。
2020-01-30 cs.LG cs.SI stat.ML
Unsupervised Deep Manifold Attributed Graph Embedding
Zhejiang University（浙江大学）；AI Lab, School of Engineering（工程学院AI实验室）；Westlake University（西湖大学）
无监督属性图表示学习是一个具有挑战性的问题，因为结构和特征信息都需要在潜在空间中表示。现有的方法主要通过重构任务来学习潜在表示，但不能直接优化表示，容易出现过平滑现象，从而限制了其在下游任务中的应用。为了缓解这些问题，我们提出了一种新的图嵌入框架，称为深度流形属性图嵌入（DMAGE）。提出了一种节点间测地线相似度计算方法，计算数据空间和潜在空间之间的节点间相似度，并以Bergman散度作为损失函数，使两者之间的差异最小化。然后，我们设计了一个新的网络结构，较少的聚合，以减轻过度平滑的问题，并结合图结构增强，以提高表示的稳定性。我们提出的DMAGE在三个下游任务上远远超过了最先进的方法：无监督可视化，节点聚类和四个流行数据集的链接预测。
2021-04-27 cs.AI cs.LG
GAGE: Geometry Preserving Attributed Graph Embeddings
University of Pennsylvania（宾夕法尼亚大学）；University of Virginia（弗吉尼亚大学）
节点嵌入是提取网络中连接的某些实体的简洁和信息表示的任务。各种真实世界的网络都以特征或时间序列数据的形式包含有关节点连接性和某些节点属性的信息。现代表示学习技术采用节点的连接性和属性信息以无监督的方式产生嵌入。在这种情况下，导出保留网络几何结构和属性向量的嵌入将是非常可取的，因为它们将反映特征空间中的拓扑邻域结构和邻近度。虽然这在仅观察网络的连通性或属性信息时维护起来相当简单，但保留这两种类型信息的几何形状是具有挑战性的。提出了一种新的基于张量分解的属性网络节点嵌入方法，该方法保持了连接和属性的距离。此外，开发了一种有效的轻量级算法来处理学习任务，并使用多个最先进的基线进行了明智的实验，表明该算法在下游任务中提供了显着的性能改进。
2022-02-23 cs.LG cs.SI eess.SP
Graph Neural Networks Powered by Encoder Embedding for Improved Node Learning
Department of Applied Mathematics and Statistics (AMS), Johns Hopkins University（应用数学与统计学系，约翰霍普金斯大学）；Microsoft Research（微软研究院）；Department of Applied Mathematics and Statistics (AMS), the Center for Imaging Science (CIS), and the Mathematical Institute for Data Science (MINDS), Johns Hopkins University（应用数学与统计学系，影像科学中心，数据科学数学研究所，约翰霍普金斯大学）
本文提出了一种基于编码器嵌入的图神经网络框架，通过结构感知的初始化提升节点学习性能，实验表明在多种任务中均取得显著效果。
2026-02-21 cs.LG stat.ML
Efficient Graph Encoder Embedding for Large Sparse Graphs in Python
University of Delaware（特拉华大学）
针对现有图嵌入方法计算与空间成本高、大型稀疏图存在冗余计算存储的问题，提出优化稀疏矩阵零元素处理的sparse GEE方法，在Python实现下较原始GEE显著提速，可在普通笔记本数分钟处理百万级边。
2024-06-06 cs.LG
RWR-GAE: Random Walk Regularization for Graph Auto Encoders
Carnegie Mellon University（卡内基梅隆大学）
节点嵌入已经成为一种普遍存在的技术，用于表示低维空间中的图形数据。图自编码器作为广泛适用的深度模型之一，已经被提出通过最小化图数据的重建误差来以无监督的方式学习图嵌入。然而，它的重建损失忽略了潜在表示的分布，从而导致劣质嵌入。为了缓解这个问题，我们提出了一种基于随机游走的方法来正则化编码器学习的表示。我们表明，提出的新的增强击败了现有的国家的最先进的模型由一个大的利润率（高达7.5%）的节点聚类任务，并实现了国家的最先进的准确性上的链接预测任务的三个标准数据集，cora，citeseer和pubmed。代码可在https://github.com/MysteryVaibhav/DW-GAE获得。
2019-08-12 cs.LG cs.SI stat.ML
Semantic Random Walk for Graph Representation Learning in Attributed Graphs
Independent Research mengqin\
提出SGR方法，将属性图中结构与语义的联合优化统一到高阶邻近度框架，构建辅助加权图学习节点与属性表示，支持语义推理任务，在真实图上优于基线。
2023-05-11 cs.LG cs.SI
Collaborative Graph Neural Networks for Attributed Network Embedding
Texas A&M University（德克萨斯农工大学）；The Hong Kong Polytechnic University（香港理工大学）；University of Virginia（弗吉尼亚大学）；Rice University（莱斯大学）
针对现有图神经网络对节点属性利用不足的问题，本文提出协作图神经网络CONN，通过选择性扩散节点与属性消息、联合重建两类交互提升性能，在真实网络实验中显著优于现有最优嵌入算法。
2023-07-22 cs.IR cs.LG cs.SI
UniGLM: Training One Unified Language Model for Text-Attributed Graph Embedding
New York University Shanghai（上海纽约大学）；Bakar Computational Health Sciences Institute（贝克计算健康科学研究所）；University of California San Francisco（加利福尼亚大学旧金山分校）；University of Georgia（佐治亚大学）
本文提出统一图语言模型UniGLM，通过自监督对比学习在多个不同领域和规模的文本属性图上联合训练，并引入自适应正样本选择和惰性对比模块，显著提升了图嵌入在域内外场景的泛化与迁移能力。
2024-12-23 cs.AI cs.CL cs.IR
Variational Graph Normalized Auto-Encoders
链接预测是图结构数据的关键问题之一。随着图神经网络的发展，图自编码器（GAE）和变分图自编码器（VGAE）被提出来以无监督的方式学习图嵌入。结果表明，这些方法对于链接预测任务是有效的。然而，当度为零的节点（即，孤立节点）。我们发现，GAE/VGAE使孤立节点的嵌入接近于零，而不管它们的内容特征。在本文中，我们提出了一种新的变分图规范化自动编码器（VGNAE），利用L2-规范化，以获得更好的嵌入孤立的节点。我们表明，我们的VGNAE优于现有的国家的最先进的模型的链接预测任务。该代码可在https://github.com/SeongJinAhn/VGNAE上获得。
2021-09-12 cs.AI cs.LG
Do We Need an Encoder-Decoder to Model Dynamical Systems on Networks?
Jilin University（吉林大学）；Deakin University（迪肯大学）
本文指出网络动力学建模中顶点嵌入会导致错误的长期行为，提出无嵌入的加性向量场参数化模型，能可靠恢复不同网络拓扑上的动力学。
2023-05-20 cs.AI cs.LG
Scalar Coupling Constant Prediction Using Graph Embedding Local Attention Encoder
College of Computer Science and Technology, Guizhou University（贵州大学计算机科学与技术学院）
标量耦合常数（SCC）在分析有机物三维结构中起着关键作用，然而传统的用量子力学计算预测SCC非常耗时。为了高效、准确地计算SCC，提出了一种图嵌入局部自注意编码器（GELAE）模型。该模型首先提出了一种新的以键长、键角和二面角为变量的耦合系统不变结构表示，然后设计了一个嵌入图的邻接矩阵的局部自注意模块，以有效地提取耦合系统的特征，最后，采用改进的分类损失函数对SCC进行预测。为了验证所提出的方法的优越性，我们进行了一系列的比较实验，使用不同的结构表示，不同的注意力模块，和不同的损失。实验结果表明，与传统的化学键结构表示方法相比，本文提出的旋转和平移不变结构表示方法可以提高SCC预测的准确性，在图中嵌入局部自注意的情况下，预测模型在验证集上的平均绝对误差（MAE）从0.1603 Hz降低到0.1067 Hz;采用基于分类的损失函数代替定标回归损失，预测SCC的MAE可以降低到0.0963 HZ，接近CHAMPS数据集上的量子化学标准。
2020-09-07 cs.LG physics.chem-ph
A Block-based Generative Model for Attributed Networks Embedding
Jilin University（吉林大学）；University of Technology Sydney（悉尼科技大学）；The University of Queensland（昆士兰大学）
属性网络嵌入近年来引起了人们的广泛兴趣。它的目的是学习任务无关的，低维的，连续的节点向量，同时保留拓扑和属性信息。大多数现有的方法，如基于随机游走的方法和GCN，主要关注局部信息，即，邻居的属性。因此，它们已经被很好地研究了竞争性网络（即，具有社区的网络）但忽略了区分性网络（即，具有多部、集线器和混合结构的网络），这在现实世界中很常见。为了使模型的属性和非属性网络，我们提出了一个基于块的生成模型属性网络嵌入从概率的角度来看。具体地，节点被分配到几个块，其中同一块中的节点共享相似的链接模式。这些模式可以定义包含社区的独立网络或具有多部、枢纽或任何混合结构的独立网络。为了保留属性信息，我们假设每个节点都有一个与其分配的块相关的隐藏嵌入。我们使用一个神经网络来描述节点嵌入和节点属性之间的非线性。我们在真实世界和合成属性网络上进行了广泛的实验。结果表明，我们提出的方法始终优于最先进的嵌入方法的聚类和分类任务，特别是在discretative网络。
2020-11-01 cs.LG stat.ML
Unsupervised Attributed Dynamic Network Embedding with Stability Guarantees
University of Bristol（布里斯托大学）；The University of Melbourne（墨尔本大学）；University of Edinburgh（爱丁堡大学）
提出属性展开邻接谱嵌入（AUASE）框架，通过证明对潜在位置模型的一致收敛建立稳定性，在无真实标签下保证属性动态嵌入的稳定性，并在链路预测和节点分类任务上取得显著改进。
2025-07-01 cs.LG stat.ME stat.ML
Scalable and Adaptive Spectral Embedding for Attributed Graph Clustering
Nanjing University（南京大学）
针对大规模属性图聚类计算与内存成本高的问题，提出无参数学习的可扩展自适应谱嵌入方法SASE，兼具线性复杂度与优异聚类性能。
2024-08-11 cs.LG stat.ML
Attributed Sequence Embedding
Worcester Polytechnic Institute（伍斯特理工学院）；Amadeus IT Group（艾玛迪斯信息技术集团）
在连续数据（如点击流和基因序列）上的挖掘任务需要精心设计可用于学习算法的嵌入。最近的特征学习研究已经扩展到序列数据，其中每个实例由具有可变长度的异构项序列组成。然而，许多现实世界的应用程序通常涉及属性序列，其中每个实例都由一系列分类项和一组属性组成。在本文中，我们研究这个新的问题的属性序列嵌入，其目标是学习的表示属性序列在一个无监督的方式。这个问题是从用户行为分析到基因序列聚类等许多重要数据采掘任务的核心。这个问题是具有挑战性的，由于序列之间的依赖关系和它们的相关属性。我们提出了一个深度多模态学习框架，称为NAS，以生成属性序列的嵌入。嵌入是独立于任务的，可以用于各种挖掘任务的属性序列。我们在现实世界数据集的各种无监督学习任务中证明了属性序列嵌入的有效性。
2019-11-03 cs.CL cs.DB cs.LG
Unsupervised Attributed Multiplex Network Embedding
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Yahoo! Research（雅虎研究院）；Pohang University of Science and Technology（浦项科技大学）
多路复用网络中的节点通过多种类型的关系连接。然而，大多数现有的网络嵌入方法假设节点之间仅存在单一类型的关系。即使对于那些考虑网络的多重性的人来说，他们也忽略了节点属性，求助于节点标签进行训练，并且无法对图的全局属性进行建模。我们提出了一种简单而有效的无监督网络嵌入方法，称为DMGI，其灵感来自深度图Infomax（DGI），最大化图的局部补丁之间的互信息，以及整个图的全局表示。我们设计了一种系统的方法来联合集成来自多个图的节点嵌入，方法是引入1）共识正则化框架，该框架可以最大限度地减少关系类型特定节点嵌入之间的分歧，以及2）通用正则化框架，该框架可以区分真实样本，而不管关系类型如何。我们还表明，注意力机制推断每个关系类型的重要性，因此可以是有用的过滤不必要的关系类型作为预处理步骤。对各种下游任务的大量实验表明，DMGI优于最先进的方法，即使DMGI是完全无监督的。
2020-03-29 cs.LG stat.ML
Attributed Network Embedding for Incomplete Attributed Networks
Southern University of Science and Technology（南方科技大学）；University of Birmingham（伯明翰大学）
属性网络是普遍存在的，因为网络通常带有辅助属性信息，例如具有用户简档的社交网络。属性网络嵌入（ANE）是近年来研究的一个热点，它的目标是在保持结构和属性信息的同时学习统一的低维节点嵌入。所得到的节点嵌入然后可以促进各种网络下游任务，例如链接预测。虽然有几个ANE方法，其中大多数不能处理不完整的属性网络与丢失的链接和/或节点属性，这往往发生在现实世界的场景。为了解决这个问题，我们提出了一个强大的ANE方法，其总体思想是通过融合两个信息源来增强信息，然后采用基于随机游走的网络嵌入方法来学习节点嵌入，从而重建一个统一的密集网络。在6个真实数据集上进行的链接预测、节点分类、可视化和参数敏感性分析实验验证了该方法对不完全属性网络的有效性。
2019-06-05 cs.LG cs.SI
Variational Co-embedding Learning for Attributed Network Clustering
Data Science Institute, University of Technology Sydney（悉尼科技大学数据科学研究所）；School of Information Technology, Deakin University（迪肯大学信息技术学院）；School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）；School of Computer Science, University of Technology Sydney（悉尼科技大学计算机科学学院）
最近的工作，属性网络聚类利用图卷积获得节点嵌入，同时执行嵌入空间上的聚类分配。由于图卷积结合了节点嵌入学习的结构和属性信息，因此是有效的。然而，这样的工作的一个主要局限性是，图卷积只结合了来自节点的局部邻域的属性信息，但未能利用节点和属性之间的相互亲和力。在这方面，我们提出了一个变分共嵌入学习模型属性网络聚类（VCLANC）。VCLANC是由双变分自动编码器，同时嵌入节点和属性。在此基础上，从嵌入空间中重构出节点与属性之间的相互亲和度信息，作为额外的自监督知识用于表示学习。同时，可训练的高斯混合模型被用作先验知识来推断节点聚类分配。为了加强推断的集群的性能，我们使用的高斯先验的中心和聚类分配硬化损失的节点嵌入的相互距离损失。四个真实世界的属性网络数据集上的实验结果表明，所提出的VCLANC属性网络聚类的有效性。
2021-04-15 cs.AI cs.LG stat.ML
Semi-supervised Anomaly Detection on Attributed Graphs
NTT Software Innovation Center（NTT软件创新中心）；NTT Secure Platform Laboratories（NTT安全平台实验室）；NTT Communication Science Laboratories（NTT通信科学实验室）
我们提出了一个简单而有效的方法来检测异常的情况下，属性图的标签信息的少数实例。虽然标准的异常检测方法通常假设实例是独立且同分布的，但在许多现实世界的应用中，实例通常彼此显式连接，从而产生所谓的属性图。所提出的方法通过考虑节点的属性以及基于图卷积网络（GCN）的图结构，将节点（实例）嵌入到潜在空间中的属性图上。为了学习专门用于异常检测的节点嵌入，其中由于异常的罕见性而存在类不平衡，GCN的参数被训练为最小化超球体的体积，该超球体包围正常实例的节点嵌入，同时将异常嵌入超球体之外。这使我们能够通过简单地计算节点嵌入和超球中心之间的距离来检测异常。该方法通过考虑节点的属性、图结构和类的不平衡性，可以有效地将少量节点上的标签信息传播给未标记的节点。在五个真实世界的属性图数据集的实验中，我们证明了所提出的方法比各种现有的异常检测方法实现了更好的性能。
2020-02-27 cs.LG stat.ML
Graph Encoder Ensemble for Simultaneous Vertex Embedding and Community Detection
University of Delaware（特拉华大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
提出一种结合归一化独热图编码器和基于排名的簇规模度量的图编码器集成方法，同时实现顶点嵌入、社区检测和社区规模确定，并通过模拟验证其高效性能。
2024-07-21 cs.LG cs.SI stat.ML
AnomalyDAE: Dual autoencoder for anomaly detection on attributed networks
Harbin University of Science and Technology（哈尔滨理工大学）；Minjiang University（闽江学院）
属性网络异常检测的目标是发现模式与大多数参考节点有显著偏离的节点，这在网络入侵检测和社交垃圾邮件检测等应用中非常普遍。然而，大多数现有的方法忽略了网络结构和节点属性之间复杂的跨模态相互作用。在本文中，我们提出了一个深度联合表示学习框架，用于通过双自动编码器（AnomalyDAE）进行异常检测，该框架捕获网络结构和节点属性之间的复杂交互，以获得高质量的嵌入。具体而言，AnomalyDAE由结构自动编码器和属性自动编码器组成，以在潜在空间中联合学习节点嵌入和属性嵌入。此外，在结构编码器中引入注意力机制，学习节点与其邻居节点之间的重要性，从而有效地捕获结构模式，这对异常检测具有重要意义。此外，通过将节点嵌入和属性嵌入作为属性解码器的输入，在节点属性重构过程中学习网络结构和节点属性之间的跨模态交互。最后，通过从结构和属性两个角度测量节点的重构误差，可以检测异常。在真实数据集上的大量实验证明了该方法的有效性。
2020-02-12 cs.LG stat.ML
Attributed Network Embedding for Learning in a Dynamic Environment
Arizona State University（亚利桑那州立大学）；Texas A&M University（得克萨斯农工大学）；Michigan State University（密歇根州立大学）；Huawei Research America（华为美国研究院）
网络嵌入利用所显示的节点邻近度来学习网络中每个节点的低维节点向量表示。学习的嵌入可以推进各种学习任务，如节点分类，网络聚类和链接预测。大多数，如果不是全部，现有的作品，绝大多数是在普通和静态网络的背景下进行的。尽管如此，在现实中，网络结构往往随着时间的推移而发展，增加/删除链接和节点。此外，绝大多数现实世界的网络都与一组丰富的节点属性相关联，并且它们的属性值也在自然变化，随着新内容模式的出现和旧内容模式的消失。这些变化的特征促使我们寻求一种有效的嵌入表示来捕获网络和属性的演化模式，这对于动态环境中的学习至关重要。据我们所知，我们是第一个解决这个问题的人，面临以下两个挑战：（1）固有相关的网络和节点属性可能是嘈杂和不完整的，它需要一个强大的共识表示来捕获它们的个体属性和相关性;（2）嵌入学习需要以在线方式执行，以适应相应的变化。在本文中，我们解决这个问题，提出了一种新的动态属性网络嵌入框架- DANE。特别是，DANE首先提供了一种用于共识嵌入的离线方法，然后利用矩阵扰动理论以在线方式保持最终嵌入结果的新鲜度。我们在合成和真实属性网络上进行了大量的实验，以证实所提出的框架的有效性和效率。
2018-08-26 cs.LG cs.SI stat.ML
Neural-Brane: Neural Bayesian Personalized Ranking for Attributed Network Embedding
Indiana University Purdue University Indianapolis（印第安纳大学与普渡大学印第安纳波利斯联合分校）；Facebook Inc.（脸书公司）；IBM Research（IBM研究院）
近年来，网络嵌入方法，即学习网络中每个顶点的分布式向量表示，引起了人们的极大兴趣。现有的工作已经证明，通过嵌入方法学习的顶点表示在许多现实世界的应用中提供了优越的性能，例如节点分类，链接预测和社区发现。然而，大多数用于网络嵌入的现有方法仅利用顶点的拓扑信息，而忽略了在所有现实生活网络中丰富的节点属性（例如，在线社交网络的用户简档或引文网络的文本内容）的集合。考虑属性和关系信息的联合网络嵌入需要完整的网络信息，并且可以进一步丰富学习的矢量表示。在这项工作中，我们提出了神经膜，一种新的神经贝叶斯个性化排名的属性网络嵌入。对于给定的网络，Neural-Brane利用统一网络拓扑信息和节点属性的神经网络模型提取节点的潜在特征表示，并利用贝叶斯个性化排序目标，利用相似节点对和不相似节点对之间的邻近度排序.我们通过在四个真实世界的数据集上解决节点分类和聚类任务来评估Neural-Brane产生的顶点嵌入的质量。实验结果表明，我们提出的方法优于国家的最先进的现有方法。
2018-08-20 cs.LG cs.SI stat.ML
Multi-scale Attributed Node Embedding
The University of Edinburgh（爱丁堡大学）；School of Informatics（信息学院）
我们提出了网络嵌入算法，从节点周围的节点属性的局部分布中捕获有关节点的信息，如在随机游动中观察到的，遵循类似于Skip-gram的方法。在多个尺度上捕获属性-邻域关系对于各种各样的应用都很有用，包括具有相似属性的断开连接的网络中的潜在特征识别。我们从理论上证明了节点特征逐点互信息矩阵被嵌入隐式分解。实验表明，我们的算法是强大的，计算效率和性能优于可比模型上的社交网络和网络图。
2021-03-21 cs.LG cs.NI cs.SI
From Representation to Clusters: A Contrastive Learning Approach for Attributed Hypergraph Clustering
本文提出了一种端到端的对比学习方法CAHC，用于属性超图聚类，通过联合嵌入和聚类优化实现节点嵌入学习与聚类结果的同步生成。
2026-03-10 cs.LG
Outlier Aware Network Embedding for Attributed Networks
IBM Research（IBM研究院）；Indian Institute of Science（印度科学学院）
属性化网络嵌入受到了研究界的广泛关注，因为大多数网络在每个节点中都带有一些内容，这些内容也被称为节点属性。现有的属性网络方法在网络结构和属性一致且节点行为符合预期时工作良好。但现实世界的网络经常有异常节点。通常，这些相对难以解释的离群值会影响网络中其他节点的嵌入。因此，所有下游网络挖掘任务在存在这些离群值的情况下都会失败。因此，需要一种集成的方法来检测异常并减少它们对网络嵌入的总体影响。为此，我们提出了一个无监督的离群感知网络嵌入算法（ONE）的属性网络，它最大限度地减少离群节点的影响，从而产生强大的网络嵌入。我们对齐并联合优化来自网络的结构和属性的损失函数。据我们所知，这是第一个通用的网络嵌入方法，该方法在没有任何监督的情况下将离群值的影响纳入属性网络。我们在公开可用的真实网络上进行了实验，并手动种植了不同类型的离群值来检查所提出的算法的性能。结果表明，我们的方法来检测网络离群值相比，最先进的方法的优越性。我们还考虑了网络上不同的下游机器学习应用，以显示ONE作为通用网络嵌入技术的效率。源代码可在https://github.com/sambaranban/ONE上获得。
2018-11-19 cs.LG cs.SI
Rethinking Graph Auto-Encoder Models for Attributed Graph Clustering
University of Quebec at Montreal（魁北克大学蒙特利尔分校）；University of Bahrain（巴林大学）
最新的图聚类方法采用图自动编码器（GAE）来执行联合聚类和嵌入学习。然而，有两个关键问题被忽视了。首先，累积误差，造成学习噪声聚类分配，降低了聚类模型的有效性和鲁棒性。这个问题称为特征随机性。其次，重构邻接矩阵集的模型，学习不相关的相似性聚类任务。这个问题被称为特征漂移。有趣的是，上述问题之间的理论关系尚未得到研究。我们从两个方面研究这些问题：（1）当聚类和重建在同一级别执行时，在特征随机性和特征漂移之间存在权衡，以及（2）与vanilla自动编码器模型相比，由于图卷积操作和图解码设计，GAE模型的特征漂移问题更加明显。基于这些发现，我们重新制定了基于遗传算法的聚类方法。我们的解决方案是双重的。首先，我们提出了一个采样操作$Ξ$，触发一个保护机制，对嘈杂的聚类分配。其次，我们提出了一个运营商$Υ$，触发一个纠正机制，对功能漂移逐步改造成面向聚类的重建图。作为主要的优势，我们的解决方案授予聚类的有效性和鲁棒性的相当大的改善，可以很容易地定制现有的GAE模型。
2021-12-13 cs.LG
Encoder Embedding for General Graph and Node Classification
University of Delaware（特拉华大学）
本文将图编码器嵌入从二值图扩展到加权图、距离矩阵和核矩阵等通用图模型，证明其满足大数定律与中心极限定理，并在逐类别上具有渐近正态性，从而支持基于判别分析的最优节点分类。
2024-10-22 cs.LG cs.SI stat.ML
Embedding Graph Auto-Encoder for Graph Clustering
Northwestern Polytechnical University（西北工业大学）
图聚类是近年来的一个研究热点，其目的是通过无监督的方法将图中的节点划分为不同的组。为了提高聚类的代表性，提出了几种基于半监督图卷积网络（GCN）的图自动编码器（GAE）模型，并与传统聚类方法进行了比较，取得了良好的效果。然而，现有的方法要么未能利用GAE产生的表示的正交性，或分离的聚类和神经网络的学习。我们首先证明了放松的k-均值将在内积空间中获得最优划分。在对松弛k-均值算法理论分析的基础上，设计了一种基于遗传算法的图聚类模型，即嵌入图自动编码器（EGAE）。同时，学习到的表示是很好的解释，这样的表示也可以用于其他任务。为了进一步诱导神经网络产生适合于特定聚类模型的深度特征，同时学习松弛k均值和GAE。因此，放松的k均值可以等效地被视为试图学习可以由一些质心向量线性构造的表示的解码器。因此，EGAE由一个编码器和双解码器组成。通过大量的实验证明了EGAE的优越性，并进行了相应的理论分析。
2021-03-13 cs.LG stat.ML
Pay Attention to Relations: Multi-embeddings for Attributed Multiplex Networks
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
图卷积神经网络（GCN）已成为许多下游网络挖掘任务（如节点分类、链接预测和社区发现）的有效机器学习算法。然而，大多数GCN方法都是针对同构网络开发的，并且仅限于每个节点的单个嵌入。复杂的系统，通常由异构的，多路复用的网络GCN模型提出了一个更困难的挑战，并要求这些技术捕捉不同的上下文和各种节点之间发生的相互作用。在这项工作中，我们提出了RAHMeN，一个新的统一的关系感知嵌入框架属性异构复用网络。我们的模型结合了节点属性，图案为基础的功能，关系为基础的GCN方法，和关系的自我关注学习嵌入的节点在一个异构的，多元化的网络中的各种关系。与之前的工作相比，RAHMeN是一个更具表现力的嵌入框架，它包含了此类网络中节点的多面性，产生了一组多嵌入，捕获了节点的各种各样的上下文。我们在来自Amazon，Twitter，YouTube和Tissue PPI的四个真实数据集上评估了我们的模型，包括转导和诱导设置。我们的研究结果表明，RAHMeN始终优于可比的国家的最先进的网络嵌入模型，和RAHMeN的关系自我注意力的分析表明，我们的模型发现存在于异构，多元网络的关系之间的可解释的连接。
2022-03-03 cs.LG
ANAE: Learning Node Context Representation for Attributed Network Embedding
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
属性网络嵌入的目标是从网络结构和节点属性中学习低维节点表示。现有的方法可以分为两类：（1）分别从网络结构和节点属性中学习两个独立的节点表示并将它们连接在一起;（2）另一类通过将节点属性转换为网络结构或反之亦然来获得节点表示。然而，这两组都有其缺点。第一组忽略了网络结构和节点属性之间的相关性，而第二组假设这两种类型的信息之间的强依赖性。在本文中，我们从一个新的角度来解决归因网络嵌入，即，通过对每个节点的属性局部子图进行建模，学习每个节点的节点上下文表示。为了实现这一目标，我们提出了一种新的属性网络自动编码器框架，即ANAE。对于目标节点，ANAE首先从其属性局部子图中聚集属性信息，获得其低维表示。接下来，ANAE将目标节点的表示扩散到其局部子图中的节点，以重建它们的属性。这样的编码器-解码器框架允许学习的表示更好地保留网络结构和节点属性中表现的上下文信息，从而具有学习属性网络的良好节点表示的高容量。在真实数据集上的大量实验结果表明，该框架在链接预测和节点分类方面优于现有的方法。
2020-07-06 cs.LG cs.SI
Barlow Graph Auto-Encoder for Unsupervised Network Embedding
Unite Network SE（Unite Network SE公司）；TU Munich（慕尼黑工业大学）
网络嵌入已成为网络分析的一个很有前途的研究领域。最近，一种名为Barlow Twins的方法被提出用于计算机视觉中的自监督学习，该方法通过将冗余减少原理应用于对应于两个失真版本的图像样本的嵌入向量。受此启发，我们提出了Barlow Graph Auto-Encoder，一个简单而有效的学习网络嵌入的架构。它的目的是最大限度地提高一个节点的直接和更大的邻域的嵌入向量之间的相似性，同时最小化这些投影的组件之间的冗余。此外，我们还提出了变异对应的巴洛变分图自动编码器。我们的方法产生了有前途的结果，归纳链接预测，并与国家的最先进的聚类和下游节点分类，证明了广泛的比较与几个知名的技术在三个基准引文数据集。
2022-12-13 cs.LG
Semi-supervisedly Co-embedding Attributed Networks
Sun Yat-sen University（中山大学）；University of Glasgow（格拉斯哥大学）
深度生成模型（DGMs）已经取得了显着的进步。半监督变分自动编码器（SVAE）作为一种经典的DGM提供了一个有效地从小的标记数据推广到大的未标记数据的原则性框架，但它很难在多个异构实体中包含丰富的非结构化关系。针对这一问题，本文提出了一种基于广义SVAE的半监督属性网络共嵌入模型（SCAN），该模型能够半监督地协同学习部分标记属性网络的节点和属性的低维向量表示.通过SCAN以统一的方式获得的节点和属性嵌入不仅有利于捕获节点之间的邻近度，而且有利于捕获节点和属性之间的亲和力。此外，我们的模型还训练了一个判别网络来学习节点的标签预测分布。在真实网络上的实验结果表明，与最先进的基线相比，我们的模型在属性推断、用户分析和节点分类等应用中具有出色的性能。
2019-10-31 cs.LG cs.SI
Using link and content over time for embedding generation in Dynamic Attributed Networks
IBM Research（IBM研究院）；University of São Paulo（圣保罗大学）
在这项工作中，我们考虑的问题相结合的链接，内容和时间分析的社区发现和预测在不断发展的网络。这种时间和内容丰富的网络出现在许多现实生活中，如书目网络和问答论坛。文献中的大多数工作（使用内容和结构）都涉及网络的静态快照，它们不能反映多个快照中发生的动态变化。将社区中的动态变化纳入分析还可以提供有关网络中变化的有用见解，例如作者跨社区的迁移。在这项工作中，我们提出了Chimera，一个共享的因子分解模型，可以同时考虑图链接，内容和时间分析。这种方法的工作原理是以多维形式提取网络的潜在语义结构，但在某种程度上考虑了这些嵌入的时间连续性。这种方法通过使用嵌入作为代理简化了底层网络的时间分析。这种简化的结果是，也可以使用这种嵌入的时间序列来预测未来的社区。我们目前的实验结果说明该方法的有效性。
2019-11-22 cs.LG cs.SI stat.ML
Attributed Network Embedding via Subspace Discovery
University of Technology Sydney（悉尼科技大学）；The University of Sydney（悉尼大学）；Florida Atlantic University（佛罗里达大西洋大学）
网络嵌入旨在学习网络节点的潜在低维向量表示，有效地支持各种网络分析任务。虽然关于网络嵌入的现有技术主要集中在保留网络拓扑结构以学习节点表示，但是最近提出的属性网络嵌入算法试图将丰富的节点内容信息与网络拓扑结构相结合，以提高网络嵌入的质量。现实中，网络往往存在内容稀疏、节点属性不完整以及节点属性特征空间与网络结构空间不一致等问题，严重影响了现有方法的性能。在本文中，我们提出了一个统一的框架属性网络嵌入-attri 2 vec-学习节点嵌入通过发现一个潜在的节点属性子空间，通过网络结构引导的变换进行原始属性空间。由此产生的潜在子空间可以以更一致的方式尊重网络结构，以学习高质量的节点表示。我们制定了一个优化问题，解决了一个有效的随机梯度下降算法，线性时间复杂度的节点数。我们研究了一系列的线性和非线性变换节点属性和经验验证其有效性的各种类型的网络。attri 2 vec的另一个优点是它能够解决样本外问题，其中新节点的嵌入可以通过学习的映射函数从它们的节点属性中推断出来。在各种类型的网络上进行的实验证实，attri 2 vec优于节点分类、节点聚类以及样本外链接预测任务的最新基线。本文的源代码可在https://github.com/daokunzhang/attri2vec上获得。
2019-05-20 cs.LG cs.SI
Attributed Network Embedding Model for Exposing COVID-19 Spread Trajectory Archetypes
Texas A&M University（德克萨斯农工大学）；Princeton University（普林斯顿大学）；Clemson University（克莱姆森大学）
COVID-19的传播表明，不同城市和社区的传播风险模式并不相同，各种异质特征可能影响传播轨迹。因此，对于预测性大流行监测，必须探索城市和社区中区分其特定大流行传播轨迹的潜在异质特征。为此，本研究创建了一个网络嵌入模型，捕获跨县的访问网络，以及异构功能，以揭示集群的县在美国的基础上，他们的流行病传播的传播轨迹。我们从2020年3月3日至6月29日（第一波）收集并计算了2，787个县的位置情报特征。其次，我们构建了一个人的访问网络，其中包括县的功能作为节点属性，县之间的访问作为网络的边缘。我们的归因网络嵌入方法整合了跨县访问网络的类型学特征，以及异质性特征。我们对属性网络嵌入进行聚类分析，以揭示对应于四个县群的四种扩散风险轨迹原型。随后，我们确定了四个特征作为原型之间独特的传播风险模式的重要特征。归因网络嵌入方法和研究结果识别并解释了预测性大流行监测的跨县非同质大流行风险轨迹。该研究还有助于数据驱动和基于深度学习的流行病分析方法，以补充流行病政策分析的标准流行病学模型。
2022-09-21 cs.CY cs.LG cs.SI
Flexible Attributed Network Embedding
Tsinghua University（清华大学）；University of California, San Diego（加州大学圣地亚哥分校）；University of Maryland, College Park（马里兰大学帕克分校）
网络嵌入的目的是通过学习网络中每个节点的嵌入向量来找到一种对网络进行编码的方法。网络通常具有关于节点在网络中的位置和角色的高度信息化的属性信息。大多数网络嵌入方法在网络表示学习过程中未能利用这些信息。在本文中，我们提出了一个新的框架，FANE，集成结构和属性信息的网络嵌入过程。在FANE中，我们设计了一个网络来统一两个信息源的异构性，并定义了一个新的随机行走策略来利用属性信息，使两个信息补偿。FANE概念简单，经验强大。它在Cora数据集分类任务上比最先进的方法提高了5%以上，在WebKB数据集分类任务上提高了10%以上。实验还表明，随着训练规模的增加，结果比最先进的方法改善得更多。此外，定性可视化表明，我们的框架是有助于网络财产信息的探索。总之，我们提出了一种新的方法，用于在复杂属性网络中有效地学习最先进的任务无关表示。本文的源代码和数据集可以从https://github.com/GraphWorld/FANE获得。
2018-11-27 cs.LG cs.SI
Context encoders as a simple but powerful extension of word2vec
Technische Universität Berlin（柏林工业大学）
凭借简单的架构和从包含数十亿单词的文本中有效学习有意义的单词嵌入的能力，word2vec仍然是当今最受欢迎的神经语言模型之一。然而，由于对词汇表中的每个单词只学习一个嵌入，因此该模型无法最佳地表示具有多种含义的单词。此外，不可能当场为新（词汇表外）单词创建嵌入。基于一个直观的解释连续袋的话（CBOW）word2vec模型的负采样训练目标预测上下文的相似性，我们激励扩展的模型，我们称之为上下文编码器（ConEc）。通过将已训练的word2vec嵌入矩阵与单词的平均上下文向量相乘，可以基于单词的本地上下文创建具有多个含义的单词的词汇外（OOV）嵌入和表示。这种方法的好处是通过使用这些词嵌入的功能，在CoNLL 2003命名实体识别（NER）的任务。
2017-06-08 cs.CL cs.LG stat.ML
Acoustic Neighbor Embeddings
Apple（苹果公司）
本文提出了一种新的声学字嵌入称为声学邻居嵌入语音或文本的任意长度被映射到一个向量空间的固定，减少尺寸通过适应随机邻居嵌入（SNE）顺序输入。嵌入空间中坐标之间的欧氏距离反映了其对应序列之间的语音混淆性。训练两个编码器神经网络：声学编码器，其接受从声学模型获得的逐帧子字后验概率形式的语音信号，以及文本编码器，其接受子字transmittance形式的文本。与三重损失准则相比，所提出的方法具有更有效的神经网络训练梯度。在实验上，当两个编码器网络在单词（名称）识别任务中串联使用时，以及当文本编码器网络在近似语音匹配任务中独立使用时，它也给出了更准确的低维嵌入结果。特别是，在一个孤立的名称识别任务，仅依赖于建议的嵌入向量之间的欧几里德最近邻搜索，识别精度是相同的传统的有限状态转换器（FST）的解码使用测试数据与多达1万个名称的词汇和40个维度的嵌入。
2022-01-06 cs.LG cs.SD eess.AS
CoANE: Modeling Context Co-occurrence for Attributed Network Embedding
National Cheng Kung University（成功大学）
属性化网络嵌入（ANE）是通过学习低维向量，使得嵌入空间中既保留了网络结构，又保留了节点属性。现有的ANE模型没有考虑图结构和属性之间的特定组合。虽然每个节点都有其结构特征，例如高度互连的邻居以及它们的某些属性分布模式，但每个节点的邻居不应仅由多跳节点来描述，而应考虑某些集群或社交圈。为了对这些信息进行建模，本文提出了一种新的ANE模型，上下文同现感知属性网络嵌入（CoANE）。CoANE的基本思想是对每个节点涉及不同模式的上下文属性进行建模，并将每个属性视为通道，应用卷积机制对位置信息进行编码。上下文共现的学习可以捕获每个节点的潜在社交圈。为了更好地编码节点的结构和语义知识，我们设计了一个三向目标函数，包括正图似然，上下文负采样和属性重建。我们在五个真实数据集上进行了链接预测、节点标签分类和节点聚类的实验。结果表明，CoANE可以显着优于国家的最先进的ANE模型。
2021-06-17 cs.AI cs.LG cs.SI
Edge-Parallel Graph Encoder Embedding
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Delaware（特拉华大学）
提出边并行图编码器嵌入算法，在Ligra引擎中并行化GEE，利用无锁原子指令避免数据竞争，在18亿条边的图上实现500倍加速。
2024-02-06 cs.DC cs.LG
Improving OOD Generalization of Pre-trained Encoders via Aligned Embedding-Space Ensembles
School of Computing Science（计算机科学学院）；Simon Fraser University（西蒙菲莎大学）
本文针对无标签数据下预训练编码器在分布外数据上泛化差的问题，提出一种无监督对齐嵌入空间的集成方法，并在MNIST上验证其优于单一编码器。
2024-11-20 cs.CV cs.LG
Understanding and Improving Encoder Layer Fusion in Sequence-to-Sequence Learning
University of Macau（澳门大学）；Tencent AI Lab（腾讯 AI 实验室）；The University of Sydney（悉尼大学）
编码器层融合（EncoderFusion）是一种融合序列到序列（Seq 2Seq）模型的所有编码器层（而不是最上层）的技术，已被证明对各种NLP任务有效。然而，目前还不完全清楚为什么以及何时EncoderFusion应该工作。在本文中，我们的主要贡献是进一步理解EncoderFusion。许多先前的研究认为，EncoderFusion的成功来自于利用嵌入在较低编码器层中的表面和语法信息。与它们不同的是，我们发现编码器嵌入层比其他中间编码器层更重要。此外，最上面的解码器层在NLP任务中始终更加关注编码器嵌入层。基于这一观察，我们提出了一种简单的融合方法，SurfaceFusion，只融合softmax层的编码器嵌入层。实验结果表明，SurfaceFusion在几个NLP基准测试中的表现优于EncoderFusion，包括机器翻译、文本摘要和语法错误纠正。它在WMT 16罗马尼亚语-英语和WMT 14英语-法语翻译任务上获得了最先进的性能。广泛的分析表明，SurfaceFusion通过在相关源和目标嵌入之间建立更紧密的关系来学习更具表达力的双语词嵌入。源代码可以在https://github.com/SunbowLiu/SurfaceFusion上免费获得。
2021-03-18 cs.CL cs.LG
Latent Network Embedding via Adversarial Auto-encoders
Beijing University of Technology（北京工业大学）；University of Chinese Academy of Sciences（中国科学院大学）
图自动编码器已被证明是有用的网络嵌入任务。然而，目前的模型只考虑了显式结构，没有探索信息的潜在结构中凝聚在网络。为了解决这个问题，我们提出了一个潜在的网络嵌入模型的基础上对抗图自动编码器。在此框架下，发现潜在结构的问题被公式化为推断的潜在关系，从部分观察。一个潜在的传输矩阵，描述了现有的优势和潜在的关系，来自基于影响级联通过模拟网络上的扩散过程进行采样。此外，由于推理过程可能会带来额外的噪声，我们引入了对抗性训练，作为正则化来去除噪声，提高模型的鲁棒性。在链接预测和节点分类任务上的大量实验表明，与基线模型相比，该模型取得了更好的结果。
2021-09-30 cs.LG cs.SI
Additional Shared Decoder on Siamese Multi-view Encoders for Learning Acoustic Word Embeddings
KAIST（韩国科学技术院）
声学词嵌入-任意长度词的固定维向量表示-在逐例查询口语词检测中引起了越来越多的兴趣。最近，基于文本标签的正字法部分地反映了单词发音之间的语音相似性的事实，已经引入了联合学习声学和文本嵌入的多视图方法。这表明，它是可能的，通过设计的目标，以文本标签以及词段学习判别嵌入。在本文中，我们提出了一种网络架构，扩展了多视图的方法相结合的暹罗多视图编码器与共享的解码器网络，以最大限度地提高嵌入空间中的声学和文本嵌入之间的关系的效果。在多视图三元组丢失和解码丢失的情况下进行区分训练，我们提出的方法在WSJ数据集的声学单词区分任务上取得了更好的性能，平均精度相对提高了11.1%。我们还提出了跨视图字歧视和字级语音识别任务的实验结果。
2019-10-01 cs.IR cs.LG cs.SD
Item Cold Start Recommendation via Adversarial Variational Auto-encoder Warm-up
Tencent News（腾讯新闻）
随机初始化的项目ID嵌入和经过良好训练的暖项目ID嵌入之间的差距使得冷项目难以适应推荐系统，该推荐系统是在历史暖项目数据上训练的。为了缓解新项目推荐的性能下降，新项目ID嵌入的分布应该接近历史热门项目的分布。为了实现这一目标，我们提出了一个对抗变分自动编码器预热模型（AVAEW）来为冷项生成预热项ID嵌入。具体来说，我们开发了一个条件变分自动编码器模型，以利用项目的边信息来生成预热项目ID嵌入。特别是，我们引入了一个对抗模块来加强热身项目ID嵌入分布和历史项目ID嵌入分布之间的对齐。我们通过在公开数据集上的大量离线实验和在真实世界的大规模新闻推荐平台上的在线A/B测试，证明了所提出的方法的有效性和兼容性。
2023-02-28 cs.AI cs.IR cs.LG
AttrE2vec: Unsupervised Attributed Edge Representation Learning
Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）；University of Notre Dame（圣母大学）
表示学习通过（无监督）特征学习克服了通常艰苦和手动的网络特征化，因为它产生了可以应用于各种下游学习任务的嵌入。图上的表示学习的焦点主要集中在浅层（以节点为中心）或深层（基于图）学习方法上。虽然已经有方法可以在具有多类型节点和边的同构和异构网络上工作，但在学习边表示方面存在差距。本文提出了一种新的无监督归纳方法AttrE2Vec，它学习属性网络中边的低维向量表示。它系统地捕捉拓扑接近，属性的亲和力，和功能的相似性的边缘。与当前边缘嵌入研究的进展相反，我们的建议扩展了提供边缘表示的方法的主体，以归纳和无监督的方式捕获图形属性。实验结果表明，与当代方法相比，我们的方法构建了更强大的边缘向量表示，反映在下游任务中的边缘分类和边缘聚类的质量指标（AUC，准确性）更高。这也证实了通过分析低维嵌入投影。
2020-12-29 cs.LG
Truly unsupervised acoustic word embeddings using weak top-down constraints in encoder-decoder models
Stellenbosch University（斯泰伦博斯大学）
我们调查的无监督模型，可以映射一个可变的持续时间的语音段到一个固定的维度表示。在未标记语音是唯一可用资源的设置中，这种声学词嵌入可以形成“零资源”语音搜索、发现和索引系统的基础。大多数现有的无监督嵌入方法仍然使用一些监督，如单词或音素边界。在这里，我们提出了编码器-解码器对应自动编码器（EncDec-CAE），它不是真正的单词段，而是使用自动发现的段：一个无监督的术语发现系统发现相同的未知类型的单词对，并训练EncDec-CAE以重建一个单词作为输入。我们将其与标准的编码器-解码器自动编码器（AE），具有潜在嵌入先验的变分AE和下采样进行比较。EncDec-CAE在两种语言的单词识别任务中的平均精度比其最接近的竞争对手高出24%。
2019-04-15 cs.CL cs.LG cs.SD
Do Location Encoders Capture Spatial Effects? A GeoShapley Benchmark Across Scales
Siebel School of Computing \& Data Science, University of Illinois Urbana-Champaign Urbana IL USA；Department of Geography \& GIS；Siebel School of Computing \& Data Science, University of Illinois Urbana-Champaign
通过GeoShapley解释器，评估11种位置编码器在不同尺度下从嵌入中恢复空间变化系数的能力，发现主系数恢复稳定，次系数依赖尺度，原始坐标基线始终有竞争力。
2026-09-28 cs.LG
Deep learning with sentence embeddings pre-trained on biomedical corpora improves the performance of finding similar sentences in electronic medical records
National Center for Biotechnology Information, National Library of Medicine, National Institutes of Health（美国国立卫生研究院国家医学图书馆国家生物技术信息中心）
句子语义的获取在文本挖掘应用中起着至关重要的作用。尽管在一般领域的相关数据集和模型的开发不断努力，但数据集和模型在生物医学和临床领域都是有限的。BioCreative/OHNLP组织者首次尝试从临床笔记中注释1，068个句子对，并呼吁社区努力解决语义文本相似性（BioCreative/OHNLP STS）挑战。我们使用传统的机器学习和深度学习方法开发模型。对于后期挑战，我们关注两个模型：随机森林和编码器网络。我们应用了在PubMed摘要和MIMIC-III临床笔记上预训练的句子嵌入，并相应地更新了随机森林和编码器网络。官方结果表明，我们最好的提交是八个模型的集合。它达到了0.8328的人相关系数，在来自4个团队的13个提交中表现最好。对于挑战后，随机森林和编码器网络的性能都得到了提高;特别是，编码器网络的相关性提高了约13%。在挑战任务期间，没有端到端的深度学习模型比采用手动制作的功能的机器学习模型具有更好的性能。相比之下，使用在生物医学语料库上预训练的句子嵌入，编码器网络现在实现了~0.84的相关性，高于最初的最佳模型。采用改进版本的随机森林和编码器网络作为输入的集成模型进一步将性能提高到0.8528。具有在生物医学语料库上预训练的句子嵌入的深度学习模型在测试集上实现了最高的性能。
2019-09-06 cs.CL cs.LG stat.ML
Hybrid-Collaborative Augmentation and Contrastive Sample Adaptive-Differential Awareness for Robust Attributed Graph Clustering
College of Information Science and Technology, Beijing University of Chemical Technology（北京化工大学信息科学与技术学院）；Beijing University of Technology（北京工业大学）；The University of Sydney Business School, The University of Sydney（悉尼大学商学院）
针对现有对比属性图聚类忽略边级增强及样本对差异的问题，提出融合混合协同增强与对比样本自适应差分感知的鲁棒聚类方法，在六个基准数据集上性能优于现有最优方法。
2025-10-03 cs.LG
P3CA: Encoder-Agnostic Interpretation of Vision Foundation Model Embeddings via Spatial Probing
School of Computing, Queen’s University（女王大学计算学院）
针对视觉基础模型嵌入难以解释的问题，提出与编码器无关的P3CA方法，通过空间提示实现局部探测，在多类数据上验证其可揭示局部结构、提升病理判别能力等贡献。
2026-08-12 cs.CV cs.LG
