FairMixRep : Self-supervised Robust Representation Learning for Heterogeneous Data with Fairness constraints
Walmart Labs(沃尔玛实验室);Gartner(高德纳);University of Arkansas(阿肯色大学)
由于其复杂的特征流形,在具有数值和分类类型的混合变量的异构空间中的表示学习具有有趣的挑战。此外,无监督设置中的特征学习,没有类别标签和合适的学习损失函数,增加了问题的复杂性。此外,学习的表示和后续预测不应反映对某些敏感群体或属性的歧视行为。拟议的特征映射应保留数据中存在的最大变化,并且需要对敏感变量保持公平。我们建议,在我们的工作的第一阶段,一个有效的编码器-解码器框架来捕获混合域的信息。我们的工作的第二阶段的重点是去偏的混合空间表示,通过添加相关的公平性约束。这确保了在保持公平性的投影之前和之后的表示之间的最小信息损失。学习的最终表示的信息内容和公平性方面已经通过几个指标进行了验证,其中它显示出出色的性能。我们的工作(FairMixRep)从无监督的角度解决了混合空间公平表示学习的问题,并学习了及时,独特和新颖的研究贡献的通用表示。
2020-10-14 cs.AI cs.LG stat.ML
Representation Learning for Heterogeneous Information Networks via Embedding Events
Southern University of Science and Technology(南方科技大学)
网络表示学习(NRL)通过将原始网络映射到低维向量空间来帮助分析大规模网络。然而,现有的NRL方法忽略了关系的属性对异构信息网络(HIN)中对象相关性的影响。为了解决这个问题,本文提出了一个新的NRL框架,称为Event2vec,HIN在表示学习过程中考虑关系的数量和属性。具体地,事件(即,一个完整的语义单元)来表示多个对象之间的关系,并根据关系的数量和性质定义了事件驱动的一阶和二阶邻近度来度量对象的相关性。我们从理论上证明了事件驱动的邻近性如何通过Event2vec在嵌入空间中保持,Event2vec利用事件嵌入来促进学习对象嵌入。实验研究表明,Event2vec的优势,国家的最先进的算法在四个现实世界的数据集和三个网络分析任务(包括网络重建,链接预测,节点分类)。
2019-02-12 cs.LG cs.SI stat.ML
Federated Model Heterogeneous Matryoshka Representation Learning
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);The University of British Columbia(不列颠哥伦比亚大学)
针对模型异构联邦学习中知识交换受限的问题,提出FedMRL方法,通过辅助同构模型与轻量级投影器融合表示,并构建多维多粒度的Matryoshka表示,显著提升了模型准确率并降低了通信与计算成本。
2024-06-01 cs.DC cs.LG
RepUCB: Representation Learning-Based UCB for Heterogeneous Multi-Task Linear Bandits
Qingdao University(青岛大学);Iowa State University(爱荷华州立大学)
本文提出了一种多任务线性老虎机中的共享表示学习方法,通过低秩共享表示提升决策效率,理论分析表明其在样本效率上优于独立解决多个任务。
2026-09-23 cs.LG
Disentangled Hyperbolic Representation Learning for Heterogeneous Graphs
Nankai University(南开大学);Renmin University of China(中国人民大学)
针对异构图中结构与语义信息混合及嵌入空间分布失配问题,提出 Dis-H²GCN,通过边类型独立消息传播、互信息约束和双曲几何实现解耦表示,并在五个数据集的两项任务上验证其优越性。
2024-06-14 cs.LG
Effective Urban Region Representation Learning Using Heterogeneous Urban Graph Attention Network (HUGAT)
Korea Advanced Institute of Science and Technology(韩国科学技术院)
揭示塑造城市环境的隐藏模式对于了解其动态并使城市更智能至关重要。最近的研究表明,学习城市区域的表征可以是一种有效的策略,以揭示城市地区的内在特征。然而,现有的研究缺乏纳入城市数据源的多样性。在这项工作中,我们提出了异构的城市图形注意力网络(HUGAT),它结合了不同的城市数据集的异质性。在HUGAT中,异质城市图(HUG)在一个单一的图形结构中包含了地理空间和时间的人的运动变化。给定一个HUG,设计一组元路径来捕获丰富的城市语义作为节点之间的复合关系。区域嵌入使用异构图注意力网络(HAN)。HUGAT旨在同时考虑城市地理空间和流动性变化的多个学习目标。在我们对纽约市数据的广泛实验中,HUGAT的表现优于所有最先进的模型。此外,它在犯罪,平均个人收入和自行车流量以及空间聚类任务的各种预测任务中表现出强大的泛化能力。
2022-02-18 cs.LG
Representation Learning for Medical Data
Military University of Technology in Warsaw(华沙军事技术大学)
我们提出了一个医学诊断领域的表示学习框架。它是基于异构网络为基础的诊断数据模型,以及修改后的metapath 2 vec算法学习潜在的节点表示。我们比较了所提出的算法与其他表示学习方法在两个实际案例研究:症状/疾病分类和疾病预测。我们观察到一个显着的性能提升,在这些任务导致学习表示的域数据的异构网络的形式。
2020-01-22 cs.LG cs.NE stat.ML
Heterformer: Transformer-based Deep Node Representation Learning on Heterogeneous Text-Rich Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对异构富文本网络中节点文本缺失和多类型结构难以联合建模的问题,提出 Heterformer,在统一 Transformer 中融合文本语义与异构结构信息,并在三项任务和三个大规模数据集上持续显著超越基线。
2023-06-04 cs.CL cs.LG
Contrastive Balancing Representation Learning for Heterogeneous Dose-Response Curves Estimation
Zhejiang University(浙江大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Peking University(北京大学);Emory University(埃默里大学);Tsinghua University(清华大学);Didi Chuxing(滴滴出行)
针对连续治疗下协变量独立性约束导致信息丢失的问题,提出CRNet网络,通过对比平衡表示学习实现协变量与治疗及潜在反应的条件独立性,从而无偏估计异质剂量-反应曲线,实验证明其显著优于现有方法。
2024-03-21 cs.LG
CORD: Learning Reusable Degradation Representations Across Heterogeneous Physical Systems
CentraleSupélec, Université Paris-Saclay(巴黎中央理工-高等电力学院,巴黎萨克雷大学)
CORD通过联合预训练跨异构物理系统学习可复用退化表征,结合类型特定接口与共享主干,在轴承、电池等数据集上优于单域模型,并改善跨单元生命周期一致性。
2026-10-01 cs.LG
Heterogeneous Contrastive Learning: Encoding Spatial Information for Compact Visual Representations
University of Science and Technology of China(中国科学技术大学);Huawei Inc.(华为公司);Shanghai Jiao Tong University(上海交通大学);Chinese Academy of Sciences(中国科学院)
对比学习在自监督视觉表示学习中取得了巨大的成功,但现有的方法大多忽略了空间信息,而空间信息往往是视觉表示的关键。本文提出了异构对比学习(HCL),这是一种有效的方法,它在编码阶段加入空间信息,以缓解对比目标和强数据增强操作之间的学习不一致。我们证明了HCL的有效性,表明(i)它在实例判别中实现了更高的准确性,(ii)它在一系列下游任务中超过了现有的预训练方法,同时将预训练成本降低了一半。更重要的是,我们表明,我们的方法实现了更高的效率,在视觉表示,从而提供了一个关键的信息,以启发未来的研究自我监督的视觉表示学习。
2020-11-19 cs.CV cs.LG
HeMI: Multi-view Embedding in Heterogeneous Graphs
University of Minnesota(明尼苏达大学)
许多现实世界的图涉及不同类型的节点和节点之间的关系,本质上是异构的。异构图的表示学习将异构图丰富的结构和语义嵌入到低维空间中,便于进行节点分类、节点聚类和链接预测等数据采掘任务。在本文中,我们提出了一个自我监督的方法,学习HG表示依赖于不同的HG结构语义(元路径)之间的知识交换和发现。具体来说,通过最大化元路径表示的互信息,我们促进元路径信息的融合和共识,并确保全球共享的语义编码。通过对节点分类、节点聚类和链接预测任务的广泛实验,我们表明,对于所有任务,所提出的自监督方法的性能均优于竞争方法,并将其提高了1%和高达10%。
2021-09-14 cs.LG
Hybrid Micro/Macro Level Convolution for Heterogeneous Graph Learning
Beihang University(北京航空航天大学);University of Tennessee(田纳西大学);Rutgers University(罗格斯大学)
异构图在实际场景中是普遍存在的,其中每个图由多种类型的节点和边组成。异构图上的表示学习旨在获得既能保持节点属性又能保持关系信息的低维节点表示。然而,大多数现有的图卷积方法都是针对同构图设计的,因此不能处理异构图。最近的一些方法设计的异构图也面临着几个问题,包括异构属性的利用不足,结构信息丢失,缺乏可解释性。在本文中,我们提出了HGConv,一种新的异构图卷积方法,通过混合微观/宏观级卷积操作来学习异构图上的综合节点表示。与现有方法不同,HGConv可以直接在微观和宏观层面上对异构图的内在结构进行卷积:微观层面的卷积可以学习同一关系中节点的重要性,而宏观层面的卷积可以区分不同关系之间的细微差异。混合策略使HGConv能够充分利用具有适当可解释性的异构信息。此外,加权剩余连接的设计,聚合的固有属性和邻居信息的焦点节点自适应。对各种任务的大量实验不仅证明了HGConv优于现有方法,而且还证明了我们的图形分析方法的直观可解释性。
2020-12-29 cs.LG
Self-Supervised Learning of Contextual Embeddings for Link Prediction in Heterogeneous Networks
Virginia Tech(弗吉尼亚理工大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
用于异构网络的表示学习方法为每个节点产生低维向量嵌入,该低维向量嵌入对于涉及该节点的所有任务通常是固定的。许多现有的方法集中于以一种对正在使用节点的下游应用不可知的方式获得节点的静态向量表示。然而,实际上,诸如链接预测的下游任务需要特定的上下文信息,该上下文信息可以从与作为任务的输入提供的节点相关的子图中提取。为了应对这一挑战,我们开发了SLiCE,一个框架桥接静态表示学习方法,使用全局信息从整个图与本地化的注意力驱动机制,学习上下文节点表示。我们首先通过引入高阶语义关联和掩码节点,以自监督的方式预训练我们的模型,然后针对特定的链接预测任务微调我们的模型。我们不是通过聚合来自通过元路径连接的所有语义邻居的信息来训练节点表示,而是自动学习不同元路径的组成,这些元路径表征特定任务的上下文,而不需要任何预定义的元路径。在几个公开的基准网络数据集上,SLiCE显著优于静态和上下文嵌入学习方法。我们还解释了语义关联矩阵,并提供其效用和相关性,使成功的链接预测网络中的异构节点之间。
2021-03-21 cs.LG cs.SI stat.ML
AGHINT: Attribute-Guided Representation Learning on Heterogeneous Information Networks with Transformer
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Nanjing FiberHome Tiandi Co., Ltd.(南京烽火天地有限公司);Department of Data Science and Artificial Intelligent, Faculty of Information Technology, Monash University(莫纳什大学信息技术学院数据科学与人工智能系)
针对异质信息网络中节点属性差异导致异构图神经网络节点分类性能下降的问题,提出属性引导的Transformer模型AGHINT,通过融入高阶相似邻居特征、按属性差异调整消息传递提升性能,在三个真实基准上超越现有最优水平。
2024-04-16 cs.AI cs.LG
PolygonGNN: Representation Learning for Polygonal Geometries with Heterogeneous Visibility Graph
Emory University(埃默里大学)
本文提出PolygonGNN框架,通过异构可见性图、生成树采样和旋转-平移不变表示,解决多面体几何表示学习中内部及多边形间关系建模不足的问题,并在五个数据集上验证其有效性。
2025-04-09 cs.CV cs.LG
A Multi-Semantic Metapath Model for Large Scale Heterogeneous Network Representation Learning
College of Computer Science, Zhejiang University(浙江大学计算机科学与技术学院);Alibaba Group(阿里巴巴集团)
网络嵌入已被广泛研究,用于在各种实际应用中建模和管理数据。然而,大多数现有的工作集中在单一类型的节点或边的网络,与有限的考虑节点和边的不平衡分布。在实际应用中,网络通常由数十亿个具有丰富属性的各种类型的节点和边组成。为了解决这些问题,在本文中,我们提出了一个多语义元路径(MSM)模型的大规模异构表示学习。具体来说,我们生成基于多语义元路径的随机游走来构建异构邻域来处理不平衡分布,并提出了一个统一的嵌入学习框架。我们在两个具有挑战性的数据集上对所提出的框架进行了系统的评估:亚马逊和阿里巴巴。实验结果表明,MSM在链接预测方面可以取得相对显着的增益。
2020-07-19 cs.LG cs.SI
motif2vec: Motif Aware Node Representation Learning for Heterogeneous Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Visa Research(Visa研究院)
近年来,人们对图形和网络上的机器学习兴趣激增,其应用范围从车辆网络设计到物联网流量管理再到社交网络推荐。网络中的监督机器学习任务,如节点分类和链接预测,要求我们执行特征工程,这是已知的,并被认为是应用机器学习成功的关键。致力于表示学习的研究工作,特别是使用深度学习的表示学习,已经向我们展示了从大量潜在噪声的原始数据中自动学习相关特征的方法。然而,大多数的方法是不足以处理异构的信息网络,这几乎代表了大多数现实世界的数据。这些方法不能很好地保留多种类型的节点和链接的结构和语义,捕获高阶异构连接模式,并确保生成表示的节点的覆盖。我们提出了一种新的高效算法,motif 2 vec,学习异构网络的节点表示或嵌入。具体来说,我们利用高阶的,重复的,和统计上显著的网络连接模式的模体的形式,将原始图转换为模体图(S),进行有偏随机游走,以有效地探索高阶邻域,然后采用异构跳跃-gram模型来生成嵌入。与以前使用不同的图元结构来引导随机游走的努力不同,我们使用图基序来转换原始网络并保持异质性。我们评估所提出的算法对多个现实世界的网络从不同的领域和现有的国家的最先进的方法对多类节点分类和链接预测任务,并证明其一贯优于以前的工作。
2019-08-22 cs.LG cs.SI
Learning Improved Representations by Transferring Incomplete Evidence Across Heterogeneous Tasks
Institute of Informatics
为未标记的数据获取基础事实标签可能是一个昂贵的过程,因为它通常需要容易出错的手工劳动。因此,由于手工数据标记的局限性,可用的标记数据量日益减少。可以通过执行自动标记或众包注释程序来增加标记数据样本的数量。然而,它们通常会在标签集中引入噪声或不确定性,这会导致监督式深度学习方法的性能下降。另一方面,弱监督方法在嘈杂的标签集期间仍然是鲁棒的,或者即使在少量标记数据的情况下也是有效的。在本文中,我们评估的有效性的表示学习方法,使用外部分类证据称为“证据转移”,对低量的相应的证据称为不完整的证据。证据转移是一种针对外部未知分类证据的鲁棒解决方案,这些证据可能会引入噪声或不确定性。在我们的实验评估中,证据转移被证明是有效的和强大的对不同程度的不完整性,两种类型的不完整证据。
2019-12-22 cs.AI cs.LG stat.ML
HierPromptLM: A Pure PLM-based Framework for Representation Learning on Heterogeneous Text-rich Networks
Nanyang Technological University(南洋理工大学);HEC Paris(巴黎高等商学院)
针对异构文本富网络表示学习,提出纯PLM框架HierPromptLM,通过层次化提示模块和两个定制预训练任务统一建模文本与结构信息,在节点分类和链接预测上分别提升6.08%和10.84%。
2025-01-22 cs.LG
Dynamic Scenario Representation Learning for Motion Forecasting with Heterogeneous Graph Convolutional Recurrent Networks
Shanghai AI Lab(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学)
由于动态场景中交互的复杂性和变化性,运动预测是自动驾驶中的一个具有挑战性的问题。大多数现有的作品利用静态道路图来描述场景,并在动态场景中建模不断变化的时空依赖关系方面受到限制。在本文中,我们诉诸动态异构图建模的情况下。各种场景组件,包括车辆(代理)和车道,多种类型的交互,以及它们随时间的变化联合编码。此外,我们设计了一种新的异构图卷积递归网络,聚合不同的交互信息并捕获它们的演化,以学习利用动态图中的内在时空依赖性并获得动态场景的有效表示。最后,与运动预测解码器,我们的模型预测现实和多模态的未来轨迹的代理,并优于国家的最先进的已发表的作品在几个运动预测基准。
2023-03-08 cs.AI cs.CV cs.LG
On Representation Learning for Scientific News Articles Using Heterogeneous Knowledge Graphs
École polytechnique fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
在虚假信息和信息膨胀的时代,对新闻的公信力进行评估至关重要。然而,考虑到新闻中的参考文献有限,事实核查可能具有挑战性。通过利用与新闻文章相关的知识图谱可以超越这一挑战。在这项工作中,我们提出了一种方法来创建科学的新闻文章表示建模的有向图之间的科学新闻文章和引用的科学出版物。用于实验的网络由科学新闻文章,它们的主题,引用的研究文献及其相应的作者组成。我们实现并提出了三种不同的方法:1)基线关系图卷积网络(R-GCN),2)异构图神经网络(HetGNN)和3)异构图Transformer(HGT)。我们测试这些模型在下游任务的链接预测上:a)新闻文章-论文链接和b)新闻文章-文章主题链接。结果表明,图神经网络方法在知识追踪和科技新闻可信度评估领域具有广阔的应用前景。
2021-04-12 cs.LG cs.SI
Jointly Learning Representations for Map Entities via Heterogeneous Graph Contrastive Learning
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);School of Economics and Management, Beihang University(北京航空航天大学经济管理学院)
针对现有地图实体表示学习方法仅关注单一类别且不一致的问题,提出HOME-GCL,利用异构图对比学习统一学习道路段和地块的表示,实验证明其优越性。
2024-02-09 cs.LG
When Heterophily Meets Heterogeneous Graphs: Latent Graphs Guided Unsupervised Representation Learning
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院)
本文针对异构图表示学习中常被忽视的语义异配性问题,提出LatGRL框架,通过构建同配与异配潜在图并结合自适应双频语义融合机制,实现高效且可扩展的无监督表示学习。
2024-09-01 cs.AI cs.LG cs.SI
HGAurban: Heterogeneous Graph Autoencoding for Urban Spatial-Temporal Learning
The University of Hong Kong(香港大学);The University of Queensland(昆士兰大学);University of California, Los Angles(加州大学洛杉矶分校);National University of Singapore(新加坡国立大学)
提出HGAurban异构时空图掩码自编码器,通过生成式自监督学习联合处理节点特征与图结构,有效克服数据噪声和稀疏性问题,在多项时空挖掘任务中优于现有方法。
2025-08-14 cs.LG
PGB: A PubMed Graph Benchmark for Heterogeneous Network Representation Learning
Department of Computer Science, Emory University(埃默里大学计算机科学系)
针对生物医学文献异质性捕捉研究不足的问题,提出含丰富元数据、三类评估任务的PubMed图基准PGB,整合元数据并公开,用于评估异质图嵌入效果。
2023-08-25 cs.LG cs.SI
Autoencoder-based Representation Learning from Heterogeneous Multivariate Time Series Data of Mechatronic Systems
Leibniz University Hannover(莱布尼茨汉诺威大学)
现代机电一体化系统的传感器和控制数据通常以具有不同采样率和值范围的异构时间序列的形式获得。来自监督机器学习领域的合适的分类和回归方法已经存在用于预测任务,例如在状态监测的上下文中,但是它们的性能随着标记的训练数据的数量而强烈地缩放。它们的提供往往与人小时或额外传感器形式的高工作量有关。在本文中,我们提出了一种无监督的特征提取使用自动编码器网络,专门解决数据库的异构性,并减少了标记的训练数据的量相比,现有的方法。三个公开的数据集的机电一体化系统从不同的应用领域来验证结果。
2021-04-08 cs.AI cs.LG eess.SP
CTRL: Continuous-Time Representation Learning on Temporal Heterogeneous Information Network
University of Alberta(阿尔伯塔大学);Tencent(腾讯);Sun Yat-Sen University(中山大学)
针对现有时序异构图表示学习方法归纳能力不足、忽略高阶拓扑演化的问题,提出整合异质注意力、边基霍克斯过程和动态中心性的CTRL模型,通过未来子图预测训练,在三个基准数据集上性能优于现有最优方法。
2024-05-11 cs.AI cs.LG cs.SI
Fed-REACT: Federated Representation Learning for Heterogeneous and Evolving Data
Department of Electrical and Computer Engineering(电气与计算机工程系);University of Texas at Austin(德克萨斯大学奥斯汀分校);Toyota InfoTech Lab(丰田信息技术实验室)
针对联邦学习中客户端数据异构和动态演化导致性能下降的问题,提出Fed-REACT框架,通过两阶段表示学习与演化聚类实现客户端分组和任务模型训练,理论分析并实证验证其准确性和鲁棒性。
2025-09-08 cs.DC cs.LG
HI-PMK: A Data-Dependent Kernel for Incomplete Heterogeneous Data Representation
针对现实机器学习中不完全异构数据处理的难题,提出无需插补的HI-PMK核方法,通过概率质量相异性度量和MaxU缺失感知策略适配多类特征与全部缺失机制,在15+基准数据集上性能优于传统方法,且具隐私保护和可扩展性。
2025-07-29 cs.LG
Representation Learning with Mutual Influence of Modalities for Node Classification in Multi-Modal Heterogeneous Networks
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院);Binzhou Institute of Technology(滨州职业技术学院)
本文提出HGNN-IMA模型,通过嵌套模态间注意力与模态对齐,在多模态异质网络中实现自适应融合与节点分类,实验验证其优越性。
2025-06-19 cs.AI cs.LG
Refining Latent Representations: A Generative SSL Approach for Heterogeneous Graph Learning
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
针对异构图学习中生成式自监督学习潜力未充分挖掘的问题,提出HGVAE方法,通过基于潜在表示的对比任务和渐进式负样本生成机制来Refining Latent Representations,迫使模型学习高质量表示,在多个SOTA基线对比中展现出优越性。
2024-04-20 cs.AI cs.LG
Heterogeneous Domain Adaptation with Adversarial Neural Representation Learning: Experiments on E-Commerce and Cybersecurity
University of South Florida(南佛罗里达大学);Hefei University of Technology(合肥工业大学);University of Arizona(亚利桑那大学)
针对异构域适应中现有方法可迁移性低的问题,提出异构对抗神经域适应框架HANDA,通过统一神经网络实现特征与分布对齐、对抗核学习达成域不变性,在电商基准及暗网市场场景中性能显著优于现有方法。
2022-05-05 cs.AI cs.LG
FedClassAvg: Local Representation Learning for Personalized Federated Learning on Heterogeneous Neural Networks
Seoul National University(首尔国立大学)
个性化联邦学习旨在允许众多客户端训练个性化模型,同时以通信高效的方式参与协作训练,而无需交换私有数据。然而,许多个性化的联邦学习算法假设客户端具有相同的神经网络架构,而异构模型的算法仍然没有得到充分研究。在这项研究中,我们提出了一种新的个性化联邦学习方法称为联邦分类器平均(FedClassAvg)。用于监督学习任务的深度神经网络由特征提取器和分类器层组成。FedClassAvg聚合分类器权重作为特征空间上决策边界的协议,以便具有非独立和相同分布(非iid)数据的客户端可以了解稀缺标签。此外,局部特征表示学习被应用于稳定决策边界和提高客户端的局部特征提取能力。虽然现有的方法需要收集辅助数据或模型权重来生成副本,但FedClassAvg只需要客户端与几个完全连接的层进行通信,这是非常高效的通信。此外,FedClassAvg不需要额外的优化问题,如知识转移,这需要密集的计算开销。我们通过大量的实验评估了FedClassAvg,并证明它在异构个性化联邦学习任务上优于当前最先进的算法。
2022-10-27 cs.AI cs.DC cs.LG
Heterogeneous Network Representation Learning: A Unified Framework with Survey and Benchmark
Emory University(埃默里大学);Carnegie Mellon University(卡内基梅隆大学);University of Illinois, Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Los Angeles(加州大学洛杉矶分校)
由于现实世界中的对象及其交互通常是多模态和多类型的,异构网络已被广泛用作传统同构网络(图)的更强大,更现实和更通用的超类。同时,表示学习(\aka ~嵌入)最近得到了深入研究,并显示出对各种网络挖掘和分析任务的有效性。在这项工作中,我们的目标是提供一个统一的框架,深入总结和评估现有的研究异构网络嵌入(HNE),其中包括但不限于正常的调查。由于已经有一个广泛的机构HNE算法,作为这项工作的第一个贡献,我们提供了一个通用的范式系统的分类和分析的优点,现有的各种HNE算法。此外,现有的HNE算法,虽然大多声称是通用的,但通常在不同的数据集上进行评估。可以理解的是,由于HNE的应用程序的青睐,这种间接的比较在很大程度上阻碍了提高任务性能的有效数据预处理和新颖的技术设计的适当属性,特别是考虑到各种可能的方式来构建一个异构网络从现实世界的应用程序数据。因此,作为第二个贡献,我们创建了四个基准数据集,这些数据集具有关于规模,结构,属性/标签可用性和\etc的各种属性。从不同的来源,对HNE算法的方便和公平的评价。作为第三个贡献,我们仔细重构和修改的实现,并创建友好的接口,为13个流行的HNE算法,并提供了多个任务和实验设置的全面比较。
2020-12-17 cs.LG cs.SI
Hetero$^2$Net: Heterophily-aware Representation Learning on Heterogenerous Graphs
Sun Yat-sen University(中山大学);Ant Group(蚂蚁集团)
针对异构图的异质性问题,提出异质性感知的Hetero$^2$Net,结合掩码元路径与标签预测任务,有效处理同质与异质异构图,在节点分类任务上优于强基线。
2023-10-18 cs.AI cs.LG
A review on different techniques used to combat the non-IID and heterogeneous nature of data in FL
Nanyang Technological University(南洋理工大学)
本文综述了联邦学习在医疗和金融等隐私敏感领域的应用背景,深入分析了边缘设备间数据非独立同分布(non-IID)与异构性导致的模型收敛挑战,并探讨了当前旨在解决这些问题的算法。
2024-01-01 cs.LG
Heterogeneous Deep Graph Infomax
Florida State University(佛罗里达州立大学);JD Finance America Corporation(京东金融美国公司)
图表示学习是学习既保留节点属性又保留结构信息的通用节点表示。导出的节点表示可以用于服务于各种下游任务,例如节点分类和节点聚类。当一个图是异构的,问题变得更具挑战性比同构图节点学习问题。受新兴的基于信息理论的学习算法的启发,本文提出了一种用于异构图表示学习的无监督图神经网络Heterogeneous Deep Graph Infomax(HDGI)。我们使用元路径结构来分析异构图中涉及语义的连接,并利用图卷积模块和语义级注意力机制来捕获局部表示。通过最大化局部-全局互信息,HDGI有效地学习可以在下游图相关任务中使用的高级节点表示。实验结果表明,HDGI在分类和聚类任务上都明显优于最先进的无监督图表示学习方法。通过将学习到的表示馈送到参数模型(如逻辑回归)中,我们甚至在节点分类任务中实现了与最先进的监督端到端GNN模型相比相当的性能。
2020-11-13 cs.LG cs.SI stat.ML
Heterogeneous domain adaptation: An unsupervised approach
University of Technology Sydney(悉尼科技大学)
领域自适应利用一个领域(源领域)的知识来提高另一个领域(目标领域)的学习效率。现有的异构领域自适应研究进展相对较好,但仅限于目标领域包含至少几个标记实例的情况。相比之下,具有未标记目标域的异质领域自适应尚未得到很好的研究。为了促进这一新兴领域的研究,本文提出:(1)一个无监督的知识转移定理,保证知识转移的正确性;(2)一个基于主角度的度量来测量两对域之间的距离:一对包括原始源和目标域,另一对包括两个域的两个齐次表示。该定理和度量已被实现在一个创新的传输模型,称为格拉斯曼线性单调映射测地线流内核(GLG),这是专门为异构无监督领域自适应(HeUDA)设计的。线性单调映射满足定理的条件,并用于构造非均匀域的齐次表示。该度量显示了同质表示在原始源域和目标域中保留信息的程度。通过最小化所提出的度量,GLG模型学习异构域的同构表示,并通过测地线流核通过这些学习到的表示来传输知识。为了评估该模型,五个公共数据集被重组为三个应用程序的十个HeUDA任务:癌症检测,信用评估和文本分类。实验表明,该模型提供了优于现有基线的性能。
2020-02-10 cs.LG stat.ML
Identifiable Energy-based Representations: An Application to Estimating Heterogeneous Causal Effects
University of Cambridge(剑桥大学);UCLA(加州大学洛杉矶分校);The Alan Turing Institute(艾伦图灵研究所)
条件平均治疗效应(CATE)使我们能够了解大量个体的效应异质性。然而,典型的CATE学习者假设所有的混杂变量都被测量,以使CATE是可识别的。这一要求可以通过收集许多变量来满足,但代价是增加了估计CATE的样本复杂性。为了解决这个问题,我们提出了一个基于能量的模型(EBM),学习低维表示的变量,采用噪声对比损失函数。与我们的EBM,我们引入了一个预处理步骤,该预处理步骤对任何现有的学习估计CATE开发的维数灾难。我们证明,我们的EBM保持部分可识别的表示到一些普遍的常数,以及具有普遍的逼近能力。这些属性使表示收敛并保持CATE估计一致。实验证明了表征的收敛性,并且表明在我们的表征上估计CATE的性能优于通过其他降维方法获得的变量或表征。
2022-01-30 cs.LG stat.ML
Molecular Representation Learning via Heterogeneous Motif Graph Neural Networks
Iowa State University(爱荷华州立大学)
我们考虑分子图的特征表示学习问题。图神经网络已广泛应用于分子图的特征表示学习。然而,大多数现有的方法单独处理分子图,而忽略了它们的连接,如基序水平的关系。我们提出了一种新的分子图表示学习方法,通过构建异构模体图来解决这个问题。特别是,我们建立了一个异构的模体图,包含模体节点和分子节点。每个基序节点对应于从分子中提取的基序。然后,我们提出了一个异构模体图神经网络(HM-GNN)学习的异构模体图中的每个节点的特征表示。我们的异构基序图还可以实现有效的多任务学习,特别是对于小分子数据集。为了解决潜在的效率问题,我们建议使用边缘采样器,这可以显着减少计算资源的使用。实验结果表明,我们的模型始终优于以前的国家的最先进的模型。在多任务设置下,我们的方法在组合数据集上的良好表现为小分子数据集提供了一种新的学习范式。最后,我们证明了我们的模型通过使用我们的边缘采样器,以更少的计算资源实现了类似的性能。
2022-06-06 cs.LG
Heterogeneous Graph Neural Network with Multi-view Representation Learning
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Huazhong University of Science and Technology(华中科技大学);Singapore Management University(新加坡管理大学)
用于异构图嵌入的图神经网络通过挖掘异构图的异构性和语义,将节点投影到低维空间中。然而,现有的异构图嵌入方法一方面对特定语义下的局部结构建模不足,或者在聚合信息时忽略了局部结构的异构性,另一方面没有综合集成多种语义的表示以获得通用的节点嵌入.为了解决这个问题,我们提出了一个异构图神经网络与多视图表示学习(MV-HetGNN)的异构图嵌入通过引入多视图表示学习的思想。该模型包括节点特征转换、视图特定的自我图编码和自动多视图融合,以彻底学习复杂的结构和语义信息,生成全面的节点表示。在三个真实世界的异构图数据集上进行的大量实验表明,所提出的MV-HetGNN模型在各种下游任务中始终优于所有最先进的GNN基线,例如,节点分类、节点聚类和链接预测。
2022-11-30 cs.AI cs.LG
HeSRN: Representation Learning On Heterogeneous Graphs via Slot-Aware Retentive Network
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Zayed University(扎耶德大学);Higher Colleges of Technology(高等技术学院);Monash University(莫纳什大学);Hangzhou Dianzi University(杭州电子科技大学);University of Southampton(南安普顿大学)
HeSRN通过槽感知保留网络高效建模异构图,解决语义纠缠和计算复杂度问题,提升节点分类性能。
2025-12-16 cs.LG
A review of heterogeneous data mining for brain disorders
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Worcester Polytechnic Institute(伍斯特理工学院)
随着神经影像学技术的快速发展,脑功能障碍识别的研究已成为数据采掘领域的一个新兴领域。脑疾病数据对数据采掘研究提出了许多独特的挑战。例如,神经成像实验产生的原始数据是张量表示的,具有高维、结构复杂和非线性可分性的典型特征。此外,可以从张量数据构建大脑连接网络,嵌入大脑区域之间的微妙相互作用。其他临床指标通常可以从不同角度反映疾病状态。预计在张量数据和脑网络数据中整合互补信息,并结合其他临床参数,将对研究疾病机制和为治疗干预提供信息具有潜在的变革性。许多研究工作都致力于这一领域。它们在基于张量的建模、子图模式挖掘、多视图特征分析等方面取得了巨大的成功。在本文中,我们回顾了一些最近的数据采掘方法,用于分析大脑疾病。
2015-08-05 cs.CE cs.DB cs.LG
Hierarchical Target-Attentive Diagnosis Prediction in Heterogeneous Information Networks
University of California, Los Angeles(加州大学洛杉矶分校)
我们介绍了一种新的模型,诊断预测使用电子健康记录(EHR)表示为异构信息网络。最近对EHR建模的研究表明,为了避免手动特征选择的需要,在自动学习临床记录的表示方面取得了成功。然而,这些表示通常是在没有针对所预测的不同可能目标的特异性的情况下学习和聚合的。我们的模型引入了一个目标感知的分层注意力机制,使它能够学习参加最重要的临床记录时,聚集他们的代表预测的诊断。我们使用公开的基准数据集来评估我们的模型,并证明与当前最先进的技术相比,使用目标感知注意力显着提高了性能。此外,我们提出了一种将非分类数据纳入我们的预测的方法,并证明这种技术可以进一步提高性能。最后,我们证明了我们提出的模型的预测是很容易解释的。
2019-12-22 cs.LG stat.ML
TH-GNN: Heterogeneous Temporal Graph Neural Networks for LLM-Agent Shilling Attack Detection
JAIN (Deemed to be University)(JAIN(被认定大学));Zayed University(扎耶德大学)
本文提出TH-GNN,一种异质性时序图神经网络,联合建模时序、结构与语义信号,在5类攻击族和4个基准数据集上检测LLM智能体刷单攻击,总体平均F1值达0.870,性能优于纯文本基线模型。
2026-08-24 cs.CL cs.LG
Seq-HGNN: Learning Sequential Node Representation on Heterogeneous Graph
Beihang University(北京航空航天大学);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所);BOSS Zhipin(BOSS直聘);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
Seq-HGNN通过序列化节点表示和异构表示融合模块解决现有HGNN中单一向量表示导致的信息丢失问题,在多个基准数据集上实现了准确性和效率的双重提升。
2023-08-12 cs.LG
Heterogeneous Graph Representation Learning with Relation Awareness
Beihang University(北京航空航天大学);the University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hong Kong University of Science and Technology(香港科技大学)
异构图上的表示学习旨在获得有意义的节点表示,以促进各种下游任务,如节点分类和链接预测。现有的异构图学习方法主要是通过节点表示的传播机制来开发的。很少有人努力研究关系的作用,以提高更细粒度的节点表示的学习。事实上,合作学习关系的语义表示并辨别不同关系类型的节点表示是很重要的。为此,在本文中,我们提出了一种新的异构图神经网络,即R-HGNN,学习异构图上的节点表示在细粒度的水平,考虑关系感知的特点。具体来说,首先设计一个专用的图卷积组件,以分别从每个关系特定的图中学习唯一的节点表示。在此基础上,开发了跨关系消息传递模块,以提高节点表示在不同关系间的交互性。此外,以逐层方式学习关系表示以捕获关系语义,其用于指导节点表示学习过程。此外,一个语义融合模块,提出了聚合关系感知节点表示成一个紧凑的表示与学习的关系表示。最后,我们对各种图学习任务进行了广泛的实验,实验结果表明,我们的方法在所有任务中始终优于现有方法。
2022-04-17 cs.LG cs.SI
HINormer: Representation Learning On Heterogeneous Information Networks with Graph Transformer
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);Salesforce Research Asia(Salesforce亚洲研究院);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
最近的研究强调了基于消息传递的图神经网络(GNN)的局限性,例如,有限的模型表现力、过度平滑、过度挤压等。为了缓解这些问题,已经提出了图Transformers(GT),其在允许消息传递到甚至跨整个图的更大覆盖范围的范例中工作。基于全局范围的注意力机制,GT在同构图上表现出了表示学习的超级能力。然而,在异构信息网络(HINs)的GT的调查仍然是开发不足。特别是,由于异质性的存在,HIN显示出不同的数据特征,因此需要不同的处理。为了弥补这一差距,在本文中,我们研究了表示学习的HIN与图Transformer,并提出了一种新的模型HINormer,它利用了一个更大范围的聚合机制的节点表示学习。特别是,在两个主要模块的协助下,HINormer采用局部结构编码器和异构关系编码器,能够同时捕获节点在HIN上的结构信息和异构信息,实现全面的节点表示。我们在四个HIN基准数据集上进行了广泛的实验,结果表明我们提出的模型可以超越最先进的。
2023-03-03 cs.LG
Few-shot Learning on Heterogeneous Graphs: Challenges, Progress, and Prospects
Macquarie University(麦考瑞大学)
本文全面综述了异构图上少样本学习(FLHG)的研究进展,将其方法形式化并分为单异质性、双异质性和多异质性三类,探讨了挑战、最新发展及未来方向,为首篇系统性综述。
2024-03-10 cs.LG
Graph Neural Networks for Transmission Grid Topology Control: Busbar Information Asymmetry and Heterogeneous Representations
Radboud University(拉德博德大学);TenneT TSO(TenneT 运营商)
针对输电网拓扑控制中同质图表示存在的母线信息不对称问题,提出异质图表示方法,实验证明异质GNN在分布内配置下表现最优,且两类GNN泛化能力均优于FCNN基线。
2025-10-03 cs.AI cs.LG stat.ML
Deep Unified Representation for Heterogeneous Recommendation
Alibaba Group(阿里巴巴集团);Ant Financial Services Group(蚂蚁金融服务集团);University of Science and Technology of China(中国科学技术大学)
推荐系统一直是学术界和工业界广泛研究的课题。以往的工作主要集中在同类推荐系统上,对于异构推荐系统的研究进展甚微。然而,异构的建议,例如,推荐不同类型的物品,包括产品、视频、名人购物笔记等,如今占主导地位。现有技术的方法不能利用来自不同类型的项目的属性,因此存在数据稀疏性问题。联合表示具有不同特征空间的项目确实是相当具有挑战性的。为了解决这个问题,我们提出了一个基于核的神经网络,即深度统一表示(或DURation)的异构推荐,联合建模异构项目的统一表示,同时保持其原始的特征空间拓扑结构。理论上,我们证明了所提出的模型的表示能力。此外,我们在真实世界的数据集上进行了广泛的实验。实验结果表明,在统一表示的情况下,我们的模型取得了显着的改善(例如,AUC评分提高4.1% ~ 34.9%,在线CTR提高3.7%)。
2022-01-26 cs.IR cs.LG
MAPN: Enhancing Heterogeneous Sparse Graph Representation by Mamba-based Asynchronous Aggregation
School of Computer Science, Fudan University(复旦大学计算机科学学院);School of Software, Fudan University(复旦大学软件学院);Shanghai Key Laboratory of Data Science(上海数据科学重点实验室)
针对异构稀疏图中GNN的过压缩、过平滑及训练困难问题,提出基于Mamba的异步传播网络MAPN,通过元路径随机游走生成节点序列并异步聚合语义信息,增强图表示,实验验证其有效性。
2025-02-23 cs.LG
End-to-end Mapping in Heterogeneous Systems Using Graph Representation Learning
USC(南加州大学);Intel Labs(英特尔研究院)
为了使异构计算系统的自主编程和优化能力,我们提出了一个统一的,端到端的,可编程的图形表示学习(PGL)框架,能够挖掘的复杂性高层次的程序到通用的中间表示,提取特定的计算模式和预测的代码段将最好地运行在一个特定的核心在异构硬件平台。该框架从代码图中提取多重分形拓扑特征,利用图形自编码器学习如何将图形划分为计算内核,并利用图神经网络(GNN)来预测处理器类型的正确分配。在评估中,我们验证了PGL框架,并证明了最大的加速比为6.42倍的基于线程的执行,和2.02倍的最先进的技术相比。
2022-04-25 cs.DC cs.LG