One Router to Route Them All: Homogeneous Expert Routing for Heterogeneous Graph Transformers
本文提出同质专家路由(HER),通过随机掩码类型嵌入促进类型无关的专业化,从而在异构图变换器中提升链接预测性能。
2026-01-21 cs.AI cs.LG
Learning on heterogeneous graphs using high-order relations
Nanyang Technological University(南洋理工大学)
异构图由不同的顶点和边类型组成。对异构图的学习通常使用元路径来处理异构性,方法是将图简化为同质网络、引导随机游动或捕获语义。然而,这些方法对元路径的选择敏感,次优路径导致性能差。在本文中,我们提出了一种方法学习异构图,而不使用元路径。具体来说,我们将异构图分解为不同的同构关系型图,然后将其组合以创建更高阶的关系型表示。这些表示保留了边缘的异质性,并保留了它们的边缘方向,同时捕获了不同顶点类型之间的相互作用。然后,这是补充注意力机制,以区分关系类型的邻居和关系类型本身的重要性。实验表明,我们的模型通常优于其他国家的最先进的基线在顶点分类任务上的三个常用研究的异构图形数据集。
2023-03-03 cs.AI cs.LG stat.ML
Identifiability of Gaussian Structural Equation Models with Homogeneous and Heterogeneous Error Variances
University of Seoul(首尔大学)
在这项工作中,我们考虑的可识别性假设的高斯线性结构方程模型(SEMs),其中每个变量是由一个线性函数的父母加上正态分布的误差。它已被证明,线性高斯结构方程模型是完全可识别的,如果所有的误差方差相同或已知。因此,这项工作证明了高斯SEM的可识别性与均匀和非均匀的未知误差方差。我们新的可识别性假设不仅利用误差方差,但边缘权重,因此,它是严格温和的比以前的工作的可识别性的结果。我们进一步提供了一个结构学习算法,是统计上一致的和计算上可行的,基于我们的新假设。该算法假设所有相关变量都被观察到,但不假设因果极小性和忠实性。我们通过模拟和真实的多变量数据验证了我们的理论研究结果,并将我们的算法与最先进的PC,GES和GDS算法进行了比较。
2019-10-20 cs.LG stat.ML
Homogeneous Dynamics Space for Heterogeneous Humans
Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institute(上海创新研究院);Soochow University(苏州大学)
本文针对人体运动学与动力学表示及跨领域数据的异质性问题,提出HDyS同质潜空间,以逆向-前向动力学过程聚合生物力学和强化学习数据,实现运动学与动力学间的有效映射。
2025-03-14 cs.AI cs.CV cs.LG
Heterogeneous domain adaptation: An unsupervised approach
University of Technology Sydney(悉尼科技大学)
领域自适应利用一个领域(源领域)的知识来提高另一个领域(目标领域)的学习效率。现有的异构领域自适应研究进展相对较好,但仅限于目标领域包含至少几个标记实例的情况。相比之下,具有未标记目标域的异质领域自适应尚未得到很好的研究。为了促进这一新兴领域的研究,本文提出:(1)一个无监督的知识转移定理,保证知识转移的正确性;(2)一个基于主角度的度量来测量两对域之间的距离:一对包括原始源和目标域,另一对包括两个域的两个齐次表示。该定理和度量已被实现在一个创新的传输模型,称为格拉斯曼线性单调映射测地线流内核(GLG),这是专门为异构无监督领域自适应(HeUDA)设计的。线性单调映射满足定理的条件,并用于构造非均匀域的齐次表示。该度量显示了同质表示在原始源域和目标域中保留信息的程度。通过最小化所提出的度量,GLG模型学习异构域的同构表示,并通过测地线流核通过这些学习到的表示来传输知识。为了评估该模型,五个公共数据集被重组为三个应用程序的十个HeUDA任务:癌症检测,信用评估和文本分类。实验表明,该模型提供了优于现有基线的性能。
2020-02-10 cs.LG stat.ML
HGPROMPT: Bridging Homogeneous and Heterogeneous Graphs for Few-shot Prompt Learning
Singapore Management University(新加坡管理大学)
本文提出HGPROMPT框架,通过双模板和双提示设计统一同构与异构图及预训练与下游任务,有效弥合特征和异构性差异,在少样本提示学习中表现优异。
2024-08-26 cs.LG
Enabling Homogeneous GNNs to Handle Heterogeneous Graphs via Relation Embedding
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);School of Artificial Intelligence, Hebei University of Technology(河北工业大学人工智能学院)
提出基于关系嵌入的简单框架 RE-GNN,使同质 GNNs 能高效处理异构图,理论上证明比 GTN 更具表达力,实验验证了其有效性和广泛适用性。
2022-12-01 cs.LG
Post-Generation Curation of Synthetic Images via Homogeneous-Heterogeneous Splitting
Department of Computer and Data Sciences(计算机与数据科学系)
研究给定固定合成图像池,能否通过选择信息子集提高下游效用。基于生成器倾向,将真实类别分为同构和异构子集,用保真度-多样性标准评分,该方法与生成器无关且无需再训练,效果良好。
2026-08-25 cs.AI cs.LG
Detecting Communities in Heterogeneous Multi-Relational Networks:A Message Passing based Approach
Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61);Hangzhou Dianzi University(杭州电子科技大学);University of Technology Sydney(悉尼科技大学);University of Sydney(悉尼大学)
社区是包括社交网络、生物网络、计算机和信息网络等在内的网络的共同特征。社区发现是探索和分析这些网络数据的基本步骤。通常,同构网络是一种类型的网络,它只由一种类型的对象和一种类型的链接连接它们。在网络社区检测的模型和算法方面已经有了很大的发展,然而,现实世界的网络自然会表现出异质性,表现为多种类型的对象,并通过多关系链接将它们连接起来。这些异质信息可以促进其组成的同质网络的社区发现,但尚未得到充分的探讨。在本文中,我们利用异构多关系网络(HMRNet),并提出了一个有效的消息传递为基础的算法,同时检测社区的所有同构网络。具体而言,HMRNet被重组为一个层次结构,同构网络作为其层和异构链路连接它们。为了在这样的HMRNet中检测社区,问题被公式化为因子图上的最大后验(MAP)。最后,一个基于消息传递的算法推导出一个最佳的解决方案的MAP问题。对合成网络和真实网络的评估证实了所提出方法的有效性。
2020-04-06 cs.LG stat.ML
Unified Multi-Domain Graph Pre-training for Homogeneous and Heterogeneous Graphs via Domain-Specific Expert Encoding
School of Computer Science;Technology Tianjin University Tianjin China;North China University of Science;School of Economics;Management Beijing University of Posts;Departments of Health Technology \& Informatics;Computing The Hong Kong Polytechnic University Kowloon Hong Kong;Tianjin University;Beijing University of Posts;The Hong Kong Polytechnic University
提出统一多域图预训练方法GPH²,通过域特定专家编码和任务导向专家融合策略,解决同质与异质图混合场景下的跨域分布偏移问题。
2026-05-27 cs.LG
Adaptive Bandit Convex Optimization with Heterogeneous Curvature
University of Southern California(南加利福尼亚大学);National Key Laboratory for Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室)
我们考虑对抗性的凸优化问题,即在一系列任意凸损失函数上的在线学习,其中每个损失函数只有一个函数评价。虽然所有以前的作品假设这些损失函数的已知和均匀的曲率,我们研究了一个异构的设置,每个函数都有自己的曲率,只有在学习者做出决定后才显示。我们开发了一种有效的算法,能够适应飞行中的曲率。具体来说,我们的算法不仅恢复或\emph{even improves}现有的结果为几个同质设置,但也导致了令人惊讶的结果为一些异质设置-例如,而Hazan和Levy(2014)表明,$\widetilde{O}(d^{3/2}\sqrt{T})$遗憾是可实现的一系列$T$光滑和强凸$d$维函数,我们的算法揭示了即使它们中的$T^{3/4}$不是强凸的,并且有时即使它们中的常数部分不是强凸的,也是可以实现的。我们的方法受到Bartlett等人(2007)的框架的启发,他们研究了类似的异质环境,但具有更强的梯度反馈。扩展他们的框架,强盗反馈设置需要新的想法,如解除可行域,并使用一个几何齐次自和谐障碍正则化。
2022-02-12 cs.LG stat.ML
A Comparative Study of Federated Learning Aggregation Strategies under Homogeneous and Heterogeneous Data Distributions
School of Electrical and Computer Engineering, National Technical University of Athens, Greece(电气与计算机工程学院,国家技术大学亚历山大学院,希腊);Department of Informatics and Telematics, Harokopio University of Athens, Greece(信息与电信学院,哈罗基奥大学亚历山大学院,希腊)
本文比较了不同联邦学习聚合策略在同质和异质数据分布下的性能,通过图像分类数据集分析了聚合机制对中央准确率、损失及系统效率的影响。
2026-05-10 cs.LG
Bridging the Gap Between Homogeneous and Heterogeneous Asynchronous Optimization Is Surprisingly Difficult
Applied AI Institute(应用人工智能研究院)
本研究证明在常用相似性假设下,异质异步优化的悲观时间复杂度无法改进,并提出强插值与局部PL条件组合,达到与同质设置匹配的复杂度界。
2026-09-16 cs.LG math.OC
Neural Network approximation power on homogeneous and heterogeneous reaction-diffusion equations
University of California-San Francisco(加州大学旧金山分校)
本文理论分析神经网络对一维和二维均匀及非均匀反应-扩散方程的逼近能力,证明两层网络逼近一维、三层网络逼近二维,并推广至椭圆和抛物方程。
2025-10-15 cs.LG
HMSG: Heterogeneous Graph Neural Network based on Metapath Subgraph Learning
College of Computer Science, Chongqing University(重庆大学计算机学院);School of Computer Science, Shaanxi Normal University(陕西师范大学计算机学院)
针对现有异构图模型处理同构和异构邻居信息不够全面的问题,提出 HMSG 模型,通过分解元路径子图并独立聚合消息,全面捕获结构、语义和属性信息,在多项任务上取得最优性能。
2021-09-07 cs.AI cs.LG cs.SI
Homogeneous Feature Transfer and Heterogeneous Location Fine-tuning for Cross-City Property Appraisal Framework
University of Warwick(华威大学);Charles Sturt University(查尔斯特大学)
现有的房地产估价方法大多侧重于从给定的数据集建立准确可靠的模型,而很少关注其训练模型的可扩展性。由于不同的城市通常包含不同的位置特征(小区名称,公寓名称),大多数现有的质量评估方法必须从头开始训练一个新的模型,为不同的城市或地区。因此,这些方法需要为每个城市收集大量的数据汇集,并且多城市财产评估系统的总训练时间将非常长。此外,一些小城市可能没有足够的数据来训练一个强大的评估模型。为了克服这些局限性,我们开发了一种新的同质特征转移和异构位置微调(HFT+HLF)跨城市房地产评估框架。通过从源城市转移部分神经网络学习,并对目标城市的少量位置信息进行微调,我们的半监督模型可以实现与全监督人工神经网络(ANN)方法相比相似甚至更好的性能。
2018-12-11 cs.CY cs.LG
Heterogeneous Similarity Graph Neural Network on Electronic Health Records
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Beihang University(北京航空航天大学);Lehigh University(理海大学)
由于电子健康档案包含丰富的信息,因此挖掘电子健康档案成为一个很有前途的研究课题。通过从EHR中学习,可以构建机器学习模型来帮助人类专家做出医疗决策,从而提高医疗质量。近年来,许多基于序列模型或图模型的模型被提出来实现这一目标。EHR包含多个实体和关系,可以视为一个异构图。然而,以往的研究忽略了EHR的异质性。另一方面,现有的异构图神经网络不能简单地应用于EHR图,因为EHR图中存在枢纽节点,针对这一问题,本文提出了异构相似性图神经网络(HSGNN),利用一种新的异构GNN来分析EHR图。我们的框架包括两个部分:一个是预处理方法,另一个是端到端的GNN。该预处理方法对EHR图的边缘进行归一化处理,将EHR图分割成多个同构图,每个同构图包含原始EHR图的部分信息。GNN将所有同构图作为输入,并将所有同构图融合到一个图中进行预测。实验结果表明,HSGNN在诊断预测任务中优于其他基线。
2021-01-17 cs.LG
Towards Homogeneous Lexical Tone Decoding from Heterogeneous Intracranial Recordings
Westlake University(西湖大学);Zhejiang University(浙江大学)
针对多受试者颅内记录的异质性问题,提出 H2DiLR 框架解耦并学习神经表征的同质性与异质性,在407音节普通话 sEEG 数据上实现更优的统一词汇声调解码。
2025-02-18 cs.AI cs.CL cs.LG
Generalized Multi-hop Traffic Pressure for Heterogeneous Traffic Perimeter Control
University of Toronto(多伦多大学)
针对同质边界控制在异构拥堵场景下效果差的问题,提出基于马尔可夫链的多跳下游压力与两阶段分层控制方案,重分配同质策略的总流入量,显著提升异构场景性能且对转弯比例不确定有鲁棒性。
2025-01-17 cs.LG cs.SY eess.SY
Emotion Embeddings $\unicode{x2014}$ Learning Stable and Homogeneous Abstractions from Heterogeneous Affective Datasets
Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学)
针对情感数据在表达与标签表征上的异构问题,本文提出学习跨语言、模态、格式和架构的共享 emotion embeddings,并在多数据集上验证其互操作性且不损失预测质量。
2023-08-15 cs.AI cs.CL cs.CV
Model Inversion Attacks on Homogeneous and Heterogeneous Graph Neural Networks
Yunnan University(云南大学);University of Electronic Science and Technology of China(电子科技大学);Nanyang Technological University(南洋理工大学)
针对同质和异质图神经网络,提出基于梯度下降的模型反演攻击方法HomoGMI和HeteGMI,通过最大化交叉熵损失和邻近性重建训练图,首次实现异质图上的攻击,实验性能优于现有方法。
2023-10-15 cs.CV cs.LG
PDNS-Net: A Large Heterogeneous Graph Benchmark Dataset of Network Resolutions for Graph Learning
University of Colombo(科伦坡大学);Qatar Computing Research Institute(卡塔尔计算研究所)
为了推进图学习算法的发展,有必要构建大型真实世界数据集。虽然有许多同质图的基准数据集,但只有少数可用于异构图。此外,后一种图的尺寸小,使得它们不足以理解图学习算法在分类度量和计算资源利用方面如何执行。我们引入PDNS-Net,这是最大的公共异构图数据集,包含447 K节点和897 K边缘,用于恶意域分类任务。与流行的异构数据集IMDB和DBLP相比,PDNS-Net分别大38倍和17倍。我们提供了一个详细的分析PDNS-Net,包括数据汇集方法,异构图建设,描述性统计和初步的图分类性能。该数据集可在https://github.com/qcri/PDNS-Net上公开获得。我们在PDNS-Net上对流行的同构和异构图神经网络的初步评估表明,需要进一步的研究来提高这些模型在大型异构图上的性能。
2022-03-15 cs.CR cs.LG
Heterogeneous Graph-Based Multimodal Brain Network Learning
Beijing Institute of Technology(北京理工大学);Yangzhou University(扬州大学);Northern Jiangsu People’s Hospital(苏北人民医院);Tsinghua University(清华大学)
图神经网络(GNNs)从图形网络的角度为脑神经成像技术提供了强有力的见解。然而,大多数现有的基于GNN的模型假设神经成像产生的大脑连接体网络是具有单一类型的节点和边的同质图。事实上,新兴的研究已经报道并强调了人类大脑活动之间,特别是两个大脑半球之间的异质性的重要性。因此,基于神经网络的图形方法不足以对复杂的大脑活动状态进行建模。为了克服这个问题,在本文中,我们提出了一个异构图神经网络(HebrainGNN)的多模态脑神经成像融合学习。我们首先将大脑网络建模为具有多类型节点的异构图(即,左和右半球节点)和多类型边缘(即,半球内和半球间边缘)。然后,我们提出了一种基于异构脑网络的自监督预训练策略,以解决由大参数大小和小医疗数据样本大小之间的冲突引起的潜在过拟合问题。我们的研究结果表明,该模型优于其他现有的方法在脑相关疾病的预测任务。消融实验表明,我们的异构图形为基础的模型更加重视半球连接,可能会被忽视,由于他们的低强度由以前的同质图形模型。其他实验也表明,我们提出的模型与预训练策略解决了有限的标记数据的问题,并产生了显着的准确性提高。
2022-09-28 cs.LG cs.NE q-bio.NC
HMoE: Heterogeneous Mixture of Experts for Language Modeling
Tencent Hunyuan(腾讯混元);Tokyo Institute of Technology(东京工业大学);University of Macau(澳门大学)
本文提出异构专家混合模型HMoE,通过不同大小的专家处理不同复杂度的令牌,并设计训练目标促进小专家激活,以更少参数实现更低损失,超越传统同质MoE。
2024-08-20 cs.CL cs.LG
Neural Latent Space Model for Dynamic Networks and Temporal Knowledge Graphs
Indian Institute of Science(印度科学学院);Eindhoven University of Technology(埃因霍温理工大学)
虽然静态网络在机器学习、数据采掘和人工智能领域已经被广泛研究了几十年,但由于社交媒体的突出地位及其对社交网络动态的影响,动态网络的研究最近占据了中心舞台。在本文中,我们提出了一个动态演化网络的统计模型,以及变分推理方法。我们的模型,变分推理神经潜空间模型,编码不同时间快照的边缘依赖关系。它通过隐向量表示节点,并使用交互矩阵来模拟边缘的存在。这些矩阵可以用于通过为每个关系具有单独的矩阵来将多个关系合并到异构网络中。为了捕获时间动态,允许节点向量和交互矩阵随时间演变。现有的网络分析方法使用表示学习技术对网络进行建模。这些技术对于同构和异构网络是不同的,因为异构网络可以具有与同构网络相反的多种类型的边和节点。与此不同的是,我们提出了一个统一的模型,同质和异构网络的变分推理框架。此外,学习的节点隐向量和交互矩阵可以是可解释的,因此可以提供对网络演化背后机制的见解。我们实验了一个单步的和多步骤的链接预测现实世界中的网络同质,二分和异构的性质,并证明我们的模型显着优于现有的模型。
2020-12-18 cs.LG cs.SI