Show me the Way: Intrinsic Motivation from Demonstrations
Google Research(谷歌研究院);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
决策领域的探索研究有着悠久的历史,但仍然存在着激烈的争论。从几十年来在各种观点下解决这个问题的大量文献(例如,发展心理学,实验设计,人工智能),内在动机作为一个概念出现,实际上可以转移到人工代理。特别是,在最近的深度强化学习(RL)领域,智能体以探索奖金的形式实现这样一个概念(主要使用新颖的论点),并添加到任务奖励中,鼓励访问整个环境。这种方法得到了大量关于RL的理论的支持,其中收敛到最优性假设了详尽的探索。然而,人类和哺乳动物并没有穷尽地探索世界,他们的动机不仅基于新奇,而且还基于各种其他因素(例如,好奇心、乐趣、风格、乐趣、安全、竞争等)。他们优化终身学习和训练学习可转移的技能在操场上没有明显的目标。他们还应用先天或习得的先验知识来节省时间并保持安全。出于这些原因,我们建议从演示中学习探索奖金,这些演示可以将这些动机转移到人工代理中,而对其原理几乎没有假设。使用逆RL方法,我们表明,复杂的探索行为,反映了不同的动机,可以学习和有效地使用RL代理解决任务的穷举探索是禁止的。
2021-01-13 cs.LG stat.ML
Safer Reinforcement Learning through Transferable Instinct Networks
IT University of Copenhagen(哥本哈根信息技术大学)
随机探索是强化学习(RL)发现性能良好的策略的主要机制之一。然而,在安全关键环境中在线学习时,它可能会导致不良或灾难性的结果。事实上,安全学习是现实世界代理在部署过程中学习的主要障碍之一。确保代理遵守硬限制的一种方法是显式配置它们可以操作的边界。虽然这在某些情况下可能有效,但我们并不总是有明确的先验信息,即哪些状态和行为可能导致危险的危险状态。在这里,我们提出了一种方法,其中附加策略可以覆盖主策略并提供更安全的替代操作。在我们的本能调节强化学习(IR^2L)方法中,一个“本能”网络被训练来识别不期望的情况,同时保护学习策略不进入这些情况。本能网络是在一个容易出错的任务上进行预训练的,然后转移到安全学习新任务的环境中。我们在OpenAI Safety gym域中演示了IR^2L,在训练过程中,它收到的安全违规数量明显低于基线RL方法,同时达到类似的任务性能。
2021-07-14 cs.AI cs.LG cs.NE
Neural Online Graph Exploration
Technical University of Munich(慕尼黑工业大学)
我们能学会如何有效地探索未知空间吗?为了回答这个问题,我们研究了在线图探索问题,这是旅行商问题的在线版本。我们将图探索重新定义为一个强化学习问题,并应用直接未来预测(Dosovitskiy和Koltun,2017)来解决它。由于图是在线发现的,相应的马尔可夫决策过程需要一个动态状态空间,即可观察图和动态动作空间,即形成图的边界的节点。据我们所知,这是以数据驱动的方式解决在线图形探索的第一次尝试。我们进行实验的六个数据集的程序生成的图形和三个真实的城市道路网络。我们证明,我们的代理可以学习策略优于许多著名的图遍历算法,确认探索可以学习。
2021-04-06 cs.AI cs.LG
Learning-Guided Sparsification of Dynamic Graphs in Robotic Exploration
Independent Researcher(独立研究者);University of Tennessee, Knoxville(田纳西大学,基洛尼尔);University of California, Riverside(加州大学河滨分校)
本文提出基于Transformer的框架,利用PPO算法在机器人探索中稀疏化动态图,减少冗余信息,提升性能,实验表明该方法能有效降低图规模并提高探索一致性。
2026-08-17 cs.LG cs.RO
Zero-Shot Reinforcement Learning on Graphs for Autonomous Exploration Under Uncertainty
Stevens Institute of Technology(斯蒂文斯理工学院);Massachusetts Institute of Technology(麻省理工学院);Wing, Alphabet Inc.(Alphabet公司Wing部门)
研究了具有三维距离感知的移动机器人在定位不确定条件下的自主探测问题。我们提出了一个框架,用于在单个仿真环境中自学习高性能的探索策略,并将其转移到其他环境中,这些环境可以是物理的或虚拟的。最近的工作在迁移学习取得了令人鼓舞的性能领域自适应和域随机化暴露代理的情况下,填补了固有的差距,在sim2sim和sim2real的方法。然而,它是低效的训练代理在环境中的随机条件下学习其当前状态的重要特征。智能体可以使用人类专家提供的领域知识来有效地学习。我们提出了一种新的方法,使用图神经网络结合深度强化学习,使决策的图形包含相关的探索信息提供的人类专家来预测机器人的最佳感知动作的信念空间。该策略仅在单个仿真环境中训练,提供了一种实时、可扩展和可转移的决策策略,导致zero-shot转移到其他仿真环境甚至真实世界环境。
2021-05-11 cs.AI cs.LG cs.RO
A Transferable Approach for Partitioning Machine Learning Models on Multi-Chip-Modules
Google(谷歌);School of Electrical and Computer Engineering, University of California, Santa Barbara(加州大学圣塔芭芭拉分校电气与计算机工程学院)
多芯片模块(MCM)降低了机器学习(ML)加速器的设计和制造成本,同时提供与单片大型芯片相当的性能和能效。然而,针对MCM的ML编译器需要最佳和有效地解决复杂的优化问题,以实现这种高性能。一个这样的问题是多芯片划分问题,其中编译器确定MCM中的小芯片上的张量计算图中的操作的最佳划分和放置。划分MCM的ML图特别困难,因为搜索空间随着可用小芯片的数量和神经网络中的节点数量呈指数增长。此外,由底层硬件施加的约束产生有效解极其稀疏的搜索空间。在本文中,我们提出了一种策略,使用深度强化学习(RL)框架发出一个可能无效的候选分区,然后由约束求解器纠正。使用约束求解器确保RL在稀疏空间中足够频繁地遇到有效的解决方案,以便与非学习策略相比以更少的样本收敛。我们为策略网络所做的架构选择允许我们在不同的ML图中进行泛化。我们的生产规模的模型,BERT,在真实的硬件上的评估表明,使用RL策略生成的分区实现6.11%和5.85%的吞吐量比随机搜索和模拟退火。此外,微调预训练的RL策略将搜索时间从3小时减少到仅9分钟,同时实现与从头开始训练RL策略相同的吞吐量。
2021-12-07 cs.AR cs.LG
Apollo: Transferable Architecture Exploration
Google Research(谷歌研究院)
摩尔定律的即将终结和深度学习的日益普及推动了针对特定神经架构进行优化的定制加速器的设计。这种加速器的架构探索形成了一个具有挑战性的约束优化问题,在一个复杂的,高维的,结构化的输入空间与昂贵的评估目标函数。用于加速器设计的现有方法是样本效率低的,并且不能在具有不同设计约束(诸如面积和/或延迟预算或神经架构配置)的相关优化任务之间传递知识。在这项工作中,我们提出了一个可转移的架构探索框架,称为阿波罗,利用黑盒功能优化的最新进展,为样本高效的加速器设计。我们使用这个框架来优化具有替代设计约束的不同神经架构的加速器配置。我们表明,我们的框架发现高回报设计配置(高达24.6%的加速比)更采样效率比基线黑盒优化方法。我们进一步表明,通过在具有不同设计约束的目标架构之间转移知识,Apollo能够更快地找到最佳配置,并且通常具有更好的目标值(最高可提高25%)。这一令人鼓舞的结果描绘了一条有希望的前进道路,以促进产生更高质量的加速器。
2021-02-02 cs.AR cs.LG
Autonomous Exploration Under Uncertainty via Deep Reinforcement Learning on Graphs
Stevens Institute of Technology(史蒂文斯理工学院)
我们考虑一个自主探索的问题,在这个问题中,一个范围传感移动机器人的任务是准确地映射的地标在一个先验的未知的环境中有效地实时,它必须选择既抑制定位的不确定性,并实现信息增益的传感行动。对于这个问题,信任空间规划方法,向前模拟机器人的感知和估计,往往会失败,在实时实现,缩放不良的状态,信念和动作空间的大小增加。我们提出了一种新的方法,使用图神经网络(GNNs)结合深度强化学习(DRL),使决策包含探索信息的图,以预测机器人的最佳感知动作的信念空间。该策略在没有人为干预的情况下在不同的随机环境中进行训练,提供了一个实时的,可扩展的决策过程,其高性能的探索性感知动作产生准确的地图和高速率的信息增益。
2020-07-24 cs.LG cs.RO
SPR: Toward a Graph Foundation Model for Transferable Graph Cognition via Spectral Patterns and Relational Geometry
School of Computer Science and Technology(计算机科学与技术学院);Tianjin University(天津大学);School of Artificial Intelligence(人工智能学院);Hebei University of Technology(河北工业大学);Department of Health Technology and Informatics(健康技术与信息学院);Department of Data Science and Artificial Intelligence(数据科学与人工智能系);The Hong Kong Polytechnic University(香港理工大学)
提出SPG模型,通过可学习的切比雪夫滤波器分解节点特征为多个频谱响应,并利用Gromov-Wasserstein原型几何蒸馏可迁移的成对关系,实现跨域图泛化。
2026-09-29 cs.LG
Beyond Feature and Structure Alignment: Learning Transferable Propagation Knowledge for Graph Foundation Models
Tianjin University(天津大学)
针对现有图基础模型忽略可迁移传播知识单元与传播模式异质性的局限,本文提出ProGFM,通过传播关系原型库学习跨域可迁移传播知识,在多跨域场景下实现更优泛化性能。
2026-08-03 cs.LG
Transferable Graph Metanetworks
提出可迁移图元网络,通过不变性和连续性修改,使元网络性能可跨不同宽度网络迁移,在μP参数化下实现高达42倍宽度泛化,并给出理论保证。
2026-10-02 cs.LG stat.ML
Graph Policy Network for Transferable Active Learning on Graphs
Tsinghua University(清华大学);Mila-Quebec AI Institute(米拉-魁北克人工智能研究所);Microsoft Research(微软研究院);HEC Montreal(蒙特利尔高等商学院);Université de Montréal(蒙特利尔大学)
图神经网络(GNN)由于其在各种领域中的简单性和有效性而越来越受欢迎。然而,通常需要大量的标记数据来训练这些网络,这在某些领域中可能是非常昂贵的。在本文中,我们研究了GNN的主动学习,即,如何有效地标记图上的节点,以减少训练GNN的注释成本。我们制定的问题作为一个顺序的决策过程图和训练一个基于GNN的政策网络与强化学习学习最佳的查询策略。通过在多个具有完整标签的源图上进行联合训练,我们学习了一种可转移的主动学习策略,该策略可以直接推广到未标记的目标图。在不同领域的多个数据集上的实验结果证明了该学习策略在同一领域和不同领域的图之间传输的情况下都能有效地提高主动学习性能。
2020-10-23 cs.AI cs.LG stat.ML
Enabling ab initio geometry optimization of strongly correlated systems with transferable deep quantum Monte Carlo
FU Berlin, Department of Mathematics and Computer Science(柏林自由大学数学与计算机科学系);Microsoft Research AI4Science(微软研究院AI4Science);FU Berlin, Department of Physics(柏林自由大学物理系);Rice University, Department of Chemistry(莱斯大学化学系)
本文提出结合可转移深度学习VMC与高效能估计方法,实现复杂PES的高精度探索,适用于结构弛豫、过渡态搜索和最小能量路径等研究。
2026-03-26 cs.LG physics.chem-ph physics.comp-ph
TGG: Transferable Graph Generation for Zero-shot and Few-shot Learning
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所);State Key Laboratory of Digital Publishing Technology(数字出版技术国家重点实验室)
Zero-shot和少样本学习的目标是提高对未知概念的泛化能力,这在许多现实场景中是有前途的。由于未知领域的数据缺乏,可见领域和未知领域之间的关系建模对于这些任务中的知识转移至关重要。大多数现有的方法通过语义嵌入或特征生成来隐式地捕获可见-不可见关系,导致关系的使用不足,并且仍然存在一些问题(例如域转移)。为了解决这些挑战,我们提出了一个可转移的图形生成(TGG)的方法,其中的关系是建模和利用明确通过图形生成。具体来说,我们提出的TGG包含两个主要组成部分:(1)关系建模的图生成。提出了一种基于注意力的聚合网络和一种关系核,它基于类级原型图和视觉特征生成实例级图。邻近信息聚合由多头图注意力机制引导,其中由GAN合成的可见和不可见特征被修改为节点嵌入。关系核进一步使用GCN和图核方法生成边,以捕获实例级拓扑结构,同时解决数据不平衡和噪声问题。(2)关系利用的关系传播。提出了一种对偶关系传播方法,其中由生成的图捕获的关系分别从可见和不可见的子图传播。这两个传播以双重学习方式相互学习,这作为用于减轻域移位的自适应方式来执行。所有组件都使用元学习策略进行了联合优化,我们的TGG作为一个端到端的框架,统一了传统的zero-shot,广义的zero-shot和少样本学习。大量的实验表明,它始终超过上述三个领域的现有方法的显着保证金。
2019-08-30 cs.LG stat.ML
GLoMo: Unsupervisedly Learned Relational Graphs as Transferable Representations
Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(Facebook人工智能研究院);Google, Inc.(谷歌公司);New York University(纽约大学)
现代深度迁移学习方法主要集中在从一个任务中学习可转移到其他任务的通用特征向量,例如语言中的词嵌入和视觉中的预训练卷积特征。然而,这些方法通常转移一元特征,并在很大程度上忽略了更结构化的图形表示。这项工作探索了学习通用潜在关系图的可能性,这些图捕获了数据单元对之间的依赖关系(例如,字或像素),并将图形传输到下游任务。我们提出的迁移学习框架提高了各种任务的性能,包括问答,自然语言推理,情感分析和图像分类。我们还表明,学习的图是通用的,足以被转移到不同的嵌入上,图还没有被训练(包括GloVe嵌入,ELMo嵌入,和特定于任务的RNN隐藏单元),或嵌入免费的单位,如图像像素。
2018-07-02 cs.CL cs.CV cs.LG
Stable and Transferable Hyper-Graph Neural Networks
University of Pennsylvania(宾夕法尼亚大学);Duke University(杜克大学)
我们介绍了一种架构,通过图神经网络(GNNs),我们称之为超图扩展神经网络(HENN),超图信号处理模型的稳定性和可转移性误差的第一界支持的信号处理。为此,我们提供了一个框架,用于通过谱相似性来限制GNN在任意图上的稳定性和可转移性误差。通过界定两个图移位算子(GSOs)之间的差异,在半正定意义上,通过其特征值谱,我们表明,这种错误只取决于GNN的性质和GSOs的谱相似性的大小。此外,我们还表明,假设图是彼此的小扰动,或者图是随机的并且从同一分布绘制或从同一图子采样,则可以使用我们的方法恢复现有的可传递性结果。因此,GNN和我们的HENN(使用归一化拉普拉斯算子作为图移位算子进行训练)都将随着图变得越来越大而变得越来越稳定和可转移。实验结果说明了在HENN中考虑多种图形表示的重要性,并显示了其优越的性能时,需要的可移植性。
2022-12-12 cs.LG
GFT: Graph Foundation Model with Transferable Tree Vocabulary
University of Notre Dame(圣母大学);University of Connecticut(康涅狄格大学)
本文提出GFT,一种将计算树作为可迁移词汇的跨任务跨领域图基础模型,通过重新定义图上的可迁移模式,提升泛化能力并降低负迁移风险,实验验证了其有效性。
2024-11-09 cs.AI cs.LG cs.SI
Are Common Substructures Transferable? Riemannian Graph Foundation Model with Neural Vector Bundles
University of Science and Technology of China(中国科学技术大学)
针对图结构迁移性理论缺失的问题,提出基于黎曼几何的神经向量丛框架GAUGE,通过内在几何学习实现可迁移子结构表征,在零样本链接预测和图同构任务中验证了优越性。
2026-06-02 cs.AI cs.LG
Transferable Graph Condensation from the Causal Perspective
Southwestern University of Finance and Economics(西南财经大学);Tsinghua University(清华大学);Ant Group(蚂蚁集团);Dongbei University of Finance and Economics(东北财经大学);Emory University(埃默里大学);Xiangjiang Laboratory(湘江实验室)
提出基于因果不变性的可迁移图压缩方法TGCC,通过因果干预提取域不变特征并注入压缩图,实现跨任务和跨域场景下的有效压缩。
2026-05-27 cs.LG
Graph Neural Networks for Scalable and Transferable Node Centrality Approximation
Center for Nonlinear and Complex Systems, Università degli Studi dell’Insubria(非线性与复杂系统中心,因苏布利亚大学);Data Science Institute, Hasselt University(哈塞尔特大学数据科学研究所)
研究用图神经网络近似介数和接近中心性,将其作为节点排序问题,以精确中心性值监督,用肯德尔tau秩相关评估。通过混合分布训练等方法,在不同图拓扑上取得较好结果,证明其可提高结构转移能力,同时指出接近中心性对拓扑敏感这一挑战。
2026-07-13 cs.LG
Transferable Graph Backdoor Attack
The University of New South Wales(新南威尔士大学);The University of Adelaide(阿德莱德大学);Defence Science and Technology Group(国防科学技术集团);Data61, CSIRO(联邦科学与工业研究组织数据61所)
图神经网络(GNN)在许多图挖掘任务中取得了巨大的成功,这得益于融合局部结构和节点特征以实现更好的图表示学习的消息传递策略。尽管GNN取得了成功,但与其他类型的深度神经网络类似,GNN被发现容易受到图结构和节点特征的不明显扰动的影响。已经提出了许多对抗攻击来揭示GNN在不同扰动策略下的脆弱性,以创建对抗示例。然而,GNN对成功的后门攻击的脆弱性只是最近才显示出来。在本文中,我们公开了TRAP攻击,一种可转移的GRAPh后门攻击。核心攻击原理是用基于扰动的触发器毒害训练数据集,这可能导致有效且可转移的后门攻击。通过经由来自代理模型的基于梯度的得分矩阵对图结构执行扰动动作来生成图的扰动触发。与以往的研究相比,TRAP攻击在以下几个方面有所不同:i)它利用代理图卷积网络(GCN)模型为基于黑盒的后门攻击生成扰动触发器:ii)它生成样本特定的扰动触发器,这些扰动触发器没有固定的模式;以及iii)当用伪造的中毒训练数据集训练时,攻击在GNN的上下文中第一次转移到不同的GNN模型。通过对四个真实世界数据集的广泛评估,我们证明了TRAP攻击在四个不同的流行GNN中使用四个真实世界数据集构建可转移后门的有效性。
2022-07-05 cs.AI cs.CR cs.LG
Predicting the Silent Majority on Graphs: Knowledge Transferable Graph Neural Network
Institute of Computing Technology, University of Chinese Academy of Sciences(中国科学院大学计算技术研究所);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
提出KT-GNN模型,通过特征补全、消息传递机制和基于KL散度的知识可迁移分类器,将发声节点知识迁移至沉默节点,有效解决VS-Graph上的分布偏移与缺失特征问题。
2023-04-08 cs.LG cs.SI
Transferable Graph Neural Fingerprint Models for Quick Response to Future Bio-Threats
Brookhaven National Laboratory(布鲁克海文国家实验室);Argonne National Laboratory(阿贡国家实验室)
该研究构建了COVID-19药物对接数据集,训练图神经指纹模型进行高通量虚拟筛选,并提出可迁移方法以高效应对未知靶点,为未来生物威胁提供机器学习加速方案。
2023-09-15 cs.AI cs.LG q-bio.BM
S2Aligner: Pair-Efficient and Transferable Pre-Training for Sparse Text-Attributed Graphs
Beihang University(北航大学);Tianjin University(天津大学)
本文提出S2Aligner,一种针对稀疏文本属性图的高效且可迁移的预训练方法,通过解耦语义对齐与结构建模,增强对齐过程而不污染共享的语义空间,从而减少跨域泛化差距。
2026-05-20 cs.LG
From Rainfall to Road-Network Functionality: Transferable Graph Forecasting for Flood-Disrupted Transportation Networks
College of Civil Engineering and Architecture, Zhejiang University(浙江大学建筑工程学院)
本研究提出可迁移时空图学习框架G-R2R,将降雨引发的路网中断视为图预测问题,经温州10个易涝地区数据评估,其预测性能优于基线,可实现跨区域快速节点级路网功能预测。
2026-10-14 cs.LG
TransPlace: Transferable Circuit Global Placement via Graph Neural Network
DP Technology(DP科技);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
TransPlace利用图神经网络学习可迁移的电路全局布局知识,通过网表图、SE(2)-不变表示和两阶段策略,在未见电路上实现1.2倍加速并降低拥塞、时序和线长。
2025-03-26 cs.AI cs.AR cs.LG
TabGLM: Tabular Graph Language Model for Learning Transferable Representations Through Multi-Modal Consistency Minimization
Fujitsu(富士通)
TabGLM提出多模态架构,将表格行转为图与文本,通过联合自监督对齐增强特征学习,在25个基准上平均AUC-ROC提升5.56%。
2025-02-26 cs.LG
TCGU: Data-centric Graph Unlearning based on Transferable Condensation
University of New South Wales(新南威尔士大学);Tongji University(同济大学);University of Technology Sydney(悉尼科技大学);Shanghai Jiao Tong University(上海交通大学)
针对零接触隐私场景下现有图遗忘方法存在的效率低、性能差或隐私风险高的问题,提出以数据为中心的TCGU方法,通过预浓缩、低秩微调对齐及分布匹配等技术,在模型效用、遗忘效率和效果上均优于现有方法。
2024-10-09 cs.LG
Arch-Graph: Acyclic Architecture Relation Predictor for Task-Transferable Neural Architecture Search
The University of Hong Kong(香港大学);Sun Yat-sen University(中山大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
神经架构搜索(NAS)旨在为多个任务找到有效的模型。除了为单个任务寻求解决方案之外,人们对跨多个任务传输网络设计知识的兴趣也在激增。在这条研究路线中,有效地建模任务相关性是至关重要的,但却被高度忽视。因此,我们提出了\textbf{Arch-Graph},一个可转移的NAS方法,预测任务特定的最佳架构相对于给定的任务嵌入。它通过使用它们的嵌入作为预测器输入的一部分来利用多个任务之间的相关性,以实现快速适应。我们还制定NAS作为一个架构关系图预测问题,与关系图构造的候选架构作为节点和他们的成对关系的边缘。为了执行一些基本属性,如关系图中的无环性,我们添加了额外的约束优化过程中,转换NAS的问题,找到一个最大加权无环子图(MWAS)。然后,我们的算法努力消除循环,并且只有在排名结果可信的情况下才在图中建立边。通过MWAS,Arch-Graph可以有效地对每个任务的候选模型进行排名,只需少量预算来微调预测器。通过在TransNAS-Bench-101上的大量实验,我们展示了Arch-Graph在众多任务中的可移植性和高样本效率,击败了许多为单任务和多任务搜索设计的NAS方法。在50个模型的预算下,它能够在两个搜索空间上找到平均0.16%和0.29%的顶级架构。
2022-04-12 cs.CV cs.LG
T-GAE: Transferable Graph Autoencoder for Network Alignment
University of Pennsylvania(宾夕法尼亚大学);Stanford University(斯坦福大学)
本文提出可迁移图自编码器T-GAE,利用GNN的可迁移性与稳定性,在无需重新训练的情况下高效完成分布外大规模网络的节点对齐,性能显著超越现有优化与GNN方法,并大幅降低训练时间。
2024-11-18 cs.AI cs.LG
GraphFM: A generalist graph transformer that learns transferable representations across diverse domains
University of Pennsylvania(宾夕法尼亚大学);Columbia University(哥伦比亚大学)
GraphFM是一种通用图变换器,通过多图预训练学习可迁移的表示,提升跨不同图结构和任务的性能。
2026-02-14 cs.LG cs.SI
Attention Dispersion in Dynamic Graph Transformers: Diagnosis and a Transferable Fix
Beijing Institute of Technology(北京理工大学);University of Toronto(多伦多大学);Hong Kong Baptist University(香港 Baptist 大学)
本文识别动态图变换器在时间分布偏移下的注意力分散问题,并提出可迁移的差分注意力机制以提升性能,尤其在高偏移数据集上表现显著。
2026-05-15 cs.AI cs.LG
Transferable Parasitic Estimation via Graph Contrastive Learning and Label Rebalancing in AMS Circuits
Nanjing University of Science and Technology(南京理工大学);Tsinghua University(清华大学);Beijing University of Posts and Telecommunications(北京邮电大学)
针对AMS电路数据稀缺、标签不均衡和电路多样性导致的表示学习难题,提出CircuitGCL框架,结合表示散射与标签再平衡损失,在TSMC 28nm设计上实现SOTA性能,显著提升寄生参数估计的准确性与可迁移性。
2025-10-10 cs.LG cs.SY eess.SY
Sampling Transferable Graph Neural Networks with Limited Graph Information
Department of Applied Mathematics and Statistics, Johns Hopkins University(应用数学与统计学系,约翰霍普金斯大学);Department of Statistics and Data Science, Yale University(统计与数据科学系,耶鲁大学);Department of Electrical and Computer Engineering, University of Rochester(电气与计算机工程系,罗切斯特大学)
本文研究了在有限图信息下,通过特征驱动的子图采样提升图神经网络的可迁移性,通过特征-图对齐方法保留图运算的谱特性,实验证明最大化拉普拉斯迹可提升模型迁移能力和减少泛化差距。
2026-04-16 cs.AI cs.LG eess.SP
GCN-RL Circuit Designer: Transferable Transistor Sizing with Graph Neural Networks and Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出 GCN-RL Circuit Designer,结合 GCN 与强化学习实现跨工艺节点和拓扑的晶体管尺寸设计知识迁移,在四类电路上优于传统优化、随机搜索和专家设计。
2020-04-30 cs.LG eess.SP
Proxy OPD: On-Policy Distillation with Transferable Relative Proxy Update for Large Language Models
研究针对大语言模型训练后优化信号耦合问题,提出PUST框架,通过代理模型探索、提取并传输相对改进信号,解耦更新信号探索与分布对齐,减少计算开销,支持异步处理与跨模型转移,提升训练后范式的模块化、可重用性与效率。
2026-11-17 cs.AI cs.LG
Pre-training Transformers for Knowledge Graph Completion
Duke University(杜克大学);Microsoft Research(微软研究院);Microsoft Bing Ads(微软必应广告);University of Virginia(弗吉尼亚大学)
知识图谱的异构性和多关系性使得知识图谱的可迁移表示具有挑战性。受基于transformer的预训练语言模型在学习文本的可迁移表示方面的成功启发,本文提出了一种新的归纳KG表示模型(iHT),用于通过大规模预训练完成KG表示。iHT由实体编码器(例如,BERT)和邻居感知关系评分函数,两者都由Transformers参数化。我们首先在一个大型KG数据集Wikidata 5 M上预训练iHT。我们的方法实现了新的国家的最先进的匹配评估结果,平均倒数排名比以前的SOTA模型的相对改善超过25%。当对具有实体和关系移位的较小KG进行进一步微调时,预训练的iHT表示被证明是可转移的,显著提高了FB 15 K-237和WN 18 RR的性能。
2023-03-28 cs.CL cs.LG
Predicting Brain Age using Transferable coVariance Neural Networks
University of Pennsylvania(宾夕法尼亚大学);University of Rochester(罗切斯特大学)
实际年龄和生物年龄之间的偏差是公认的与认知衰退和神经退行性变相关的生物标志物。脑结构的神经病变相关和病理驱动的变化被各种神经成像方式捕获。这些数据集的特征在于高维性以及共线性,因此图神经网络在神经成像研究中的应用通常使用样本协方差矩阵作为图。我们最近研究了协方差神经网络(VNN),使用来自图卷积网络的架构,样本协方差矩阵上操作,我们显示VNN享有显着的优势,比传统的数据分析方法。在本文中,我们证明了VNN在推断大脑年龄使用皮层厚度数据的效用。此外,我们的研究结果表明,VNN表现出多尺度和多站点的可转移性推断{脑年龄}。在阿尔茨海默病(AD)的脑年龄的背景下,我们的实验表明:i)VNN输出是可解释的,因为对于不同的数据集,相对于健康受试者,使用VNN预测的AD的脑年龄显著升高;以及ii)VNN可以是可转移的,即,在一个数据集上训练的VNN可以转移到具有不同维度的另一个数据集,而无需重新训练以进行大脑年龄预测。
2022-10-28 cs.LG q-bio.QM
HKTGNN: Hierarchical Knowledge Transferable Graph Neural Network-based Supply Chain Risk Assessment
School of Information Science and Engineering, University of Electronic Science and Technology of China(电子科技大学信息与工程学院);School of Computer Science, Sichuan University(四川大学计算机学院);Chongqing CEPREI Industrial Technology Research Institute Co., Ltd(重庆中电六所智能产业技术研究院有限公司);Sichuan Changhong Electronic Holding Group Co., Ltd(四川长虹电子控股集团有限公司);College of Computer Science and Cyber Security, Chengdu University of Technology(成都理工大学计算机与网络安全学院);School of Computer Science, Wuhan University(武汉大学计算机学院)
针对供应链风险评估中单节点特征数据匮乏、特征存在偏差的问题,提出基于分层知识可迁移图神经网络的HKTGNN模型,通过图嵌入简化网络、领域差异知识迁移与特征补全缓解问题,在真实数据集上表现更优。
2023-11-07 cs.AI cs.LG
Pure Exploration with Feedback Graphs
Boston University(波士顿大学);Broad Institute of MIT and Harvard(麻省理工学院与哈佛大学博德研究所)
本文首次研究带反馈图的纯探索问题,推导了样本复杂度下界,并提出渐近最优算法TaS-FG,在不同图配置下验证了其高效性。
2025-03-10 cs.LG stat.ML
Joint Pre-training and Local Re-training: Transferable Representation Learning on Multi-source Knowledge Graphs
Nanjing University(南京大学);Alibaba Group(阿里巴巴集团)
针对多源知识图谱互补信息利用问题,提出联合预训练与局部再训练框架,通过实体对齐链接子图及三级知识蒸馏实现可迁移表示学习。
2023-06-05 cs.CL cs.LG
GLASS: Graph-Language Alignment with Spherical Scoring for Transferable Graph-Level Anomaly Detection
School of Data Science, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(香港中文大学(深圳)数据科学学院)
该研究提出GLASS框架,通过图-语言对齐与球形多模态评分实现图级异常检测,在12个基准和3个元域上取得最优性能,支持零样本及少样本跨域迁移。
2026-10-02 cs.LG
Pro-ZD: A Transferable Graph Neural Network Approach for Proactive Zero-Day Threats Mitigation
Ecole Polytechnique de Tunisie(突尼斯理工学院);Macquarie University(麦考瑞大学);Ditno INC.(Ditno公司)
Pro-ZD通过图神经网络主动识别高风险网络连接,有效缓解零日威胁。
2026-02-06 cs.AI cs.CR cs.LG
Reification as a Transferable Vocabulary: Zero-Shot Link Prediction with Vanilla GNNs
Matr
通过将知识图谱具体化为固定六元关系词汇的表示,普通GNN即可实现零样本链接预测,其中现成GAT性能媲美专用基础模型ULTRA,并扩展至关系数据库外键预测。
2026-09-11 cs.AI cs.LG
Learning Noise-Resilient and Transferable Graph-Text Alignment via Dynamic Quality Assessment
School of New Media and Communication, Tianjin University(新媒体与传播学院,天津大学);Baidu(百度);Shanghai Jiao Tong University(上海交通大学);School of Computer Science and Engineering, Beihang University(计算机科学与工程学院,北航)
针对现有图-文本对齐器忽略多对多关系、抗噪性差的问题,提出动态质量感知框架ADAligner,可根据监督质量调整对齐策略,在9个数据集上的多任务表现优于基线,且预训练速度提升2-3倍。
2025-10-22 cs.LG
DANE: Domain Adaptive Network Embedding
Peking University(北京大学)
最近的工作表明,网络嵌入技术使许多机器学习模型能够处理图结构数据上的各种下游任务。然而,由于以前的方法通常专注于学习单个网络的嵌入,它们不能学习在多个网络上可转移的表示。因此,设计一种网络嵌入算法来支持不同网络上的下游模型传输,称为领域自适应,是非常重要的。本文提出了一种新的域自适应网络嵌入框架,该框架利用图卷积网络学习可转移的嵌入。在DANE中,来自多个网络的节点通过一组共享的可学习参数编码为向量,以便向量共享对齐的嵌入空间。不同网络上的嵌入分布通过对抗学习正则化进一步对齐。此外,DANE在学习可迁移网络嵌入方面的优势也得到了理论上的保证。大量的实验表明,该框架在跨网络领域自适应任务中优于其他最先进的网络嵌入基线。
2019-08-19 cs.LG cs.SI stat.ML
GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training
Tsinghua University(清华大学);Microsoft Research, Redmond(微软研究院);Remin University(中国人民大学);DAMO Academy, Alibaba Group(阿里巴巴达摩院)
图表示学习已经成为解决现实问题的一种强大技术。各种下游图学习任务已经从其最近的发展中受益,例如节点分类,相似性搜索和图分类。然而,关于图表示学习的现有技术关注于特定领域的问题,并为每个图数据集训练专用模型,该模型通常不可转移到域外数据。受自然语言处理和计算机视觉预训练最新进展的启发,我们设计了图对比编码(GCC)-一种自监督图神经网络预训练框架-以捕获跨多个网络的通用网络拓扑属性。我们将GCC的预训练任务设计为网络内部和网络之间的子图实例区分,并利用对比学习使图神经网络能够学习内在的和可转移的结构表示。我们对三个图学习任务和十个图数据集进行了广泛的实验。结果表明,在一组不同的数据集上预先训练的GCC可以实现与其特定任务和从头开始训练的同行相比具有竞争力或更好的性能。这表明预训练和微调范式为图表示学习提供了巨大的潜力。
2020-07-02 cs.LG cs.SI stat.ML
RetaGNN: Relational Temporal Attentive Graph Neural Networks for Holistic Sequential Recommendation
National Cheng Kung University(国立成功大学)
顺序推荐(SR)是根据用户当前访问的项目,为用户准确地推荐一个项目列表。当新用户不断进入现实世界时,一个关键的任务是拥有归纳SR,它可以在不重新训练的情况下生成用户和项目的嵌入。考虑到用户-项目交互可能非常稀疏,另一个关键任务是具有可转移的SR,可以将从一个具有丰富数据的领域中获得的知识转移到另一个领域。在这项工作中,我们的目标是提出整体SR,同时容纳传统的,归纳的,和可转移的设置。我们提出了一种新的基于深度学习的模型,关系时间注意图神经网络(RetaGNN),用于整体SR。首先,具有归纳和可转移的能力,我们训练一个关系关注GNN上的局部子图提取的用户项目对,其中可学习的权重矩阵是在用户,项目和属性之间的各种关系,而不是节点或边缘。其次,长期和短期的时间模式的用户偏好编码的建议顺序自我注意力机制。第三,设计了一个关系感知的正则化项,以更好地训练RetaGNN。在MovieLens,Instagram和Book-Crossing数据集上进行的实验表明,RetaGNN在传统,归纳和可转移的设置下可以胜过最先进的方法。导出的注意力权重也带来了模型的可解释性。
2021-01-29 cs.IR cs.LG cs.SI
HGAttack: Transferable Heterogeneous Graph Adversarial Attack
Nanyang Technological University(南洋理工大学);Tencent(腾讯)
针对异质图神经网络缺乏专用攻击方法的问题,提出 HGAttack 灰盒逃逸攻击,通过元路径代理模型和语义感知梯度扰动生成可迁移攻击。
2024-01-18 cs.CR cs.IR cs.LG
Can Computational Reducibility Lead to Transferable Models for Graph Combinatorial Optimization?
Operations Research, Université de Montréal(运营研究,蒙特利尔大学);Mila – Quebec AI Institute(魁北克人工智能研究所);Valence Labs(Valence实验室);Dept. of Mathematics, Boise State University(数学系,博伊州立大学)
本文提出了一种基于计算可约性的方法,通过表达性消息传递和预训练策略,在图组合优化中实现跨任务的可迁移模型。
2026-08-12 cs.AI cs.LG
Molecule-Morphology Contrastive Pretraining for Transferable Molecular Representation
GSK(葛兰素史克)
本研究提出 Molecule-Morphology Contrastive Pretraining (MoCoP) 框架,通过整合分子图与细胞形态的多模态表示,显著提升了 QSAR 模型在分子属性预测任务中的性能。
2023-06-27 cs.LG q-bio.BM
A Unified Pre-training and Adaptation Framework for Combinatorial Optimization on Graphs
University of Chinese Academy of Sciences(中国科学院大学);Beijing University of Technology(北京工业大学);Central South University(中南大学)
该研究针对现有图神经网络求解图上组合优化问题时泛化迁移性不足、未利用问题数学逻辑的缺陷,提出基于Max-SAT的统一预训练与域适配框架,实验证明其特征迁移性优异,可提升图上CO求解能力。
2023-12-16 cs.AI cs.LG
Temperature Distribution Prediction in Laser Powder Bed Fusion using Transferable and Scalable Graph Neural Networks
Pennsylvania State University(宾夕法尼亚州立大学)
本研究提出基于图神经网络的替代模型,从小规模有限元模拟学习物理规律,实现激光粉末床熔融温度分布的快速准确预测,显著降低计算成本并展现可扩展性。
2024-07-18 cs.CE cs.LG
Strong Transferable Adversarial Attacks via Ensembled Asymptotically Normal Distribution Learning
School of Computer Science and Technology, Beijing Jiaotong University(北京交通大学计算机科学与技术学院);Collaborative Innovation Center of Railway Traffic Safety(轨道交通安全协同创新中心)
本文提出MultiANDA方法,利用随机梯度上升的渐近正态性和深度集成策略估计高斯混合后验分布,为每个输入生成无限对抗扰动,在14个模型上超越10种最先进黑盒攻击。
2024-03-29 cs.CV cs.LG