Communication-efficient Federated Graph Classification via Generative Diffusion Modeling
Hong Kong Baptist University（香港 Baptist 大学）；Hong Kong Polytechnic University（香港 Polytechnic 大学）
CeFGC通过生成扩散模型实现高效的联邦图分类，仅需三次通信轮次即可在非IID数据上提升GNN性能。
2026-01-22 cs.LG
Structurally Human, Semantically Biased: Detecting LLM-Generated References with Embeddings and GNNs
Vrije Universiteit Brussel（布鲁塞尔自由大学）；SEAS, Harvard University（哈佛大学工程学院）
本文通过嵌入和图神经网络检测LLM生成的参考文献，发现其拓扑结构接近人类，但语义特征可被识别。
2026-01-28 cs.LG
Generative Explanations for Graph Neural Network: Methods and Evaluations
Yale University（耶鲁大学）；ETH Zurich（苏黎世联邦理工学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文从图生成角度综述图神经网络解释方法，提出统一优化目标（归因与信息约束），揭示现有方法共性与差异，并通过实证评估其性能、效率与泛化性。
2023-11-09 cs.LG
Mobile Network Configuration Recommendation using Deep Generative Graph Neural Network
Ericsson（爱立信）
本文提出基于深度生成图神经网络与孪生GNN的框架，将无线接入网编码为图以学习节点嵌入，实现多参数配置推荐与错误配置检测，并在真实数据上验证其准确性、泛化性和抗概念漂移能力。
2024-06-07 cs.AI cs.LG cs.NI
A Variational Edge Partition Model for Supervised Graph Representation Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Nanyang Technological University（南洋理工大学）；Xidian University（西安电子科技大学）
图神经网络（GNNs）通过边传播节点特征并学习如何在标签监督下转换聚合特征，在节点级和图级分类任务的监督特征提取方面取得了巨大成功。然而，GNN通常将图结构视为给定的，而忽略边是如何形成的。本文介绍了一种图形生成过程来模拟如何通过聚合一组重叠节点社区上的节点交互来生成观察到的边缘，每个社区都通过逻辑OR机制对边缘做出贡献。基于这种生成模型，我们将每个边划分为多个社区特定的加权边的总和，并使用它们来定义社区特定的GNN。提出了一种变分推断框架，用于联合学习基于GNN的推理网络，该推理网络将边缘划分为不同的社区，这些社区特定的GNN，以及基于GNN的预测器，该预测器将社区特定的GNN组合用于最终分类任务。对真实世界图数据集的广泛评估已经验证了所提出的方法在学习节点级和图级分类任务的区分表示方面的有效性。
2022-10-31 cs.LG stat.CO stat.ME
Graph Generative Model for Benchmarking Graph Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
针对GNN领域基准图数据集少且隐私受限的问题，提出隐私可控的图生成模型CGT，可生成与源图性能表现相近的大规模基准图，经实验验证效果优于现有同类模型。
2023-06-09 cs.AI cs.CR cs.LG
Recovering Barabási-Albert Parameters of Graphs through Disentanglement
ETH Zurich（苏黎世联邦理工学院）
经典的图建模方法，如Erdés Rényi（ER）随机图或Barabási-Albert（BA）图，这里称为程式化模型，旨在以可解释的方式再现真实世界图的属性。虽然有用，但使用程式化模型生成图需要领域知识和迭代试错模拟。Stoehr等人（2019）通过使用以解纠缠为重点的深度自动编码框架（更具体地说，$β$ -变分自编码器（$β$ -VAE））从图形数据中学习生成过程来解决这些问题。虽然他们通过模型的潜变量成功地恢复了ER图的生成参数，但由于其过度简化的解码器，他们的模型在顺序生成的图（如BA图）上表现不佳。我们专注于恢复BA图的生成参数，通过更换其$β$ -VAE解码器与一个顺序。我们首先使用图神经网络（GNN）和随机森林回归器以监督方式学习生成BA参数，通过最小化真实生成参数和潜在变量之间的平方损失。接下来，我们训练一个$β$ -VAE模型，将第一阶段的GNN编码器与具有定制损耗的基于LSTM的解码器相结合。
2021-05-04 cs.LG cs.SI stat.ML
DAG-GNN: DAG Structure Learning with Graph Neural Networks
Lehigh University（理海大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
从联合分布的样本中学习一个忠实的有向无环图（DAG）是一个具有挑战性的组合问题，这是由于图的搜索空间是图的节点数的超指数。最近的一个突破将该问题公式化为具有确保非循环性的结构约束的连续优化（Zheng等人，2018年）。作者应用的线性结构方程模型（SEM）和最小二乘损失函数，统计上合理，但仍然有限的方法。由于深度学习能够捕获复杂的非线性映射，因此在这项工作中，我们提出了一个深度生成模型，并应用结构约束的变体来学习DAG。生成模型的核心是一个变分自编码器，它由一个新的图神经网络架构参数化，我们称之为DAG-GNN。除了更丰富的能力，所提出的模型的优点是，它自然地处理离散变量以及向量值的。我们证明，在合成数据集上，所提出的方法学习更准确的图形非线性生成的样本;在具有离散变量的基准数据集上，学习的图形合理地接近全局最优值。代码可在\url{https://github.com/fishmoon1234/DAG-GNN}上获得。
2019-04-22 cs.AI cs.LG stat.ML
A coherence parameter characterizing generative compressed sensing with Fourier measurements
McGill University（麦吉尔大学）；Concordia University（康考迪亚大学）；University of British Columbia（不列颠哥伦比亚大学）
在Bora等人（2017）中，为压缩感知保证开发了一个数学框架，其中测量矩阵是高斯的，信号结构是生成神经网络（GNN）的范围。当测量矩阵和/或网络权重遵循亚高斯分布时，GNN的压缩感知问题已经被广泛分析。我们超越了亚高斯假设，测量矩阵是通过均匀采样在一个酉矩阵的随机行（包括子采样傅立叶测量作为一种特殊情况）。具体来说，我们证明了第一个已知的限制等距保证生成压缩感知与二次采样等距，并提供恢复边界，解决了一个开放的问题Scarlett等人。（2022年，第10页）。恢复效能的特点是一致性，一个新的参数，它衡量网络的范围和测量矩阵之间的相互作用。我们的方法依赖于子空间计数参数和思想的核心高维概率。此外，我们提出了一种正则化策略，用于训练GNNs，使其与测量算子具有良好的一致性。我们提供了令人信服的数值模拟来支持这种正则化的训练策略：我们的策略产生了低相干网络，需要更少的信号恢复测量。这与我们的理论结果一起，支持相干性作为一个自然的量来表征生成压缩感知与子采样等距。
2022-11-09 cs.IT cs.LG eess.SP
Rethinking Generative Reconstruction Attacks against Graph Neural Network Models
Department of Computer Science, The University of Alabama（计算机科学系，阿拉巴马大学）
提出两种新型图重构攻击（GLC和ELC），利用模型预测和中间表示，在真实黑盒场景下通过生成对抗技术重建高质量图数据，并验证了GNNs对隐私攻击的脆弱性。
2026-06-29 cs.AI cs.LG
AutoParLLM: GNN-guided Context Generation for Zero-Shot Code Parallelization using LLMs
Iowa State University（爱荷华州立大学）；Intel Labs（英特尔实验室）；DataStax（DataStax公司）；Cisco AI Research（思科人工智能研究部门）
提出 AutoParLLM，用 GNN 引导生成 ICL 上下文，使 LLM 在零样本并行代码生成中显著提升 CodeBERTScore 与实际加速比。
2025-02-19 cs.LG
SizeShiftReg: a Regularization Method for Improving Size-Generalization in Graph Neural Networks
University of Padova（帕多瓦大学）；University of Cambridge（剑桥大学）
在过去的几年里，图神经网络（GNNs）已经成为图分类的事实上的模型选择。虽然从理论的角度来看，大多数GNN可以在任何大小的图上操作，但根据经验观察，当它们应用于大小与训练数据中的大小不同的图时，它们的分类性能会下降。以前的作品已经试图解决这个问题，在图分类提供的模型与归纳偏见来自假设的生成过程中的图形，或通过要求访问图从测试域。第一种策略与生成过程假设的质量有关，需要使用在明确定义数据生成过程后设计的特定模型，从而留下了如何在一般设置中提高通用GNN模型性能的问题。另一方面，第二种策略可以应用于任何GNN，但需要访问并不总是容易获得的信息。在这项工作中，我们考虑的情况下，我们只能访问的训练数据，我们提出了一个正则化策略，可以应用于任何GNN，以提高其泛化能力，从较小的到较大的图形，而不需要访问的测试数据。我们的正则化是基于使用粗化技术模拟训练图大小变化的想法，并强制模型对这种变化具有鲁棒性。在标准数据集上的实验结果表明，在数据集中50%最小图上训练并在10%最大图上测试的流行GNN模型，在使用我们的正则化策略训练时，性能提高了30%。
2022-10-20 cs.LG
Enhancing Swarms Durability to Threats via Graph Signal Processing and GNN-based Generative Modeling
School of Computer Science and Engineering, The Hebrew University of Jerusalem（计算机科学与工程系，海法大学）；Department of Computer Science, Stanford University（斯坦福大学计算机科学系）；Genentech, Inc.（基因泰克公司）；Racah Institute of Physics, The Hebrew University of Jerusalem（物理研究所，海法大学）；Faculty of Medicine, The Hebrew University of Jerusalem（医学院，海法大学）
本文通过图信号处理揭示群体可检测性与耐久性之间的权衡，并提出基于GNN的生成模型SwaGen，以任务特定损失同时优化矛盾项，生成鲁棒空间配置。
2025-07-03 cs.LG physics.bio-ph q-bio.QM
LIFT: LLM-Based Pragma Insertion for HLS via GNN Supervised Fine-Tuning
Computer Science Department, University of California - Los Angeles（加州大学洛杉矶分校计算机科学系）
提出基于LLM的HLS编码助手LIFT，通过GNN监督微调自动生成优化pragma，结合LLM序列建模与GNN结构语义理解，性能显著超越AutoDSE、HARP和GPT-4o。
2025-04-29 cs.LG
DiP-GNN: Discriminative Pre-Training of Graph Neural Networks
Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊）
已经提出了图神经网络（GNN）预训练方法以增强GNN的功率。具体来说，GNN首先在大规模未标记图上进行预训练，然后在单独的小标记图上进行微调，以用于下游应用，例如节点分类。一种流行的预训练方法是屏蔽一定比例的边缘，然后训练GNN来恢复它们。然而，这样的生成方法遭受图形失配。也就是说，输入到GNN的掩码图偏离原始图。为了缓解这个问题，我们提出了DiP-GNN（图神经网络的判别预训练）。具体来说，我们训练一个生成器来恢复被掩蔽的边的身份，同时，我们训练一个搜索器来区分生成的边和原始图的边。在我们的框架中，由于生成器可以恢复一定比例的被掩蔽的边缘，因此，由搜索器看到的图更好地匹配原始图。在大规模同构和异构图上的大量实验证明了该框架的有效性。
2022-09-15 cs.LG
Unbiased GNN Learning via Fairness-Aware Subgraph Diffusion
School of Computer Science, Carleton University（卡尔顿大学计算机科学学院）
本文提出公平感知子图扩散方法FASD，通过随机微分方程驱动的生成式扩散过程对采样子图进行去偏，再在去偏子图上进行GNN学习，从而在多个基准数据集上实现优于现有公平GNN基线的无偏节点预测。
2024-12-31 cs.AI cs.LG
OrphicX: A Causality-Inspired Latent Variable Model for Interpreting Graph Neural Networks
The Hong Kong Polytechnic University（香港理工大学）；University of Toronto（多伦多大学）；Rutgers University（罗格斯大学）
本文提出了一个新的解释框架，称为OrphicX，用于生成因果解释的任何图神经网络（GNNs）的基础上学习潜在的因果因素。具体来说，我们构建了一个独特的生成模型，并设计了一个目标函数，鼓励生成模型产生因果关系，紧凑，忠实的解释。这是通过最大化信息流测量来隔离图的潜在空间中的因果因素来实现的。我们从理论上分析了因果关系图中的因果关系，将节点属性识别为图和GNN预测之间的混淆因素，并通过利用后门调整公式来规避这种混淆效应。我们的框架与任何GNN都兼容，并且它不需要访问目标GNN产生预测的过程。此外，它不依赖于所解释的特征的线性独立性假设，也不需要关于图学习任务的先验知识。我们展示了OrphicX在图数据的规范分类问题上的概念证明。特别是，我们分析了从分子图的解释中获得的解释子图（即，Mutag），并定量评估频繁出现子图模式的解释性能。从经验上讲，我们表明，OrphicX可以有效地识别因果语义生成因果解释，显着优于其替代品。
2022-03-29 cs.LG stat.ML
On Evaluation Metrics for Graph Generative Models
University of Guelph（圭尔夫大学）；Vector Institute（向量研究所）；Samsung, SAIT AI Lab（三星综合技术院人工智能实验室）；POSTECH（浦项科技大学）
在图像生成中，可以通过视觉检查模型输出来自然地评估生成模型。然而，对于图生成模型（GGM）来说，情况并非总是如此，这使得它们的评估具有挑战性。目前，用于评估GGM的标准过程受到三个关键限制：i）它不产生单个分数，这使得模型选择具有挑战性，ii）在许多情况下，它未能考虑潜在的边缘和节点特征，以及iii）它执行起来非常缓慢。在这项工作中，我们减轻了这些问题，通过搜索标量，域不可知的，可扩展的指标评估和排名GGM。为此，我们研究了现有的GGM指标和基于神经网络的指标，这些指标来自使用从特定任务网络中提取的嵌入的图像生成模型。受某些图神经网络（GNN）在没有任何训练的情况下提取有意义的图表示的能力的启发，我们引入了几个基于未经训练的随机GNN提取的特征的度量。我们设计的实验，彻底测试指标的能力，以衡量所生成的图形的多样性和保真度，以及他们的样本和计算效率。根据样本的数量，我们推荐两个基于随机GNN的指标中的一个，我们证明它比现有的指标更具表达力。虽然我们专注于将这些指标应用于GGM评估，但在实践中，这使得能够轻松计算任何两组图之间的相异性，而不管域如何。我们的代码发布于：https://github.com/uoguelph-mlrg/GGM-metrics。
2022-04-27 cs.AI cs.LG
A Generative Framework for Predictive Modeling of Multiple Chronic Conditions Using Graph Variational Autoencoder and Bandit-Optimized Graph Neural Network
Department of Mechanical Engineering, The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校机械工程系）；Department of Mechanical Engineering, Southern Methodist University（南方 Methodist 大学机械工程系）；Engineering Technology Department, Sam Houston State University（萨姆霍茨顿州立大学工程技术系）；UTHealth Houston, The University of Texas Health Science Center at Houston（德克萨斯大学健康科学中心休斯顿分校）
针对MCC缺乏现成图结构的问题，提出GVAE生成患者随机相似图、GNN结合拉普拉斯正则化并由上下文老虎机迭代选图的预测框架。
2025-06-10 cs.LG
GIN-Graph: A Generative Interpretation Network for Model-Level Explanation of Graph Neural Networks
本文提出GIN-Graph生成式解释网络，利用免似然生成对抗网络和动态损失权重方案生成可靠且高质量的图神经网络模型级解释图，解决了现有方法生成无效解释图及缺乏可靠性的问题。
2025-09-18 cs.LG
Neural Multi-network Diffusion towards Social Recommendation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；HRL（HRL实验室）；Amazon（亚马逊）
本文提出面向社交推荐的神经多网络模型NeMo，通过生成式负采样策略同时利用正负用户-物品交互进行兴趣传播，在多个真实基准数据集上显著优于现有方法。
2023-04-11 cs.LG cs.SI
Learning From Graph-Structured Data: Addressing Design Issues and Exploring Practical Applications in Graph Representation Learning
McGill University（麦吉尔大学）
本文综述了图表示学习与GNNs的最新进展，提出了配备高阶池化函数的GNN以提升节点级和图级任务性能，并构建了以GNN为核心的分子图生成模型，能同时生成原子-键结构与精确原子位置，在多种数据集上表现卓越。
2024-11-09 cs.AI cs.LG
GPN: A Joint Structural Learning Framework for Graph Neural Networks
Tencent AI Lab（腾讯人工智能实验室）
图神经网络（GNN）已经被应用到各种图任务中。现有的GNN大多数工作都是基于给定的图数据是最优的假设，而在用于训练的图数据中不可避免地存在缺失或不完整的边，从而导致性能下降。在本文中，我们提出了生成预测网络（GPN），这是一种基于GNN的联合学习框架，可以同时学习图结构和下游任务。具体来说，我们为这个联合学习任务开发了一个双层优化框架，其中上层优化（生成器）和下层优化（预测器）都使用GNN实例化。据我们所知，我们的方法是第一个基于GNN的双层优化框架来解决这个任务。通过大量的实验，我们的方法优于使用基准数据集的各种基线。
2022-05-12 cs.LG
Can Large Language Models Improve the Adversarial Robustness of Graph Neural Networks?
Beijing University of Posts and Telecommunications（北京邮电大学）；Beihang University（北京航空航天大学）；Imperial College London（伦敦帝国学院）；China Telecom Bestpay（中国电信翼支付）
本文提出基于LLM的鲁棒图结构推理框架LLM4RGNN，通过蒸馏GPT-4能力识别恶意边并预测缺失边以恢复图结构，显著提升了GNNs面对拓扑对抗攻击的鲁棒性。
2024-12-24 cs.AI cs.CY cs.LG
Feature-Enhanced Graph Neural Networks for Classification of Synthetic Graph Generative Models: A Benchmarking Study
Abertay University（阿伯塔伊大学）
本文提出了一种结合图神经网络与人工设计图论特征的方法，用于合成图生成模型的分类任务，发现GraphSAGE和GTN在分类性能上表现最佳。
2025-12-20 cs.LG
GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning
University of Minnesota（明尼苏达大学）
本文提出GNN-RAG框架，通过GNN在知识图谱子图上推理检索答案候选并提取路径，结合LLM的检索增强生成能力进行问答，在WebQSP和CWQ基准上以7B微调模型匹配GPT-4性能，并在多跳多实体问题上显著领先。
2024-05-30 cs.AI cs.CL cs.LG
Using GNN property predictors as molecule generators
University of Toronto（多伦多大学）
本文提出利用图神经网络性质预测器的可逆性，通过固定权重下的梯度上升直接优化分子图以生成具有目标电子性质的分子，无需额外训练，在能隙和logP任务上达到与最先进生成模型相当或更优的成功率且分子多样性更高。
2024-06-05 cs.LG physics.chem-ph
Neural Generation of Blocks for Video Coding
SoundHound（声hound公司）
经过良好训练的生成神经网络（GNN）在压缩静态图像的视觉信息方面非常有效，但对于大多数视频内容来说，它不如帧间和帧内预测那么有效。然而，对于进入帧的内容，例如在平移或缩小期间，以及具有曲线、不规则形状或精细细节的内容，通过GNN生成可以提供更好的压缩效率（更低的速率失真）。本文提出了在特定时间对视频比特流中GNN的内容特定的学习参数进行编码，并使用GNN为特定范围的块和帧生成内容。要生成的块仅仅是生成比帧间或帧内预测更有效的压缩的块。这种方法最大化了学习参数中包含的信息的有用性。
2020-10-05 cs.LG cs.MM eess.IV
ImGAGN:Imbalanced Network Embedding via Generative Adversarial Graph Networks
Southern University of Science and Technology（南方科技大学）；The University of Queensland（昆士兰大学）
图上的不平衡分类在许多现实世界的应用中普遍存在，但具有挑战性，例如欺诈节点检测。最近，图神经网络（GNNs）在许多网络分析任务中表现出了良好的性能。然而，大多数现有的GNN几乎只专注于平衡网络，并且在不平衡网络上会得到不吸引人的性能。为了弥合这一差距，在本文中，我们提出了一个生成对抗图网络模型，称为ImGAGN，以解决图上的不平衡分类问题。介绍了一种新的图结构数据生成器GraphGenerator，它通过生成一组合成的少数类节点来模拟少数类节点的属性分布和网络拓扑结构分布，使得不同类节点的数量能够均衡。然后，训练图卷积网络（GCN）来区分真实节点和伪节点（即，生成的）节点之间，以及合成平衡网络上的少数节点和多数节点之间。为了验证所提出的方法的有效性，进行了广泛的实验上的四个现实世界的不平衡网络数据集。实验结果表明，该方法ImGAGN优于国家的最先进的半监督不平衡节点分类任务的算法。
2021-06-05 cs.AI cs.LG
GANExplainer: GAN-based Graph Neural Networks Explainer
University of Technology Sydney（悉尼科技大学）
随着基于图神经网络（GNN）的技术在诸如链接预测、节点分类和图分类等广泛应用中的快速部署，GNN的可解释性已成为预测性和可信决策的不可或缺的组成部分。因此，关键是要解释为什么图神经网络（GNN）作出特定的预测，他们相信在许多应用。最近提出了一些GNN解释器。然而，他们缺乏准确和真实的解释。为了减轻这些限制，我们提出了GANExplainer，基于生成对抗网络（GAN）架构。GANExplainer由一个生成器和一个解释器组成，生成器用于创建解释，解释器用于协助生成器的开发。我们通过比较GANExplainer与其他最先进方法的性能来研究我们模型的解释准确性。我们在合成数据集上的实证结果表明，GANExplainer与其替代品相比，解释准确率提高了35%。
2022-12-30 cs.LG
DAG Matters! GFlowNets Enhanced Explainer For Graph Neural Networks
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Tianjin University（天津大学）；National University of Singapore（新加坡国立大学）
揭示图神经网络（GNN）预测背后的原理近年来受到越来越多的关注。现有的文献主要集中在选择一个子图，通过组合优化，提供忠实的解释。然而，候选子图的指数大小限制了最先进方法对大规模GNN的适用性。我们通过一种不同的方法来增强这一点：通过提出一种生成结构-基于GFlowNets-based GNN Explainer（GFlowExplainer），我们将优化问题转化为逐步生成问题。我们的GFlowExplainer旨在学习一种策略，该策略生成子图的分布，其中子图的概率与其奖励成比例。该方法消除了节点序列的影响，因此不需要任何预训练策略。我们还提出了一个新的切割顶点矩阵，以有效地探索GFlowNets结构的父状态，从而使我们的方法适用于大规模的设置。我们进行了广泛的实验，在合成和真实的数据集，定性和定量的结果表明，我们的GFlowExplainer的优越性。
2023-03-04 cs.AI cs.LG
GPT-ST: Generative Pre-Training of Spatio-Temporal Graph Neural Networks
South China University of Technology（华南理工大学）；University of Hong Kong（香港大学）；PAZHOU LAB（琶洲实验室）；Guangdong Key Lab of Communication and Computer Network（广东省通信与计算机网络重点实验室）
针对时空预测模型集成扩展难的问题，提出含定制化模块的时空掩码自编码器与自适应掩码策略的GPT-ST预训练框架，可提升下游基准性能，实验验证有效且代码开源。
2023-11-07 cs.AI cs.CY cs.LG
CogGNN: Cognitive Graph Neural Networks in Generative Connectomics
National Engineering School of Sousse, University of Sousse, LATIS- Laboratory of Advanced Technology and Intelligent Systems（突尼斯苏塞国立工程学校，苏塞大学，先进技术与智能系统实验室）；BASIRA Lab, Imperial-X（BASIRA实验室，Imperial-X）；Department of Computing, Imperial College London, UK（计算系，伦敦帝国学院，英国）
提出首个认知化生成模型 CogGNN，通过引入视觉记忆等认知能力，生成兼具认知与结构意义的脑网络模板，并在实验中优于现有方法。
2025-09-13 cs.LG
What Ails Generative Structure-based Drug Design: Expressivity is Too Little or Too Much?
Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）；YaiYai Ltd.（YaiYai有限公司）
针对基于结构的药物设计生成模型性能不佳的问题，本文从理论与经验角度分析了GNN的表示局限与过度参数化，并提出一种度量感知方法，以更少参数和更高速度达到SOTA性能。
2025-03-03 cs.LG q-bio.BM
Face Deidentification with Generative Deep Neural Networks
Faculty of Computer and Information Science, University of Ljubljana（卢布尔雅那大学计算机与信息科学学院）；Department of Computer Engineering, Istanbul Technical University（伊斯坦布尔技术大学计算机工程系）；Faculty of Electrical Engineering, University of Ljubljana（卢布尔雅那大学电气工程学院）
人脸去识别是隐私和安全研究人员的一个活跃话题。早期的去身份化方法依赖于图像模糊或像素化，近年来被基于正式匿名模型的技术所取代，这些技术提供隐私保护，同时旨在即使在去身份化之后也保留数据的某些特征。后一个方面特别重要，因为它允许在身份信息不相关的应用程序中利用去识别数据。在这项工作中，我们提出了一种新的人脸去识别流水线，它确保匿名合成人工代理面孔使用生成神经网络（GNNs）。所生成的面部用于对图像或视频中的主体进行去识别，同时保留数据的非身份相关方面，从而实现数据利用。由于生成网络是非常自适应的，并且可以利用不同的参数集（与生成的输出在面部表情、性别、种族等方面的外观有关），它们代表了面部去识别化问题的自然选择。为了证明我们的方法的可行性，我们使用自动识别工具和人类注释器进行实验。我们的研究结果表明，去识别图像的识别性能接近机会，这表明基于GNNs的去识别过程是非常有效的。
2017-07-28 cs.AI cs.CV cs.LG
Transferability Properties of Graph Neural Networks
Univ. of Pennsylvania（宾夕法尼亚大学）；Simons Institute, U. C. Berkeley（加州大学伯克利分校西蒙斯研究所）
本文利用 graphon 极限理论定义图滤波器和 GNN 的生成模型，证明跨图迁移误差随图规模增大而减小，并揭示非线性散射行为可缓解迁移性与判别力的权衡。
2023-08-07 cs.LG eess.SP
Pre-training of Molecular GNNs via Conditional Boltzmann Generator
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
针对多构象获取成本高的问题，提出 Boltzmann GNN，通过条件构象生成模型的边际似然预训练分子 GNN，并取得优于现有图与三维结构预训练方法的性质预测性能。
2024-01-18 cs.LG physics.chem-ph q-bio.BM
GPT4MIA: Utilizing Generative Pre-trained Transformer (GPT-3) as A Plug-and-Play Transductive Model for Medical Image Analysis
Nanjing University of Science and Technology（南京理工大学）；University of Notre Dame（圣母大学）
在本文中，我们提出了一种新的方法（称为GPT 4 MIA），利用生成预训练的Transformer（GPT）作为一个即插即用的医学图像分析（MIA）的转导推理工具。我们提供了理论分析，为什么一个大的预训练的语言模型，如GPT-3可以用作MIA的即插即用的转导推理模型。在方法层面，我们开发了几种技术处理方法来提高GPT 4 MIA的效率和有效性，包括更好的提示结构设计，样本选择和代表性样本/特征的提示排序。我们提出了GPT 4 MIA的两个具体用例（带有工作流程）：（1）检测预测错误和（2）提高预测准确性，使用完善的基于视觉的图像分类模型进行推测（例如，ResNet）。实验证明，我们提出的方法是有效的，这两个任务。我们进一步讨论的机会和挑战，利用基于transformer的大语言模型更广泛的MIA应用程序。
2023-03-21 cs.AI cs.CV cs.LG
GPT-FL: Generative Pre-trained Model-Assisted Federated Learning
University of Southern California（南加州大学）；The Ohio State University（俄亥俄州立大学）；Amazon（亚马逊公司）；Inha University（仁荷大学）
本文提出 GPT-FL 框架，利用生成式预训练模型产生多样化合成数据以初始化服务器端下游模型，再通过联邦学习进行私有数据微调，从而提升准确率、通信与客户端采样效率。
2024-06-18 cs.DC cs.LG
GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers
IST Austria（奥地利科学技术研究所）；ETH Zurich（苏黎世联邦理工学院）；NeuralMagic（神经魔法公司）
生成式预训练的Transformer模型，称为GPT或OPT，通过在复杂语言建模任务中的突破性性能，以及极高的计算和存储成本，使自己脱颖而出。具体而言，由于其庞大的尺寸，即使是大型，高精度GPT模型的推理也可能需要多个高性能GPU，这限制了此类模型的可用性。虽然通过模型压缩缓解这种压力的工作正在兴起，但现有压缩技术的适用性和性能受到GPT模型的规模和复杂性的限制。在本文中，我们解决这个挑战，并提出GPTQ，一个新的单次权重量化方法的基础上近似二阶信息，这是高精度和高效率。具体来说，GPTQ可以在大约4个GPU小时内使用1750亿个参数对GPT模型进行优化，将位宽降低到每权重3或4位，相对于未压缩的基线，精度下降可以忽略不计。相对于之前提出的单次量化方法，我们的方法将压缩增益提高了一倍多，保持了准确性，使我们首次能够在单个GPU内执行1750亿个参数模型，以进行生成推理。此外，我们还表明，我们的方法仍然可以提供合理的精度在极端的量化制度，其中权重被量化到2位，甚至三进制量化水平。我们的实验表明，这些改进可以利用FP16的端到端推理加速，当使用高端GPU（NVIDIA A100）时约为3.25倍，当使用更具成本效益的GPU（NVIDIA A6000）时约为4.5倍。该实现可在https://github.com/IST-DASLab/gptq上获得。
2023-03-22 cs.LG
Event Stream GPT: A Data Pre-processing and Modeling Library for Generative, Pre-trained Transformers over Continuous-time Sequences of Complex Events
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出ESGPT开源库，简化连续时间复杂事件序列上生成式预训练Transformer的构建与评估，支持灵活数据配置、因果建模及少样本/零样本性能评估。
2023-06-21 cs.LG
A Complete Survey on Generative AI (AIGC): Is ChatGPT from GPT-4 to GPT-5 All You Need?
Kyung Hee University（庆熙大学）；KAIST（韩国科学技术院）；Beijing Institute of Technology（北京理工大学）；Hong Kong Polytechnic University（香港理工大学）；University of Electronic Science and technology（电子科技大学）
随着ChatGPT病毒式传播，生成式人工智能（AIGC，也就是人工智能生成的内容）因其分析和创建文本、图像等的能力而成为各地的头条新闻。如此铺天盖地的媒体报道，我们几乎不可能错过从某个角度瞥见AIGC的机会。在人工智能从纯分析过渡到创造的时代，值得注意的是，ChatGPT及其最新的语言模型GPT-4只是众多AIGC任务中的一个工具。ChatGPT的能力给人留下了深刻的印象，许多人想知道它的局限性：GPT-5（或其他未来的GPT变体）是否可以帮助ChatGPT统一所有AIGC任务，以实现多样化的内容创建？为了回答这个问题，需要全面审查现有的AIGC任务。因此，我们的工作来填补这一空白，提供了第一次看到AIGC，从技术到应用程序。现代生成式人工智能依赖于各种技术基础，从模型架构和自监督预训练到生成式建模方法（如GAN和扩散模型）。在介绍了基本技术之后，本文重点介绍了基于输出类型的各种AIGC任务的技术开发，包括文本，图像，视频，3D内容等，它描绘了ChatGPT未来的全部潜力。此外，我们总结了它们在一些主流行业中的重要应用，如教育和创意内容。最后，我们讨论了目前面临的挑战，并对生成式人工智能在不久的将来如何发展提出了展望。
2023-03-21 cs.AI cs.CV cs.LG
Generative Pre-Trained Transformer for Design Concept Generation: An Exploration
Singapore University of Technology and Design（新加坡科技设计大学）
新颖的概念对于设计创新是必不可少的，并且可以在数据刺激和计算机的帮助下产生。然而，目前的生成式设计算法集中在图形或空间的概念，要么太抽象的理解或太详细的早期阶段的设计探索。本文探讨了生成预训练的Transformers（GPT）的自然语言设计概念生成的使用。我们的实验涉及使用GPT-2和GPT-3不同的创造性推理在设计任务。这两个都显示出相当好的性能口头设计概念生成。
2021-11-16 cs.CL cs.LG
Advancements in Generative AI: A Comprehensive Review of GANs, GPT, Autoencoders, Diffusion Model, and Transformers
Bowie State University（鲍伊州立大学）；Morgan State University（摩根州立大学）；University of the District of Columbia（哥伦比亚特区大学）
本文系统综述了以ChatGPT为代表的生成式AI进展，涵盖GAN、GPT、自编码器、扩散模型和Transformer等核心模型，分析其多样化任务能力、面临的挑战及未来前景。
2023-11-21 cs.AI cs.LG
Generative AI for Enhancing Active Learning in Education: A Comparative Study of GPT-3.5 and GPT-4 in Crafting Customized Test Questions
本研究对比GPT-3.5与GPT-4在九年级数学定制试题命制中的表现，通过迭代调整、GPT-4当教师GPT-3.5当学生的设置模拟主动学习，发现GPT-4出题能力更优，且能提升GPT-3.5的解题能力，为AI赋能个性化教育提供参考。
2024-06-20 cs.AI cs.CL cs.LG
GPT-PPG: A GPT-based Foundation Model for Photoplethysmography Signals
Emory University（埃默里大学）；Georgia Institute of Technology（佐治亚理工学院）；Nell Hodgson Woodruff School of Nursing, Emory University（埃默里大学内尔·霍奇森·伍德拉夫护理学院）；University of California San Francisco（加利福尼亚大学旧金山分校）
本文提出GPT-PPG，将GPT架构适配于PPG信号，在超2亿样本上预训练，通过监督微调在房颤检测等任务中达到或超越SOTA，并展现无需微调的信号去噪生成能力。
2025-03-11 cs.LG eess.SP
A Study on the Performance of Generative Pre-trained Transformer (GPT) in Simulating Depressed Individuals on the Standardized Depressive Symptom Scale
School of Biomedical Engineering, Health Science Center, Shenzhen University（深圳大学医学中心生物医学工程学院）；Marshall Laboratory of Biomedical Engineering, Shenzhen University（深圳大学马歇尔生物医学工程实验室）
本研究使用HAMD-17、SDS和GDS-15评估GPT模拟正常及抑郁个体量表作答的能力，发现其总体符合评分标准且在高敏感量表上表现更好，但对轻中度抑郁的理解仍有限。
2023-07-17 cs.LG q-bio.NC
PolymerGPT: Multi-property Optimization with a Decoder-Based GPT Model for Generative Polymer Design
Texas A&M University（得克萨斯农工大学）；University of Pittsburgh（匹兹堡大学）；Virginia Tech（弗吉尼亚理工大学）；University of North Carolina Greensboro（北卡罗来纳大学格林斯伯勒分校）；Old Dominion University（奥多明尼昂大学）
PolymerGPT是一款基于解码器的GPT模型，可将多达37种聚合物属性融入生成过程，经实验验证其在多属性优化的聚合物生成任务中表现优异。
2026-08-04 cond-mat.mtrl-sci cs.AI cs.CE
MIDI-GPT: A Controllable Generative Model for Computer-Assisted Multitrack Music Composition
Simon Fraser University（西蒙菲莎大学）；Steinberg Media Technologies GmbH（斯坦伯格媒体技术有限公司）
本文提出基于 Transformer 的可控多轨音乐生成系统 MIDI-GPT，通过按轨拼接的事件序列表示和属性条件控制，实现音轨/小节级填充并避免复制训练素材，已探索商业集成与艺术创作应用。
2025-02-04 cs.LG cs.MM cs.SD
Generative Diffusion Models of Stochastic Graph Signals
University of Pennsylvania（宾夕法尼亚大学）；King Juan Carlos University（胡安·卡洛斯国王大学）
研究图上随机信号采样问题，提出用去噪扩散框架统一解决，核心方法是由图神经网络参数化反向扩散过程，通过U-GNN架构实现，在股票价格预测和无线资源分配任务中取得广泛数值结果。
2026-07-09 cs.LG eess.SP
COA-GPT: Generative Pre-trained Transformers for Accelerated Course of Action Development in Military Operations
DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
本文提出COA-GPT算法，利用大型语言模型结合军事条令，通过上下文学习实现行动方案的秒级生成与指挥官反馈驱动的实时优化，在军事化星际争霸II场景中优于强化学习方法。
2024-03-28 cs.AI cs.CL cs.HC
Cost-efficient generative AI summarization for scalable automated essay scoring in educational assessment
Princeton University（普林斯顿大学）
研究针对自动作文评分受输入长度限制问题，提出用生成式人工智能辅助摘要框架，用GPT-5变体生成摘要作输入，结合手工语言特征形成混合框架，评估其在评分等方面表现，揭示相关权衡，为AES提供初步评估及基线等。
2026-07-20 cs.CL cs.LG
RNA-GPT: Multimodal Generative System for RNA Sequence Understanding
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Georgia Institute of Technology（佐治亚理工学院）
RNA-GPT是一个多模态RNA聊天模型，通过整合RNA序列编码器与大型语言模型，并利用自动化系统RNA-QA生成的407,616个样本进行训练，有效解决了复杂的RNA查询，促进了RNA研究。
2024-10-29 cs.AI cs.CE cs.LG
Generative Language Modeling for Automated Theorem Proving
OpenAI
我们探讨了基于transformer的语言模型在自动定理证明中的应用。这项工作的动机是一个主要的限制自动定理证明人相比，人类-原始数学术语的生成-可能是通过从语言模型生成寻址的可能性。我们提出了一个自动化的证明和证明助手，GPT-f，元形式化语言，并分析其性能。GPT-f发现了新的简短证明，这些证明被主Metamath库所接受，据我们所知，这是基于深度学习的系统第一次提供被正式数学社区采用的证明。
2020-09-07 cs.AI cs.CL cs.LG
