STAR-GCN: Stacked and Reconstructed Graph Convolutional Networks for Recommender Systems
The Chinese University of Hong Kong(香港中文大学);Hong Kong University of Science and Technology(香港科技大学);Tencent(腾讯)
我们提出了一种新的STacked and Reconstructed图卷积网络(STAR-GCN)架构来学习节点表示,以提高推荐系统的性能,特别是在冷启动情况下。STAR-GCN采用GCN编码器-解码器堆栈与中间监督相结合,以提高最终预测性能。与图卷积矩阵完成模型中的独热编码节点输入不同,STAR-GCN学习低维用户和项目潜在因子作为输入,以抑制模型的空间复杂度.此外,我们的STAR-GCN可以通过重建掩码输入节点嵌入来为新节点生成节点嵌入,这基本上解决了冷启动问题。此外,我们发现一个标签泄漏问题时,训练基于GCN的模型链接预测任务,并提出了一种训练策略,以避免这个问题。多个评级预测基准的实证结果表明,我们的模型在五分之四的真实世界数据集中实现了最先进的性能,并在冷启动场景中预测评级方面取得了显着改善。代码实现可在https://github.com/jennyzhang0215/STAR-GCN中获得。
2019-05-27 cs.IR cs.LG cs.SI
The Power of Graph Convolutional Networks to Distinguish Random Graph Models: Short Version
University at Albany, SUNY(纽约州立大学奥尔巴尼分校);University of Michigan(密歇根大学)
图卷积网络(GCN)是一种广泛使用的图表示学习方法。我们调查的权力GCN,作为其层数的函数,区分不同的随机图模型的基础上,他们的样本图的嵌入。特别是,我们考虑的图形模型产生的图子,这是最一般的可能参数化的无限可交换的图形模型,这是中心的研究对象,在理论的密集图限制。我们展示了一个无限类的graphons,以及分离的切割距离和不可区分的GCN与非线性激活函数来自某个广泛的类,如果它的深度至少是对数的样本图的大小。这些结果在理论上与几个先前工作的经验观察相匹配。最后,我们证明了一个相反的结果,对满足度剖面分离属性的图子,一个非常简单的GCN架构足以实现可扩展性。为了证明我们的结果,我们利用连接到图上的随机游动。
2020-02-13 cs.IT cs.LG math.IT
Spatial Frequency Loss for Learning Convolutional Autoencoders
本文提出了一种用于从图像中提取特征的卷积自动编码器(CAE)的学习方法。可以通过利用卷积神经网络以无监督的方式学习对恒等函数的近似来获得CAE。基于像素损失(PL)的损失函数是用于学习的常见选择,像素损失是原始图像和重建图像的像素值之间的均方误差。然而,使用损失函数导致模糊的重建图像。提出了一种使用从反映空间频率的特征计算的损失函数来学习CAE的方法,以减轻该问题。重建图像中的模糊显示出缺乏主要构成边缘和细节纹理的高空间频率分量,这些边缘和细节纹理是诸如目标检测和空间匹配的任务的重要特征。为了评估组件的缺乏,将具有拉普拉斯滤波器组作为权重的卷积层添加到CAE中,并且从每个滤波器的输出计算子带中的特征的均方误差,称为空间频率损失(SFL)。使用基于SFL的损失函数来执行学习。实验结果表明,使用SFL减少了重建图像中的模糊。
2018-06-06 cs.AI cs.CV cs.LG
IDNet: Smartphone-based Gait Recognition with Convolutional Neural Networks
University of Padova(帕多瓦大学)
在这里,我们提出了IDNet,一个来自智能手机获取的运动信号的用户认证框架。它的目标是通过用户裤子前口袋里的商用智能手机提供的加速度计和陀螺仪(惯性)信号,从他们的行走方式中识别目标用户。IDNet具有几项创新,包括:i)一个强大的和智能手机方向无关的步行周期提取模块,ii)一个基于卷积神经网络的新型特征提取器,iii)一个单类支持向量机来分类步行周期,以及这些到iv)多阶段认证技术的一致集成。IDNet是第一个利用深度学习方法作为步态识别通用特征提取器的系统,并将后续步行周期的分类结果结合到多阶段决策框架中。实验结果表明,我们的方法对国家的最先进的技术的优越性,导致错误分类率(假阴性或阳性)小于0.15%,少于五个步行周期。设计选择的讨论和动机,在整个,评估其对用户身份验证性能的影响。
2016-10-19 cs.CV cs.LG
Spatial-temporal traffic modeling with a fusion graph reconstructed by tensor decomposition
Guangxi University(广西大学);Beijing Institute of Technology(北京理工大学);Sichuan University(四川大学)
准确的时空交通流预测对于帮助交通管理者采取控制措施和驾驶员选择最优出行路径至关重要。近年来,图卷积网络(GCN)由于其强大的时空相关性捕捉能力而被广泛应用于交通流预测。时空图邻接矩阵的设计是GCN成功的关键,目前仍是一个悬而未决的问题。提出了一种基于张量分解的二进制邻接矩阵重构方法,并提出了一种交通流预测方法。首先,我们将时空融合图邻接矩阵转化为三向邻接张量。然后,我们通过Tucker分解重建邻接张量,其中更多的信息和全局时空依赖性被编码。最后,时空同步图卷积模块的局部时空相关性学习和全局相关性学习的扩张卷积模块组装的道路网络的综合时空依赖性的聚合和学习。在四个开放获取数据集上的实验结果表明,该模型在预测性能和计算成本方面优于最先进的方法。
2022-12-12 cs.LG
Reconstructing ERP Signals Using Generative Adversarial Networks for Mobile Brain-Machine Interface
Korea University(高丽大学)
实际的脑机接口已被广泛研究,以准确地检测人类的意图,在现实世界中使用大脑信号。然而,由于诸如行走和头部运动的伪影,脑电(EEG)信号失真,因此脑信号的幅度可能比期望的EEG信号大。由于这些伪影,在移动环境中准确地检测人类意图是具有挑战性的。在本文中,我们提出了基于生成对抗网络的重建框架,使用行走过程中的事件相关电位(ERP)。我们使用一个预先训练好的卷积编码器来表示潜在变量,并通过与编码器相反形状相似的生成模型来重建ERP。最后,使用判别模型对ERP进行分类,验证了该框架的有效性。结果表明,重建的信号具有与站立时ERP相似的重要成分,如N200和P300。重建的脑电信号的准确性与行走过程中的原始噪声脑电信号相似。重建脑电信号的信噪比显著提高,为1.3。生成式模型的损失率为0.6301,相对较低,说明训练生成式模型具有较高的性能。重建的ERP结果表明,通过降噪的效果,分类性能在步行过程中得到了改善。所提出的框架可以帮助识别人的意图,即使在移动环境中的脑机接口的基础上。
2020-05-18 cs.HC cs.LG eess.SP
Predicting quantum advantage by quantum walk with convolutional neural networks
ITMO University(ITMO大学);Valiev Institute of Physics and Technology, Russian Academy of Sciences(俄罗斯科学院瓦维洛夫物理与技术研究所);Moscow Institute of Physics and Technology(莫斯科物理与技术学院)
量子行走是现代量子技术的核心。它们允许处理量子输运现象,并且是构建新颖量子算法的先进工具。图上的量子行走与经典的随机行走类似物有着根本的不同,特别是,它们在某些图上比经典的行走更快,在这些情况下,量子算法应用和量子增强的能量转移成为可能。然而,很少有人知道的可能优势,任意图没有明确的对称性。对于这些图,需要执行经典和量子行走动力学的模拟,以检查是否发生加速,这可能需要很长的计算时间。在这里,我们提出了一种解决量子加速问题的新方法,该方法基于机器学习算法,该算法仅通过查看图形来预测量子优势。我们专门设计的卷积神经网络是为了从图中学习,它观察模拟的例子,并学习导致量子优势的图的复杂特征,从而可以识别出表现出量子优势的图,而无需执行任何量子游走或随机游走模拟。我们的方法的性能进行评估的线和随机图,其中分类总是优于随机猜测,即使是最具挑战性的情况下。我们的发现为利用基于量子行走的算法自动化阐述新型大规模量子线路铺平了道路,并为模拟生物光子学和材料科学中的高效能量转移铺平了道路。
2019-12-13 cs.LG quant-ph stat.ML
Walk-Steered Convolution for Graph Classification
Nanjing University of Science and Technology(南京理工大学);Southeast University(东南大学)
图分类是许多现实世界应用中的一个基本但具有挑战性的问题。尽管最近在图像/视频分类方面取得了很大进展,但由于图形非欧拓扑结构,卷积神经网络(CNN)还不能很好地迎合图形。在这项工作中,我们提出了一个行走引导卷积(WSC)网络组装的基本成功的标准卷积神经网络以及强大的表示能力的随机游走。代替先前图形CNN中使用的确定性邻居搜索,我们构建了多尺度步行场(也称为局部感受野)与随机行走路径来描绘子图结构和提倡图可伸缩性。为了表达步行场的内部变化,引入高斯混合模型来编码其中的步行路径的主分量。与图像上的标准卷积核类似,高斯模型在投影到高斯参数的梯度空间后,隐式地协调局部感受野中的无序顶点/节点和边缘。我们进一步堆叠图粗高斯编码使用动态聚类,这样,图的高级语义可以很好地学习像传统的池图像。在几个公共数据集上的实验结果表明,我们提出的WSC方法优于许多国家的最先进的图分类。
2020-01-10 cs.LG cs.SI
Learning to Untangle Genome Assembly with Graph Convolutional Networks
Genome Institute of Singapore, A*STAR(新加坡科技研究局新加坡基因组研究所);Faculty of Electrical Engineering and Computing, University of Zagreb(萨格勒布大学电气工程与计算学院);National University of Singapore(新加坡国立大学);Loyola Marymount University(洛约拉马利蒙特大学)
确定人类DNA从端粒到端粒的完整序列的探索始于三十年前,最终于2021年完成。这一成就是众多专家付出巨大努力的结果,他们设计了各种工具,并进行了艰苦的人工检查,以实现第一个无间隙基因组序列。然而,这种方法很难被用作组装不同基因组的通用方法,特别是在给定大量数据的情况下,组装速度是关键的。在这项工作中,我们探索了一种不同的方法来解决基因组组装任务的核心部分,该任务包括解开一个大的组装图,从中需要重建基因组序列。我们的主要动机是减少人类工程学,并使用深度学习来开发更通用的重建技术。准确地说,我们引入了一个新的学习框架来训练图卷积网络,通过找到正确的路径来解决组装图。该训练使用从解析的CHM 13人类序列生成的数据集进行监督,并在使用真实人类PacBio HiFi读数构建的组装图上进行测试。实验结果表明,在仅由单个染色体生成的模拟图上训练的模型能够显着地解决所有其他染色体。此外,该模型优于手工制作的算法,从国家的最先进的\textit{de novo}汇编程序在相同的图形。用图网络重建的染色体在核苷酸水平上更准确,报告了更低数量的重叠群,更高的基因组重建分数和NG 50/NGA 50评估指标。
2022-06-01 cs.LG q-bio.GN
Super-Resolution Image Reconstruction Based on Self-Calibrated Convolutional GAN
Zhengzhou University(郑州大学)
随着深度学习在计算机视觉中的有效应用,超分辨率图像重建的研究取得了突破性进展。然而,许多研究指出,神经网络对图像特征提取的不足可能会导致新重建图像质量的恶化。另一方面,由于过度平滑,生成的图片有时过于人工。为了解决上述问题,我们提出了一种新的自校准卷积生成对抗网络。该生成器由特征提取和图像重建两部分组成。特征提取使用自校准卷积,它包含四个部分,每个部分都有特定的功能。它不仅可以扩大感受野的范围,而且可以获得长距离的空间和通道间依赖性。然后进行图像重建,最后重建超分辨率图像。在SSIM评估方法下,我们在不同的数据集上进行了深入的实验,包括set5,set14和BSD 100。实验结果证明了该网络的有效性。
2021-06-10 cs.CV cs.LG eess.IV
Pointwise Convolutional Neural Networks
The University of Tokyo(东京大学);Singapore University of Technology and Design(新加坡科技设计大学)
利用诸如重建的点云和CAD模型的3D数据的深度学习最近受到了极大的研究兴趣。然而,使用点云与卷积神经网络的能力迄今尚未得到充分探索。本文提出了一种用于三维点云语义分割和目标识别的卷积神经网络。我们网络的核心是逐点卷积,这是一种新的卷积运算符,可以应用于点云的每个点。我们的全卷积网络设计,虽然实现起来非常简单,但在语义分割和对象识别任务中都可以产生有竞争力的准确性。
2018-03-29 cs.CV cs.LG
Understanding Regularization to Visualize Convolutional Neural Networks
Konica Minolta Laboratory Europe(柯尼卡美能达欧洲实验室);Technical University of Munich(慕尼黑工业大学)
在过去的几年里,用于揭示由卷积神经网络学习的视觉概念的变分方法已经获得了极大的关注。基于通过反向传播获得的噪声梯度,这样的方法需要应用正则化策略。我们提出了一个数学框架,统一以前采用的正则化方法。在这个框架内,我们提出了一种新的技术,基于Sobolev梯度,可以通过卷积实现,不需要专门的数值处理,如总变分正则化。对特征反演和激活最大化进行的实验证明了统一正则化方法的好处,例如通过所提出的Sobolev滤波器进行更清晰的重建以及对重建尺度的更好控制。
2018-04-20 cs.LG stat.ML
WGCN: Graph Convolutional Networks with Weighted Structural Features
The University of Melbourne(墨尔本大学)
图结构信息,如拓扑或连通性,为图卷积网络(GCN)学习节点的表示提供了有价值的指导。现有的GCN模型捕捉节点的结构信息的权重内和外邻居相等或区分内和外邻居全局不考虑节点的本地拓扑结构。我们观察到,在和外邻居贡献不同的节点具有不同的本地拓扑结构。为了探索不同节点的方向结构信息,我们提出了一个加权结构特征的GCN模型,命名为WGCN。WGCN首先通过方向和度感知的重新启动随机游走算法捕获节点的结构指纹,其中游走由边缘方向和节点的入度和出度引导。然后,节点的结构指纹之间的相互作用被用作加权的节点结构特征。为了进一步捕捉节点的高阶依赖关系和图的几何关系,WGCN将图嵌入到一个潜在空间中,以获得节点的潜在邻居和几何关系。基于节点在潜在空间中的几何关系,WGCN用基于注意力的几何聚集区分潜在、内、外邻居。在五个基准数据集上,WGCN的准确率始终优于基线模型,最高可达17.07%。
2021-07-21 cs.AI cs.LG
Anonymous Walk Embeddings
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Criteo Research(Criteo研究院)
表示整个图的任务已经出现了大量突出的结果,主要是由于在图结构数据上学习卷积神经网络(CNN)。虽然CNN在图分类任务中表现出最先进的性能,但此类方法是受监督的,因此可以以与任务无关的方式避开网络表示的原始问题。在这里,我们连贯地提出了一种嵌入整个图的方法,并表明我们的特征表示与SVM分类器提高了CNN算法和传统的图形内核的分类精度。为此,我们描述了一个最近发现的图形对象,匿名行走,我们设计的任务无关的算法学习图形表示在明确和分布式的方式。总的来说,我们的工作代表了一个新的可扩展的无监督学习的国家的最先进的表示整个图。
2018-06-08 cs.LG stat.ML
Quaternion Convolutional Neural Networks for Heterogeneous Image Processing
Université d’Avignon(阿维尼翁大学);Orkis
卷积神经网络(CNN)最近在各种应用中取得了最先进的成果。在图像识别的情况下,理想的模型必须独立于训练数据学习像素的三个分量(R,G,B)之间的局部依赖性以及描述边缘或形状的全局关系,从而使其在小的或异构的数据集上有效。四元数值卷积神经网络(QCNN)通过将多维代数引入CNN来解决这个问题。本文提出了探索的根本原因,QCNN的成功超过CNN,通过调查的影响,汉密尔顿产品的彩色图像重建任务执行的灰度只训练。通过独立学习内部和外部关系,并且使用比实值卷积编码器-解码器(CAE)更少的参数,四元数卷积编码器-解码器(QCAE)完美地重建了看不见的彩色图像,而CAE产生了最差的灰度版本。
2018-10-31 cs.CV cs.LG stat.ML
CRISP: A Framework for Clause-Reconstructed Interpretable NeuroSymbolic Propositions
Newcastle University(纽卡斯尔大学);Northumbria University(诺森比亚大学);University of Agder(阿格德尔大学)
提出CRISP框架,将二元神经网络的最后一层激活向量重构为Tsetlin Machine子句,提供可审计的符号决策轨迹,实验验证其保真度与可解释性。
2026-10-05 cs.LG
Hypergraph Convolutional Networks via Equivalency between Hypergraphs and Undirected Graphs
Tencent AI Lab(腾讯人工智能实验室);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
超图作为建模复杂关系的强大工具,在图学习社区中越来越受欢迎。然而,深度超图学习中常用的框架专注于具有边独立顶点权重(EIVW)的超图,而没有考虑具有更高建模能力的边依赖顶点权重(EDVW)的超图。为了弥补这一点,我们提出了一般超图谱卷积(GHSC),一个通用的学习框架,不仅处理EDVW和EIVW超图,但更重要的是,使理论上明确利用现有的强大的图卷积神经网络(GCNN),从而大大简化超图神经网络的设计。在这个框架中,给定的无向GCNN的图拉普拉斯算子被替换为统一的超图拉普拉斯算子,该超图拉普拉斯算子通过将我们定义的广义超图与简单的无向图等同,从随机游走的角度结合顶点权重信息。广泛的实验从各个领域,包括社会网络分析,视觉目标分类,蛋白质学习证明了国家的最先进的性能所提出的框架。
2022-07-23 cs.LG
Structured Sequence Modeling with Graph Convolutional Recurrent Networks
EPFL(洛桑联邦理工学院)
本文介绍了图卷积递归网络(GCRN),这是一种能够预测结构化数据序列的深度学习模型。准确地说,GCRN是经典递归神经网络(RNN)对由任意图结构化的数据的推广。这样的结构化序列可以表示视频中的一系列帧、传感器网络上的时空测量、或用于自然语言建模的词汇图上的随机游动。该模型结合了图上的卷积神经网络(CNN)来识别空间结构,并结合了RNN来寻找动态模式。我们研究了GCRN的两种可能的架构,并将模型应用于两个实际问题:预测移动MNIST数据,并使用Penn Treebank数据集对自然语言进行建模。实验表明,同时利用图的空间和动态信息的数据可以提高精度和学习速度。
2016-12-22 cs.LG stat.ML
Hierarchical Temperature Imaging Using Pseudo-Inversed Convolutional Neural Network Aided TDLAS Tomography
Hebei Agricultural University(河北农业大学);University of Edinburgh(爱丁堡大学);Yanshan University(燕山大学)
可调谐半导体激光吸收光谱(TDLAS)层析成像技术作为一种原位燃烧诊断工具,已被广泛应用于反应流二维温度分布的成像。与计算层析成像算法相比,卷积神经网络(CNN)在图像重建中具有更高的鲁棒性和准确性,特别是在感兴趣区域(RoI)中激光束有限的情况下。在实际应用中,需要重建具有良好空间分辨率的RoI中的火焰通常被低温背景包围。虽然背景不是很感兴趣,但由于热耗散和气体对流,光谱吸收仍然存在。因此,我们提出了一个伪逆CNN(PI-CNN)的分层温度成像,(a)有效地利用培训和学习资源的温度成像在ROI具有良好的空间分辨率,和(b)重建空间分辨率较低的背景温度通过充分解决光谱吸收模型的完整性。与传统的CNN相比,新引入的ROI灵敏度矩阵的伪逆更能揭示投影数据与待重建的ROI之间的内在相关性,从而以高精度和高计算效率优先考虑ROI中的温度成像。本文通过数值模拟和实验室规模的实验验证了所提出的算法,显示出良好的一致性之间的幻影和高保真重建。
2021-06-05 cs.LG eess.IV physics.app-ph
Graph Convolutional Network With Pattern-Spatial Interactive and Regional Awareness for Traffic Forecasting
College of Mechanical and Electrical Engineering, Shihezi University(石河子大学机械与电子工程学院);School of Mathematics and Computational Science, Xiangtan University(湘潭大学数学与计算机科学学院);College of Sciences, Shihezi University(石河子大学科学学院)
针对现有交通预测模型忽略交通模式与空间相关性交互、未考虑区域异质性的问题,提出模式-空间交互与区域感知图卷积网络PSIRAGCN,通过交互融合框架和区域感知消息传递提升预测精度,在三个真实数据集上性能优于最优基线且兼顾计算成本。
2025-08-30 cs.LG
Graph Convolutional Neural Networks for Web-Scale Recommender Systems
Pinterest(品趣志);Stanford University(斯坦福大学)
最近在用于图结构数据的深度神经网络方面的进展已经导致推荐系统基准测试的最新性能。然而,使这些方法实用且可扩展到具有数十亿项目和数亿用户的网络规模推荐任务仍然是一个挑战。在这里,我们描述了我们在Pinterest开发和部署的大规模深度推荐引擎。我们开发了一种数据高效的图卷积网络(GCN)算法PinSage,它结合了高效的随机游走和图卷积来生成节点的嵌入(即,项),其合并了图结构以及节点特征信息。与现有的GCN方法相比,我们开发了一种基于高效随机游走的新方法来构造卷积,并设计了一种新的训练策略,该策略依赖于越来越难的训练样本来提高模型的鲁棒性和收敛性。我们还开发了一个高效的MapReduce模型推理算法,使用训练模型生成嵌入。我们在Pinterest上部署了PinSage,并在一个图表上的75亿个示例上对其进行了训练,该图表包含30亿个代表引脚和电路板的节点以及180亿条边。根据离线指标、用户研究和A/B测试,PinSage生成的推荐质量高于同类深度学习和基于图表的替代方案。据我们所知,这是迄今为止深度图嵌入的最大应用,为基于图卷积架构的新一代网络规模推荐系统铺平了道路。
2018-06-06 cs.IR cs.LG stat.ML
Inverting Visual Representations with Convolutional Networks
University of Freiburg(弗莱堡大学)
特征表示,无论是手工设计的还是学习的,通常都很难分析和解释,即使它们是从视觉数据中提取的。我们提出了一种新的方法来研究图像表示的反转与上卷积神经网络。我们将该方法应用于浅层表示(HOG,SIFT,LBP)以及深层网络。对于浅层表示,我们的方法提供了比现有方法更好的重建,揭示了这些特征中包含的丰富信息。反转在ImageNet上训练的深度网络提供了对网络学习的特征表示属性的一些见解。最引人注目的是,图像的颜色和粗略轮廓可以从更高网络层的激活甚至从预测的类概率中重建。
2016-04-26 cs.CV cs.LG cs.NE
Spatiotemporal Ground Reaction Force Analysis using Convolutional Neural Networks to Analyze Parkinsonian Gait
The Open University of Sri Lanka(斯里兰卡开放大学)
帕金森病是一种常见于老年人的非治愈性疾病,严重影响老年人的生活质量。PD主要影响步态模式,并缓慢地将步行步态从正常变为残疾。PD的早期诊断对治疗具有重要意义,步态模式分析被用作诊断PD的技术。本论文已经确定了原始时空地面反作用力(GRF)作为一个关键参数,以识别与PD相关的人类步态模式的变化。通过预处理、转换、识别和性能评估,使用卷积神经网络来识别GRF的变化。该算法能够识别PD的严重程度,并区分帕金森病步态与健康步态。该技术在自动决策过程中显示出97%的准确率。
2021-02-01 cs.LG eess.SP
MeshWalker: Deep Mesh Understanding by Random Walks
Technion – Israel Institute of Technology(以色列理工学院)
大多数为深度学习表示3D形状的尝试都集中在体积网格、多视图图像和点云上。在本文中,我们研究了计算机图形学中最流行的3D形状表示-三角形网格-并询问如何在深度学习中使用它。回答这个问题的少数尝试提出调整卷积和池化以适应卷积神经网络(CNN)。本文提出了一种非常不同的方法,称为MeshWalker,直接从给定的网格中学习形状。其关键思想是通过沿表面的随机行走来表示网格,这将“探索”网格的几何和拓扑。每次行走都被组织为顶点列表,这以某种方式对网格施加规则性。步行被输入到一个递归神经网络(RNN)中,该网络“记住”步行的历史。我们表明,我们的方法实现了两个基本的形状分析任务的最先进的结果:形状分类和语义分割。此外,即使是非常少量的例子也足以用于学习。这是非常重要的,因为很难获得大的网格数据集。
2020-12-10 cs.CG cs.CV cs.LG
A Generalization of Convolutional Neural Networks to Graph-Structured Data
Carnegie Mellon University(卡内基梅隆大学)
本文介绍了卷积神经网络(CNN)的推广,从低维网格数据,如图像,图形结构的数据。我们提出了一种新的空间卷积,利用随机游动来揭示输入中的关系,类似于标准卷积使用网格上像素的空间邻域的方式。卷积具有直观的解释,高效且可扩展,还可以用于具有不同图形结构的数据。此外,通过学习底层图,这种泛化可以应用于许多标准的回归或分类问题。我们经验性地证明了所提出的CNN在MNIST上的性能,并在Merck分子活性数据集上挑战了最先进的CNN。
2017-04-26 cs.AI cs.CV cs.LG
Ultra-short-term multi-step wind speed prediction for wind farms based on adaptive noise reduction technology and temporal convolutional network
本研究提出一种结合自适应降噪算法P-SSA、TCN和GRU的新型风速预测模型,有效提升了风电场超短期多步风速预测的精度与稳定性。
2024-04-22 cs.CE cs.LG
IGCN: Image-to-graph Convolutional Network for 2D/3D Deformable Registration
Graduate School of Informatics, Kyoto University(京都大学信息学研究科);Graduate School of Medicine, Kyoto University(京都大学医学研究科)
在治疗期间基于单投影图像的器官形状重建具有广泛的临床范围,例如,在图像引导放射治疗和手术引导中。我们提出了一种图像到图形卷积网络,实现了单视点2D投影图像的3D器官网格的可变形配准。该框架能够同时训练两种类型的变换:从2D投影图像到位移图,以及从采样的逐顶点特征到满足网格结构的几何约束的3D位移。假设应用于放射治疗,针对迄今为止尚未靶向的多个腹部器官验证2D/3D可变形配准性能,即,肝、胃、十二指肠和肾,以及胰腺癌。实验结果表明,形状预测,考虑到多个器官之间的关系,可以用来预测呼吸运动和变形的数字重建的X射线照片与临床可接受的精度。
2021-10-31 cs.CV cs.LG eess.IV
Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting
University of Southern California(南加州大学);California Institute of Technology(加州理工学院)
时空预测在神经科学、气候和交通领域有着广泛的应用。交通预测是这种学习任务的一个典型例子。这项任务具有挑战性,因为(1)对道路网络的复杂空间依赖性,(2)随着道路条件变化的非线性时间动态,以及(3)长期预测的固有困难。为了解决这些挑战,我们建议将交通流建模为有向图上的扩散过程,并引入扩散卷积循环神经网络(DCRNN),这是一种用于交通预测的深度学习框架,它将交通流的空间和时间依赖性结合起来。具体来说,DCRNN使用图上的双向随机游走来捕获空间依赖性,并且使用具有预定采样的编码器-解码器架构来捕获时间依赖性。我们在两个真实世界的大规模道路网络交通数据集上评估了该框架,并观察到比最先进的基线提高了12% - 15%。
2018-02-22 cs.LG stat.ML
DeepRWCap: Neural-Guided Random-Walk Capacitance Solver for IC Design
DeepRWCap通过神经网络引导随机游走求解器,提高集成电路设计中电容计算的精度与效率。
2025-11-23 cs.AI cs.LG
A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes
Università di Milano(米兰大学);Gruppo Nazionale Calcolo Scientifico, INDAM(意大利国家数学物理应用研究所国家科学计算小组);Università di Pavia(帕维亚大学)
本文扩展基于奇异黎曼度量的神经网络几何框架,使其适用于卷积、残差和递归网络及 ReLU 等不可微激活函数,并通过图像分类与热力学数值实验验证。
2024-04-09 cs.LG math.DG
Complex spectrogram enhancement by convolutional neural network with multi-metrics learning
Research Center for Information Technology Innovation, Academia Sinica(中央研究院信息技术创新研究中心);National Taiwan University(国立台湾大学);Carnegie Mellon University(卡内基梅隆大学);National Institute of Information and Communications Technology(国立信息通信技术研究所)
针对目前语音增强方法中存在的两个问题:1)相位估计困难; 2)单个目标函数不能同时考虑多个度量。为了解决第一个问题,我们提出了一种新的卷积神经网络(CNN)模型,用于复杂的频谱图增强,即从噪声中估计干净的实部和虚部(RI)频谱图。重建的RI谱图直接用于合成增强语音波形。此外,由于对数功率谱图(LPS)可以表示为RI谱图的函数,其重建也被认为是另一个目标。因此,一个统一的目标函数,它结合了这两个目标(重建RI频谱图和LPS),相当于同时优化两个常用的客观指标:分段信噪比(SSNR)和对数频谱失真(LSD)。因此,这种学习过程被称为多度量学习(MML)。实验结果证实了所提出的CNN与RI频谱图和MML在语音增强任务的改进的标准化评价指标方面的有效性。
2017-09-09 cs.LG cs.SD stat.ML
Unsupervised Sparse-view Backprojection via Convolutional and Spatial Transformer Networks
Columbia University(哥伦比亚大学)
许多成像技术依赖于断层重建,这需要在给定有限数量的投影的情况下求解多维逆问题。反投影是用于断层摄影重建的一类流行算法,然而,当投影角度稀疏和/或如果传感器特性不均匀时,反投影通常导致差的图像重建。已经开发了几种基于深度学习的算法来解决这个逆问题,并使用有限数量的投影重建图像。然而,这些算法通常需要地面实况的示例(即,重建图像的示例)来产生良好的性能。在本文中,我们介绍了一种无监督稀疏视图反投影算法,它不需要地面实况。该算法由两个模块组成的生成器投影框架;卷积神经网络和空间Transformer网络。我们评估我们的算法使用计算机断层扫描(CT)图像的人类胸部。我们表明,我们的算法显着优于过滤反投影时,投影角度非常稀疏,以及当传感器特性不同的角度。我们的方法具有实际应用的医学成像和其他成像方式(如雷达),稀疏和/或非均匀的投影可能会被收购由于时间或采样的限制。
2020-06-01 cs.LG eess.IV stat.ML
Machine learning transfer efficiencies for noisy quantum walks
ITMO University(俄罗斯国立信息技术、机械学与光学研究型大学);Valiev Institute of Physics and Technology, Russian Academy of Sciences(俄罗斯科学院瓦列夫物理技术研究所);University of Basel(巴塞尔大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院);National Center for Theoretical Sciences(国家理论科学中心);National Tsing Hua University(国立清华大学)
已知量子效应在穿过网络的粒子转移中提供优势。为了实现这一优势,必须找到对图类型和量子系统相干性的要求。在这里,我们表明,通过从模拟示例中学习,可以自动找到这些要求的过程。自动化是通过使用特定类型的卷积神经网络来完成的,该卷积神经网络学习理解使用哪个网络以及在哪个相干性要求下量子优势是可能的。我们的机器学习方法被应用于研究不同大小的循环图上的噪声量子行走。我们发现,它是可能的,以预测存在的量子优势的整个退相干参数范围内,即使是训练集以外的图形。我们的研究结果对于证明量子实验的优势具有重要意义,并为自动化科学研究和发现铺平了道路。
2020-02-18 cs.LG quant-ph stat.ML
A Distributed Hybrid Quantum Convolutional Neural Network for Medical Image Classification
Key Laboratory of Intelligent Perception and Image Understanding of Ministry of Education(教育部智能感知与图像理解重点实验室);Joint International Research Laboratory of Intelligent Perception and Computation(智能感知与计算联合国际研究实验室);Collaborative Innovation Center of Quantum Information of Shaanxi Province(陕西省量子信息协同创新中心);School of Artificial Intelligence, Xidian University(西安电子科技大学人工智能学院)
针对经典神经网络处理医学图像复杂特征能力有限、量子计算受硬件约束的问题,提出基于量子线路拆分的分布式混合QCNN,可在资源受限下用更少参数实现更优的医学图像分类性能。
2025-01-07 cs.CV cs.LG
Explaining Neural Networks by Decoding Layer Activations
Institute of Information Systems, University of Liechtenstein(列支敦士登大学信息系统学院);Department of Information Systems, HEC, University of Lausanne(洛桑大学高等商学院信息系统系)
我们提出了一个“CLAsifier-Decoder”架构(\emph{ClaDec}),便于理解的输出任意层的神经网络(NN)。它使用解码器将给定层的不可解释表示转换为与人类熟悉的领域更相似的表示。在图像识别问题中,通过将\emph{ClaDec}的重构图像与用作参考的传统自动编码器(AE)的重构图像进行对比,可以识别层表示什么信息。我们还扩展了\emph{ClaDec},允许人类的可解释性和保真度之间的权衡。我们评估我们的方法使用卷积神经网络的图像分类。我们表明,重建的可视化使用编码从一个分类器捕获更多的相关信息比传统的AE分类。相关代码可在\url{https://github.com/JohnTailor/ClaDec}上获得
2021-02-26 cs.LG stat.ML
RADIOGAN: Deep Convolutional Conditional Generative adversarial Network To Generate PET Images
General Electric Healthcare(通用电气医疗集团);University of Rouen(鲁昂大学);Henri Becquerel Center(亨利·贝克勒尔中心)
医学成像最大的挑战之一是缺乏数据。事实证明,经典的数据增强方法是有用的,但仍然有限,由于图像中的巨大变化。使用生成对抗网络(GAN)是解决这个问题的一种有前途的方法,然而,训练一个模型来生成不同类别的病变是具有挑战性的。在本文中,我们提出了一种深度卷积条件生成对抗网络来生成MIP正电子发射断层扫描图像(PET),这是一种表示3D体积的2D图像,可根据不同的病变或非病变(正常)进行快速解释。我们所提出的方法的优点包括一个模型,该模型能够生成不同类别的病变,并显示出非常有前途的结果。此外,我们表明,步行通过一个潜在的空间可以被用来作为一种工具来评估所生成的图像。
2020-03-19 cs.CV cs.LG eess.IV
R-CONV: An Analytical Approach for Efficient Data Reconstruction via Convolutional Gradients
Politecnico di Torino(都灵理工大学);Qatar University(卡塔尔大学);Technology University(科技大学)
本文提出R-CONV,一种基于卷积梯度的解析数据重建方法,首次直接从梯度重建卷积层输入,并揭示现有风险估计方法低估了攻击可行性。
2024-06-06 cs.CR cs.CV cs.LG
An investigation of the reconstruction capacity of stacked convolutional autoencoders for log-mel-spectrograms
Technological University of Dublin(都柏林理工大学)
在音频处理应用中,基于高级表示的富有表现力的声音的生成表现出很高的需求。这些表征可以用来操纵音色,影响创造性乐器音符的合成。现代算法,如神经网络,激发了基于乐器音色压缩的富有表现力的合成器的发展。无监督深度学习方法可以通过训练网络学习从波形或频谱图到低维表示的映射来实现音频压缩。本研究探讨了使用堆叠卷积自动编码器的压缩的时间-频率的音频表示的各种仪器为一个单一的音高。超参数和正则化技术的进一步探索证明,以提高初始设计的性能。在无监督的方式下,网络能够基于潜在表示重建单声道和谐波声音。此外,我们引入了一个评价指标来衡量原始和重建样本之间的相似性。评估用于声音合成的深度生成模型是一项具有挑战性的任务。我们的方法是基于所生成的频率的准确性,因为它为谐波声音的感知提供了重要的度量。这项工作有望加速未来的实验音频压缩使用神经自动编码器。
2023-01-18 cs.LG cs.SD eess.AS
ConvConcatNet: a deep convolutional neural network to reconstruct mel spectrogram from the EEG
Peking University(北京大学);National Key Laboratory of General Artificial Intelligence, China(中国通用人工智能国家重点实验室)
提出ConvConcatNet方法,结合深度卷积神经网络和广泛拼接操作从EEG重建mel spectrogram,在Auditory EEG Challenge Task 2中取得第一名。
2024-01-10 cs.LG eess.SP
Multi-Scale Deep Compressive Sensing Network
Sungkyunkwan University(成均馆大学)
通过采样和恢复的联合学习,基于深度学习的压缩感知(DCS)在性能和运行时间减少方面显示出显著的改进。然而,它的重建图像会丢失高频内容,尤其是在低子速率下。这在多尺度采样方案中类似地发生,该多尺度采样方案也对更多低频分量进行采样。本文提出了一种多尺度DCS卷积神经网络(MS-DCSNet),该网络利用基于多尺度的小波变换对图像信号进行变换,然后通过跨尺度的逐块卷积捕获图像信号。初始重建图像直接从多尺度测量恢复。多尺度小波卷积被用来提高最终的重建质量。该网络能够学习多尺度采样和多尺度重建,从而获得更好的重建质量。
2018-09-18 cs.AI cs.CV cs.LG
Walk2Map: Extracting Floor Plans from Indoor Walk Trajectories
University of Zurich(苏黎世大学);ETH Zürich(苏黎世联邦理工学院);University College London(伦敦大学学院);Adobe Research(奥多比研究中心)
近年来,用于有效管理室内空间的新数字产品激增,其重要应用包括应急管理、虚拟财产展示和室内设计。这些产品依赖于所考虑环境的精确3D模型,包括建筑和非永久性元素的信息。这些模型必须从测量数据(如RGB-D图像或3D点云)创建,其捕获和整合涉及冗长的数据工作流程。这极大地限制了3D模型的生成速度,阻碍了许多室内空间管理数字服务的采用。我们提供了一种替代这种数据密集型的程序,提出Walk 2 Map,一种数据驱动的方法来生成平面图,只从一个人走在房间内的轨迹。得益于数据驱动惯性里程计的最新进展,可以从消费级智能手机的IMU读数中获取这种极简的输入数据,这允许轻松且可扩展地映射真实世界的室内空间。我们的工作是基于学习室内步行轨迹和平面图中表示的信息之间的潜在关系:室内空间足迹,门户和家具。我们区分恢复区域相关(室内足迹,家具)和墙壁相关(门)的信息,并使用两种不同的神经架构的两个任务:基于图像的编码器-解码器和图卷积网络,分别。我们使用扫描的3D室内模型训练我们的网络,并在推理时将它们以级联方式应用于室内步行轨迹。我们使用模拟和测量的真实轨迹进行定性和定量评估,并与图像到图像转换的基线方法进行比较。实验证明了该方法的可行性。
2021-02-27 cs.AI cs.CV cs.GR
Clinically Translatable Direct Patlak Reconstruction from Dynamic PET with Motion Correction Using Convolutional Neural Network
Zhejiang University(浙江大学);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);First Hospital of Shanxi Medical University(山西医科大学第一医院)
Patlak模型被广泛应用于18 F-FDG动态正电子发射断层成像(PET)中,其参数估计图像揭示了重要的生理生化信息。由于更好的噪声建模和从原始正弦图中提取更多的信息,直接Patlak重建比仅利用重建的动态PET图像的间接方法更受欢迎。作为直接Patlak方法的先决条件,来自动态PET的原始数据很少存储在临床中并且难以获得。此外,直接重建由于多帧重建的瓶颈而耗时。在这项工作中,我们提出了一个数据驱动的框架,通过卷积神经网络将动态PET图像映射到高质量的运动校正的直接Patlak图像。对于长时间动态PET扫描过程中的患者运动,我们将校正与直接重建中的后向/前向投影相结合,以更好地拟合统计模型。基于15个临床18F-FDG动态脑PET数据集的结果表明,所提出的框架优于高斯,非局部均值和BM 4D去噪,关于图像偏差和对比度噪声比。
2020-09-13 cs.LG eess.IV physics.med-ph
Extreme Few-view CT Reconstruction using Deep Inference
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
少视角X射线CT数据的重建是一个高度不适定的问题。它通常用于临床CT、快速工业扫描或固定机架CT中需要低辐射剂量的应用。现有的分析或迭代算法通常产生重建不佳的图像,严重恶化的伪影和噪声,特别是当X射线投影的数量是相当低。本文提出了一种深度网络驱动的方法,通过将基于卷积神经网络的推理结合到最先进的迭代重建中来解决极端少视图CT。所提出的方法使用基于注意力的深度网络来解释少视图正弦图数据以推断重建图像。预测的图像,然后作为先验知识,在迭代算法的最终重建。我们证明了所提出的方法的有效性进行重建实验上的胸部CT数据集。
2019-10-11 cs.CV cs.LG eess.IV
Pyramid Convolutional RNN for MRI Image Reconstruction
United Imaging Intelligence(联影智能);Johns Hopkins University(约翰斯·霍普金斯大学)
从欠采样数据中快速准确地重建MRI图像重建在临床实践中至关重要。基于深度学习的重建方法近年来取得了可喜的进展。然而,从欠采样数据中恢复精细细节仍然具有挑战性。在本文中,我们介绍了一种新的基于深度学习的方法,金字塔卷积RNN(PC-RNN),用于从多个尺度重建图像。基于MRI重建作为逆问题的公式化,我们设计了具有三个卷积RNN(ConvRNN)模块的PC-RNN模型,以迭代地学习多尺度的特征。每个ConvRNN模块以不同的尺度重建图像,并且重建的图像由最终的CNN模块以金字塔的方式组合。多尺度ConvRNN模块学习从粗到细的图像重建。与其他常见的并行成像重建方法不同,PC-RNN不采用多线圈数据的线圈敏感图,而是直接将多个线圈建模为多通道输入。应用线圈压缩技术来标准化具有各种线圈编号的数据,从而实现更有效的训练。我们在fastMRI膝关节和大脑数据集上对我们的模型进行了评估,结果表明,所提出的模型优于其他方法,可以恢复更多的细节。该方法是2019年fastMRI竞赛的获胜者解决方案之一。
2022-02-22 cs.CV cs.LG eess.IV
CLEEGN: A Convolutional Neural Network for Plug-and-Play Automatic EEG Reconstruction
National Yang Ming Chiao Tung University (NYCU)(国立阳明交通大学)
本文提出CLEEGN,一种基于受试者无关预训练卷积神经网络的即插即用EEG自动重建方法,无需新用户校准即可在线去除伪迹,并在解码准确率上优于现有在线/离线方法。
2024-02-21 cs.LG eess.SP q-bio.NC