V-EfficientNets: Vector-Valued Efficiently Scaled Convolutional Neural Network Models
Universidade Estadual de Campinas (UNICAMP)（圣保罗州立大学（UNICAMP））
本文提出向量值EfficientNets（V-EfficientNets），将EfficientNet扩展用于处理任意向量值数据，在ALL-IDB2白血病检测数据集上以99.46%的平均准确率超越现有最优模型，同时显著减少参数量。
2025-05-08 cs.CV cs.LG eess.IV
Rethinking complex-valued deep neural networks for monaural speech enhancement
Meta
尽管针对采用复值深度神经网络（DNN）做出了多种努力，但对于单声道语音增强，复值DNN通常是否比实值DNN更有效仍然是一个悬而未决的问题。这项工作致力于通过系统地检查复值DNN与实值DNN的对比来进行关键评估。具体来说，我们研究了复值DNN原子单元，包括线性层、卷积层、长短期记忆（LSTM）和门控线性单元。通过比较最近开发的门控卷积递归网络（GCRN）中基本构建块的复值和实值版本，我们展示了基本块的不同机制如何影响性能。我们还发现，使用复值操作阻碍了模型容量时，模型的大小是小的。此外，我们还研究了两种最近的复值DNN，即深度复卷积递归网络（DCCRN）和深度复U网（DCUNET）。评估结果表明，这两个DNN产生相同的性能，他们的实值同行，但需要更多的计算。基于这些全面的比较，我们得出结论，复值DNN不提供性能增益超过其实值对应的单声道语音增强，因此是不太可取的，由于其较高的计算成本。
2023-01-11 cs.LG cs.SD eess.AS
Dilated Convolutional Neural Networks for Sequential Manifold-valued Data
University of Wisconsin Madison（威斯康星大学麦迪逊分校）；University of California, Berkeley（加州大学伯克利分校）
正在努力研究通过其可以将深度神经网络的能力扩展到非标准数据类型（诸如结构化数据（例如，图）或流形值数据（例如，单位向量或特殊矩阵）。通常，当这些数据空间的几何结构被纳入模型、架构和算法的设计中时，相当大的经验改进是可能的。出于神经影像学应用，我们研究配方的数据是{ \em顺序流形值测量}。这种情况在脑成像中很常见，其中样本对应于对称正定矩阵或方向分布函数。而不是一个经常性的模型，提出计算/技术问题，并受到最近的结果显示的可行性扩张卷积模型的序列预测，我们开发了一个扩张的卷积神经网络架构，这项任务。在技术方面，我们展示了如何在明确考虑黎曼流形结构的同时导出网络中所需的模块。我们展示了所需的操作如何利用已知的结果来计算加权Fréchet均值（wFM）。最后，我们提出了阿尔茨海默病（AD）的组差异分析的科学结果，其中使用AD病理负荷导出组：在这里，该模型发现了与AD相关的几个脑纤维束，即使受试者仍然认知健康。
2019-10-05 cs.CV cs.LG
Convolutional Generative Adversarial Networks with Binary Neurons for Polyphonic Music Generation
Research Center for IT innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
最近已经证明，深度卷积生成对抗网络（GANs）可以学习以钢琴卷的形式生成音乐，钢琴卷通过二进制值的时间音高矩阵表示音乐。然而，现有的模型只能产生实值的钢琴卷，并需要进一步的后处理，如硬阈值（HT）或伯努利采样（BS），以获得最终的二进制值的结果。在本文中，我们研究是否可以有一个卷积GAN模型，通过使用二进制神经元直接创建二进制值的钢琴卷。具体来说，我们建议在生成器上附加一个额外的细化器网络，该网络在输出层使用二进制神经元。整个网络的训练分为两个阶段。首先，对生成器和训练器进行预训练。然后，精炼器网络与预训练器一起训练，以学习对预训练生成器创建的实值钢琴卷进行二值化。实验结果表明，使用二进制神经元代替HT或BS确实导致更好的结果，在一些客观的措施。此外，确定性二元神经元在客观测量和主观测试中的表现优于随机神经元。生成结果的源代码、训练数据和音频示例可以在https://salu133445.github.io/bmusegan/找到。
2018-10-06 cs.AI cs.LG cs.SD
Quaternion Convolutional Neural Networks for End-to-End Automatic Speech Recognition
Université d'Avignon（阿维尼翁大学）；Université de Montréal（蒙特利尔大学）；McGill University（麦吉尔大学）；Orkis（奥基斯公司）；Element AI（Element AI公司）
最近，与递归（RNN）或卷积神经网络（CNN）耦合的连接主义时间分类（CTC）模型使得以端到端的方式训练语音识别系统变得更容易。然而，在实值模型中，时间帧分量，如梅尔滤波器组能量和从它们获得的倒谱系数，以及它们的一阶和二阶导数，被处理为单独的元素，而一个自然的替代方案是处理这些组成实体的组件。我们建议将这些元素以四元数的形式分组，并使用已建立的四元数代数来处理这些四元数。四元数和四元数神经网络已经证明了它们在处理作为实体的多维输入、编码内部依赖性以及用比实值模型更少的学习参数解决许多任务方面的效率。本文提出在四元数卷积神经网络（QCNN）中集成多个特征视图，用于CTC模型的序列到序列映射。使用简单的QCNN在TIMIT语料库的音素识别实验中报告了有希望的结果。更确切地说，QCNN比基于实值CNN的竞争模型用更少的学习参数获得更低的音素出错率（PER）。
2018-06-20 cs.LG cs.SD eess.AS
Quaternion Convolutional Neural Networks for Heterogeneous Image Processing
Université d’Avignon（阿维尼翁大学）；Orkis
卷积神经网络（CNN）最近在各种应用中取得了最先进的成果。在图像识别的情况下，理想的模型必须独立于训练数据学习像素的三个分量（R，G，B）之间的局部依赖性以及描述边缘或形状的全局关系，从而使其在小的或异构的数据集上有效。四元数值卷积神经网络（QCNN）通过将多维代数引入CNN来解决这个问题。本文提出了探索的根本原因，QCNN的成功超过CNN，通过调查的影响，汉密尔顿产品的彩色图像重建任务执行的灰度只训练。通过独立学习内部和外部关系，并且使用比实值卷积编码器-解码器（CAE）更少的参数，四元数卷积编码器-解码器（QCAE）完美地重建了看不见的彩色图像，而CAE产生了最差的灰度版本。
2018-10-31 cs.CV cs.LG stat.ML
Pruning Algorithms to Accelerate Convolutional Neural Networks for Edge Applications: A Survey
LG Electronics（LG电子）
随着卷积神经网络（CNN）模型大小不断增加的总体趋势，模型压缩和加速技术对于在边缘设备上部署这些模型变得至关重要。在本文中，我们提供了一个全面的调查修剪，一个主要的压缩策略，从CNN模型中删除非关键或冗余的神经元。该调查涵盖了修剪的总体动机，不同的策略和标准，它们的优点和缺点，以及主要修剪技术的汇编。最后，我们讨论了修剪的替代方案以及模型压缩社区目前面临的挑战。
2020-05-08 cs.LG stat.ML
Manifold GCN: Diffusion-based Convolutional Neural Network for Manifold-valued Graphs
BIFOLD—Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究院）；Technical University Berlin（柏林技术大学）；Zuse Institute Berlin（柏林泽尼茨研究所）
提出两种适用于黎曼流形特征图的图神经网络层：基于流形值图扩散方程的扩散层和受向量神经元启发的切向多层感知器，两者在节点置换和流形等距下等变，在更广泛问题上优于任务特定网络。
2026-06-17 cs.LG math.DG
Learning to solve Minimum Cost Multicuts efficiently using Edge-Weighted Graph Convolutional Neural Networks
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Siegen（锡根大学）
最小代价多割问题是对实值边加权图进行划分以使划分的总代价最小化的NP-难/APX-难组合优化问题。虽然图卷积神经网络（GNN）已被证明在组合优化的上下文中是有前途的，但它们中的大多数仅针对正值边权重进行定制或测试，即它们不符合多割问题的性质。因此，我们适应各种GNN架构，包括图卷积网络，有符号图卷积网络和图同构网络，以促进有效编码的实值边成本。此外，我们采用了重新制定的多割ILP约束的多项式程序的损失函数，允许学习可行的多割解决方案，在一个可扩展的方式。因此，我们提供了端到端可训练多解的第一种方法。我们的研究结果支持GNN方法可以在实践中产生良好的解决方案，同时与LP求解器和优化的并行计算相比，提供更低的计算时间和更大的可扩展性，特别是在考虑大型实例时。
2022-04-04 cs.CV cs.LG
Complex-Value Spatio-temporal Graph Convolutional Neural Networks and its Applications to Electric Power Systems AI
Cornell University（康奈尔大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文将图卷积神经网络推广至复数域以处理时空复值图信号，证明其对图扰动和多层误差传播的稳定性，并用于电网状态预测及网络攻击检测定位。
2022-09-22 cs.LG cs.SY eess.SY
Monaural Speech Enhancement with Complex Convolutional Block Attention Module and Joint Time Frequency Losses
Alibaba Group（阿里巴巴集团）
针对单声道语音增强任务，提出轻量级复卷积块注意力模块（CCBAM）并结合联合时频损失函数，集成到深度复U-Net和CRN中形成新端到端框架，实验验证其性能优越。
2024-11-28 cs.LG cs.SD eess.AS
Deep Complex Networks
Montreal Institute for Learning Algorithms (MILA)（蒙特利尔学习算法研究所（MILA））；Microsoft Research（微软研究院）；Element AI（元素人工智能公司）；Ecole Polytechnique（巴黎综合理工学院）
目前，用于深度学习的绝大多数构建块、技术和架构都基于实值运算和表示。然而，最近对循环神经网络的研究和较早的基础理论分析表明，复数可能具有更丰富的表征能力，也可能促进噪声鲁棒的记忆检索机制。尽管它们具有吸引人的特性和开辟全新神经架构的潜力，但复值深度神经网络由于缺乏设计此类模型所需的构建模块而被边缘化。在这项工作中，我们为复值深度神经网络提供了关键的原子组件，并将其应用于卷积前馈网络和卷积LSTM。更确切地说，我们依赖于复杂的卷积，并提出了复杂的批量归一化算法，复值神经网络的复杂权重初始化策略，并将它们用于端到端训练方案的实验中。我们证明了这种复值模型与实值模型相比是有竞争力的。我们在几个计算机视觉任务上测试深度复杂模型，使用MusicNet数据集进行音乐转录，使用TIMIT数据集进行语音频谱预测。我们在这些音频相关任务上实现了最先进的性能。
2018-02-25 cs.LG cs.NE
Complex-valued neural networks for machine learning on non-stationary physical data
Technical University of Denmark（丹麦技术大学）
深度学习已经成为包括物理科学在内的大多数科学领域的兴趣领域。现代网络对数据进行实值变换。特别地，卷积神经网络中的卷积完全丢弃相位信息。许多确定性信号，例如地震数据或电信号，在信号的相位中包含重要信息。我们探索复值深度卷积网络，以利用非线性特征映射。地震数据通常具有应用的低截止滤波器，以衰减来自海浪和类似的长波长贡献的噪声。丢弃相位信息会导致低频混叠，类似于高频的Nyquist-Shannon定理。在非平稳数据中，相位含量可以稳定训练，提高神经网络的泛化能力。虽然已经证明相位内容可以在深度神经网络中恢复，但我们展示了在特征映射中包含相位信息如何改善确定性物理数据的训练和推理。此外，我们还证明了复杂网络中参数的减少优于较大的实值网络。
2019-11-26 cs.CV cs.LG physics.comp-ph
Complex Momentum for Optimization in Games
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；NVIDIA（英伟达）
我们推广了具有动量的梯度下降，使其具有复值动量。我们给我们的方法的理论动机，证明收敛的双线性零和游戏的同时和交替更新。我们的方法提供了实值参数更新，使其成为标准优化器的替代品。我们经验证明，复值动量可以提高现实对抗游戏的收敛性-如生成对抗网络-通过显示我们可以找到更好的解决方案，几乎相同的计算成本。我们还展示了对复值Adam变体的实际推广，我们使用该变体来训练BigGAN以在CIFAR-10上获得更好的初始分数。
2021-06-01 cs.GT cs.LG
Correlated Weights in Infinite Limits of Deep Convolutional Neural Networks
University of Cambridge（剑桥大学）；Imperial College London（伦敦帝国理工学院）
深度神经网络的无限宽度限制通常具有易于处理的形式。它们已被用来分析有限网络的行为，以及在自己的权利是有用的方法。在研究无限宽卷积神经网络（CNN）时，观察到空间权重共享产生的相关性在无限极限中消失。这是不可取的，因为空间相关性是CNN背后的主要动机。我们表明，这个属性的损失是不是一个后果的无限的限制，而是选择一个独立的权重先验。关联权重保持激活中的相关性。改变独立权重限制和均值池之间的相关性插值量。对无限宽网络的经验评估表明，在极端之间实现了最佳性能，这表明相关性是有用的。
2021-06-13 cs.LG stat.ML
Estimation of the Sample Frechet Mean: A Convolutional Neural Network Approach
University of Colorado Boulder（科罗拉多大学博尔德分校）
这项工作通过提出一种快速算法来计算样本Frechet均值，从而取代图（或网络）的样本均值概念，解决了对“图值随机变量”的统计和机器学习中新工具的日益增长的需求。我们使用卷积神经网络来学习一组图中的图的形态。我们的实验上的几个合奏的随机图表明，我们的方法可以可靠地恢复样本Frechet均值。
2022-10-13 cs.LG cs.SI physics.data-an
C-SURE: Shrinkage Estimator and Prototype Classifier for Complex-Valued Deep Learning
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）；Peking University（北京大学）
James-Stein（JS）收缩估计量是一种有偏估计量，它能捕获高斯随机向量的均值，虽然它在均方误差（MSE）方面优于极大似然估计量（MLE），但在流形值数据上的推广还没有取得很大的进展。我们提出了C-SURE，一种新的Stein的无偏风险估计（SURE）的JS估计的复值数据的流形上，理论上证明了最佳的MLE。适应复值SurReal分类器的架构，我们进一步将C-SURE纳入原型卷积神经网络（CNN）分类器。我们将C-SURE与SurReal以及复值MSTAR和RadioML数据集上的实值基线进行了比较。C-SURE比SurReal更准确和鲁棒，并且对于相同的原型分类器，收缩估计器总是优于MLE。像SurReal一样，C-SURE要小得多，在MSTAR（RadioML）上的实际值基线上表现优于基线大小的1%（3%）
2020-06-22 cs.LG stat.ML
End-to-End Complex-Valued Multidilated Convolutional Neural Network for Joint Acoustic Echo Cancellation and Noise Suppression
Alibaba Group（阿里巴巴集团）
回波和噪声抑制是全双工通信系统的组成部分。许多最近的声学回声消除（AEC）系统依赖于用于线性回声抑制的单独的自适应滤波模块和用于残余回声抑制的神经模块。然而，不仅自适应滤波模块需要收敛并保持对声学环境中的变化敏感，而且当神经模块已经能够进行线性和非线性回声抑制时，这种两阶段框架还经常向AEC系统引入不必要的延迟。在本文中，我们利用偏移补偿能力的复杂的时间-频率掩模，并提出了一个端到端的复值神经网络架构。所提出的模型的构建块是基于密集连接的多扩张DenseNet（D3 Net）构建块的伪复杂扩展，导致只有354 K参数的非常小的网络。该架构利用了D3 Net构建块的多分辨率特性，消除了对池化的需求，允许网络使用大的感受野提取特征，而不会损失任何输出分辨率。我们还提出了一种双掩模技术的联合回声和噪声抑制与同时语音增强。对合成和真实测试集的评估表明，在多个基于能量的指标和感知代理上都有很好的结果。
2022-01-22 cs.AI cs.LG cs.SD
Quaternion Convolutional Neural Networks for Detection and Localization of 3D Sound Events
Sapienza University of Rome（罗马第一大学）
从四元数域中的数据学习使我们能够利用4D信号的内部依赖性，并将它们视为单个实体。其中一个非常适合四元数数据处理的模型是用三维声信号的球谐分解来表示的。在本文中，我们解决的问题，定位和检测的声音事件在空间声场中使用四元数值数据处理。特别是，我们认为一阶立体混响麦克风捕获的信号的球谐分量，并通过使用四元数卷积神经网络处理它们。实验结果表明，该方法利用了立体混响信号的相关性，从而提高了3D声音事件检测和定位的准确性。
2018-12-17 cs.LG cs.SD eess.AS
SCNN: An Accelerator for Compressed-sparse Convolutional Neural Networks
NVIDIA（英伟达）；Massachusetts Institute of Technology（麻省理工学院）；UC-Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
卷积神经网络（CNN）已经成为机器学习的基础技术。高性能和极高的能效对于CNN在各种情况下的部署至关重要，特别是自动驾驶汽车、相机和电子个人助理等移动平台。本文介绍了稀疏CNN（SCNN）加速器架构，该架构通过利用训练期间网络修剪产生的零值权重和推理期间应用的常见ReLU算子产生的零值激活来提高性能和能效。具体来说，SCNN采用了一种新的卷积算法，可以在压缩编码中保持稀疏权重和激活，从而消除了不必要的数据传输并降低了存储要求。此外，SCNN低功耗有助于将这些权重和激活有效地传递到乘法器阵列，在那里它们被广泛地重用。此外，乘法积的累加是在一个新的累加器阵列中进行的。我们的研究结果表明，在当代神经网络上，SCNN可以将性能和能量分别提高2.7倍和2.3倍，而不是传统的密集CNN加速器。
2017-05-23 cs.AR cs.LG cs.NE
Convolutional Neural Network on Semi-Regular Triangulated Meshes and its Application to Brain Image Data
National University of Singapore（新加坡国立大学）
我们开发了一个卷积神经网络（CNN）上的半规则三角网格，其顶点有6个邻居。所提出的CNN的关键块，包括卷积和下采样，直接在顶点域中定义。利用半正则网格的有序性，将卷积定义在一个顶点域上，这一点与经典卷积的空间定义有很大的不同。此外，嵌入在3D欧几里得空间中的半规则网格的下采样可以实现4、16、64等的下采样率。我们基于阿尔茨海默病神经成像倡议（ADNI）的3169次MRI扫描，展示了这种基于顶点的图CNN用于轻度认知障碍（MCI）和阿尔茨海默病（AD）的分类。我们比较了基于顶点的图CNN与谱图CNN的性能。
2019-04-15 cs.LG stat.ML
Context-modulation of hippocampal dynamics and deep convolutional networks
Center for Computing Research（计算研究中心）；Sandia National Laboratories（桑迪亚国家实验室）
生物神经回路的复杂结构，如并行处理途径，已经在许多认知研究中涉及到行为学。然而，电路复杂性对神经计算的理论后果只在有限的情况下进行了探索。在这里，我们介绍了一种机制，通过这种机制，从皮层到海马CA 3区的直接和间接通路可以平衡记忆形成的上下文门控和驱动网络活动。我们通过启用上下文敏感的偏置来在深度人工神经网络中实现这一概念。这样做的动机是为了提高大小受限网络的性能。使用CIFAR-100和Fashion-MNIST数据集中的超类信息的直接知识，我们在不增加网络规模的情况下显示了性能的显著提高。
2017-11-27 cs.LG q-bio.NC stat.ML
Complex Network for Complex Problems: A comparative study of CNN and Complex-valued CNN
Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）；German Center for Neurodegenerative Disease（德国神经退行性疾病中心）；Center for Behavioral Brain Sciences（行为脑科学中心）
神经网络，特别是卷积神经网络（CNN），是当今计算机视觉中最常用的工具之一。这些网络中的大多数使用实值特征处理实值数据。复值卷积神经网络（CV-CNN）可以保留复值输入数据的代数结构，并且具有学习输入和地面实况之间更复杂关系的潜力。虽然过去已经对CNN和CV-CNN在不同任务中的表现进行了一些比较，但尚未进行大规模的调查，比较不同任务上的不同模型。此外，由于复特征包含实部和虚部，因此CV-CNN的可训练参数数量是实值CNN的两倍。过去观察到的CV-CNN性能的提高是因为复杂的特征还是仅仅因为可训练参数的数量增加了一倍，尚未进行探索。本文对CNN、CNNx 2（可训练参数数量是CNN两倍的CNN）和CV-CNN进行了比较研究。实验使用七个模型进行两个不同的任务-脑肿瘤分类和脑MRI分割。结果表明，CV-CNN模型优于CNN和CNNx 2模型。
2023-02-09 cs.CV cs.LG cs.SE
Epistemic Deep Learning
Demspter-Shafer证据理论中提出的不确定性量化的信度函数方法是建立在集值观测的一般数学模型（称为随机集）上的。集值预测是机器学习中最自然的不确定性表示。在本文中，我们引入了一个称为认知深度学习的概念，该概念基于对信念函数的随机集解释来建模深度神经网络中的认知学习。我们提出了一种新的随机集卷积神经网络的分类，通过学习集值地面真值表示产生的类集的分数。我们评估不同配方的熵和距离措施的信念功能作为可行的损失函数，这些随机集网络。我们还讨论了评估认知预测的质量和认知随机集神经网络的性能的方法。我们通过实验证明，与传统的估计不确定性的方法相比，认知方法产生更好的性能结果。
2022-06-15 cs.LG cs.NE stat.ML
Fully tensorial approach to hypercomplex-valued neural networks
Faculty of Computer Science and Mathematics, Cracow University of Technology（克拉科夫技术大学计算机科学与数学系）
本文提出基于张量的理论框架，使神经网络能在任意有限维代数上操作，通过张量运算统一描述密集和卷积层，并为超复数值感知机提供理论基础。
2026-01-26 cs.AI cs.LG cs.NE
Spectral Complexity-scaled Generalization Bound of Complex-valued Neural Networks
JD Explore Academy, JD.com Inc.（京东探索研究院）；Faculty of Science, University of Hong Kong（香港大学理学院）
复值神经网络在信号处理和图像识别等领域有着广泛的应用。然而，很少有工作集中在CVNN的推广，虽然它是至关重要的，以确保性能的CVNN上看不见的数据。本文首次证明了复值神经网络的一个推广界。该界与谱复杂度成比例，而谱复杂度的主导因素是权矩阵的谱范数积。此外，当训练数据是连续的时，我们的工作提供了CVNN的推广界，这也受到谱复杂度的影响。理论上，这些界限是由Maurey稀疏化引理和Dudley熵积分导出的。从经验上讲，我们通过在不同的数据集上训练复值卷积神经网络来进行实验：MNIST，FashionMNIST，CIFAR-10，CIFAR-100，Tiny ImageNet和IMDB。Spearman的秩序相关系数和相应的p值在这些数据集上给出了强有力的证据，即由权重矩阵谱范数乘积度量的网络的谱复杂性与泛化能力具有统计上显著的相关性。
2021-12-07 cs.AI cs.LG stat.ML
Roto-Translation Covariant Convolutional Networks for Medical Image Analysis
Eindhoven University of Technology（埃因霍温理工大学）
我们提出了一个使用$SE(2)$群卷积进行旋转和平移协变深度学习的框架。特殊欧几里得运动群$SE(2)$的群积描述了两个旋转平移的级联如何导致净旋转平移。我们通过$SE(2)$组卷积层将这种几何结构编码到卷积神经网络（CNN）中，这些卷积层适合标准的2D CNN框架，并且允许在不需要数据增强的情况下一般处理旋转的输入样本。我们引入三层：提升层，其将2D（向量值）图像提升为$SE(2)$图像，即，域为$SE(2)$的3D（向量值）数据;来自和去往$SE(2)$图像的组卷积层;以及从$SE(2)$图像到2D图像的投影层。提升和组卷积层是$SE(2)$协变的（输出与输入旋转平移）。最后的投影层是旋转上的最大强度投影，使完整的CNN旋转不变。我们用组织病理学、视网膜成像和电子显微镜中的三个不同问题表明，使用所提出的组CNN，可以实现最先进的性能，而不需要通过旋转进行数据增强，并且与依赖增强的标准CNN相比，性能有所提高。
2018-06-11 cs.CV cs.LG math.GR
Convolutional Complex Knowledge Graph Embeddings
Data Science Research Group, Paderborn University（帕德博恩大学数据科学研究中心）
在本文中，我们研究的问题，学习连续向量表示的知识图谱预测丢失的链接。我们提出了一种称为ConEx的新方法，该方法通过利用具有复值嵌入向量的Hermitian内积的2D卷积的组成来推断丢失的链接。我们在WN 18 RR，FB 15 K-237，KINSHIP和UMLS基准数据集上评估了ConEx对最先进方法的影响。我们的实验结果表明，ConEx在所有数据集上的链接预测任务上实现了优于RotatE，QuatE和TuckER等最先进方法的性能，同时需要至少8倍的参数。我们通过提供开源实现来确保我们的结果的可重复性，其中包括训练，评估脚本以及https://github.com/conex-kge/ConEx上的预训练模型。
2021-06-09 cs.CL cs.LG stat.ML
Inheritance Between Feedforward and Convolutional Networks via Model Projection
Department of Mathematics and Statistics（数学与统计学系）
提出模型继承概念，证明广义前馈网络是广义卷积网络的子集，并通过模型投影实现反向继承，用于参数高效的迁移学习。
2026-06-04 cs.LG stat.ML
Reviewing Developments of Graph Convolutional Network Techniques for Recommendation Systems
Institute of Advanced Scientific Research（高级科学研究所）；Shivaji University（希瓦吉大学）
本文综述了图神经网络在推荐系统中的应用，涵盖背景、分类、动机及图构建、嵌入传播和计算效率的挑战，并展望未来方向。
2023-11-10 cs.AI cs.IR cs.LG
D-PCN: Parallel Convolutional Networks for Image Recognition via a Discriminator
Huazhong University of Science and Technology（华中科技大学）
在本文中，我们介绍了一个简单的，但相当有效的识别框架称为D-PCN，旨在提高CNN的特征提取能力。该框架由两个并行的CNN，一个SVM和一个额外的分类器组成，该分类器从并行网络中提取综合特征并给出最终预测。这个模型的核心是驱动并行网络关注不同的区域并学习互补的表征。提出了相应的联合训练策略，保证了训练资源的利用。我们使用几个CNN模型在两个基准数据集上验证了D-PCN：CIFAR-100和ImageNet 32 x32，D-PCN增强了所有模型。特别是与相关作品相比，它在CIFAR-100上产生了最先进的性能。我们还在细粒度的Stanford Dogs数据集上进行了可视化实验，验证了我们的动机。此外，我们应用D-PCN对PASCAL VOC 2012进行分割，并且还找到了推广。
2018-03-14 cs.CV cs.LG
Recurrent Complex-Weighted Autoencoders for Unsupervised Object Discovery
IDSIA, USI & SUPSI（瑞士人工智能实验室IDSIA、瑞士意大利语区大学、瑞士应用科学与艺术大学）；Google DeepMind（谷歌DeepMind）；KAUST（阿卜杜拉国王科技大学）
提出循环复值权重全卷积自编码器 SynCx，通过迭代约束满足和复值矩阵-向量乘积实现绑定，在无监督物体发现上优于或匹敌现有模型并避免颜色相似物体分组错误。
2024-10-28 cs.LG cs.NE
Complex-Valued Time-Frequency Self-Attention for Speech Dereverberation
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
当深度复杂神经网络（DCNN）与自注意（SA）网络相结合时，几个语音处理系统已经表现出相当大的性能改进。然而，大多数基于DCNN的语音去混响研究采用自我注意力，并没有明确考虑到计算注意力时真实和想象特征之间的相互依赖性。在这项研究中，我们提出了一个复值T-F注意（TFA）模块，通过计算跨时间和频率维度的二维注意图来建模频谱和时间依赖性。我们使用REVERB挑战语料库验证了我们提出的复值TFA模块与深度复卷积递归网络（DCCRN）的有效性。实验结果表明，将我们的复杂的TFA模块与DCCRN集成，提高了整体语音质量和性能的后端语音应用程序，如自动语音识别，与早期的自我注意的方法相比。
2022-11-22 cs.LG cs.SD eess.AS
Interrelation of equivariant Gaussian processes and convolutional neural networks
Skobeltsyn Institute of Nuclear Physics, M.V. Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学斯科贝尔琴核物理研究所）
基于神经网络（NN）和高斯过程（GP）之间的关系，目前机器学习（ML）领域出现了相当有前途的新趋势，包括许多相关的子主题，例如，神经网络中的信号传播、神经网络学习曲线的理论推导、ML中的QFT方法等。卷积神经网络（CNN）的一个重要特征是它们关于输入数据的对称变换的等方差（一致性）。在这项工作中，我们建立了CNN等变的多通道限制与向量值神经元激活的二维欧几里德群和相应的独立引入的等变高斯过程（GP）之间的关系。
2022-09-17 cs.AI cs.LG
Learning Convolutional Neural Networks in the Frequency Domain
National University of Defense Technology（国防科技大学）
卷积神经网络（CNN）在过去的几十年里在计算机视觉领域取得了令人瞩目的成功。图像卷积运算有助于CNN在图像相关任务上获得良好的性能。然而，图像卷积运算复杂度高，难以实现。本文提出了CEMNet，它可以在频域中训练。本研究的最重要的动机是，我们可以使用简单的元素乘运算来代替图像卷积在频域的基础上互相关定理，这明显降低了计算复杂度。我们进一步引入了权重固定机制来缓解过度拟合的问题，并在频域中分析了批量归一化，Leaky ReLU和Dropout的工作行为，以设计CEMNet的对应物。同时，为了处理离散傅立叶变换带来的复杂输入，我们为CEMNet设计了一种双分支网络结构。实验结果表明，CEMNet取得了良好的性能MNIST和CIFAR-10数据库。
2022-07-20 cs.AI cs.CV cs.LG
Convolutional neural networks compression with low rank and sparse tensor decompositions
Skoltech（斯科尔特科技学院）
卷积神经网络在各种计算机视觉任务中表现出优异的性能。然而，神经网络架构设计通常面临模型性能和计算/存储器复杂度之间的权衡。对于一些现实世界的应用程序，开发模型至关重要，这些模型可以快速而轻巧地在边缘系统和移动设备上运行。然而，许多表现出良好性能的现代体系结构不满足推理时间和存储限制的要求。因此，出现了一个问题，神经网络压缩，以获得一个更小，更快的模型，这是与初始的。在这项工作中，我们考虑一个神经网络压缩方法的基础上张量分解。也就是说，我们建议用一个张量来近似卷积层权重，它可以表示为低秩和稀疏分量的总和。这种近似的动机是基于这样的假设，即低秩和稀疏项允许消除两种不同类型的冗余，从而产生更好的压缩率。一个有效的CPU实现所提出的方法已经开发。我们的算法在压缩Resnet 50架构用于图像分类任务时，表现出高达3.5倍的CPU层加速和11倍的层大小减少。
2020-06-11 cs.CV cs.LG
Proper Complex Gaussian Processes for Regression
University of Seville（塞维利亚大学）
复值信号用于工程和科学中许多系统的建模，因此具有根本的意义。通常，随机复值信号被认为是适当的。一个真正的复随机变量或过程与它的复共轭是不相关的。在许多问题中，这个假设是基本物理的一个很好的模型，并且简化了计算。虽然线性处理和神经网络已被广泛研究这些信号，复值非线性核方法的发展仍然是一个悬而未决的问题。在本文中，我们提出回归高斯过程作为开发1）适当复值核回归的解决方案和2）使用互协方差的卷积方法设计复值输入的再生核的框架。在这种设计中，我们注意保持，在复杂的域，附近的输入之间的相似性的措施。学习核的超参数，使用Wirtinger导数最大化边际似然。此外，该方法连接到多输出学习场景。在包括的实验中，我们首先解决了一个适当的复高斯过程，其中互协方差不抵消，当处理适当的复信号时，这是一个具有挑战性的场景。然后，我们成功地使用这些新的结果来解决以前提出的一些问题，在文献中作为基准，报告的估计误差显着改善。
2015-02-18 cs.LG stat.ML
Dense-Sparse Deep Convolutional Neural Networks Training for Image Denoising
Khalifa University（哈利法大学）；King Fahd University of Petroleum and Minerals（法赫德国王石油与矿产大学）
本文提出用稠密-稀疏-稠密训练方法精简深度去噪卷积神经网络，在保持去噪性能相当的同时显著减少可训练参数和处理时间。
2024-08-30 cs.AI cs.LG eess.IV
Statistical Analysis of the Impact of Quaternion Components in Convolutional Neural Networks
Universidad Nacional Autónoma de México（墨西哥国立自治大学）；Binghamton University（宾汉姆顿大学）
本文通过统计分析研究四元数卷积神经网络中各组件选择及其交互对图像分类性能的影响，并提出一种新的全四元数ReLU激活函数以提升模型表现。
2024-08-29 cs.AI cs.CV cs.LG
Compact set-valued deep ensembling in multi-class classification
Université de Technologie de Compiègne（贡比涅技术大学）；Japan Advanced Institute of Science and Technology（日本先端科学技术大学院大学）
本文提出使用紧致集成（如贝叶斯神经网络和蒙特卡洛丢弃卷积神经网络）生成概率预测，并定义代表性分布以优化统计距离，从而高效计算集值贝叶斯最优预测，解决深度集成中的训练存储负担和单值预测不鲁棒问题。
2026-10-06 cs.LG
Sequence Modeling with Multiresolution Convolutional Memory
Stanford University（斯坦福大学）；CZ Biohub SF（CZ Biohub 旧金山）
本文提出基于小波多分辨率分析的 MultiresLayer，通过膨胀因果卷积树中的共享滤波器高效建模多尺度长程依赖，并在多个序列分类与密度估计基准上达到最先进性能。
2023-11-02 cs.CV cs.LG stat.ML
Enhanced Image Classification With a Fast-Learning Shallow Convolutional Neural Network
University of South Australia（南澳大学）；Institute for Telecommunications Research（电信研究所）；School of Information Technology and Mathematical Sciences（信息技术与数学科学学院）
我们提出了一个神经网络的架构和训练方法，旨在使非常快速的训练和低实现复杂性。由于其训练速度和很少的可调参数，该方法具有很强的潜力，需要频繁的再训练或在线训练的应用程序。该方法的特征在于（a）基于生物启发的视觉处理滤波器的卷积滤波器，（b）随机值的分类器级输入权重，（c）使用最小二乘回归来训练单个批次中的分类器输出权重，以及（d）线性分类器级输出单元。我们证明了该方法的有效性，将其应用到图像分类。我们的结果与MNIST（0.37%误差）和NORB-small（2.2%误差）图像分类数据库的现有最先进结果相匹配，但与标准深度网络方法相比，训练时间非常快。该网络在谷歌街景门牌号（SVHN）数据库上的性能（4%错误）也与最先进的方法相媲美。
2015-08-15 cs.CV cs.LG cs.NE
DeepAffinity: Interpretable Deep Learning of Compound-Protein Affinity through Unified Recurrent and Convolutional Neural Networks
Texas A&M University（得克萨斯农工大学）
动机：药物发现需要快速定量化合物-蛋白质相互作用（CPI）。然而，目前还缺乏一种方法，可以预测化合物蛋白质的亲和力，从序列单独具有高的适用性，准确性和可解释性。结果：我们提出了一个无缝集成的领域知识和学习为基础的方法。在结构注释的蛋白质序列的新表示下，已经提出了一种统一递归和卷积神经网络的半监督深度学习模型，以利用未标记和标记的数据，用于联合编码分子表示和预测亲和力。我们的表示和模型在IC $_{50}$中的相对误差方面优于传统选项，对于测试用例，相对误差在5倍以内，对于不包括在训练中的蛋白质类，相对误差在20倍以内。具有少量标记数据的新蛋白质类的性能通过迁移学习进一步提高。此外，单独和联合注意力机制的开发和嵌入到我们的模型，以增加其可解释性，如预测和解释选择性药物靶点相互作用的案例研究所示。最后，还探索了使用蛋白质序列或复合图的替代表示以及使用图CNN（GCNN）的统一RNN/GCNN-CNN模型，以揭示未来的算法挑战。可用性：数据和源代码可访问https://github.com/Shen-Lab/DeepAffinity补充信息：补充数据可访问http://shen-lab.github.io/deep-affinity-bioinf18-supp-rev.pdf
2018-12-08 cs.LG q-bio.BM stat.ML
An evidential classifier based on Dempster-Shafer theory and deep learning
Université de technologie de Compiègne（贡比涅技术大学）；CNRS（法国国家科学研究中心）；Shanghai University（上海大学）；Institut universitaire de France（法国大学研究院）
提出了一种基于Dempster-Shafer（DS）理论和卷积神经网络（CNN）结构的集值分类器。在这个被称为证据深度学习分类器的分类器中，卷积层和池化层首先从输入数据中提取高维特征。然后将特征转换为质量函数，并在DS层中通过Dempster规则进行聚合。最后，期望效用层执行基于质量函数的集值分类。我们提出了一个端到端的学习策略，共同更新网络参数。此外，提出了一种选择部分多类行为的方法。对图像识别、信号处理和语义关系分类任务的实验表明，所提出的深度CNN、DS层和预期效用层的组合使得有可能通过将混淆模式分配给多类集来提高分类精度并做出谨慎的决策。
2021-03-25 cs.AI cs.LG
A Magnetic Framelet-Based Convolutional Neural Network for Directed Graphs
The University of Sydney（悉尼大学）
针对现有基于框架小波的谱图卷积神经网络多局限于无向图的问题，提出基于磁框架小波的有向图谱GCNN模型Framelet-MagNet，利用复值磁拉普拉斯构造有向图框架小波，在多任务上性能优于现有最优模型。
2023-05-02 cs.LG eess.SP
Bacteriophage classification for assembled contigs using Graph Convolutional Network
City University of Hong Kong（香港城市大学）；Ministry of Agriculture（农业部）；South China Sea Fisheries Research Institute（南海水产研究所）；Chinese Academy of Fishery Sciences（中国水产科学研究院）
动机：噬菌体（又名噬菌体），主要感染细菌，在微生物生物学中起着关键作用。作为地球上最丰富的生物实体，已发现的恐龙数量只是冰山一角。最近，使用高通量测序，特别是宏基因组测序，已经揭示了许多新的突变。与噬菌体样序列的快速积累相比，真菌的分类学研究严重滞后。高度的多样性、丰富性和有限的已知物种给分类学分析带来了巨大的挑战。特别地，基于重叠群的工具难以对从宏基因组数据组装的快速积累的重叠群进行分类。结果：在这项工作中，我们提出了一种新的半监督学习模型，命名为PhaGCN，进行分类的噬菌体重叠群。在该学习模型中，我们将卷积神经网络（CNN）学习到的DNA序列特征与基因共享网络获得的蛋白质序列相似度相结合，构建知识图。然后，我们应用图卷积网络（GCN）在训练中同时利用标记和未标记的样本来增强学习能力。我们在模拟和真实测序数据上测试了PhaGCN。结果清楚地表明，我们的方法与可用的噬菌体分类工具竞争有利。
2021-09-04 cs.LG q-bio.GN
DLL: A Blazing Fast Deep Neural Network Library
HES-SO, University of Applied Science of Western Switzerland University of Fribourg, Switzerland（瑞士西部应用科学与艺术大学（HES-SO）、弗里堡大学）
深度学习库（DLL）是一个用于机器学习的新库，它具有深度神经网络，专注于速度。它支持前馈神经网络，如全连接人工神经网络（ANN）和卷积神经网络（CNN）。它还非常全面地支持受限玻尔兹曼机（RBM）和卷积RBM。我们这项工作的主要动机是提出和评估新的软件工程策略，有可能加快训练和推理的运行时间。这些策略大多独立于底层的深度学习算法。在三个不同的数据集和四个不同的神经网络模型上，我们将DLL与五个流行的深度学习框架进行了比较。实验表明，该框架在CPU和GPU上的速度明显提高。在分类性能方面，报告了与其他框架类似的准确性。
2018-04-11 cs.CV cs.LG stat.ML
Widely Linear Matched Filter: A Lynchpin towards the Interpretability of Complex-valued CNNs
Soochow University（苏州大学）；University of Banja Luka（巴尼亚卢卡大学）；Jiaxing Nanhu University（嘉兴南湖学院）；University of Montenegro（黑山大学）；Imperial College London（伦敦帝国学院）
该研究提出通用广泛线性匹配滤波器（WLMF）范式并推导其解与性能，证明其信噪比优于严格线性匹配滤波器，为复值卷积神经网络的可解释性提供了物理意义的支撑。
2024-01-31 cs.LG
Blending Pruning Criteria for Convolutional Neural Networks
Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）；Northwestern University（西北大学）；Purdue University（普渡大学）
卷积神经网络（CNN）在各种视觉应用中的进步引起了人们的广泛关注。然而，大多数CNN无法满足实际部署的严格要求。为了克服这一问题，近年来流行的网络剪枝是一种有效的方法来减少模型的冗余。然而，根据过滤器在不同修剪标准上的“重要性”对过滤器的排名可能不一致。一个过滤器可能根据某个标准是重要的，而根据另一个标准是不必要的，这表明每个标准只是全面“重要性”的一部分。从这个动机，我们提出了一个新的框架来整合现有的过滤器修剪标准，探索标准的多样性。该框架包括两个阶段：标准聚类和过滤器重要性校准。首先，我们通过基于“重要性”得分的等级的分层聚类来浓缩修剪标准。其次，在每个聚类中，我们提出了一个校准因子来调整它们对每个选定的混合候选者的重要性，并通过进化算法搜索最佳的混合标准。CIFAR-100和ImageNet基准测试的定量结果表明，我们的框架优于最先进的基线，在修剪后重新分级为紧凑模型性能。
2021-07-11 cs.AI cs.CV cs.LG
ReActXGB: A Hybrid Binary Convolutional Neural Network Architecture for Improved Performance and Computational Efficiency
National Central University（中央大学）
针对二值卷积神经网络全连接层计算瓶颈及性能与资源平衡难题，提出用XGBoost替换ReActNet-A全卷积层的ReActXGB混合模型，在FashionMNIST基准上实现精度提升与计算、存储开销降低。
2024-05-11 cs.CV cs.LG
Attention Augmented Convolutional Transformer for Tabular Time-series
Airt Research（Airt研究中心）；Algebra University College（代数大学学院）
时间序列分类是工业数据科学中最常执行的任务之一，工业环境中最广泛使用的数据表示之一是表格表示。在这项工作中，我们提出了一种新的可扩展架构，用于从表格时间序列数据中学习表示，并随后执行下游任务，如时间序列分类。表示学习框架是端到端的，类似于语言建模中的Transformers（BERT）的双向编码器表示，但是，我们引入了适用于时间序列数据预训练的新掩蔽技术。此外，我们还使用了用Transformers增强的一维卷积，并探索了它们的有效性，因为时间序列数据集自然适合一维卷积。我们还提出了一种新的时间戳嵌入技术，这有助于处理在不同的时间粒度级别的周期性周期，和非周期性的趋势存在于时间序列数据。我们提出的模型是端到端的，可以处理分类和连续值输入，并且不需要对连续特征进行任何量化或编码。
2021-10-05 cs.AI cs.LG
COmic: Convolutional Kernel Networks for Interpretable End-to-End Learning on (Multi-)Omics Data
University of Tübingen（图宾根大学）
针对医疗组学预测黑盒模型的可信性问题，提出结合卷积核网络与通路诱导核的COmic模型，可在多规模单/多组学数据上实现性能优异且本质可解释的端到端学习，无需事后解释。
2023-05-03 cs.LG q-bio.QM
Phase-Aware Deep Learning with Complex-Valued CNNs for Audio Signal Applications
Department of Statistics and Data Science（统计与数据科学系）；National University of Singapore（新加坡国立大学）
本研究探讨了复值卷积神经网络（CVCNNs）在音频信号处理中的设计与运用，重点保留和利用相位信息，并通过图像基准、MFCCs音频分类及GNNs相位建模三个阶段的实验，证实了相位特征在音频处理中的可利用性及复值架构的表达能力。
2025-10-10 cs.AI cs.LG cs.SD
Learning Combinatorial Functions from Pairwise Comparisons
机器学习中的大量工作都集中在学习一个基本组合函数的紧密近似的问题上，给定一小组标记的例子。然而，对于实值函数，基数标签可能无法访问，或者专家可能难以在整个示例集上一致地分配实值标签。例如，众所周知，消费者很难可靠地为一捆捆商品赋值。相反，消费者更容易报告她更喜欢两个捆绑包中的哪一个。考虑到这一动机，我们考虑一种替代学习模型，其中算法必须从成对比较中学习到成对比较的底层函数。在这个模型中，我们提出了一系列新的算法，学习各种各样的组合函数类。从图函数到在微观经济学理论、社交网络分析和机器学习中具有根本重要性的各种估值函数，如覆盖函数、次模函数、XOS函数和次加函数，以及具有稀疏傅立叶支持的函数。
2016-05-30 cs.DS cs.LG
