Improving Time Series Classification Algorithms Using Octave-Convolutional Layers
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
利用卷积层的深度学习模型在单变量时间序列分类任务上实现了最先进的性能。在这项工作中，我们建议通过利用Octave卷积（OctConv）来改进基于CNN的时间序列分类器。这些网络架构包括全卷积网络（FCN）、残差神经网络（ResNets）、LSTM-全卷积网络（LSTM-FCN）和注意力LSTM-全卷积网络（ALSTM-FCN）。所提出的层显着改善了这些模型中的每一个，最小限度地增加了网络参数。在本文中，我们通过实验证明，通过用OctConv代替卷积，我们显着提高了大多数基准数据集的时间序列分类任务的准确性。此外，更新的ALSTM-OctFCN在统计上与前两个时间序列分类器TS-CHIEF和HIVE-COTE（两个集成模型）相同。为了进一步探索OctConv层的影响，我们将增强模型与其基础模型进行了消融测试。
2021-09-28 cs.LG
Convolutional Recurrent Neural Networks for Electrocardiogram Classification
Dept. IT & EE ETH Zurich（苏黎世联邦理工学院信息与电气工程系）；Switzerland（瑞士（注：此处Switzerland为国家名，非机构，原HTML中该字段可能为作者地址的一部分，按要求不应提取，但根据文本结构，“Dept. IT & EE ETH Zurich”明确为机构，“Switzerland”为国家，非机构，故仅提取前者））
我们提出了两种用于任意长度心电图（ECG）记录分类的深度神经网络架构，并在PhysioNet/CinC Challenge 2017提供的房颤（AF）分类数据集上对其进行了评估。第一种架构是深度卷积神经网络（CNN），具有跨时间的基于平均的特征聚合。第二种架构将用于特征提取的卷积层与用于特征的时间聚合的长短期记忆（LSTM）层相结合。作为我们训练过程的一个关键组成部分，我们引入了一个简单的ECG数据数据增强方案，并证明了其在AF分类任务中的有效性。发现第二种架构优于第一种架构，在隐藏挑战测试集上获得了$82.1$ %的$F_1$分数。
2018-04-09 cs.LG
Graph Convolutional Network For Semi-supervised Node Classification With Subgraph Sketching
School of Systems Science and Engineering（系统科学与工程学院）；Sun Yat-sen University（中山大学）；School of Mathematics（数学学院）
提出GLDGCN模型通过引入对偶卷积层和图学习层提升半监督节点分类准确率，并引入子图聚类和随机梯度下降设计CLustering GCN算法解决大图处理问题。
2024-04-25 cs.LG
Convolutional Neural Network and Adversarial Autoencoder in EEG images classification
Innopolis University（因诺波利斯大学）
本文结合计算机视觉与神经网络方法，用于手部运动期间大脑活动的分类。通过预处理EEG信号生成2DEEG图谱，并采用监督和半监督神经网络进行分类。
2026-04-05 cs.LG
Investigating Label Noise Sensitivity of Convolutional Neural Networks for Fine Grained Audio Signal Labelling
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
我们测量了在细粒度音频信号标记任务中由轻微未对齐的地面真实标签引起的少量系统和随机标签噪声的影响。我们选择演示这些效果的任务也称为逐帧复调转录或音符量化多f0估计，并将单声道音频信号转换为音符指示符标签序列。它将表明，即使是轻微的错位有明显的影响，证明了卷积神经网络的标签噪声的高度敏感性。其含义是明确的：当将卷积神经网络用于细粒度音频信号标记任务时，必须非常小心地确保注释具有精确的定时，并且尽可能地不受系统或随机误差的影响，即使是小的未对准也会产生明显的影响。
2018-05-28 cs.LG cs.SD eess.AS
Guided Labeling using Convolutional Neural Networks
University of Innsbruck（因斯布鲁克大学）
在过去的几年里，深度学习，尤其是卷积神经网络，已经成为计算机视觉的主力之一。监督式深度学习适用于更多领域的一个限制因素是需要大型手动标记的数据集。在本文中，我们提出了一种易于实现的方法，我们称之为引导标签，它自动确定哪些样本从一个未标记的数据集应该被标记。我们表明，使用这个过程中，需要标记的样本的数量大大减少了标记图像任意。
2017-12-06 cs.CV cs.LG stat.ML
Multi-Label Learning from Medical Plain Text with Convolutional Residual Models
Duke University（杜克大学）
从电子健康记录（EHR）预测诊断是多标签学习的一个重要医学应用。我们提出了一种卷积残差模型，用于EHR数据中医生笔记的多标签分类。一个给定的患者可能有多个诊断，因此需要多标签学习。我们采用卷积神经网络（CNN）将纯文本编码为固定长度的句子嵌入向量。由于诊断通常是相关的，因此在CNN编码器的顶部采用深度残差网络，以捕获标签（诊断）依赖性并直接从编码的句子向量中合并信息。考虑一个真实的EHR数据集，我们将所提出的模型与几个众所周知的基线进行比较，以根据医生的笔记预测诊断。实验结果证明了所提出的卷积残差模型的优越性。
2018-08-08 cs.LG stat.AP stat.ML
Graph Convolutional Networks for Classification with a Structured Label Space
Bombora Inc.（Bombora公司）；New York University（纽约大学）
在多类分类中，通常忽略类的结构信息。在本文中，我们提出了一个图卷积网络（GCN）增强神经网络分类器，利用一个已知的，底层的图形结构的标签。所提出的方法类似于（近似）推理过程，例如，条件随机场（CRF）。我们评估所提出的方法对文件分类和对象识别和报告的准确性和图论指标，对应于模型的预测的一致性。实验结果表明，所提出的模型优于基线方法，忽略了图形结构的标签空间的图论度量。
2018-02-22 cs.LG stat.ML
Attention-based Convolutional Neural Network for Weakly Labeled Human Activities Recognition with Wearable Sensors
Nanjing Normal University（南京师范大学）；Nanjing University of Information Science and Technology（南京信息工程大学）
与人类可以轻松标记的图像或视频数据不同，传感器数据标注是一个耗时的过程。然而，传统的人类活动识别方法需要大量此类严格标记的数据来训练分类器。在本文中，我们提出了一个基于注意力的卷积神经网络的人识别弱标记数据。提出的注意力模型可以集中在一个长序列的传感器数据中的标记活动，同时过滤掉大量的背景噪声信号。在弱标记数据集上的实验中，我们证明了我们的注意力模型在准确性上优于经典的深度学习方法。此外，我们确定的具体位置的标记活动在一个长序列的弱标记数据，通过转换的兼容性得分，这是从注意力模型产生的兼容性密度。该方法极大地简化了传感器数据标注的过程，使数据汇集更加容易。
2019-03-27 cs.LG stat.ML
Multi-Stage Self-Supervised Learning for Graph Convolutional Networks on Graphs with Few Labels
Peking University（北京大学）；Samsung Research China - Beijing (SRC-B)（三星中国研究院北京分院）；Beijing Institute of Big Data Research (BIBDR)（北京大数据研究院）
图卷积网络（Graph Convolutional Network，GCN）在图学习中发挥着重要作用，但在监督信号较少的情况下学习图嵌入仍然是一个难题。本文结合自监督学习方法，提出了一种新的图卷积网络训练算法--多阶段自监督（M3 S）训练算法，旨在提高GCN在标记节点较少的图上的泛化性能。首先，提出了一个多阶段训练框架，作为M3 S训练方法的基础。然后，我们利用DeepCluster技术，一种流行的自监督学习形式，并在嵌入空间上设计相应的对齐机制来细化多阶段训练框架，从而产生M3 S训练算法。最后，大量的实验结果验证了我们的算法的优越性能与其他国家的最先进的方法相比，在不同的标签率下的图与少数标记的节点。
2020-02-20 cs.LG stat.ML
Multi-Label Image Recognition with Graph Convolutional Networks
Nanjing University（南京大学）；Megvii Technology（旷视科技）；The University of Adelaide（阿德莱德大学）；th Research Institute of China Electronics Technology Group Corporation（中国电子科技集团公司第二十八研究所）
多标签图像识别的任务是预测图像中存在的一组对象标签。由于图像中的对象通常是同时出现的，因此需要对标签依赖性进行建模以提高识别性能。为了捕捉和探索这些重要的依赖关系，我们提出了一个基于图卷积网络（GCN）的多标签分类模型。该模型在对象标签上构建有向图，其中每个节点（标签）由标签的词嵌入表示，并且GCN被学习以将该标签图映射到一组相互依赖的对象分类器。这些分类器被应用于由另一个子网提取的图像描述符，使整个网络是端到端的可训练的。此外，我们提出了一种新的重加权方案，以创建一个有效的标签相关矩阵，以指导信息传播之间的节点在GCN。在两个多标签图像识别数据集上的实验表明，该方法明显优于其他现有的最先进的方法。此外，可视化分析表明，我们的模型学习的分类器保持有意义的语义拓扑。
2019-04-07 cs.CV cs.LG
Unifying Graph Convolutional Neural Networks and Label Propagation
Stanford University（斯坦福大学）
标签传播（LPA）和图卷积神经网络（GCN）都是图上的消息传递算法。两者都解决了节点分类的任务，但LPA在图的边缘传播节点标签信息，而GCN传播和转换节点特征信息。然而，虽然在概念上相似，但LPA和GCN之间的理论关系尚未被研究。在这里，我们从两个方面研究LPA和GCN之间的关系：（1）特征/标签平滑，我们分析一个节点的特征/标签如何在其邻居上传播;以及（2）特征/标签影响，即一个节点的初始特征/标签对另一个节点的最终特征/标签的影响程度。基于我们的理论分析，我们提出了一个端到端的模型，统一GCN和LPA的节点分类。在我们的统一模型中，边缘权重是可学习的，LPA作为正则化来帮助GCN学习适当的边缘权重，从而提高分类性能。我们的模型也可以被看作是基于节点标签的学习注意力权重，这比现有的基于特征的注意力模型更面向任务。在真实世界的图上进行的大量实验中，我们的模型在节点分类精度方面优于最先进的基于GCN的方法。
2020-02-17 cs.LG stat.ML
Human Voice Pitch Estimation: A Convolutional Network with Auto-Labeled and Synthetic Data
本文提出一种面向无伴奏合唱人声音高提取的卷积神经网络，通过融合合成数据与自动标注音频训练，并在多类数据集上验证其有效性。
2023-12-17 cs.LG cs.SD eess.AS
Consistent Relative Confidence and Label-Free Model Selection for Convolutional Neural Networks
Research Center for Applied Mathematics and Machine Intelligence（应用数学与机器智能研究中心）；Zhejiang Lab（之江实验室）
在本文中，我们关注的是使用深度卷积神经网络（CNN）进行图像分类。我们关注以下问题：给定一组候选CNN模型，如何为当前任务选择具有最佳泛化性能的正确模型？当前的模型选择方法都需要访问一批标记数据来计算预先指定的性能度量，例如交叉熵损失、分类出错率和负对数似然。在许多实际情况下，标签无法及时提供，因为标签本身是一项耗时且昂贵的任务。为此，我们提出了一种仅使用未标记数据的CNN模型选择方法。我们开发这种方法的基础上的原则称为一致的相对置信度。在基准数据集上的实验结果证明了该方法的有效性和效率。
2022-05-31 cs.CV cs.LG
ROCKET: Exceptionally fast and accurate time series classification using random convolutional kernels
Monash University（莫纳什大学）
大多数用于时间序列分类的方法达到最先进的精度具有高的计算复杂性，即使对于较小的数据集也需要大量的训练时间，并且对于较大的数据集是难以处理的。此外，许多现有的方法专注于单一类型的特征，如形状或频率。在最近卷积神经网络在时间序列分类方面取得成功的基础上，我们证明使用随机卷积核的简单线性分类器可以实现最先进的准确性，而计算费用仅为现有方法的一小部分。
2019-10-29 cs.LG stat.ML
AUC-maximized Deep Convolutional Neural Fields for Sequence Labeling
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；University of Chicago（芝加哥大学）
深度卷积神经网络（DCNN）在各种机器学习任务中表现出出色的性能。本文介绍了深度卷积神经场（DeepCNF），DCNN与条件随机场（CRF）的组合，用于高度不平衡标签分布的序列标记。广泛使用的训练方法，如最大似然法和最大标签精度法，在高度不平衡的数据上效果不佳。为了解决这个问题，我们为DeepCNF提出了一种新的训练算法，称为maximum-AUC。也就是说，我们通过直接最大化经验ROC曲线下面积（AUC）来训练DeepCNF，这是对不平衡数据的无偏测量。为了实现这一点，我们在成对排序框架中制定AUC，通过多项式函数近似它，然后应用基于梯度的程序来优化它。然后，我们在三个非常不同的蛋白质序列标记任务上测试AUC最大化的DeepCNF：溶剂可及性预测，8状态二级结构预测和无序预测。我们的实验结果证实，最大AUC大大优于其他两种训练方法的8状态二级结构预测和无序预测，因为他们的标签分布是高度不平衡的，也有类似的性能，其他两种训练方法的溶剂可及性预测问题，其中有三个均匀分布的标签。此外，我们的实验结果还表明，我们的AUC训练的DeepCNF模型大大优于这三个任务的现有流行预测器。
2015-11-19 cs.LG stat.ML
Application of the Multi-label Residual Convolutional Neural Network text classifier using Content-Based Routing process
在这篇文章中，我们将提出一个自然语言处理的文本分类过程中使用基于内容的路由器。本文的最终目标是从广告的纯文本中预测合法广告所描述的事件。这个问题纯粹是一个监督问题，将涉及使用NLP技术和传统的建模方法，通过使用多标签残差卷积神经网络的文本分类。我们将解释到位的方法来解决分类广告的问题，遇到的困难和实验结果。
2022-09-30 cs.AI cs.CL cs.LG
Training Convolutional Networks with Noisy Labels
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
大型标记数据集的可用性使卷积网络模型能够实现令人印象深刻的识别结果。然而，在许多设置中，对数据进行手动注释是不切实际的;相反，我们的数据具有噪声标签，即每个图像都有一些免费的标签，这些标签可能准确也可能不准确。在本文中，我们探讨了在这种噪声数据上训练时，区分训练的Convnets的性能。我们在网络中引入了一个额外的噪声层，它可以调整网络输出以匹配嘈杂的标签分布。该噪声层的参数可以作为训练过程的一部分进行估计，并且涉及对深度网络的当前训练基础设施的简单修改。我们在几个数据集上展示了这些方法，包括在ImageNet分类基准上进行的大规模实验。
2015-04-10 cs.CV cs.LG cs.NE
Multi-Label Graph Convolutional Network Representation Learning
Florida Atlantic University（佛罗里达大西洋大学）；Hunan University of Science and Technology（湖南科技大学）
基于图的系统的知识表示是许多学科的基础。迄今为止，大多数现有的表示学习方法主要关注具有单纯标签的网络，然而现实世界的对象（节点）本质上是复杂的，并且通常包含丰富的语义或标签，例如，用户可以属于社交网络的不同兴趣组，从而导致用于许多应用的多标签网络。多标签网络节点不仅具有用于每个节点的多个标签，这样的标签通常是高度相关的，使得现有方法无效或无法处理用于节点表示学习的这样的相关性。本文提出了一种新的多标记图卷积网络（ML-GCN），用于学习多标记网络的节点表示。为了充分探索标签-标签相关性和网络拓扑结构，我们提出将多标签网络建模为两个连体GCN：节点-节点-标签图和标签-标签-节点图。这两个GCN分别处理节点和标签的表示学习的一个方面，并且它们在一个目标函数下无缝集成。学习的标签表示可以有效地保持内部标签交互和节点标签属性，然后在统一的训练框架下聚合以增强节点表示学习。多标签节点分类的实验和比较验证了我们提出的方法的有效性。
2019-12-26 cs.LG cs.SI stat.ML
Convolutional Network Fabric Pruning With Label Noise
CNRS（法国国家科学研究中心）
提出了一种卷积网络结构（CNF）在训练和测试数据中的迭代剪枝策略。随着神经网络模型规模的不断增加，许多作者已经开发了修剪方法来构建更紧凑的网络结构，需要更少的资源，同时保持性能。正如我们在本文中所展示的，由于其内在的结构和功能，卷积网络结构是修剪的理想候选者。我们提出了一系列修剪策略，可以通过修剪整个卷积滤波器或单个权重来显着减少最终网络大小和所需的训练时间，从而使网格保持视觉上可理解，但整体执行质量保持在可控范围内。我们的方法可以在训练过程中迭代应用，从而使网络复杂度迅速降低，节省计算时间。本文讨论了数据依赖和数据依赖的策略，并通过实验建立了当训练或测试数据包含注释错误时最有效的方法。
2022-02-15 cs.LG cs.NE
Multivariate Time Series Classification using Dilated Convolutional Neural Network
Xsensor Technology Corp（Xsensor科技公司）；University of Alberta（阿尔伯塔大学）
多元时间序列分类是机器学习领域的一个重要研究课题。特征提取是分类任务中的一个主要步骤。传统方法采用手工制作的特征进行分类，而卷积神经网络（CNN）能够自动提取特征。本文将扩张卷积神经网络用于多变量时间序列分类。为了部署扩张的CNN，将多变量时间序列转换为类似图像的样式，并应用扩张和跨步卷积的堆栈来同时提取时间序列中变量的特征。我们在两个人类活动识别时间序列上评估了我们的模型，发现为时间序列提取的自动特征可以像手工制作的特征一样有效。
2019-05-05 cs.LG stat.ML
Progressive Graph Convolutional Networks for Semi-Supervised Node Classification
Aarhus University（奥胡斯大学）
图卷积网络已经成功地解决了基于图的任务，如半监督节点分类。现有的方法使用由用户定义的网络结构，基于实验，每层具有固定数量的层和神经元，并采用逐层传播规则来获得节点嵌入。设计一个自动过程来定义图卷积网络的问题相关架构可以极大地帮助减少在训练过程中手动设计模型结构的需要。在本文中，我们提出了一种方法来自动构建紧凑和特定任务的图卷积网络。在广泛使用的公开数据集上的实验结果表明，该方法在分类性能和网络紧凑性方面优于基于卷积图网络的相关方法。
2021-01-20 cs.LG stat.ML
Convolutional Tables Ensemble: classification in microseconds
Microsoft Research（微软研究院）
我们研究分类器在严重的分类时间限制下运行，对应于1-1000 CPU微秒，使用卷积表枚举（CTE），一个固有的快速架构的对象类别识别。该架构是基于卷积应用稀疏特征提取，使用树或蕨类植物，和线性投票层。几个结构和优化变量被认为是，包括新的决策函数，树学习算法，和蒸馏从CNN CTE架构。在标准对象识别基准上证明了比具有类似速度的相关技术提高24-45%的准确度。使用帕累托速度-精度曲线，我们表明CTE可以提供比卷积神经网络（CNN）更好的精度为一定范围的分类时间约束，或者提供类似的出错率与5- 200倍的加速。
2016-02-14 cs.CV cs.LG
Convolutional Clustering for Unsupervised Learning
Purdue University（普渡大学）
为训练深度神经网络标记数据的任务是艰巨而繁琐的，需要数百万个标签才能实现当前最先进的结果。这种对大量标记数据的依赖可以通过利用经由无监督学习技术的分层特征来放松。在这项工作中，我们提出了训练一个基于增强版k-means聚类算法的深度卷积网络，它减少了类似过滤器形式的相关参数的数量，从而提高了测试分类的准确性。我们称我们的算法为卷积k均值聚类。我们进一步表明，学习深度卷积神经网络层之间的连接可以提高其在少量标记数据上训练的能力。我们的实验表明，该算法优于其他技术，学习过滤器无监督。具体来说，我们在STL-10上获得了74.1%的测试准确度，在MNIST上获得了0.5%的测试误差。
2016-02-16 cs.CV cs.LG
Encoding Sentences with Graph Convolutional Networks for Semantic Role Labeling
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
语义角色标注是识别句子的谓元-论元结构的任务。它通常被认为是标准NLP管道中的重要一步。由于语义表征与句法表征密切相关，我们在模型中充分利用了句法信息。我们提出了一个版本的图卷积网络（GCN），最近的一类神经网络操作的图形，适合建模语法依赖图。句法依赖树上的GCN被用作句子编码器，产生句子中单词的潜在特征表示。我们观察到GCN层与LSTM层是互补的：当我们堆叠GCN和LSTM层时，我们获得了比现有最先进的LSTM SRL模型更大的改进，从而在标准基准测试（CoNLL-2009）中获得了中文和英文的最佳报告分数。
2017-07-30 cs.CL cs.LG
Deep Gated Recurrent and Convolutional Network Hybrid Model for Univariate Time Series Classification
用于时间序列分类的混合LSTM-全卷积网络（LSTM-FCN）在单变量时间序列上产生了最先进的分类结果。我们证明，用门控递归单元（GRU）替换LSTM来创建GRU-全卷积网络混合模型（GRU-FCN）可以在许多时间序列数据集上提供更好的性能。所提出的GRU-FCN模型在许多单变量和多变量时间序列数据集上的分类性能优于最先进的分类性能。此外，由于GRU使用比LSTM更简单的架构，因此与基于LSTM的模型相比，它具有更少的训练参数，更少的训练时间和更简单的硬件实现。
2019-02-20 cs.LG stat.ML
Exploiting Transductive Property of Graph Convolutional Neural Networks with Less Labeling Effort
Adana Alparslan Turkes Science and Technology University（阿达纳·阿尔帕斯兰·图尔凯斯科学技术大学）
近年来，基于图数据的机器学习方法已经变得非常流行。据观察，通过在构成模型数据的数据样本之间包括隐式或显式逻辑连接，可以获得显著的结果。在这种情况下，发展中的GCN模型已经做出了显着的实验贡献与卷积滤波器应用于图形数据。该模型采用了“Transductive”和“半监督学习”方法。由于其传导性质，所有部分标记的数据样本都作为模型的输入。标签，这是一个成本，是非常重要的。在本研究的范围内，试图回答以下研究问题：如果至少有多少个样本被标记，最佳模型的成功实现？此外，一些实验的贡献已经取得了模型的准确性，无论是使用固定的标签工作的采样方法。实验表明，局部中心性度量可以提高模型的成功率。
2021-05-01 cs.AI cs.LG
Fully Convolutional Networks for Text Classification
Sentim LLC（Sentim有限责任公司）
在这项工作中，我提出了一种使用全卷积网络进行分类的新方法，同时允许任何大小的输入。此外，我还提出了两个修改的注意力的想法和使用修改的好处和后果。最后，我展示了ITAmoji 2018 tweet to emoji任务的次优结果，并讨论了为什么会出现这种情况，以及提出了进一步改善结果的修复方案。
2019-02-14 cs.LG stat.ML
LSTM Fully Convolutional Networks for Time Series Classification
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
全卷积神经网络（FCN）已被证明可以在时间序列分类任务上实现最先进的性能。我们提出用长短期记忆递归神经网络（LSTM RNN）子模块增强全卷积网络，用于时间序列分类。我们提出的模型显著提高了全卷积网络的性能，模型大小略有增加，并且只需要对数据集进行最少的预处理。所提出的长短期记忆全卷积网络（LSTM-FCN）实现了最先进的性能相比，其他。我们还探讨了使用注意力机制，以改善时间序列分类与注意力长短期记忆全卷积网络（ALSTM-FCN）。利用注意力机制可以可视化LSTM单元的决策过程。此外，我们提出微调作为一种方法来提高训练模型的性能。我们的模型的性能进行了全面的分析，并与其他技术相比。
2017-09-08 cs.LG stat.ML
Very high resolution Airborne PolSAR Image Classification using Convolutional Neural Networks
Univ. Bretagne Sud（南布列塔尼大学）；IRISA（法国国家信息与自动化研究所雷恩分院）；CNRS（法国国家科学研究中心）
在这项工作中，我们利用卷积神经网络（CNN）的甚高分辨率（VHR）极化SAR（PolSAR）数据的分类。由于这些数据中的异质纹理的显着外观，不仅极化特征，而且结构张量被利用来馈送CNN模型。对于深度网络，我们使用SegNet模型进行语义分割，这对应于遥感中的逐像素分类。我们对机载F-SAR数据的实验表明，对于VHR PolSAR图像，SegNet可以为分类任务提供高精度;引入结构张量和极化特征作为输入可以帮助网络更多地关注几何信息，以显着提高分类性能。
2020-04-09 cs.CV cs.LG
Sequential Convolutional Recurrent Neural Networks for Fast Automatic Modulation Classification
Science and Technology on Electronic Information Control Laboratory（电子信息控制科技实验室）
针对无线频谱监测应用，提出了一种新型高效的自动调制分类端到端学习模型，该模型能够从时域同相和正交数据中自动学习，无需手工设计专家特征。利用卷积层的直觉，池化作为前端特征提取和降维的作用，开发了顺序卷积递归神经网络，以利用卷积神经网络的并行计算能力和递归神经网络的时间敏感性。实验结果表明，该结构在信噪比大于-10 dB的范围内具有较好的分类性能，在高信噪比范围内，分类准确率从80%提高到92.1%，同时平均训练时间和预测时间分别减少了约74%和67%.通过所提出的架构学习的响应模式被可视化，以更好地理解模型的物理特性。此外，进行了比较研究，以调查各种顺序卷积递归神经网络结构设置对分类性能的影响。一个具有代表性的顺序卷积递归神经网络架构的两层卷积神经网络和随后的两层长短期记忆神经网络的开发建议的选择快速自动调制分类。
2021-01-20 cs.LG eess.SP
Label-Aware Graph Convolutional Networks
Beihang University（北京航空航天大学）；Alibaba Group（阿里巴巴集团）；Jinan University（暨南大学）；CUHK（香港中文大学）；Tsinghua University（清华大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Wechat, Tencent Inc.（腾讯公司微信）
图卷积网络（GCN）的最新进展导致了各种图相关任务的最新性能。然而，大多数现有的GCN模型没有明确地识别所有的聚合邻居是否有价值的学习任务，这可能会损害学习性能。在本文中，我们考虑的节点分类问题，并提出了标签感知图卷积网络（LAGCN）框架，可以直接识别有价值的邻居，以提高现有的GCN模型的性能。我们的贡献是三方面的。首先，我们提出了一个标签感知的边缘分类器，可以过滤分散的邻居，并添加有价值的邻居为每个节点，以改善原始图到标签感知的~（LA）图。现有的GCN模型可以直接从LA图中学习，以提高性能，而无需改变其模型架构。其次，我们引入了正比的概念来评估LA图中有价值邻居的密度。理论分析表明，使用边缘分类器提高阳性率可以改善现有GCN模型的学习性能。第三，我们在基准数据集上进行了广泛的节点分类实验。实验结果表明，LAGCN在节点分类方面可以显著提高现有GCN模型的性能。
2020-09-05 cs.LG stat.ML
A Baseline for Multi-Label Image Classification Using An Ensemble of Deep Convolutional Neural Networks
Department of Computer Science, Durham Univeristy, United Kingdom
最近关于多标签图像分类的研究集中在设计更复杂的深度神经网络架构，例如使用注意力机制和区域建议网络。虽然已经报告了性能增益，但所提出的方法的骨干深度模型和不同作品中采用的评估指标各不相同，因此很难公平地比较每种方法。此外，由于缺乏适当调查的基线，所提出的技术所带来的优势往往是模糊的。为了解决这些问题，我们对用于多标签图像分类的主流深度卷积神经网络架构进行了深入研究，并提出了一个强大的基线。通过使用适当的数据增强技术和模型集成，基本的深度架构可以在三个基准数据集上实现比许多现有的更复杂的架构更好的性能，为未来多标签图像分类的研究提供了很好的见解。
2019-05-09 cs.CV cs.LG cs.MM
AttnConvnet at SemEval-2018 Task 1: Attention-based Convolutional Neural Networks for Multi-label Emotion Classification
Seoul National University（首尔国立大学）；Automation and Systems Research Institute, Seoul National University（首尔国立大学自动化与系统研究所）
在本文中，我们提出了一个基于注意力的分类器，预测一个给定的句子的多种情绪。我们的模型模仿人类的句子理解的两步过程，它可以有效地表示和分类的句子。通过表情符号到含义的预处理和额外的词典利用，我们进一步提高了模型的性能。我们用SemEval-2018任务1-5提供的数据训练和评估我们的模型，其中每个句子在11个给定的情感中有几个标签。我们的模型在英语/西班牙语中分别达到了第5/第1等级。
2018-04-17 cs.CL cs.LG cs.NE
Character-level Convolutional Networks for Text Classification
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）
本文提供了关于使用字符级卷积网络（ConvNets）进行文本分类的经验探索。我们构建了几个大规模数据集，以表明字符级卷积网络可以实现最先进或有竞争力的结果。与传统模型（如单词袋，n-gram及其TFIDF变体）和深度学习模型（如基于单词的ConvNets和递归神经网络）进行比较。
2016-04-04 cs.CL cs.LG
Correlation-Aware Graph Convolutional Networks for Multi-Label Node Classification
Zhejiang University（浙江大学）；The Hong Kong Polytechnic University（香港理工大学）；Emory University（埃默里大学）；Alibaba Group（阿里巴巴集团）；Institute for Clarity in Documentation（文档清晰研究所）；Inria Paris-Rocquencourt（巴黎-拉鲁维耶尔研究所）；Rajiv Gandhi University（拉贾夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕勒研究实验室）
针对多标签节点分类中现有GCN方法存在的特征与拓扑模糊、忽略标签相关性的问题，本文提出CorGCN模型，通过相关性感知图分解和相关性增强图卷积提升分类效果，实验验证了其有效性。
2025-06-17 cs.LG cs.SI
Graph Convolutional Network for Swahili News Classification
University of Helsinki（赫尔辛基大学）
这项工作经验证明了文本图卷积网络（文本GCN）的能力优于传统的自然语言处理基准的任务，半监督斯瓦希里语新闻分类。特别是，我们专注于我们的实验稀疏标记的半监督的情况下，这是低资源的非洲语言所面临的实际限制的代表。我们通过引入文本GCN模型的变体来跟进这一结果，该模型利用一袋单词嵌入而不是天真的独热编码来减少文本GCN的内存占用，同时展示类似的预测性能。
2021-03-16 cs.CL cs.LG
Graph convolutional networks for learning with few clean and many noisy labels
Google Research（谷歌研究院）；VRG, Faculty of Electrical Engineering, Czech Technical University in Prague（布拉格捷克理工大学电气工程学院视觉识别组）；Inria, Univ Rennes, CNRS, IRISA（法国国家信息与自动化研究所、雷恩大学、法国国家科学研究中心、布列塔尼大西洋信息与通信技术研究所）
在这项工作中，我们考虑的问题时，一些干净的标记的例子，从嘈杂的标签学习分类。干净和有噪声的数据的结构是由一个图每类和图卷积网络（GCN）被用来预测噪声的例子的类相关性。对于每个类，GCN被视为一个二元分类器，它学习使用加权的二元交叉熵损失函数来区分干净的噪声样本。然后利用GCN推断的“干净”概率作为相关性度量。在学习最终任务的分类器时，每个噪声示例都通过其相关性进行加权。我们评估我们的方法上的一个扩展版本的少样本学习问题，其中几个干净的例子，新的类补充额外的噪声数据。实验结果表明，我们的GCN为基础的清洗过程显着提高了分类精度不清洗噪声数据，以及标准的Few-Shot分类，只有很少的干净的例子被使用。
2020-08-24 cs.CV cs.LG
CNN-LTE: a Class of 1-X Pooling Convolutional Neural Networks on Label Tree Embeddings for Audio Scene Recognition
我们在本报告中描述了我们提交给DCASE 2016挑战赛的音频场景识别系统。首先，给定场景的标签集，自动构造标签树。然后，在特征提取步骤中使用该类别分类法，在该步骤中，音频场景实例由标签树嵌入图像表示。不同的卷积神经网络，这些网络是为手头的任务量身定制的，最终在图像特征的基础上学习，用于场景识别。我们的系统达到了81.2%和83.3%的整体识别准确率，并优于DCASE 2016基线，开发和测试数据的绝对改进分别为8.7%和6.1%。
2016-08-15 cs.CV cs.LG cs.MM
Expanding Label Sets for Graph Convolutional Networks
Abdullah Gül University（阿卜杜拉·居尔大学）；Case Western Reserve University（凯斯西储大学）
近年来，图卷积网络（GCN）及其变体已被广泛用于涉及图的学习任务。这些任务包括推荐系统、节点分类等。在节点分类问题中，输入是一个图，其中边表示节点对之间的关联，多维特征向量与节点相关联，并且图中的一些节点具有已知的标签。我们的目标是预测未标记的节点的标签，使用节点的功能，结合图形拓扑。虽然GCN已成功应用于此问题，但它们继承自传统深度学习模型的警告对GCN在节点分类中的广泛应用构成了重大挑战。一个这样的警告是，训练GCN需要大量的标记训练实例，这在现实环境中通常不是这种情况。为了弥补这一要求，最先进的方法利用基于网络扩散的方法在训练GCN之前在网络中传播标签。然而，这些方法忽略了网络扩散方法的倾向，即偏向于接近中心，导致标签传播到图中连接良好的节点。为了解决这个问题，我们在这里提出了一种通过以下三个步骤推断GCN中节点标签的替代方法：（i）对网络进行聚类以识别社区，（ii）使用网络扩散算法来量化每个节点与社区的接近度，从而获得每个节点的低维拓扑简档，（iii）比较这些拓扑简档以识别与标记的节点最相似的节点。
2019-12-18 cs.LG stat.ML
Introspective Classification with Convolutional Nets
UC San Diego（加州大学圣迭戈分校）
我们提出了内省卷积网络（ICN），强调具有生成能力的卷积神经网络的重要性。我们采用了重新分类的合成算法进行训练，使用的配方源于贝叶斯理论。我们的ICN尝试迭代：（1）合成伪阴性样本;（2）通过改进分类来增强自身。学习的单个CNN分类器同时是生成的--能够在自己的判别模型中直接合成新样本。我们使用最先进的CNN架构对MNIST、CIFAR-10和SVHN等基准数据集进行实验，并观察到改进的分类结果。
2018-01-05 cs.CV cs.LG cs.NE
Ubicomp Digital 2020 -- Handwriting classification using a convolutional recurrent network
来自STABILO的Ubicomp Digital 2020 - Time Series Classification Challenge是关于多变量时间序列分类的挑战。这些数据收集自100名志愿者，包含15个由多个传感器测量的特征。在本文中，我们使用一个神经网络的数据分类成52类，即阿拉伯字母的小写和大写。所提出的神经网络a的架构是CNN-LSTM网络。它将卷积神经网络（CNN）用于短期上下文，同时将短期记忆层（LSTM）用于长期依赖性。我们达到了68%的准确率在我们的作家独家测试集和64.6%的盲挑战测试集，导致第二位。
2020-08-03 cs.CV cs.LG
The importance of stain normalization in colorectal tissue classification with convolutional networks
Radboud University Medical Center（拉德堡德大学医学中心）；Laboratorium Pathologie Oost Nederland（东荷兰病理学实验室）
在苏木精和伊红（H & E）染色的组织病理学图像中开发用于分析结直肠癌（CRC）的可靠成像生物标志物需要对图像中的主要组织成分进行准确且可再现的分类。在本文中，我们提出了一个基于卷积网络（ConvNets）的CRC组织分类系统。我们研究了染色归一化在H & E染色图像中CRC组织样本的组织分类中的重要性。此外，我们报告了ConvNets在一组直肠癌样本和一个独立的公开的结直肠H & E图像数据集上的性能。
2017-05-23 cs.CV cs.LG
Multi-Level and Multi-Scale Feature Aggregation Using Sample-level Deep Convolutional Neural Networks for Music Classification
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
音乐标记词是以文本形式描述音乐音频的词，具有不同的抽象层次。考虑到这个问题，我们提出了一种音乐分类方法，使用预先训练的特征提取器聚合多层次和多尺度特征。特别地，使用原始波形在样本级深度卷积神经网络中训练特征提取器。我们证明了这种方法在几个音乐分类数据集上取得了最先进的结果。
2017-06-21 cs.LG cs.MM cs.SD
SLCNN: Sentence-Level Convolutional Neural Network for Text Classification
University of Zanjan（赞詹大学）
文本分类是自然语言处理的一项基本任务。最近的几项研究表明，深度学习在文本处理方面取得了成功。卷积神经网络（CNN）作为一种流行的深度学习模型，在文本分类任务中取得了显着的成功。在本文中，新的基线模型进行了研究，文本分类使用CNN。在这些模型中，文档作为三维张量表示被馈送到网络，以提供文档级分析。应用这种方法使模型能够利用文本中句子的位置信息。此外，分析相邻的句子可以提取额外的特征。所提出的模型进行了比较与国家的最先进的模型，使用几个数据集。实验结果表明，所提出的模型具有较好的性能，尤其是在较长的文档中。
2023-01-27 cs.CL cs.LG
Bayesian Image Classification with Deep Convolutional Gaussian Processes
在决策系统中，重要的是要有分类器，校准的不确定性，优化目标，可用于自动模型选择和培训。高斯过程（GP）提供了不确定性估计和边际似然目标，但它们的弱归纳偏差导致精度较差。这限制了它们在某些任务（例如图像分类）中的适用性。我们提出了一个对平移不敏感的卷积核，它放松了以前卷积GP施加的平移不变性约束。我们展示了如何使用边际似然来学习不敏感的程度。我们还将GP图像到图像的卷积映射重新表述为多输出GP，从而产生深度卷积GP。我们的实验表明，我们的新内核提高了单层和深层模型的性能。我们还证明了我们的完全贝叶斯方法在不确定性和边际似然估计方面优于基于丢弃的贝叶斯深度学习方法。
2020-03-04 cs.LG stat.ML
Semi-Supervised Classification with Graph Convolutional Networks
University of Amsterdam（阿姆斯特丹大学）；Canadian Institute for Advanced Research (CIFAR)（加拿大高级研究院）
我们提出了一种可扩展的方法，半监督学习的图形结构的数据，是基于一个有效的变种卷积神经网络，直接在图上操作。我们通过谱图卷积的局部一阶近似来激励我们的卷积架构的选择。我们的模型在图边缘的数量上线性缩放，并学习对局部图结构和节点特征进行编码的隐藏层表示。在引文网络和知识图谱数据集上的大量实验中，我们证明了我们的方法明显优于相关方法。
2017-02-22 cs.LG stat.ML
Unifying Isolated and Overlapping Audio Event Detection with Multi-Label Multi-Task Convolutional Recurrent Neural Networks
University of Oxford（牛津大学）；NIHR Oxford Biomedical Research Centre（英国国家健康研究所牛津生物医学研究中心）
我们提出了一个基于卷积递归神经网络的多标签多任务框架，以统一检测孤立和重叠的音频事件。该框架利用了卷积递归神经网络架构的强大功能;卷积层学习有效的特征，更高的递归层在这些特征上执行顺序建模。此外，输出层被设计为处理任意程度的事件重叠。在循环输出序列中的每个时间步，输出三元组专用于每个感兴趣的事件类别，以联合建模事件发生和时间边界。也就是说，网络通过估计每个循环时间步长处的起始和偏移位置来联合确定该类别的事件是否发生以及何时发生。然后，我们介绍了网络训练的三个连续损失：多标签分类损失，距离估计损失和置信度损失。我们在两个数据集上表现出良好的泛化能力：ITC-Irst用于孤立音频事件检测，TUT-SED-Synthetic-2016用于重叠音频事件检测。
2019-02-18 cs.LG cs.SD eess.AS
Understanding Convolutional Networks with APPLE : Automatic Patch Pattern Labeling for Explanation
Carnegie Mellon University（卡内基梅隆大学）
随着深度学习的成功，最近的努力集中在分析学习网络如何进行分类。我们感兴趣的是基于网络结构和通过网络层的信息流来分析网络输出。我们贡献了一种算法，用于1）分析深度网络以找到在网络分类结果方面“重要”的神经元，以及2）自动标记激活这些重要神经元的输入图像的补丁。我们提出了几个衡量神经元重要性的指标，并证明了我们的技术可以用来深入了解和解释网络如何分解图像以进行最终分类。
2018-02-11 cs.CY cs.LG stat.ML
Kronecker Product Feature Fusion for Convolutional Neural Network in Remote Sensing Scene Classification
Xi'an Institute of Optics and Precision Mechanics of CAS（中国科学院西安光学精密机械研究所）
针对遥感场景分类任务，提出基于克罗内克积的新型特征融合算法KPFF，统一了加法与拼接融合方法并明确反向传播过程，实验验证其可有效提升CNN分类准确率。
2024-01-08 cs.CV cs.LG
A Multi-Label Temporal Convolutional Framework for Transcription Factor Binding Characterization
本文提出一种多标签时间卷积框架，用于识别DNA序列中多个转录因子的结合位点，通过捕捉TF间的相关性和协同调控机制，揭示生物有意义的motif和共结合模式。
2026-03-12 cs.AI cs.LG q-bio.GN
Deep Feature Fusion via Graph Convolutional Network for Intracranial Artery Labeling
Shanghai University（上海大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
颅内动脉是向大脑供应含氧血液的关键血管。颅内动脉标签为许多临床应用和疾病诊断提供了有价值的指导和导航。已经进行了各种机器学习算法，用于脑动脉解剖标记的自动化。然而，由于颅内动脉的高度复杂性和多样性，这项任务仍然具有挑战性。本研究探讨了一种新的具有深度特征融合的图卷积神经网络用于脑动脉标记。我们在编码器-核心-解码器架构中引入堆叠图卷积，从图节点及其邻居中提取高级表示。此外，我们有效地聚合来自不同层次的中间特征，以提高所提出的模型的表示能力和标记性能。我们在公共数据集上进行了广泛的实验，结果证明了我们的方法明显优于基线。
2022-05-22 cs.AI cs.CV cs.LG
Text classification problems via BERT embedding method and graph convolutional neural network
CREATORY
本文提出了一种将BERT嵌入方法与图卷积神经网络相结合的新方法。这种组合被用来解决文本分类问题。首先，我们将BERT嵌入方法应用于文本（在BBC新闻数据集和IMDB电影评论数据集中），以便将所有文本转换为数值向量。然后，图卷积神经网络将被应用于这些数字向量，以将这些文本分类到其适当的类别/标签。实验表明，图卷积神经网络模型的性能优于BERT嵌入方法与经典机器学习模型相结合的性能。
2022-09-03 cs.CL cs.LG stat.ML
Resting state fMRI functional connectivity-based classification using a convolutional neural network architecture
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；Research Centre for Natural Sciences, Hungarian Academy of Sciences（匈牙利科学院自然科学研究中心）
机器学习技术在基于静息状态fMRI（功能性磁共振成像）网络的分类领域中已经变得越来越流行。然而，卷积网络的应用只是最近才被提出，并且在很大程度上尚未被探索。在本文中，我们描述了一个卷积神经网络结构的功能连接体分类称为连接体卷积神经网络（CCNN）。我们在模拟数据集和遗忘型轻度认知障碍分类的公开数据集上的结果表明，我们的CCNN模型可以有效地区分受试者群体。我们还表明，连接体卷积网络能够结合来自不同功能连接性度量的信息，并且使用不同连接性描述符组合的模型能够优于仅使用一个度量的分类器。从这种灵活性如下，我们提出的CCNN模型可以很容易地适应广泛的基于连接体的分类或回归任务，通过改变连接描述符组合用于训练网络。
2017-07-20 cs.CV cs.LG stat.ML
