Guided Labeling using Convolutional Neural Networks
University of Innsbruck(因斯布鲁克大学)
在过去的几年里,深度学习,尤其是卷积神经网络,已经成为计算机视觉的主力之一。监督式深度学习适用于更多领域的一个限制因素是需要大型手动标记的数据集。在本文中,我们提出了一种易于实现的方法,我们称之为引导标签,它自动确定哪些样本从一个未标记的数据集应该被标记。我们表明,使用这个过程中,需要标记的样本的数量大大减少了标记图像任意。
2017-12-06 cs.CV cs.LG stat.ML
AUC-maximized Deep Convolutional Neural Fields for Sequence Labeling
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院);University of Chicago(芝加哥大学)
深度卷积神经网络(DCNN)在各种机器学习任务中表现出出色的性能。本文介绍了深度卷积神经场(DeepCNF),DCNN与条件随机场(CRF)的组合,用于高度不平衡标签分布的序列标记。广泛使用的训练方法,如最大似然法和最大标签精度法,在高度不平衡的数据上效果不佳。为了解决这个问题,我们为DeepCNF提出了一种新的训练算法,称为maximum-AUC。也就是说,我们通过直接最大化经验ROC曲线下面积(AUC)来训练DeepCNF,这是对不平衡数据的无偏测量。为了实现这一点,我们在成对排序框架中制定AUC,通过多项式函数近似它,然后应用基于梯度的程序来优化它。然后,我们在三个非常不同的蛋白质序列标记任务上测试AUC最大化的DeepCNF:溶剂可及性预测,8状态二级结构预测和无序预测。我们的实验结果证实,最大AUC大大优于其他两种训练方法的8状态二级结构预测和无序预测,因为他们的标签分布是高度不平衡的,也有类似的性能,其他两种训练方法的溶剂可及性预测问题,其中有三个均匀分布的标签。此外,我们的实验结果还表明,我们的AUC训练的DeepCNF模型大大优于这三个任务的现有流行预测器。
2015-11-19 cs.LG stat.ML
Multi-Label Learning from Medical Plain Text with Convolutional Residual Models
Duke University(杜克大学)
从电子健康记录(EHR)预测诊断是多标签学习的一个重要医学应用。我们提出了一种卷积残差模型,用于EHR数据中医生笔记的多标签分类。一个给定的患者可能有多个诊断,因此需要多标签学习。我们采用卷积神经网络(CNN)将纯文本编码为固定长度的句子嵌入向量。由于诊断通常是相关的,因此在CNN编码器的顶部采用深度残差网络,以捕获标签(诊断)依赖性并直接从编码的句子向量中合并信息。考虑一个真实的EHR数据集,我们将所提出的模型与几个众所周知的基线进行比较,以根据医生的笔记预测诊断。实验结果证明了所提出的卷积残差模型的优越性。
2018-08-08 cs.LG stat.AP stat.ML
Label-Aware Graph Convolutional Networks
Beihang University(北京航空航天大学);Alibaba Group(阿里巴巴集团);Jinan University(暨南大学);CUHK(香港中文大学);Tsinghua University(清华大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Wechat, Tencent Inc.(腾讯公司微信)
图卷积网络(GCN)的最新进展导致了各种图相关任务的最新性能。然而,大多数现有的GCN模型没有明确地识别所有的聚合邻居是否有价值的学习任务,这可能会损害学习性能。在本文中,我们考虑的节点分类问题,并提出了标签感知图卷积网络(LAGCN)框架,可以直接识别有价值的邻居,以提高现有的GCN模型的性能。我们的贡献是三方面的。首先,我们提出了一个标签感知的边缘分类器,可以过滤分散的邻居,并添加有价值的邻居为每个节点,以改善原始图到标签感知的~(LA)图。现有的GCN模型可以直接从LA图中学习,以提高性能,而无需改变其模型架构。其次,我们引入了正比的概念来评估LA图中有价值邻居的密度。理论分析表明,使用边缘分类器提高阳性率可以改善现有GCN模型的学习性能。第三,我们在基准数据集上进行了广泛的节点分类实验。实验结果表明,LAGCN在节点分类方面可以显著提高现有GCN模型的性能。
2020-09-05 cs.LG stat.ML
Multi-Label Graph Convolutional Network Representation Learning
Florida Atlantic University(佛罗里达大西洋大学);Hunan University of Science and Technology(湖南科技大学)
基于图的系统的知识表示是许多学科的基础。迄今为止,大多数现有的表示学习方法主要关注具有单纯标签的网络,然而现实世界的对象(节点)本质上是复杂的,并且通常包含丰富的语义或标签,例如,用户可以属于社交网络的不同兴趣组,从而导致用于许多应用的多标签网络。多标签网络节点不仅具有用于每个节点的多个标签,这样的标签通常是高度相关的,使得现有方法无效或无法处理用于节点表示学习的这样的相关性。本文提出了一种新的多标记图卷积网络(ML-GCN),用于学习多标记网络的节点表示。为了充分探索标签-标签相关性和网络拓扑结构,我们提出将多标签网络建模为两个连体GCN:节点-节点-标签图和标签-标签-节点图。这两个GCN分别处理节点和标签的表示学习的一个方面,并且它们在一个目标函数下无缝集成。学习的标签表示可以有效地保持内部标签交互和节点标签属性,然后在统一的训练框架下聚合以增强节点表示学习。多标签节点分类的实验和比较验证了我们提出的方法的有效性。
2019-12-26 cs.LG cs.SI stat.ML
Label-GCN: An Effective Method for Adding Label Propagation to Graph Convolutional Networks
Elliptic;The University of Sheffield(谢菲尔德大学);Telecom SudParis(南巴黎电信学院);Polytechnic Institute of Paris(巴黎综合理工学院)
我们表明,修改的第一层的图卷积网络(GCN)可以用来有效地传播标签信息的邻居节点,二进制和多类分类问题。这是通过在GCN的训练阶段选择性地消除标签特征的自循环来完成的。GCN架构在其他方面没有变化,没有任何额外的超参数,并且可以用于转导和归纳设置。我们通过几个实验表明,根据推理阶段有多少标签可用,与标准GCN方法相比,这种策略可以导致模型性能的大幅改善,包括不平衡数据集。
2021-04-05 cs.LG
Multi-Scale Label Relation Learning for Multi-Label Classification Using 1-Dimensional Convolutional Neural Networks
Handong Global University(韩东全球大学)
我们提出了多尺度标签依赖关系网络(MSDN),这是一种使用一维卷积核来学习多尺度标签依赖关系的多标签分类(MLC)新方法。现代多标签分类器一直采用递归神经网络(RNN)作为记忆结构来捕获和利用标签依赖关系。然而,基于RNN的MLC模型往往会引入大量的参数,这些参数可能会导致欠拟合/过拟合问题。所提出的方法使用1维卷积神经网络(1D-CNN),以更有效的方式服务于相同的目的。通过训练具有多个内核大小的模型,该方法能够学习多个尺度下标签之间的依赖关系,同时使用的参数数量要少得多。通过公共基准数据集,我们证明了与基于RNN的MLC模型相比,我们的模型可以用更少的模型参数实现更好的精度。
2021-07-13 cs.LG
Semi-Supervised Convolutional Neural Networks for Human Activity Recognition
Carnegie Mellon University(卡内基梅隆大学)
用于训练活动识别分类器的标记数据通常在大小和多样性方面受到限制。因此,当在现实世界的用例中使用时,学习的模型可能无法很好地泛化。半监督学习使用未标记的示例来增强标记的示例,通常会提高性能。然而,在活动识别文献中研究的半监督方法假设特征工程已经完成。在本文中,我们解除这一假设,并提出了两个半监督的方法,基于卷积神经网络(CNN)学习判别隐藏功能。我们的半监督CNN从标记和未标记的数据中学习,同时还对原始传感器数据进行特征学习。在三个真实世界数据集上的实验中,我们表明,我们的CNN在平均F1得分(Fm)方面优于监督方法和传统的半监督学习方法高达18%。
2018-01-22 cs.LG stat.ML
An Odor Labeling Convolutional Encoder-Decoder for Odor Sensing in Machine Olfaction
Guangdong University of Technology(广东工业大学)
深度学习方法已广泛应用于视觉和声学技术。提出了一种用于机器嗅觉中气味识别的气味标记卷积编码解码器(OLCE)。OLCE构成了一个卷积神经网络编码器和解码器,其中编码器输出被约束为气味标签。电子鼻用于气体响应的数据汇集,随后是规范的实验程序。计算了几个评价指标来评估算法的有效性:准确率92.57%,精确率92.29%,召回率92.06%,F1-Score 91.96%,Kappa系数90.76%。我们还将该模型与机器嗅觉中的一些算法进行了比较。比较结果表明,OLCE算法的性能最好.本文还对机器嗅觉的发展前景进行了展望。
2021-01-06 cs.LG
Investigating Label Noise Sensitivity of Convolutional Neural Networks for Fine Grained Audio Signal Labelling
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
我们测量了在细粒度音频信号标记任务中由轻微未对齐的地面真实标签引起的少量系统和随机标签噪声的影响。我们选择演示这些效果的任务也称为逐帧复调转录或音符量化多f0估计,并将单声道音频信号转换为音符指示符标签序列。它将表明,即使是轻微的错位有明显的影响,证明了卷积神经网络的标签噪声的高度敏感性。其含义是明确的:当将卷积神经网络用于细粒度音频信号标记任务时,必须非常小心地确保注释具有精确的定时,并且尽可能地不受系统或随机误差的影响,即使是小的未对准也会产生明显的影响。
2018-05-28 cs.LG cs.SD eess.AS
Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning
The Hong Kong Polytechnic University(香港理工大学);ETH Zurich(苏黎世联邦理工学院)
新的深度学习工具正在重新审视机器学习中的许多有趣问题。对于基于图的半监督学习,最近的一个重要发展是图卷积网络(GCN),它很好地集成了卷积层中的局部顶点特征和图拓扑。虽然GCN模型与其他最先进的方法相比毫不逊色,但其机制尚不清楚,仍然需要大量的标记数据进行验证和模型选择。在本文中,我们对GCN模型有了更深入的了解,并解决了它的基本局限性。首先,我们证明了GCN模型的图卷积实际上是拉普拉斯平滑的一种特殊形式,这是GCN工作的关键原因,但它也带来了许多卷积层过度平滑的潜在问题。其次,为了克服GCN模型的局限性与浅架构,我们提出了共同训练和自我训练的方法来训练GCN。我们的方法显著提高了GCN在学习中使用很少的标签,并免除了它们需要额外的标签进行验证。大量的基准测试实验验证了我们的理论和建议。
2018-01-22 cs.LG stat.ML
Understanding Convolutional Networks with APPLE : Automatic Patch Pattern Labeling for Explanation
Carnegie Mellon University(卡内基梅隆大学)
随着深度学习的成功,最近的努力集中在分析学习网络如何进行分类。我们感兴趣的是基于网络结构和通过网络层的信息流来分析网络输出。我们贡献了一种算法,用于1)分析深度网络以找到在网络分类结果方面“重要”的神经元,以及2)自动标记激活这些重要神经元的输入图像的补丁。我们提出了几个衡量神经元重要性的指标,并证明了我们的技术可以用来深入了解和解释网络如何分解图像以进行最终分类。
2018-02-11 cs.CY cs.LG stat.ML
Label-Wise Graph Convolutional Network for Heterophilic Graphs
The Pennsylvania State University(宾夕法尼亚州立大学)
图神经网络(GNN)在为各种应用建模图方面取得了卓越的性能。然而,大多数现有的GNN假设图在节点标签中表现出强同质性,即,在图中连接具有相似标签的节点。他们未能推广到heterophilic图,其中链接的节点可能有不同的标签和属性。因此,在本文中,我们研究了一个新的框架,表现良好的图与同质或异质。更具体地说,我们提出了一个标签明智的消息传递机制,以避免聚合不同的节点表示所造成的负面影响,并保留异嗜上下文的表示学习。我们进一步提出了一个双层优化方法来自动选择具有同质/异质性的图的模型。理论分析和大量的实验表明,我们提出的框架的有效性,对同性和异性图的节点分类。
2023-02-16 cs.LG
Unifying Isolated and Overlapping Audio Event Detection with Multi-Label Multi-Task Convolutional Recurrent Neural Networks
University of Oxford(牛津大学);NIHR Oxford Biomedical Research Centre(英国国家健康研究所牛津生物医学研究中心)
我们提出了一个基于卷积递归神经网络的多标签多任务框架,以统一检测孤立和重叠的音频事件。该框架利用了卷积递归神经网络架构的强大功能;卷积层学习有效的特征,更高的递归层在这些特征上执行顺序建模。此外,输出层被设计为处理任意程度的事件重叠。在循环输出序列中的每个时间步,输出三元组专用于每个感兴趣的事件类别,以联合建模事件发生和时间边界。也就是说,网络通过估计每个循环时间步长处的起始和偏移位置来联合确定该类别的事件是否发生以及何时发生。然后,我们介绍了网络训练的三个连续损失:多标签分类损失,距离估计损失和置信度损失。我们在两个数据集上表现出良好的泛化能力:ITC-Irst用于孤立音频事件检测,TUT-SED-Synthetic-2016用于重叠音频事件检测。
2019-02-18 cs.LG cs.SD eess.AS
Mutual Teaching for Graph Convolutional Networks
School of Information Science & Engineering, Lanzhou University(兰州大学信息科学与工程学院)
图卷积网络由于其转导标签传播而产生对未标记样本的良好预测。由于样本具有不同的预测置信度,我们将高置信度的预测作为伪标签来扩展标签集,以便选择更多的样本来更新模型。我们提出了一种新的培训方法,称为交互式教学,即,我们训练双模,每批互相教。首先,每个网络前馈所有样本,并选择具有高置信度预测的样本。其次,每个模型都由其对等网络选择的样本更新。我们将高置信度的预测视为有用的知识,并且一个网络的有用知识在每个批次中通过模型更新来教导对等网络。在互教中,网络的伪标签集来自其对等网络。由于我们使用新的网络训练策略,性能显着提高。大量的实验结果表明,我们的方法在非常低的标签率下实现了优越的性能。
2020-09-02 cs.CV cs.LG stat.ML
A Committee of Convolutional Neural Networks for Image Classication in the Concurrent Presence of Feature and Label Noise
Warsaw University of Technology(华沙理工大学)
图像分类已成为一项普遍存在的任务。在高质量数据上训练的模型达到了在某些应用领域已经超过人类水平的准确性。不幸的是,真实世界的数据往往是退化的噪声存在于功能和/或标签。有相当多的论文分别处理特征噪声或标签噪声的问题。然而,据我们所知,这项研究是第一次尝试解决这两种类型的噪音同时发生的问题。基于MNIST、CIFAR-10和CIFAR-100数据集,我们通过实验证明了委员会击败单个模型的差异随着噪声水平的增加而增加,无论是属性还是标签中断。因此,它使合奏合法地被应用于噪声图像与噪声标签。上述委员会相对于单一模型的优势也与数据集难度水平呈正相关。我们提出了三个委员会的选择算法,优于一个强大的基线算法,依赖于一个合奏的个人(nonassociated)的最佳模型。
2020-06-22 cs.CV cs.LG stat.ML
Enhancing the Influence of Labels on Unlabeled Nodes in Graph Convolutional Networks
University of Electronic Science and Technology of China(电子科技大学);Sichuan Artificial Intelligence Research Institute(四川人工智能研究院);Hainan University(海南大学)
针对GCN中额外标签信息可能产生负面影响的问题,提出ELU-GCN两步框架,通过图学习构建ELU图并引入图对比学习,理论保证泛化能力,实验验证优越性。
2025-05-22 cs.LG
Deep Manifold Traversal: Changing Labels with Convolutional Features
Cornell University(康奈尔大学);Washington University in St. Louis(华盛顿大学圣路易斯分校)
计算机视觉中的许多任务可以被转换为“标签改变”问题,其中目标是对图像的外观或图像中的某个主题进行语义改变,以便改变类别成员。虽然已经为一些标签更换应用开发了成功的特定任务方法,但迄今为止还不存在通用方法。出于这一动机,我们提出了深流形遍历,一种以最一般的形式解决问题的方法:它首先近似自然图像的流形,然后沿着远离源类和目标类的遍历路径变形测试图像,同时始终保持在流形附近。由此产生的算法是令人惊讶的有效和通用的。它完全是数据驱动的,只需要一组来自所需源和目标域的示例图像。我们在高度多样化的标签更改任务上演示了深流形遍历:改变个人的外观(年龄和头发颜色),改变户外图像的季节,以及将城市天际线转换为夜间。
2016-03-17 cs.CV cs.LG stat.ML
Human Voice Pitch Estimation: A Convolutional Network with Auto-Labeled and Synthetic Data
本文提出一种面向无伴奏合唱人声音高提取的卷积神经网络,通过融合合成数据与自动标注音频训练,并在多类数据集上验证其有效性。
2023-12-17 cs.LG cs.SD eess.AS
Application of the Multi-label Residual Convolutional Neural Network text classifier using Content-Based Routing process
在这篇文章中,我们将提出一个自然语言处理的文本分类过程中使用基于内容的路由器。本文的最终目标是从广告的纯文本中预测合法广告所描述的事件。这个问题纯粹是一个监督问题,将涉及使用NLP技术和传统的建模方法,通过使用多标签残差卷积神经网络的文本分类。我们将解释到位的方法来解决分类广告的问题,遇到的困难和实验结果。
2022-09-30 cs.AI cs.CL cs.LG
Training Convolutional Networks with Noisy Labels
New York University(纽约大学);Facebook AI Research(脸书人工智能研究院)
大型标记数据集的可用性使卷积网络模型能够实现令人印象深刻的识别结果。然而,在许多设置中,对数据进行手动注释是不切实际的;相反,我们的数据具有噪声标签,即每个图像都有一些免费的标签,这些标签可能准确也可能不准确。在本文中,我们探讨了在这种噪声数据上训练时,区分训练的Convnets的性能。我们在网络中引入了一个额外的噪声层,它可以调整网络输出以匹配嘈杂的标签分布。该噪声层的参数可以作为训练过程的一部分进行估计,并且涉及对深度网络的当前训练基础设施的简单修改。我们在几个数据集上展示了这些方法,包括在ImageNet分类基准上进行的大规模实验。
2015-04-10 cs.CV cs.LG cs.NE
SAPSAM - Sparsely Annotated Pathological Sign Activation Maps - A novel approach to train Convolutional Neural Networks on lung CT scans using binary labels only
NIHR Imperial Biomedical Research Centre(英国国家健康研究所帝国生物医学研究中心);Imperial College London(帝国理工学院);NHLI(英国国家心肺研究所);Columbia University(哥伦比亚大学);Royal Brompton and Harefield NHS Foundation Trust(皇家布朗普顿与哈菲尔德国民保健服务基金会信托)
慢性肺曲霉菌病(CPA)是由曲霉菌感染引起的一种复杂的肺部疾病。在疑似和确诊疾病的患者中经常需要计算机断层扫描(CT)图像,但CT上的放射学体征难以量化,使得准确的随访具有挑战性。我们提出了一种新的方法来训练卷积神经网络只使用区域标签的病理迹象的存在,不仅检测CPA,但也在空间上定位病理迹象。我们使用Hounsfield单位(HU)值的不同范围内的平均强度投影,将输入的3D CT扫描转换为2D RGB样图像。CNN架构针对分层任务进行训练,从而产生病理模式的精确激活图。对352例受试者的队列研究结果表明,分类准确度、定位精度和2年生存率的预测能力较高。这种工具为药物治疗下的CPA患者分层和CPA病理体征的定量随访开辟了道路。
2019-02-06 cs.LG eess.IV stat.ML
Multi-Label Image Recognition with Graph Convolutional Networks
Nanjing University(南京大学);Megvii Technology(旷视科技);The University of Adelaide(阿德莱德大学);th Research Institute of China Electronics Technology Group Corporation(中国电子科技集团公司第二十八研究所)
多标签图像识别的任务是预测图像中存在的一组对象标签。由于图像中的对象通常是同时出现的,因此需要对标签依赖性进行建模以提高识别性能。为了捕捉和探索这些重要的依赖关系,我们提出了一个基于图卷积网络(GCN)的多标签分类模型。该模型在对象标签上构建有向图,其中每个节点(标签)由标签的词嵌入表示,并且GCN被学习以将该标签图映射到一组相互依赖的对象分类器。这些分类器被应用于由另一个子网提取的图像描述符,使整个网络是端到端的可训练的。此外,我们提出了一种新的重加权方案,以创建一个有效的标签相关矩阵,以指导信息传播之间的节点在GCN。在两个多标签图像识别数据集上的实验表明,该方法明显优于其他现有的最先进的方法。此外,可视化分析表明,我们的模型学习的分类器保持有意义的语义拓扑。
2019-04-07 cs.CV cs.LG
Consistent Relative Confidence and Label-Free Model Selection for Convolutional Neural Networks
Research Center for Applied Mathematics and Machine Intelligence(应用数学与机器智能研究中心);Zhejiang Lab(之江实验室)
在本文中,我们关注的是使用深度卷积神经网络(CNN)进行图像分类。我们关注以下问题:给定一组候选CNN模型,如何为当前任务选择具有最佳泛化性能的正确模型?当前的模型选择方法都需要访问一批标记数据来计算预先指定的性能度量,例如交叉熵损失、分类出错率和负对数似然。在许多实际情况下,标签无法及时提供,因为标签本身是一项耗时且昂贵的任务。为此,我们提出了一种仅使用未标记数据的CNN模型选择方法。我们开发这种方法的基础上的原则称为一致的相对置信度。在基准数据集上的实验结果证明了该方法的有效性和效率。
2022-05-31 cs.CV cs.LG
Understanding When Graph Convolutional Networks Help: A Diagnostic Study on Label Scarcity and Structural Properties
Department of Applied Economics and Statistics, University of Delaware, Newark, DE, USA(应用经济学与统计学系,德克萨斯大学,新阿罗海,德克萨斯州,美国)
本研究通过诊断分析揭示了图卷积网络在标签稀缺性和结构特性下的表现,发现其在极端标签稀缺时表现最佳,但在低同质性与强特征结合时会损害性能。
2025-12-15 cs.LG stat.AP stat.ML
Iterative Data Programming for Expanding Text Classification Corpora
IBM Watson(IBM沃森);Pryon Research(普赖恩研究中心)
现实世界的文本分类任务通常需要许多标记的训练样本,这些样本的获取成本很高。机器教学的最新进展,特别是数据编程范式,通过构建弱模型(也称为标记函数)的通用框架,促进了训练数据集的快速创建,并通过集成学习技术对其进行降噪。我们提出了一种快速,简单的数据编程方法,通过生成基于邻域的弱模型,以最小的监督来增强文本数据集。此外,我们的方法采用迭代过程来识别稀疏分布的例子,从大量的未标记的数据。迭代数据编程技术改进了新的弱模型,因为更多的标记数据被人在回路中确认。我们展示了句子分类任务的实证结果,包括提高会话代理人意图识别的任务。
2020-02-04 cs.CL cs.LG
Confidence-based Graph Convolutional Networks for Semi-Supervised Learning
Indian Institute of Science(印度科学研究所)
预测图中节点的性质是一个重要的问题,在许多领域都有应用。基于图的半监督学习(SSL)方法旨在通过将节点的一小部分标记为种子,然后利用图结构来预测图中其余节点的标签分数来解决这个问题。最近,图卷积网络(GCN)在基于图的SSL任务上取得了令人印象深刻的性能。除了标签分数之外,还期望具有与其相关联的置信度分数。不幸的是,在GCN的背景下的置信度估计还没有被探索过。我们在本文中填补了这一重要空白,并提出了ConfGCN,它估计标签分数以及它们的置信度共同在基于GCN的设置。ConfGCN使用这些估计的置信度来确定在邻域聚合期间一个节点对另一个节点的影响,从而获得各向异性能力。通过对标准基准测试的广泛分析和实验,我们发现ConfGCN能够超越最先进的基线。我们提供了ConfGCN的源代码,以鼓励可重复的研究。
2019-02-12 cs.LG cs.SI stat.ML
Convolutional Network Fabric Pruning With Label Noise
CNRS(法国国家科学研究中心)
提出了一种卷积网络结构(CNF)在训练和测试数据中的迭代剪枝策略。随着神经网络模型规模的不断增加,许多作者已经开发了修剪方法来构建更紧凑的网络结构,需要更少的资源,同时保持性能。正如我们在本文中所展示的,由于其内在的结构和功能,卷积网络结构是修剪的理想候选者。我们提出了一系列修剪策略,可以通过修剪整个卷积滤波器或单个权重来显着减少最终网络大小和所需的训练时间,从而使网格保持视觉上可理解,但整体执行质量保持在可控范围内。我们的方法可以在训练过程中迭代应用,从而使网络复杂度迅速降低,节省计算时间。本文讨论了数据依赖和数据依赖的策略,并通过实验建立了当训练或测试数据包含注释错误时最有效的方法。
2022-02-15 cs.LG cs.NE
Convolutional Clustering for Unsupervised Learning
Purdue University(普渡大学)
为训练深度神经网络标记数据的任务是艰巨而繁琐的,需要数百万个标签才能实现当前最先进的结果。这种对大量标记数据的依赖可以通过利用经由无监督学习技术的分层特征来放松。在这项工作中,我们提出了训练一个基于增强版k-means聚类算法的深度卷积网络,它减少了类似过滤器形式的相关参数的数量,从而提高了测试分类的准确性。我们称我们的算法为卷积k均值聚类。我们进一步表明,学习深度卷积神经网络层之间的连接可以提高其在少量标记数据上训练的能力。我们的实验表明,该算法优于其他技术,学习过滤器无监督。具体来说,我们在STL-10上获得了74.1%的测试准确度,在MNIST上获得了0.5%的测试误差。
2016-02-16 cs.CV cs.LG
Encoding Sentences with Graph Convolutional Networks for Semantic Role Labeling
University of Amsterdam(阿姆斯特丹大学);University of Edinburgh(爱丁堡大学)
语义角色标注是识别句子的谓元-论元结构的任务。它通常被认为是标准NLP管道中的重要一步。由于语义表征与句法表征密切相关,我们在模型中充分利用了句法信息。我们提出了一个版本的图卷积网络(GCN),最近的一类神经网络操作的图形,适合建模语法依赖图。句法依赖树上的GCN被用作句子编码器,产生句子中单词的潜在特征表示。我们观察到GCN层与LSTM层是互补的:当我们堆叠GCN和LSTM层时,我们获得了比现有最先进的LSTM SRL模型更大的改进,从而在标准基准测试(CoNLL-2009)中获得了中文和英文的最佳报告分数。
2017-07-30 cs.CL cs.LG
CNN-LTE: a Class of 1-X Pooling Convolutional Neural Networks on Label Tree Embeddings for Audio Scene Recognition
我们在本报告中描述了我们提交给DCASE 2016挑战赛的音频场景识别系统。首先,给定场景的标签集,自动构造标签树。然后,在特征提取步骤中使用该类别分类法,在该步骤中,音频场景实例由标签树嵌入图像表示。不同的卷积神经网络,这些网络是为手头的任务量身定制的,最终在图像特征的基础上学习,用于场景识别。我们的系统达到了81.2%和83.3%的整体识别准确率,并优于DCASE 2016基线,开发和测试数据的绝对改进分别为8.7%和6.1%。
2016-08-15 cs.CV cs.LG cs.MM
Expanding Semantic Knowledge for Zero-shot Graph Embedding
University of Macau(澳门大学);University of Science and Technology Beijing(北京科技大学);Kwai Inc.(快手公司);Tsinghua University(清华大学)
Zero-shot图嵌入是有监督图学习的一个主要挑战。虽然最近的一种方法RECT已经显示出很好的性能,但其工作机制尚不清楚,仍然需要大量的训练数据。在本文中,我们深入了解RECT,并解决其基本限制。我们表明,其核心部分是GNN原型模型,其中类原型由其平均特征向量描述。因此,RECT将节点从原始输入特征空间映射到中间级别的语义空间,该语义空间将原始输入特征连接到可见和不可见的类。这一机制使区域教育和培训方案对可见和不可见的类别都能很好地发挥作用,但也减少了歧视。为了实现其全部潜力,我们提出了两个标签扩展策略。具体来说,除了扩展可见类的标记节点集之外,我们还可以扩展未见过类的标记节点集。在真实数据集上的实验验证了本文方法的优越性。
2021-03-23 cs.LG
Near real-time map building with multi-class image set labelling and classification of road conditions using convolutional neural networks
University of Winnipeg(温尼伯大学);Weatherlogics Inc.(韦瑟洛吉克斯公司)
天气是影响交通运输和道路安全的重要因素。在本文中,我们利用最先进的卷积神经网络来标记位于北美各地的街道和高速公路摄像机拍摄的图像。道路摄像机快照被用于多个深度学习框架的实验中,以根据道路状况对图像进行分类。这些实验的训练数据使用标记为干燥、潮湿、雪/冰、差和离线的图像。实验测试了六个卷积神经网络(VGG-16,ResNet 50,Xception,InceptionResNetV 2,EfficientNet-B 0和EfficientNet-B4)的不同配置,以评估它们对该问题的适用性。精确度,准确度和召回率进行了测量的每一个框架配置。此外,训练集在总体规模和个别班级的规模上都是不同的。最终的训练集包括使用上述五个类别标记的47,000张图像。EfficientNet-B4框架被认为是最适合这个问题,实现了90.6%的验证准确率,虽然EfficientNet-B 0实现了90.3%的准确率,执行时间只有一半。据观察,在整个项目中,具有迁移学习的VGG-16被证明对于有限硬件资源的数据采集和伪标记非常有用。然后将EfficientNet-B4框架置于一个实时的【形】生产环境中,在该环境中,图像可以在持续的基础上进行实时的【形】分类。然后,分类后的图像被用来构建一张地图,显示北美各地不同摄像机位置的实时的【形】道路状况。这些框架的选择和我们的分析考虑了实时的【形】地图构建功能的独特要…
2020-01-27 cs.CV cs.LG eess.IV
A Baseline for Multi-Label Image Classification Using An Ensemble of Deep Convolutional Neural Networks
Department of Computer Science, Durham Univeristy, United Kingdom
最近关于多标签图像分类的研究集中在设计更复杂的深度神经网络架构,例如使用注意力机制和区域建议网络。虽然已经报告了性能增益,但所提出的方法的骨干深度模型和不同作品中采用的评估指标各不相同,因此很难公平地比较每种方法。此外,由于缺乏适当调查的基线,所提出的技术所带来的优势往往是模糊的。为了解决这些问题,我们对用于多标签图像分类的主流深度卷积神经网络架构进行了深入研究,并提出了一个强大的基线。通过使用适当的数据增强技术和模型集成,基本的深度架构可以在三个基准数据集上实现比许多现有的更复杂的架构更好的性能,为未来多标签图像分类的研究提供了很好的见解。
2019-05-09 cs.CV cs.LG cs.MM
AttnConvnet at SemEval-2018 Task 1: Attention-based Convolutional Neural Networks for Multi-label Emotion Classification
Seoul National University(首尔国立大学);Automation and Systems Research Institute, Seoul National University(首尔国立大学自动化与系统研究所)
在本文中,我们提出了一个基于注意力的分类器,预测一个给定的句子的多种情绪。我们的模型模仿人类的句子理解的两步过程,它可以有效地表示和分类的句子。通过表情符号到含义的预处理和额外的词典利用,我们进一步提高了模型的性能。我们用SemEval-2018任务1-5提供的数据训练和评估我们的模型,其中每个句子在11个给定的情感中有几个标签。我们的模型在英语/西班牙语中分别达到了第5/第1等级。
2018-04-17 cs.CL cs.LG cs.NE
A Fully Convolutional Network for Semantic Labeling of 3D Point Clouds
Rochester Institute of Technology(罗切斯特理工学院);Oak Ridge National Laboratory(橡树岭国家实验室)
在对点云进行分类时,大量的时间被用于设计一组可靠的特征,然后将其传递给所选的分类器。通常,这些特征-通常从3D协方差矩阵导出-使用点的周围邻域来计算。虽然这些功能捕捉本地信息,这个过程通常是耗时的,并需要在多个尺度的应用程序结合上下文的方法,以充分描述场景中的对象的多样性。在本文中,我们提出了一个1D全卷积网络,它直接使用相应的光谱数据(如果可用)来消耗地形归一化点,以生成逐点标记,同时以端到端的方式隐式学习上下文特征。我们的方法仅使用每个点的3D坐标和三个相应的光谱特征。光谱特征可以从2D地理参考图像中提取,如这里所示的光探测和测距(LiDAR)点云,或者直接从被动导出的点云中提取,即从多视图图像中提取。我们通过将数据分割成正方形区域来训练我们的网络,并使用一个尊重输入点的置换不变性的池化层。使用ISPRS 3D语义标注竞赛进行评估,我们的方法以81.6%的总体准确率获得第二名。我们以63.32%的平均F1分数排名第三,超过了准确率最高的方法的F1分数1.69%。除了标记3D点云,我们还表明,我们的方法可以很容易地扩展到2D-语义分割任务,有希望的初步结果。
2017-10-03 cs.CV cs.LG stat.ML
Exploiting Transductive Property of Graph Convolutional Neural Networks with Less Labeling Effort
Adana Alparslan Turkes Science and Technology University(阿达纳·阿尔帕斯兰·图尔凯斯科学技术大学)
近年来,基于图数据的机器学习方法已经变得非常流行。据观察,通过在构成模型数据的数据样本之间包括隐式或显式逻辑连接,可以获得显著的结果。在这种情况下,发展中的GCN模型已经做出了显着的实验贡献与卷积滤波器应用于图形数据。该模型采用了“Transductive”和“半监督学习”方法。由于其传导性质,所有部分标记的数据样本都作为模型的输入。标签,这是一个成本,是非常重要的。在本研究的范围内,试图回答以下研究问题:如果至少有多少个样本被标记,最佳模型的成功实现?此外,一些实验的贡献已经取得了模型的准确性,无论是使用固定的标签工作的采样方法。实验表明,局部中心性度量可以提高模型的成功率。
2021-05-01 cs.AI cs.LG
Particle Competition and Cooperation for Robust Graph Convolutional Network Learning Under Label Noise
São Paulo State University - UNESP(圣保罗州立大学)
针对GCN对标签噪声敏感的问题,提出PCC+GCN混合框架,利用粒子竞争与合作进行标签精炼,在多个噪声场景下提升准确率并降低计算开销。
2026-09-21 cs.LG
Deep Feature Fusion via Graph Convolutional Network for Intracranial Artery Labeling
Shanghai University(上海大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
颅内动脉是向大脑供应含氧血液的关键血管。颅内动脉标签为许多临床应用和疾病诊断提供了有价值的指导和导航。已经进行了各种机器学习算法,用于脑动脉解剖标记的自动化。然而,由于颅内动脉的高度复杂性和多样性,这项任务仍然具有挑战性。本研究探讨了一种新的具有深度特征融合的图卷积神经网络用于脑动脉标记。我们在编码器-核心-解码器架构中引入堆叠图卷积,从图节点及其邻居中提取高级表示。此外,我们有效地聚合来自不同层次的中间特征,以提高所提出的模型的表示能力和标记性能。我们在公共数据集上进行了广泛的实验,结果证明了我们的方法明显优于基线。
2022-05-22 cs.AI cs.CV cs.LG
Correlation-Aware Graph Convolutional Networks for Multi-Label Node Classification
Zhejiang University(浙江大学);The Hong Kong Polytechnic University(香港理工大学);Emory University(埃默里大学);Alibaba Group(阿里巴巴集团);Institute for Clarity in Documentation(文档清晰研究所);Inria Paris-Rocquencourt(巴黎-拉鲁维耶尔研究所);Rajiv Gandhi University(拉贾夫·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕勒研究实验室)
针对多标签节点分类中现有GCN方法存在的特征与拓扑模糊、忽略标签相关性的问题,本文提出CorGCN模型,通过相关性感知图分解和相关性增强图卷积提升分类效果,实验验证了其有效性。
2025-06-17 cs.LG cs.SI
Graph convolutional networks for learning with few clean and many noisy labels
Google Research(谷歌研究院);VRG, Faculty of Electrical Engineering, Czech Technical University in Prague(布拉格捷克理工大学电气工程学院视觉识别组);Inria, Univ Rennes, CNRS, IRISA(法国国家信息与自动化研究所、雷恩大学、法国国家科学研究中心、布列塔尼大西洋信息与通信技术研究所)
在这项工作中,我们考虑的问题时,一些干净的标记的例子,从嘈杂的标签学习分类。干净和有噪声的数据的结构是由一个图每类和图卷积网络(GCN)被用来预测噪声的例子的类相关性。对于每个类,GCN被视为一个二元分类器,它学习使用加权的二元交叉熵损失函数来区分干净的噪声样本。然后利用GCN推断的“干净”概率作为相关性度量。在学习最终任务的分类器时,每个噪声示例都通过其相关性进行加权。我们评估我们的方法上的一个扩展版本的少样本学习问题,其中几个干净的例子,新的类补充额外的噪声数据。实验结果表明,我们的GCN为基础的清洗过程显着提高了分类精度不清洗噪声数据,以及标准的Few-Shot分类,只有很少的干净的例子被使用。
2020-08-24 cs.CV cs.LG
A Multi-Label Temporal Convolutional Framework for Transcription Factor Binding Characterization
本文提出一种多标签时间卷积框架,用于识别DNA序列中多个转录因子的结合位点,通过捕捉TF间的相关性和协同调控机制,揭示生物有意义的motif和共结合模式。
2026-03-12 cs.AI cs.LG q-bio.GN
Defending Graph Convolutional Networks against Dynamic Graph Perturbations via Bayesian Self-supervision
Indiana University-Purdue University Indianapolis(印第安纳大学与普渡大学印第安纳波利斯联合分校)
近年来,大量的证据表明,图卷积网络(GCN)在节点分类方面取得了非凡的成就。然而,GCN可能容易受到标签稀缺的动态图上的对抗攻击。许多现有的工作旨在加强GCN的鲁棒性;例如,对抗训练用于保护GCN免受恶意扰动。然而,这些作品失败的动态图标签稀缺性是一个紧迫的问题。为了克服标签稀缺性,自训练尝试迭代地将伪标签分配给高度自信的未标记节点,但这种尝试在动态图扰动下可能会严重退化。在本文中,我们推广噪声监督作为一种自监督学习方法,然后提出了一种新的贝叶斯自监督模型,即GraphSS,来解决这个问题。大量的实验表明,GraphSS不仅可以肯定地警告动态图上的扰动,而且还可以有效地恢复节点分类器的预测,当图是在这样的扰动。这两个优点被证明是在五个公共图数据集上的三个经典GCN上推广的。
2022-03-07 cs.LG
Semantic Labeling in Very High Resolution Images via a Self-Cascaded Convolutional Neural Network
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
城市超高分辨率遥感图像的语义标注在遥感应用中具有重要意义。然而,许多令人困惑的人造物体和复杂的精细结构的对象,这使得它非常难以获得一致和准确的标记结果。对于这个具有挑战性的任务,我们提出了一种新的具有卷积神经网络(CNN)的深度模型,即,端到端自级联网络(ScasNet)。具体来说,对于令人困惑的人造对象,ScasNet通过顺序的全局到局部上下文聚合来提高标签的一致性。从技术上讲,在CNN编码器的输出上捕获多尺度上下文,然后以自级联方式连续聚合它们。同时,对于精细结构的对象,ScasNet通过由粗到细的细化策略提高了标记精度。它使用CNN的浅层学习的低级特征逐步细化目标对象。此外,为了校正ScasNet内部多特征融合引起的潜在拟合残差,提出了一种专用的残差校正方案。它大大提高了ScasNet的有效性。在三个公共数据集上的广泛实验结果,包括两个具有挑战性的基准测试,表明ScasNet达到了最先进的性能。
2018-07-30 cs.AI cs.CV cs.LG
Fully Convolutional Multi-Class Multiple Instance Learning
UC Berkeley(加州大学伯克利分校)
多实例学习(MIL)可以通过削弱所需的监督程度来减少语义分割等任务中昂贵的注释需求。我们提出了一种新的MIL制定的多类语义分割学习的全卷积网络。在这种情况下,我们试图从弱图像级标签中学习语义分割模型。该模型是端到端训练的,以联合优化表示,同时消除像素图像标签分配的歧义。完全卷积训练接受任何大小的输入,不需要对象建议预处理,并提供像素级损失图来选择潜在实例。我们的多类MIL损失利用了具有多个标签的图像所提供的进一步监督。我们通过对PASCAL VOC分割挑战的初步实验来评估这种方法。
2015-04-15 cs.CV cs.LG cs.NE
Measuring Overfitting in Convolutional Neural Networks using Adversarial Perturbations and Label Noise
FZI Research Center for Information Technology(FZI信息技术研究中心);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院(KIT))
尽管存在许多减少卷积神经网络(CNN)的过拟合的方法,但仍然不清楚如何可靠地测量过拟合的程度。然而,反映过拟合水平的度量可能对于不同架构的比较以及用于解决过拟合的各种技术的评估非常有帮助。由于过拟合神经网络倾向于记住训练数据中的噪声,而不是推广到看不见的数据,我们研究了训练精度在数据扰动增加的情况下如何变化,并研究了与过拟合的联系。虽然以前的工作只集中在标签噪声,我们研究了频谱的技术注入噪声的训练数据,包括对抗性扰动和输入腐败。在此基础上,我们定义了两个新的指标,可以自信地区分正确和过拟合模型。为了评估,我们推导出一个模型池,其中过拟合行为是已知的。为了测试各种因素的影响,我们在基于VGG和ResNet的架构中引入了几种抗过拟合措施,并研究了它们的影响,包括正则化技术,训练集大小和参数数量。最后,我们通过测量我们的模型池之外的几个CNN架构的过拟合程度来评估所提出的指标的适用性。
2022-09-27 cs.LG
Adapt, Agree, Aggregate: Semi-Supervised Ensemble Labeling for Graph Convolutional Networks
K. N. Toosi University of Technology(科霍·纳希尔·图西理工大学);Amirkabir University of Technology (Tehran Polytechnic)(阿米尔卡比尔理工大学(德黑兰理工大学))
本研究提出结合集成学习与增强图结构的半监督节点分类框架,通过多视图集成实现自适应阈值、动态样本选择与鲁棒伪标签提取,提升模型性能与泛化能力,经真实数据集实验验证有效。
2025-03-22 cs.AI cs.LG
Convolutional Neural Networks based automated segmentation and labelling of the lumbar spine X-ray
Zentralklinik Bad Berka(巴特贝尔卡中央临床医院)
本研究的目的是调查730手动注释的腰椎侧位X线片上训练的不同分割网络的分割精度。实例分割网络进行了比较,语义分割网络。研究队列包括病变脊柱和金属植入物术后图像。对于性能最好的实例分割模型,平均平均准确度和平均交集(IoU)最多提高3%,对于性能最好的语义分割模型,平均像素准确度和加权IoU稍好。此外,实例分割模型的推理更容易实现,用于临床决策支持中的进一步处理管道。
2020-04-04 cs.CV cs.LG eess.IV
Deep Label-Wise Attentive Temporal Convolutional Networks Improve Medical Coding
Yale University(耶鲁大学)
研究医学编码难题,提出由多层时间卷积网络和标签明智注意力组成的深度神经模型,相比之前模型,F-1分数显著提高,召回分数大幅增加,对临床决策支持有重要意义。
2026-07-29 cs.CL cs.LG
Incremental Label Distribution Learning with Scalable Graph Convolutional Networks
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
本文针对标签数量动态增长的场景提出增量式标签分布学习ILDL,并设计SGLDL框架,通过新标签感知梯度补偿损失和标签关系图加速新标签学习与关系重建。
2024-11-20 cs.IT cs.LG math.IT
A Semantic and Clean-label Backdoor Attack against Graph Convolutional Networks
School of Computer Engineering and Science, Shanghai University(上海大学计算机工程与科学学院)
该研究针对图卷积网络的安全漏洞,提出语义干净标签后门攻击方法SCLBA,通过选取节点作为语义触发器生成投毒样本,在低投毒率下实现高攻击成功率且几乎不影响良性样本性能。
2025-03-19 cs.AI cs.CR cs.LG
Multi-label Class-imbalanced Action Recognition in Hockey Videos via 3D Convolutional Neural Networks
Innopolis University(伊诺波利斯大学)
视频的自动分析是计算机视觉和机器学习领域中最复杂的问题之一。这项研究的一个重要部分涉及(人类)活动识别(HAR),因为人类及其执行的活动产生了大部分的视频语义。基于视频的HAR在各个领域都有应用,但其中最重要和最具挑战性的是体育视频中的HAR。一些主要问题包括高的类间和类内变化,大的类不平衡,群体行动和单人行动的存在,以及识别同时的行动,即,多标签学习问题考虑到这些挑战和CNN最近在解决各种计算机视觉问题方面的成功,在这项工作中,我们实现了一个基于3D CNN的多标签深度HAR系统,用于曲棍球视频中的多标签类不平衡动作识别。我们测试我们的系统在两个不同的情况下:一个合奏的$k$二进制网络与一个单一的$k$输出网络,在一个公开的数据集。我们还将我们的结果与最初为所选数据集设计的系统进行了比较。实验结果表明,该方法的性能优于现有的解决方案。
2018-05-03 cs.CV cs.LG
Physics-informed Convolutional Neural Networks for Temperature Field Prediction of Heat Source Layout without Labeled Data
Defense Innovation Institute(国防创新研究院);Chinese Academy of Military Science(中国军事科学院)
近年来,基于深度学习的代理模型在工程分析和优化方面受到了广泛关注。由于大多数工程问题中数据对的构建是耗时的,数据采集成为大多数深层代理模型预测能力的瓶颈,这在热分析和设计的代理中也存在。为了解决这个问题,本文开发了一个物理信息卷积神经网络(CNN)的热模拟代理。该网络可以学习从热源布局到稳态温度场的映射,而无需标记数据,这相当于求解整个偏差分方程族(PDE)。为了实现无标记数据的物理指导训练,我们采用热传导方程和有限差分方法来构造损失函数。由于解决方案是敏感的边界条件,我们适当地施加硬约束,通过填充在Dirichlet和Neumann边界条件。此外,精心设计神经网络架构,提高手头问题的预测精度,引入像素级在线硬例挖掘,克服优化难度在计算域的不平衡。实验结果表明,该方法可以提供与数值方法和数据驱动的深度学习模型相当的预测结果。我们还进行了各种消融研究,以调查本文提出的网络组件和训练方法的有效性。
2021-09-26 cs.AI cs.LG
Multi-Label Classification of Thoracic Diseases using Dense Convolutional Network on Chest Radiographs
Institute of Engineering, Pulchowk Campus(工程学院,普尔乔克校区)
本文提出基于DenseNet的多标签胸部疾病预测模型,可同时检测多种病理,并通过热力图可视化决策依据,在心脏肥大等疾病上取得较高AUC和准确率。
2024-03-29 cs.AI cs.CV cs.LG