Efficient Hardware Realization of Convolutional Neural Networks using Intra-Kernel Regular Pruning
University of Waterloo(滑铁卢大学)
最近的趋势是越来越深的卷积神经网络(CNN),这导致了对计算能力和存储器存储的更高需求。因此,CNN在硬件中的部署变得更具挑战性。在本文中,我们提出了一种核内正则(IKR)剪枝方案,通过在细粒度级别上去除冗余权重来降低CNN的大小和计算复杂性。与其他修剪方法(如细粒度修剪)不同,IKR修剪维护可在硬件加速器中利用的规则内核结构。实验结果表明,高达10倍的参数减少和7倍的计算减少的成本小于1%的精度下降与未修剪的情况下。
2018-03-15 cs.CV
Ensembles of feedforward-designed convolutional neural networks
University of Southern California(南加州大学)
提出了一种融合多个前馈设计的卷积神经网络(FF-CNN)输出决策向量的集成方法来解决图像分类问题。为了提高集成系统的性能,增加FF-CNN模型的多样性至关重要。为了实现这一目标,我们通过采用三种策略来引入diform:1)卷积层中的不同参数设置,2)馈送到全连接(FC)层中的灵活特征子集,以及3)同一输入源的多个图像嵌入。此外,我们将输入样本划分为容易和困难的决策信心分数的基础上。因此,我们可以开发一个新的集成系统,为硬样本量身定制,以进一步提高分类精度。在MNIST和CIFAR-10数据集上进行了实验,以证明集成方法的有效性。
2019-01-08 cs.CV
Progressive Spatial Recurrent Neural Network for Intra Prediction
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所)
帧内预测是现代视频编解码器的重要组成部分,它能够有效地挤出视频帧中的空间冗余。在先前像素作为上下文的情况下,传统的帧内预测方案基于要编码的块的若干预定义方向(即,模式)来生成线性预测。然而,这些模式相对简单,当面对具有复杂纹理的块时,它们的预测可能会失败,这导致对残差进行编码的额外比特。在本文中,我们设计了一个渐进空间循环神经网络(PS-RNN),学习进行帧内预测。具体来说,我们的PS-RNN由三个空间递归单元组成,并通过将信息从前面的内容传递到要编码的块来逐步生成预测。为了使我们的网络生成同时考虑失真和比特率的预测,我们建议使用绝对变换差之和(SATD)作为损失函数来训练PS-RNN,因为SATD能够测量编码残差块的率失真成本。此外,我们的方法支持可变块大小的帧内预测,这是更实际的实际编码条件。与HEVC相比,在相同的重构质量下,所提出的帧内预测方案在可变块大小设置上平均实现2.5%的比特率降低。
2019-05-25 cs.CV
Ensemble of Convolutional Neural Networks for Automatic Grading of Diabetic Retinopathy and Macular Edema
在这篇手稿中,我们自动化的过程中,糖尿病视网膜病变和黄斑水肿的眼底图像使用的合奏卷积神经网络。通过使用迁移学习方法,避免了有限数量的标记数据来执行监督学习的可用性。集合中的模型在包含自然图像的大型数据集上进行了预训练,然后使用有限的数据进行了微调。对于一幅图像,分类器的集合产生多个预测,并利用基于最大投票的方法来获得图像中的异常的最终等级。对于DR分级任务,在测试数据(n=56)上,集合达到83.9%的准确度,而对于黄斑水肿分级任务,网络达到95.45%的准确度(n=44)。
2018-09-12 cs.CV
Convolutional Neural Networks: Ensemble Modeling, Fine-Tuning and Unsupervised Semantic Localization for Intraoperative CLE Images
Arizona State University(亚利桑那州立大学);Barrow Neurological Institute(巴罗神经学研究所);St Joseph’s Hospital and Medical Center(圣约瑟夫医院与医疗中心);Irkutsk State Medical University(伊尔库茨克国立医科大学)
共聚焦激光显微内镜(CLE)是一种先进的光学荧光技术,正在评估其在脑肿瘤手术中的应用。尽管它有很好的潜力,但解释荧光染色的不熟悉的灰色调图像可能很困难。许多CLE图像可能因运动、极低或极高的荧光信号而失真,或因红细胞积聚而模糊,这些都可以解释为非诊断性的。然而,仅一个整洁的CLE图像可能足以用于肿瘤的术中诊断。虽然在手术期间手动检查数千个非诊断图像是不切实际的,但这为模型选择诊断图像以供病理学家或外科医生审查创造了机会。在这项研究中,我们试图开发一个深度学习模型,使用手动注释的数据集自动检测诊断图像,并采用基于患者的嵌套交叉验证方法来探索模型的泛化能力。我们探索了各种训练机制:深度训练、浅层微调和深度微调。此外,我们通过结合开发阶段制作的前5个单一模型来研究集成建模的效果。我们通过浅层和深层神经激活的可视化定位诊断CLE图像的组织学特征。我们的评分者间实验结果证实,我们的深度微调模型的集合比其他观察者实现了更高的与地面真相的一致性。由于所提出的方法的速度和精度(110张图像/秒; 85%的金标准测试子集),它有可能被集成到脑肿瘤手术的手术工作流程中。
2017-10-23 cs.CV q-bio.QM
AdaDNNs: Adaptive Ensemble of Deep Neural Networks for Scene Text Recognition
University of Science and Technology Beijing(北京科技大学);Tencent Co. LTD(腾讯公司)
在野外识别文本是一项非常具有挑战性的任务,因为复杂的背景,各种照明和不同的失真,即使是深度神经网络(卷积神经网络和递归神经网络)。在场景文本识别的端到端训练过程中,深度神经网络在不同迭代时的输出总是表现出目标对象(文本)的多样性和互补性。在这里,提出了一种简单但有效的深度学习方法,即深度神经网络的自适应集成(AdaDNNs),用于在整个学习系统的不同迭代中简单地选择和自适应地组合分类器组件。此外,合奏制定为分类器加权和组合的贝叶斯框架。在几个典型的公认基准上进行了各种实验,即,ICDAR Robust Reading Competition(Challenge 1、2和4)数据集验证了与基线DNN相比的惊人改进,以及AdaDNN与最近最先进方法相比的有效性。
2017-10-10 cs.CV
Diversity encouraged learning of unsupervised LSTM ensemble for neural activity video prediction
New York University(纽约大学);Duke University(杜克大学)
能够从当前和以前的观察结果预测不久的将来的神经信号,有可能实现实时响应脑刺激来抑制癫痫发作。我们已经研究了如何使用由LSTM单元组成的自动编码器模型进行这种预测。认识到存在多个活动模式集群,我们进一步探索了训练LSTM模型的集成,使得每个模型可以专门对某些神经活动进行建模,而无需显式地对训练数据进行聚类。我们训练合奏使用合奏意识损失,共同解决了模型分配问题和误差最小化问题。在训练期间,对于每个训练序列,仅更新具有最低重构和预测误差的模型。内在地,这样的损失函数使得每个LTSM模型能够适应共享类似动态行为的训练序列的子集。我们证明了这可以以端到端的方式进行训练,并在神经活动预测中实现显着的准确性。
2018-07-03 cs.CV
An Ensemble of Neural Networks for Non-Linear Segmentation of Overlapped Cursive Script
Al Yamamah University(亚玛马大学)
精确的字符分割是提高光学字符识别(OCR)准确度的唯一解决方案。在草书中,由于传统的线性分割策略将字符从其可区分的部分中剥离出来,因此重叠字符是字符分割过程中的一个严重问题。因此,非线性分割是避免字符部分丢失和提高字符/手写体识别准确性的迫切需要。提出了一种改进的手写体罗马字母重叠字符非线性分割方法。该技术是由一系列的启发式规则的基础上的字符的几何特征来定位可能的非线性字符边界在一个草书字。然而,为了提高效率,启发式方法与训练的集成神经网络验证策略相结合,用于字符边界的验证。因此,基于集成神经网络投票,正确的边界被保留并且不正确的边界被移除。最后,基于验证的有效分割点,字符进行非线性分割。为了公平的比较CEDAR基准数据库进行了实验。实验结果表明,该方法比传统的线性字符分割方法具有更好的分割效果。与单个神经网络相比,嵌入式神经网络在提高字符分割精度方面发挥了重要作用。
2019-04-07 cs.CV
Classifier Ensemble for Efficient Uncertainty Calibration of Deep Neural Networks for Image Classification
Mannheim University of Applied Sciences(曼海姆应用科学大学)
针对深度图像分类模型校准误差大的问题,提出基于元模型的分类器集成方法,无需单独校准数据集,在各架构上均能以极小准确率代价和更少参数量显著降低校准误差,提升深度学习系统可靠性。
2025-01-17 cs.CV
Image Classification of Melanoma, Nevus and Seborrheic Keratosis by Deep Neural Network Ensemble
R&D Center, Casio Computer Co., Ltd.(卡西欧计算机株式会社研发中心);Shinshu University(信州大学)
这篇短文报告了卡西欧和信州大学联合团队在ISIC主办的ISBI挑战赛2017 -皮肤病变分析对黑色素瘤检测-第3部分:病变分类中的方法和评估结果。我们的在线验证评分为0.958,黑色素瘤分类器AUC为0.924,脂溢性角化病分类器AUC为0.993。
2017-03-09 cs.CV
Hydra: an Ensemble of Convolutional Neural Networks for Geospatial Land Classification
Universidade Tecnológica Federal do Paraná (UTFPR)(巴拉那联邦科技大学);Universidade Federal da Bahia (UFBA)(巴伊亚联邦大学);University of South Florida (USF)(南佛罗里达大学)
在本文中,我们描述了水螅,卷积神经网络(CNN)的地理空间土地分类的合奏。Hydra背后的想法是创建一个初始的CNN,它是粗略优化的,但为进一步优化提供了一个很好的起点,它将作为Hydra的主体。然后,使用不同的增强技术、裁剪样式和类权重对获得的权重进行多次微调,以形成代表Hydra头部的CNN集合。通过这样做,我们促使收敛到不同的端点,这是集成的一个理想方面。通过这个框架,我们能够减少训练时间,同时保持集成的分类性能。我们使用两种最先进的CNN架构ResNet和DenseNet为我们的实验创建了集成。我们已经在两个数据集FMOW和NWPU-RESISC 45中展示了我们的Hydra框架的应用,前者达到了与最先进水平相当的结果,后者达到了迄今为止最好的报告性能。代码和CNN模型可在https://github.com/maups/hydra-fmow上获得
2019-03-20 cs.CV
Intraoperative Organ Motion Models with an Ensemble of Conditional Generative Adversarial Networks
University College London(伦敦大学学院);University of Oxford(牛津大学)
在本文中,我们描述了如何从单个术前MR图像直接生成患者特定的超声探头诱导的前列腺运动模型。我们的运动模型允许从密集的位移场的条件分布采样,由一个生成神经网络编码的医疗图像的条件,并接受随机噪声作为额外的输入。生成网络通过具有第二判别神经网络的极小极大优化来训练,第二判别神经网络的任务是将生成的样本与训练运动数据区分开。在这项工作中,我们提出1)联合优化第三个预处理输入图像的调节神经网络,可以有效地提取患者特定的特征进行调节; 2)将单独训练的多个生成模型与预先分离的训练数据集相结合,可以充分缓解模式坍塌的问题。使用来自143名真实患者的诊断T2加权MR图像和来自经直肠超声探头压力引起的术中前列腺运动有限元模拟的73,216个3D密集位移场进行训练,所提出的模型产生了物理上合理的前列腺特定患者运动。捕获生物力学模拟运动的能力进行了评价,使用两个错误代表模型的一般性和特异性。根据10倍交叉验证计算的中位值分别为2.8+/-0.3 mm和1.7+/-0.1 mm。我们的结论是,所介绍的方法证明了应用最先进的机器学习算法从患者图像中生成器官运动模型的可行性,并显示出对未来研究的重大承诺。
2017-09-05 cs.CV cs.LG
On the Effectiveness of Neural Ensembles for Image Classification with Small Datasets
Sapienza University of Rome(罗马大学)
深度神经网络代表了图像分类的黄金标准。但是,它们通常需要大量数据才能实现卓越的性能。在这项工作中,我们专注于图像分类问题,每个类有几个标记的例子,并通过使用相对较小的网络集成提高数据效率。我们的工作第一次广泛地研究了小数据域中神经集成的现有概念,通过使用流行的数据集和架构进行广泛的验证。我们将网络的集成与其更深或更广的单一竞争对手进行比较,给出了一个总的固定计算预算。我们表明,集成相对较浅的网络是一种简单而有效的技术,通常优于当前最先进的从小数据集学习的方法。最后,我们提出了我们的解释,根据这一解释,神经集成更有样本效率,因为它们学习更简单的函数。
2021-11-29 cs.CV cs.LG
ECOVNet: An Ensemble of Deep Convolutional Neural Networks Based on EfficientNet to Detect COVID-19 From Chest X-rays
University of Chittagong(吉大港大学);Charles Sturt University(查尔斯特大学)
本文提出了一种基于EfficientNet的深度卷积神经网络(CNN)集成,称为ECOVNet,用于使用大型胸部X射线数据集检测COVID-19。首先,对开放访问的大型胸部X射线集合进行增强,然后将ImageNet预先训练的EfficientNet权重与一些经过训练的自定义微调顶层一起传输,然后是模型快照的集合,以分类对应于COVID-19,正常和肺炎的胸部X射线。在单个训练期间创建的模型快照的预测通过两种集成策略组合,即,硬集成和软集成,以改善分类性能和在分类胸部X射线的相关任务中的泛化。
2020-10-16 cs.CV eess.IV
Iterative training of neural networks for intra prediction
Interdigital(Interdigital公司)
本文提出了一种迭代训练的神经网络帧内预测在基于块的图像和视频编解码器。首先,神经网络在图像的编解码器分区产生的块上进行训练,每个块都与其上下文配对。然后,迭代地,通过编解码器从图像的分区中收集块,包括在前一次迭代中训练的神经网络,每个神经网络与其上下文配对,并且神经网络在新的配对上重新训练。由于这种训练,神经网络可以学习帧内预测函数,这些函数既可以从初始编解码器中脱颖而出,又可以在率失真方面提升编解码器。此外,迭代过程允许设计对神经网络训练至关重要的训练数据清洗。当将迭代训练的神经网络放入H.265(HM-16.15)时,平均dB速率降低了-4.2%。通过将它们移动到H.266(VTM-5.0),平均dB速率降低达到-1.9%。
2020-11-25 cs.CV cs.LG eess.IV
An Inter- and Intra-Band Loss for Pansharpening Convolutional Neural Networks
The Chinese University of Hong Kong(香港中文大学)
全色锐化的目的是将来自卫星的全色和多光谱图像融合起来,生成具有高空间和光谱分辨率的图像。随着深度学习在计算机视觉领域的成功应用,许多学者提出了许多卷积神经网络(CNN)来解决泛锐化任务。这些泛锐化网络专注于CNN的各种独特结构,其中大多数都是通过融合图像和模拟所需多光谱图像之间的L2损失来训练的。然而,L2损失被设计为直接最小化每个频带的频谱信息的差异,这没有考虑训练过程中的带间关系。在这封信中,我们提出了一种新的带间和带内(IIB)损失,以克服原有的L2损失的缺点。我们提出的IIB损失可以有效地保留带间和带内关系,并且可以直接应用于不同的泛锐化CNN。
2020-08-12 cs.CV eess.IV
Dense Cross-Connected Ensemble Convolutional Neural Networks for Enhanced Model Robustness
University of South Dakota(南达科他大学);Auburn University(奥本大学);Murray State University(默里州立大学)
针对卷积神经网络易受输入变化和对抗攻击影响的问题,提出融合 DenseNet 密集连接、路径交叉连接与集成学习的 DCC-ECNN,以增强特征共享并提升模型鲁棒性。
2024-12-09 cs.AI cs.CV
Automated Fetal Biometry Assessment with Deep Ensembles using Sparse-Sampling of 2D Intrapartum Ultrasound Images
Oxford Machine Learning in NeuroImaging Lab, Department of Computer Science, University of Oxford(牛津大学计算机科学系);Visual Geometry Group, Department of Engineering Science, University of Oxford(牛津大学工程科学系);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算科学与数据科学学院)
本研究针对产时超声胎儿生物测量的观察者变异问题,提出含标准切面分类、结构分割和参数计算的自动化流水线,结合稀疏采样、深度集成和后处理提升性能,在挑战赛测试集上取得优异结果,可助力产程评估与产前护理工具开发。
2025-05-20 cs.CV cs.LG eess.IV
The Relative Performance of Ensemble Methods with Deep Convolutional Neural Networks for Image Classification
人工神经网络已经成功地应用于各种机器学习任务,包括图像识别、语义分割和机器翻译。然而,很少有研究充分调查的人工神经网络的合奏。在这项工作中,我们研究了多种广泛使用的集成方法,包括未加权平均,多数投票,贝叶斯最优分类器和(离散)超级学习器,用于图像识别任务,深度神经网络作为候选算法。我们设计了几个实验,候选算法是相同的网络结构,不同的模型检查点在一个单一的训练过程中,网络结构相同,但训练多次随机,和网络结构不同。此外,我们进一步研究了神经网络的过度自信现象,以及它对集成方法的影响。在我们所有的实验中,超级学习者在这项研究中的所有集成方法中取得了最好的性能。
2017-04-05 cs.CV cs.LG stat.ME
Dynamic Defense Approach for Adversarial Robustness in Deep Neural Networks via Stochastic Ensemble Smoothed Model
PLA Strategy Support Force Information Engineering University(解放军战略支援部队信息工程大学)
深度神经网络已被证明在对抗攻击下存在严重漏洞。这种现象刺激了类似于网络空间安全所采用的不同攻击和防御战略的产生。这种策略对攻击和防御机制的依赖使得双方的相关算法表现为紧密的往复过程。在这一过程中,防御战略尤其被动,增强防御战略的主动性是摆脱军备竞赛的有效途径。受网络空间动态防御方法的启发,本文在随机平滑和模型集成防御方法的基础上,建立了随机集成平滑。该方法以网络结构和平滑参数作为集成属性,在每次推理预测请求前动态改变基于属性的集成模型。所提出的方法处理极端的可移植性和脆弱性的集成模型下的白盒攻击。不同攻击场景下的ASR与失真曲线的实验比较表明,即使具有最高攻击能力的攻击者也不能轻易超过与集成平滑模型相关的攻击成功率,特别是在非目标攻击下。
2021-05-06 cs.CR cs.CV
Deep Relational Metric Learning
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
本文提出了一种用于图像聚类和检索的深度关系度量学习(DRML)框架。大多数现有的深度度量学习方法学习嵌入空间,其一般目标是增加类间距离和减少类内距离。然而,传统的度量学习的损失通常会抑制类内变化,这可能有助于识别未知类的样本。为了解决这个问题,我们提出了自适应学习的特征,从不同的方面来模拟类间和类内分布的图像的合奏。我们还采用了一个关系模块来捕获集合中每个特征之间的相关性,并构建一个图来表示图像。然后,我们对图进行关系推理,以整合集成,并获得一个关系感知的嵌入来衡量相似性。在广泛使用的CUB-200-2011、Cars 196和Stanford Online Products数据集上进行的大量实验表明,我们的框架改进了现有的深度度量学习方法,并取得了非常有竞争力的结果。
2021-08-23 cs.AI cs.CV cs.LG
Document Image Classification with Intra-Domain Transfer Learning and Stacked Generalization of Deep Convolutional Neural Networks
Valeo India Pvt. Ltd.(法雷奥印度私人有限公司);University of Bonn(波恩大学);Indian Statistical Institute(印度统计研究所)
在这项工作中,提出了一个基于区域的深度卷积神经网络框架,用于文档结构学习。这项工作的贡献包括有效的训练区域为基础的分类器和有效的集成文件图像分类。通过从ImageNet数据集上的预训练VGG 16架构导出权重来使用初级的“域间”迁移学习,以在整个文档图像上训练文档分类器。利用基于区域的影响建模的性质,二级“域内”迁移学习用于图像片段的深度学习模型的快速训练。最后,利用基于堆叠泛化的集成来组合基础深度神经网络模型的预测。该方法在流行的RVL-CDIP文档图像数据集上实现了92.2%的最新准确率,超过了现有算法的基准。
2018-08-30 cs.CV cs.LG
Sparsely ensembled convolutional neural network classifiers via reinforcement learning
Pavlov Institute of Physiology RAS(俄罗斯科学院巴甫洛夫生理学研究所);State University of Aerospace Instrumentation(国立航空航天仪器大学)
我们考虑卷积神经网络(CNN)集成学习的目标函数的启发,最小行动原则,它包括资源消耗组件。我们教一个代理通过一组预先训练的分类器来感知图像,并希望得到的动态配置的系统以最小的操作次数和最大的预期精度展开计算图。建议代理的架构隐式近似所需的分类器选择功能的帮助下,强化学习。我们的实验结果证明,如果代理利用动态(和上下文相关)的计算结构,它优于传统的集成学习。
2021-02-07 cs.AI cs.CV cs.LG
An Ensemble of Simple Convolutional Neural Network Models for MNIST Digit Recognition
Sogang University(西江大学)
我们报告说,一个非常高的准确性MNIST测试集可以通过使用简单的卷积神经网络(CNN)模型。我们在卷积层中使用三种不同的模型,分别为3x3,5x5和7x7内核大小。每个模型由一组卷积层组成,后面是一个完全连接的层。每个卷积层都使用批量归一化和ReLU激活,不使用池化。旋转和平移用于增强训练数据,这在大多数图像分类任务中经常使用。使用在训练数据集上独立训练的三个模型的多数表决可以在测试集上实现高达99.87%的准确率,这是最先进的结果之一。一个两层集成,一个异构集成的三个同质集成网络,可以达到高达99.91%的测试精度。结果可以通过使用代码复制:https://github.com/ansh941/MnistSimpleCNN
2020-10-05 cs.CV cs.LG
Feature Space Particle Inference for Neural Network Ensembles
Denso IT Laboratory Inc.(电装IT实验室公司);Tokyo Institute of Technology(东京工业大学)
深度神经网络的集成展示了比单个模型更好的性能。为了提高集成成员的多样性,同时保持他们的性能,基于粒子的推理方法提供了一个很有前途的方法从贝叶斯的角度来看。然而,将这些方法应用于神经网络的最佳方式仍然不清楚:由于过度参数化问题,从权重空间后验中寻找样本效率低下,而直接从函数空间后验中寻找样本通常会导致严重的欠拟合。在这项研究中,我们提出了在特征空间中优化粒子,其中特定中间层的激活在于解决上述困难。我们的方法鼓励每个成员捕捉不同的功能,这有望提高集成预测的鲁棒性。对真实世界数据集的广泛评估表明,我们的模型在各种指标上都明显优于黄金标准的深度集成,包括准确性,校准和鲁棒性。代码可在https://github.com/DensoITLab/featurePI上获得。
2022-06-02 cs.CV cs.LG stat.ML
Learning Decision Ensemble using a Graph Neural Network for Comorbidity Aware Chest Radiograph Screening
Indian Institute of Technology Kharagpur(印度理工学院卡哈拉格普尔分校);Apollo Gleneagles Hospital(阿波罗格伦伊格尔斯医院);Intel Technology India Pvt. Ltd.(英特尔技术印度私人有限公司)
胸片主要用于筛查心脏、胸部和肺部疾病。正在开发基于机器学习的自动化解决方案,以减轻放射科医生的常规筛查负担,使他们能够专注于关键病例。虽然最近的努力证明了深度卷积神经网络(CNN)的集成的使用,但它们没有考虑疾病合并症,从而降低了它们的筛选性能。为了解决这个问题,我们提出了一个基于图神经网络(GNN)的解决方案,以获得集成预测模型之间的依赖性不同的疾病。所提出的方法的综合评价表明其潜力,通过提高性能超过标准集成技术在广泛的集成建设。使用DenseNet121的GNN集合实现了最佳性能,在13种疾病合并症中的平均AUC为0.821。
2020-04-24 cs.CV cs.LG eess.IV
Make (Nearly) Every Neural Network Better: Generating Neural Network Ensembles by Weight Parameter Resampling
LG Electronics(LG电子)
深度神经网络(DNN)在计算机视觉、自然语言处理和其他领域变得越来越流行。然而,训练和微调深度学习模型是计算密集型和耗时的。我们提出了一种新的方法来提高几乎所有模型的性能,包括预训练模型。所提出的方法使用集成方法,其中集成中的网络是通过基于这些参数的概率分布重新分配模型参数值来构建的,这些参数是在训练过程结束时计算的。对于预训练的模型,这种方法会导致额外的训练步骤(通常少于一个epoch)。我们使用MNIST数据集进行了各种分析,并使用ImageNet数据集上的预训练模型使用许多DNN模型验证了该方法。
2018-07-02 cs.AI cs.CV cs.LG
Sub-Architecture Ensemble Pruning in Neural Architecture Search
University of Science and Technology of China(中国科学技术大学);Texas A&M University(得克萨斯农工大学);WeBank(微众银行)
神经网络结构搜索(NAS)由于其灵活性和显著的减轻神经网络设计负担的能力,近年来受到越来越多的关注。然而,为了实现更好的性能,搜索过程通常需要大量的计算,这对于研究人员和从业人员来说可能是负担不起的。虽然最近的尝试采用集成学习方法来减轻巨大的计算成本,但是,他们忽略了集成方法的一个关键属性,即多样性,这导致在最终设计中收集更多类似的子架构,并具有潜在的冗余。为了解决这个问题,我们提出了一种用于NAS集成的修剪方法,称为“神经结构搜索中的子结构包围修剪(SAEP)”。“它的目标是利用多样性,并以较小的规模实现子集成架构,其性能与未修剪的集成架构相当。提出了三种可能的解决方案,以决定哪些子架构修剪在搜索过程中。实验结果表明,该方法的有效性,大大减少了子结构的数量,而不降低性能。
2021-05-28 cs.CV cs.LG cs.NE
Intracranial Hemorrhage Detection Using Neural Network Based Methods With Federated Learning
SRMIST(SRMIST(印度SRM理工学院))
本文提出一种基于时间分布式卷积网络的CT颅内出血检测与分类方法,准确率超过92%,并引入联邦学习以在保护数据隐私的同时实现参数共享。
2022-03-17 cs.CV cs.LG eess.IV
Ensemble of Deep Convolutional Neural Networks for Learning to Detect Retinal Vessels in Fundus Images
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);Texas Instruments Inc.(德州仪器公司)
由于视网膜的病理损伤导致的视力损害可以通过使用眼底彩色成像的定期筛查在很大程度上预防。然而,大规模筛查的挑战是无法彻底检测对疾病诊断至关重要的细血管。在这项工作中,我们提出了一个计算成像框架,使用深度和集成学习可靠检测眼底彩色图像中的血管。训练深度卷积神经网络的集合以分割彩色眼底图像的血管和非血管区域。在推理过程中,对集合的各个ConvNet的响应进行平均以形成最终分割。在DRIVE数据库的实验评估中,我们实现了血管检测的目标,最大平均准确率为94.7%,ROC曲线下面积为0.9283。
2016-03-15 cs.CV cs.LG stat.ML
TentacleNet: A Pseudo-Ensemble Template for Accurate Binary Convolutional Neural Networks
Politecnico di Torino(都灵理工大学)
二值化是实现轻量级深度卷积神经网络(CNN)的一种有吸引力的策略。尽管提供了毫无疑问的节省,最重要的是内存占用,但它可能会导致过度的准确性损失,从而阻止广泛使用。这项工作详细阐述了这方面的内容,介绍了TentacleNet,这是一种新的模板,旨在通过并行化提高二值化CNN的预测性能。受集成学习理论的启发,它由一个紧凑的拓扑结构组成,该拓扑结构是端到端可训练的,并经过组织以最大限度地减少内存使用。通过三个真实的基准测试收集的实验结果表明,TentacleNet填补了经典二进制模型留下的空白,确保了大量的内存节省。最先进的二元系综方法。
2019-12-26 cs.CV cs.LG cs.NE
FLANNEL: Focal Loss Based Neural Network Ensemble for COVID-19 Detection
IQVIA(艾昆纬);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
测试使用深度神经网络区分COVID-19与其他肺炎和健康患者的胸部X射线图像的可能性。我们从两个公开来源构建了X射线成像数据,其中包括2874名患者的5508张胸部X射线图像,分为四类:正常,细菌性肺炎,非COVID-19病毒性肺炎和COVID-19。为了识别COVID-19,我们提出了一种基于焦点损失的神经Entrance Network(FLANNEL),这是一种灵活的模块,可以集成多个卷积神经网络(CNN)模型,并与焦点损失融合,以便在类别不平衡数据上准确检测COVID-19。FLANNEL在COVID-19识别任务中的所有指标均优于基线模型。与最佳基线相比,FLANNEL在Covid-19识别任务中显示出更高的宏观F1得分,相对增加6%,其中精确度达到0.7833(0.07),召回率达到0.8609(0.03),F1得分达到0.8168(0.03)。
2020-10-30 cs.CV cs.LG eess.IV
AxonNet: A self-supervised Deep Neural Network for Intravoxel Structure Estimation from DW-MRI
Centro de Investigacion en Matematicas AC(数学研究中心)
我们提出了一种基于深度学习技术从DW-MRI估计体素内参数的方法。我们表明,神经网络(DNN)有潜力从扩散加权信号中提取信息,以重建大脑束。我们提出了两个DNN模型:一个用于估计体素形式的轴突结构,另一个用于使用体素邻域来计算中心体素的结构。我们的方法是基于建议的参数表示适合的问题。由于实际上不可能为任何采集协议提供真实的标记数据,因此我们使用了自监督策略。合成数据和真实数据的实验表明,我们的方法是有竞争力的,计算时间表明,我们的方法比SOTA方法更快,即使考虑训练时间。如果我们考虑用相同的采集协议预测多个图像,则这种计算优势会增加。
2021-03-19 cs.CV cs.LG eess.IV
Binary Ensemble Neural Network: More Bits per Network or More Networks per Bit?
UC San Diego(加州大学圣地亚哥分校);Harvard University(哈佛大学)
二进制神经网络(BNN)已经被广泛研究,因为它们在较低的内存和功耗下比浮点网络运行得更快,这要归功于位操作的效率。然而,当代BNN的权重和激活都是单比特的,遭受严重的精度下降。为了理解为什么,我们通过大量的实验研究了BNN的表示能力,速度和偏差/方差。我们的结论是,BNN的错误主要是由固有的不稳定性(训练时间)和非鲁棒性(训练和测试时间)。受此研究的启发,我们提出了二进制嵌入式神经网络(BENN),它利用集成方法来提高BNN的性能与有限的效率成本。虽然集成技术被广泛认为对深度神经网络等强分类器只有很小的帮助,但我们的分析和实验表明,它们自然非常适合提升BNN。我们发现,我们的BENN比最先进的二进制网络更快,更强大,甚至可以超过具有相同架构的全精度浮点数网络的准确性。
2018-12-03 cs.AI cs.CV cs.LG
Chroma Intra Prediction with attention-based CNN architectures
British Broadcasting Corporation(英国广播公司);Dublin City University(都柏林城市大学)
神经网络可用于视频编码中以改进色度帧内预测。特别是,相对于传统的线性模型,使用全连接网络可以实现更好的跨分量预测。尽管如此,最先进的架构往往忽略预测过程中各个参考样本的位置。提出了一种新的跨分量帧内预测神经网络结构。该网络使用一种新的注意力模块来模拟参考样本和预测样本之间的空间关系。所提出的方法被集成到通用视频编码(VVC)预测流水线。实验结果表明,与基于神经网络的最新色度帧内预测方法相比,最新的VVC锚点具有压缩增益。
2020-06-27 cs.CC cs.CV cs.LG