Going Further With Winograd Convolutions: Tap-Wise Quantization for Efficient Inference on 4x4 Tile
Huawei Zurich Research Center（华为苏黎世研究中心）；Politecnico di Torino（都灵理工大学）
当今的大多数计算机视觉管道都是围绕深度神经网络构建的，其中卷积运算需要大部分通常较高的计算工作量。与标准算法相比，Winograd卷积算法使用较少的MAC计算卷积，当使用具有2x2大小的切片$F_2$的版本时，对于3x3卷积，操作计数减少了2.25倍。即使增益是显著的，具有较大的瓦片大小的Winograd算法，即，$F_4$在提高吞吐量和能效方面具有更大的潜力，因为它将所需的MAC减少了4倍。不幸的是，具有较大区块大小的Winograd算法引入了数值问题，这些问题阻止了其在整数域特定加速器上的使用，并且在空间域和Winograd域之间转换输入和输出数据的计算开销更高。为了释放Winograd $F_4$的全部潜力，我们提出了一种新的抽头式量化方法，该方法克服了使用较大瓦片的数值问题，从而实现仅整数推理。此外，我们提出了自定义的硬件单元，处理的Winograd转换的功率和面积有效的方式，我们展示了如何将这些自定义模块集成在一个工业级的，可编程的DSA。对大量最先进的计算机视觉基准进行的广泛实验评估表明，抽头式量化算法使量化的Winograd $F_4$网络几乎与FP32基线一样准确。Winograd增强型DSA实现了高达1.85倍的能效增益和高达1.83倍的端到端速度提升，适用于最先进的分段和检测网络。
2022-09-26 cs.AR cs.CV cs.LG
DWM: A Decomposable Winograd Method for Convolution Acceleration
SKL of Computer Architecture, Institute of Computing Technology, CAS（中国科学院计算技术研究所计算机体系结构国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Cambricon Tech. Ltd（寒武纪科技有限公司）；Institute of Brain-Intelligence Technology, Zhangjiang Laboratory（张江实验室脑智科技研究所）；Shanghai Research Center for Brian Science and Brain-Inspired Instelligence（上海脑科学与脑启发智能研究中心）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
Winograd的最小滤波算法已被广泛用于卷积神经网络（CNN），以减少乘法的数量，加快处理速度。然而，它仅对内核大小为3x3且步长为1的卷积有效，因为它遭受内核大小大于3x3的显着增加的FLOP和数值精度问题，并且在步长大于1的卷积上失败。本文提出了一种新的可分解Winograd方法（DWM），它突破了原Winograd最小滤波算法对广义卷积的限制。DWM将大尺寸或大步长的核分解为步长为1的小核，以便进一步应用Winograd方法，从而在保持数值精度的同时减少乘法次数。它可以快速探索CNN中更大的内核大小和更大的步幅值，以实现高性能和准确性，甚至是新CNN的潜力。与原Winograd相比，该DWM能够支持各种卷积，加速比约为2，而不影响数值精度。
2020-02-03 cs.CV cs.LG eess.IV
Searching for Winograd-aware Quantized Networks
University of Oxford（牛津大学）；Arm ML Research Lab（安谋机器学习研究实验室）
卷积神经网络（CNN）的轻量级架构设计以及量化为在移动设备上部署要求苛刻的计算机视觉应用铺平了道路。与此并行，卷积运算的替代公式，如FFT，Strassen和Winograd，已被适配用于CNN，提供进一步的加速。Winograd卷积是空间小卷积的最快已知算法，但充分利用其潜力会带来数值误差的负担，使其在量化环境中无法使用。在这项工作中，我们提出了一个Winograd感知的卷积层公式，它将Winograd变换引入的数值不准确性暴露在模型参数的学习中，从而能够在不影响模型大小的情况下设计有竞争力的量化模型。我们还解决了数值误差的来源，并提出了一个放松的形式的转换矩阵，导致高达10%的分类精度提高CIFAR-10。最后，我们提出了wiNAS，一个神经架构搜索（NAS）框架，利用Winograd感知层，联合优化给定的宏架构的准确性和延迟。与im 2 row（最广泛使用的优化卷积实现之一）相比，Winograd感知的ResNet-18（使用wiNAS针对CIFAR-10进行优化）可实现2.66倍的加速，并且不会损失准确性。
2020-02-25 cs.CV cs.LG stat.ML
Data-Free Group-Wise Fully Quantized Winograd Convolution via Learnable Scales
Arm Inc.（安谋科技公司）
提出无数据微调Winograd变换矩阵缩放参数的分组全量化方法，解决扩散模型全量化Winograd卷积质量损失问题，实现近无损8位量化并提升图像分类精度。
2025-04-01 cs.AI cs.CV cs.LG
Jointly Sparse Convolutional Neural Networks in Dual Spatial-Winograd Domains
Samsung Semiconductor Inc.（三星半导体公司）
我们考虑深度卷积神经网络（CNN）的优化，使得它们提供良好的性能，同时如果部署在具有空间域卷积的传统系统或为Winograd卷积设计的较低复杂性系统上，则具有降低的复杂性。所提出的框架产生一个压缩模型，其卷积滤波器可以在空间域或Winograd域中稀疏。因此，压缩模型可以在任何平台上通用部署，而无需在部署的平台上重新训练。为了获得更好的压缩比，稀疏模型在具有较少数量的参数的空间域中被压缩。从我们的实验中，我们获得了在ImageNet数据集上训练的ResNet-18和AlexNet的$24.2\times$和$47.7\times$压缩模型，同时它们的计算成本也分别被$4.5\times$和$5.1\times$降低。
2019-02-21 cs.CV cs.LG cs.NE
Winograd Algorithm for AdderNet
Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）；Peking University（北京大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
加法神经网络（AdderNet）是一种新型的深度模型，它在保持高性能的同时，用加法代替卷积中的大量乘法运算。由于加法运算的硬件复杂度远低于乘法运算，因此总体能耗显著降低。为了进一步优化使用AdderNet的硬件开销，本文研究了Winograd算法，这是一种广泛使用的快速卷积加速算法，可以节省计算开销。不幸的是，传统的Winograd算法不能直接应用于AdderNets，因为乘法中的分配律对l1范数无效。因此，我们用加法代替Winograd方程中的逐元素乘法，然后开发一组新的变换矩阵，可以增强输出特征的表示能力，以保持性能。此外，我们提出了l2-to-l1的训练策略，以减轻形式不一致所造成的负面影响。在FPGA和基准测试平台上的实验结果表明，新方法在不影响原AdderNet精度的前提下，进一步降低了能量消耗。
2021-05-12 cs.CV cs.LG cs.NE
NOVA: Discovering Well-Conditioned Winograd Transforms through Numerical Optimization of Vandermonde Arithmetic
Independent Researcher（独立研究者）
NOVA通过数值优化发现稳定的分数Winograd变换，显著提升F(8,3)的条件数，使FP16图像识别准确率恢复至75-78%，无需重新训练。
2025-12-20 cs.CV cs.LG
Towards the effectiveness of Deep Convolutional Neural Network based Fast Random Forest Classifier
Utkal University（乌特卡尔大学）
深度学习被认为是机器学习研究领域中一个相当年轻的领域，发现其在处理复杂但高维的数据集方面的有效性，这些数据集包括但不限于图像，文本和语音等，具有多层次的表示和抽象。由于各种研究人员对这些数据集进行了大量的研究，因此赢得它们需要大量的关注。仔细设置深度学习参数是至关重要的，以避免过度拟合，这与具有有限参数设置的传统方法不同。深度卷积神经网络（DCNN）是一种有效的机器学习方法，它具有多层结构和适当的设置，可以在很大程度上优于传统方法。然而，由于其在学习中的缓慢采用，在特征选择过程中也总是有机会过拟合，这可以通过采用称为dropout的正则化方法来解决。快速随机森林（FRF）是一种功能强大的集成分类器，特别是当数据集有噪声以及属性数量与实例数量相比较大时，如生物信息学数据集的情况。几个公开可用的生物信息学数据集，手写数字识别和图像分割数据集被认为是所提出的方法进行评估。所提出的基于DCNN的特征选择与FRF分类器在高维数据集上获得的优异性能使其与现有技术相比成为快速和准确的分类器。
2016-09-28 cs.CV
Malleable 2.5D Convolution: Learning Receptive Fields along the Depth-axis for RGB-D Scene Parsing
Peking University（北京大学）；The Chinese University of Hong Kong（香港中文大学）
深度数据提供几何信息，可以在RGB-D场景解析任务中带来进展。最近的几项工作提出了RGB-D卷积算子，沿着深度轴构建感受野，以处理像素之间的3D邻域关系。然而，这些方法通过超参数预先定义深度感受野，使得它们依赖于参数选择。在本文中，我们提出了一种新的算子，称为可延展的2.5D卷积学习沿深度轴的感受野。可延展的2.5D卷积具有一个或多个2D卷积内核。我们的方法分配每个像素的内核之一，或没有他们根据其相对的深度差异，和分配过程被制定为一个可微的形式，使它可以通过梯度下降学习。所提出的算子在标准的2D特征图上运行，可以无缝地集成到预先训练的CNN中。我们对两个具有挑战性的RGB-D语义分割数据集NYUDv 2和Cityscapes进行了大量的实验，以验证我们的方法的有效性和泛化能力。
2020-07-18 cs.CV
Compression of Deep Convolutional Neural Networks under Joint Sparsity Constraints
Samsung Semiconductor Inc.（三星半导体有限公司）
我们考虑深度卷积神经网络（CNN）的优化，使得它们提供良好的性能，同时如果部署在利用空间域卷积的传统系统或为Winograd卷积设计的较低复杂度系统上，则具有降低的复杂度。此外，我们探讨了这些网络的通用量化和压缩。特别是，所提出的框架产生一个压缩模型，其卷积滤波器可以在空间域或Winograd域中稀疏。因此，一个压缩模型可以通用地部署在任何平台上，而不需要在部署的平台上重新训练，并且可以利用其卷积滤波器的稀疏性来进一步降低任一域中的复杂度。为了获得更好的压缩比，稀疏模型在具有较少参数的空间域中压缩。从我们的实验中，我们获得了ResNet-18，AlexNet和CT-SRCNN的$24.2\times$，$47.7\times$和$35.4\times$压缩模型，而它们的计算成本也分别被$4.5\times$，$5.1\times$和$23.5\times$降低。
2018-10-29 cs.CV cs.LG cs.NE
Point Cloud Semantic Segmentation using Multi Scale Sparse Convolution Neural Network
Beijing Institute of Technology（北京理工大学）
近年来，随着计算资源和激光雷达的发展，点云语义分割吸引了众多研究者。对于点云的稀疏性，虽然已经有了处理稀疏卷积的方法，但没有考虑多尺度特征。本文提出了基于多尺度稀疏卷积的特征提取模块和基于通道注意力的特征选择模块，并在此基础上构建了点云分割网络框架。通过引入多尺度稀疏卷积，该网络能够基于不同大小的卷积核捕捉到更丰富的特征信息，提高了点云分割的分割效果。在斯坦福大学大规模三维室内空间（S3DIS）数据集和室外空间数据集（SemanticKITTI）上的实验结果表明了该方法的有效性和优越性。
2022-06-30 cs.CV eess.IV
PointPillars Backbone Type Selection For Fast and Accurate LiDAR Object Detection
AGH University of Science and Technology（AGH科技大学）
从LiDAR传感器数据中进行3D目标检测是自动驾驶汽车和无人机背景下的重要课题。在本文中，我们提出的实验结果的影响的骨干选择的深度卷积神经网络的检测精度和计算速度。我们选择了PointPillars网络，其特点是架构简单、速度快、模块化，便于扩展。在实验过程中，我们特别关注检测效率的变化（通过mAP度量测量）和处理一个点云所需的乘加运算总数。我们测试了10种不同的卷积神经网络架构，这些架构广泛用于基于图像的检测问题。对于像MobilenetV 1这样的骨干网，我们以mAP减少1.13%为代价获得了近4倍的加速。另一方面，对于CSPDarknet，我们在mAP增加0.33%的情况下获得了超过1.5倍的加速。因此，我们已经证明，有可能在检测效率略有下降的情况下，显著加快LiDAR点云中的3D物体检测器。当PointPillars或类似算法在嵌入式系统（包括SoC FPGA）中实现时，可以使用该结果。该代码可在https：//github.com/vision-agh/pointpillars\_backbone上获得。
2022-09-30 cs.CV eess.IV
3D human pose estimation with adaptive receptive fields and dilated temporal convolutions
Cornell Tech（康奈尔大学科技校区）
在这项工作中，我们证明了三维姿态估计的感受野可以有效地指定使用光流。我们引入了自适应感受野，这是一种简单有效的方法，可以帮助基于光流推理的姿态估计模型中的感受野选择。我们对比的性能基准国家的最先进的模型上运行的固定的感受野与他们的自适应领域的同行。通过使用减少的感受野，我们的模型可以处理慢动作序列（10倍长），比以正常速度运行的基准模型快23%。计算成本的减少，同时产生的姿态预测精度在0.36%的基准模型。
2020-05-28 cs.CV cs.LG
Deep ensembles based on Stochastic Activation Selection for Polyp Segmentation
Università di Bologna（博洛尼亚大学）；University of Padua（帕多瓦大学）
语义分割具有广泛的应用，从医学图像分析，场景理解，自动驾驶和机器人导航。这项工作涉及医学图像分割，特别是准确的息肉检测和分割在结肠镜检查。已经提出了几种卷积神经网络架构来有效地处理该任务以及在不同尺度输入下分割对象的问题。图像分割的基本架构由编码器和解码器组成：第一个使用卷积滤波器从图像中提取特征，第二个负责生成最终输出。在这项工作中，我们比较了通过改变解码器骨干获得的DeepLab架构的一些变体。我们比较了几种解码器架构，包括ResNet，Xception，EfficentNet，MobileNet，并通过用其他函数替换ReLU激活层来扰动它们的层。由此产生的方法被用来创建深合奏被证明是非常有效的。我们的实验评估表明，我们最好的集成产生良好的分割结果，实现了高评价分数与骰子系数为0.884，平均交集超过联盟（mIoU）为0.818的Kvasir-SEG数据集。为了提高可重复性和研究效率，用于本研究的MATLAB源代码可在GitHub上获得：https://github.com/LorisNanni。
2021-04-07 cs.AI cs.CV
Towards Design Space Exploration and Optimization of Fast Algorithms for Convolutional Neural Networks (CNNs) on FPGAs
Syed Babar Ali School of Science and Engineering (SBASSE), Lahore University of Management Sciences (LUMS)（拉合尔管理科学大学赛义德·巴巴尔·阿里理工学院（SBASSE））；Department of Electrical Engineering, Syed Babar Ali School of Science and Engineering (SBASSE), Lahore University of Management Sciences (LUMS)（拉合尔管理科学大学赛义德·巴巴尔·阿里理工学院电气工程系（SBASSE））；Lahore University of Management Sciences (LUMS)（拉合尔管理科学大学（LUMS））；Department of Electrical Engineering（电气工程系）
卷积神经网络（CNN）在计算机视觉和图像处理领域中得到了广泛的应用。由于CNN的巨大计算需求，正在探索专用的基于硬件的实现以提高其性能。诸如现场可编程门阵列（FPGA）的硬件平台被广泛用于为此目的设计并行架构。在本文中，我们分析了Winograd最小滤波或快速卷积算法，以降低CNN卷积层的算法复杂度。我们探索一个复杂的设计空间，以找到一组参数，从而提高吞吐量和功率效率。我们还设计了一个流水线和并行Winograd卷积引擎，提高了吞吐量和功率效率，同时降低了整个系统的计算复杂度。我们提出的设计显示高达4.75 $\times$和1.44 $\times$的吞吐量和功率效率的改善，分别相比，国家的最先进的设计，同时使用约2.67 $\times$更多的乘法器。此外，我们获得的节省高达53.6%的逻辑资源相比，国家的最先进的实现。
2019-03-05 cs.CV eess.IV eess.SP
MEC: Memory-efficient Convolution for Deep Neural Network
IBM T. J. Watson Research Center（IBM T. J. Watson 研究中心）
卷积是现代深度神经网络中的关键组成部分，因此已经开发了几种卷积算法。直接卷积是简单的，但遭受较差的性能。作为替代方案，已经提出了多种间接方法，包括基于im 2col的卷积、基于FFT的卷积或基于Winograd的算法。然而，所有这些间接方法都有很高的内存开销，这会导致性能下降，并在性能和内存消耗之间提供了很差的权衡。在这项工作中，我们提出了一个内存有效的卷积或MEC与紧凑的降低，这大大减少了内存开销，加快卷积过程。MEC以简单而有效/紧凑的方式降低输入矩阵（即，少得多的存储器开销），然后并行执行多个小矩阵乘法以完成卷积。此外，减少的内存占用提高了内存子系统的效率，从而提高了性能。我们的实验结果表明，MEC减少了内存消耗显着与良好的加速比在移动和服务器平台上，与其他间接卷积算法相比。
2017-06-21 cs.CV cs.LG
Face Recognition with Hybrid Efficient Convolution Algorithms on FPGAs
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；T. J. Watson Research Center, IBM（IBM T.J.沃森研究中心）；Inspirit IoT, Inc（英思普瑞特物联网公司）
深度卷积神经网络已经成为解决关键人工智能任务的瑞士刀。然而，由于CNN的复杂性，为延迟关键型任务部署深度CNN模型仍然具有挑战性。近年来，FPGA以其高并行处理能力和高能效成为加速深度CNN的有利器件。在这项工作中，我们探索了不同的快速卷积算法，包括Winograd和快速傅立叶变换（FFT），并找到了一个最佳策略，将它们一起应用于不同类型的卷积。我们还提出了一个优化方案，以利用新的CNN架构，如在GoogLeNet的Inception模块的并行性。我们实现了一个可配置的基于IP的人脸识别加速系统的基础上FaceNet使用高级综合。我们在Xilinx Ultrascale设备上的实现实现了与高端NVIDIA GPU相比3.75倍的延迟加速，并大大超过了以前的FPGA结果。
2018-03-23 cs.CV cs.DC
cltorch: a Hardware-Agnostic Backend for the Torch Deep Neural Network Library, Based on OpenCL
ASAPP（ASAPP公司）
本文介绍了cltorch，火炬神经网络框架的硬件无关的后端。cltorch支持在来自不同硬件供应商（包括AMD、NVIDIA和Intel）的GPU上训练深度神经网络。cltorch包含足够的实现来运行AlexNet、VGG、Overfeat和GoogleNet等模型。它是使用OpenCL语言编写的，OpenCL是一种便携式计算语言，由Khronos Group管理。cltorch是Chintala的convnet-benchmarks页面上排名第一的硬件无关机器学习框架。本文介绍了在为Torch创建cltorch后端时遇到的技术挑战，并详细介绍了与快速实现硬件无关的挑战。卷积层被认为是加速硬件不可知框架的关键领域。确定了加速卷积实现的可能方法，包括：使用implicitgemm或winograd算法实现卷积，使用适用于与卷积算法相关联的几何形状的GEMM实现，或使用可插拔的硬件特定卷积实现。
2016-06-15 cs.CV cs.NE
Deep Tensor Convolution on Multicores
三维内核的深度卷积神经网络（ConvNets）允许时空特征的联合建模。这些网络提高了视频和体积图像分析的性能，但由于GPU硬件的内存上限较低，因此在大小上受到限制。现有的CPU实现克服了这一限制，但速度慢得不切实际。在这里，我们扩展和优化更快的Winograd类卷积算法的$N$维的情况下，特别是CPU硬件。首先，我们消除了手工手工制作算法的需要，利用宽松的约束和廉价的稀疏访问CPU内存。其次，我们通过将数据矩阵转换为缓存感知的AVX向量宽度的整数倍，最大限度地提高CPU利用率和多核可扩展性。将二维ConvNets视为我们方法的特殊（和最不利）情况，我们证明了与以前的最先进技术相比，吞吐量提高了5到25倍。
2017-06-11 cs.CV cs.DC cs.NE
Caffeinated FPGAs: FPGA Framework For Convolutional Neural Networks
University of Toronto（多伦多大学）；University of Guelph（圭尔夫大学）
卷积神经网络（CNN）在机器学习领域获得了巨大的吸引力，特别是由于其在视觉识别中的高准确性。最近的工作推动了CNN的GPU实现的性能，以显着改善其分类和训练时间。通过这些改进，许多框架已经可以在CPU和GPU上实现CNN，而不支持FPGA实现。在这项工作中，我们提出了一个修改版本的流行的CNN框架咖啡馆，FPGA的支持。这允许使用CNN模型和专用FPGA实现进行分类，并具有必要时重新编程器件的灵活性、主机和器件之间的无缝内存事务、易于使用的测试台以及创建流水线层实现的能力。为了验证该框架，我们使用Xilinx SDAccel环境来实现基于FPGA的Winograd卷积引擎，并表明FPGA层可以与主机处理器上运行的其他层一起使用，以运行几种流行的CNN（AlexNet，GoogleNet，VGG A，Overfeat）。结果表明，我们的框架在基准测试中的3x3卷积上实现了50 GFLOPS。这是在一个实用的框架内实现的，这将有助于基于FPGA的CNN的未来发展。
2016-09-30 cs.CV cs.DC
2D or not 2D? Adaptive 3D Convolution Selection for Efficient Video Recognition
University of Maryland（马里兰大学）；Fudan University（复旦大学）
3D卷积网络在视频识别中很流行。虽然在标准基准上实现了出色的识别性能，但它们对具有3D卷积的帧序列进行操作，因此计算要求很高。利用不同视频之间的巨大差异，我们引入了Ada 3D，这是一个条件计算框架，可以学习特定于实例的3D使用策略，以确定要在3D网络中使用的帧和卷积层。这些政策是由一个双头轻量级选择网络的条件下，每个输入的视频剪辑。然后，只有由选择网络选择的帧和卷积才会在3D模型中使用以生成预测。选择网络使用策略梯度方法进行优化，以最大化奖励，从而鼓励以有限的计算做出正确的预测。我们在三个视频识别基准上进行了实验，并证明了我们的方法可以达到与最先进的3D模型相似的精度，同时在不同的数据集上减少20%-50%的计算量。我们还表明，学习的政策是可转移的，Ada 3D是兼容不同的骨干和现代剪辑选择方法。我们的定性分析表明，我们的方法分配较少的3D卷积和帧的“静态”输入，但使用更多的运动密集型剪辑。
2021-04-29 cs.CV
How intelligent are convolutional neural networks?
Siemens Medical Solutions USA, Inc.（西门子医疗解决方案美国公司）
受完形模式理论和Winograd语言理解挑战赛的启发，我们设计了合成实验来研究深度学习算法从示例中推断简单（至少对人类来说）视觉概念（如对称性）的能力。视觉概念由随机生成的正面和负面示例图像表示。然后，我们测试算法（和人类）从这些图像中学习概念的能力和速度。训练和测试是在多轮中逐步进行的，随后的每一轮都故意设计得比前一轮更复杂和混乱，特别是如果学习者没有掌握概念。然而，如果这个概念被理解，所有故意的测试都会变得简单。我们的实验表明，人类通常可以在只看很少数量的例子后快速推断出语义概念（这通常被称为“啊哈时刻”：突然意识到的时刻），并且在所有测试回合中都表现完美（除了粗心的错误）。相反，深度卷积神经网络（DCNN）可以在统计上近似一些概念，但只有在看到更多（x10^4）的例子之后。它仍然会犯明显的错误，特别是在故意的测试回合或训练分布之外的样本上。这表明缺乏真正的“理解”，或者未能达到正确的语义“公式”。我们确实发现有些概念对于DCNN来说比其他概念更容易。例如，简单的“计数”比“对称性”更容易学习，而“一致性”或“一致性”对于DCNN来说更难学习。最后，我们提出了一个“啊哈挑战”的视觉感知，呼吁集中和定量研究完形风格的机器智能使用有限的训练样本。
2017-10-31 cs.CV
SelectionConv: Convolutional Neural Networks for Non-rectilinear Image Data
Brigham Young University（杨百翰大学）
卷积神经网络彻底改变了视觉应用。然而，有一些图像域和表示不能由标准CNN处理（例如，球形图像、超像素）。这些数据通常使用专门针对每种类型的网络和算法进行处理。在这项工作中，我们表明，它可能并不总是需要使用专门的神经网络在这样的空间上操作。相反，我们引入了一个新的结构化图卷积算子，它可以复制2D卷积权重，将已经训练好的传统CNN的能力转移到我们的新图网络中。然后，该网络可以对任何可以表示为位置图的数据进行操作。通过将非直线数据转换为图形，我们可以在这些不规则图像域上应用这些卷积，而无需在大型特定领域数据集上进行训练。传输预训练的图像网络进行分割，风格化和深度预测的结果被证明为各种这样的数据形式。
2022-07-18 cs.CV
Automatic Rank Selection for High-Speed Convolutional Neural Network
Korea Advanced Institute of Science and Technology（韩国高等科学技术院）
低秩分解在加速卷积神经网络（CNN）中起着核心作用，而分解后的核张量的秩是决定神经网络复杂度和精度的关键参数。在本文中，我们将秩选择定义为一个组合优化问题，并提出了一种方法，以最大限度地减少网络的复杂性，同时保持所需的精度。由于搜索空间的限制，组合优化是不可行的。为了限制搜索空间并获得最优秩，我们定义了带有边界条件的空间约束参数。我们还提出了一个线性近似的精度函数来预测优化的CNN模型在降低成本期间的微调精度。在AlexNet和VGG-16上的实验结果表明，该算法满足精度约束。我们的方法与截断SVD相结合，在推理和训练时间方面优于最先进的方法，精度几乎相同。
2018-06-29 cs.CV
Feature Selection Convolutional Neural Networks for Visual Tracking
现有的基于CNN（卷积神经网络）的跟踪方法虽然具有很好的跟踪精度，但由于速度太慢，难以实时应用。此外，神经网络是内存密集型的，这将占用大量的硬件资源。提出了一种基于CNN的MDNet（Multi-Domain Network）和RoIAlign的特征选择视觉跟踪算法。我们发现卷积层的特征图中有很多冗余。因此，通过互信息选择有效的特征图，而放弃其他特征图，从而降低了网络的复杂度和计算量，并且不影响精度。MDNet的主要问题还在于时间效率。考虑到MDNet的计算复杂性主要是由跟踪过程中大量的卷积运算和网络微调引起的，增加了一个可以在整个图像上进行卷积的RoIAlign层来加速卷积，而不是每个RoI，并使用一种新的微调全连接层的策略来加速更新。采用RoIAlign后，计算速度有所提高，并且比RoIPool显示出更高的精度。因为RoIAlign可以通过双线性插值处理浮点数坐标。这些策略可以加速处理，降低复杂性，对精度的影响非常小，并且可以以大约10 fps的速度运行（而MDNet的速度大约为1 fps）。所提出的算法已被评估的基准：OTB 100，在其上已获得高精度和速度。
2018-11-09 cs.CV
A Genetic Algorithm based Kernel-size Selection Approach for a Multi-column Convolutional Neural Network
Jalpaiguri Govt. Engineering College（贾尔派古里政府工程学院）；The Ohio State University（俄亥俄州立大学）；Jadavpur University（贾达普大学）
基于深度神经网络的架构在包括模式识别在内的各个领域都给出了有希望的结果。找到这种大尺寸架构的超参数的最佳组合是繁琐的，需要大量的实验室实验。但是，为给定的深度学习架构确定超参数或适当内核大小的最佳组合始终是一项具有挑战性且繁琐的任务。在这里，我们引入了一种基于遗传算法的技术，以减少寻找基于卷积神经网络的架构的超参数（内核大小）的最佳组合的工作量。该方法进行了评估不同的手写孟加拉字符和数字的三个流行的数据集。拟议方法的实施情况见以下链接：https://github.com/DeepQn/GA-Based-Kernel-Size。
2020-03-16 cs.CV
Interpolation between Convolution and Attention via K-Nearest Neighbors
Bowdoin College（博德因学院）
提出ConvNN统一框架，将卷积和自注意力视为K近邻聚合的特例，通过可配置的相似度函数和邻居选择策略实现局部与全局聚合的连续插值。
2026-06-16 cs.CV
Gated Multi-layer Convolutional Feature Extraction Network for Robust Pedestrian Detection
Imperial College London（帝国理工学院）
随着深度卷积神经网络的发展，行人检测方法得到了显著改进。然而，鲁棒地检测具有较大尺寸变化和遮挡的行人仍然是一个具有挑战性的问题。在本文中，我们提出了一种门控多层卷积特征提取方法，可以自适应地产生候选行人区域的判别特征。提出的门控特征提取框架由挤压单元、门单元和级联层组成，它们分别执行来自多个CNN层的特征维度挤压、特征元素操作和卷积特征组合。我们提出了两种不同的门模型，可以操纵的区域特征图在通道明智的选择方式和空间明智的选择方式，分别。在具有挑战性的CityPersons数据集上的实验证明了该方法的有效性，特别是在检测小尺寸和遮挡行人方面。
2019-12-18 cs.CV
Training Multi-organ Segmentation Networks with Sample Selection by Relaxed Upper Confident Bound
Johns Hopkins University（约翰斯·霍普金斯大学）；Huazhong University of Science and Technology（华中科技大学）；Shanghai University（上海大学）；The Johns Hopkins University School of Medicine（约翰斯·霍普金斯大学医学院）
深度卷积神经网络（CNN），特别是全卷积网络，已经被广泛应用于自动医学图像分割问题，例如，多器官分割现有的基于CNN的分割方法主要集中在寻找越来越强大的网络架构，但很少关注更有效地训练网络的数据采样策略。在本文中，我们提出了一个简单而有效的样本选择方法来训练多器官分割网络。样本选择表现出一种开发-探索策略，即，利用硬样本和探索不太频繁访问的样本。基于非常困难的样本可能有注释错误的事实，我们提出了一个新的样本选择策略，命名为放松置信上限（RUCB）。与其他样本选择策略相比，置信上限（UCB），它利用了一系列硬样本，而不是被一小部分非常硬的样本卡住，这减轻了训练过程中注释错误的影响。我们将这种新的样本选择策略应用于在包含120个腹部CT扫描的数据集上训练多器官分割网络，并表明它显着提高了分割性能。
2018-04-07 cs.CV
Consistent Relative Confidence and Label-Free Model Selection for Convolutional Neural Networks
Research Center for Applied Mathematics and Machine Intelligence（应用数学与机器智能研究中心）；Zhejiang Lab（之江实验室）
在本文中，我们关注的是使用深度卷积神经网络（CNN）进行图像分类。我们关注以下问题：给定一组候选CNN模型，如何为当前任务选择具有最佳泛化性能的正确模型？当前的模型选择方法都需要访问一批标记数据来计算预先指定的性能度量，例如交叉熵损失、分类出错率和负对数似然。在许多实际情况下，标签无法及时提供，因为标签本身是一项耗时且昂贵的任务。为此，我们提出了一种仅使用未标记数据的CNN模型选择方法。我们开发这种方法的基础上的原则称为一致的相对置信度。在基准数据集上的实验结果证明了该方法的有效性和效率。
2022-05-31 cs.CV cs.LG
Deep Sparse Band Selection for Hyperspectral Face Recognition
West Virginia University（西弗吉尼亚大学）
高光谱成像系统收集和处理来自电磁光谱中特定波长的信息。可见光谱中的多光谱带的融合已经被利用来改善所有常规宽带人脸图像的人脸识别性能。在本书的这一章中，我们提出了一个新的卷积神经网络（CNN）框架，该框架采用结构稀疏学习技术来选择最佳光谱带，以获得所有光谱带上的最佳人脸识别性能。具体来说，在这种方法中，来自所有波段的图像都被馈送到CNN，然后通过采用组Lasso算法来正则化CNN第一层中的卷积滤波器，以在网络训练期间将冗余波段归零。与通常手动或以贪婪方式选择有用波段的其他方法相反，我们的方法自动选择最佳光谱波段，以在所有光谱波段上实现最佳的人脸识别性能。此外，实验结果表明，我们的方法优于国家的最先进的波段选择方法的人脸识别几个公开可用的高光谱人脸图像数据集。
2019-08-15 cs.CV
Fast and Reliable Architecture Selection for Convolutional Neural Networks
Aptiv（安波福）；University of Wuppertal（伍珀塔尔大学）
卷积神经网络（CNN）的性能取决于其超参数，例如层数，内核大小或学习率。特别是在计算资源有限的小型网络和应用中，优化是关键。我们提出了一种快速有效的方法来选择CNN架构。考虑到时间消耗，精度和鲁棒性，我们开发了一个启发式快速，可靠地评估网络的性能。结合贝叶斯优化（BO），以有效地覆盖广阔的参数空间，我们的贡献提供了一个简单而强大的架构搜索这种机器学习技术。
2019-05-06 cs.CV cs.LG
Band Attention Convolutional Networks For Hyperspectral Image Classification
Harbin Institute of Technology（哈尔滨工业大学）
高光谱图像的波段中存在着冗余和噪声。因此，能够从数百个输入波段中选择合适的部分用于HSI分类方法是一个很好的特性。在这封信中，波段注意模块（BAM）提出了实现深度学习的HSIs分类与波段选择或加权的能力。提出的BAM可以被看作是现有分类网络的即插即用的补充组件，其充分考虑了当使用卷积神经网络（CNN）进行HSI分类时由频带冗余引起的不利影响。与HSI中使用的大多数深度学习方法不同，根据高光谱图像的特点定制的波段注意模块被嵌入到普通CNN中，以获得更好的性能。同时，与经典的频带选择或加权方法不同，该方法实现了端到端的训练，而不是分离的阶段。在两个HSI基准数据集上进行了实验。与经典和先进的深度学习方法相比，在不同评价标准下的数值仿真结果表明，该方法具有良好的性能。最后但并非最不重要的是，一些先进的CNN与所提出的BAM相结合，以获得更好的性能。
2019-06-11 cs.CV
Hyperspectral Band Selection for Multispectral Image Classification with Convolutional Networks
Montana State University（蒙大拿州立大学）
近年来，高光谱成像（HSI）已成为遥感、农业和生物医学等应用中可靠数据的强大来源。然而，高光谱图像是高度数据密集的，并且通常受益于减少光谱带数量的方法，同时保留对特定应用最有用的信息。我们提出了一种新的波段选择方法来选择一组减少的波长，从HSI系统中获得的图像分类的上下文中。我们的方法包括两个主要步骤：第一个是利用基于滤波器的方法，找到相关的光谱带的基础上的共线性分析波段和它的邻居。这种分析有助于去除冗余频带，并大大减少搜索空间。第二步应用基于包装器的方法来基于其信息熵值从缩减集中选择频带，并训练紧凑的卷积神经网络（CNN）来评估当前选择的性能。我们目前从我们的方法获得的分类结果，并将它们与其他两个高光谱图像数据集上的特征选择方法进行比较。此外，我们使用原始的高光谱数据立方体来模拟在多光谱成像仪中使用实际滤波器的过程。我们表明，我们的方法产生更合适的多光谱传感器设计的结果。
2021-06-01 cs.CV eess.IV
Band Selection from Hyperspectral Images Using Attention-based Convolutional Neural Networks
Silesian University of Technology（西里西亚工业大学）；KP Labs（KP实验室）
本文介绍了新的注意力为基础的卷积神经网络选择波段的高光谱图像。所提出的方法在不同深度处重复使用卷积激活，在门控机制的帮助下识别频谱中信息量最大的区域。我们的注意力技术是模块化的，易于实现，并且可以使用梯度下降进行端到端的无缝训练。我们严格的实验表明，配备了注意力机制的深度模型可以提供高质量的分类，并反复识别训练数据中的重要波段，从而可以创建保留最有意义特征的精细且极其紧凑的集合。
2020-01-09 cs.CV cs.LG stat.ML
Automatic Mass Detection in Breast Using Deep Convolutional Neural Network and SVM Classifier
University of Girona（赫罗纳大学）
乳腺X线摄影是筛查乳腺癌最广泛使用的金标准，其中肿块检测被认为是突出的步骤。然而，检测乳房中的肿块是一个艰巨的问题，因为它们通常在形状、大小、边界和纹理方面存在很大的差异。在这篇文献中，质量检测的过程是使用深度卷积神经网络（DCNN）的迁移学习技术自动化的。该方法首先采用预训练的VGG 19网络进行特征提取，然后采用Bagged决策树进行特征选择，最后训练支持向量机（SVM）分类器进行肿块和非肿块的分类。ROC曲线下面积（AUC）被选为性能指标，然后在分类器选择和超参数调整期间最大化。在选择性能最好的分类器之前，通过大量的实验研究了两种选定类型的分类器C-SVM和\u{psion} -SVM的鲁棒性。本文中的所有实验都使用INbreast数据集进行。从实验结果获得的最佳AUC为0.994 +/- 0.003，即[0.991，0.997]。我们的研究结果得出结论，通过使用预训练的VGG 19网络，可以从乳房X线照片中提取高级别的独特特征，当与所提出的SVM分类器一起使用时，能够鲁棒地区分乳房中存在的肿块和非肿块。
2019-07-09 cs.CV
Detecting Ground Control Points via Convolutional Neural Network for Stereo Matching
Xiamen University（厦门大学）
本文提出了一种新的方法来检测地面控制点（GCPs）的立体匹配问题。首先，我们训练一个卷积神经网络（CNN）在一个大的立体集，并通过使用训练的CNN模型计算每个像素的匹配置信度。其次，提出了一种基于最大匹配置信度的地面控制点选取方法。最后，我们使用选定的GCPs来细化匹配成本，并应用新的匹配成本进行半全局匹配算法的优化，以改善最终的视差图。我们在KITTI 2012立体基准数据集上评估了我们的方法。实验结果表明，该方法显著提高了视差图的精度。
2016-05-08 cs.CV
Skeleton-Based Online Action Prediction Using Scale Selection Network
Nanyang Technological University（南洋理工大学）；Chalmers University of Technology（查尔姆斯理工大学）；Alibaba Group（阿里巴巴集团）；Peking University（北京大学）
动作预测是指当一个正在进行的活动只有一部分被观察到时，识别出它的类标签。在本文中，我们专注于在线动作预测流3D骨架序列。通过在时间轴上的滑动窗口，引入了一个扩展的卷积网络来模拟时间维度上的运动动力学。由于在不同的时间步正在进行的动作的观察部分有显着的时间尺度变化，提出了一种新的窗口尺度选择方法，使我们的网络专注于正在进行的动作的执行部分，并试图抑制可能的传入干扰，从以前的动作在每一步。还提出了一种激活共享方案来处理相邻时间步之间的重叠计算，这使得我们的框架能够更有效地运行。此外，为了提高我们的框架与骨架输入数据的动作预测的性能，扩张树卷积的层次结构也被设计为学习在每个帧的骨架关节的多级结构化语义表示。我们提出的方法进行了评估，四个具有挑战性的数据集。大量的实验表明，我们的方法的有效性，基于神经网络的在线动作预测。
2019-04-03 cs.CV
Improve Convolutional Neural Network Pruning by Maximizing Filter Variety
UMONS（蒙斯大学）；Telecom SudParis（南巴黎电信学院）；IP Paris（巴黎理工学院）
神经网络剪枝是一种广泛使用的减少模型存储和计算需求的策略。它允许通过在权重中引入稀疏性来降低网络的复杂性。由于利用稀疏矩阵仍然具有挑战性，因此修剪通常以结构化的方式执行，即根据选定的修剪标准，在ConvNets的情况下删除整个卷积滤波器。常见的修剪标准，如l1范数或运动，通常不考虑过滤器的个体效用，这可能导致：（1）删除表现出罕见的，因此重要的和有区别的行为的过滤器，以及（2）保留具有冗余信息的过滤器。在本文中，我们提出了一种技术解决这两个问题，并可以附加到任何修剪标准。这种技术确保选择标准集中在冗余过滤器上，同时保留罕见的过滤器，从而最大限度地增加剩余过滤器的种类。在不同的数据集（CIFAR-10，CIFAR-100和CALTECH-101）和使用不同的架构（VGG-16和ResNet-18）进行的实验结果表明，当将我们的过滤器选择技术附加到修剪标准时，可以实现类似的稀疏水平，同时保持更高的性能。此外，我们通过应用彩票假说来评估所发现的稀疏子网络的质量，并发现在大多数情况下，我们的方法的加入可以发现性能更好的门票
2022-03-11 cs.CV
Structured Weight Priors for Convolutional Neural Networks
University of Cambridge（剑桥大学）
选择适合于任务（例如图像数据的卷积）的架构先验对于深度神经网络（NN）的成功至关重要。相反，这些架构内的权重先验通常是模糊的，例如，独立的高斯分布，这导致了对贝叶斯深度学习效用的争论。本文探讨了在权重先验中增加结构的好处。它首先考虑卷积NN的第一层滤波器，基于随机Gabor滤波器设计先验。其次，它考虑通过估计每个隐藏特征与每个类的关系来为最终层权重的先验增加结构。实证结果表明，这些结构化的权重先验导致更有意义的功能先验的图像数据。这有助于正在进行的关于权重先验重要性的讨论。
2020-07-12 cs.CV
ESKNet-An enhanced adaptive selection kernel convolution for breast tumors segmentation
Nankai University（南开大学）；Tianjin Medical University（天津医科大学）；PLA General Hospital（解放军总医院）；Civil Aviation General Hospital（民航总医院）
针对乳腺超声肿瘤形状尺寸多变导致分割困难的问题，提出融合多区域表示并进行通道与空间自适应重校准的增强选择核卷积，嵌入深度监督 U-net，在三个公开数据集上优于12种现有方法。
2024-01-20 cs.CV eess.IV
Understanding the hand-gestures using Convolutional Neural Networks and Generative Adversial Networks
Boston University（波士顿大学）
本文介绍了一个实时的识别字符的手势识别系统。该系统由实时手势跟踪、手势训练和基于卷积神经网络的手势识别三个模块组成。利用Camshift算法和手部斑点分析进行手部跟踪，得到运动描述符和手部区域。该算法对背景聚类具有较好的鲁棒性，并利用肤色信息进行手势跟踪和识别。此外，已经提出的技术，以提高识别的性能和准确性，使用的方法，如选择的训练图像和自适应阈值手势，以消除非手势模式，这有助于有资格的输入模式作为手势。在实验中，对包括字母和数字在内的36个手势词汇进行了测试，结果表明了该方法的有效性。
2020-11-10 cs.CV
Improving Masked Style Transfer using Blended Partial Convolution
East Carolina University（东卡罗来纳大学）
本文提出基于部分卷积的风格迁移网络，精准应用于目标区域，并通过内部混合技术弥补区域选择的不完美，提升视觉和量化效果。
2025-08-07 cs.CV
DR2S : Deep Regression with Region Selection for Camera Quality Evaluation
LTCI, Télécom Paris, Institut polytechnique de Paris（法国巴黎高等电信学院LTCI实验室、法国巴黎综合理工学院（巴黎高等电信学院））；DXOMARK（DXOMARK公司）；Télécom Paris（巴黎高等电信学院）；Institut polytechnique de Paris（巴黎综合理工学院）；LTCI（LTCI实验室）；DXOMARK Boulogne-Billancourt（DXOMARK公司布洛涅-比扬古分部）
在这项工作中，我们解决的问题，估计相机的能力，以保持在给定的照明条件下的纹理细节。重要的是，我们的纹理保留测量应该与人类感知一致。因此，我们将问题表述为回归问题，并引入深度卷积网络来估计纹理质量分数。在训练时，我们使用专家人工注释器提供的地面实况质量分数，以获得主观质量度量。此外，我们提出了一个区域选择方法来识别更适合测量感知质量的图像区域。最后，我们的实验评估表明，我们的基于学习的方法优于现有的方法，我们的区域选择算法不断提高质量估计。
2020-09-21 cs.CV
Budget-aware Few-shot Learning via Graph Convolutional Network
ShanghaiTech University（上海科技大学）
本文解决了少样本学习的问题，其目的是从几个例子中学习新的视觉概念。在Few-Shot分类中，通常采用随机抽样的方法来获取数据标签，这在实际应用中是低效的。在这项工作中，我们引入了一个新的感知少样本学习问题，不仅旨在学习新的对象类别，而且还需要选择信息丰富的例子进行注释，以实现数据效率。我们开发了一个元学习策略，我们的感知少样本学习任务，共同学习一种新的数据选择策略的基础上图卷积网络（GCN）和基于示例的Few-Shot分类器。我们的选择策略通过图消息传递为每个未标记的数据计算上下文敏感的表示，然后用于预测顺序选择的信息性得分。我们通过在mini-ImageNet、tiered-ImageNet和Omniglot数据集上进行的大量实验来验证我们的方法。结果表明，我们的少样本学习策略比基线有相当大的优势，这证明了我们方法的有效性。
2022-01-07 cs.CV cs.LG
Comparisons among different stochastic selection of activation layers for convolutional neural networks for healthcare
University of Padua（帕多瓦大学）；Università di Bologna（博洛尼亚大学）
生物图像的分类是一项重要的任务，在许多领域具有重要的应用，例如细胞表型识别，细胞器检测和组织病理学分类，并且它可能有助于早期医学诊断，允许自动疾病分类而不需要人类专家。在本文中，我们分类生物医学图像使用集成的神经网络。我们使用ResNet 50架构创建了这个集成，并通过用其他函数替换ReLU来修改其激活层。我们在以下几种中选择我们的激活：ReLU，leaky ReLU，Parametric ReLU，ELU，Adaptive Piecewice Linear Unit，S-Shaped ReLU，Swish，Mish，Mexican Linear Unit，Gaussian Linear Unit，Parametric Deformable Linear Unit，Soft Root Sign（SRS）等。作为基线，我们使用了一个只使用ReLU激活的神经网络集合。我们在几个中小型生物医学图像数据集上测试了我们的网络。我们的结果证明，我们的最好的合奏获得了更好的性能比天真的方法。为了鼓励这项工作的可重复性，所有实验的MATLAB代码将在https://github.com/LorisNanni上共享。
2020-11-24 cs.AI cs.CV
COVID-19 detection using deep convolutional neural networks and binary-differential-algorithm-based feature selection on X-ray images
Payame Noor University（帕亚米努尔大学）；University of Tabriz（大不里士大学）
新型冠状病毒正在迅速蔓延，迄今已夺走许多人的生命。该病毒对人的肺部有破坏作用，早期发现非常重要。深度卷积神经网络是图像分类的强大工具。因此，本文提出了一种基于深度网络的混合方法。通过对图像应用深度卷积神经网络来提取特征向量，并通过二进制差分元启发式算法来选择有用的特征。这些优化的特征被赋予SVM分类器。考虑了由1092个X射线样本中包含的COVID-19、肺炎和健康等三类图像组成的数据库。该方法的准确性为99.43%，敏感性为99.16%，特异性为99.57%。我们的研究结果表明，所提出的方法优于最近关于使用X射线图像检测COVID-19的研究。
2021-10-05 cs.CV cs.LG eess.IV
A convolutional neural network deep learning method for model class selection
University of Southampton（南安普顿大学）
本文提出一种一维卷积神经网络方法，仅利用单自由度响应即可在无输入信息和完整系统辨识条件下实现模型类别选择，并可结合卡尔曼滤波增强，适用于线性和非线性系统及三维建筑模型的结构健康监测。
2025-10-30 cs.AI cs.CV cs.LG
A New Compensatory Genetic Algorithm-Based Method for Effective Compressed Multi-function Convolutional Neural Network Model Selection with Multi-Objective Optimization
近年来，出现了许多流行的卷积神经网络（CNN），例如Google的Inception-V4，它们在各种图像分类问题上表现得非常好。这些常用的CNN模型通常对卷积层中的所有神经元使用相同的激活函数，例如CCN U;它们是“单函数CNN”。“然而，SCNN可能并不总是最佳的。因此，对于不同的神经元使用不同的激活函数的“多功能CNN”（MCNN）已经被证明优于SCNN。此外，CNN通常具有非常大的架构，使用大量内存，需要大量数据才能进行良好的训练。因此，它们往往也有很高的训练和预测时间。一个重要的研究问题是如何自动和有效地找到最好的CNN与高的分类性能和紧凑的架构，高的训练和预测速度，低功耗，和小内存大小的任何图像分类问题。从大量的候选MCNN中智能地找到有效、快速、节能和节省内存的“压缩多功能CNN”（CMCNN）是非常有用的。一种新的补偿算法，使用一种新的遗传算法（GA）的创建，以找到最好的CMCNN与性能和架构大小之间的理想补偿。最优的CMCNN具有最好的性能和最小的架构尺寸。使用CIFAR 10数据集进行的模拟表明，新的补偿算法可以找到在分类性能（F1分数），速度，功耗和内存使用方面优于非压缩MCNN的CMCNN。基于流行的CNN架构的其他有效、快速、节能和内存高效的CMCNN将被开发用于重要的现实世界应用中的图像分类问题，例如脑信息学和生物医学成像。
2019-06-08 cs.CV cs.NE
Guided Feature Selection for Deep Visual Odometry
Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）；Beijing Changcheng Aviation Measurement and Control Institute（北京长城航空测控技术研究所）
我们提出了一种新的端到端的视觉里程计架构与指导特征选择的基础上深度卷积递归神经网络。不同于目前的单目视觉里程计方法，我们的方法是建立在直觉上，功能有助于区分不同的运动模式。具体来说，我们提出了一个双分支递归网络，分别利用当前的卷积神经网络（CNN）的特征表示和递归神经网络（RNN）的图像序列推理学习旋转和平移。为了提高特征选择的能力，我们进一步引入了一个有效的上下文感知的指导机制，迫使每个分支提取相关信息，为特定的运动模式明确。实验表明，在流行的KITTI和ICL_NUIM基准测试中，我们的方法在解耦和联合相机姿态恢复方面都优于当前最先进的基于模型和基于学习的方法。
2018-11-25 cs.CV cs.RO
Conditional Deep Convolutional Neural Networks for Improving the Automated Screening of Histopathological Images
University of Pavia（帕维亚大学）
组织病理切片中乳腺癌转移灶的语义分割是一项具有挑战性的任务。事实上，组织病理学图像数据特征的显著变化（域偏移）使得深度学习难以推广到看不见的数据。我们的目标是通过使用条件全卷积网络（co-FCN）来解决这一挑战，该网络的输出可以在运行时进行调节，并且当使用一组适当选择的参考幻灯片来调节输出时，可以提高其性能。我们调整了我们的任务，co-FCN最初应用于体积医学图像中的器官分割，我们在CAMELYON 17数据集中五个医疗中心中的三个的全载玻片图像（WSIs）上训练了它。我们在其余中心的WSI上测试了网络的性能。我们还开发了一种自动选择策略，用于选择条件子集，基于无监督聚类过程应用于一组特定于目标的参考补丁，然后选择策略，依赖于与输入补丁的聚类相似性。我们将我们提出的方法与在相同数据集上训练的U-Net进行了基准测试，没有条件反射。条件网络显示出更好的性能，在WSI与孤立的肿瘤细胞和微转移的医疗中心作为测试的U-网络。我们的贡献是一个架构，可以应用到组织病理学领域和自动化程序的选择条件数据。
2021-05-29 cs.CV eess.IV
Classification of diffraction patterns using a convolutional neural network in single particle imaging experiments performed at X-ray free-electron lasers
Deutsches Elektronen-Synchrotron DESY（德国电子同步加速器中心）；German Cancer Research Center DKFZ（德国癌症研究中心）；National Research Center “Kurchatov Institute”（国家研究中心库尔恰托夫研究所）；National Research Nuclear University MEPhI（国立核研究大学莫斯科工程物理学院）
在X射线自由电子激光（XFEL）下的单粒子成像（SPI）特别适合于确定粒子在其自然环境中的3D结构。为了成功地重建，源自单次撞击的衍射图案必须从大量采集的图案中分离出来。我们建议将此任务制定为图像分类问题，并使用卷积神经网络（CNN）架构解决它。开发了两种CNN配置：一种最大化F1分数，另一种强调高召回率。我们还将CNN与期望最大化（EM）选择以及大小过滤相结合。我们观察到，我们的CNN选择相对于我们以前的工作中使用的EM选择在功率谱密度函数中具有较低的对比度。然而，我们基于CNN的选择的重建给出了类似的结果。将CNN引入SPI实验可以简化重建管道，使研究人员能够对模式进行动态分类，从而使他们能够严格控制实验的持续时间。我们认为，将非标准的基于人工智能（AI）的解决方案引入到一个描述良好的SPI分析工作流程中，可能有利于SPI实验的未来发展。
2021-12-16 cs.CV physics.bio-ph physics.data-an
Convolutional Neural Networks from Image Markers
University of Campinas（坎皮纳斯大学）；Institute of Computing（计算研究所）
最近提出了一种名为从图像标记进行特征学习（FLIM）的技术，用于在没有反向传播的情况下，从用户在非常少的图像上绘制的笔画（例如，1-3)每类，并证明了椰子树图像分类。本文将FLIM扩展到全连通层，并在不同的图像分类问题上进行了演示。这项工作评估了来自多个用户的标记选择以及添加完全连接层的影响。结果表明，基于FLIM的卷积神经网络可以优于通过反向传播从头开始训练的相同架构。
2020-12-15 cs.CV cs.LG
SHAP-Integrated Convolutional Diagnostic Networks for Feature-Selective Medical Analysis
Guilin University of Electronic Technology（桂林电子科技大学）；École de Technologie Supérieure（高等技术学院）
本文提出SHAP集成的卷积诊断网络SICDN，通过可解释特征选择和历史加权移动平均技术，在有限医学数据集上实现超过97%的分类准确率，超越四种流行CNN模型。
2025-03-10 cs.AI cs.CV cs.LG
