Distortion Robust Image Classification using Deep Convolutional Neural Network with Discrete Cosine Transform
Federation University(联邦大学)
卷积神经网络在图像分类方面有很好的应用。然而,它被发现是容易受到图像质量下降。即使是少量的失真,如噪声或模糊,也会严重影响这些CNN架构的性能。文献中的大多数工作都试图通过对相互排斥或联合的扭曲训练数据集微调预训练的CNN来缓解这个问题。这种对所有已知类型失真的迭代微调过程是详尽的,网络很难处理看不见的失真。在这项工作中,我们提出了失真鲁棒的DCT-Net,这是一个基于离散余弦变换的模块,集成到建立在VGG 16之上的深度网络中。与文献中的其他作品不同,DCT-Net在训练和测试过程中对图像中的失真类型和水平都是“盲”的。作为训练过程的一部分,所提出的DCT模块丢弃主要代表高频贡献的输入信息。DCT-Net只进行一次“盲目”训练,并在通用情况下应用,无需进一步的再训练。我们还扩展了传统dropout的思想,并提出了一个训练自适应版本。我们评估了我们提出的方法对高斯模糊,运动模糊,盐和胡椒噪声,高斯噪声和斑点噪声添加到CIFAR-10/100和ImageNet测试集。实验结果表明,一旦训练,DCT网络不仅可以很好地推广到各种看不见的图像失真,而且优于文献中的其他方法。
2020-08-06 cs.CV
Blind Image Quality Assessment Using A Deep Bilinear Convolutional Neural Network
Wuhan University(武汉大学);New York University(纽约大学);University of Waterloo(滑铁卢大学)
我们提出了一种用于盲图像质量评估(BIQA)的深度双线性模型,可以处理合成和真实失真。我们的模型由两个卷积神经网络(CNN)组成,每个卷积神经网络都专注于一种失真场景。对于合成失真,我们预训练一个CNN来分类图像失真类型和水平,在这里我们可以使用大规模的训练数据。对于真实的失真,我们采用预训练的CNN进行图像分类。来自两个CNN的特征被双线性地合并到一个统一的表示中,用于最终的质量预测。然后,我们使用随机梯度下降的变体在目标主题评级数据库上微调整个模型。大量的实验表明,该模型在合成数据库和真实数据库上都取得了优异的性能。此外,我们验证了我们的方法在滑铁卢探索数据库使用组最大差异化竞争的推广。
2019-07-05 cs.CV cs.MM eess.IV
DeepCorrect: Correcting DNN models against Image Distortions
近年来,深度神经网络(DNN)的广泛使用促进了计算机视觉任务(如图像分类和对象识别)性能的极大提高。在大多数现实的计算机视觉应用中,输入图像在图像获取或传输期间经历某种形式的图像失真,诸如模糊和加性噪声。在原始图像上训练的深度网络在测试这种失真时表现不佳。在本文中,我们评估了高斯模糊和加性噪声等图像失真对预训练卷积滤波器激活的影响。我们提出了一个度量来识别最易受噪声影响的卷积滤波器,并按照校正后分类精度的最高增益对它们进行排名。在我们提出的称为DeepCorrect的方法中,我们在这些排名滤波器的输出端应用具有剩余连接的卷积层的小堆栈,并对它们进行训练,以纠正受最严重失真影响的滤波器激活,同时保持网络中其余的预训练滤波器输出不变。性能结果表明,将DeepCorrect模型应用于常见的视觉任务,如图像分类(ImageNet),对象识别(Caltech-101,Caltech-256)和场景分类(SUN-397),显着提高了DNN对失真图像的鲁棒性,并优于其他替代方法。
2019-04-09 cs.CV
Atmospheric Turbulence Removal with Complex-Valued Convolutional Neural Network
University of Bristol(布里斯托大学)
大气湍流使视觉图像失真,并且对于人类和机器的信息解释总是有问题的。消除大气湍流畸变的大多数成熟方法都是基于模型的。然而,这些方法需要高计算量和大内存,使得实时操作不可行。因此,基于深度学习的方法得到了更多的关注,但目前仅在静态场景中有效。本文提出了一种新的基于学习的框架,提供短的时间跨度,以支持动态场景。我们利用复值卷积作为相位信息,通过大气湍流改变,比使用普通的实值卷积更好地捕获。提出了两个级联模块。第一个模块的目的是消除几何失真,如果有足够的内存,第二个模块用于细化视频的微观细节。实验结果表明,我们提出的框架有效地减轻了大气湍流失真,显着优于现有的方法。
2022-05-09 cs.CV cs.MM eess.IV
Recovering Homography from Camera Captured Documents using Convolutional Neural Networks
National University of Computer & Emerging Sciences (NUCES-FAST)(国立计算机与新兴科学大学)
从手持相机捕获的文档图像中去除透视失真是文档分析中的基本任务之一,但不幸的是,不存在这样的方法,可以可靠地自动从文档图像中去除透视失真。在本文中,我们提出了一个基于卷积神经网络的方法来恢复单应性从手持摄像机捕获的文件。我们提出的方法独立于文档的底层内容,并以全自动的方式进行端到端的训练。具体来说,本文做了以下三个方面的贡献:首先,我们介绍了一个大规模的合成数据集,从不同的几何和光度变换下捕获的文档图像恢复单应性;其次,我们表明,一个通用的卷积神经网络为基础的架构,可以成功地用于回归野生设置下捕获的文档的角点位置;第三,我们证明了L1损失可以可靠地用于角点回归。我们提出的方法在测试数据集上具有最先进的性能,并且有可能成为文档分析管道的一个组成部分。
2017-09-11 cs.CV
Efficient, Lexicon-Free OCR using Deep Learning
Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
与流行的看法相反,当文本出现在不受约束的环境中时,光学字符识别(OCR)仍然是一个具有挑战性的问题,如自然场景,由于几何失真,复杂的背景和多样化的字体。在本文中,我们提出了一个无分割的OCR系统,结合了深度学习方法,合成训练数据生成和数据增强技术。我们使用大型文本语料库和超过2000种字体渲染合成训练数据。为了模拟文本发生在复杂的自然场景中,我们增加提取的样本与几何失真,并提出了一个数据增强技术-阿尔法合成与背景纹理。我们的模型采用卷积神经网络编码器从文本图像中提取特征。受神经机器翻译和语言建模的最新进展的启发,我们研究了递归神经网络和卷积神经网络在建模输入元素之间的相互作用方面的能力。
2019-06-05 cs.CV cs.LG
Transform Quantization for CNN (Convolutional Neural Network) Compression
Stanford University(斯坦福大学);University of New South Wales(新南威尔士大学)
在本文中,我们压缩卷积神经网络(CNN)的权重后训练通过变换量化。先前的CNN量化技术倾向于忽略权重和激活的联合统计,从而在给定的量化比特率下产生次优的CNN性能,或者仅在训练期间考虑它们的联合统计,并且不促进已经训练的CNN模型的有效压缩。我们使用率失真框架对训练后的权重进行最佳变换(解相关)和重构,以在任何给定的量化比特率下提高压缩。变换量化将量化和降维(去相关)技术统一在一个框架中,以促进CNN的低比特率压缩和变换域中的有效推理。我们首先介绍了CNN量化的率失真理论,并将最佳量化作为率失真优化问题。然后,我们表明,这个问题可以解决使用最佳的位深度分配后,解相关的最佳端到端学习变换(ELT),我们在本文中推导出。实验表明,变换量化在再训练和非再训练量化场景中都推进了CNN压缩的最新技术水平。特别地,我们发现具有再训练的变换量化能够将CNN模型(例如AlexNet、ResNet和DenseNet)压缩到非常低的比特率(1-2比特)。
2021-11-07 cs.CV cs.IT cs.LG
Learning Convolutional Transforms for Lossy Point Cloud Geometry Compression
CNRS(法国国家科学研究中心)
高效的点云压缩是实现虚拟和混合现实应用部署的基础,因为要编码的点的数量可以达到数百万。在本文中,我们提出了一种新的数据驱动的几何压缩方法的基础上学习卷积变换和均匀量化的静态点云。我们使用一个权衡参数进行率和失真的联合优化。此外,我们将解码过程转换为点云占用图的二进制分类。我们的方法在Microsoft Voxelized Upper Bodies数据集上的率失真方面优于MPEG参考解决方案,平均节省51.5%的BDBR。此外,虽然基于八叉树的方法在低比特率下面临点数的指数减少,但即使在低比特率下,我们的方法仍然产生高分辨率输出。代码和补充材料可在https://github.com/mauriceqch/pcc_geo_cnn上获得。
2019-05-22 cs.CV cs.LG eess.IV
Multimodal registration of FISH and nanoSIMS images using convolutional neural network models
University of Georgia(佐治亚大学);Emory University School of Medicine(埃默里大学医学院)
纳米二次离子质谱(nanoSIMS)和荧光原位杂交(FISH)显微镜分别为微生物学研究中的目标微生物群落的身份和细胞活性提供了高分辨率、多模式的图像表示。尽管对微生物学家很重要,但FISH和nanoSIMS图像的多模式配准具有挑战性,因为这两种图像中都存在形态失真和背景噪声。在这项研究中,我们使用卷积神经网络(CNN)进行多尺度特征提取,形状上下文用于计算最小变换成本特征匹配和薄板样条(TPS)模型用于FISH和nanoSIMS图像的多模态配准。使用标准度量在像素和结构水平上对手动配准的图像进行配准准确度定量评估。尽管所有六个测试的CNN模型都表现良好,但根据大多数指标,ResNet18的表现优于VGG16,VGG19,GoogLeNet和ShuffleNet以及ResNet101。这项研究证明了CNN在具有显著背景噪声和形态失真的多模态图像配准中的实用性。我们还显示了通过二值化保留的聚集体形状,这是用于注册多模态微生物相关图像的强大功能。
2022-04-05 cs.CV
Scale Steerable Filters for Locally Scale-Invariant Convolutional Neural Networks
National University of Singapore(新加坡国立大学)
将变换知识增强到卷积神经网络的权重上通常会显著提高性能。对于旋转变换增强,最近方法的一个重要元素是使用可操纵基,即圆谐波。在这里,我们提出了一个局部尺度不变的CNN,表示为对数径向谐波的尺度可控滤波器的基础。通过将局部尺度不变的CNN \cite{lsi_cnn}中的内核替换为尺度导向的内核,可以在MNIST-Scale和FMNIST-Scale数据集上观察到性能的显著改善。使用尺度可调的基础进行训练会产生显示有意义结构的滤波器,并且特征图显示出输入的明显更高的空间结构保留。此外,所提出的尺度可操纵的CNN显示出对全局仿射变换估计方法(例如空间Transformers)的同等推广,以响应测试时间数据失真。
2019-06-10 cs.CV cs.LG
Impacts of Color and Texture Distortions on Earth Observation Data in Deep Learning
RISE Research Institutes of Sweden(瑞典RISE研究院);Centre for Mathematical Sciences, Lund University(隆德大学数学科学中心);KTH Royal Institute of Technology(瑞典皇家理工学院);Swedish Centre for Impacts of Climate Extremes (climes)(瑞典气候极端影响中心)
该研究针对无失真训练的土地覆盖分类深度学习模型,系统检验其对推理阶段输入EO数据颜色与纹理失真的敏感度,发现模型对纹理失真更敏感,为开发EO领域鲁棒模型提供指导。
2024-04-12 cs.CV cs.LG
Dynamic Weight Alignment for Temporal Convolutional Neural Networks
NTT Communication Science Laboratories(日本电报电话通信科学实验室)
在本文中,我们提出了一种改进时间卷积神经网络(CNN)的方法,通过使用动态规划来确定权值和输入的最佳对齐。传统的CNN卷积将共享权重线性匹配到输入的窗口。然而,有可能存在权重的更优对准。因此,我们建议使用动态时间规整(DTW)来动态地将权重与卷积层的输入对齐。具体地说,动态对准克服了问题,如时间失真,通过寻找最小距离匹配的权重和输入的约束。我们证明了所提出的架构的有效性Unipen在线手写数字和字符数据集,UCI阿拉伯语口语数字数据集,和UCI日常生活活动数据集。
2019-02-07 cs.CV cs.LG cs.NE
GPA-Net:No-Reference Point Cloud Quality Assessment with Multi-task Graph Convolutional Network
Shanghai Jiao Tong University(上海交通大学);Tencent Media Lab(腾讯媒体实验室)
针对无参考点云质量评估中预处理引入失真、特征表达不足及几何不变性欠缺的问题,提出GPA-Net,通过GPAConv、多任务学习和坐标归一化实现最优评估性能。
2023-06-01 cs.CV cs.MM
Data Augmentation for Detection of Architectural Distortion in Digital Mammography using Deep Learning Approach
University of São Paulo(圣保罗大学);Eco & Mama Diagnóstico Digital(Eco & Mama数字诊断公司)
早期发现乳腺癌可以提高治疗效率。架构扭曲(AD)是乳腺组织的一种非常微妙的收缩,可能是癌症的最早迹象。由于它很可能被放射科医生忽视,多年来已经提出了几种方法,但没有一种使用深度学习技术。为了训练卷积神经网络(CNN),这是一种深度神经架构,需要大量的数据。为了克服这个问题,本文提出了一种应用于临床图像数据集的数据增强方法,以正确地训练CNN。使用接收器操作特征分析的结果显示,利用非常有限的数据集,我们可以训练CNN以在数字乳腺摄影中检测AD,曲线下面积(AUC = 0.74)。
2018-07-06 cs.CV cs.LG stat.ML
SCNN: A General Distribution based Statistical Convolutional Neural Network with Application to Video Object Detection
University of Notre Dame(圣母大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
最近开发了各种卷积神经网络(CNN),其在计算机视觉任务(例如图像识别、目标检测和跟踪等)中实现了与人类相当的精度。然而,这些网络中的大多数一次处理一帧图像,并且可能没有完全利用通常存在于同一图像的多个通道或来自视频,从而限制了可实现的吞吐量。这种限制源于现有CNN对确定性数字的操作。在本文中,我们提出了一种新的统计卷积神经网络(SCNN),它扩展了现有的CNN架构,但直接对相关分布而不是确定性数字进行操作。通过引入参数化的规范模型来对相关数据进行建模,并根据CNN训练和推理的需要定义相应的操作,我们表明SCNN可以有效地处理多帧相关图像,从而实现了比现有CNN模型更大的加速。我们使用一个基于CNN的视频目标检测作为一个例子来说明建议SCNN作为一个通用的网络模型的有用性。实验结果表明,即使SCNN的非优化实现仍然可以在现有CNN的基础上实现178%的加速比,并且精度略有下降。
2019-03-15 cs.CV cs.LG stat.ML
Convolutional Neural Networks for Video Quality Assessment
University of Crete(克里特大学);Foundation for Research and Technology Hellas(希腊基础研究与技术基金会);BBC Research and Development(英国广播公司研发部);Queen Mary University of London(伦敦玛丽女王大学)
视频质量评估(VQA)是一个非常具有挑战性的任务,由于其高度的主观性。此外,许多因素影响VQA。视频内容的压缩虽然对于最小化传输和存储要求是必要的,但会引入失真,这会对感知质量产生不利影响。特别是当处理现代视频编码标准时,由于对不同内容类型的编码的不可预测性,对压缩的效果进行建模是极其困难的。此外,传输还引入了影响感知质量的延迟和其他失真类型。因此,准确地预测要在现代内容分发平台上分发的视频的感知质量将是非常有益的,使得可以采取特定动作来最大化用户的体验质量(QoE)。基于特征提取和建模的传统VQA技术可能不够准确。本文介绍了一种新的深度学习(DL)框架,用于有效预测基于端到端特征学习的视频内容交付机制的VQA。所提出的框架是基于卷积神经网络,考虑到压缩失真以及传输延迟。建议的框架的培训和评估是在专门为开展这项工作而创建的用户注释VQA数据集上进行的。实验表明,所提出的方法可以导致高精度的质量估计,展示了潜在的使用DL在复杂的VQA场景。
2018-09-26 cs.CV eess.IV
Parallelized Rate-Distortion Optimized Quantization Using Deep Learning
Qualcomm AI Research(高通人工智能研究院)
率失真优化量化(RDOQ)在诸如H. 264/AVC、H. 265/HEVC、VP 9和AV 1的最近的视频压缩标准的编码性能中起着重要作用。该方案以相对较小的失真增加为代价产生比特率的显著降低。通常,由于RDOQ算法的顺序性质以及它们需要频繁地获得熵编码成本,因此在实时硬件编码器上实现RDOQ算法是非常昂贵的。这项工作使用基于神经网络的方法解决了这一限制,该方法在离线监督训练期间学习权衡速率和失真。由于这些网络仅基于可以在现有神经网络硬件上执行的标准算术运算,因此不需要为专用RDOQ电路保留额外的片上区域。我们训练两类神经网络,一个全卷积网络和一个自回归网络,并评估每一个作为一个后量化步骤,旨在完善廉价的量化方案,如标量量化(SQ)。两种网络架构都被设计为具有低计算开销。在训练之后,它们被集成到HEVC的HM 16.20实现中,并且它们的视频编码性能在H.266/VVC SDR公共测试序列的子集上进行评估。在HM 16.20中对RDOQ和SQ实现进行了比较。与HM SQ锚相比,我们的方法在亮度上实现了1.64%的BD速率节省,并且平均达到迭代HM RDOQ算法性能的45%。
2020-12-11 cs.CV cs.LG
Learning Representations from EEG with Deep Recurrent-Convolutional Neural Networks
University of Memphis(孟菲斯大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心)
从脑电图(EEG)数据建模认知事件的挑战之一是找到对受试者间和受试者内差异以及与此类数据相关联的固有噪声不变的表示。在这里,我们提出了一种新的方法来学习这样的表示从多通道EEG时间序列,并证明其优势的背景下,心理负荷分类任务。首先,我们将EEG活动转换成一系列的拓扑保持多光谱图像,而不是标准的EEG分析技术,忽略了这样的空间信息。接下来,我们训练一个受最先进的视频分类启发的深度递归卷积网络,以从图像序列中学习鲁棒的表示。所提出的方法旨在保留EEG的空间,频谱和时间结构,从而找到对每个维度内的变化和失真不太敏感的特征。对认知负荷分类任务的实证评估表明,在该领域中,与当前最先进的方法相比,分类准确率有显着提高。
2016-02-29 cs.CV cs.LG
General audio tagging with ensembling convolutional neural network and statistical features
National University of Defense Technology(国防科技大学);University of Surrey(萨里大学)
音频标注的目的是从音频片段中推断出描述性标签。由于数据的大小有限和标签噪声,音频标记具有挑战性。在本文中,我们描述了DCASE 2018任务2通用音频标记挑战的解决方案。我们的解决方案的贡献包括:我们研究了各种卷积神经网络架构来解决音频标记任务。应用统计特征来捕获音频特征的统计模式以提高分类性能。应用包围学习来集成来自深度分类器的输出以利用互补信息。样本重新加权策略被用于集合训练以解决噪声标签问题。我们的系统实现了0.958的平均精度(mAP@3),优于0.704的基线系统。我们的系统在DCASE 2018任务2挑战的公共和私人排行榜中的558个提交中排名第1和第4。我们的代码可在https://github.com/Cocoxili/DCASE2018Task2/上获得。
2018-10-30 cs.CV
Statistical Analysis of the Impact of Quaternion Components in Convolutional Neural Networks
Universidad Nacional Autónoma de México(墨西哥国立自治大学);Binghamton University(宾汉姆顿大学)
本文通过统计分析研究四元数卷积神经网络中各组件选择及其交互对图像分类性能的影响,并提出一种新的全四元数ReLU激活函数以提升模型表现。
2024-08-29 cs.AI cs.CV cs.LG
Towards Distortion-Predictable Embedding of Neural Networks
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
当前计算机视觉领域的研究表明,卷积神经网络(CNN)在许多分类任务和计算机视觉问题中具有最先进的性能。CNN的嵌入是最后一层产生的内部表示,可以间接学习拓扑和关系属性。此外,通过使用合适的损失函数,CNN模型可以学习对诸如旋转、视角或照明条件等广泛的非线性失真的不变性。在这项工作中,发现了关于CNN嵌入的新见解,并提出了一个新的损失函数,该函数来自对比损失,可以创建具有更多可预测映射的模型,并量化失真。在典型的失真相关方法中,对应于一幅图像的特征与该图像失真的特征之间没有简单的关系。因此,这些方法需要在每个失真下前馈输入,以找到相应的特征表示。我们的贡献使一个步骤的嵌入扭曲的输入的功能是相关的,可以从彼此的失真的强度。
2015-08-01 cs.CV
Tubule segmentation of fluorescence microscopy images based on convolutional neural networks with inhomogeneity correction
Purdue University(普渡大学);Indiana University(印第安纳大学)
荧光显微镜已成为研究体内组织或细胞的各种生物结构的广泛使用的工具。然而,这些生物结构的定量分析仍然是一个挑战,因为它们的复杂性,这是加剧了由透镜像差和光散射引起的失真。此外,这种图像体积的手动量化是一个棘手的和容易出错的过程,使得需要自动图像分析方法至关重要。本文描述了一种基于数据增强和非均匀性校正的卷积神经网络的荧光显微图像管状结构分割方法。与其他显微镜分割方法的分割结果进行了视觉和数值比较。实验结果表明,与其他方法相比,该方法在正确分割和识别多个管状结构方面具有更好的性能。
2018-02-10 cs.CV cs.LG eess.IV
Statistical Downscaling of Temperature Distributions from the Synoptic Scale to the Mesoscale Using Deep Convolutional Neural Networks
Meteorological Research Institute(气象研究所)
深度学习,特别是用于图像识别的卷积神经网络,最近已被用于气象学。其中一个很有前途的应用是开发一个统计代理模型,将低分辨率动态模型的输出图像转换为高分辨率图像。我们的研究展示了一个初步的实验,评估了一个模式的性能,每6小时将天气温度场降尺度到中尺度温度场。该深度学习模型以22公里网格化全球分析地面风和温度作为输入,以5公里网格化区域分析地面温度作为预期输出,以及覆盖日本中部的目标域进行训练。结果证实,我们的深度卷积神经网络(DCNN)能够非常详细地估计海岸线和山脊的位置,这些位置没有保留在输入中,并提供高分辨率的地面温度分布。例如,虽然全球和区域分析之间的平均均方根误差(RMSE)为2.7 K,在海拔大于1000米,RMSE降低到1.0 K,相关系数从0.6提高到0.9的代理模型。虽然本研究仅评估地面温度的替代模式,但可能可以通过增加降尺度变量和垂直剖面来改进。DCNN的代理模型在训练完成后只需要少量的计算能力。因此,如果代理模型在短时间间隔内实现,它们将以低成本提供高分辨率的天气预报指导或环境紧急警报。
2020-07-20 cs.CV cs.LG physics.ao-ph
A Deep Convolutional Neural Network for the Detection of Polyps in Colonoscopy Images
Kumoh National Institute of Technology(国立金乌工科大学)
结肠息肉的计算机检测仍然是一个未解决的问题,因为在结肠镜检查过程中,多种息肉样模仿物的外观、质地、颜色、大小和存在的广泛变化。在本文中,我们提出了一种基于深度卷积神经网络的模型,用于结肠镜图像中息肉的计算机检测。所提出的模型包括16个卷积层,其中有2个完全连接的层,以及一个Softmax层,我们在同一隐藏层中使用不同的卷积核实现了一种独特的方法,用于更深的特征提取。我们应用了两种不同的激活函数,MISH和整流线性单位激活函数更深的信息传播和自正则光滑的非单调性。此外,我们使用了一个广义的交集,从而克服了诸如尺度不变性、旋转和形状等问题。数据增强技术,如光度和几何失真,适用于克服息肉检测中面临的障碍。提供了详细的基准测试结果,显示出更好的性能方面的精度,灵敏度,F1分数,F2分数,和骰子系数,从而证明了所提出的模型的有效性。
2020-08-15 cs.CV cs.LG eess.IV
Learning Local Distortion Visibility From Image Quality Data-sets
University of Alberta(阿尔伯塔大学);CNRS(法国国家科学研究中心)
在许多图像和视频处理应用中,局部失真可见性阈值的准确预测是至关重要的。现有的方法需要对人类视觉系统进行精确建模,并且是通过简单的人工刺激的物理实验得出的。然而,这些方法很难推广到具有复杂类型失真的自然图像。在本文中,我们探索了一个不同的角度,我们调查是否有可能从图像质量分数学习局部失真可见性。我们提出了一个基于卷积神经网络的优化框架,以推断局部检测阈值的失真图像。我们的模型在多个质量数据集上进行了训练,结果与最近一项研究中收集的复杂刺激的经验可见性阈值相关。我们的结果与直接在phsycovisual数据上训练的最先进的数学模型相当。这表明,它是可能的预测心理物理现象的可见性信息嵌入在图像质量分数。
2018-03-11 cs.CV cs.MM
Accelerate CU Partition in HEVC using Large-Scale Convolutional Neural Network
Huazhong University of Science and Technology(华中科技大学)
高效率视频编码(HEVC)具有高编码计算复杂性,部分归因于CU分区决策中的率失真优化四叉树搜索。因此,我们提出了一种新的两阶段CU分区决定方法在HEVC帧内模式。在该方法中,基于CNN的算法被设计成在三个深度上精确地决定CU划分模式。为了进一步降低计算复杂性,还提出了一种辅助的提前终止机制,以从后续的基于CNN的算法中过滤出明显的同质CU。实验结果表明,该方法实现了约37%的编码时间平均节省和BD比特率的增加相比,原来的HEVC编码器。
2018-09-23 cs.CV
Pan-sharpening via High-pass Modification Convolutional Neural Network
Wuhan University(武汉大学);University of Arkansas(阿肯色大学);Wuhan Institute of Technology(武汉工程大学)
针对现有的基于深度学习的泛锐化方法普遍存在频谱失真和空间纹理增强不足等问题,提出了一种基于高通修正块的泛锐化卷积神经网络。与现有方法不同的是,所提出的块被设计为学习高通信息,从而增强多光谱分辨率图像中每个波段的空间信息。为了便于产生视觉上吸引人的泛锐化图像,我们提出了一个感知损失函数,并进一步优化模型的基础上,在近红外空间的高层次功能。实验表明,所提出的方法相比,国家的最先进的泛锐化方法,定量和定性的优越性能。拟议的模型在https://github.com/jiaming-wang/HMB上开源。
2021-05-24 cs.CV cs.LG eess.IV
Fully Point-wise Convolutional Neural Network for Modeling Statistical Regularities in Natural Images
Hangzhou Dianzi University(杭州电子科技大学);University of Science and Technology of China(中国科学技术大学);University at Buffalo, The State University of New York(纽约州立大学布法罗分校)
统计规律性建模在不适定图像处理问题中起着至关重要的作用。最近,已经提出了基于深度学习的方法来隐式地学习自然图像中的像素分布的统计表示,并将其作为约束来促进后续任务,例如颜色恒定性和图像去雾。然而,现有的CNN架构易于在局部区域内和局部区域之间的像素强度的可变性和多样性,这可能导致不准确的统计表示。为了解决这个问题,本文提出了一种新的全逐点CNN架构,用于建模自然图像中的统计噪声。具体来说,我们建议随机洗牌原始图像中的像素,并利用洗牌图像作为输入,使CNN更关注统计特性。此外,由于混洗图像中的像素是独立同分布的,因此我们可以用逐点($1*1$)卷积核替换CNN中的所有大卷积核,同时保持表示能力。两个应用程序的实验结果:颜色恒定性和图像去雾,证明了我们提出的网络优于现有的架构,即,使用1/10的$\sim$和1/100的网络参数和计算成本,同时实现相当的性能。
2018-08-21 cs.CV
On the Suitable Domain for SVM Training in Image Coding
Universitat de València(瓦伦西亚大学);Analog Devices Inc.(亚德诺半导体公司)
传统的基于支持向量机的图像编码方法是建立在独立地限制在某些特定的图像表示的每个图像系数的失真。在几何上,这意味着允许在由所选图像表示域的每个维度中的$\varepsilon$不敏感区所定义的$n$维度矩形中的任意信号失真。不幸的是,并非每个图像表示域都非常适合这种简单的标量方式,因为系数之间可能存在统计和/或感知相互作用。这些相互作用意味着标量方法可能会引起不遵循图像统计和/或在感知上令人讨厌的失真。考虑这些关系将意味着使用非矩形$\varepsilon$不敏感区域(允许不同系数中的耦合失真),这超出了常规SVM公式。在本文中,我们报告了一个条件的适用域开发有效的SVM图像编码方案。我们分析表明,没有线性域满足这一条件,因为在这些域中存在的统计和感知的系数间的关系。通过比较先前报告的线性域和最近提出的非线性感知域中的SVM学习,实验证实了这一理论结果,该非线性感知域同时减少了统计和感知关系(因此更接近于满足所提出的条件)。这些结果突出了在SVM学习之前适当选择图像表示的相关性。
2013-10-18 cs.CV cs.LG stat.ML
Automatic Segmentation of the Prostate on 3D Trans-rectal Ultrasound Images using Statistical Shape Models and Convolutional Neural Networks
The University of British Columbia(不列颠哥伦比亚大学)
在这项工作中,我们建议使用卷积神经网络(CNN)和统计形状模型(SSM)在具有挑战性的经直肠超声(TRUS)图像数据集上分割前列腺。TRUS通常用于前列腺的许多图像引导干预。在这些图像中对器官进行快速准确的分割对于规划和与其他模态(如磁共振图像(MRI))融合至关重要。然而,TRUS具有有限的软组织对比度和信噪比,这使得分割前列腺的任务具有挑战性,并且受到观察者间和观察者内变化的影响。这在腺体边界难以界定的基部和顶端处尤其成问题。在本文中,我们的目标是解决这个问题,利用形状先验知识的MR数据集,具有较高的软组织对比度,使前列腺轮廓更准确。我们使用该形状先验结合由CNN计算的前列腺组织概率图进行分割。
2021-06-17 cs.CV eess.IV
Deep Convolutional Networks on Graph-Structured Data
Courant Institute of Mathematical Sciences(库朗数学科学研究所);New York University(纽约大学);University of California, Berkeley(加州大学伯克利分校)
深度学习最近的成功主要依赖于卷积网络,它利用了图像、声音和视频数据的基本统计特性:局部平稳性和多尺度组成结构,允许用较短的局部交互来表达长距离交互。然而,还有其他重要的例子,如文本文档或生物信息学数据,可能缺乏这些强有力的统计数据中的一些或全部。在本文中,我们考虑如何在一般非欧几里德域上构建具有小学习复杂度的深度架构的一般问题,这些域通常是未知的,需要从数据中估计。特别是,我们开发了一个扩展的频谱网络,其中包含一个图估计过程,我们测试了大规模的分类问题,匹配或改进了辍学网络,估计参数少得多。
2015-06-16 cs.CV cs.LG cs.NE
Analyzing Perception-Distortion Tradeoff using Enhanced Perceptual Super-resolution Network
Indian Institute of Technology, Madras(印度理工学院马德拉斯分校)
基于卷积神经网络(CNN)的方法最近在图像超分辨率(SR)方面取得了巨大成功。然而,大多数基于深度CNN的SR模型试图改善失真测量(例如,PSNR、SSIM、IFC、VIF),同时导致差的量化感知质量(例如,人类意见分数、诸如NIQE的无参考质量测量)。很少有作品试图提高感知质量的失真措施的性能降低的成本。最近的一项研究表明,失真和感知质量是相互矛盾的,两者之间总是存在权衡。通常,在感知质量方面优越的恢复算法在失真测量方面是低劣的。我们的工作试图分析失真和感知质量之间的权衡的问题,单图像SR。为此,我们使用著名的SR架构增强深超分辨率(EDSR)网络,并表明它可以适应实现更好的感知质量为特定范围的失真措施。虽然EDSR的原始网络经过训练以最大限度地减少仅基于每像素精度定义的误差,但我们使用生成对抗网络框架训练我们的网络,其中EDSR作为生成器模块。我们提出的网络,称为增强感知超分辨率网络(EPSR),是用均方误差损失,感知损失和对抗损失的组合进行训练的。我们的实验表明,EPSR实现了国家的最先进的失真和感知质量之间的权衡,而现有的方法在这些措施单独执行。
2018-11-04 cs.CV
Underwater Fish Species Classification using Convolutional Neural Network and Deep Learning
Delhi Technological University(德里理工大学)
本文的目标是推荐一种鱼类自动分类的方法。高精度的鱼类分类是鱼类学和海洋生物学家更好地了解鱼类行为所必需的。有关机构需要维持一个每个物种鱼类数量的分类账,并在大小水体中标记濒危物种。大多数可用的方法集中在水外的鱼类分类,因为水下分类带来了挑战,如背景噪声,图像失真,图像中其他水体的存在,图像质量和遮挡。该方法使用了一种基于卷积神经网络、深度学习和图像处理的新技术,准确率达到96.29%。该方法确保了比先前提出的方法显著提高的鉴别精度。
2018-05-25 cs.CV
Deep Convolutional AutoEncoder-based Lossy Image Compression
Waseda University(早稻田大学)
图像压缩作为一个基础研究课题已经研究了几十年。最近,深度学习在许多计算机视觉任务中取得了巨大成功,并逐渐被用于图像压缩。在本文中,我们提出了一种有损图像压缩架构,它利用卷积自动编码器(CAE)的优点,以实现高的编码效率。首先,我们设计了一个新的CAE架构,以取代传统的转换和训练这个CAE使用率失真损失函数。其次,为了生成一个更节能的表示,我们利用主成分分析(PCA)旋转CAE产生的特征图,然后应用量化和熵编码器生成代码。实验结果表明,我们的方法优于传统的图像编码算法,通过实现13.7%的BD率减少柯达数据库图像相比,JPEG 2000。此外,我们的方法保持了适度的复杂度类似于JPEG 2000。
2018-04-25 cs.CV
Learning Spatiotemporal Features of Ride-sourcing Services with Fusion Convolutional Network
Southwestern University of Finance and Economics(西南财经大学);Sichuan University(四川大学)
为了共同预测一个城市所有区域对网约车服务的需求,深度学习方法已经得到了应用,并取得了令人称道的结果。然而,城市地理布局中的局部统计差异使得卷积的空间平稳性假设无效,这限制了CNN在需求预测任务中的性能。在本文中,我们提出了一种名为LC-ST-FCN(局部连接时空全卷积神经网络)的新型深度学习框架,以解决端到端架构(E2 E)中区域级需求预测问题的独特挑战。我们首先采用3D卷积层来融合输入中存在的时空信息,然后将3D卷积层提取的时空特征馈送到后续的2D卷积层。然后,通过局部连接的卷积层来获得每个区域的预测值,这些卷积层放松了参数共享方案。我们在一个叫车服务平台(滴滴出行)的真实数据集上评估了所提出的模型,并观察到与一系列基线模型相比有显著的改进。此外,我们还通过可视化不同类型的卷积层如何转换其输入并捕获有用的特征来说明我们提出的模型的有效性。可视化结果表明,全卷积架构使模型能够更好地定位相关区域。局部连通层在处理局部统计差异和激活有用区域方面起着重要作用。
2020-04-24 cs.CV cs.LG stat.ML
Instance-Aware Graph Convolutional Network for Multi-Label Classification
Nanjing University of Science and Technology(南京理工大学)
图卷积神经网络(GCN)通过引入基于统计标签共现的标签依赖关系,有效地提高了多标签图像识别任务的效率。然而,在以前的方法中,标签相关性是基于数据的统计信息计算的,因此对于所有样本都是相同的,这使得标签上的图推理不足以处理众多图像实例之间的巨大变化。在本文中,我们提出了一个实例感知图卷积神经网络(IA-GCN)框架的多标签分类。该框架包含两个融合的子网络分支:全局分支和基于区域的分支,全局分支用于对整个图像进行建模,基于区域的分支用于探索感兴趣区域(ROI)之间的依赖关系。针对图卷积中实例感知的标签扩散问题,提出了一种基于图像的标签相关矩阵(LCM),融合统计LCM和每个图像实例的个体相关矩阵,用于标签的图推理,将标签感知的自适应信息注入到模型的学习特征中,而不是单独使用统计标签相关矩阵.具体地,通过基于关于检测到的ROI的标签的分数挖掘标签依赖性来获得每个图像的个体LCM。在这个过程中,考虑到贡献的差异,多标签分类的ROI,变分推理被引入到学习的自适应缩放因子的ROI,考虑其复杂的分布。最后,在MS-COCO和VOC数据集上的大量实验表明,我们提出的方法优于现有的最先进的方法。
2020-08-19 cs.CV
Semi-Tensor-Product Based Convolutional Neural Networks
Key Laboratory of Systems and Control Academy of Mathematics and Systems Sciences Chinese Academy of Sciences(系统与控制重点实验室 数学与系统科学研究院 中国科学院);Department of Applied Mathematics Hong Kong Polytechnic University(应用数学系 香港理工大学)
本文提出基于半张量积的卷积神经网络,通过无填充卷积操作处理不规则和高维数据,有效消除冗余信息和边界伪影。
2026-01-15 cs.AI cs.CV cs.SY
Dewarping Document Image By Displacement Flow Estimation with Fully Convolutional Network
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation of Chinese Academy of Sciences(中国科学院自动化研究所);CAS Center for Excellence of Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
随着基于相机的文档的使用越来越多,畸变文档图像的校正成为提高识别性能的需要。在本文中,我们提出了一种新的框架,纠正失真的文档图像和消除背景精细,估计像素位移使用全卷积网络(FCN)。根据像素的位移,通过变换来校正文档图像。FCN通过对合成的失真文档的位移进行回归来训练,为了控制位移的平滑性,我们提出了正则化中的局部平滑约束(LSC)。我们的方法是易于实现和消耗适度的计算资源。实验证明,该方法能有效地对各种几何失真下的文档图像进行去扭曲,在局部细节和整体效果方面都达到了最先进的性能。
2021-04-14 cs.CV
A fully 3D multi-path convolutional neural network with feature fusion and feature weighting for automatic lesion identification in brain MRI images
New Jersey Institute of Technology(新泽西理工学院);Kessler Foundation(凯斯勒基金会);Emory University(埃默里大学);Atlanta VA Medical Center(亚特兰大退伍军人事务医疗中心);Medical College of Wisconsin(威斯康星医学院);Rutgers University - Newark(罗格斯大学纽瓦克分校)
我们提出了一个全三维多路径卷积网络来预测中风病变的三维脑MRI图像。我们的多路径模型具有针对包含残余卷积块的不同模态的独立编码器、来自不同模态的加权多路径特征融合以及用于组合编码器和解码器特征的加权融合模块。与DeepMedic、3D U-Net和AnatomyNet等现有的3D CNN相比,我们的网络在220名患者的大型ATLAS基准测试中实现了最高的统计学显著交叉验证准确率(60.5%)。我们还在来自Kessler Foundation和Medical College Wisconsin的多模态图像上测试了我们的模型,并实现了65%的统计学显著交叉验证准确率,显著优于多模态3D U-Net和DeepMedic。总的来说,我们的模型提供了一个原则性的,可扩展的多路径方法,优于多通道的替代品,并在现有的基准实现高骰子精度。
2019-11-16 cs.CV cs.LG eess.IV
Inferring low-dimensional microstructure representations using convolutional neural networks
Boston University(波士顿大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
我们将机器学习和计算机视觉的最新进展应用于材料信息学的一个核心问题:微观结构图像的统计表示。我们在预训练的卷积神经网络中使用激活来提供一组合成显微结构图像的高维表征。接下来,我们使用流形学习来获得这种统计特征的低维嵌入。我们表明,低维嵌入提取用于生成图像的参数。根据各种指标,卷积神经网络方法产生的嵌入比仅从两点相关性导出的类似方法要好得多。
2018-11-30 cond-mat.mtrl-sci cs.CV physics.comp-ph
OmniLayout: Room Layout Reconstruction from Indoor Spherical Panoramas
The Pennsylvania State University(宾夕法尼亚州立大学)
给定单个RGB全景,3D布局重建的目标是通过预测拐角、地板边界和天花板边界来估计房间布局。一种常见的方法是使用标准卷积网络来预测拐角和边界,然后进行后处理以生成3D布局。然而,全景图像中的空间变化的失真与标准卷积的平移等方差性质不兼容,从而降低性能。相反,我们建议使用球面卷积。由此产生的网络,我们称之为OmniLayout,直接在球体表面上执行卷积,根据逆等矩形投影进行采样,因此不受等矩形失真的影响。使用新的评估指标,我们表明,与标准卷积网络相比,我们的网络将严重失真区域(极点附近)的误差减少了约25%。实验结果表明,OmniLayout在两个不同的基准数据集(PanoContext和Stanford 2D-3D)上的性能优于最先进的约4%。代码可在https://github.com/rshivansh/OmniLayout上获得。
2021-04-19 cs.CV
Selective Deep Convolutional Neural Network for Low Cost Distorted Image Classification
深度卷积神经网络已被证明非常适合图像分类应用。然而,如果图像中存在失真,则即使使用最先进的神经网络,分类精度也会显著降低。通过简单地使用失真图像进行训练,无法显著提高准确性。相反,本文提出了一种多神经网络拓扑结构,称为选择性深度卷积神经网络。通过以所提出的方式修改现有的最先进的神经网络,示出了可以实现类似水平的分类精度,但是以显著更低的成本。成本降低主要是通过使用较少的权重参数来实现的。使用更少的权重减少了乘法-累加运算的数量,并且还减少了数据访问所需的能量。最后,它表明,所提出的选择性深度卷积神经网络的有效性,可以进一步提高它与以前提出的网络成本降低方法相结合。
2019-02-14 cs.CV cs.NE
USLN: A statistically guided lightweight network for underwater image enhancement via dual-statistic white balance and multi-color space stretch
Northwestern Polytechnical University(西北工业大学)
水下图像不可避免地会受到色彩失真和对比度降低的影响。传统的基于直方图的方法,如白平衡和直方图拉伸,试图调整的颜色通道的不平衡和狭窄的强度分布的先验,从而具有有限的性能。最近,基于深度学习的方法取得了令人鼓舞的成果。然而,复杂的体系结构和高计算成本可能会阻碍其在实际受限平台中的部署。受上述工作的启发,我们提出了一种统计引导的轻量级水下图像增强网络(USLN)。具体来说,我们首先开发了一个双统计白平衡模块,它可以学习使用图像的平均值和最大值来补偿每个特定像素的颜色失真。然后,这是其次是多颜色空间拉伸模块,以调整在RGB,HSI和Lab颜色空间的直方图分布自适应。大量的实验表明,在统计数据的指导下,USLN显著降低了所需的网络容量(超过98%),并达到了最先进的性能。代码和相关资源可在https://github.com/deepxzy/USLN上获得。
2022-09-06 cs.CV
Spherical Transformer
School of Computer Science and Engineering, Chung-Ang University(韩国中央大学计算机科学与工程学院);Twelve Labs(Twelve Labs公司)
对360图像使用卷积神经网络可能会导致次优性能,这是由于平面投影带来的失真。当对360度图像应用旋转时,失真恶化。因此,许多基于卷积的研究试图减少失真以学习准确的表示。相比之下,我们利用Transformer架构来解决360图像的图像分类问题。将所提出的Transformer用于360图像具有两个优点。首先,我们的方法不需要错误的平面投影过程中采样像素从球体表面。其次,我们的采样方法的基础上,正多面体的旋转等方差误差低,因为特定的旋转可以减少到排列的面。在实验中,我们从两个方面验证了我们的网络,如下所示。首先,我们表明,使用具有高度均匀采样方法的Transformer可以帮助减少失真。其次,我们证明了Transformer架构可以实现特定旋转的旋转等变性。我们使用SPH-MNIST,SPH-CIFAR和SUN 360数据集将我们的方法与其他最先进的算法进行比较,并表明我们的方法与其他方法相比具有竞争力。
2022-02-11 cs.CV
Wavelet Integrated Convolutional Neural Network for ECG Signal Denoising
University of Yamanashi(山梨大学)
针对可穿戴干电极ECG测量的高强度噪声失真及频带重叠降噪难题,提出集成小波变换层的CNN模型提取干净ECG频率特征,低信噪比下降噪效率更优。
2025-01-12 cs.CV eess.SP
MetaIQA: Deep Meta-learning for No-Reference Image Quality Assessment
Xidian University(西安电子科技大学);China University of Mining and Technology(中国矿业大学)
最近,人们对利用深度卷积神经网络(DCNN)进行无参考图像质量评估(NR-IQA)越来越感兴趣。尽管取得了显著的成功,但人们普遍认为,训练DCNN严重依赖于大量注释数据。IQA是一个典型的小样本问题。因此,大多数现有的基于DCNN的IQA指标都是基于预先训练的网络进行操作的。然而,这些预先训练的网络不是为IQA任务设计的,这导致了在评估不同类型的失真时的泛化问题。基于这种动机,本文提出了一种基于深度元学习的无参考IQA度量。其基本思想是学习人类在评估具有各种失真的图像质量时共享的元知识,然后可以容易地适应未知的失真。具体来说,我们首先收集了一些NR-IQA任务的不同失真。然后采用元学习的方法学习各种失真共享的先验知识。最后,在目标NR-IQA任务上对质量先验模型进行微调,以快速获得质量模型。大量的实验表明,所提出的度量优于国家的最先进的一个很大的保证金。此外,从合成失真中学习的元模型也可以很容易地推广到真实失真,这在IQA度量的实际应用中是非常需要的。
2020-04-11 cs.CV eess.IV
Potential of deep features for opinion-unaware, distortion-unaware, no-reference image quality assessment
University of Alberta(阿尔伯塔大学);CNRS(法国国家科学研究中心);CentraleSupelec(中央理工-高等电力学院);Université Paris-Sud(巴黎第十一大学)
图像质量评估算法预测原始或失真输入图像的质量分数,使得其与人类意见相关。传统的方法需要一个非失真的“参考”版本的输入图像进行比较,以预测这个分数。然而,最近的“无参考”的方法绕过这一要求,通过建模的干净的图像特征的分布,从而使它们更适合于实际使用。然而,大多数这样的方法要么使用手工制作的特征,要么需要对人类意见评分进行训练(监督学习),这很难获得和验证。我们探索了使用深度特征的可能性,特别是卷积自动编码器神经网络架构的编码(瓶颈)特征图。此外,我们不根据主观分数对网络进行训练(无监督学习)。IQA方法的主要要求是预测分数随着输入图像失真程度的增加而单调增加,以及具有相同失真类型和内容但不同失真水平的图像的一致排名。定量实验使用皮尔逊,肯德尔和斯皮尔曼相关性分数的不同的图像集表明,我们提出的方法比最先进的方法(使用手工制作的功能)更好地满足上述要求的三种类型的失真:模糊,噪声和压缩伪影。这表明了IQA内这个相对未开发的子领域未来研究的潜力。
2019-11-27 cs.CV eess.IV
Dense 3D Face Decoding over 2500FPS: Joint Texture & Shape Convolutional Mesh Decoders
Imperial College London(帝国理工学院);University of Middlesex(密德萨斯大学);FaceSoft
3D可变形模型(3DMM)是使用一组线性基和更具体的主成分分析(PCA)来表示面部纹理和形状变化的统计模型。3DMM被用作统计先验,通过求解非线性最小二乘优化问题从图像重建3D人脸。最近,3DMM被用作生成模型,用于通过深度卷积神经网络(DCNN)训练从图像到模型参数的非线性映射(\ie,回归器)。尽管如此,所有上述方法都在参数展开的UV空间上使用完全连接的层或2D卷积,从而导致具有许多参数的大型网络。在本文中,我们提出了第一个,据我们所知,非线性3DMMs通过学习联合纹理和形状自动编码器使用直接网格卷积。我们演示了这些自动编码器如何用于训练非常轻的模型,这些模型以超过2500 FPS的速度在野外执行彩色网格解码(CMD)。
2019-04-06 cs.CV
Attacking Convolutional Neural Network using Differential Evolution
Kyushu University(九州大学)
卷积神经网络(CNN)的输出已经被证明是不连续的,这可以使CNN图像分类器容易受到小的良好调整的人工扰动。也就是说,通过添加对人眼几乎没有影响的这种扰动(即,对抗性扰动)来修改的图像可以完全改变CNN分类结果。在本文中,我们提出了一个实用的攻击,使用差分进化(DE)产生有效的对抗扰动。我们全面评估不同类型的DE进行不同的网络结构上的攻击的有效性。该方法是一种黑盒攻击,只需要目标CNN系统的奇迹反馈。结果表明,在同时控制像素变化数量和整体扰动强度的严格约束下,对三种常见类型的CNN的攻击可以达到72.29%,78.24%和61.28%的非目标攻击成功率,平均置信度为88.68%,99.85%和73.07%。该攻击仅需要修改具有20.44、14.76和22.98像素值失真的5个像素。因此,结果表明,即使在非常有限的攻击条件下,当前的DNN也容易受到这种简单的黑盒攻击。
2018-04-19 cs.CV
Reading Scene Text in Deep Convolutional Sequences
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);The Chinese University of Hong Kong(香港中文大学)
我们开发了一个深度文本递归网络(DTRN),将场景文本阅读视为序列标记问题。我们利用深度卷积神经网络的最新进展,从整个单词图像生成有序的高级序列,避免了困难的字符分割问题。然后,建立在长短期记忆(LSTM)基础上的深度递归模型被开发出来,以鲁棒地识别生成的CNN序列,这与大多数现有的独立识别每个字符的方法不同。与现有的场景文本识别方法相比,我们的模型具有许多吸引人的特性:(i)它可以通过利用有意义的上下文信息来识别高度模糊的单词,使其无需预处理或后处理即可可靠地工作;(ii)深度CNN特征对各种图像失真具有鲁棒性;(3)它保留了词意象中的显式顺序信息,这是区分词串所必需的;(iv)该模型不依赖于预定义的字典,并且可以处理未知词和任意字符串。将提供DTRN的代码。
2015-12-20 cs.CV
Kernel function impact on convolutional neural networks
Mustapha Stambouli University of Mascara(马斯卡拉穆斯塔法·斯坦布利大学);University of Orleans(奥尔良大学);Université Paris Saclay(巴黎萨克雷大学);Univ Evry(埃夫里大学)
研究了卷积神经网络中不同层次核函数的使用。我们对它们对卷积层、池化层和全连接层的影响进行了广泛的研究。我们注意到,线性核可能不足以有效地拟合输入数据分布,而高阶核倾向于过拟合。这导致得出结论,应该达到复杂性和性能之间的权衡。我们展示了如何有效地利用核函数,通过引入更具失真意识的池化层来减少过度拟合,同时跟踪馈送到后续层的大部分信息。我们进一步提出了内核化密集层(KDL),它取代了全连接层,并捕获更高阶的特征交互。在传统分类数据集(即MNIST,FASHION-MNIST和CIFAR-10)上的实验表明,与经典卷积,池化和全连接层相比,所提出的技术提高了网络的性能。此外,在细粒度分类即面部表情数据库(即RAF-DB,FER 2013和ExpW)上的实验表明,网络的区分能力得到了提高,因为所提出的技术提高了对轻微视觉细节的感知,并允许网络达到最先进的结果。
2023-02-20 cs.CV
Online Video Super-Resolution with Convolutional Kernel Bypass Graft
the Hong Kong Polytechnic University(香港理工大学);Microsoft Research Asia(微软亚洲研究院)
近年来,基于深度学习的模型在视频超分辨率(VSR)方面取得了显著的性能,但这些模型大多不太适用于在线视频应用。这些方法仅考虑失真质量,而忽略了在线应用的关键要求,例如,低延迟和低模型复杂度。本文主要研究在线视频传输,其中要求采用VSR算法实时的逐帧生成高分辨率的视频序列。为了解决这些挑战,我们提出了一个极低的延迟VSR算法的基础上一种新的内核知识转移方法,命名为卷积核旁路移植(CKBG)。首先,我们设计了一个轻量级的网络结构,不需要未来的帧作为输入,并节省额外的时间成本缓存这些帧。然后,我们提出的CKBG方法通过使用“内核移植”绕过原始网络来增强这个轻量级的基础模型,这些内核移植是包含外部预训练图像SR模型的先验知识的额外卷积内核。在测试阶段,我们通过将嫁接的多分支网络转换为简单的单路径结构来进一步加速嫁接的多分支网络。实验结果表明,我们提出的方法可以处理高达110 FPS的在线视频序列,具有非常低的模型复杂度和竞争力的SR性能。
2022-08-04 cs.CV
Training-Free Bottleneck Width Planning for Convolutional Autoencoders
Beihang University(北京航空航天大学)
提出免训练的MS-SRD方法,利用谱率失真理论规划卷积自编码器瓶颈宽度,在多个数据集上实现高精度预测,无需训练选择器。
2026-09-28 cs.CV
Exploring Novel Pooling Strategies for Edge Preserved Feature Maps in Convolutional Neural Networks
National Institute of Technology Trichy(特里奇国家理工学院);Indian Institute of Technology Palakkad(帕拉卡德印度理工学院)
随着抗锯齿卷积神经网络(CNN)的引入,重新审视CNN中池化的方式已经有了一些复苏。抗混叠CNN的基本构建块是在池化操作之前应用高斯平滑,以减少由于混叠引起的失真,从而使CNN平移不变。基于小波的方法也被提出作为额外的噪声去除能力的可能性,并给出了有趣的结果,甚至分割任务。然而,所有提出的方法都是在假设高频成分是噪声的情况下完全去除高频成分。然而,通过去除高频分量,特征图中的边缘也被平滑。在这项工作中,一个详尽的分析的边缘保留池的分类,分割和自动编码器的选项。提出了两种新的池化方法,如拉普拉斯-高斯注意力级联(LGCA)池化和基于小波的近似细节系数注意力级联(WADCA)池化。结果表明,所提出的池化方法优于传统的池化以及模糊池化的分类,分割和自动编码器。
2021-10-17 cs.CV eess.IV