RPSRNet: End-to-End Trainable Rigid Point Set Registration Network using Barnes-Hut $2^D$-Tree Representation
TU Kaiserslautern(凯泽斯劳滕工业大学);German Research Center for Artificial Intelligence (DFKI GmbH)(德国人工智能研究中心(DFKI GmbH))
我们提出了RPSRNet -一种用于刚性点集配准的新型端到端可训练深度神经网络。对于这项任务,我们使用了一种新的$2^D$树表示的输入点集和分层的深度特征嵌入在神经网络。我们网络中的迭代变换细化模块提高了中间阶段的特征匹配精度。我们实现了12- 15 ms的推理速度,以注册一对输入点云大到250 K。对(i)KITTI LiDAR测距法和(ii)ModelNet-40数据集的广泛评估表明,我们的方法优于现有的最先进的方法-例如,在KITTI数据集上,DCP-v2的旋转和平移精度分别提高了1.3和1.5倍,PointNetLK的旋转和平移精度分别提高了1.8和1.9倍。在ModelNet 40上的评估表明,当样本包含大量噪声和其他干扰时,RPSRNet比其他基准方法更鲁棒。RPSRNet可精确配准具有非均匀采样密度的点云,例如,LiDAR数据,许多现有的基于深度学习的配准方法无法处理。
2021-04-12 cs.CV
A Trainable Multiplication Layer for Auto-correlation and Co-occurrence Extraction
Kyushu University(九州大学)
在本文中,我们提出了一个可训练的乘法层(TML)的神经网络,可用于计算输入功能之间的乘法。以图像作为输入,TML将每个像素值提高到权重的幂,然后将它们相乘,从而从输入图像中提取高阶局部自相关。TML还可以用于从卷积网络的特征图中提取同现。TML的训练是基于反向传播与约束的权重制定的,使我们能够以端到端的方式学习有区别的乘法模式。在实验中,TML的特性进行了研究,通过可视化学习内核和相应的输出功能。TML分类和神经网络解释的适用性也使用公共数据集进行评估。
2019-05-30 cs.CV
A Trainable Feature Extractor Module for Deep Neural Networks and Scanpath Classification
University Tübingen(蒂宾根大学)
本文提出一种可训练的特征提取模块,将扫描路径转换为特征向量,与深度神经网络联合训练以提升分类性能,并在三个公开数据集上验证其优于现有方法。
2024-03-19 cs.CV cs.LG
Single image super-resolution based on trainable feature matching attention network
School of Optoelectronic Information and Computer Engineering, University of Shanghai for Science and Technology(上海理工大学光电信息与计算机工程学院)
提出可训练特征匹配注意力网络(TFMAN),将显式特征学习融入CNN,结合非局部与通道注意力,并采用同尺寸分块区域级非局部(SRNL)降低计算负担,在基准数据集上以更少参数取得优越超分辨率性能。
2024-05-29 cs.CV
An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition
School of Electronic Information and Communications(电子信息与通信学院);Huazhong University of Science and Technology(华中科技大学)
基于图像的序列识别一直是计算机视觉领域的研究热点。场景文本识别是基于图像序列识别中最重要和最具挑战性的任务之一。提出了一种新的神经网络结构,它将特征提取、序列建模和转录集成到一个统一的框架中。与以前的场景文本识别系统相比,该架构具有四个独特的属性:(1)它是端到端的可训练的,与大多数现有的算法,其组件是单独训练和调整。(2)它自然地处理任意长度的序列,不涉及字符分割或水平尺度规范化。(3)它不受任何预定义词典的限制,在无词典和基于词典的场景文本识别任务中都取得了显著的成绩。(4)它生成了一个有效但更小的模型,这对现实世界的应用场景更实用。在IIIT-5 K、街景文本和ICDAR数据集上的实验表明,该算法优于现有算法。此外,该算法在基于图像的乐谱识别任务中表现良好,这明显验证了它的通用性。
2015-07-21 cs.CV
TCL: an ANN-to-SNN Conversion with Trainable Clipping Layers
Kyung Hee University(庆熙大学)
尖峰神经网络(SNN)在边缘设备上很有前途,因为SNN的事件驱动操作与模拟神经网络(ANN)相比提供了显着更低的功耗。虽然很难有效地训练SNN,但是已经开发了许多将训练的ANN转换为SNN的技术。然而,在转换之后,SNN中存在准确性和延迟之间的权衡关系,这在ImageNet等大型数据集中造成了相当大的延迟。我们提出了一种名为TCL的技术来缓解权衡问题,使ImageNet的准确率达到73.87%(VGG-16)和70.37%(ResNet-34),SNN的延迟为250个周期。
2021-11-15 cs.CV
Mask TextSpotter: An End-to-End Trainable Neural Network for Spotting Text with Arbitrary Shapes
Huazhong University of Science and Technology(华中科技大学);Megvii (Face++) Inc.(旷视(Face++)公司)
以端到端的训练方式统一文本检测和文本识别已成为野外阅读文本的新趋势,因为这两项任务高度相关且互补。在本文中,我们研究的问题,场景文本定位,其目的是同时在自然图像中的文本检测和识别。提出了一种端到端的可训练神经网络Mask TextSpotter。与之前的文本识别器遵循由建议生成网络和序列到序列识别网络组成的管道不同,Mask TextSpotter具有简单而平滑的端到端学习过程,其中检测和识别都可以通过语义分割直接从二维空间实现。此外,空间注意模块的建议,以提高性能和通用性。受益于所提出的检测和识别的二维表示,它可以很容易地处理不规则形状的文本实例,例如,弯曲的文本。我们在四个英语数据集和一个多语言数据集上对其进行了评估,在检测和端到端文本识别任务中,与最先进的方法相比,其性能始终优越。此外,我们进一步研究了我们的方法的识别模块分别,显着优于国家的最先进的方法在规则和不规则的文本数据集的场景文本识别。
2019-08-22 cs.CV
End to End Trainable Active Contours via Differentiable Rendering
Tel Aviv University(特拉维夫大学);Facebook AI Research(Facebook人工智能研究院)
我们提出了一种图像分割方法,迭代地演变的多边形。在每次迭代时,多边形的顶点基于经由编码器-解码器架构从输入图像推断的2D移位映射的局部值而移位。使用的主要训练损失是多边形形状和地面实况分割掩模之间的差异。该网络采用神经渲染器从其顶点创建多边形,使该过程完全可微。我们证明,我们的方法优于最先进的分割网络和深度活动轮廓解决方案在各种基准,包括医学成像和航空图像。我们的代码可在https://github.com/shirgur/ACDRNet上获得。
2019-12-01 cs.CV
Transfer learning RGB models to hyperspectral images with trainable tensor decompositions
KU Leuven, Dept. of Computer Science(库勒芬大学计算机科学系);Leuven.AI - KU Leuven Institute for AI(莱文人工智能 - 库勒芬大学人工智能研究所)
提出一种通过可训练张量分解将预训练RGB模型的卷积滤波器分解为空间和光谱成分,并替换光谱成分以适应高光谱图像通道数的方法,实现高光谱图像迁移学习,实验表明该方法比其他方法更准确和鲁棒。
2026-05-27 cs.CV
End-to-end Trainable Deep Neural Network for Robotic Grasp Detection and Semantic Segmentation from RGB
Graz University of Technology(格拉茨理工大学)
在这项工作中,我们引入了一种新的,端到端的可训练的基于CNN的架构,提供高质量的结果,把握检测适合平行板夹持器,和语义分割。利用这一点,我们提出了一种新的细化模块,利用先前计算的把握检测和语义分割,并进一步提高把握检测精度。我们提出的网络在两个流行的抓取数据集上提供了最先进的准确性,即Cornell和Jardine。作为额外的贡献,我们为OCID数据集提供了一个新的数据集扩展,使得在极具挑战性的场景中评估抓取检测成为可能。使用这个数据集,我们表明,语义分割可以另外用于分配把握候选对象类,它可以用来挑选场景中的特定对象。
2022-02-11 cs.CV cs.RO
Trainable Spectrally Initializable Matrix Transformations in Convolutional Neural Networks
University of Fribourg(弗里堡大学);University of Bern(伯尔尼大学);V7 Ltd(V7有限公司);Luleå University of Technology(吕勒奥理工大学);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
在这项工作中,我们研究了可训练和频谱可初始化矩阵变换在卷积运算产生的特征映射上的应用。虽然以前的文献已经证明了添加静态谱变换作为特征处理器的可能性,但我们的重点是更一般的可训练变换。我们研究了四个不同性质的数据集上各种架构配置的转换:从医学(ColorectalHist,HAM10000)和自然(Flowers,ImageNet)图像到历史文档(CB55)和手写识别(GPDS)。通过严格的实验,控制参数和随机性的数量,我们表明,网络利用引入矩阵变换优于香草神经网络。在所有数据集中,观察到的准确性平均增加了2.2。此外,我们表明,频谱初始化的好处导致显着更快的收敛,而不是随机初始化的矩阵变换。这些转换被实现为可自动区分的PyTorch模块,可以集成到任何神经网络架构中。整个代码库都是开源的。
2019-11-13 cs.CV cs.LG
Trainable Activation Function in Image Classification
Beijing Institue of Technology(北京理工大学)
在目前的神经网络研究中,激活函数是由人工指定的,并且不能在训练过程中自动改变。本文主要研究如何使深度神经网络的激活函数具有可训练性。利用不同激活函数的级数和线性组合,使激活函数连续变化。此外,我们还在Cifar-10数据集上测试了具有傅立叶级数模拟激活的CNN(Fourier-CNN)和具有线性组合激活函数的CNN(LC-CNN)的性能。结果表明,我们的可训练激活函数比最常用的ReLU激活函数表现出更好的性能。最后,我们用自动编码器改进了Fourier-CNN的性能,并测试了PSO算法在优化网络参数方面的性能
2020-06-05 cs.CV cs.LG cs.NE
AMTnet: Action-Micro-Tube Regression by End-to-end Trainable Deep Architecture
Oxford Brookes University(牛津布鲁克斯大学)
动作检测的主要方法只能提供问题的次优解决方案,因为它们依赖于寻求帧级检测,以便稍后在后处理步骤中将它们组合成“动作管”。在本文中,我们从根本上脱离了当前的实践,并朝着设计和实现能够分类和回归整个视频子集的深度网络架构迈出了第一步,从而为动作检测问题提供了真正的最佳解决方案。在这项工作中,特别是,我们提出了一种新的深度网络框架,能够对跨越两个连续视频帧的3D区域建议进行回归和分类,其核心是经典区域建议网络(RPN)的演变。因此,我们的3D-RPN网络能够通过纯粹利用外观来有效地编码动作的时间方面,而不是严重依赖昂贵的流图的方法。所提出的模型是端到端可训练的,并且可以在单步的中联合优化动作定位和分类。在测试时,网络预测包含两个连续帧的“微管”,这些帧通过一种新算法连接成完整的动作管,该算法利用了网络学习的时间编码,并将计算时间缩短了50%。在J-HMDB-21和UCF-101动作检测数据集上的令人鼓舞的结果表明,我们的模型在纯粹依赖外观时确实优于最先进的模型。
2017-08-06 cs.CV
End-to-end trainable network for degraded license plate detection via vehicle-plate relation mining
University of Science and Technology Beijing(北京科技大学);EEasy Technology Company Ltd.(易易科技有限公司)
车牌检测是车牌识别系统的第一步,也是必不可少的一步,在实际应用中仍然具有挑战性,例如道路场景。特别是小尺寸和倾斜的车牌,主要是由于距离较远且移动摄像头造成的,很难检测到。在这项工作中,我们提出了一种新的和适用的方法,通过车辆牌照关系挖掘,在一个由粗到细的计划定位车牌退化车牌检测。首先,我们提出了估计的车牌周围的局部区域,通过使用车辆和车牌之间的关系,这可以大大减少搜索区域和精确检测非常小的车牌。其次,我们提出了预测的四边形限界框在本地区域回归的四个角落的车牌鲁棒检测倾斜的车牌。此外,整个网络可以以端到端的方式进行训练。大量的实验验证了我们提出的方法的有效性,小尺寸和倾斜的车牌。代码可在https://github.com/chensonglu/LPD-end-to-end上获得。
2020-10-27 cs.CV
Fast End-to-End Trainable Guided Filter
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);eBay Research(eBay研究);University of Oxford(牛津大学);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
通过利用全卷积网络(FCN)的能力,密集像素图像预测已经得到了改进。FCN的一个核心问题是处理联合上采样的能力有限。为了解决这个问题,我们提出了一种新的构建块的FCNs,即引导过滤层,它的目的是有效地生成一个高分辨率的输出,给出相应的低分辨率和高分辨率的指导地图。这样的层包含可学习的参数,这些参数可以与FCN集成,并通过端到端训练进行联合优化。为了进一步利用端到端训练,我们插件中插入了一个可训练的转换函数,用于生成特定于任务的指导图。基于所提出的层,我们提出了一个一般的框架,逐像素图像预测,命名为深度引导过滤网络(DGF)。建议的网络进行评估的五个图像处理任务。在MIT-Adobe FiveK数据集上的实验表明,DGF的运行速度提高了10-100倍,达到了最先进的性能。我们还表明,DGF有助于提高多个计算机视觉任务的性能。
2019-09-25 cs.CV
FOSNet: An End-to-End Trainable Deep Neural Network for Scene Recognition
Yonsei University(延世大学)
场景识别是一个图像识别问题,旨在预测图像拍摄地点的类别。提出了一种基于卷积神经网络(CNN)的场景识别方法。该方法基于图像中目标和场景信息的融合,将CNN框架称为FOS(fusion of object and scene)Net。此外,提出了一种新的损失-场景相干损失(SCL),用于训练FOSNet,提高场景识别性能。提出的SCL是基于独特的特点,场景的“场景”传播和场景类不改变整个图像。建议的FOSNet实验与三个最流行的场景识别数据集,并在两组中获得他们的国家的最先进的性能:60.14%的地方2和90.37%的麻省理工学院室内67。在SUN 397上获得了第二高的77.28%的性能。
2019-07-18 cs.CV
RF-Net: An End-to-End Image Matching Network based on Receptive Field
Xiamen University(厦门大学);Louisiana State University(路易斯安那州立大学);University of Waterloo(滑铁卢大学)
提出了一种基于感受野的端到端可训练匹配网络RF-Net,用于计算图像间的稀疏对应关系。构建端到端可训练的匹配框架是可取的,也是具有挑战性的。最新的方法LF-Net成功地将整个特征提取管道嵌入到一个联合可训练的管道中,并产生最先进的匹配结果。本文介绍了LF网的结构的两个修改。首先,我们建议构造接受性特征图,这导致更有效的关键点检测。其次,我们引入了一个通用的损失函数术语,邻居掩码,以方便训练补丁的选择。这导致描述符训练的稳定性提高。我们在开放数据集HPatches上训练了RF-Net,并将其与多个基准数据集上的其他方法进行了比较。实验表明,RF-Net优于现有的最先进的方法。
2019-06-03 cs.CV
Quantum-Inspired Trainable and Parameter-Efficient Tensor Networks for Image Inpainting
Institute of Science Tokyo(东京科学研究所)
本文提出量子启发的张量网络电路作为可训练变换用于图像修复,其对角QFT松弛可逆且计算高效,通过无约束梯度相位优化学习,以更少参数达到优于固定变换并匹配大型酉架构的性能。
2026-09-16 cs.CV cs.LG eess.IV
JBFnet -- Low Dose CT Denoising by Trainable Joint Bilateral Filtering
Friedrich-Alexander Universität Erlangen-Nürnberg (FAU)(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Siemens Healthcare GmbH(西门子医疗有限公司)
深度神经网络在低剂量CT去噪方面取得了巨大成功。然而,这些深度神经网络中的大多数都有几十万个可训练的参数。这与神经网络固有的非线性相结合,使得深度神经网络难以理解,责任心低。在这项研究中,我们介绍了JBFnet,神经网络的低剂量CT去噪。JBFnet的体系结构实现了迭代双边滤波。联合双边滤波器(JBF)的滤波器函数是通过浅层卷积网络学习的。引导图像由深度神经网络估计。JBFnet分为四个滤波块,每个滤波块执行联合双边滤波。每个JBF块由112个可训练的参数组成,使得噪声去除过程非常简单。在滤波之后添加噪声图(NM)以保留高级特征。我们用10名患者的身体扫描数据训练JBFnet,并在AAPM低剂量CT Grand Challenge数据集上对其进行测试。我们将JBFnet与最先进的深度学习网络进行比较。JBFnet在去除噪声的同时保留结构方面优于测试数据集上的CPCE 3D,GAN和深度GFnet。我们进行了几次消融研究,以测试我们的网络架构和训练方法的性能。我们目前的设置实现了最佳性能,同时仍然保持行为问责制。
2020-07-09 cs.CV cs.LG eess.IV
ErfAct and Pserf: Non-monotonic Smooth Trainable Activation Functions
IIIT Delhi(德里英德拉普拉斯塔信息技术学院);Shaheed Bhagat Singh College, University of Delhi(德里大学沙希德·巴格特·辛格学院);University of Delhi(德里大学)
激活函数是在网络中引入非线性的神经网络的关键组成部分。神经网络的最新性能还取决于激活函数的完美选择。我们提出了两个新的非单调光滑可训练的激活函数,称为ErfAct和Pserf。实验表明,与广泛使用的ReLU,Swish和Mish等激活相比,所提出的功能显着提高了网络性能。通过ErfAct和Pserf替换ReLU,我们在Shufflenet V2上的top-1准确率分别提高了5.68%和5.42% CIFAR 100数据集中的(2.0倍)网络,Shufflenet V2上的前1准确度提高了2.11%和1.96%在CIFAR 10数据集上的平均精度(mAP)提高了1.0%,在Pascal VOC数据集上的SSD 300模型上的平均精度(mAP)提高了1.0%。
2022-03-24 cs.AI cs.CV cs.LG
Dynamic Dual Trainable Bounds for Ultra-low Precision Super-Resolution Networks
Tencent Youtu Lab(腾讯优图实验室);Xiamen University(厦门大学)
轻量级超分辨率(SR)模型由于其在移动设备中的可服务性而受到相当大的关注。许多努力采用网络量化来压缩SR模型。然而,这些方法在将SR模型量化到超低精度(例如,2-位和3位)与低成本逐层量化器。在本文中,我们确定的性能下降来自层之间的矛盾对称量化器和高度不对称的激活分布SR模型。这种差异导致量化水平上的浪费或重建图像中的细节损失。因此,我们提出了一种新的激活量化器,称为动态双可训练边界(DDTB),以适应激活的不对称性。具体而言,DDTB创新于:1)具有可训练上限和下限的逐层量化器,以解决高度不对称的激活。2)动态门控制器用于在运行时自适应地调整上下限,以克服在不同样本上急剧变化的激活范围。为了减少额外的开销,动态门控制器被量化为2位,并根据引入的动态强度仅应用于部分SR网络。大量的实验表明,我们的DDTB表现出显着的性能改善超低精度。例如,当将EDSR量化为2位并将输出图像放大到x4时,我们的DDTB在Urban100基准上实现了0.70dB的PSNR增加。代码位于\url{https://github.com/zysxmu/DDTB}。
2022-07-04 cs.CV eess.IV
Orthogonal-Padé Activation Functions: Trainable Activation functions for smooth and faster convergence in deep networks
我们提出了正交Padé激活函数,这是一种可训练的激活函数,表明它们具有更快的学习能力,并提高了标准深度学习数据集和模型的准确性。基于我们的实验,我们已经找到了两个最好的候选人,我们称之为安全的Hermite-Pade(HP)激活函数,即HP-1和HP-2的六个正交Pade激活。与ReLU相比,HP-1和HP-2在PreActResNet-34中的top-1准确度分别增加了5.06%和4.63%,在CIFAR 100数据集上的MobileNet V2模型中分别增加了3.02%和2.75%,而在CIFAR 10数据集上,PreActResNet-34中的top-1准确度分别增加了2.02%和1.78%,LeNet分别增长2.24%和2.06%,Efficientnet B 0分别增长2.15%和2.03%。
2021-06-17 cs.AI cs.CV cs.LG
End-To-End Trainable Video Super-Resolution Based on a New Mechanism for Implicit Motion Estimation and Compensation
McMaster University(麦克马斯特大学);University of Ottawa(渥太华大学)
视频超分辨率旨在从其低分辨率对应物生成高分辨率视频。随着深度学习的迅速兴起,许多最近提出的视频超分辨率方法使用卷积神经网络结合显式运动补偿来利用低分辨率帧内和跨低分辨率帧的统计依赖性。这种方法有两个共同的问题值得注意。首先,最终重建的HR视频的质量通常对运动估计的准确性非常敏感。其次,运动补偿所需的扭曲网格,这是由两个流图划定像素位移在水平和垂直方向,往往会引入额外的错误,并危及跨视频帧的时间一致性。为了解决这些问题,我们提出了一种新的动态局部滤波器网络来执行隐式运动估计和补偿,通过局部连接层,样本特定的和位置特定的动态局部滤波器,定制的目标像素。我们还提出了一个基于ResBlock和自动编码器结构的全局细化网络,以利用非局部相关性并增强超分辨率帧的空间一致性。实验结果表明,该方法优于国家的最先进的,并验证了其实力方面的局部变换处理,时间一致性以及边缘清晰度。
2020-01-05 cs.CV
TextNet: Irregular Text Reading from Images with an End-to-End Trainable Network
Baidu Inc(百度公司)
从图像中读取文本仍然具有挑战性,这是由于多方向,透视变形,特别是不规则文本的弯曲性质。大多数现有的方法试图解决问题的两个或多个阶段,这被认为是瓶颈,以优化整体性能。为了解决这个问题,我们提出了一个端到端的可训练网络架构,名为TextNet,它能够同时定位和识别图像中的不规则文本。具体来说,我们开发了一个尺度感知的注意力机制来学习多尺度图像特征作为骨干网络,共享完全卷积的特征和计算,用于定位和识别。在文本检测分支中,我们直接在四边形中生成文本建议,涵盖了定向,透视和弯曲的文本区域。为了保留识别的文本特征,我们引入了一个透视RoI变换层,它可以将四边形提案对齐到小的特征图中。此外,为了提取有效的特征用于识别,我们提出将对齐后的RoI特征通过RNN编码为上下文信息,结合空间注意力机制生成文本序列。这一总体管道能够处理常规和非常规案件。最后,文本定位和识别任务可以以端到端的方式与设计的多任务损失联合训练。标准基准测试的实验表明,所提出的TextNet可以实现最先进的性能,并在不规则数据集上大大优于现有的方法。
2018-12-24 cs.CV cs.MM
Improved Trainable Calibration Method for Neural Networks on Medical Imaging Classification
University of Kentucky(肯塔基大学)
最近的工作表明,深度神经网络可以在医学成像领域的广泛图像分类任务中实现超人的性能。然而,这些工作主要集中在分类精度,忽略了不确定性量化的重要作用。从经验上讲,神经网络经常在预测中被错误校准和过度自信。这种误校准在任何自动决策系统中都可能存在问题,但我们专注于医学领域,其中神经网络误校准有可能导致重大的治疗错误。我们提出了一种新的校准方法,保持整体分类精度,同时显着提高模型校准。所提出的方法是基于预期的校准误差,这是一个共同的度量量化误校准。我们的方法可以很容易地集成到任何分类任务中作为辅助损失项,因此不需要明确的训练轮进行校准。我们表明,我们的方法在各种架构和数据集上显着降低了校准误差。
2020-09-09 cs.CV cs.LG eess.IV
FireGNN: Neuro-Symbolic Graph Neural Networks with Trainable Fuzzy Rules for Interpretable Medical Image Classification
Imperial College London(伦敦帝国学院)
提出FireGNN,将可训练模糊规则融入图神经网络,利用拓扑描述符实现可解释的医学图像分类,在多个基准上性能优异。
2025-10-09 cs.AI cs.CV cs.LG
Set Aggregation Network as a Trainable Pooling Layer
Faculty of Mathematics and Computer Science Jagiellonian University(雅盖隆大学数学与计算机科学学院);Ardigen
全局池化,例如最大池化或和池化,是用于处理图像、文本、图形和其他类型的结构化数据的深度神经网络中的关键成分之一。基于Zaheer等人最近提出的DeepSets架构(NIPS 2017),我们引入了集合聚合网络(SAN)作为替代全局池化层。与典型的池运算符相比,SAN允许将给定的一组特征嵌入到任意大小的向量表示中。我们表明,通过调整嵌入的大小,SAN是能够保持从输入的整个信息。在实验中,我们证明了用SAN代替全局池化层可以提高分类精度。此外,它不太容易过拟合,可以用作正则化器。
2019-11-25 cs.AI cs.CV cs.LG
Deep Unfolded BM3D: Unrolling Non-local Collaborative Filtering into a Trainable Neural Network
Electronics and Communication Engineering Department, Istanbul Technical University, Istanbul, Turkey(伊斯坦布尔技术大学电子与通信工程系);Electrical and Electronics Engineering Department, Istanbul University, Istanbul, Turkey(伊斯坦布尔大学电气与电子工程系)
针对BM3D依赖固定参数、深度模型泛化性差的问题,提出DU-BM3D混合框架,用可学习U-Net替代BM3D固定滤波,保留非局部先验且端到端优化,在LDCT去噪中优于经典BM3D和U-Net,高噪声下PSNR与SSIM更高。
2025-11-15 cs.AI cs.CV eess.IV
Learning Features with Parameter-Free Layers
NAVER AI Lab(NAVER人工智能实验室);NAVER CLOVA
卷积构建块等可训练层是标准的网络设计选择,通过学习参数来通过连续的空间操作捕获全局上下文。当设计一个高效的网络时,可训练层(如dependencyconvolution)是参数和FLOP数量的效率来源,但实际上模型速度几乎没有提高。本文认为,简单的内置无参数操作可以是替代网络架构中空间操作的高效可训练层的有利替代方案。我们的目标是打破将构建块的空间操作组织成可训练层的刻板印象。提供了基于层级研究的广泛实验分析,其中包括完全训练的模型和神经架构搜索,以研究无参数操作(如最大池)是否有效。这些研究最终为我们重新设计网络架构提供了一个简单而有效的想法,其中无参数操作被大量用作主要构建模块,而不会牺牲模型的准确性。ImageNet数据集上的实验结果表明,具有无参数操作的网络架构可以在模型速度,参数数量和FLOP方面享有更高的效率。Code和ImageNet预训练模型可在https://github.com/naver-ai/PfLayer上获得。
2022-03-20 cs.CV cs.LG
Drastically Reducing the Number of Trainable Parameters in Deep CNNs by Inter-layer Kernel-sharing
Shahid Beheshti University(沙希德·贝赫什提大学);Artificial and Natural Intelligence Toulouse Institute(图卢兹人工智能与自然智能研究所);CNRS(法国国家科学研究中心);Université Toulouse 3(图卢兹第三大学)
深度卷积神经网络(DCNN)已成为许多计算机视觉任务的最先进(SOTA)方法:图像分类,目标检测,语义分割等。在这里,我们提出了一种简单的方法来减少可训练参数的数量,从而减少内存占用:在多个卷积层之间共享内核。内核共享仅在"同构”层之间是可能的,即具有相同内核大小、输入和输出通道的层。这通常是DCNN的每个阶段内部的情况。我们使用ConvMixer和SE-ResNet架构在CIFAR-10和CIFAR-100上进行的实验表明,这些模型的参数数量可以大大减少,同时精度成本最小。由此产生的网络对于某些受到严重内存限制的边缘计算应用程序很有吸引力,如果利用“冻结权重”硬件加速器,则更有趣。核共享也是一种有效的正则化方法,可以减少过拟合。这些守则可在https://github.com/AlirezaAzadbakht/kernel-sharing上公开查阅。
2022-10-23 cs.AI cs.CV cs.LG
An End-To-End-Trainable Iterative Network Architecture for Accelerated Radial Multi-Coil 2D Cine MR Image Reconstruction
Physikalisch-Technische Bundesanstalt (PTB)(德国联邦物理技术研究院);University of Innsbruck(因斯布鲁克大学);King’s College London(伦敦国王学院);Technical University of Berlin(柏林工业大学)
目的:迭代卷积神经网络(CNN)类似于展开的学习迭代方案,已显示出在不同成像模式下始终为图像重建问题提供最先进的结果。然而,因为这些方法包括在架构中的前向模型,它们的适用性往往是有限的,要么相对较小的重建问题,或与运算符的计算是廉价的计算问题。因此,它们迄今尚未被应用于动态非笛卡尔多线圈重建问题。方法:在这项工作中,我们提出了一个CNN架构的加速二维放射状电影MRI与多个接收线圈的图像重建。该网络基于计算量小的CNN组件和随后的共轭梯度(CG)方法,可以使用有效的训练策略进行端到端的联合训练。我们研究了所提出的训练策略,并将我们的方法与其他知名的重建技术进行了比较,这些重建技术具有学习和非学习的正则化方法。结果:我们提出的方法优于所有其他基于非学习正则化的方法。此外,它的性能类似于或优于采用3D U-Net的基于CNN的方法和使用自适应字典学习的方法。此外,我们的经验表明,即使只通过迭代来训练网络,也可以在测试时增加网络的长度,并进一步改善结果。结论:端到端训练可以大大减少重建网络的可训练参数数量并稳定重建网络。此外,因为可以在测试时改变网络的长度,所以在CNN块的复杂度和每个CG块中的迭代次数之间找到折衷的需要变得无关紧要。
2021-02-01 cs.CV cs.LG eess.IV
Mono2D: A Trainable Monogenic Layer for Robust Knee Cartilage Segmentation on Out-of-Distribution 2D Ultrasound Data
The University of British Columbia(不列颠哥伦比亚大学);Michigan State University(密歇根州立大学)
针对医学影像分割中域偏移导致的泛化差问题,提出可训练单基因层Mono2D,通过提取多尺度不变相位特征缓解域偏移,在膝关节超声和前列腺MRI的单源域泛化任务上性能优于现有方法。
2025-03-21 cs.CV eess.IV
T-TAME: Trainable Attention Mechanism for Explaining Convolutional Networks and Vision Transformers
Centre for Research and Technology Hellas (CERTH) / Information Technologies Institute (ITI)(希腊研究中心与技术研究中心(CERTH)/信息科技研究所(ITI))
本文提出T-TAME,一种兼容Transformer的可训练注意力解释方法,能以单次前向传播生成解释图,并在VGG-16、ResNet-50和ViT-B-16上取得优于现有方法的SOTA可解释性表现。
2025-06-03 cs.AI cs.CV cs.LG
Trainable Loss Weights in Super-Resolution
Sharif University of Technology(谢里夫理工大学)
本文提出一种基于图像结构和感知特征的可训练像素级损失加权方法,并引入FixedSum激活函数和期望最大化联合训练策略,在超分辨率任务中同时提升信噪比和感知相似性。
2023-11-27 cs.CV cs.LG eess.IV
DTL: Disentangled Transfer Learning for Visual Recognition
Nanjing University(南京大学)
针对现有参数高效迁移学习方法可训练参数与骨干网络耦合导致GPU显存占用未有效降低的问题,提出基于轻量紧凑侧网络的解耦迁移学习DTL,在减少显存和参数的同时提升了准确率,刷新多个基准最优性能。
2024-02-02 cs.AI cs.CV
Efficient ResNets: Residual Network Design
New York University(纽约大学);NYU Tandon School of Engineering(纽约大学坦登工程学院)
本文设计了一种参数少于500万的残差网络,在CIFAR-10上达到96.04%的测试准确率,远超ResNet18,适用于存储受限设备。
2023-06-21 cs.CV cs.LG
Similarity Mapping with Enhanced Siamese Network for Multi-Object Tracking
Panasonic Silicon Valley Laboratory(松下硅谷实验室);University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学)
多目标跟踪近年来已成为计算机视觉的一个重要领域,特别是对于高级驾驶员辅助系统(ADAS)。尽管越来越受到关注,但实现高性能跟踪仍然具有挑战性,最先进的系统导致具有大量超参数的高复杂性。在本文中,我们专注于降低整体系统的复杂性和数量的超参数,需要调整到一个特定的环境。我们介绍了一种新的跟踪系统的基础上相似性映射的增强型暹罗神经网络(ESNN),它占外观和几何信息,是可训练的端到端。与已知的最先进的方法相比,我们的系统在MOT16挑战的速度和准确性方面都具有竞争力。
2017-01-24 cs.CV cs.LG
Privacy-Preserving Image Acquisition Using Trainable Optical Kernel
Centre Suisse d’Electronique et de Microtechnique (CSEM)(瑞士电子与微技术中心(CSEM));École polytechnique fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL))
在传感器和摄像头无处不在的社会中,保护隐私是一个越来越受关注的问题。在这项工作中,我们首次提出了一种可训练的图像采集方法,该方法在到达图像传感器之前去除了光域中的敏感身份揭示信息。该方法受益于可训练的光学卷积核,其传输所需的信息,同时过滤掉敏感内容。由于敏感内容在到达图像传感器之前被抑制,因此它不会进入数字域,因此任何类型的隐私攻击都无法检索。这与当前的数字隐私保护方法形成对比,这些方法都容易受到直接存取攻击。此外,与之前无法训练的光学隐私保护方法相比,我们的方法是数据驱动的,并针对手头的特定应用进行了优化。此外,采集系统上不存在额外的计算、存储器或功率负担,因为该处理在光域中被动地发生,并且甚至可以一起使用并且在全数字隐私保护系统之上使用。该方法适用于不同的数字神经网络和内容。我们证明了它的几个场景,如微笑检测作为所需的属性,而性别作为敏感内容被过滤掉。我们结合两个对抗神经网络训练了光学内核,其中分析网络试图检测所需的属性,对抗网络试图检测敏感内容。我们表明,这种方法可以减少65.1%的敏感内容时,它被选择为性别,它只失去了7.3%的所需内容。此外,我们重建的原始人脸使用的深度重建方法,证实重建攻击的无效性,以获得敏感内容。
2021-06-28 cs.CR cs.CV cs.LG