Wider or Deeper: Revisiting the ResNet Model for Visual Recognition
The University of Adelaide(阿德莱德大学)
越来越深的神经网络的趋势是由一个普遍的观察所驱动的,即增加深度会提高网络的性能。然而,最近越来越多的证据表明,简单地增加深度可能不是提高性能的最佳方法,特别是考虑到其他限制。对深度剩余网络的研究也表明,它们实际上可能不是作为一个单一的深度网络运行,而是作为许多相对较浅的网络的集合体运行。我们研究这些问题,并在这样做,在一个新的解释解开深残差网络的观点,解释了一些已经观察到的实验行为。因此,我们能够推导出一种新的、更浅的残差网络架构,它在ImageNet分类数据集上的性能明显优于更深的模型,如ResNet-200。我们还表明,这种性能是可转移到其他问题领域,通过开发一个语义分割的方法,它优于国家的最先进的数据集,包括PASCAL VOC,PASCAL上下文,城市景观的显着利润率。因此,我们提出的架构优于其比较器,包括非常深的ResNets,但在内存使用方面更有效,有时在训练时间方面也更有效。代码和模型可在https://github.com/itijyou/ademxapp上获得
2016-11-30 cs.CV
Go Wider Instead of Deeper
National University of Singapore(新加坡国立大学)
最近,更多带有剩余连接的Transformer模块在各种任务中取得了令人印象深刻的结果。为了用更少的可训练参数实现更好的性能,最近的方法被提出通过参数共享或随着深度压缩模型来进行更浅的处理。然而,弱建模能力限制了它们的性能。相反,通过引入更多的可训练矩阵和参数来扩展将产生需要高级并行训练和推理的巨大模型。在本文中,我们提出了一个参数有效的框架,更广泛而不是更深入。特别地,在现有工作的基础上,我们采用了参数共享来进行深度压缩。但是,这样的部署将限制性能。为了最大限度地提高建模能力,我们沿着模型的宽度,取代前馈网络(FFN)与混合专家(MoE)。跨Transformer块,而不是共享规范化层,我们建议使用单独的layernorms转换各种语义表示在一个更参数有效的方式。为了评估我们的即插即用框架,我们设计了WideNet,并对流行的计算机视觉和自然语言处理基准进行了全面的实验。在ImageNet-1 K上,我们的最佳模型通过具有$0.72 \times$可训练参数的$1.5\%$优于视觉Transformer(ViT)。使用$0.46 \times$和$0.13 \times$参数,我们的WideNet仍然可以分别通过$0.8\%$和$2.1\%$超过ViT和ViT-MoE。在四个自然语言处理数据集上,WideNet的平均性能优于$1.8\%$的ALBERT,并优于$0.8\%$使用因…
2021-09-07 cs.AI cs.CV cs.LG
HRegNet: A Hierarchical Network for Large-scale Outdoor LiDAR Point Cloud Registration
Tongji University(同济大学);Technische Universität München(慕尼黑工业大学);ETH Zurich(苏黎世联邦理工学院);Westwell lab(西井实验室)
点云配准是三维计算机视觉中的一个基本问题。室外LiDAR点云通常规模大且分布复杂,这使得配准具有挑战性。在本文中,我们提出了一个高效的分层网络命名为HRegNet的大规模户外激光雷达点云配准。HRegNet不是使用点云中的所有点,而是对分层提取的关键点和描述符进行配准。整个框架结合了深层的可靠特征和浅层的精确位置信息,实现了鲁棒的精确配准。我们提出了一个对应网络来生成正确和准确的关键点对应。此外,双边共识和邻域共识的关键点匹配和新的相似性特征的设计,将其纳入对应网络,这显着提高了注册性能。此外,整个网络也是高效的,因为只有少量的关键点用于注册。在两个大型室外LiDAR点云数据集上进行了大量实验,以证明所提出的HRegNet的高精度和效率。该项目的网站是https://ispc-group.github.io/hregnet。
2021-07-26 cs.CV
GFT: Graph Feature Tuning for Efficient Point Cloud Analysis
Department of Computer Science, Georgia State University(计算机科学系,佐治亚州立大学);DEVCOM Army Research Laboratory(陆军研究实验室)
GFT通过图特征调谐方法,针对点云数据高效减少可训练参数,提升点云分析任务的效率与性能。
2025-12-01 cs.CV
MLS2LoD3: Refining low LoDs building models with MLS point clouds to reconstruct semantic LoD3 building models
University of Applied Science (HM)(慕尼黑应用科学大学(HM));Technical University of Munich (TUM)(慕尼黑工业大学(TUM))
本文提出一种利用MLS点云细化低LoD建筑模型以重建语义化LoD3模型的新策略,并给出立面元素重建及CityGML嵌入指南,旨在促进LoD3重建算法的开发与广泛应用。
2024-02-09 cs.CV
Less is More: Efficient Point Cloud Reconstruction via Multi-Head Decoders
School of Computing and Artificial Intelligence, Southwest Jiaotong University(计算机与人工智能学院,西南交通大学);Engineering Research Center of Sustainable Urban Intelligent Transportation Ministry of Education, Chengdu, China(可持续城市智能交通工程研究中心,教育部,成都,中国)
本文提出多头解码器架构,利用点云冗余性通过多个独立头重建,在ModelNet40和ShapeNetPart上超越单头基线,证明多样性和架构设计比深度更重要。
2025-05-25 cs.CV
Hyperspherical Embedding for Point Cloud Completion
University of Michigan(密歇根大学);Carnegie Mellon University(卡内基梅隆大学)
本文针对点云补全中特征嵌入分布稀疏、泛化不佳的问题,提出将编码器嵌入归一化到单位超球面并仅优化方向的模块,实现更稳定训练与紧凑分布,并在单任务和多任务实验中取得一致提升。
2023-07-11 cs.CV
Spatial Transformer for 3D Point Clouds
UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
深度神经网络广泛用于理解3D点云。在每个点卷积层,从3D点的局部邻域计算特征,并将其组合用于后续处理,以提取语义信息。现有的方法在整个网络层中采用相同的单个点邻域,由固定输入点坐标上的相同度量定义。这种常见的做法很容易实现,但不一定是最佳的。理想情况下,局部邻域在不同的层应该是不同的,因为更多的潜在信息是在更深的层提取。我们提出了一种新的端到端的方法来学习输入点云的不同的非刚性变换,以便在每一层都可以采用最佳的局部邻域。我们提出了线性(仿射)和非线性(投影和变形)的空间Transformers的三维点云。通过ShapeNet零件分割数据集上的空间Transformers,该网络对所有类别都实现了更高的准确性,特别是耳机和火箭的准确率提高了8%。我们的方法也优于其他点云任务,如分类,检测和语义分割的最先进的。可视化结果表明,空间Transformers可以通过根据3D形状的几何形状和语义动态改变局部邻域来更有效地学习特征,尽管它们在类别内存在变化。我们的代码可在https://github.com/samaonline/spatial-transformer-for-3d-point-clouds上公开获取。
2021-03-30 cs.CV
Empowering Knowledge Distillation via Open Set Recognition for Robust 3D Point Cloud Classification
IIT Bombay(印度理工学院孟买分校)
尽管基于深度学习的计算机视觉技术在研究中取得了巨大的成功,但现实世界的场景对它们提出了一些挑战。更深的模型提供更好的性能,但部署具有挑战性,知识蒸馏使我们能够以最小的性能损失训练更小的模型。该模型还必须处理来自其训练对象之外的类的开集样本,并且应该能够将它们识别为未知样本,同时正确分类已知样本。最后,大多数现有的图像识别研究只集中在使用现实世界的三维物体的二维快照。在这项工作中,我们的目标是弥合这三个研究领域,这三个领域迄今为止一直是独立发展的,尽管它们之间存在着深刻的相互关联。我们提出了一个联合知识蒸馏和开集识别训练方法的三维物体识别。我们通过各种实验证明了所提出的方法的有效性,它如何使我们能够获得一个更小的模型,这需要一个最小的性能打击,同时能够开集识别3D点云数据。
2020-10-25 cs.CV
A Conditional Denoising Diffusion Probabilistic Model for Point Cloud Upsampling
Nanjing University of Science and Technology(南京理工大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出条件去噪扩散概率模型 PUDM,将稀疏点云作为条件并利用双映射与速率因子实现任意尺度点云上采样,在 PU1K 和 PUGAN 上取得 SOTA 性能。
2023-12-03 cs.CV
Learning Inner-Group Relations on Point Clouds
Sichuan University(四川大学);Tencent(腾讯)
关系网络在计算机视觉中的流行与未充分探索的基于点的方法形成鲜明对比。在本文中,我们探讨了当地的关系运营商的可能性,并调查其可行性。我们提出了一个可扩展的和高效的模块,称为组关系聚合器。该模块基于由几何关系和语义关系加权的组内点的特征的聚合来计算组的特征。我们采用这个模块来设计我们的RPNet。我们进一步验证了RPNet的可扩展性,在深度和宽度方面,分类和分割的任务。令人惊讶的是,实证结果表明,更宽的RPNet适合分类,而更深的RPNet更适合分割。RPNet在具有挑战性的基准上实现了最先进的分类和分割。我们还将本地聚合器与PointNet++进行了比较,节省了大约30%的参数和50%的计算。最后,我们进行实验,以揭示RPNet的刚性变换和噪声的鲁棒性。
2021-08-27 cs.AI cs.CV cs.GR
Dynamic Prototype Adaptation with Distillation for Few-shot Point Cloud Segmentation
University of Amsterdam(阿姆斯特丹大学);Carnegie Mellon University(卡内基梅隆大学);The Netherlands Cancer Institute(荷兰癌症研究所)
针对少样本点云分割中支持原型与查询特征存在物体差异的问题,提出带原型蒸馏的动态原型自适应方法,通过原型校正、注意力机制和迭代蒸馏生成任务特定原型,在两个基准上显著超越SOTA。
2024-01-29 cs.CV
Point Clouds Are Specialized Images: A Knowledge Transfer Approach for 3D Understanding
School of Electrical and Data Engineering, University of Technology Sydney(悉尼科技大学电气与数据工程学院);School of Computer Science, University of Nottingham Ningbo(诺丁汉大学宁波校区计算机学院);Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University(香港理工大学电机及电子工程系)
本文提出PCExpert,将点云视为“特殊图像”,通过多路Transformer架构与预训练图像编码器共享参数并采用变换估计前置任务,实现高效3D自监督表示学习,显著减少可训练参数并在多项任务上超越现有技术。
2024-04-23 cs.CV
Improved Deep Point Cloud Geometry Compression
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);CentraleSupélec(中央理工-高等电力学院)
点云已被公认为3D内容的关键数据结构,在虚拟和混合现实、自动驾驶、文化遗产等许多应用中至关重要。在本文中,我们提出了一系列改进深度点云压缩的贡献,即:使用尺度超先验模型进行熵编码;采用更深的变换;焦点损失中的不同平衡权重;用于解码的最佳阈值;以及顺序模型训练。此外,我们还对这些因素的影响进行了广泛的消融研究,以便更好地了解它们为什么能改善RD性能。当使用点到点(点到平面)度量时,所提出的改进的最佳组合分别在G-PCC三树和八叉树上实现了5.50(6.48)dB和6.84(5.95)dB的BD-PSNR增益。代码可在https://github.com/mauriceqch/pcc_geo_cnn_v2上获得。
2020-06-24 cs.CV cs.LG eess.IV
Watch Wider and Think Deeper: Collaborative Cross-modal Chain-of-Thought for Complex Visual Reasoning
Fujian Normal University(福建师范大学);Zhejiang University(浙江大学);Zhejiang Normal University(浙江师范大学)
CoCoT通过动态多区域定位和关系感知推理,提升复杂视觉推理性能,在多个基准测试中实现显著准确率提升。
2026-01-04 cs.AI cs.CV
WISER: Wider Search, Deeper Thinking, and Adaptive Fusion for Training-Free Zero-Shot Composed Image Retrieval
Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所基础模型研究中心);School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences(中国科学院大学先进交叉学科学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);National University of Singapore(新加坡国立大学);Wuhan AI Research(武汉人工智能研究院);Minzu University of China(民族大学)
WISER通过'检索-验证-细化'流程统一文本到图像和图像到图像检索,显式建模意图和不确定性意识,实现更广泛的搜索和更深入的思考,提升零样本复合图像检索性能。
2026-03-24 cs.CV
Adversarial Autoencoders for Compact Representations of 3D Point Clouds
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学);Tooploox;University of Wrocław(弗罗茨瓦夫大学);Google Brain(谷歌大脑);Polish-Japanese Academy of Information Technology(波日信息技术学院);Warsaw University of Technology(华沙理工大学)
深度生成架构不仅提供了一种建模图像的方法,还提供了一种建模复杂三维对象(如点云)的方法。在这项工作中,我们提出了一种新的方法来获得有意义的表示的三维形状,可用于具有挑战性的任务,包括三维点生成,重建,压缩和聚类。与现有的3D点云生成方法相反,训练分离的解耦模型用于表示学习和生成,我们的方法是第一个端到端的解决方案,允许同时学习表示的潜在空间并从中生成3D形状。此外,我们的模型能够学习有意义的紧凑二进制描述符,并在潜在空间上进行对抗训练。为了实现这一目标,我们扩展了一个深度对抗自动编码器模型(AAE)来接受3D输入并创建3D输出。得益于我们的端到端训练机制,由此产生的3D对抗自动编码器(3dAAE)方法可以获得二进制或连续的潜在空间,覆盖更广泛的训练数据分布。最后,我们的定量评估表明,3dAAE提供了最先进的结果,三维点聚类和三维物体检索。
2019-05-01 cs.CV cs.LG stat.ML
SuperiorGAT: Graph Attention Networks for Sparse LiDAR Point Cloud Reconstruction in Autonomous Systems
Electrical and Computer Engineering, Portland State University(电气与计算机工程系,波特兰州立大学);Computational Data Science and Engineering Department, North Carolina A&T State University(计算数据科学与工程系,北卡罗来纳A&T州立大学);Electrical and Computer Engineering Department, SUNY Oswego(电气与计算机工程系,SUNY奥威戈)
SuperiorGAT通过图注意力网络重构稀疏LiDAR点云中的缺失海拔信息,实现更精确的重建与几何一致性,无需增加网络深度或额外硬件。
2026-02-07 cs.AI cs.CV
Towards Point Cloud Compression for Machine Perception: A Simple and Strong Baseline by Learning the Octree Depth Level Predictor
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);School of Electrical and Information Engineering, The University of Sydney(悉尼大学电气与信息工程学院)
提出一种点云压缩框架,通过学习Octree深度级别预测器自适应控制比特率,在提升机器视觉任务性能的同时不损害人类视觉质量。
2024-06-02 cs.CV cs.MM eess.IV
Automating Infrastructure Surveying: A Framework for Geometric Measurements and Compliance Assessment Using Point Cloud Data
LARA Research(LARA研究机构);Department of Mechanical and Aerospace Engineering University of California, Davis(机械与航空航天工程系加州大学戴维斯分校)
本文提出一种融合深度学习检测分割与几何信号处理的点云数据框架,用于自动化基础设施几何测量与合规评估,并以ADA路缘坡道合规性验证其准确性和减少人工工作的潜力。
2025-05-09 cs.CV cs.CY cs.LG
Learning Pixel-Distribution Prior with Wider Convolution for Image Denoising
University of Florida(佛罗里达大学)
在这项工作中,我们探索了一种创新的图像去噪策略,通过使用卷积神经网络(CNN)从噪声数据中学习像素分布。通过增加CNN的宽度,在每层中具有大的接收场和更多的通道,CNN可以揭示学习像素分布的能力,这是存在于许多不同类型噪声中的先验。我们方法的关键是发现更宽的CNN倾向于学习像素分布特征,这提供了推理映射主要依赖于先验而不是具有更多堆叠非线性层的更深CNN的可能性。我们评估我们的工作:广泛的推理网络(WIN)对加性高斯白噪声(AWGN)的研究表明,通过学习图像中的像素分布,基于WIN的网络在定量和视觉评估方面始终比当前最先进的基于深度CNN的方法具有更好的性能。\textit{Code and models are available at \url{https://github.com/cswin/WIN}}。
2017-07-28 cs.CV
Channel Planting for Deep Neural Networks using Knowledge Distillation
Graduate School of Advanced Science
近年来,更深更广的神经网络在计算机视觉任务中表现出了优异的性能,但其大量的参数导致计算成本增加和过拟合。已经提出了几种方法来压缩网络的大小而不降低网络性能。网络修剪可以减少网络中冗余和不必要的参数。知识蒸馏可以将更深、更广的网络中的知识转移到更小的网络中。通过这些方法获得的较小网络的性能受预定义网络的限制。提出了神经网络结构搜索算法,它能自动搜索网络的结构,突破网络结构的限制。此外,还有一种动态配置方法,用于将训练网络递增地作为子网络。在本文中,我们提出了一种新的增量式深度神经网络训练算法,称为种植。我们的种植可以搜索最佳的网络结构,具有较少的参数,以提高网络的性能,通过增加通道递增到初始网络的层,同时保持较早的训练参数固定。此外,我们建议使用知识蒸馏方法来训练种植的渠道。通过转移更深和更广的网络知识,我们可以有效地发展网络。我们在CIFAR-10/100和STL-10等不同数据集上评估了所提出方法的有效性。对于STL-10数据集,我们表明,与更大的网络相比,我们仅使用7%的参数就能够实现相当的性能,并减少了由少量数据引起的过拟合。
2020-11-04 cs.CV cs.LG
Stereo RGB and Deeper LIDAR Based Network for 3D Object Detection
University of Electronic Science and Technology of China(电子科技大学)
3D目标检测已经成为自动驾驶场景中的新兴任务。以前的作品使用基于投影或基于体素的模型处理3D点云。然而,这两种方法都有一些缺点。基于体素的方法缺乏语义信息,而基于投影的方法在投影到不同的视图时会丢失大量的空间信息。在本文中,我们提出了立体RGB和更深的激光雷达(SRDL)框架,可以同时利用语义和空间信息,使网络的三维目标检测的性能可以自然提高。具体来说,该网络从立体对中生成候选框,并使用深度融合方案组合不同的区域特征。立体声策略提供了更多的预测信息相比,以前的作品。然后,在分割模块中堆叠多个局部和全局特征提取器,以从点云中捕获更丰富的深层语义几何特征。在将内部点与融合特征对齐后,所提出的网络以更准确的方式细化预测,并以一种新颖的紧凑方法对整个盒子进行编码。在具有挑战性的KITTI检测基准上的良好实验结果证明了利用立体图像和点云进行3D目标检测的有效性。
2020-06-09 cs.CV
Impact of Fully Connected Layers on Performance of Convolutional Neural Networks for Image Classification
Indian Institute of Information Technology Sri City(斯里城印度信息技术学院)
卷积神经网络(CNN)在计算机视觉等领域中,由于其能够从原始输入数据中学习特定于问题的特征,因此主要减少了对手工特征的需求。然而,选择特定于网络的CNN架构,这主要是通过经验或专业知识来执行的,是一个耗时且容易出错的过程。为了自动化学习CNN架构的过程,本文试图找到全连接(FC)层与数据集的一些特征之间的关系。CNN架构以及最近的数据集也被分类为深、浅、宽等。本文试图将这些术语形式化,并回答以下问题。(i)较深/较浅架构对CNN w.r.t.的性能有何影响?FC层?,(ii)更深/更宽的数据集如何影响CNN w.r.t. FC层?,以及(iii)哪种架构(较深/较浅)更适合于哪种(较深/较宽)数据集。为了解决这些发现,我们用三种具有不同深度的CNN架构进行了实验。通过改变FC层的数目进行实验。我们使用了四个广泛使用的数据集,包括CIFAR-10,CIFAR-100,Tiny ImageNet和CRCHistoPhenotypes,以证明我们在图像分类问题中的发现。这项研究的源代码可在https://github.com/shabbeersh/Impact-of-FC-layers上获得。
2019-11-19 cs.CV cs.LG cs.NE
Going Deeper with Contextual CNN for Hyperspectral Image Classification
Booz Allen Hamilton Inc.(博思艾伦咨询公司);Army Research Laboratory(陆军研究实验室)
在本文中,我们描述了一种新的深度卷积神经网络(CNN),它比其他现有的用于高光谱图像分类的深度网络更深、更宽。与当前基于CNN的高光谱图像分类的最先进方法不同,所提出的网络称为上下文深度CNN,可以通过联合利用相邻单个像素向量的局部空间-光谱关系来最佳地探索局部上下文交互。空间-频谱信息的联合利用是通过多尺度卷积滤波器组作为所提出的CNN管道的初始组件来实现的。然后将从多尺度滤波器组获得的初始空间和光谱特征图组合在一起以形成联合空间-光谱特征图。然后,表示高光谱图像的丰富光谱和空间属性的联合特征图通过完全卷积网络馈送,该完全卷积网络最终预测每个像素向量的对应标签。该方法在三个基准数据集上进行了测试:印第安松数据集,萨利纳斯数据集和帕维亚大学数据集。性能比较显示,所提出的方法在三个数据集上的分类性能优于当前最先进的方法。
2017-05-09 cs.CV cs.LG
Rescaling CNN through Learnable Repetition of Network Parameters
Transmute AI Lab, Texmin Hub, IIT Dhanbad(IIT Dhanbad(印度理工学院丹巴德分校)Transmute AI Lab,Texmin Hub)
已知更深和更宽的CNN为深度学习任务提供改进的性能。然而,大多数这样的网络每增加一个参数都有很差的性能增益。在本文中,我们研究了在更深的模型中观察到的增益是否纯粹是由于添加了更多的优化参数,或者网络的物理大小是否也起作用。此外,我们提出了一种新的基于参数可学习重复的CNN重新缩放策略。基于这种策略,我们在不改变其参数计数的情况下重新缩放CNN,并表明可学习的权重共享本身可以在不改变其参数计数的情况下显着提高任何给定模型的性能。我们表明,小基础网络在重新缩放时,可以提供与更深网络相当的性能,其优化参数低至更深网络的6%。权重共享的相关性通过组等变CNN的例子进一步突出。我们发现,在分类问题上,组等变CNN比常规CNN获得的显着改进只是部分原因在于增加了等方差属性,部分原因在于网络权重的可学习重复。对于rot-MNIST数据集,我们表明,最先进的旋转等方差方法报告的相对增益中高达40%实际上可能是由于权重的学习重复。
2021-08-19 cs.CV
MogFace: Towards a Deeper Appreciation on Face Detection
Alibaba Group(阿里巴巴集团);Imperial College London(帝国理工学院)
得益于通用目标检测器的开创性设计,人脸检测领域已经取得了显著的成就。通常,面部检测器内的主干、特征金字塔层和检测头模块的架构都吸收了一般对象检测器的优秀经验。然而,一些有效的方法,包括标签分配和尺度级数据增强策略,无法保持一致的优势,直接应用于人脸检测器。具体地说,前一种策略涉及大量的超参数,而后一种策略受到不同检测任务之间的尺度分布偏差的挑战,这两者都限制了它们的泛化能力。此外,为了提供准确的面部边界框的面部下游任务,面部检测器迫切需要消除假警报。因此,标签分配,尺度级数据增强,减少虚警的实际解决方案是必要的,以提高人脸检测器。在本文中,我们专注于解决上述三个挑战,现有的方法很难完成,并提出了一种新的人脸检测器,称为MogFace。在我们的Mogface中,三个关键组件,自适应在线增量锚挖掘策略,选择性规模增强策略和分层上下文感知模块,分别提出了提高人脸检测器的性能。最后,据我们所知,我们的MogFace是Wider Face排行榜上最好的人脸检测器,在不同的测试场景中获得了所有冠军。代码可在\url{https://github.com/damo-cv/MogFace}上获得。
2022-03-29 cs.AI cs.CV
Multi-scale Cloud Detection in Remote Sensing Images using a Dual Convolutional Neural Network
University of Helsinki(赫尔辛基大学);Finnish Environment Institute(芬兰环境研究所)
基于卷积神经网络(CNN)的语义分割技术在遥感图像像素级分类中取得了很大的进展。然而,处理大图像通常需要以小块分析图像,因此具有大空间范围的特征仍然会在云掩蔽等任务中带来挑战。为了支持更大规模的空间特征,同时减少大型卫星图像的计算需求,我们提出了一个架构的两个级联的CNN模型组件连续处理欠采样和全分辨率图像。第一个组件区分内部云区域中的补丁和云边界区域处的补丁。对于需要进一步分割的云模糊边缘补丁,框架然后将计算委托给细粒度模型组件。我们将该架构应用于完整的Sentinel-2多光谱图像的云检测数据集,近似注释为土地利用应用中的最小假阴性。在这个特定的任务和数据,我们实现了16\%的像素精度相对于CNN基线的基础上修补。
2020-06-01 cs.CV cs.LG cs.NE
Towards Deeper and Better Multi-view Feature Fusion for 3D Semantic Segmentation
Duke Kunshan University(昆山杜克大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学);Edinburgh Napier University(爱丁堡龙比亚大学)
3D点云包含丰富的几何结构信息,而2D图像包含重要的连续纹理信息。结合二维信息实现更好的三维语义分割已成为三维场景理解的主流。尽管取得了成功,但如何融合和处理这两个不同空间的跨维特征仍然是一个难题。现有的最先进的技术通常利用双向投影方法对齐的跨维特征,并实现二维和三维语义分割任务。然而,为了实现双向映射,该框架通常需要对称的2D-3D网络结构,从而限制了网络的灵活性。同时,这种双任务设置可能容易分散网络的注意力,并导致3D分割任务中的过拟合。由于受到网络可扩展性的限制,融合特征只能通过解码器网络,这会因深度不足而影响模型性能。为了减轻这些缺点,在本文中,我们认为,尽管它的简单性,单向多视图2D深度语义特征投影到3D空间与3D深度语义特征对齐,可以导致更好的特征融合。一方面,单向投射使我们的模型更专注于核心任务,即,三维分割;另一方面,将双向投影解锁为单向投影使得能够实现更深的跨域语义对齐,并且享有融合来自非常不同的空间的更好和复杂的特征的灵活性。在联合2D-3D方法中,我们提出的方法在ScanNetv 2 3D语义分割基准测试中取得了优异的性能。
2022-12-13 cs.CV
Reversible Architectures for Arbitrarily Deep Residual Neural Networks
Xtract Technologies Inc.(Xtract 技术公司);University of British Columbia(不列颠哥伦比亚大学);Emory University(埃默里大学)
近年来,深度残差网络已成功应用于许多计算机视觉和自然语言处理任务,以更深更广的架构推动了最先进的性能。在这项工作中,我们将深层剩余网络解释为常微分方程(ODE),这在数学和物理学中已经研究了很长时间,并取得了丰富的理论和经验成功。从这个解释出发,我们发展了一个关于深度神经网络的稳定性和可逆性的理论框架,并推导出三个可逆的神经网络架构,它们可以在理论上任意深入。可逆性属性允许内存高效的实现,它不需要存储大多数隐藏层的激活。再加上我们架构的稳定性,这使得只使用适度的计算资源就可以训练更深层次的网络。我们提供了理论分析和实证结果。实验结果表明,我们的架构对CIFAR-10,CIFAR-100和STL-10的几个强大的基线具有优越或同等的最先进的性能的功效。此外,我们表明,我们的架构产生优越的结果时,使用更少的训练数据训练。
2017-11-18 cs.CV stat.ML
The Reversible Residual Network: Backpropagation Without Storing Activations
University of Toronto(多伦多大学);Uber Advanced Technologies Group(Uber先进技术集团)
深度残差网络(ResNets)极大地推动了图像分类的最新发展,随着网络的深度和广度的增长,其性能也在不断提高。然而,内存消耗成为瓶颈,因为需要存储激活以便使用反向传播计算梯度。我们提出了可逆残差网络(RevNet),这是ResNets的一个变体,其中每个层的激活都可以从下一层的激活中精确重建。因此,在反向传播期间,大多数层的激活不需要存储在存储器中。我们在CIFAR-10、CIFAR-100和ImageNet上证明了RevNets的有效性,建立了与相同大小的ResNets几乎相同的分类准确性,即使激活存储要求与深度无关。
2017-07-14 cs.CV cs.LG
Multiview Based 3D Scene Understanding On Partial Point Sets
Shanghai Jiao Tong University(上海交通大学);Bang and Olufsen A/S(邦及欧路夫森公司);Mines ParisTech(巴黎矿业学院)
近年来,点云背景下的深度学习获得了很多研究兴趣,主要是由于在一些具有挑战性的基准测试中取得了令人鼓舞的结果,例如3D形状识别和场景语义分割。然而,在许多现实环境中,环境的快照通常从单个视图拍摄,由于商品相机的视场限制,该单个视图仅包含场景的部分集合。基于局部点云的三维场景语义理解是一个具有挑战性的课题。在这项工作中,我们提出了一种基于现有的360°点云的多视图表示的三维点云数据的处理方法。通过融合原始360°点云及其相应的3D多视图表示作为输入数据,神经网络能够识别部分点集,同时提高完整点集的一般性能,导致部分和完整场景语义理解的分割精度分别提高了31.9%和4.3%。该方法也可以应用于更广泛的3D识别背景,如3D零件分割。
2018-11-30 cs.CV cs.LG stat.ML
On the Effectiveness of Neural Ensembles for Image Classification with Small Datasets
Sapienza University of Rome(罗马大学)
深度神经网络代表了图像分类的黄金标准。但是,它们通常需要大量数据才能实现卓越的性能。在这项工作中,我们专注于图像分类问题,每个类有几个标记的例子,并通过使用相对较小的网络集成提高数据效率。我们的工作第一次广泛地研究了小数据域中神经集成的现有概念,通过使用流行的数据集和架构进行广泛的验证。我们将网络的集成与其更深或更广的单一竞争对手进行比较,给出了一个总的固定计算预算。我们表明,集成相对较浅的网络是一种简单而有效的技术,通常优于当前最先进的从小数据集学习的方法。最后,我们提出了我们的解释,根据这一解释,神经集成更有样本效率,因为它们学习更简单的函数。
2021-11-29 cs.CV cs.LG