Reprojection R-CNN: A Fast and Accurate Object Detector for 360° Images
Peking University(北京大学)
360°图像通常以等矩形投影(ERP)或多透视投影表示。与平面2D图像不同,由于ERP的失真和透视投影的效率低下,360°图像的检测任务具有挑战性。然而,现有的方法主要集中在上述表示之一,而不是两者,导致有限的检测性能。此外,缺乏适当的边界框注释以及注释的数据集进一步增加了检测任务的难度。在本文中,我们提出了一个标准的目标检测框架的360°图像。具体地说,我们将传统的目标检测任务的术语适应于全向场景,并提出了一种新的两阶段目标检测器,即,通过结合ERP和透视投影进行重投影R-CNN。由于ERP的全向视场,Reprojection R-CNN首先通过失真感知球形区域建议网络有效地生成粗略区域建议。然后,它利用无失真的透视投影,并通过一种新的重投影网络细化建议的区域。我们构建了两个新的合成数据集用于训练和评估。实验表明,重投影R-CNN在mAP度量上优于以前的最先进方法。此外,该检测器可以在全景数据集中以178 ms的速度运行,这意味着它在现实世界中的应用的实用性。
2019-07-27 cs.CV
Hformer: Hybrid CNN-Transformer for Fringe Order Prediction in Phase Unwrapping of Fringe Projection
Tiangong University(天津工业大学);University of Wollongong(伍伦贡大学)
最近,深度学习在条纹投影三维(3D)测量的相位展开中引起了越来越多的关注,其目的是利用强大的卷积神经网络(CNN)模型来提高性能。本文首次(据我们所知)将不同于CNN的Transformer引入到相位解缠中,提出了一种通过条纹阶数预测实现相位解缠的Hformer模型。该模型具有混合CNN-Transformer架构,主要由骨干、编码器和解码器组成,以利用CNN和Transformer。设计了交叉关注的编码器和解码器,用于条纹阶数预测。实验结果表明,与U-Net和DCNN等CNN模型相比,所提出的Hformer模型具有更好的条纹阶数预测性能。此外,对Hformer进行了烧蚀研究,以验证改进的特征金字塔网络(FPN)和按预测条纹顺序翻转的测试策略。我们的工作为基于深度学习的相位展开方法开辟了一种替代方法,该方法在条纹投影3D测量中由CNN主导。
2021-12-13 cs.CV eess.IV
Super-Resolution and Image Re-projection for Iris Recognition
Federal University of Tocantins(托坎廷斯联邦大学);Halmstad University(哈尔姆斯塔德大学)
最近的几项工作已经解决了深度学习的能力,以揭示丰富的,分层的和歧视性的模型,用于最多样化的目的。具体而言,在超分辨率领域,使用不同深度学习方法的卷积神经网络(CNN)尝试从低分辨率图像恢复真实纹理和细粒度细节。在这项工作中,我们探讨了这些方法的可行性虹膜超分辨率(SR)在虹膜识别环境。为此,我们测试了具有和不具有所谓的图像重投影的不同架构,以减少将其应用于不同虹膜数据库的伪影,以验证不同CNN用于虹膜超分辨率的可行性。结果表明,CNN和图像重投影可以提高结果,特别是对于使用完全不同的训练数据库成功执行迁移学习的识别系统的准确性。
2022-10-20 cs.CV
Geometric Back-projection Network for Point Cloud Classification
Data61, CSIRO (The Commonwealth Scientific and Industrial Research Organisation)(Data61,澳大利亚联邦科学与工业研究组织);Australian National University(澳大利亚国立大学)
分类作为点云分析的基本任务,是一项基础性的工作,但也是一项具有挑战性的工作。为了解决现有方法的一些未解决的问题,我们提出了一个网络,捕捉点云的几何特征,以更好地表示。为了实现这一点,一方面,我们丰富了低层次的三维空间中的点的几何信息显式。另一方面,我们在高级特征空间中应用基于CNN的结构来隐式地学习局部几何上下文。具体来说,我们利用一个错误校正反馈结构的想法,全面捕捉点云的局部特征。此外,基于通道亲和力的注意力模块通过强调其不同的通道来帮助特征图避免可能的冗余。合成和真实世界的点云数据集上的性能证明了我们的网络的优越性和适用性。与其他国家的最先进的方法相比,我们的方法平衡的准确性和效率。
2021-04-13 cs.CV cs.LG cs.RO
Kernel Transformer Networks for Compact Spherical Convolution
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Facebook AI Research(Facebook人工智能研究院)
理想情况下,360°图像可以继承深度卷积神经网络(CNN),这些神经网络已经在透视投影图像上训练得非常成功。然而,将CNN从透视图转移到球面图像的现有方法引入了显著的计算成本和/或准确性的降低。在这项工作中,我们提出了核心Transformer网络(KTN)。KTN有效地将卷积核从透视图像转移到360°图像的等矩形投影。给定透视图像的源CNN作为输入,KTN产生由极角和内核参数化的函数作为输出。给定一个新的360°图像,该函数反过来可以计算任意层和内核的卷积,就像源CNN在相应的切平面投影上一样。与所有现有方法不同,KTN允许模型转移:相同的模型可以应用于具有相同基础架构的不同源CNN。这使得应用程序能够在不重新训练KTN的情况下执行多个识别任务。使用多源CNN和数据集验证我们的方法,我们表明KTN改善了球面卷积的最新技术水平。KTN成功地保持了源CNN的准确性,同时提供了可转移性、可扩展性(可扩展到典型图像分辨率),并且在许多情况下,大大降低了内存占用。
2019-04-09 cs.CV
Learning Convolutional Neural Networks using Hybrid Orthogonal Projection and Estimation
York University(约克大学)
卷积神经网络(CNN)在各种计算机视觉任务中具有优异的性能,其中CNN通常采用由卷积层、池化层和全连接层组成的类似结构。在本文中,我们提出了一种新的方法,即混合正交投影和估计(HOPE),CNN,以引入正交性到CNN结构。HOPE模型可以被看作是一种混合模型,将使用正交线性投影的特征提取与混合模型相结合。该模型能有效地从原始高维特征向量中提取有用信息,同时滤除无关噪声。在这项工作中,我们提出了三种不同的方法来将HOPE模型应用于CNN,即,{ \em HOPE-Input}、{ \em single-HOPE-Block}和{ \em multi-HOPE-Block}。对于{ \em HOPE-Input} CNN,HOPE层直接在输入之后使用,以使高维输入特征向量去相关。或者,在{ \em single-HOPE-Block}和{ \em multi-HOPE-Blocks} CNN中,我们考虑使用HOPE层来替换CNN中的一个或多个块,其中一个块可以包括若干卷积层和一个池化层。在Cifar-10和Cifar-100数据集上的实验结果表明,HOPE层施加的正交约束可以显着提高CNN在这些图像分类任务中的性能(我们在未应用图像增强时实现了最佳性能之一,在图像增强时实现了前5名性能)。
2016-09-11 cs.CV cs.NE
Deep Back Projection for Sparse-View CT Reconstruction
Purdue University(普渡大学)
滤波反投影(FBP)是从正弦CT数据重建图像重建的经典方法。FBP是计算效率高,但产生较低的质量重建比更复杂的迭代方法,特别是当视图的数量低于所需的奈奎斯特速率。在本文中,我们使用深度卷积神经网络(CNN)直接从正弦图数据中生成高质量的重建。我们方法的主要新颖之处在于,我们首先分别对每个视图进行反向投影,以形成反向投影堆栈,然后将此堆栈作为卷积神经网络的输入。这些单视图反投影将正弦图数据的编码转换为适当的空间位置,然后可以通过CNN的空间不变性来利用该空间位置以有效地学习重建。我们证明了我们的CNN基于反投影的模拟稀疏视图CT数据在经典的FBP的好处。
2018-07-06 cs.CV eess.IV
CNN-based real-time 2D-3D deformable registration from a single X-ray projection
Inria(法国国家信息与自动化研究所);ICube, CNRS(法国国家科学研究中心ICube研究所);Rennes University(雷恩大学)
目的:本文的目的是提出一种使用单个透视图像进行实时2D-3D非刚性配准的方法。这种方法可以在外科手术、介入放射学和放射治疗中找到应用。通过从2D X射线图像估计三维位移场,可以将在术前扫描中分割的解剖结构投影到2D图像上,从而提供混合现实视图。方法:从术前扫描生成由解剖结构的位移场和2D投影组成的数据集。从这个数据集,神经网络被训练以从单个投影图像恢复未知的3D位移场。结果:我们的方法是有效的肺4D CT数据在不同阶段的肺变形。训练是在3D CT上使用随机(非特定领域)的几何变形进行的,其中添加了模仿姿势不确定性的扰动。该模型实现了平均TRE超过一系列的地标,范围从2.3到5.5毫米,这取决于变形的幅度。结论:本文提出了一种基于神经网络的实时二维-三维非刚性配准方法。该方法能够应对姿态估计的不确定性,使其适用于实际的临床场景,例如肺部手术,其中在介入之前规划C形臂姿态。
2023-03-27 cs.CV eess.IV
Equirectangular image construction method for standard CNNs for Semantic Segmentation
College of Computer Science and Technology, University of Qingdao(青岛大学计算机科学与技术学院);Qingdao Stomatological Hospital(青岛口腔医院)
针对等距柱状图像畸变和数据集稀缺问题,提出将透视图像转换为等距柱状图像的方法,使标准CNN能学习畸变特征进行语义分割,最优参数φ为6π/16,平均IoU达43.76%,优于其他三类方法。
2023-10-13 cs.CV
Automatic Pulmonary Nodule Detection in CT Scans Using Convolutional Neural Networks Based on Maximum Intensity Projection
University of Groningen, University Medical Center Groningen(格罗宁根大学医学中心);Tianjin Medical University Cancer Institute and Hospital(天津医科大学肿瘤医院);University of Twente(特温特大学)
准确的肺结节检测是肺癌筛查的关键步骤。尽管计算机辅助检测(CAD)系统具有潜在的优势,但放射科医师在临床实践中并不常规使用CAD系统进行肺结节检测。最大强度投影(MIP)图像可提高计算机断层扫描(CT)放射学评价中肺结节的检出率。受放射科医生临床方法学的启发,我们的目标是探索应用MIP图像来提高使用卷积神经网络(CNN)自动肺结节检测的有效性的可行性。我们提出了一种基于CNN的方法,以MIP图像的不同板厚(5毫米,10毫米,15毫米)和1毫米的轴向截面切片作为输入。这种方法用更有代表性的空间信息增强了二维(2-D)CT切片图像,有助于通过其形态区分结节和血管。我们提出的方法在LIDC-IDRI数据集中的888次扫描中实现了92.67%的灵敏度和94.19%的灵敏度,每次扫描有1个假阳性,每次扫描有2个假阳性。使用厚MIP图像有助于检测小的肺结节(3 mm-10 mm),并减少假阳性。实验结果表明,利用MIP图像可以提高灵敏度和降低假阳性的数量,这证明了所提出的基于MIP的CNN框架在CT扫描中自动检测肺结节的有效性和意义。所提出的方法还显示了CNN通过结合临床程序可以获得结节检测益处的潜力。
2019-06-10 cs.CV
A Priori Generalizability Estimate for a CNN
Rice University(莱斯大学);The University of Texas MD Anderson Cancer Center(德克萨斯大学 MD 安德森癌症中心)
本文提出利用卷积神经网络的截断奇异值分解定义左右投影比率,以识别模型可能表现不佳的图像,并估计其泛化性能。
2025-02-24 cs.CV cs.LG eess.IV
Improved Projection Learning for Lower Dimensional Feature Maps
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所)
在使用卷积神经网络(CNN)进行推理期间,需要反复将大的特征图移离芯片和移到芯片上,这在能量和时间方面都带来了很高的成本。在这项工作中,我们探索了一种改进的方法,用于将预训练CNN的所有特征图压缩到指定的限制以下。这是通过端到端微调训练的学习投影来完成的,然后可以将其折叠并融合到预先训练的网络中。我们还介绍了一个新的“天花板压缩”框架,在评估这种技术,在未来的目标进行推理完全芯片上。
2022-10-27 cs.CV cs.LG
View-volume Network for Semantic Scene Completion from a Single Depth Image
University of Electronic Science and Technology of China(中国电子科技大学);Microsoft Research Asia(微软亚洲研究院)
我们介绍了一个视图-体积卷积神经网络(VVNet),用于从单个深度图像推断体积3D场景的占用和语义标签。VVNet将2D视图CNN和3D体积CNN与可区分的投影层连接在一起。给定单个RGBD图像,我们的方法使用2D视图CNN从输入深度图像中提取详细的几何特征,然后根据输入深度图经由投影层将特征投影到3D体积中。之后,我们用3D体积CNN学习场景的3D上下文信息,用于计算结果体积占用和语义标签。通过组合2D和3D表示,VVNet有效地降低了计算成本,能够从多通道高分辨率输入中提取特征提取,从而显著提高了结果的准确性。我们验证了我们的方法,并证明了其效率和有效性的合成SUCG和真正的纽约大学数据集。
2018-06-14 cs.CV
Self-Supervised Pre-Training for Table Structure Recognition Transformer
Georgia Institute of Technology(佐治亚理工学院);ADP, Inc.(ADP公司)
针对表格结构识别中线性投影Transformer替换CNN骨干后性能下降的问题,提出自监督预训练方法缩小性能差距,并通过消融实验和开源代码验证其有效性。
2024-02-23 cs.CV
DeepHMap++: Combined Projection Grouping and Correspondence Learning for Full DoF Pose Estimation
Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所);Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences(中国科学院机器人与智能制造创新研究院);University of Chinese Academy of Sciences(中国科学院大学)
近年来,利用卷积神经网络(CNN)估计对象实例的6D姿态受到了相当大的关注。根据是否使用中间线索,相关文献可以大致分为两大类:直接方法和两阶段管道。对于后者,中间线索,如3D对象坐标,语义关键点,或虚拟控制点,而不是姿态参数回归CNN在第一阶段。然后,可以通过用这些中间线索构造的对应约束来求解对象姿态。在本文中,我们专注于两阶段流水线的后处理,并提出结合两个学习概念来估计具有挑战性的场景下的物体姿态:一边是投影分组,另一边是对应学习。我们首先采用一种基于局部补丁的方法来预测投影热图,它表示3D包围盒角点投影的置信度分布。然后提出了一个投影分组模块,以从每层热图中去除冗余的局部最大值。代替直接将2D-3D对应关系馈送到透视n点(Perspective-n-point,PPENS)算法,多个对应关系假设从局部最大值及其对应的邻域中采样,并通过对应关系评估网络进行排名。最后,选择具有较高置信度的对应关系来确定对象姿态。在三个公共数据集上的大量实验表明,所提出的框架优于几种最先进的方法。
2019-04-29 cs.CV
Projection Inpainting Using Partial Convolution for Metal Artifact Reduction
Friedrich-Alexander Universität Erlangen-Nürnberg(弗里德里希-亚历山大大学埃尔朗根-纽伦堡分校);Erlangen Graduate School in Advanced Optical Technologies (SAOT)(埃尔兰根先进光学技术研究生院(SAOT))
在计算机断层扫描中,由于患者体内存在金属植入物,重建图像将遭受金属伪影。为了减少金属伪影,通常在投影图像中去除金属。因此,金属损坏的投影区域需要修复。对于深度学习修复方法,卷积神经网络(CNN)被广泛使用,例如,U-Net。然而,这种CNN在有效和损坏的像素值上使用卷积滤波器响应,导致图像质量不令人满意。在这项工作中,部分卷积应用于投影修复,它只依赖于有效的像素值。比较了部分卷积和传统卷积的U-Net在减少金属伪影方面的效果。实验结果表明,采用部分卷积的U-Net能够比传统卷积更好地修复金属污染区域。
2020-05-02 cs.CV eess.IV
Robust 3D Hand Pose Estimation in Single Depth Images: from Single-View CNN to Multi-View CNNs
Nanyang Technological University(南洋理工大学)
关节手姿态估计在人机交互中起着重要的作用。尽管最近的进展,现有的方法的准确性仍然不令人满意,部分原因是由于嵌入的高维和非线性回归问题的困难。与现有的用单个深度图像回归手部姿势的判别方法不同,我们建议首先将查询深度图像投影到三个正交平面上,并利用这些多视图投影来回归2D热图,以估计每个平面上的关节位置。然后融合这些多视图热图以产生具有学习的姿势先验的最终3D手部姿势估计。实验表明,该方法在具有挑战性的数据集上大大优于最先进的方法。跨数据集的实验也表明了该方法的良好泛化能力。
2016-12-27 cs.CV
S-DOD-CNN: Doubly Injecting Spatially-Preserved Object Information for Event Recognition
US Army Research Laboratory(美国陆军研究实验室);Booz Allen Hamilton Inc.(博思艾伦汉密尔顿公司)
我们提出了一种新的事件识别方法,称为空间保留的双注入对象检测CNN(S-DOD-CNN),它结合了空间保留的目标检测信息,在直接和间接的方式。通过简单地在目标检测模块和事件识别模块之间共享权重来执行间接注入。同时,我们的新颖之处在于,我们保留了空间信息的直接注入。一旦获得多个感兴趣区域(ROI),计算它们的特征图,然后使用我们提出的四种ROI投影方法之一将其投影到空间保留的组合特征图上。在我们的架构中,组合特征图生成的目标检测,直接注入到事件识别模块。我们的方法为恶意事件识别提供了最先进的准确性。
2020-02-01 cs.CV
3D Human Pose Estimation in Multi-View Operating Room Videos Using Differentiable Camera Projections
Centre for Artificial Intelligence, Meander Medisch Centrum(米德尔医疗中心人工智能中心);University of Twente(特文特大学)
本文提出利用可微摄像机投影,通过3D损失端到端训练2D CNN,直接优化多视角手术室视频中的3D人体姿态估计,在MVOR数据集上优于2D空间优化方法。
2022-10-21 cs.CV
Dual-path CNN with Max Gated block for Text-Based Person Re-identification
Nanjing University of information science and Technology(南京信息工程大学);Xinjiang University(新疆大学);Nanjing Institute of Technology(南京工程学院);KingSaud University(沙特国王大学)
基于文本的人物再识别(Re-id)是视频监控中的一项重要任务,它包括从大量的图像库中检索出相应的人物图像,并给出相应的文本描述。由于情态的异质性,很难将视觉内容与文本描述直接匹配。一方面,由于文本描述的高度抽象,文本嵌入的区分性不够。另一方面,全局平均池(GAP)通常用于隐式地提取更一般或平滑的特征,但忽略了显著的局部特征,这对于跨模态匹配问题更重要。考虑到这一点,提出了一种新的双路径CNN与最大门控块(DCMG)提取区分词嵌入,使视觉-文本关联关注更多的显着特征的两个通道。所提出的框架是基于两个深度残差CNN联合优化的跨模态投影匹配(CMPM)损失和跨模态投影分类(CMPC)损失嵌入到联合特征空间的两个模态。首先,将预训练的语言模型BERT与卷积神经网络(CNN)相结合,以在文本到图像匹配域中学习更好的词嵌入。其次,应用全局最大池(GMP)层,使视觉-文本特征更多地集中在显著部分。为了进一步减轻噪声的最大池功能,门控块(GB)提出了产生一个注意力地图,专注于有意义的功能,这两种方式。最后,在基准数据集CUHK-PEDES上进行了广泛的实验,其中我们的方法达到了55.81%的rank-1得分,比最先进的方法高出1.3%。
2020-09-20 cs.CV
Compression-aware Projection with Greedy Dimension Reduction for Convolutional Neural Network Activations
National Taiwan University(国立台湾大学)
卷积神经网络(CNN)在广泛的领域中取得了卓越的性能。然而,激活的密集存储器访问引入了相当大的能量消耗,阻碍了CNN在资源受限的边缘设备上的部署。激活压缩中的现有工作提出变换特征图以获得更高的可压缩性,从而实现降维。然而,在激进的降维的情况下,这些方法导致严重的精度下降。为了提高分类精度和压缩比之间的权衡,我们提出了一个压缩感知投影系统,它采用了可学习的投影来补偿重建损失。此外,贪婪的选择度量被引入到优化逐层压缩比分配,同时考虑精度和#比特减少。测试结果表明,在MobileNetV 2/ResNet 18/VGG 16上,本文提出的方法有效地减少了2.91倍~ 5.97倍的内存访问,而精度下降可以忽略不计。
2021-10-17 cs.CV cs.LG eess.SP
Deep Learning for Vanishing Point Detection Using an Inverse Gnomonic Projection
University of Twente(特文特大学)
本文提出了一种新的未标定单目图像消失点检测方法。与现有技术相比,我们对观察到的场景没有先验假设。我们的方法是基于一个卷积神经网络(CNN),它不使用自然图像,但高斯球表示所产生的图像中检测到的线的逆日晷投影。这使我们能够依靠合成数据进行训练,从而消除了对标记图像的需求。我们的方法在三个水平估计基准数据集上实现了具有竞争力的性能。我们进一步强调了我们的消失点检测算法可以使用的一些其他用例。
2017-11-16 cs.CV
Sub-Pixel Back-Projection Network For Lightweight Single Image Super-Resolution
Trinity College Dublin(都柏林圣三一学院);Rawky Tech LLP
基于卷积神经网络(CNN)的方法在单图像超分辨率(SISR)方面取得了巨大的成功。然而,大多数模型试图提高重建精度,同时增加模型参数的数量的要求。为了解决这个问题,在本文中,我们研究减少基于CNN的SISR方法的参数数量和计算成本,同时保持超分辨率重建性能的准确性。为此,我们引入了一种新的网络架构SISR,它罢工重建质量和低计算复杂度之间的良好权衡。具体来说,我们提出了一种迭代反投影架构,使用子像素卷积,而不是反卷积层。我们评估我们提出的模型与广泛的定量和定性评价的计算和重建精度的性能。实验结果表明,我们提出的方法使用更少的参数,降低了计算成本,同时保持重建精度对国家的最先进的SISR方法在著名的四个SR基准数据集。代码可在“https://github.com/supratikbanerjee/SubPixel-BackProjection_SuperResolution“上获得。
2020-08-03 cs.CV eess.IV
Multi-scale CNN stereo and pattern removal technique for underwater active stereo system
Kyushu University(九州大学);Hiroshima City University(广岛市立大学)
对水下环境动态场景捕捉的需求正在迅速增长。被动立体声技术适用于动态场景的拍摄,但无法恢复无纹理表面或不规则反射的形状。在我们的系统中,我们添加了一个模式投影仪的立体相机对,使人工纹理增强的对象。为了在水下环境中使用该系统,应该补偿几个问题,即,折射、波动扰动和气泡。此外,由于物体的表面受到气泡、投影图案等的干扰,应该从捕获的图像中去除这些噪声和图案以恢复原始纹理。为了解决这些问题,我们提出了三种方法:深度相关的校准,卷积神经网络(CNN)立体方法和基于CNN的纹理恢复方法。深度相关校准是我们的分析,以找到可接受的深度范围,通过中心投影近似找到校准的特定目标深度。在CNN立体方面,与不考虑折射或气泡等强干扰的常见基于CNN的立体方法不同,我们设计了一种新颖的用于使用多尺度信息的立体匹配的CNN架构,该架构旨在对此类干扰具有鲁棒性。最后,我们提出了一种多尺度的气泡和投影模式去除方法,使用CNN恢复原始纹理。实验结果表明,我们的方法相比,最先进的技术的有效性。此外,重建一个活的游泳鱼证明,以确认我们的技术的可行性。
2018-08-25 cs.CV
3D Solid Spherical Bispectrum CNNs for Biomedical Texture Analysis
University of Applied Sciences Western Switzerland (HES-SO)(瑞士西部应用科学大学);CHUV(洛桑大学医院);Harvard School of Engineering and Applied Sciences(哈佛工程与应用科学学院)
局部旋转不变量(LRI)算子在生物医学纹理分析中显示出巨大的潜力,其中图案出现在随机的位置和方向。LRI算子可以通过计算对局部描述符的离散旋转的响应来获得,例如局部二进制模式(LBP)或尺度不变特征变换(SIFT)。其他策略例如使用高斯拉普拉斯或可操纵小波来实现这种不变性,从而防止在旋转的离散化期间引入采样误差。在这项工作中,我们获得LRI运营商通过局部投影的图像上的球谐函数的基础上,其次是计算的双谱,共享和扩展的谱的不变性。我们调查的好处,使用双谱的频谱中的LRI层的设计嵌入在一个浅卷积神经网络(CNN)的3D图像分析。在两个数据集上评估每个设计的性能,并与标准3D CNN进行比较。第一个数据集由合成生成的旋转模式组成的3D体积组成,而第二个数据集包含计算机断层扫描(CT)图像中的恶性和良性肺结节。结果表明,双谱CNN允许比谱和标准CNN更好地表征3D纹理。此外,与标准卷积层相比,它可以用更少的训练样本和可训练参数进行有效学习。
2020-06-02 cs.CV
Predictive Failure Detection in Network Hardware Using Thermal Imaging and Deep Learning with Sensor Fusion
该研究提出结合热成像与电源传感器数据的多模态深度学习模型,经ROI预处理后可实现网络硬件早期故障的高精度预测,为数据中心主动维护提供支撑。
2026-08-11 cs.CV
High-frequency shape recovery from shading by CNN and domain adaptation
Kyushu University(九州大学)
基于结构光的单次扫描技术由于其简单的系统结构和捕获运动物体的能力而日益重要。该技术的一个严重限制是它只能捕获稀疏形状,但不能捕获高频形状,因为需要投影图案的特定区域来编码空间信息。本文提出了一种利用单镜头结构光RGB-D传感器获取的阴影信息恢复高频形状的方法。由于彩色图像中包含了物体表面的阴影信息,因此利用阴影恢复形状技术可以恢复高频形状。虽然不同的照明位置的多个图像需要从阴影技术的形状,我们提出了一个基于学习的方法来恢复形状从一个单一的图像。此外,为了克服准备足够数量的数据用于训练的问题,我们提出了一种新的数据增强方法,使用合成数据和领域自适应的高频形状。实验结果证实了该方法的有效性。
2021-08-06 cs.CV
Matchable Image Retrieval by Learning from Surface Reconstruction
Hong Kong University of Science and Technology(香港科技大学);Shenzhen Zhuke Innovation Technology (Altizure)(深圳珠科创新科技(Altizure))
卷积神经网络(CNN)在目标图像检索方面取得了优异的性能,而具有手工局部特征的词袋(BoW)模型仍然主导着3D重建中重叠图像的检索。在本文中,我们缩小了这一差距,提出了一个有效的基于CNN的方法来检索图像重叠,我们称之为匹配图像检索问题。与以往基于稀疏重建生成训练数据的方法不同,本文建立了一个具有丰富三维几何信息的大规模图像数据库,并利用表面重建信息获得细粒度的训练数据。我们提出了一种基于三元组的批量损失函数与网格重投影相结合,以有效地学习CNN表示。所提出的方法显着加快了图像检索过程中的三维重建,并优于国家的最先进的CNN为基础的匹配图像检索和BoW方法。代码和数据可在https://github.com/hlzz/mirror上获得。
2018-12-10 cs.CV
CP-mtML: Coupled Projection multi-task Metric Learning for Large Scale Face Retrieval
University of Caen(卡昂大学);MPI for Informatics(马克斯·普朗克信息学研究所);IIT Kanpur(印度理工学院坎普尔分校)
提出了一种新的耦合投影多任务度量学习(CP-mtML)方法用于大规模人脸检索。与以前仅限于低维特征和小数据集的工作相比,所提出的方法可以扩展到具有高维人脸描述符的大数据集。它利用成对(不)相似性约束作为监督,因此不需要对每个训练图像进行详尽的类注释。虽然传统上,多任务学习方法已经在相同的数据集上进行了验证,但不同的任务,我们在异构数据集和不同任务的更具挑战性的环境中工作。我们在不同面部特征的多个面部图像数据集上进行了实证验证,例如身份,年龄和表情。我们使用经典的局部二进制模式(LBP)描述符以及最近的深度卷积神经网络(CNN)功能。实验清楚地表明,所提出的方法的可扩展性和改进的性能的任务的身份和年龄为基础的人脸图像检索相比,现有的竞争力的方法,在标准的数据集和存在的一百万分心的人脸图像。
2016-04-11 cs.CV
An Acceleration Method Based on Deep Learning and Multilinear Feature Space
Laboratory of Integrated Systems, Escola Politecnica da Universidade de Sao Paulo(圣保罗大学理工学院集成系统实验室);Department of Automotive Electronics, Fatec Santo Andre(圣安德烈技术学院汽车电子系)
计算机视觉在先进辅助系统中起着至关重要的作用。大多数计算机视觉系统都基于深度卷积神经网络(deep CNN)架构。然而,运行CNN算法的高计算资源是有要求的。因此,如何加快计算速度成为一个相关的研究课题。尽管在文献中发现了一些关于架构简化的工作,但对于嵌入式实时系统应用来说,还没有取得令人满意的结果。本文提出了一种基于多线性特征空间(MFS)方法的替代方法,该方法从大型CNN架构中迁移学习。所提出的方法使用CNN来生成特征图,尽管它不能作为复杂性降低方法。在训练过程之后,生成的特征图用于创建向量特征空间。我们使用这个新的向量空间对任何新样本进行投影,以对其进行分类。我们的方法,名为AMFC,使用从预训练的CNN的迁移学习,以减少新的样本图像的分类时间,以最小的准确率损失。我们的方法使用VGG-16模型作为实验的基本CNN架构;然而,该方法适用于任何类似的CNN模型。使用著名的车辆图像数据库和德国交通标志识别基准,我们比较了原始VGG-16模型与AMFC方法的分类时间,我们的方法平均快17倍。快速分类时间减少了需要大型CNN架构的嵌入式应用中的计算和内存需求。
2021-10-16 cs.CV
Faster VoxelPose: Real-time 3D Human Pose Estimation by Orthographic Projection
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
虽然基于体素的方法已经取得了可喜的成果,从多个摄像机的多人3D姿态估计,他们遭受沉重的计算负担,特别是对于大场景。我们提出了Faster VoxelPose,通过将特征体积重新投影到三个二维坐标平面并分别估计X,Y,Z坐标来解决这一挑战。为此,我们首先通过3D限界框来定位每个人,通过基于投影到xy平面和z轴的体积特征来估计2D框及其高度。然后,对于每个人,我们分别从三个坐标平面估计部分关节坐标,然后融合以获得最终的3D姿态。该方法不需要昂贵的3D-CNN,将VoxelPose的速度提高了10倍,同时达到了与最先进方法相同的竞争精度,证明了其在实时的【形】应用中的潜力。
2022-07-22 cs.CV
Self-supervised learning via inter-modal reconstruction and feature projection networks for label-efficient 3D-to-2D segmentation
Medical University of Vienna(维也纳医科大学)
提出一种结合3D编码器与2D解码器的新型CNN及自监督重建方法,在有限标注下实现3D到2D分割,Dice分数最高提升23%。
2023-07-13 cs.CV eess.IV
SVDNet for Pedestrian Retrieval
Tsinghua University(清华大学);University of Technology Sydney(悉尼科技大学);University of Chinese Academy of Sciences(中国科学院大学)
本文提出了SVDNet的检索问题,重点是应用的人重新识别(重新ID)。我们将卷积神经元网络(CNN)中的全连接(FC)层内的每个权重向量视为投影基础。据观察,权重向量通常高度相关。这个问题导致FC描述符的条目之间的相关性,并损害基于欧几里德距离的检索性能。为了解决这个问题,本文提出了使用奇异向量分解(SVD)优化深度表示学习过程。具体来说,通过约束和松弛迭代(RRI)训练方案,我们能够在CNN训练中迭代地整合正交约束,从而产生所谓的SVDNet。我们在Market-1501、CUHK 03和Duke数据集上进行了实验,结果表明,RRI有效地降低了投影向量之间的相关性,产生了更具鉴别力的FC描述符,并显着提高了re-ID的准确性。例如,在Market-1501数据集上,CaffeNet的rank-1准确率从55.3%提高到80.5%,ResNet-50从73.8%提高到82.3%。
2017-08-06 cs.CV
End-to-End Deep Learning for Interior Tomography with Low-Dose X-ray CT
Harvard Medical School(哈佛医学院);Massachusetts General Hospital(麻省总医院)
针对低剂量ROI CT中噪声与截断伪影耦合的问题,提出双域CNN端到端学习框架,通过图像域降噪与投影域外推解耦求解,性能优于传统图像域方法。
2025-01-09 cs.CV cs.LG eess.IV
Direct PET Image Reconstruction Incorporating Deep Image Prior and a Forward Projection Model
针对直接PET重建依赖大量高质量训练数据的问题,提出融合深度图像先验与前向投影损失的无监督方法,并在脑部[¹⁸F]FDG蒙特卡罗模拟中证明其优于FBP和ML-EM。
2021-09-02 cs.CV cs.LG physics.med-ph
Learning a Single Tucker Decomposition Network for Lossy Image Compression with Multiple Bits-Per-Pixel Rates
The Hong Kong Polytechnic University(香港理工大学);DJI Innovations Co., Ltd(大疆创新科技有限公司)
有损图像压缩是图像处理中的一个经典问题,其目的是利用不精确的近似来表示图像。最近,深度卷积神经网络(CNN)通过从大量数据中学习编码器-量化器-解码器网络,在LIC中取得了有趣的结果。然而,现有的基于CNN的LIC方法通常只能训练一个特定的每像素位数(bpp)的网络。这种“每bpp一个网络”的问题限制了CNN在实际LIC应用中的通用性和灵活性。在本文中,我们建议学习一个可以以多个bpp速率执行LIC的单个CNN。一个简单而有效的塔克分解网络(TDNet)的开发,其中有一个新的塔克分解层(TDL)的潜像表示分解成一组投影矩阵和一个核心张量。通过改变核心张量的秩及其量化,我们可以很容易地调整单个CNN内潜像表示的bpp率。此外,提出了一种迭代非均匀量化方案来优化量化器,并引入由粗到精的训练策略来重建解压缩图像。大量的实验证明了TDNet在PSNR和MS-SSIM指标方面的最新压缩性能。
2018-07-10 cs.CV
Adapting CNNs for Fisheye Cameras without Retraining
Australian Centre For Robotics (ACFR)(澳大利亚机器人中心);School of Aerospace, Mechanical and Mechatronic Engineering(航空航天、机械与机电工程学院);The University of Sydney(悉尼大学)
针对大视场鱼眼图像校正需大幅裁剪、现有CNN无法直接适配的问题,提出无需重训的RectConv层替换方案,可直接处理原生鱼眼图像,在公开数据集上验证了分割与检测效果,推动透视图像资源适配多类相机。
2024-04-12 cs.CV cs.RO
Cell Detection in Microscopy Images with Deep Convolutional Neural Network and Compressed Sensing
Computing Science, University of Alberta, Canada(阿尔伯塔大学计算机科学学院,加拿大)
自动检测显微图像中某些类型的细胞或细胞亚基的能力对于广泛的生物医学研究和临床实践具有重要意义。细胞检测方法已经从采用手工制作的特征发展到基于深度学习的技术。这些方法的基本思想是,它们的细胞分类器或检测器是在像素空间中训练的,其中目标细胞的位置被标记。在本文中,我们寻求不同的路线,并提出了一种基于卷积神经网络(CNN)的细胞检测方法,使用输出像素空间的编码。对于细胞检测问题,输出空间是指示细胞中心的稀疏标记的像素位置。我们采用随机投影编码的输出空间的压缩向量的固定尺寸。然后,CNN从输入像素回归该压缩向量。此外,可以使用$L_1$范数优化从预测的压缩向量稳定地恢复输出像素空间上的稀疏单元位置。在过去,使用压缩感测(CS)的输出空间编码已经与线性和非线性预测器结合使用。据我们所知,这是CNN首次成功使用基于CS的输出空间编码。我们在几个基准数据集上进行了大量实验,与其他最先进的方法相比,所提出的CNN + CS框架(称为CNNCS)在F1分数方面实现了最高或至少前3名的性能。
2018-02-21 cs.CV
Differentiable Projection from Optical Coherence Tomography B-Scan without Retinal Layer Segmentation Supervision
Shanghai Jiao Tong University(上海交通大学);EPFL(洛桑联邦理工学院);Shanghai General Hospital(上海市第一人民医院)
光学相干断层扫描(OCT)B超的投影图(PM)是诊断视网膜疾病的重要工具,通常需要视网膜层分割。在这项研究中,我们提出了一种新的端到端的框架来预测PM从B扫描。而不是分割视网膜层明确,我们表示他们隐含的预测坐标。通过在视网膜层之间均匀采样的坐标上进行像素插值,可以容易地利用池化来获得相应的PM。值得注意的是,所有的算子都是可微的;因此,这个可微投影模块(Differentiable Projection Module,缩写为DMM)可以使用PM的基础事实进行端到端的训练,而不是视网膜层分割。我们的框架产生了高质量的PM,显著优于基线,包括一个没有深度先验的香草CNN和一个没有深度先验的基于优化的CNN。此外,作为曲线/曲面之间的区域/体积的新型神经表示,所提出的神经网络可以独立地用于几何深度学习。
2022-06-11 cs.CV eess.IV
Super-resolution image projection over an extended depth of field using a diffractive decoder
Electrical and Computer Engineering Department, University of California, Los Angeles, California 90095, USA(加州大学洛杉矶分校电子与计算机工程系);Bioengineering Department, University of California, Los Angeles, California 90095, USA(加州大学洛杉矶分校生物工程系);California NanoSystems Institute (CNSI), University of California, Los Angeles, California 90095, USA(加州大学洛杉矶分校加州纳米系统研究所)
提出一种混合图像投影系统,结合CNN编码器和全光学衍射解码器,实现扩展景深和像素超分辨率,提升空间带宽积。
2025-10-04 cs.CV cs.NE physics.app-ph
Generalization of pixel-wise phase estimation by CNN and improvement of phase-unwrapping by MRF optimization for one-shot 3D scan
Kyushu University(九州大学);Hiroshima City University(广岛市立大学);Kinki University(近畿大学);Advanced Industrial Science and Technology(产业技术综合研究所)
针对单次3D扫描重建稀疏且复杂图案易受噪声影响导致解码不稳的问题,提出CG预训练U-net像素级相位插值、MRF鲁棒对应查找及曲线约束形状细化方法,并在强噪声真实数据上验证有效。
2023-09-26 cs.CV
Data-Driven Target Localization Using Adaptive Radar Processing and Convolutional Neural Networks
Duke University(杜克大学);Information Systems Laboratories Inc.(信息系统实验室公司);University of Dayton Research Institute(代顿大学研究院);Colorado State University(科罗拉多州立大学);AFRL(美国空军研究实验室)
本文提出一种结合自适应雷达处理与回归CNN的数据驱动雷达目标定位方法,通过RFView生成训练数据,相比传统方法定位精度更高,且经小样本学习可应对数据失配问题。
2024-07-09 cs.CV eess.SP
A new Local Radon Descriptor for Content-Based Image Search
University of Waterloo(滑铁卢大学)
基于内容的图像检索(CBIR)是计算机视觉研究的重要组成部分,特别是在医学专家系统中。在CBIR系统中,具有最少数量的用于调谐的参数的有区别的图像描述符是期望的。在本文中,我们介绍了一种新的简单的描述符的基础上的直方图的局部Radon投影。我们还提出了一个非常快速的卷积为基础的局部氡估计,以克服缓慢的过程中氡预测。我们使用病理图像(KimiaPath 24)和肺部CT补丁进行实验,并测试我们提出的医疗图像处理解决方案。与其他基于直方图的描述符(如LBP和HoG以及一些预训练的CNN)相比,我们取得了更好的结果。
2020-07-30 cs.CV
Dual-domain U-Nets with embedded back projection operators for motion-resolved 4D CBCT reconstruction
该研究提出嵌入反投影算子的双域U-Net,从无呼吸信号或投影分箱的自由呼吸扫描中重建运动分辨的4D CBCT,在模拟与临床数据上均表现出更优的肿瘤、食道可见性及更少运动伪影,实现了高质量4D重建。
2026-08-05 cs.CV cs.LG
SRCN3D: Sparse R-CNN 3D for Compact Convolutional Multi-View 3D Object Detection and Tracking
Tsinghua University(清华大学)
本文提出SRCN3D,一种结合稀疏查询、稀疏注意力和稀疏预测的两阶段全稀疏3D目标检测器,通过级联结构和局部RoI特征采样实现高效且易于部署的多视图3D检测与跟踪。
2023-07-02 cs.CV
An Artificial Intelligence System for Combined Fruit Detection and Georeferencing, Using RTK-Based Perspective Projection in Drone Imagery
Outfield Technologies(奥特菲尔德科技公司)
这项工作提出了一个基于快速区域卷积神经网络(Faster R-CNN)框架的人工智能(AI)系统,该系统可以从大型商业果园的倾斜空中无人机图像中检测和计数苹果。为了降低计算成本,网络的一个新的附加阶段被设计用于将原始图像预处理成单个树木的裁剪图像。使用透视投影模型将唯一的地理空间标识符分配给它们。这采用了实时动态(RTK)数据,数字地形和表面模型(DTM和DSM),以及内部和外部相机参数。然而,大部分实验都集中在调整检测网络本身的超参数上。树上的苹果和地上的苹果被视为不同的类。一个平均精度(mAP)的度量,校准的大小的两个类,旨在减轻虚假的结果。由于苹果的规模,锚箱设计是关键的兴趣。因此,在Faster R-CNN的文献中从未见过的k-means聚类方法导致了校准mAP的最显着改进。其他实验表明,框建议的最大数量应该是225; 0.001的初始学习率最适合应用于自适应RMS Prop优化器;当考虑mAP和推理时间时,ResNet 101是理想的基本特征提取器。最佳超参数的合并导致模型的校准mAP为0.7627。
2021-01-01 cs.CV cs.LG eess.IV
Deep Learning-Guided Image Reconstruction from Incomplete Data
Washington University in Saint Louis(圣路易斯华盛顿大学)
提出了一种将深度学习结合在迭代图像重建框架内以从严重不完整的测量数据重建图像的方法。具体来说,我们利用卷积神经网络(CNN)作为最小二乘最小化过程中的准投影运算符。训练CNN以编码关于被成像的图像类别的高级信息;该信息用于减轻通过使用迭代法产生的中间图像中的伪影。该方法的结构受到邻近梯度下降方法的启发,其中邻近算子被深度CNN代替,并且通过使用线性重建算子来推广梯度下降步骤。它表明,这种方法提高了图像质量的几种情况下,有限的视图图像重建和使用CNN的迭代法相比,传统的图像重建方法的性能提高。我们测试我们的方法在几个有限的视图图像重建问题。定性和定量结果证明了最先进的性能。
2017-09-02 cs.CV cs.LG
Learning Spherical Convolution for Fast Features from 360° Imagery
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
虽然360°摄像机在视觉、图形和增强现实方面提供了巨大的新可能性,但它们产生的球形图像使核心特征提取变得不平凡。在来自透视相机的图像上训练的卷积神经网络(CNN)产生“平坦”滤波器,然而360°图像不能在没有显著失真的情况下投影到单个平面。一个简单的解决方案,重复投影的观察领域的所有切平面是准确的,但太计算密集的实际问题。我们建议学习一个球形卷积网络,该网络将平面CNN转换为直接在其等矩形投影中处理360°图像。我们的方法学习在360°数据上再现平坦滤波器输出,对整个观看范围内的不同失真效果敏感。其主要优点是:1)对360°图像和视频进行高效的特征提取; 2)利用研究人员精心打磨的强大的预训练网络(以及大量标记的图像训练集)进行透视图像。与几种替代方法相比,我们在原始CNN输出精度以及将最先进的“平面”对象检测器应用于360°数据方面验证了我们的方法。我们的方法产生最准确的结果,同时节省数量级的计算与现有的精确重投影解决方案。
2018-12-07 cs.CV
iSeeBetter: Spatio-temporal video super-resolution using recurrent generative back-projection networks
Stanford University(斯坦福大学);University of Mumbai(孟买大学)
最近,基于学习的模型已经增强了单图像超分辨率(SISR)的性能。然而,连续地将SISR应用于每个视频帧导致缺乏时间相干性。卷积神经网络(CNN)在峰值信噪比(PSNR)和结构相似性(SSIM)等图像质量指标方面优于传统方法。然而,生成对抗网络(GANs)提供了一个竞争优势,因为它能够缓解缺乏更精细纹理细节的问题,这种问题通常在CNN以大的放大因子进行超分辨率时出现。我们提出了iSeeBetter,一种新的基于GAN的时空视频超分辨率(VSR)方法,可以呈现时间一致的超分辨率视频。iSeeBetter使用循环反投影网络的概念作为其生成器,从当前和相邻帧中提取空间和时间信息。此外,为了提高超分辨率图像的“自然度”,同时消除传统算法中的伪影,我们利用了来自超分辨率生成对抗网络(SRGAN)的伪影。虽然均方误差(MSE)作为主要损失最小化目标提高了PSNR/SSIM,但是这些度量可能无法捕获图像中的细节,从而导致感知质量的错误表示。为了解决这个问题,我们使用四重(MSE,感知,对抗和总变差(TV))损失函数。我们的研究结果表明,iSeeBetter提供卓越的VSR保真度和超越国家的最先进的性能。
2020-09-30 cs.AI cs.CV cs.LG
Geometry-Aware Attenuation Learning for Sparse-View CBCT Reconstruction
State Key Laboratory of Advanced Medical Materials and Devices(先进医用材料与器件国家重点实验室);Shanghai United Imaging Intelligence Co., Ltd.(上海联影智能医疗科技有限公司);Shanghai Clinical Research and Trial Center(上海临床研究与试验中心);School of Informatics, The University of Edinburgh(爱丁堡大学信息学院);Department of Computer Science, The University of Hong Kong(香港大学计算机科学系)
针对稀疏视角CBCT重建中现有方法效果差或效率低的问题,提出几何感知编解码框架,结合CBCT扫描几何特性与数据先验,无需单次训练即可实现极稀疏视角下的高质量高效重建。
2024-10-02 cs.CV eess.IV
Incorporating Visual Cortical Lateral Connection Properties into CNN: Recurrent Activation and Excitatory-Inhibitory Separation
Dept. of Computer Science and Engineering Texas A&M University, College Station Texas, USA(计算机科学与工程系德克萨斯A&M大学,学院站得克萨斯州,美国)
本文提出在CNN中引入视觉皮层侧向连接,通过权重共享的循环激活和兴奋-抑制分离损失函数,提升分类准确率并使模型涌现出类似生物视觉系统的激活与连接特性。
2025-09-18 cs.AI cs.CV q-bio.NC
A Spatial Mapping Algorithm with Applications in Deep Learning-Based Structure Classification
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);Hood College of Frederick Maryland(马里兰州弗雷德里克胡德学院)
基于卷积神经网络(CNN)的机器学习系统在二维(2D)的特征提取和图像识别任务中取得了突破。尽管有大量正在进行的工作将CNN技术应用于涉及复杂3D数据的领域,但这种努力的成功部分地受到数据表示技术的限制的限制。目前大多数方法依赖于低分辨率3D模型,3D空间范围的战略限制,或应用有损投影技术以允许使用2D CNN。为了解决这个问题,我们提出了一个映射算法,将3D结构的2D和1D数据网格映射到对应的2D和1D曲线的遍历的3D空间填充曲线的遍历。我们探索了在用我们的方法编码的数据上训练的2D和1D CNN的性能,以及在来自流行基准数据集的原始3D数据上操作的可比体积CNN的性能。我们的实验表明,通过我们的方法生成的3D数据的2D和1D表示都以CNN可学习的形式保留了3D数据的大部分特征。此外,我们证明了我们将3D数据编码为低维表示的方法可以减少CNN训练时间成本,增加原始3D模型渲染分辨率,并支持与纯体积方法相比增加的数据通道数量。这种演示是在结构生物学分类任务的背景下完成的,其中我们训练3D,2D和1D CNN的Ras蛋白家族内的两个同源分支的例子。本文的主要贡献是引入了一种降维方法,可以简化强大的深度学习工具在复杂结构数据领域的应用。
2018-02-22 cs.CV cs.LG
Metal Artifact Reduction in 2D CT Images with Self-supervised Cross-domain Learning
The University of Hong Kong(香港大学);Stanford University(斯坦福大学);Hong Kong University of Science and Technology(香港科技大学)
金属植入物的存在往往会在X射线CT图像中引入严重的金属伪影,这可能会对临床诊断或放射治疗中的剂量计算产生不利影响。在这项工作中,我们提出了一种新的基于深度学习的方法来减少金属伪影(MAR)。为了减轻对解剖学上相同的CT图像对的需求(即,金属伪影污染的CT图像和无金属伪影的CT图像)的网络学习,我们提出了一个自监督的跨域学习框架。具体而言,我们训练神经网络来恢复给定的无金属正弦图中的金属迹线区域值,其中金属迹线通过金属掩模的前向投影来识别。然后,我们设计了一种新的FBP重建损失,以鼓励网络生成更完美的完成结果和基于残差学习的图像细化模块,以减少重建CT图像中的二次伪影。为了保留最终MAR图像的精细结构细节和保真度,而不是直接采用CNN细化的图像作为输出,我们将金属痕迹替换纳入我们的框架中,并用通过CNN输出的前向投影生成的先前正弦图替换原始正弦图的金属影响投影。然后,我们使用滤波后向投影(FBP)算法进行最终MAR图像重建。我们对模拟和真实伪影数据进行了广泛的评估,以显示我们设计的有效性。我们的方法产生优越的MAR结果,并优于其他引人注目的方法。我们还展示了我们的框架对其他器官网站的潜力。
2021-09-28 cs.CV cs.LG eess.IV
Transferrable Feature and Projection Learning with Class Hierarchy for Zero-Shot Learning
Peking University(北京大学);Renmin University of China(中国人民大学);Queen Mary University of London(伦敦玛丽女王大学)
零样本学习(Zero-shot learning,缩写为ZRL)旨在将知识从可见的类转移到不可见的类,以便后者可以在没有任何训练样本的情况下被识别。这通过学习特征空间和语义空间(例如属性空间)之间的投影函数而成为可能。将可见类和不可见类看作两个域,往往存在着较大的域间隙,这对语义学习提出了挑战。一个看不见的类并不完全是“看不见的”,如果它属于同一个超类作为一个看到的类的启发,我们提出了一种新的归纳性的martel模型,利用超类之间的桥梁看到和看不见的类,以缩小域的差距。具体来说,我们首先建立一个类层次结构的多个超类层和一个单一的类层,其中的超类是自动生成的数据驱动聚类的语义表示的所有可见和不可见的类名。然后,我们利用类层次结构中的超类来解决两个方面的领域差距挑战:深度特征学习和投影函数学习。首先,为了缩小特征空间中的域间隙,我们将用超类定义的递归神经网络(RNN)集成到卷积神经网络(CNN)中,以加强超类层次结构。其次,为了进一步学习可转移的投影函数,提出了一种新的投影函数学习方法,利用超类对齐两个域。重要的是,我们的可转移特征和投影学习方法可以很容易地扩展到一个密切相关的任务-少样本学习(FSL)。大量的实验表明,该模型显着优于国家的最先进的替代品,在两个EFL和FSL任务。
2018-10-19 cs.CV cs.LG