Structure Preserving Compressive Sensing MRI Reconstruction using Generative Adversarial Networks
IIT Roorkee(印度理工学院鲁尔基分校);IIT Kharagpur(印度理工学院克勒格布尔分校)
压缩感知磁共振成像(CS-MRI)通过突破奈奎斯特采样限制来加速MR图像的采集。在这项工作中,提出了一种新的生成对抗网络(GAN)为基础的框架CS-MRI重建。我们的模型结合了基于块的重构和基于结构相似性指数的损失,专注于保留重构图像中的高频内容和精细纹理细节。密集和剩余的连接已被纳入一个U型网络为基础的发电机架构,以允许更容易的信息传输以及可变的网络长度。我们表明,我们的算法优于国家的最先进的方法在重建的质量和鲁棒性噪声。此外,毫秒级的重建时间使其非常适合实时临床使用。
2020-04-26 cs.CV cs.LG eess.IV
Pairwise Augmented GANs with Adversarial Reconstruction Loss
Samsung AI Center in Moscow(三星莫斯科人工智能中心);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);National Research University Higher School of Economics(国立研究型大学高等经济学院);Federal Research Center "Informatics and Management" of the Russian Academy of Sciences(俄罗斯科学院联邦研究中心“信息学与管理学”)
我们提出了一种新型的自动编码模型,称为成对增强的GANs。我们训练一个生成器和一个编码器联合和对抗的方式。生成器网络学习对真实对象进行采样。反过来,编码器网络同时被训练以将真实数据分布映射到潜在空间中的先验。为了确保良好的重建,我们引入了增强的对抗重建损失。在这里,我们训练一个机器人来区分两种类型的对:一个对象与它的增强和一个与它的重建。我们表明,这种对抗性损失比较对象的内容,而不是在完全匹配。我们通过实验证明,我们的模型在数据集MNIST,CIFAR10,CelebA上生成的样本和重建质量与最先进的数据集具有竞争力,并在CIFAR10上取得了良好的定量结果。
2018-10-11 cs.LG stat.ML
Towards Black-box Adversarial Example Detection: A Data Reconstruction-based Method
Beijing Jiaotong University(北京交通大学);Peng Cheng Lab(鹏城实验室)
本文针对黑盒对抗样本检测问题,提出利用 VAE 建模正常样本的像素与频率表示并依据重构误差识别对抗样本,显著提升了黑盒场景下的检测性能。
2023-06-03 cs.CV
Unsupervised MRI Reconstruction with Generative Adversarial Networks
Stanford University(斯坦福大学)
基于深度学习的图像重建方法在多种MRI应用中取得了令人鼓舞的结果。然而,大多数方法需要大规模的完全采样的地面真实数据进行监督训练。获取完全采样的数据通常是困难的或不可能的,特别是对于动态对比增强(DCE)、3D心脏电影和4D血流。我们提出了一个深度学习框架,用于MRI重建,而无需使用生成对抗网络的任何完全采样数据。我们在两种情况下测试所提出的方法:回顾性欠采样快速自旋回波膝关节检查和前瞻性欠采样腹部DCE。与传统方法相比,该方法恢复更多的解剖结构。
2020-08-29 cs.LG eess.IV stat.ML
DGGAN: Depth-image Guided Generative Adversarial Networks for Disentangling RGB and Depth Images in 3D Hand Pose Estimation
University of California, Irvine(加州大学欧文分校);Tencent America(腾讯美国);Amazon(亚马逊);National Chiao Tung University(国立交通大学)
从RGB图像中估计3D手部姿态对于广泛的潜在应用是必不可少的,但由于从RGB图像中推断深度信息存在大量模糊性,因此具有挑战性。最先进的估计器通过在训练过程中正则化3D手部姿势估计模型来解决这个问题,以加强预测的3D姿势和地面真实深度图之间的一致性。然而,这些估计器在训练过程中依赖于RGB图像和成对的深度图。在这项研究中,我们提出了一种条件生成对抗网络(GAN)模型,称为深度图像引导GAN(DGGAN),以生成基于输入RGB图像的真实深度图,并使用合成的深度图来正则化3D手势估计模型,因此不需要地面真实深度图。在多个基准数据集上的实验结果表明,DGGAN生成的合成深度图在正则化姿态估计模型方面非常有效,获得了新的最先进的结果估计精度,在RHD、STB和MHP数据集上,平均3D端点误差(EPE)分别显著降低了4.7%、16.5%和6.8%。
2020-12-06 cs.CV
Simultaneously Color-Depth Super-Resolution with Conditional Generative Adversarial Network
Beijing Jiaotong University(北京交通大学);Simon Fraser University(西蒙弗雷泽大学);Taiyuan University of Science and Technology(太原科技大学)
近年来,生成对抗网络(GAN)在风格转换、图像间翻译和图像超分辨率等方面得到了广泛的应用。本文提出了一种颜色-深度条件GAN,用于同时解决三维视频中的深度超分辨率和颜色超分辨率问题。首先,针对低分辨率深度图像和低分辨率彩色图像,考虑到同一场景中彩色深度图像的几何结构依赖性,提出了一种生成式网络,利用彩色图像和深度图像的互信息进行增强。其次,引入数据损失、总变差损失和8连通梯度差损失三种损失函数对生成网络进行训练,以保证生成的图像与真实图像的接近,同时避免对抗性损失。实验结果表明,该方法能从低质量的图像对中提取高质量的彩色图像和深度图像,优于其他几种主流方法。此外,我们使用相同的神经网络架构,同时解决图像平滑和边缘检测的问题。
2018-11-28 cs.CV
Y-GAN: A Generative Adversarial Network for Depthmap Estimation from Multi-camera Stereo Images
School of Computing and Information Science(计算与信息科学学院);Florida International University(佛罗里达国际大学)
深度感知是在现实世界中交互的自主系统的关键组成部分,例如送货机器人,仓库机器人和自动驾驶汽车。自主机器人中的任务,如3D物体识别,同时定位与地图构建(SLAM),路径规划和导航,需要某种形式的3D空间信息。深度感知是计算机视觉和机器人学中一个长期存在的研究问题,有着悠久的历史。许多使用深度学习的方法,包括从运动恢复运动恢复结构、从X轴恢复形状、单目、双目和多视图立体视觉,都产生了可接受的结果。然而,这些方法存在几个缺点,例如需要昂贵的硬件,需要监督的训练数据,没有用于比较的地面真实数据,以及忽视遮挡。为了解决这些缺点,这项工作提出了一种新的深度卷积生成对抗网络架构,称为Y-GAN,它使用来自三个摄像头的数据来估计多摄像头视频流中每帧的深度图。
2019-06-03 cs.CV cs.LG stat.ML
3D Facial Geometry Recovery from a Depth View with Attention Guided Generative Adversarial Network
School of Communication Engineering, Hangzhou Dianzi University(杭州电子科技大学通信工程学院)
我们提出了一个完整的三维人脸几何形状从一个单一的深度视图,提出了一个注意力引导的生成对抗网络(AGGAN)。与现有的工作,通常需要两个或更多的深度视图来恢复一个完整的3D面部几何形状,建议AGGAN是能够生成一个密集的3D体素网格的脸从一个单一的不受约束的深度视图。具体地,AGGAN在体素空间内编码3D面部几何形状,并利用注意力引导的GAN来对不适定的2.5D深度-3D映射进行建模。多个损失函数,这加强了三维面部几何形状的一致性,连同在体素空间中的面部表面点的先验分布被合并来指导训练过程。定性和定量的比较表明,AGGAN恢复了更完整和更平滑的3D人脸形状,具有处理更宽视角范围的能力,并且比传统方法更能抵抗深度视图中的噪声
2020-09-02 cs.CV
Generative Adversarial Network with Soft-Dynamic Time Warping and Parallel Reconstruction for Energy Time Series Anomaly Detection
Indian Institute of Science(印度科学研究所);FLAME University(FLAME大学)
本文提出一种结合一维DCGAN与Soft-DTW的能源时间序列异常检测方法,通过并行重建加速检测并提升建筑能耗异常识别能力。
2024-02-22 cs.LG
3D Semantic Scene Completion from a Single Depth Image using Adversarial Training
RWTH Aachen University(亚琛工业大学);University of Bonn(波恩大学)
我们解决了3D语义场景完成的任务,即,给定单个深度图像,我们预测表示场景的3D网格中的体素的语义标签和占用。鉴于最近引入的生成对抗网络(GAN),我们的目标是探索这种模型的潜力和各种重要设计选择的效率。我们的结果表明,使用条件GANs优于普通GAN设置。我们在几个数据集上评估这些架构设计。基于我们的实验,我们证明了GANs能够在干净注释的情况下优于基线3D CNN的性能,但它们遭受对齐不良的注释。
2019-05-15 cs.CV
Fine-grained MRI Reconstruction using Attentive Selection Generative Adversarial Networks
University of Edinburgh(爱丁堡大学)
压缩感知(CS)利用稀疏性为快速磁共振成像(fastMRI)提供基础。然而,不适定问题的迭代求解器阻碍了它们对时间关键应用的适应。此外,这样的先验既不能丰富地捕获复杂的解剖结构,也不能适用于满足现代MRI中高保真重建的需求。受最先进的图像生成方法的启发,我们提出了一种新的基于注意力的深度学习框架,以提供高质量的MRI重建。我们在生成对抗网络(GAN)框架中集成了大范围上下文特征集成和注意力选择。我们证明,与其他基于深度学习的方法相比,所提出的模型在图像质量以及与极低采样率饮食中的MRI重建相关性方面可以产生更好的结果。
2021-03-13 cs.CV eess.IV
GANVO: Unsupervised Deep Monocular Visual Odometry and Depth Estimation with Generative Adversarial Networks
Computer Science Department, The University of Oxford(牛津大学计算机科学系)
在过去的十年中,监督式深度学习方法已被广泛用于视觉里程计(VO)应用中,这在标记数据不丰富的环境中是不可行的。另一方面,无监督的深度学习方法在未知环境中从未标记的数据进行定位和映射,在VO研究中受到的关注相对较少。在这项研究中,我们提出了一个生成式无监督学习框架,该框架使用深度卷积生成对抗网络(GANs)从未标记的RGB图像序列预测场景的6-DoF姿势相机运动和单眼深度图。我们通过扭曲视图序列并将重投影最小化分配给多视图姿态估计和单视图深度生成网络中采用的目标损失函数来创建监督信号。在KITTI和Cityscapes数据集上对所提出的框架进行了详细的定量和定性评估,结果表明,所提出的方法优于现有的传统和无监督深度VO方法,为姿态估计和深度恢复提供了更好的结果。
2019-03-05 cs.CV cs.LG stat.ML
Style Agnostic 3D Reconstruction via Adversarial Style Transfer
University of Konstanz(康斯坦茨大学);University of Frankfurt(法兰克福大学);IBM-MIT Watson AI Lab(IBM-MIT沃森人工智能实验室)
从图像重建物体的三维几何形状是计算机视觉的一个主要挑战。最近引入的可微分渲染器可以用来从2D图像中学习对象的3D几何形状,但是这些方法需要额外的监督,以使渲染器能够产生可以与输入图像进行比较的输出。这可以是场景信息或约束,例如对象轮廓、均匀背景、材质、纹理和照明。在本文中,我们提出了一种方法,使一个可区分的渲染为基础的学习3D对象从图像的背景,而不需要剪影监督。我们提出了一个对抗性的风格转移和领域自适应管道,允许将输入图像域转换为渲染图像域,而不是试图渲染接近输入的图像。这使得我们能够直接比较转换后的图像和3D对象重建的可微分渲染,以便训练3D对象重建网络。我们表明,该方法从具有背景的图像中学习3D几何形状,并在此任务上提供比单视图3D对象重建的约束方法更好的性能。
2021-10-20 cs.CV cs.LG
A high-precision self-supervised monocular visual odometry in foggy weather based on robust cycled generative adversarial networks and multi-task learning aided depth estimation
North University of China(中北大学)
本文提出了一种高精度的自监督单目VO,这是专门设计用于雾天导航。设计了一种循环生成对抗网络,通过强制前向和后向半循环输出一致的估计,获得高质量的自监督损失。此外,基于梯度的损失和感知损失的引入,以消除复杂的光度变化的自我监督损失在雾天的干扰。为解决深度估计的不适定性问题,基于雾天图像深度估计与透射图计算之间的强相关性,设计了一种自监督多任务学习辅助深度估计模块。在人工雾天KITTI数据集上的实验结果表明,本文提出的自监督单目VO在深度和姿态估计方面优于文献中其他最先进的单目VO,表明所设计的方法更适合雾天。
2022-03-09 cs.CV
Medical image reconstruction with image-adaptive priors learned by use of generative adversarial networks
Department of Computer Science and Engineering, Washington University in St. Louis(圣路易斯华盛顿大学计算机科学与工程系);Department of Electrical and Systems Engineering, Washington University in St. Louis(圣路易斯华盛顿大学电气与系统工程系);Department of Bioengineering, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校生物工程系)
医学图像重建是一个典型的不适定逆问题。为了解决这种不适定问题,通常通过一些稀疏促进正则化来合并所寻求的对象属性的先验分布。最近,使用生成对抗网络(GANs)估计的图像的先验分布在正则化这些图像重建问题中的一些方面显示出很大的希望。在这项工作中,我们应用一种基于图像自适应GAN的重建方法(IAGAN)从不完整的医学成像数据中重建高保真图像。据观察,IAGAN方法可以潜在地恢复与医学诊断相关的对象中的精细结构,但在使用传统的稀疏促进正则化的重建中可能会过度平滑。
2020-01-27 cs.LG eess.IV stat.ML
Generative adversarial network-based approach to signal reconstruction from magnitude spectrograms
University of Tsukuba(筑波大学);NTT Communication Science Laboratories, NTT Corporation(日本电报电话公司NTT通信科学实验室)
在本文中,我们解决的问题,重建时域信号(或相位谱图)单独从幅度谱图。由于幅度谱图不包含相位信息,我们必须恢复或推断相位信息来重建时域信号。Griffin和Lim提出了一种用于处理信号重构问题的广泛使用的方法。这种方法通常需要多次迭代来进行信号重建过程,并且根据输入,它并不总是产生高质量的音频信号。为了克服这些缺点,我们将基于学习的方法应用于信号重建问题,方法是使用深度神经网络对信号重建过程进行建模,并使用生成对抗网络的思想对其进行训练。实验结果表明,我们的方法能够更快地重建信号,具有更高的质量比Griffin-Lim方法。
2018-04-06 cs.LG eess.SP stat.ML
Environment reconstruction on depth images using Generative Adversarial Networks
Institute of Mathematic and Computer Science, University of São Paulo(圣保罗大学数学与计算机科学学院);Computer Science College, Federal University of Uberlândia(乌贝兰迪亚联邦大学计算机科学学院)
强大的感知系统对于自动驾驶汽车的安全性至关重要。为了在复杂的城市环境中导航,需要具有可靠数据的精确传感器。理解周围环境的任务本身就很难;对于智能车辆来说,由于车辆导航的高速,这一任务更加关键。为了在城市环境中成功导航,感知系统必须快速接收、处理和执行动作,以确保乘客和行人的安全。立体相机在许多级别收集环境信息,例如,深度,颜色,纹理,形状,这保证了对周围环境的充分了解。即便如此,与人类相比,计算方法缺乏处理缺失信息的能力,即,闭塞。对于许多感知任务,由于环境信息不完整,这种数据的缺乏可能是一个障碍。在本文中,我们解决这个问题,并讨论最近的方法来处理闭塞地区的推断。然后,我们引入了一个损失函数,重点是视差和环境深度数据重建,和生成对抗网络(GAN)架构能够处理闭塞信息推理。我们的研究结果提出了一个连贯的深度图重建,估计被不同的障碍物遮挡的区域。我们的最后贡献是一个损失函数集中在视差数据和GAN能够提取深度特征和估计深度数据的视差图像修复。
2019-12-09 cs.CV cs.RO
More than just an auxiliary loss: Anti-spoofing Backbone Training via Adversarial Pseudo-depth Generation
University of Toronto(多伦多大学);Naver Corp.(Naver公司)
本文提出了一种新的训练流水线的方法,在RGB图像的反欺骗任务中取得了显著的效果。我们探索并强调了使用伪深度来预训练网络的影响,该网络将用作最终分类器的骨干。虽然将伪深度用于反欺骗任务本身并不是一个新的想法,但以前的努力只是利用伪深度作为另一种介质来提取用于执行预测的特征,或者作为辅助训练主分类器的许多辅助损失的一部分,将伪深度的重要性标准化为另一种语义信息。通过这项工作,我们认为,在训练最终的分类器可以获得一个显着的优势,通过预训练的生成器学习预测相应的伪深度的给定的面部图像,从生成对抗网络框架。我们的实验结果表明,我们的方法产生了一个适应性更强的系统,它可以泛化到数据集内样本之外,但也可以泛化到数据集间样本,这是在训练过程中从未见过的。定量地说,我们的方法接近当前最先进的反欺骗模型的基线性能,使用的参数少15.8倍。此外,实验表明,所介绍的方法表现良好,只使用基本的二进制标签没有额外的语义信息,这表明这项工作在工业和应用为基础的环境中,额外的标签和资源之间的权衡被认为是潜在的好处。
2021-03-19 cs.AI cs.CV
Structured Coupled Generative Adversarial Networks for Unsupervised Monocular Depth Estimation
受对抗学习成功的启发,我们提出了一种新的端到端无监督深度学习框架,用于单目深度估计,该框架由两个生成对抗网络(GAN)组成,与结构化条件随机场(CRF)模型深度耦合。这两个GANs的目标是生成不同的和互补的视差图,并通过利用对抗学习策略来提高生成质量。提出了深度CRF耦合模型,用于融合双GAN网络的生成输出和判别输出。因此,该模型隐式地构造了两个网络分支上以及发电机和发电机之间的相互约束。这有助于优化整个网络以更好地生成视差。在KITTI、Cityscapes和Make 3D数据集上的大量实验清楚地证明了所提出的方法的有效性,并显示出与最先进的方法相比的优越性能。代码和模型可在https://github.com/mihaipuscas/ 3dv-coupled-crf-disparity上获得。
2019-08-15 cs.CV eess.IV
Subsurface Depths Structure Maps Reconstruction with Generative Adversarial Networks
Petroleum Overseas ME JSC(海外石油ME合资公司)
本文提出利用StyleGAN2-ADA和Pixel2Style2Pixel编码器两种生成对抗网络算法,从二维地震深度图重建精细三维构造图,并通过概率深度空间实现知识迁移,重建质量可与三维地震图相媲美。
2022-06-15 cs.CV cs.LG physics.geo-ph
UVTomo-GAN: An adversarial learning based approach for unknown view X-ray tomographic reconstruction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
断层重建恢复一个未知的图像给定其从不同角度的投影。解决该问题的现有技术方法假设与投影相关联的角度是先验已知的。鉴于此知识,重建过程是简单的,因为它可以被公式化为凸问题。在这里,我们解决了一个更具挑战性的设置:1)投影角度是未知的,2)它们是从未知的概率分布中绘制的。在此设置中,我们的目标是使用无监督对抗学习方法恢复图像和投影角度分布。为此,我们制定的问题之间的分布匹配的真实投影线和生成的估计图像和投影分布。然后,通过在发电机和发电机之间的最小-最大博弈中达到均衡来解决这个问题。我们的新贡献是使用对抗学习同时恢复未知的投影分布和图像。为了适应这一点,我们使用Gumbel-softmax近似的样本分类分布近似发电机的损失作为未知图像和投影分布的函数。我们的方法可以推广到不同的反问题。我们的仿真结果表明,我们的方法在成功地恢复图像和投影分布在各种设置的能力。
2021-02-09 cs.CV cs.LG eess.IV
Time Efficient Training of Progressive Generative Adversarial Network using Depthwise Separable Convolution and Super Resolution Generative Adversarial Network
生成对抗网络已成功用于生成大小为1024 ^2的高分辨率增强图像。虽然生成的增强图像是前所未有的,但模型的训练时间异常长。传统的GAN需要训练鉴别器和生成器。渐进式GAN是当前用于图像增强的最先进的GAN,而不是一次训练GAN,提出了同时渐进增长鉴别器和生成器的新概念。虽然较低的阶段,如4x4和8x8训练相当快,后期阶段消耗大量的时间,可能需要几天才能完成模型训练。在我们的论文中,我们提出了一种新的流水线,结合渐进式GAN略有修改和超分辨率GAN。超分辨率GAN将低分辨率图像采样为高分辨率图像,这可以证明是一种有用的资源,可以指数级地减少训练时间。
2022-02-24 cs.CV eess.IV
Adversarial Networks for Spatial Context-Aware Spectral Image Reconstruction from RGB
TECNALIA(特克纳利亚研究与创新中心);CVC - Universitat Autònoma de Barcelona(巴塞罗那自治大学计算机视觉中心)
高光谱信号重建的目的是恢复原始的光谱输入,产生了一定的三色(RGB)响应从捕获设备或观察者。鉴于该问题的严重约束不足、非线性性质,传统技术利用光谱信号的不同统计属性,根据真实世界物体反射率构建信息先验,以构建此类RGB到光谱信号映射。然而,他们中的大多数独立地对待每个样本,因此没有从空间维度可以提供的上下文信息中受益。我们将高光谱自然图像重建作为图像到图像映射学习问题,并应用条件生成对抗框架来帮助捕获空间语义。这是卷积神经网络--特别是生成对抗网络--首次用于解决这一任务。定量评估显示,ICVL自然高光谱图像数据集的均方根误差(RMSE)下降了33.2%,相对RMSE下降了54.0%。
2018-03-14 cs.CV
Stochastic reconstruction of an oolitic limestone by generative adversarial networks
Imperial College London(伦敦帝国学院)
随机图像重建是现代数字岩石物理和材料分析的关键部分,旨在创建大量具有代表性的材料微观结构样本,用于放大,有效属性的数值计算和不确定性量化。提出了一种基于生成对抗神经网络(GANs)的三维随机图像重建方法。GANs表示无监督学习方法的框架,其不需要与训练数据相关联的概率分布的先验推断。使用完全卷积神经网络可以快速采样的大体积images.We应用基于GAN的网络训练和图像生成的工作流程,以一个鲕状Ketton石灰岩micro-CT数据集。Minkowski泛函,有效渗透率以及所获得的图像内的模拟流的速度分布进行了比较与深神经网络产生的合成重建。虽然我们的研究结果表明,GANs可以快速准确地重建评估的图像数据集,但我们解决了一些涉及基于生成网络的方法评估的未决问题和挑战。
2017-12-07 cs.CV physics.geo-ph stat.ML
3D Dense Geometry-Guided Facial Expression Synthesis by Adversarial Learning
Imperial College London(帝国理工学院);KAIST(韩国科学技术院)
由于面部肌肉产生的细粒度形状变化以及监督学习缺乏输入输出对,操纵面部表情是一项具有挑战性的任务。不同于以往的方法使用生成对抗网络(GAN),依赖于周期一致性损失或稀疏几何(地标)损失的表达合成,我们提出了一种新的GAN框架,利用三维密集(深度和表面法线)的信息表达操纵。然而,包含具有表情注释的RGB图像及其相应深度图的大规模数据集不可用。为此,我们建议使用现成的最先进的3D重建模型来估计深度,并在手动数据清理过程后创建大规模的RGB-Depth数据集。我们利用这个数据集通过对抗性学习来最小化新的深度一致性损失(注意,我们没有生成的面部图像的地面真实深度图)和深度分类损失上的合成数据。此外,为了提高泛化能力并降低深度参数的偏差,我们建议在框架的右侧使用一种新的置信正则化器。我们对两个公开的具有挑战性的面部表情基准进行了广泛的定量和定性评估:AffectNet和RaFD。我们的实验表明,所提出的方法优于竞争基线和现有的艺术由一个大的利润。
2020-09-30 cs.CV
Improved Adversarial Systems for 3D Object Generation and Reconstruction
McGill University(麦吉尔大学)
本文描述了一种用于训练生成对抗网络(GAN)以理解物体的详细3D形状的新方法。虽然GANs以前曾在该领域使用过,但众所周知,它们很难训练,特别是对于许多类别和方向的3D对象上的复杂联合数据分布。我们的方法扩展了以前的工作,采用Wasserstein距离归一化梯度惩罚作为训练目标。这使得能够改进从关节对象形状分布的生成。我们的系统还可以从2D图像重建3D形状,并从遮挡的2.5D范围扫描执行形状完成。与现有基准相比,我们实现了显著的量化改进
2017-10-30 cs.CV
SCATGAN for Reconstruction of Ultrasound Scatterers Using Generative Adversarial Networks
ETH Zurich(苏黎世联邦理工学院)
超声(US)回波描记术的计算机模拟是培训超声医师的必要条件。US与微观组织结构的相互作用的真实模拟通常由点散射体形式的组织表示建模,与空间变化的点扩散函数卷积。这产生了一个现实的美国B模式斑点纹理,给定的散射体表示为一个特定的组织类型是现成的。这通常不是这种情况,散射体是不平凡的确定。在这项工作中,我们建议从组织的样本US B模式图像中估计散射体映射,通过将此逆映射问题制定为图像平移,其中我们使用US模拟软件进行训练,使用生成对抗网络学习映射。我们展示了强大的重建结果,不变的US查看和成像设置,如成像方向和中心频率。我们的方法被证明是泛化超出了训练的成像设置,在体内US数据证明。我们的推理比基于优化的技术快了几个数量级,使未来的扩展能够仅以线性计算复杂度重建3D B模式体积。
2019-02-01 cs.CV cs.LG eess.IV
Unsupervised Learning of Depth and Depth-of-Field Effect from Natural Images with Aperture Rendering Generative Adversarial Networks
NTT Communication Science Laboratories(NTT通信科学实验室);NTT Corporation(NTT集团)
从2D投影的自然图像理解3D世界是计算机视觉和图形学中的一个基本挑战。近年来,无监督学习方法由于其在数据汇集方面的优势而引起了广泛的关注。然而,为了减轻训练限制,典型的方法需要对视点分布施加假设(例如,包含各种视点图像的数据集)或对象形状(例如,对称对象)。这些假设通常限制应用;例如,应用于从相似视点捕获的非刚性对象或图像(例如,花或鸟图像)仍然是一个挑战。为了补充这些方法,我们提出了孔径渲染生成对抗网络(AR-GANs),它在GANs之上装备孔径渲染,并采用焦点线索来学习未标记自然图像的景深和景深(DoF)效果。为了解决由无监督设置触发的模糊性(即,平滑纹理和散焦模糊之间以及前景和背景模糊之间的模糊性),我们开发了DoF混合学习,这使得生成器能够在生成不同DoF图像的同时学习真实图像分布。此外,我们设计了一个中心焦点之前,指导学习方向。在实验中,我们证明了AR-GANs在各种数据集(如花卉,鸟类和人脸图像)中的有效性,通过将其整合到其他3D表示学习GANs中来证明其可移植性,并验证了其在浅自由度渲染中的适用性。
2021-06-24 cs.CV cs.LG eess.IV
Synergistic Reconstruction and Synthesis via Generative Adversarial Networks for Accelerated Multi-Contrast MRI
Bilkent University(比尔肯特大学)
解剖结构的多重对比MRI采集丰富了可用于诊断的信息量。然而,与额外对比度相关联的过多扫描时间可能是限制因素。提高扫描效率的两种主流方法是欠采样采集的重建和缺失采集的合成。在重建中,性能随着采样密度的降低而向更高的加速因子下降,特别是在高空间频率下。在合成中,来自目标对比度的数据样本的缺失可导致对图像特征的伪像敏感性或不敏感性。本文提出了一种基于条件生成对抗网络的多对比度MRI协同重建合成新方法。所提出的方法保留高频细节的目标对比度依赖于共享的高频信息可从源对比度,并防止特征泄漏或损失依赖于欠采样采集的目标对比度。健康受试者和患者的脑MRI数据集上的演示表明,与以前的最先进的方法相比,所提出的方法的性能优越。所提出的方法可以帮助提高质量和扫描效率的多对比度MRI检查。
2018-05-27 cs.CV
Deep Attentive Wasserstein Generative Adversarial Networks for MRI Reconstruction with Recurrent Context-Awareness
Sun Yat-Sen University(中山大学);University of Edinburgh(爱丁堡大学);Cardiovascular Research Centre, Royal Brompton Hospital(皇家布朗普顿医院心血管研究中心);National Heart & Lung Institute, Imperial College London(帝国理工学院国家心肺研究所)
传统的基于压缩感知的MRI(CS-MRI)重建的性能受到其缓慢迭代过程和噪声诱导伪影的影响。尽管已经提出了许多基于深度学习的CS-MRI方法来缓解传统方法的问题,但它们无法在更高的加速因子下实现更稳健的结果。大多数基于深度学习的CS-MRI方法仍然不能完全挖掘k空间的信息,这导致MRI重建结果不理想。在这项研究中,我们提出了一种新的基于深度学习的CS-MRI重建方法,通过将Wasserstein生成对抗网络(WGAN)与递归神经网络耦合,充分利用连续MRI切片之间的关系。进一步发展的一个专注的单位,使我们的模型,以重建更准确的解剖结构的MRI数据。通过在不同的MRI数据集上进行实验,我们已经证明,与最先进的方法相比,我们的方法不仅可以获得更好的结果,而且还可以有效地减少重建过程中产生的残留噪声。
2020-06-23 cs.CV eess.IV
Learning to Generate Facial Depth Maps
Department of Engineering “Enzo Ferrari”(恩佐·法拉利工程系);University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学);via Vivarelli 10, Modena 41125, Italy(意大利摩德纳维瓦雷利街10号,41125)
本文提出了一种基于单目亮度图像的人脸深度图估计的对抗性结构。通过遵循图像到图像的方法,我们结合了监督学习和对抗训练的优势,提出了一种条件生成对抗网络,它可以有效地学习将强度人脸图像转换为相应的深度图。利用两个公共数据集,即Biwi数据库和Pandora数据集,证明该模型生成高质量的合成深度图像,无论是在视觉外观和信息内容方面。此外,我们表明,该模型能够预测独特的面部细节,通过测试生成的深度图,通过一个深度模型训练真实的深度图的面部验证任务。
2018-05-30 cs.CV
Compressed Sensing MRI Reconstruction using a Generative Adversarial Network with a Cyclic Loss
Ulsan National Institute of Science and Technology (UNIST)(蔚山科学技术院)
压缩感知MRI(CS-MRI)提供了理论基础,在此基础上可以加速耗时的MRI采集过程。然而,它主要依赖于迭代数值求解器,这仍然阻碍了它们在时间关键型应用中的适应。此外,深度神经网络的最新进展已经显示出其在计算机视觉和图像处理方面的潜力,但其对MRI重建的适应仍处于早期阶段。在本文中,我们提出了一种新的基于深度学习的生成对抗模型RefineGAN,用于快速准确的CS-MRI重建。所提出的模型是完全残差卷积自动编码器和生成对抗网络(GANs)的变体,专门为CS-MRI制定而设计;它采用更深的生成器和具有循环数据一致性损失的递归网络,用于在给定的欠采样k空间数据中进行忠实插值。此外,我们的解决方案利用链式网络来进一步提高重建质量。RefineGAN是快速和准确的-重建过程是非常迅速的,低至几十毫秒的256 x256图像的重建,因为它是在前馈网络上的单向部署,图像质量是优越的,即使是极低的采样率(低至10%)由于该方法的数据驱动的性质。我们通过使用几个开源MRI数据库进行评估,证明了RefineGAN在运行时间和图像质量方面都大大优于最先进的CS-MRI方法。
2018-03-15 cs.CV
DepR: Depth Guided Single-view Scene Reconstruction with Instance-level Diffusion
ShanghaiTech University(上海科技大学);UC San Diego(加州大学圣地亚哥分校);Lambda, Inc.(Lambda公司);Stanford University(斯坦福大学)
本研究提出深度引导的单视角场景重建框架DepR,通过在训练与推理全程利用深度信息,结合实例级扩散与组合式范式,在有限合成数据训练下实现了SOTA性能与强泛化性。
2025-07-30 cs.CV
Novel Blood Pressure Waveform Reconstruction from Photoplethysmography using Cycle Generative Adversarial Networks
University of California Irvine(加利福尼亚大学尔湾分校);Department of Electrical Engineering and Computer Science, University of California Irvine(加利福尼亚大学尔湾分校电气工程与计算机科学系);Department of Computer Science, University of California, Irvine(加利福尼亚大学尔湾分校计算机科学系);Institute for Future Health, University of California, Irvine(加利福尼亚大学尔湾分校未来健康研究所)
血压(BP)的连续监测可以帮助个人管理他们的慢性疾病,如高血压,需要在自由生活条件下的非侵入性测量方法。最近的方法使用不同的机器和深度学习方法来融合光电容积描记器(PPG)和心电图(ECG)信号,以非侵入性地估计BP;然而,它们无法重建完整的信号,导致模型不太准确。在本文中,我们提出了一种基于循环生成对抗网络(CycleGAN)的方法,从干净的PPG信号中提取BP信号,称为动态血压(ABP)。我们的方法使用了一个循环生成对抗网络,扩展了GAN架构的域转换,并在BP估计中超过了最先进的方法高达2倍。
2022-01-24 cs.LG
Co-VeGAN: Complex-Valued Generative Adversarial Network for Compressive Sensing MR Image Reconstruction
IIT Roorkee(印度理工学院鲁尔基分校);IIT Kharagpur(印度理工学院卡拉格普尔分校)
压缩感知(CS)被广泛用于减少磁共振成像(MRI)的采集时间。尽管基于深度学习的方法已经能够获得快速、高质量的CS-MR图像重建,但它们的主要缺点是将复值MRI数据视为实值实体。大多数方法要么从复值实体中提取幅度,要么将它们连接为两个实值通道。在这两种情况下,相位内容,其中链接的实部和虚部的复值实体,被丢弃。为了解决实值深度网络的基本问题,即它们无法处理复值数据,我们提出了一种基于复值生成对抗网络(Co-Vegan)的新框架。我们的模型可以处理复值输入,这使它能够执行高质量的重建CS-MR图像。此外,考虑到相位是复值实体的重要组成部分,我们提出了一种新的复值激活函数,它对输入的相位敏感。广泛的评估所提出的方法在不同的数据集上使用各种采样掩码表明,所提出的模型显着优于现有的CS-MRI重建技术的峰值信噪比以及结构相似性指数。此外,与基于实值深度学习的方法相比,它使用的可训练参数要少得多。
2020-09-24 cs.CV cs.LG eess.IV
Depth-Aware Generative Adversarial Network for Talking Head Video Generation
HKUST(香港科技大学);Alibaba Cloud(阿里云)
会说话的头部视频生成旨在生成合成人脸视频,其中包含分别来自给定源图像和驾驶视频的身份和姿态信息。该任务的现有工作严重依赖于从输入图像中学习的2D表示(例如外观和运动)。然而,密集的3D面部几何形状(例如像素深度)对于这项任务非常重要,因为它对我们基本上生成准确的3D面部结构并将噪声信息与可能混乱的背景区分开来特别有益。然而,密集的3D几何结构注释对于视频来说成本过高,并且通常不可用于该视频生成任务。在本文中,我们首先介绍了一种自监督几何学习方法,可以自动从人脸视频中恢复密集的3D几何(即深度),而无需任何昂贵的3D注释数据。基于学习到的密集深度图,我们进一步提出利用它们来估计捕捉人类头部的关键运动的稀疏面部关键点。以更密集的方式,深度还用于学习3D感知的跨模态(即,外观和深度)注意力,以引导用于扭曲源图像表示的运动场的生成。所有这些贡献组成了一个新的深度感知生成对抗网络(DaGAN)的说话头生成。大量的实验表明,我们提出的方法可以生成高度逼真的人脸,并取得了显着的效果上看不见的人脸。
2022-03-15 cs.CV
SEGAN: Structure-Enhanced Generative Adversarial Network for Compressed Sensing MRI Reconstruction
College of Computer Science and Technology(计算机科学与技术学院);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
生成对抗网络(GANs)是用于重建压缩感知磁共振成像(CS-MRI)的强大工具。然而,目前的工作缺乏探索的结构信息的MRI图像,这是至关重要的临床诊断。为了解决这个问题,我们提出了结构增强的GAN(SE GAN),旨在恢复在本地和全球范围内的结构信息。SEGAN定义了一种新的结构正则化,称为补丁相关正则化(PCR),它允许有效地提取结构信息。此外,为了进一步增强发现结构信息的能力,我们提出了一种新的生成器SU-Net,通过将多尺度卷积滤波器纳入每一层。此外,我们从理论上分析了训练过程中包含的随机因素的收敛性。实验结果表明,SEGAN能够学习目标结构信息,并达到最先进的CS-MRI重建性能。
2019-03-05 cs.CV
Masked GANs for Unsupervised Depth and Pose Prediction with Scale Consistency
East China University of Science and Technology(华东理工大学);Oklahoma State University(俄克拉荷马州立大学)
以往的工作表明,对抗学习可以用于无监督的单目深度和视觉里程计(VO)估计,其中对抗损失和几何图像重建损失被用作主要的监督信号来训练整个无监督框架。然而,对抗框架和图像重建的性能通常受到遮挡和帧之间视野变化的限制。提出了一种用于无监督单目深度和自运动估计的掩码生成对抗网络(GAN),在该框架中设计了MaskNet和布尔掩码方案,分别消除了遮挡和视野变化对重建损失和对抗损失的影响。此外,我们还考虑了我们的姿势网络的规模一致性,利用一个新的规模一致性损失,因此,我们的姿势网络能够提供完整的相机轨迹在一个长的单目序列。在KITTI数据集上进行的大量实验表明,本文提出的每个组件都有助于提高性能,并且我们的深度和轨迹预测在KITTI和Make3D数据集上都具有竞争力的性能。
2021-04-13 cs.CV eess.IV
Synthesis and Reconstruction of Fingerprints using Generative Adversarial Networks
Bar-Ilan University(巴伊兰大学)
基于深度学习的模型已被证明可以提高指纹识别的准确性。虽然这些算法表现出出色的性能,但它们需要大规模的指纹数据集进行训练和评估。在这项工作中,我们提出了一种新的指纹合成和重建框架的基础上的StyleGan 2架构,以解决与获取这样的大规模数据集的隐私问题。我们还推导出一种计算方法来修改所生成的指纹的属性,同时保留其身份。这允许每个手指合成多个不同的指纹图像。特别是,我们介绍了由100K图像对组成的SynFing合成指纹数据集,每对对应于相同的身份。实验表明,该框架优于当代国家的最先进的方法,指纹合成和重建。它大大提高了生成的指纹的真实性,无论是在视觉上还是在欺骗基于指纹的验证系统的能力方面。代码和指纹数据集是公开的:https://github.com/rafaelbou/fingerprint_generator。
2023-03-12 cs.CV
A Decade of Generative Adversarial Networks for Porous Material Reconstruction
本文综述了生成对抗网络在多孔材料重建中的十年发展,分析了GAN架构的演变和应用,总结了其在孔隙率精度、渗透率预测和重建体积方面的进步,并指出了计算效率、内存限制和结构连续性等持续挑战。
2026-03-12 cond-mat.mtrl-sci cs.CV physics.geo-ph
Recon-GLGAN: A Global-Local context based Generative Adversarial Network for MRI Reconstruction
Indian Institute of Technology Madras (IITM)(印度理工学院马德拉斯分校);Healthcare Technology Innovation Centre (HTIC)(医疗技术创新中心)
磁共振成像(MRI)是最好的医学成像方式之一,因为它提供了出色的空间分辨率和软组织对比度。但是,MRI的使用受到其缓慢采集时间的限制,这使得其昂贵并导致患者不适。为了加速收购,已经提出了多个深度学习网络。最近,生成对抗网络(GANs)在MRI重建中表现出了很好的效果。所提出的基于GAN的方法的缺点是它没有结合关于最终目标的先验信息,这可以帮助更好地重建。例如,在心脏MRI的情况下,医师将对具有诊断相关性的心脏区域感兴趣,而排除外围区域。在这项工作中,我们表明,在模型中纳入有关感兴趣区域的先验信息将提供更好的性能。因此,我们提出了一种新的基于GAN的架构,重建全局-局部GAN(Recon-GLGAN)的MRI重建。该模型包含一个生成器和一个上下文查询器,它结合了来自图像的全局和局部上下文信息。我们的模型提供了显着的性能改进的基线模型。我们的实验表明,上下文重建的概念可以扩展到现有的基于GAN的重建模型,以提供更好的性能。我们还表明,从所提出的方法的重建分割结果类似于完全采样的图像。
2019-08-25 cs.CV eess.IV
An Adversarial Learning Based Approach for Unknown View Tomographic Reconstruction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
2D断层重建的目标是恢复给定其从各种视图的投影的图像。通常假定与投影相关联的投影角度是预先已知的。然而,在某些情况下,这些角度仅近似已知或完全未知。从随机投影的集合中重建图像变得更具挑战性。我们提出了一种基于对抗学习的方法,通过将测量的经验分布与生成的数据相匹配来恢复图像和投影角度分布。通过求解基于Wasserstein生成对抗网络结构的生成器和批评者之间的最小-最大博弈来拟合分布。为了适应通过梯度反向传播的投影角分布的更新,我们使用离散分布的样本的Gumbel-Softmax重新参数化来近似损失。我们的理论分析验证了唯一的恢复图像和投影分布的旋转和反射时收敛。我们广泛的数值实验展示了我们的方法的潜力,准确地恢复图像和投影角分布的噪声污染。
2021-11-15 cs.LG eess.IV eess.SP
Self-Attention Generative Adversarial Network for Iterative Reconstruction of CT Images
University of Washington Bothell(华盛顿大学博塞尔分校)
计算机断层扫描(CT)使用从身体周围的传感器获取的X射线测量值来生成人体的断层扫描图像。如果X射线数据被充分采样并且具有高质量,则可以使用传统的重建算法;然而,诸如减少对患者的剂量或对数据采集的几何限制等问题可能导致低质量或不完整的数据。由于噪声和其他伪影,使用传统方法从这些数据重建的图像质量差。本研究的目的是训练一个神经网络,从噪声或不完整的CT扫描数据,包括低剂量,稀疏视图,有限角度的情况下重建高质量的CT图像。为了完成这一任务,我们训练生成对抗网络(GAN)作为信号先验,与CT数据的迭代同时代数重建技术(SART)结合使用。该网络包括一个自注意块,用于对数据中的长期依赖关系进行建模。我们将我们的自注意GAN用于CT图像重建与几种最先进的方法进行了比较,包括去噪循环GAN,CIRCLE GAN和总变分优化算法。我们的方法被证明具有可比的整体性能的圆圈GAN,而优于其他两种方法。
2021-12-23 cs.CV eess.IV
Deep Attentive Generative Adversarial Network for Photo-Realistic Image De-Quantization
Southeast University(东南大学);University of Technology Sydney(悉尼科技大学)
目前大多数显示设备具有八位或更高的位深。然而,大多数多媒体工具的质量不能达到这个位深度标准的生成图像。解量化可以改善低位深图像在高位深屏幕上显示的视觉质量。本文提出了DAGAN算法对与空间分辨率正交的图像强度分辨率进行超分辨率处理,通过端到端的学习模式实现真实感去量化。到目前为止,这是第一次尝试将生成对抗网络(GAN)框架应用于图像去量化。具体来说,我们提出了密集的残余自我注意(DenseResAtt)模块,这是由密集的残余块武装的自我注意机制,更加关注高频信息。此外,顺序的DenseResAtt模块的串联连接形成了深度关注网络,在图像去量化中具有卓越的判别学习能力,对代表性特征图进行建模,以恢复尽可能多的有用信息。此外,由于对抗性学习框架可以可靠地生成高质量的自然图像,因此指定的内容损失以及对抗性损失被反向传播以优化模型的训练。最重要的是,DAGAN能够生成照片级真实感的高比特深度图像,而没有条带伪影。在多个公共基准测试上的实验结果表明,DAGAN算法具有良好的视觉效果和令人满意的量化性能。
2020-04-07 cs.CV eess.IV
Fast-GANFIT: Generative Adversarial Network for High Fidelity 3D Face Reconstruction
通过利用深度卷积神经网络(DCNN)的能力,已经做了大量的工作来从单个图像重建3D面部结构。在最近的作品中,纹理特征要么对应于线性纹理空间的分量,要么由自动编码器直接从野外图像中学习。在所有情况下,面部纹理重建的质量仍然不能建模面部纹理与高频细节。在本文中,我们采取了一种完全不同的方法,利用生成对抗网络(GANs)和DCNN的强大功能,从单张图像中重建面部纹理和形状。也就是说,我们利用GANs在\edit{from a large-scale 3D texture dataset}之前训练一个非常强大的面部纹理。然后,我们重新审视原始的3D变形模型(3DMMs)拟合利用非线性优化,以找到最佳的潜在参数,最好地重建测试图像,但在一个新的角度。为了对初始化具有鲁棒性并加快拟合过程,我们提出了一种新的基于自监督回归的方法。我们在真实感和身份保持3D人脸重建中表现出出色的效果,并首次实现了高频细节的面部纹理重建。
2021-05-16 cs.CV
DepthwiseGANs: Fast Training Generative Adversarial Networks for Realistic Image Synthesis
CSIR(科学与工业研究理事会);University of Kwa-Zulu Natal(夸祖鲁-纳塔尔大学)
最近的工作表明,在使用生成对抗网络(GANs)生成合成数据方面取得了重大进展。GANs已经应用于计算机视觉的许多领域,包括文本到图像转换、域转移、超分辨率和图像到视频应用。在计算机视觉中,传统的GANs基于深度卷积神经网络。然而,深度卷积神经网络可能需要大量的计算资源,因为它们基于卷积层执行的多个操作,而卷积层可能由数百万个可训练参数组成。训练GAN模型可能很困难,并且需要大量时间才能达到平衡点。在本文中,我们研究了使用dependency可分离卷积来减少训练时间,同时保持数据生成性能。我们的研究结果表明,与StarGan架构相比,DepthwiseGAN架构可以在更短的训练时间内生成逼真的图像,但模型容量仍然在生成建模中发挥着重要作用。此外,我们表明,dependently可分离卷积执行最好的时候,只适用于发电机。对于生成图像的质量评估,我们使用Fréchet Inception Distance(FID),它比较生成图像分布与训练数据集之间的相似性。
2019-03-06 cs.CV eess.IV
Multi-task Generative Adversarial Learning on Geometrical Shape Reconstruction from EEG Brain Signals
University of New South Wales(新南威尔士大学);Xi’an Jiaotong University(西安交通大学)
从人脑活动中合成几何图形是一个有趣而有意义但又极具挑战性的课题。最近,生成对抗网络(GANs)等深度生成模型的进步支持了从神经信号生成对象。然而,基于脑电信号的形状生成仍然存在真实感不高的问题。特别是,生成的几何形状缺乏清晰的边缘,并且无法包含必要的细节。鉴于此,我们提出了一种新的多任务生成对抗网络,将个体的EEG信号由几何形状诱发到原始几何形状。首先,我们采用一个卷积神经网络(CNN)学习高信息量的原始EEG信号的潜在表示,这是至关重要的后续形状重建。接下来,我们构建了基于多任务学习的神经网络来同时区分和分类假样本,其中不同任务之间的相互促进提高了恢复形状的质量。然后,我们提出了一个语义对齐约束,以迫使合成的样本,以接近真正的像素级,从而产生更引人注目的形状。在本地数据集上对所提出的方法进行了评估,结果表明,我们的模型优于竞争对手的最先进的基线。
2020-02-28 cs.LG eess.SP
Accurate and Fast reconstruction of Porous Media from Extremely Limited Information Using Conditional Generative Adversarial Network
College of Electronics and Information Engineering, Sichuan University(四川大学电子信息学院)
多孔介质在自然界和工程应用中普遍存在,因此对其建模和理解至关重要。与直接获取这种介质的三维(3D)图像相比,获得其子区域(如二维(2D)图像或几个小区域)可能更可行。因此,在这种情况下,从有限的信息重建整个图像是一个主要的技术。特别是,在实践中,给定的数据通常不能由用户确定,并且可能是不完整的或部分知情的,从而使得现有的重建方法不准确甚至无效。为了克服这个缺点,在这项研究中,我们提出了一个基于深度学习的框架,用于从更小的子区域重建完整图像。特别地,利用条件生成对抗网络(CGAN)来学习输入(部分图像)和输出(完整图像)之间的映射。为了保持重建精度,提出了两个简单但有效的目标函数,然后与其他两个函数耦合,共同约束训练过程。由于这个不适定问题的固有本质,高斯噪声被引入用于产生重建多样性,从而允许提供多个候选输出。该方法在各种多孔材料上进行了广泛测试,并通过目视检查和定量比较进行了证明,结果表明该方法准确、稳定且快速($\sim0.08s$用于$128 \times 128$图像重建)。我们强调,所提出的方法可以很容易地扩展,如将任何用户定义的条件数据和任意数量的目标函数重建,并与其他重建方法相结合。
2019-04-04 cs.CE cs.CV eess.IV
LAPRAN: A Scalable Laplacian Pyramid Reconstructive Adversarial Network for Flexible Compressive Sensing Reconstruction
Arizona State University(亚利桑那州立大学)
本文研究了单图像压缩感知(CS)和重建问题。我们提出了一个可扩展的拉普拉斯金字塔重建对抗网络(LAPRAN),可以实现高保真度、灵活且快速的CS图像重建。LAPRAN遵循拉普拉斯金字塔的概念,通过多个阶段的重建对抗网络(RAN)逐步重建图像。在每个金字塔级别,CS测量值与上下文潜在向量融合以生成高频图像残差。因此,LAPRAN可以产生重建图像的层次结构,并且每个层次结构都具有增量分辨率和改进的质量。LAPRAN的可缩放金字塔结构使得能够以灵活的分辨率进行高保真CS重建,该分辨率适应于宽范围的压缩比(CR),这在现有方法中是不可行的。在多个公开数据集上的实验结果表明,与基于模型和数据驱动的基线相比,LAPRAN分别提供了平均7.47dB和5.98dB的PSNR,以及平均57.93%和33.20%的SSIM改善。
2018-11-03 cs.AI cs.CV cs.LG
SLAM Endoscopy enhanced by adversarial depth prediction
Johns Hopkins University(约翰斯·霍普金斯大学)
医学内窥镜仍然是一个具有挑战性的应用,同时定位和映射(SLAM)由于图像特征的稀疏性和大小的限制,防止直接的深度传感。我们提出了一种SLAM方法,该方法结合了由应用于单眼内窥镜图像的逆向训练的卷积神经网络(CNN)进行的深度预测。深度网络使用简单结肠模型的合成图像进行训练,然后使用从人类结肠的计算机断层扫描测量结果渲染的域随机化照片级逼真图像进行微调。每个图像都与无错误的深度图配对,用于监督对抗学习。然后将单目RGB图像与相应的深度预测融合,从而在内窥镜通过胃肠道前进时实现密集重建和拼接。我们的初步结果表明,将单目深度估计到SLAM架构中可以实现内窥镜场景的密集重建。
2019-06-29 cs.CV cs.RO eess.IV
Guided Diffusion-based Generation of Adversarial Objects for Real-World Monocular Depth Estimation Attacks
School of Automation and Intelligent Sensing, Institute of Medical Robotics, Shanghai Jiao Tong University(自动化与智能感知学院、医疗机器人研究院、上海交通大学)
本文提出一种无需训练的生成对抗攻击框架,通过扩散模型生成自然且场景一致的对抗性物体,以提升自动驾驶系统中单目深度估计的对抗攻击效果和实用性。
2025-12-30 cs.CV cs.RO
Monocular Retinal Depth Estimation and Joint Optic Disc and Cup Segmentation using Adversarial Networks
IIT-Madras(印度理工学院马德拉斯分校)
青光眼评估的重要参数之一是视神经乳头(ONH)评估,其通常涉及深度估计和随后的视盘和视杯边界提取。深度通常从光学相干断层扫描(OCT)等成像模式中明确获得,并且从单个RGB图像估计深度非常具有挑战性。为此,我们提出了一种使用对抗网络从单个图像预测深度图的新方法。使用来自INSPIRE立体数据集的单个视网膜图像来训练和评估所提出的深度估计技术。我们获得了一个非常高的平均相关系数为0.92五折交叉验证后优于最先进的状态。然后,我们使用的深度估计过程作为联合视盘和杯分割的代理任务。
2020-07-15 cs.CV cs.LG eess.IV
Adversarial View-Consistent Learning for Monocular Depth Estimation
Microsoft Research Asia(微软亚洲研究院)
本文研究了单目深度估计(MDE)问题。现有的MDE方法通常将其建模为像素级回归问题,忽略了底层的几何属性。我们凭经验发现这可能导致次优解决方案:虽然预测的深度图在一个特定视图中呈现小的损失值,但如果在不同方向上观看,则它可能表现出大的损失。在本文中,受多视图立体视觉(MVS)的启发,我们提出了一个对抗性视图一致性学习(AVCL)框架,以迫使估计的深度图是所有合理的多个视图。为此,我们首先设计了一个可微分的深度图扭曲操作,这是端到端的可训练的,然后提出了一个姿势生成器,以对抗的方式为给定的图像生成新的视图。与可微分深度图扭曲操作协作,姿态生成器鼓励深度估计网络从硬视图学习,从而产生视图一致的深度图。我们在NYU Depth V2数据集上评估了我们的方法,实验结果表明,在最先进的MDE方法上,我们的方法具有很好的性能增益。
2019-08-04 cs.CV cs.LG eess.IV
Adversarial Training of Self-supervised Monocular Depth Estimation against Physical-World Attacks
Purdue University(普渡大学);Rochester Institute of Technology(罗切斯特理工学院)
提出一种基于视图合成的自监督单目深度估计对抗训练方法,利用L0范数受限扰动提升对物理世界攻击的鲁棒性,在几乎不损失良性性能的情况下优于现有方法。
2023-04-02 cs.AI cs.CV