Continuous Face Aging via Self-estimated Residual Age Embedding
ModiFace
人脸合成,特别是包括人脸老化,一直是通过使用生成对抗网络(GANs)来大幅提高图像保真度的主要主题之一。大多数现有的人脸老化方法将数据集划分为几个年龄组,并利用基于组的训练策略,这缺乏提供精细控制的连续老化合成的能力。在这项工作中,我们提出了一个统一的网络结构,将线性年龄估计器嵌入到基于GAN的模型中,其中嵌入式年龄估计器与编码器和解码器联合训练,以估计人脸图像的年龄,并为年龄增长/回归提供个性化的目标年龄嵌入。通过结合当前年龄的个性化剩余年龄嵌入和目标年龄的样本人脸老化基础来合成个性化目标年龄嵌入,其中所有先前的老化基础都是从线性年龄估计器的学习权重导出的。这个公式带来了估计年龄和生成个性化年龄面部的统一观点,其中可以为每个年龄学习自我估计的年龄嵌入。对不同数据集的定性和定量评估进一步证明了在连续面部老化方面比现有技术有显著改善。
2021-04-30 cs.CV
Pose Guided Image Generation from Misaligned Sources via Residual Flow Based Correction
State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);University of Leeds(利兹大学);Clemson University(克莱姆森大学)
由于其广泛的潜在应用,从源图像生成具有期望属性(例如,新视图/姿态)的新图像最近已经被热情地追求。确保高质量生成的一种方法是使用具有互补信息的多个源,例如同一对象的不同视图。然而,由于源图像通常由于相机设置之间的大差异而未对准,因此过去已经关于相机或/和感兴趣的对象做出了强假设,从而限制了这种技术的应用。因此,我们提出了一种新的通用方法,该方法在统一的框架中对源之间的多种类型的变化进行建模,例如视角,姿势,面部表情,因此它可以用于性质截然不同的数据集。我们验证了我们的方法上的各种数据,包括人体,人脸,城市场景和3D对象。定性和定量的结果表明,我们的方法比最先进的性能更好。
2022-02-02 cs.CV
Pixel-Level Residual Diffusion Transformer: Scalable 3D CT Volume Generation
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院)
提出像素级残差扩散Transformer(PRDiT),通过两阶段训练(局部MLP盲估计器分离低频结构+全局残差扩散Transformer建模高频残差)实现高保真3D CT体生成,在LIDC-IDRI和RAD-ChestCT数据集上优于现有方法。
2026-06-19 cs.CV eess.IV
FewGAN: Generating from the Joint Distribution of a Few Images
Tel Aviv University(特拉维夫大学);University of Copenhagen(哥本哈根大学)
我们介绍FewGAN,一种生成模型,用于生成新颖,高质量和多样化的图像,其补丁分布位于少量N>1训练样本的联合补丁分布中。该方法本质上是一种分层的补丁GAN,它以类似于VQ-GAN的方式在第一个粗略尺度上应用量化,然后是在更精细尺度上的残留完全卷积GANs的金字塔。我们的关键思想是首先使用量化来学习训练图像的固定补丁嵌入集合。然后,我们使用一组单独的侧边图像,使用在训练图像的学习补丁嵌入上训练的自回归模型来对生成图像的结构进行建模。在粗尺度上使用量化允许模型生成有条件和无条件的新图像。随后,patch-GAN渲染细节,从而生成高质量的图像。在一组广泛的实验中,结果表明FewGAN在定量和定性方面都优于基线。
2022-07-18 cs.CV cs.LG
PhyloSDF: Phylogenetically-Conditioned Neural Generation of 3D Skull Morphology via Residual Flow Matching
Department of Mathematics(数学系)
提出PhyloSDF模型,结合系统发育一致性损失和残差条件流匹配,从少量样本生成符合系统发育关系的3D颅骨形态,在达尔文雀数据集上优于扩散模型和标准流匹配。
2026-06-16 cs.CV q-bio.QM
Diabetic Retinopathy Detection Using CNN with Residual Block with DCGAN
Bangladesh University of Engineering & Technology(孟加拉工程技术大学)
本文提出结合残差块 CNN 与 DCGAN 数据增强的糖尿病视网膜病变自动检测系统,可将视网膜图像分为五级,以提升泛化能力并支持大规模筛查。
2025-01-04 cs.CV cs.LG eess.IV
Fundus2Angio: A Conditional GAN Architecture for Generating Fluorescein Angiography Images from Retinal Fundus Photography
University of Nevada, Reno(内华达大学里诺分校);Deakin University(迪肯大学);Houston Eye Associates(休斯顿眼科协会);University of Nevada School of Medicine(内华达大学医学院)
使用荧光素血管造影(FA)进行视网膜血管变性的临床诊断是一个耗时的过程,并且可能对患者造成显着的不良影响。血管造影术需要插入染料,这可能导致严重的不良反应,甚至可能是致命的。目前,没有能够生成血管造影图像的非侵入性系统。然而,视网膜眼底照相是一种非侵入性成像技术,可以在几秒钟内完成。为了消除对FA的需要,我们提出了一个条件生成对抗网络(GAN)来将眼底图像转换为FA图像。建议的GAN由一个新的残差块能够产生高质量的FA图像。这些图像是重要的工具,在视网膜疾病的鉴别诊断,而不需要有可能的副作用的侵入性程序。我们的实验表明,所提出的架构优于其他国家的最先进的生成网络。此外,我们提出的模型实现了更好的定性结果与真实的血管造影片难以区分。
2020-09-29 cs.CV eess.IV
Concept Pinpoint Eraser for Text-to-image Diffusion Models via Residual Attention Gate
Department of ECE(电子工程系);IPAI;INMC;Seoul National University(首尔国立大学)
针对文本到图像扩散模型的概念擦除问题,提出CPE框架,通过引入非线性残差注意力门控和注意力锚定损失选择性擦除目标概念并防止遗忘,结合对抗训练增强鲁棒性,有效优于现有方法。
2025-06-28 cs.CV cs.LG
Zero-Residual Concept Erasure via Progressive Alignment in Text-to-Image Model
The Hong Kong University of Science and Technology(香港科学与技术大学);University of Science and Technology of China(中国科学技术大学)
针对现有闭式概念擦除方法存在残差导致擦除不完整及深层更新损害生成质量的问题,提出ErasePro方法,通过零残差约束和渐进逐层更新,实现更彻底擦除并保持生成质量。
2025-08-06 cs.AI cs.CV cs.LG
CIResDiff: A Clinically-Informed Residual Diffusion Model for Predicting Idiopathic Pulmonary Fibrosis Progression
ShanghaiTech University(上海科技大学);Imperial College London(伦敦帝国学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Royal Brompton Hospital(皇家布朗普顿医院)
本文提出CIResDiff临床信息残差扩散模型,通过肺区预配准、残差扩散及融合肺功能信息,由初始CT生成随访CT以提前预测IPF进展,实验效果优于现有方法。
2024-08-05 cs.AI cs.CV eess.IV
SelfPromer: Self-Prompt Dehazing Transformers with Depth-Consistency
The Hong Kong Polytechnic University(香港理工大学);Nanjing University of Science and Technology(南京理工大学)
本文提出SelfPromer,一种基于深度一致性的自提示Transformer去雾方法,通过深度差异特征生成提示并嵌入注意力机制,在VQGAN编码器-解码器网络中实现迭代自提示推理,在感知指标上优于现有方法。
2024-03-15 cs.CV
This Intestine Does Not Exist: Multiscale Residual Variational Autoencoder for Realistic Wireless Capsule Endoscopy Image Generation
University of Thessaly(塞萨利大学);Svendborg Hospital(斯文堡医院);University of Southern Denmark(南丹麦大学)
针对无线胶囊内窥镜带标注数据稀缺导致GAN训练不稳的问题,提出多尺度残差变分自编码器TIDE,可生成逼真且多样的图像并完全替代真实数据用于分类。
2023-02-07 cs.CV cs.LG eess.IV
Latent Space Is Not Flat: Rethinking Latent Structure for 3D Medical Image Synthesis
针对潜空间各向异性导致的三维医学图像合成失真问题,提出潜结构流(LSF)方法,将潜状态分解为结构(低秩全局)与残差(局部),分别建模,仅改生成器,在跨模态合成与肿瘤修复中全面超越基线。
2026-09-29 cs.CV
Advanced Single Image Resolution Upsurging Using a Generative Adversarial Network
Bangladesh Open University(孟加拉开放大学);Dhaka International University(达卡国际大学)
图像的分辨率是评价图像质量的一个非常重要的标准。图像的较高分辨率总是优选的,因为较低分辨率的图像由于模糊质量而不适合。图像的更高分辨率对于各种领域都很重要,例如医学成像;天文学工作等,因为当它们的尺寸被放大时,较低分辨率的图像变得不清晰和模糊。近来,进行各种研究工作以从图像的较低分辨率生成图像的较高分辨率。在本文中,我们提出了一种在具有深度网络的残差密集块网络架构中使用残差从较低分辨率生成更高分辨率图像的技术。我们还比较了我们的方法与其他方法,证明我们的方法提供了更好的视觉质量的图像。
2020-05-30 cs.CV eess.IV
Few-Shot Defect Image Generation via Defect-Aware Feature Manipulation
MoE Key Lab of Artificial Intelligence(教育部人工智能重点实验室);Shanghai Jiao Tong University(上海交通大学)
工业中缺陷图像的不足严重阻碍了缺陷检测的性能,这可以通过产生更多的样本作为数据增强来缓解。我们提出了第一个缺陷图像生成方法在具有挑战性的Few-Shot的情况下。给定少量的缺陷图像和相对更多的无缺陷图像,我们的目标是用新的缺陷图像来增强数据集。我们的方法包括两个训练阶段。首先,我们训练一个数据高效的StyleGAN 2,将无缺陷图像作为骨干。其次,我们将缺陷感知残差块附加到主干上,主干学习生成合理的缺陷掩码,并通过在有限的缺陷图像上训练添加的模块来相应地操纵掩码区域内的特征。在MVTec AD数据集上进行的大量实验不仅验证了该方法在生成逼真且多样化的缺陷图像方面的有效性,而且还体现了它为下游缺陷检测任务带来的好处。代码可在https://github.com/Ldhlwh/DFMGAN上获得。
2023-03-04 cs.CV
T2M-HiFiGPT: Generating High Quality Human Motion from Textual Descriptions with Residual Discrete Representations
本研究提出T2M-HiFiGPT框架,结合RVQ-VAE与双层GPT从文本生成高质量人体运动,在HumanML3D和KIT-ML数据集上超越现有方法,实现更高精度与参数效率。
2023-12-24 cs.CV
HART: Efficient Visual Generation with Hybrid Autoregressive Transformer
MIT(麻省理工学院);NVIDIA(英伟达公司);Tsinghua University(清华大学)
HART提出混合自回归Transformer和混合分词器,结合离散与连续token直接生成1024px图像,在质量超越扩散模型的同时大幅提升效率并降低计算成本。
2024-10-14 cs.AI cs.CV cs.LG
A Robust Pose Transformational GAN for Pose Guided Person Image Synthesis
Indian Institute of Space Science and Technology(印度空间科学与技术学院)
在任何看不见的姿势中生成人类主体的真实感图像在生成主体的完整外观模型中具有重要的应用。然而,从计算机视觉的角度来看,由于无法对以姿态为条件的数据分布进行建模,因此该任务变得非常具有挑战性。现有的作品使用一个复杂的姿势变换模型与各种额外的功能,如前景分割,人体解析等,以实现鲁棒性,导致计算开销。在这项工作中,我们提出了一个简单而有效的姿势变换GAN,利用残差学习方法,没有任何额外的特征学习,以生成一个给定的人类图像在任何任意姿势。使用有效的数据增强技术和巧妙地调整模型,我们实现了鲁棒性方面的照明,遮挡,失真和规模。我们提出了一个详细的研究,定性和定量,证明我们的模型在两个大型数据集上的现有方法的优越性。
2020-01-05 cs.CV cs.LG eess.IV
Art2Music: Generating Music for Art Images with Multi-modal Feeling Alignment
School of Computing Newcastle University(计算学院新castle大学);Department of Computer Science University of Reading(计算机科学系阅读大学)
Art2Music通过多模态情感对齐生成艺术图像的音乐,利用轻量级跨模态框架提升音乐生成的感知自然性和频谱保真度。
2025-11-27 cs.AI cs.CV cs.LG
Synthesis of Annotated Colorectal Cancer Tissue Images from Gland Layout
University Of Warwick(华威大学)
本文提出交互式框架,由腺体布局生成带掩膜注释的逼真结直肠癌组织学图像,支持参数控制,并验证其图像质量与分割评估价值。
2024-04-04 cs.CV eess.IV
ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks
The Chinese University of Hong Kong(香港中文大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Chinese Academy of Sciences(中国科学院大学);Nanyang Technological University(南洋理工大学)
超分辨率生成对抗网络(SRGAN)是一个开创性的工作,能够在单个图像超分辨率过程中生成逼真的纹理。然而,幻觉的细节往往伴随着不愉快的文物。为了进一步提高视觉质量,我们深入研究了SRGAN的三个关键组成部分-网络架构,对抗损失和感知损失,并对它们进行了改进,以获得增强的SRGAN(ESRGAN)。特别是,我们引入了残差密集块(RRDB)的批量归一化作为基本的网络构建单元。此外,我们借用相对论性GAN的思想,让预测的相对真实性,而不是绝对值。最后,我们通过使用激活前的特征来改善感知损失,这可以为亮度一致性和纹理恢复提供更强的监督。得益于这些改进,ESRGAN比SRGAN具有更逼真和自然的纹理,并在PIRM 2018-SR挑战赛中获得第一名。该代码可在https://github.com/xinntao/ESRGAN上获得。
2018-09-17 cs.CV
Should We Skip Diffusion?
Australian Institute for Machine Learning, Adelaide University(阿德莱德大学澳大利亚机器学习研究所)
针对扩散Transformer编码器残差连接限制抽象表征的问题,提出移除残差并融合多深度特征的DDT-RFE,在视觉理解和生成任务上均优于DDT。
2026-10-07 cs.CV cs.LG
Latent Vector Recovery of Audio GANs
Western University(韦仕敦大学)
高级生成对抗网络(GANs)在从随机潜在向量生成可理解的音频方面非常出色。在本文中,我们研究的任务,恢复的合成和真实的音频的潜在向量。以前的作品通过自动编码器启发的技术恢复给定音频的潜在向量,该技术与GAN并行或在生成器训练之后训练编码器网络。通过我们的方法,我们训练了一个深度残差神经网络架构,以将WaveGAN合成的音频投影到相应的潜在空间中,具有几乎相同的重建性能。为了适应真实音频原始特征向量的缺乏,我们对真实音频样本和预测特征向量的重构音频之间的感知损失进行了残差网络优化。在合成音频的情况下,地面实况和恢复的潜在向量之间的均方误差(MSE)也被最小化。我们进一步研究了当几个梯度优化步骤应用于预测的潜在向量时的音频重建性能。通过我们基于深度神经网络的真实和合成音频训练方法,我们能够预测对应于真实音频的合理重建的潜在向量。尽管我们在WaveGAN上评估了我们的方法,但我们提出的方法是通用的,可以应用于任何其他GANs。
2020-10-16 cs.AI cs.CV cs.SD
Going Deeper in Spiking Neural Networks: VGG and Residual Architectures
Purdue University(普渡大学);Facebook Research(脸书研究院)
在过去的几年里,脉冲神经网络(SNN)已经成为一种流行的可能途径,使低功耗事件驱动的神经形态硬件。然而,它们在机器学习中的应用在很大程度上局限于用于简单问题的非常浅的神经网络架构。在本文中,我们提出了一种新的算法技术,用于生成具有深度架构的SNN,并证明了其在复杂视觉识别问题(如CIFAR-10和ImageNet)上的有效性。我们的技术适用于VGG和残差网络架构,具有显着更好的准确性比国家的最先进的。最后,我们提出了稀疏事件驱动的计算分析,以证明减少硬件开销时,在尖峰域操作。
2019-02-19 cs.CV
ResARC: Residual-Aware AutoRegressive Coding for Ultra-Low Bitrate Image Compression
University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团)
ResARC通过扩散变换器生成量化残差并学习压缩生成残差,在解码端补偿两种残差,实现超低比特率下高保真图像压缩。
2026-10-01 cs.CV
Antipodal Robotic Grasping using Generative Residual Convolutional Neural Network
Rochester Institute of Technology(罗切斯特理工学院);OSARO Inc.(OSARO公司)
在本文中,我们提出了一个模块化的机器人系统来解决的问题,产生和执行对跖机器人掌握未知物体的n通道图像的场景。我们提出了一种新的生成残差卷积神经网络(GR-ConvNet)模型,该模型可以从n通道输入以实时速度(~ 20 ms)生成鲁棒的对足抓取。我们评估标准数据集和一组不同的家庭对象的模型架构。我们分别在Cornell和Jardin抓取数据集上实现了97.7%和94.6%的最新准确率。我们还证明了使用7 DoF机器人手臂分别对家用和对抗性物体的抓取成功率为95.4%和93%。
2021-06-10 cs.CV cs.RO
Deep Residual Hashing
Technische Universität München(慕尼黑工业大学);Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校);IBM Almaden Research Center(IBM阿尔马登研究中心);Johns Hopkins University(约翰斯·霍普金斯大学)
散列算法的目标是生成高度紧凑的相似性保持码字,非常适合大规模的图像检索任务。大多数现有的哈希方法首先将图像编码为手工制作的特征向量,然后进行单独的二进制化步骤以生成哈希码。该两阶段过程可能产生次优编码。在本文中,我们首次提出了一种通过残差学习进行监督哈希的深度架构,称为深度残差哈希(DRH),用于端到端同时进行表示学习和哈希编码。DRH模型由四个关键元素组成:(1)具有多个堆叠的残差块的子网络;(2)用于二值化的哈希层;(3)基于邻域分量分析的监督检索损失函数,用于相似性保持嵌入;以及(4)哈希相关损失和正则化,以控制量化误差并提高哈希编码的质量。我们提出了一个大型的公共胸部X射线图像数据库与共病的广泛实验的结果,并讨论了结果显示出实质性的改进,最新的国家的最先进的方法。
2016-12-16 cs.CV
Layer Decomposition Learning Based on Gaussian Convolution Model and Residual Deblurring for Inverse Halftoning
Kunsan National University(群山国立大学)
将输入图像分离成基本层和细节层的层分解已经被稳定地用于图像恢复。现有的基于加性模型的残差网络需要具有小输出范围的残差层,以实现快速收敛和视觉质量改善。然而,在逆半色调中,均匀的点图案阻碍来自残余层的小输出范围。因此,本文提出了一种基于高斯卷积模型(GCM)和结构感知去模糊策略的新的层分解网络,实现了基本层和细节层的残差学习。对于基本层,提出了一种新的基于GCM的残差子网络。GCM利用统计分布,其中模糊的连续色调图像和具有高斯滤波器的模糊的半色调图像之间的图像差异可以导致窄的输出范围。随后,基于GCM的残差子网络使用高斯滤波的半色调图像作为输入,并输出图像差作为残差,从而生成基层,即,高斯模糊的连续色调图像。对于细节层,提出了一种新的结构感知残差去模糊子网络(SARDS)。为了去除基础层的高斯模糊,SARDS使用预测的基础层作为输入并输出去模糊版本。为了更有效地恢复图像结构,如线条和文字,一个新的图像结构映射预测器被纳入到去模糊网络,以诱导结构自适应学习。提出了一种基于GCM和SARDS的基本层和细节层残差学习的实现方法。此外,它是验证所提出的方法优于国家的最先进的方法的基础上U-网络,直接去模糊网络,逐步残差网络。
2021-02-07 cs.CV eess.IV
Monochrome and Color Polarization Demosaicking Using Edge-Aware Residual Interpolation
Tokyo Institute of Technology(东京工业大学)
焦平面分割或微网格图像偏振仪使我们能够在一次拍摄中获得一组偏振图像。由于偏振仪由配备单色或彩色偏振滤波器阵列(MPFA或CPFA)的图像传感器组成,因此插值缺失像素值的去马赛克过程在获得高质量偏振图像方面起着至关重要的作用。本文提出了一种基于边缘感知残差插值(EARI)的MPFA去马赛克方法,并将其扩展到CPFA去马赛克。EARI的关键是一个新的边缘检测器,用于生成一个有效的引导图像,用于插值丢失的像素值。我们还提出了一个新构建的全色偏振图像数据集捕获使用3-CCD相机和旋转偏振器。使用数据集,我们的实验表明,我们的EARI为基础的方法优于现有的方法在MPFA和CPFA去马赛克。
2020-07-28 cs.CV eess.IV
A multi-layer image representation using Regularized Residual Quantization: application to compression and denoising
University of Geneva(日内瓦大学)
提出了一种基于学习的特定领域图像表示框架,其中可以使用基于VQ的多层网络进行联合压缩和去噪。虽然它从训练集学习压缩图像,但压缩性能在测试集的图像上非常普遍。此外,当输入测试集的噪声版本时,由于它具有来自干净图像的先验知识,因此网络在重建过程中也有效地对测试图像进行降噪。所提出的框架是残差量化(RQ)的正则化版本,其中在每个阶段,来自前一阶段的量化误差被进一步量化。代替从k均值对高维向量进行过训练的码本学习,我们证明了仅从随机但适当正则化的分布生成码字就足以全局压缩图像,而不需要诉诸基于块的图像划分。在\textit{CroppedYale-B}人脸图像集上进行了实验,并与JPEG-2000压缩和BM 3D去噪方法进行了比较,取得了较好的效果。
2017-07-07 cs.CV
Deep Residual Learning for Accelerated MRI using Magnitude and Phase Networks
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Korea Basic Science Institute(韩国基础科学研究所)
利用压缩感知(CS)和并行成像加速磁共振(MR)扫描采集是减少MR成像扫描时间的一种强大方法。然而,许多重建算法具有高计算成本。为了解决这个问题,我们研究了深度残差学习网络,以从伪影损坏的图像中去除混叠伪影。提出的深度残差学习网络由单独训练的幅度和相位网络组成。如果相位和幅度信息都是可用的,所提出的算法可以作为一个迭代的k空间插值算法,使用小框架表示。当只有幅度数据是可用的,所提出的方法作为一个图像域后处理算法。即使具有强相干混叠伪影,所提出的网络也成功地学习并去除了混叠伪影,而当前的并行和CS重建方法无法去除这些伪影。使用单线圈和多线圈的比较表明,所提出的残差网络提供了良好的重建结果与数量级更快的计算时间比现有的压缩传感方法。所提出的深度学习框架可以通过立即生成准确的结果而具有加速MR重建的巨大潜力。
2018-04-02 cs.AI cs.CV cs.LG
Temporal Residual Jacobians For Rig-free Motion Transfer
University College London(伦敦大学学院);Adobe Research(奥多比研究院);University Of Montreal(蒙特利尔大学)
本文提出时间残差雅可比矩阵表示,通过两个耦合神经网络联合预测空间与时间变化并积分,实现无需绑定和关键帧的数据驱动运动迁移,在多样网格上生成逼真动画,优于现有方法。
2024-07-20 cs.CV cs.GR
Adversarial Attack via Dual-Stage Network Erosion
Army Military Transportation University(陆军军事交通学院);Army Engineering University(陆军工程大学)
深度神经网络容易受到对抗性样本的攻击,这些样本可以通过添加细微的扰动来欺骗深度模型。虽然现有的攻击已经取得了可喜的成果,它仍然有很长的路要走,在黑盒设置下生成可转移的对抗性的例子。为此,本文提出提高对抗性示例的可移植性,并将双阶段特征级扰动应用于现有模型,以隐式地创建一组不同的模型。然后在迭代过程中利用纵向系综对这些模型进行融合。该方法被称为双阶段网络侵蚀(DSNE)。我们在非剩余和剩余网络上进行了全面的实验,并获得了更多可转移的对抗性示例,其计算成本与最先进的方法相似。特别地,对于残差网络,通过将残差块信息偏置到跳过连接,可以显著提高对抗性示例的可转移性。我们的工作为神经网络的结构脆弱性提供了新的见解,并对神经网络的鲁棒性提出了新的挑战。
2022-01-01 cs.CV eess.IV
Video Segmentation Learning Using Cascade Residual Convolutional Neural Network
São Paulo State University(圣保罗州立大学);Petroleo Brasileiro S.A. - Petrobras(巴西石油公司)
视频分割是一个逐帧选择与前景运动对象相关的有意义区域的过程。一些应用包括交通监控、人体跟踪、动作识别、高效视频监控和异常检测。在这些应用中,面临诸如天气条件的突然变化、照明问题、阴影、微妙的动态背景运动以及伪装效果等挑战并不罕见。在这项工作中,我们通过提出一种新的深度学习视频分割方法来解决这些缺点,该方法将残差信息纳入前景检测学习过程。主要目标是提供一种能够在给定灰度视频的情况下生成准确的前景检测的方法。在Change Detection 2014和Petrobras的私有数据集Petrobras ROUTES上进行的实验支持所提出的方法关于一些最先进的视频分割技术的有效性,其中Change Detection 2014和Petrobras ROUTES数据集中的整体F-度量分别为$\mathbf{0.9535}$和$\mathbf{0.9636}$。这样的结果将所提出的技术置于前3种最先进的视频分割方法之中,除了包括比其前一种对应方法少大约七倍的参数之外。
2022-12-20 cs.CV cs.LG
Video Ladder Networks
Nokia Technologies(诺基亚科技);Tampere University of Technology(坦佩雷理工大学)
我们提出了视频梯形网络(VLN),有效地产生未来的视频帧。VLN是一种神经编码器-解码器模型,通过递归和前馈横向连接在所有层上增强。在每一层,这些连接形成横向递归残差块,其中前馈连接表示跳过连接,并且递归连接表示残差。由于循环连接,解码器可以利用从编码器的所有层生成的时间摘要。通过这种方式,顶层可以减轻对较低级别的空间和时间细节建模的压力。此外,我们扩展了VLN的基本版本,在编码器和解码器中加入ResNet风格的残差块,这有助于改善预测结果。VLN在Moving MNIST数据集上以自我监督的方式进行训练,实现了有竞争力的结果,同时具有非常简单的结构并提供快速推理。
2016-12-30 cs.CV cs.LG stat.ML
Data augmentation using synthetic data for time series classification with deep residual networks
IRIMAS, Université de Haute-Alsace(上阿尔萨斯大学IRIMAS)
深度神经网络中的数据增强是生成人工数据的过程,以减少分类器的方差,目标是减少错误的数量。这种想法已被证明可以提高深度神经网络在许多计算机视觉任务中的泛化能力,如图像识别和对象定位。除了这些应用,深度卷积神经网络(CNN)最近也在时间序列分类(TSC)社区中流行起来。然而,与图像识别问题不同,数据增强技术尚未被彻底研究TSC任务。这是令人惊讶的,因为当采用数据增强方法时,TSC的深度学习模型的准确性可能会得到提高,特别是对于表现出过拟合的小数据集。在本文中,我们填补了这一空白,调查的应用最近提出的数据增强技术的基础上的动态时间弯曲距离,一个深度学习模型TSC。为了评估增强训练集的潜力,我们使用UCR TSC基准进行了广泛的实验。我们的初步实验表明,数据增强可以大大提高深度CNN在某些数据集上的准确性,并且当该方法用于集成方法时,可以显着提高深度模型的准确性。
2018-08-07 cs.AI cs.CV
DMC-Net: Generating Discriminative Motion Cues for Fast Compressed Video Action Recognition
Facebook AI(Facebook人工智能);Columbia University(哥伦比亚大学);Univesity of Edinburgh(爱丁堡大学)
运动已被证明对于视频理解是有用的,其中运动通常由光流表示。然而,从视频帧计算流量是非常耗时的。最近的工作直接利用运动矢量和残差容易在压缩视频表示运动在没有成本。虽然这避免了流计算,但它也损害了准确性,因为运动矢量是有噪声的并且具有显著降低的分辨率,这使其成为辨别力较低的运动表示。为了解决这些问题,我们提出了一个轻量级的生成器网络,它减少了运动矢量中的噪声,并捕捉精细的运动细节,实现了更具鉴别力的运动提示(DMC)表示。由于光流是一种更精确的运动表示,我们训练DMC生成器使用重建损失和生成对抗损失来近似流,并结合下游动作分类任务。三个动作识别基准(HMDB-51,UCF-101,和一个子集的动力学)的广泛评估证实了我们的方法的有效性。我们的整个系统,包括生成器和分类器,被称为DMC网络,它获得了接近使用流量的高精度,并在推理时间比使用光流快两个数量级。
2019-05-07 cs.CV
High Frequency Matters: Uncertainty Guided Image Compression with Wavelet Diffusion
Xidian University(西安电子科技大学)
本文提出了一种基于小波扩散的不确定性引导图像压缩方法,通过高频压缩和残差编解码器提升图像压缩的保真度和效率。
2025-12-22 cs.CV eess.IV
DHFormer: A Vision Transformer-Based Attention Module for Image Dehazing
Chandigarh University(昌迪加尔大学)
针对传统图像去雾方法缺乏场景深度感知、无法捕捉长距离依赖的问题,本文提出结合残差学习与视觉Transformer的DHFormer注意力模块,经双网络结构处理生成无雾图像,实验验证了其有效性与可扩展性。
2023-12-15 cs.CV eess.IV
ICoNIK: Generating Respiratory-Resolved Abdominal MR Reconstructions Using Neural Implicit Representations in k-Space
Helmholtz Munich(亥姆霍兹慕尼黑中心);Technical University of Munich(慕尼黑工业大学);Philips GmbH(飞利浦有限公司);German Cancer Consortium (DKTK)(德国癌症联盟(DKTK))
针对腹部 MRI 呼吸运动分辨重建中运动模糊与欠采样伪影的权衡问题,提出直接在 k 空间学习 NIK,并用 ICo 层利用邻域信息校正预测,从而获得优于标准方法的无模糊重建。
2023-08-17 cs.CV cs.LG eess.IV
MF-MOS: A Motion-Focused Model for Moving Object Segmentation
South China Normal University(华南师范大学);Aberystwyth University(阿伯里斯特威斯大学);Hong Kong University of Science and Technology(香港科技大学);Jiangnan University(江南大学);National University of Defense Technology(国防科技大学);Tongji University(同济大学)
针对激光雷达运动目标分割任务,提出双分支结构的MF-MOS模型,分别从残差图提取运动特征、从距离图像生成语义引导,在SemanticKITTI数据集上取得76.7%的IoU,达到当前最优水平。
2024-01-30 cs.CV
Deep Spatiotemporal Clutter Filtering of Transthoracic Echocardiographic Images: Leveraging Contextual Attention and Residual Learning
Cardiovascular Imaging and Dynamics, Department of Cardiovascular Sciences, KU Leuven(心血管影像与动力学,心血管科学系,KU莱顿大学);Life and Health Sciences Research Institute (ICVS), School of Medicine, University of Minho(生命与健康科学研究所(ICVS),医学院,蒙德兹大学);Ai–School of Technology, IPCA(2Ai技术学院,IPCA);Department of Cardiac Technology, College of Applied Medical Sciences, Imam Abdulrahman Bin Faisal University(心脏技术系,应用医学科学学院,伊玛目阿卜杜勒拉赫曼·本·法伊兹大学)
本研究提出了一种深度卷积自编码器网络,利用上下文注意力与残差学习技术,实现心胸超声图像中回波杂波的高效滤除。
2025-12-07 cs.CV eess.IV
Animating Through Warping: an Efficient Method for High-Quality Facial Expression Animation
Huawei Technologies Canada Co. Ltd.(华为技术加拿大有限公司)
深度神经网络的进步已经大大改善了在不进行3D域操作的情况下对静止图像进行动画的艺术。然而,由于存储器限制、训练困难和缺乏高分辨率(HD)训练数据集,现有技术只能动画化小图像(通常不大于512 × 512),这显著降低了它们在电影制作和交互系统中的应用潜力。HD图像可以通过将高频残差添加到由神经网络产生的低分辨率结果中来生成的想法的启发,我们提出了一种新的框架,称为Animating Through Warping(ATW),以实现HD图像的高效动画。具体来说,该框架由两个模块组成,一个新的两阶段神经网络生成器和一个新的后处理模块,称为通过扭曲动画(ATW)。它只需要在小图像上训练生成器,并且可以对任何大小的图像进行推理。在推理过程中,HD输入图像被分解为低分辨率分量(128 x128)及其相应的高频残差。生成器预测低分辨率结果以及将输入面扭曲到期望状态的运动场(例如,表达式类别或动作单元)。最后,ResWarp模块基于运动场扭曲残差,并添加扭曲的残差以从原始上采样的低分辨率结果生成最终HD结果。实验结果表明,该方法在生成高分辨率动画方面是有效的。我们提出的框架成功地动画了4K面部图像,这是以前的神经模型从未实现过的。此外,我们的方法一般保证生成的动画的时间一致性。源代码将公开提供。
2020-08-01 cs.CV cs.LG eess.IV
Look and Modify: Modification Networks for Image Captioning
Multimedia University(多媒体大学)
基于注意力的神经编码器-解码器框架已被广泛用于图像描述。这些框架中的许多框架将其全部焦点部署在通过仅依赖于图像特征或目标检测区域特征从头开始生成字幕上。在本文中,我们介绍了一种新的框架,通过对剩余信息进行建模,从给定的框架中学习修改现有的字幕,在每个时间步,模型学习保留,删除或添加到现有字幕中的内容,使模型能够完全专注于“修改什么”而不是“预测什么”。我们在COCO数据集上评估了我们的方法,在几个图像描述框架上进行了训练,并表明我们的模型成功地修改了标题,从而获得了更好的评价分数。
2020-03-09 cs.CV
Edge-Aware Deep Image Deblurring
East China Normal University(华东师范大学);Videt Tech Ltd.(Videt科技有限公司)
图像去模糊是一个基本的和具有挑战性的低层次视觉问题。以往的视觉研究表明,自然景物中的边缘结构是评价人类视觉感知能力的重要因素之一。在本文中,我们诉诸于人类对尖锐边缘的视觉需求,并提出了一种两阶段边缘感知深度网络来改善深度图像去模糊。在第一阶段中设计边缘检测卷积子网,然后使用剩余的全卷积去模糊子网来生成去模糊结果。边缘感知网络的引入使我们的模型具有增强具有尖锐边缘的图像的特定能力。我们成功地将我们的框架应用于标准的基准测试,并通过我们提出的去模糊模型取得了可喜的成果。
2020-07-11 cs.CV
G-VAE, a Geometric Convolutional VAE for ProteinStructure Generation
New York University Abu Dhabi(纽约大学阿布扎比分校);Inception Institute of Artificial Intelligence(起源人工智能研究院);New York University(纽约大学)
分析蛋白质的结构是理解其功能的关键部分,因此在分子水平上了解其在生物学中的作用。此外,以有条不紊的方式设计新蛋白质是一项重大的工程挑战。在这项工作中,我们介绍了一个联合几何神经网络的方法比较,变形和生成三维蛋白质结构。将蛋白质结构视为3D开放曲线,我们采用平方根速度函数(SRVF)表示,并利用其合适的几何属性以及深度残差网络(ResNets)进行联合配准和比较。我们的ResNets处理更好的大蛋白质变形,同时计算效率更高。在数学框架的基础上,我们进一步设计了一个几何变分自动编码器(G-VAE),它一旦经过训练,就会将原始的、以前看不见的结构映射到一个低维(潜在的)超球体中。受前形空间的球形结构的启发,我们自然地采用von Mises-Fisher(vMF)分布来建模我们的隐变量。我们通过生成新的蛋白质结构和预测损坏的蛋白质结构的完成来测试我们的模型的有效性。实验结果表明,我们的方法是能够产生合理的结构,不同于训练数据中的结构。
2021-06-22 cs.CV