Texture Synthesis Through Convolutional Neural Networks and Spectrum Constraints
Telecom-ParisTech（巴黎高等电信学院）；Wuhan University（武汉大学）
本文提出了一个显着的改进，使用卷积神经网络（CNN）的纹理图像的合成，利用傅立叶频谱的结果的约束。更准确地说，纹理合成被视为一个约束优化问题，约束条件的傅立叶频谱和CNN学习的统计特征。与现有的方法相比，所提出的方法继承了以前的CNN方法的能力，描绘局部结构和精细尺度的细节，并在同一时间产生连贯的大尺度结构，即使在准周期图像的情况下。这是在没有额外计算成本的情况下完成的。各种图像上的合成实验显示出明显的改善相比，最近的最先进的方法只依赖于CNN的约束。
2016-05-19 cs.CV
Combining Markov Random Fields and Convolutional Neural Networks for Image Synthesis
Johannes Gutenberg University（约翰内斯·古腾堡大学）
本文研究了生成马尔可夫随机场（MRF）模型和区分训练的深度卷积神经网络（dCNN）的组合，用于合成2D图像。生成MRF作用于dCNN特征金字塔的更高级别，在抽象级别控制图像布局。我们将该方法应用于摄影和非照片真实感（艺术品）合成任务。MRF正则化器可防止过度激励伪影，并减少先前dCNN反演方法中常见的不可信特征混合，从而允许合成具有更高视觉可扩展性的摄影内容。与标准的基于MRF的纹理合成不同，组合系统可以匹配和适应具有相当大的可变性的局部特征，产生的结果远远超出了经典的生成MRF方法。
2016-01-18 cs.CV
Synthesising Dynamic Textures using Convolutional Neural Networks
Werner Reichardt Center for Integrative Neuroscience, University of Tübingen（图宾根大学 Werner Reichardt 综合神经科学中心）；Bernstein Center for Computational Neuroscience, Tübingen（图宾根伯恩斯坦计算神经科学中心）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）；Graduate School of Neural Information Processing, University of Tübingen（图宾根大学神经信息处理研究生院）；Baylor College of Medicine（贝勒医学院）；Institute for Theoretical Physics, University of Tübingen（图宾根大学理论物理研究所）
在这里，我们提出了一个参数化模型的动态纹理。该模型是基于时空汇总统计计算的卷积神经网络（CNN）的对象识别训练的特征表示。我们演示了如何使用该模型来合成新的动态纹理样本，并预测简单的电影中的运动。
2017-02-22 cs.CV
Active query-driven visual search using probabilistic bisection and convolutional neural networks
Boston University（波士顿大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
我们提出了一种新的有效的目标检测和定位框架的基础上的概率二分法。卷积神经网络（CNN）被训练并用作噪声预言机，其为输入查询图像提供答案。响应以及从CNN获得的错误概率估计用于更新关于沿每个维度的对象位置的置信度。我们表明，沿每个维度的查询实现了相同的下限定位误差的联合查询设计。最后，我们将我们的方法与传统的滑动窗口技术在现实世界中的人脸定位任务进行了比较，并在保持准确定位的同时显示了至少一个数量级的速度提高。
2020-02-27 cs.CV
DOTE: Dual cOnvolutional filTer lEarning for Super-Resolution and Cross-Modality Synthesis in MRI
The University of Sheffield（谢菲尔德大学）；University of East Anglia（东英吉利大学）
跨模态图像合成是医学图像计算中的一个热点问题。现有的图像合成方法要么是针对特定应用定制的，需要大规模的训练集，要么是基于将图像分割成重叠的块。在本文中，我们提出了一种新的双卷积滤波器学习（DOTE）的方法，以克服这些方法的缺点。我们构建了一个闭环联合滤波器学习策略，为模型自优化生成信息反馈。我们的方法可以更有效地利用数据，从而减少所需训练集的大小。我们广泛评估DOTE在两个具有挑战性的任务：图像超分辨率和跨模态合成。实验结果表明，我们的方法优于其他国家的最先进的方法的性能。
2017-06-15 cs.CV
Generative Adversarial Graph Convolutional Networks for Human Action Synthesis
Instituto de Telecomunicações（电信研究所）；Universidade da Beira Interior（贝拉内陆大学）；DeepNeuronic；NOVA LINCS（新里斯本大学计算机科学实验室）；C4-Cloud Computing Competence Center（C4云计算能力中心）
合成人体骨架的空间和时间动态仍然是一项具有挑战性的任务，不仅在所生成的形状的质量方面，而且在它们的多样性方面，特别是合成特定动作（动作调节）的逼真身体运动。在本文中，我们提出了Kinetic-GAN，这是一种新的架构，它利用生成对抗网络和图卷积网络的优势来合成人体的动力学。所提出的对抗架构可以在局部和全局身体运动中调节多达120种不同的动作，同时通过潜在的空间解纠缠和随机变化来提高样本质量和多样性。我们的实验是在三个著名的数据集上进行的，其中Kinetic-GAN在分布质量指标方面明显优于最先进的方法，同时能够合成超过一个数量级的不同动作。我们的代码和模型可在https://github.com/DegardinBruno/Kinetic-GAN上公开获取。
2021-10-25 cs.AI cs.CV cs.LG
Texture Synthesis Using Shallow Convolutional Networks with Random Filters
University of Tübingen（蒂宾根大学）；Bernstein Center for Computational Neuroscience（伯恩斯坦计算神经科学中心）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）
在这里，我们证明随机浅层卷积神经网络（CNN）的特征空间可以作为自然纹理的令人惊讶的良好模型。来自相同纹理的面片始终被分类为比来自不同纹理的面片更相似。从模型合成的样本捕获的尺度上的空间相关性比感受野的大小大得多，有时甚至竞争对手或超过感知质量的最先进的纹理模型（但显示较少的变化）。参数化纹理合成的当前技术水平依赖于在自然图像上训练的深度CNN的多层特征空间。我们的研究结果表明，这种优化的多层特征空间是不必要的纹理建模。相反，更简单的浅层和卷积网络可以作为新的纹理合成算法的基础。
2016-05-31 cs.CV
Diff-TTSG: Denoising probabilistic integrated speech and gesture synthesis
KTH Royal Institute of Technology（瑞典皇家理工学院）
提出首个基于扩散的概率模型Diff-TTSG，联合合成自发语音与伴随手势，克服非概率方法的过度平滑问题，并通过多模态主观测试验证其有效性。
2023-08-09 cs.AI cs.CV cs.HC
Fast and Flexible Indoor Scene Synthesis via Deep Convolutional Generative Models
Brown University（布朗大学）
我们提出了一种新的，快速和灵活的室内场景合成管道，该管道基于深度卷积生成模型。我们的方法操作在一个自上而下的基于图像的表示，并插入对象迭代到场景中预测其类别，位置，方向和大小与单独的神经网络模块。我们的流水线自然支持部分场景的自动完成，以及完整场景的合成。我们的方法比以前的基于图像的方法快得多，并且在对训练数据的忠诚度和感知的视觉质量方面，生成的结果优于它和其他最先进的深度生成场景模型。
2018-11-29 cs.CV cs.GR
SynNet: Structure-Preserving Fully Convolutional Networks for Medical Image Synthesis
Technical University of Munich（慕尼黑工业大学）
交叉模态图像合成由于其能够从给定的源图像集合中估计不同模态的目标图像（如估计MR到MR、MR到CT、CT到PET等）而不需要实际采集的能力而获得显著的兴趣。尽管它们在放射治疗计划、图像超分辨率、图谱构建、图像分割等。合成结果不如实际采集准确。在本文中，我们通过提出一种称为SynNet的全卷积深度学习架构来解决多模态图像合成的问题。我们将所提出的架构扩展为各种输入输出配置。最后，我们提出了一种结构保持的自定义损失函数，并在BRATS数据集上对所提出的SynNet及其扩展框架进行了验证，并与三种最先进的方法进行了比较，同时对所提出的自定义损失函数的结果进行了验证，并与传统的跨模态图像合成方法所使用的损失函数进行了比较。
2018-06-29 cs.CV
PROPEL: Probabilistic Parametric Regression Loss for Convolutional Neural Networks
Imagination Technologies；Onaria Technologies；ASML；City, University of London（伦敦大学城市学院）
近年来，卷积神经网络（CNN）在计算机视觉领域取得了重大进展。对于分类任务，CNN广泛采用概率输出，并显示出为预测提供额外置信度的重要性。然而，这种概率方法并不广泛适用于使用CNN解决回归问题，因为回归涉及学习无约束连续变量，并且在许多情况下，多变量目标变量。我们提出了一个PROobbital参数回归损失（PROPEL），便于CNN学习概率分布的参数，以解决概率回归问题。PROPEL是完全可微的，因此可以使用现有的优化算法轻松地将其用于现有CNN回归架构的端到端训练。所提出的方法是灵活的，因为它可以学习复杂的无约束概率，同时可推广到高维多变量回归问题。我们利用基于PROPEL的CNN来解决从未校准的彩色图像中学习手和头方向的问题。我们的实验验证和与现有CNN回归损失函数的比较表明，PROPEL通过启用概率回归提高了CNN的准确性，同时通过$10 \times$显着减少了所需的模型参数，从而与现有的最新技术相比提高了泛化能力。
2020-08-08 cs.CV
Two-Stream Convolutional Networks for Dynamic Texture Synthesis
York University（约克大学）；Ryerson University（瑞尔森大学）
本文介绍了一种用于动态纹理合成的双流模型。我们的模型基于预训练的卷积网络（ConvNets），该网络针对两个独立的任务：（i）对象识别，以及（ii）光流预测。给定一个输入动态纹理，来自对象识别ConvNet的滤波器响应的统计数据封装了输入纹理的每帧外观，而来自光流ConvNet的滤波器响应的统计数据对其动态进行建模。为了生成一个新的纹理，随机初始化的输入序列进行优化，以匹配每个流的示例纹理的特征统计。受最近图像风格转移工作的启发，并启用双流模型，我们还应用合成方法将一个纹理的纹理外观与另一个纹理的动态相结合，生成全新的动态纹理。我们表明，我们的方法产生新的，高质量的样本，匹配输入纹理的逐帧外观和时间演变。最后，我们定量评估我们的纹理合成方法与彻底的用户研究。
2018-04-12 cs.CV
Deep Generalized Convolutional Sum-Product Networks
KTH Royal Institute of Technology（瑞典皇家理工学院）；MessageBird（MessageBird公司）；University of Washington（华盛顿大学）
和积网络（SPN）是一种分层的图形模型，结合了深度学习和概率建模的优点。SPN为需要对高维噪声输入进行精确概率推理的应用提供了独特的优势。然而，与卷积神经网络相比，它们难以捕捉图像数据中复杂的空间关系。为了缓解这个问题，我们引入了深度广义卷积和积网络（DGC-SPN），它以类似于CNN的方式对空间特征进行编码，同时保留了概率SPN模型的有效性。与现有的基于SPN的图像表示相反，DGC-SPN允许通过膨胀和步幅的新参数化来重叠卷积补丁，从而显著提高特征覆盖率和特征分辨率。DGC-SPN在多个视觉数据集上以及在生成和区分任务（包括图像修补和分类）上都大大优于其他SPN架构。这些贡献通过第一个简单，可扩展和GPU优化的SPN实现得到了加强，并与广泛使用的Keras/TensorFlow框架集成。由此产生的模型是完全概率和通用的，但有效和直接应用于实际应用中，代替传统的深度网络。
2020-09-22 cs.CV cs.LG stat.ML
Robust X-ray Sparse-view Phase Tomography via Hierarchical Synthesis Convolutional Neural Networks
Virginia Tech（弗吉尼亚理工大学）
基于卷积神经网络（CNN）的图像重建方法已经被广泛用于X射线计算机断层摄影（CT）重建应用。尽管取得了巨大的成功，但这种基于数据的方法的良好性能主要依赖于具有代表性的大训练数据集和密集的卷积深度网络。在所有密集层上的无差别卷积连接可能易于过拟合，其中采样偏差被错误地集成为重建的特征。在本文中，我们报告了一个强大的分层综合重建方法，其中训练数据进行预处理，以分离的采样偏差怀疑域上的信息。然后，这些分裂的频带分别训练，并通过分层合成网络连续组合。我们将分层综合重建应用于两个重要的和经典的层析成像重建场景：空间视图重建和相位重建。我们的模拟和实验结果表明，相当或改善的性能，实现了显着降低网络的复杂性和计算成本。这种方法可以推广到广泛的应用，包括材料表征，体内监测和动态4D成像。
2019-01-30 cs.CV
Learning Spatially Adaptive $\ell_1$-Norms Weights for Convolutional Synthesis Regularization
MaLGa Center, DIBRIS, Università di Genova, MMS, Istituto Italiano di Tecnologia（MaLGa中心、DIBRIS、热那亚大学、MMS、意大利理工学院）
提出一种展开算法，在卷积合成正则化框架中学习空间自适应参数图，通过展开FISTA估计深度参数化稀疏特征图权重，用于低场MRI重建，结果与模型驱动深度学习方法相当且可解释性强。
2025-10-22 cs.CV cs.LG math.OC
MobileStyleGAN: A Lightweight Convolutional Neural Network for High-Fidelity Image Synthesis
近年来，生成对抗网络（GANs）的使用在生成图像建模中变得非常流行。虽然基于样式的GAN架构在高保真图像合成中产生最先进的结果，但在计算上，它们是高度复杂的。在我们的工作中，我们专注于基于风格的生成模型的性能优化。我们分析了StyleGAN 2中计算最困难的部分，并提出了对生成器网络的更改，以便在边缘设备中部署基于风格的生成网络。我们引入了MobileStyleGAN架构，它的参数比StyleGAN 2少3.5倍，计算复杂度比StyleGAN 2低9.5倍，同时提供相当的质量。
2021-09-09 cs.CV eess.IV
Probabilistic Speech-Driven 3D Facial Motion Synthesis: New Benchmarks, Methods, and Applications
Apple（苹果公司）
本文针对语音驱动3D面部运动的一对多映射问题，提出大规模概率建模基准与指标，并设计兼具多样性与语音保真度的概率模型，在多个基准上超越现有方法，同时展示了生成未见说话者风格及提升下游视听模型性能的应用价值。
2023-11-30 cs.CV cs.LG eess.AS
Budget-Aware Graph Convolutional Network Design using Probabilistic Magnitude Pruning
Sorbonne University（索邦大学）；UPMC（巴黎第六大学）；CNRS（法国国家科学研究中心）
本文提出概率幅值剪枝（PMP）方法，通过变分方式联合训练网络拓扑与权重，实现任意固定剪枝率并提升轻量级图卷积网络在高剪枝率下的泛化性能。
2023-05-30 cs.CV
Autoencoder Models for Point Cloud Environmental Synthesis from WiFi Channel State Information: A Preliminary Study
Department of Computer Science, Sapienza University of Rome（西尔维娅大学罗马计算机科学系）
本文提出一种两阶段自编码器深度学习框架，通过将 WiFi CSI 数据映射到与 PointNet 对齐的潜在空间，实现从 WiFi 数据准确重建环境点云，验证了其在无线感知与建图中的潜力。
2025-04-29 cs.CV cs.LG
Object-based Probabilistic Similarity Evidence of Sparse Latent Features from Fully Convolutional Networks
本研究利用全卷积网络的稀疏潜在特征，通过两步法（特征提取与模糊推理）估计二维图像中对象的视觉相似性，并引入加权方案增强分析，为神经网络相似性分析提供见解。
2023-07-25 cs.CV
Simultaneous Super-Resolution and Cross-Modality Synthesis of 3D Medical Images using Weakly-Supervised Joint Convolutional Sparse Coding
The University of Sheffield（谢菲尔德大学）；University of East Anglia（东英吉利大学）
磁共振成像（MRI）提供高分辨率的\emph{in vivo}成像以及丰富的功能和解剖多模态组织对比度。然而，在实践中，存在与考虑扫描成本、患者舒适度和扫描时间相关的挑战，这些挑战限制了在临床或研究中可以获取多少数据。在本文中，我们探讨了从低分辨率单模态图像生成高分辨率和多模态图像的可能性。我们提出了弱监督联合卷积稀疏编码，同时解决了超分辨率（SR）和跨模态图像合成的问题。学习过程只需要几个注册的多模态图像对作为训练集。此外，可以使用较大的未配对图像集合来提高联合字典学习的质量。为了组合来自不同图像分辨率/模态的未配对数据，提出了异域图像对准项。通过对整个图像域（与图像块相对）进行操作并使用联合卷积稀疏编码来自然地保留局部图像邻域。配对的图像在联合学习过程中与未配对的数据和一个额外的最大平均差异项，这最大限度地减少了它们的特征分布之间的差异增强。实验表明，该方法优于国家的最先进的技术，在SR重建和同步SR和跨模态合成。
2017-05-07 cs.CV
VisioBlend: Sketch and Stroke-Guided Denoising Diffusion Probabilistic Model for Realistic Image Generation
Vidyavardhini’s College of Engineering and Technology（维迪亚瓦尔迪尼工程与技术学院）
针对手绘草图转图像中的多样性需求与训练数据限制，本文提出 VisioBlend 扩散框架，通过三维可控的草图与笔触引导实现逼真、灵活的图像生成，并利用合成数据增强数据集。
2024-05-15 cs.CV cs.LG
SqueezeJet: High-level Synthesis Accelerator Design for Deep Convolutional Neural Networks
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
深度卷积神经网络通过在诸如对象识别和目标检测之类的计算机视觉问题中提供准确得多的解决方案，已经主导了模式识别场景。这些解决方案中的大多数都需要巨大的计算成本，需要数十亿次乘法累加运算，因此，在嵌入式移动（资源-功率受限）硬件上运行的实时应用中使用它们非常具有挑战性。这项工作提出了架构，高层次的综合设计，并实现SqueezeJet，一个FPGA加速器的推理阶段的SqueezeNet DCNN架构，这是专门设计用于嵌入式系统。结果表明，与运行在嵌入式移动处理器上的SqueezeNet软件实现相比，SqueezeJet可以实现15.16倍的速度提升，而前5名的精度下降不到1%。
2018-05-06 cs.AR cs.CV
Probabilistic Attribute Tree in Convolutional Neural Networks for Facial Expression Recognition
University of South Carolina（南卡罗来纳大学）；Innopeak Technology Inc.（Innopeak科技公司）
在本文中，我们提出了一种新的概率属性树CNN（PAT-CNN）来显式处理由身份相关属性引起的大的类内变化，例如，年龄种族和性别具体地说，提出了一种新的PAT模块与相关的PAT损失学习功能的层次树结构组织根据属性，其中最终的功能是受属性的影响较小。然后，从叶节点中提取与表情相关的特征。样本被概率性地分配到不同级别的树节点，使得可以从按概率加权的所有样本中学习与表达相关的特征。我们进一步提出了一种半监督策略，从有限的属性注释样本中学习PAT-CNN，以充分利用可用数据。在五个人脸表情数据集上的实验结果表明，所提出的PAT-CNN通过显式地建模属性，性能优于基线模型。更令人印象深刻的是，与使用数百个CNN的集成的最先进方法相比，使用单个模型的PAT-CNN在SFEW数据集上实现了野外人脸的最佳性能。
2018-12-17 cs.CV
A Morphology Focused Diffusion Probabilistic Model for Synthesis of Histopathology Images
University of British Columbia（不列颠哥伦比亚大学）；Eindhoven University of Technology（埃因霍温理工大学）；Massachusetts General Hospital（马萨诸塞州综合医院）；Harvard Medical School（哈佛医学院）；BC Cancer Agency（不列颠哥伦比亚癌症机构）
一个多世纪以来，病理学家对病变组织的视觉显微镜研究一直是癌症诊断和鉴别的基石。最近，深度学习方法在组织图像的分析和分类方面取得了重大进展。然而，在生成组织病理学图像中，这种模型的效用方面的工作有限。这些合成图像在病理学中有多种应用，包括教育、能力测试、隐私和数据共享中的实用程序。最近，扩散概率模型被引入到生成高质量的图像。在这里，我们第一次研究了这种模型的潜在用途，以及优先的形态加权和颜色归一化，以合成高质量的脑癌组织病理学图像。我们的详细结果表明，扩散概率模型能够合成广泛的组织病理学图像，并且与生成对抗网络相比具有更优越的性能。
2022-09-29 cs.CV eess.IV
SynBrain: Enhancing Visual-to-fMRI Synthesis via Probabilistic Representation Learning
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）
提出概率生成框架SynBrain，通过BrainVAE和语义到神经映射器建模生物变异性与功能一致性，实现高保真视觉到fMRI合成，并提升下游解码性能。
2025-11-03 cs.CV cs.LG eess.IV
Multispectral Texture Synthesis using RGB Convolutional Neural Networks
Télécom Paris, Institut Polytechnique de Paris（巴黎综合理工学院电信学院）；ONERA, Université Paris-Saclay（巴黎萨克雷大学法国航空航天研究院）
本文针对多光谱图像纹理合成问题，提出两种无需重新训练预训练RGB网络的方案：随机光谱波段三元组优化和三维投影，并引入颜色传递预处理，实验证明其视觉质量接近RGB波段最先进方法。
2024-10-21 cs.CV
GeoPos: A Minimal Positional Encoding for Enhanced Fine-Grained Details in Image Synthesis Using Convolutional Neural Networks
King’s College London（伦敦国王学院）；Queen Mary University of London（伦敦玛丽女王大学）
本文提出 GeoPos 极简位置编码，通过向卷积层注入包含相对 n 维笛卡尔坐标的单输入通道增强几何建模，显著改善扩散模型、GAN 和 VAE 的手部等细粒度图像生成质量。
2024-12-05 cs.AI cs.CV cs.LG
Radiomic Synthesis Using Deep Convolutional Neural Networks
The Johns Hopkins School of Medicine（约翰斯·霍普金斯大学医学院）；The Johns Hopkins University（约翰斯·霍普金斯大学）
放射组学是一个快速发展的领域，它涉及对感兴趣的不同组织中存在的纹理信息进行建模，以用于临床决策支持。然而，生成放射组学图像的过程在计算上非常昂贵，并且即使使用高端GPU，对于某些高阶特征（例如，灰度共生矩阵（GLCM）），每个放射图像也可能花费大量时间。为此，我们开发了RadSynth，一种深度卷积神经网络（CNN）模型，以有效地生成放射组学图像。RadSynth在24名乳腺癌患者（10名良性、10名恶性和4名正常）队列中进行了测试，以计算对比后DCE-MRI的GLCM熵图像。与传统的GLCM熵图像相比，RadSynth产生了出色的合成熵图像。两种技术之间的平均百分比差异和相关性分别为0.07、$\pm$、0.06和0.97。总之，RadSynth提供了一种新的强大的工具，用于快速计算和可视化放射图像中的纹理信息。
2019-05-29 cs.CV
Joint registration and synthesis using a probabilistic model for alignment of MRI and histological sections
University College London（伦敦大学学院）；Harvard Medical School（哈佛医学院）；Massachusetts General Hospital（麻省总医院）；Allen Institute for Brain Science（艾伦脑科学研究所）；Massachusetts Institute of Technology（麻省理工学院）
二维组织切片与相应的MRI切片数据的非线性配准是三维组织重建的关键步骤。由于图像对比度和分辨率的巨大差异，以及切片样品并将其安装在载玻片上时产生的复杂非刚性失真，这项任务很困难。在脑MRI配准中已经示出，通过将一种模态与另一种模态合成，然后使用模态内配准度量，而不是通过使用互信息（MI）作为度量，可以获得跨模态的更好的空间对准。然而，这种方法通常需要来自两种模态的对齐图像的数据库，这对于组织学/MRI来说是非常难以获得的。在这里，我们克服了这个限制，同时解决了注册和合成直接在目标图像上的概率方法，没有任何训练数据。在我们的模型中，MRI切片被假定为对比度扭曲的、空间变形的组织切片。我们使用近似贝叶斯推理迭代完善的概率估计的合成和注册，同时考虑到对方的不确定性。此外，手动放置的地标可以无缝集成到框架中，以提高性能。在合成数据集上的实验表明，与MI相比，所提出的方法可以在配准中使用更灵活的变形模型来提高其准确性，而不影响鲁棒性。此外，我们的框架还利用手动放置的地标信息比MI更有效，因为地标通知合成和注册-而不是单独注册。最后，我们在公共Allen图谱上显示了定性结果，其中所提出的方法提供了对基于MI的配准的明显改进。
2018-01-16 cs.CV
CeRF: Convolutional Neural Radiance Fields for New View Synthesis with Derivatives of Ray Modeling
School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；School of Data Science and Engineering, East China Normal University（华东师范大学数据科学与工程学院）
本文提出CeRF卷积神经辐射场，用一维卷积建模沿射线的辐射导数，并结合循环模块消除几何歧义，从而提升新视角合成质量。
2024-06-15 cs.CV cs.GR
Max-Pooling Dropout for Regularization of Convolutional Neural Networks
Fudan University（复旦大学）
最近，dropout在深度学习中的使用越来越多。对于深度卷积神经网络，已知dropout在全连接层中工作良好。然而，其在池化层中的效果仍然不清楚。本文证明了最大池化dropout等价于在训练时基于多项分布随机选择激活。鉴于这一见解，我们主张采用我们提出的概率加权池，而不是常用的最大池，在测试时作为模型平均。经验证据验证了概率加权池的优越性。我们还比较了最大池辍学和随机池，这两个引入随机性的基础上，多项分布在汇集阶段。
2015-12-04 cs.CV cs.LG cs.NE
Unifying Human Motion Synthesis and Style Transfer with Denoising Diffusion Probabilistic Models
Durham University（杜伦大学）
数字人的真实感运动生成是计算机动画和游戏的核心，但具有挑战性的一部分，因为人类的运动内容多样，风格丰富。虽然最新的深度学习方法在这一领域取得了重大进展，但它们大多将运动合成和风格操作视为两个独立的问题。这主要是由于在一个共同的表示中有效地学习解释类间行为的运动内容和解释类内行为的风格的挑战。为了解决这个问题，我们提出了一个去噪扩散概率模型解决方案风格化的运动合成。由于扩散模型具有注入随机性带来的高容量，我们可以在同一个潜伏期中表示类间运动内容和类内风格行为。这导致了一个集成的、端到端的训练管道，有助于生成最佳运动和探索内容风格的耦合潜在空间。为了实现高质量的结果，我们设计了一个多任务架构的扩散模型，战略性地产生方面的人体运动的局部指导。我们还为全球指导设计对抗性和物理性法规。我们展示了卓越的性能与定量和定性的结果，并验证了我们的多任务架构的有效性。
2022-12-16 cs.AI cs.CV cs.GR
Multi-Conditioned Denoising Diffusion Probabilistic Model (mDDPM) for Medical Image Synthesis
Stony Brook University（石溪大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出多条件 DDPM 医学图像合成框架，通过多条件输入与无分类器采样生成带标注肺部 CT，在解剖一致性上几乎超越同类先进模型。
2024-09-07 cs.CV
Brain MRI-to-PET Synthesis using 3D Convolutional Attention Networks
Stanford University（斯坦福大学）；GE Healthcare（通用电气医疗集团）；University of California Riverside（加州大学河滨分校）
脑血流量（CBF）的准确定量对于诊断和评估广泛的神经系统疾病是必不可少的。使用放射性标记水（15 O-水）的正电子发射断层扫描（PET）被认为是测量人体CBF的金标准。然而，PET成像由于其高昂的成本和使用通常需要现场回旋加速器生产的短寿命放射性药物示踪剂而没有广泛使用。相比之下，磁共振成像（MRI）更容易获得，并且不涉及电离辐射。这项研究提出了一种具有注意力机制的卷积编码器-解码器网络，用于从多序列MRI扫描中预测金标准15 O-水PET CBF，从而消除了对放射性示踪剂的需求。预测模型的输入包括几种常用的MRI序列（T1加权、T2-FLAIR和动脉自旋标记）。在一组126名受试者中使用5倍交叉验证对模型进行训练和验证，该组受试者包括健康对照组和脑血管疾病患者，所有受试者均同时接受150美元水PET/MRI。结果表明，这样的模型可以成功地合成高质量的PET CBF测量值（平均SSIM为0.924，PSNR为38.8 dB），并且与并发和以前的PET合成方法相比更准确。我们还证明了所提出的算法的临床意义，通过评估协议识别异常低CBF的血管领土。这种方法可以在由于辐射问题、缺乏访问或后勤挑战而不能进行PET成像的较大队列中实现更广泛和准确的CBF评估。
2022-11-22 cs.CV cs.LG eess.IV
Synthetic Convolutional Features for Improved Semantic Segmentation
CISPA Helmholtz Center for Information Security（CISPA 亥姆霍兹信息安全中心）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
最近，基于学习的图像合成已经能够生成高分辨率图像，无论是应用流行的对抗训练还是强大的感知损失。然而，成功地利用合成数据来改进具有附加合成图像的语义分割仍然具有挑战性。因此，我们建议生成中间卷积特征，并提出第一种适合这种中间卷积特征的合成方法。这使我们能够从标签掩码中生成新的特征，并将它们成功地包含到训练过程中，以提高语义分割的性能。在两个具有挑战性的数据集Cityscapes和ADE20K上的实验结果和分析表明，我们生成的特征提高了分割任务的性能。
2020-09-18 cs.CV
W2WNet: a two-module probabilistic Convolutional Neural Network with embedded data cleansing functionality
Politecnico di Torino（都灵理工大学）
针对图像退化与错误标注损害 CNN 性能的问题，提出双模块概率网络 W2WNet，利用贝叶斯推理清洗训练数据并在推理时输出置信度，提升多基准与组织学分类准确率。
2021-03-24 cs.AI cs.CV
Towards Dropout Training for Convolutional Neural Networks
Fudan University（复旦大学）
最近，dropout在深度学习中的使用越来越多。对于深度卷积神经网络，已知dropout在全连接层中工作良好。然而，它在卷积层和池化层中的效果仍然不清楚。本文证明了最大池化dropout等价于在训练时基于多项分布随机选择激活。鉴于这一见解，我们主张采用我们提出的概率加权池，而不是常用的最大池，在测试时作为模型平均。经验证据验证了概率加权池的优越性。我们还根据经验表明，卷积丢弃的影响并不是微不足道的，尽管由于卷积架构而大大降低了过度拟合的可能性。在最大池化和全连接层中同时精心设计辍学训练，我们在MNIST上实现了最先进的性能，并且相对于没有数据增强的其他方法，在CIFAR-10和CIFAR-100上获得了非常有竞争力的结果。最后，我们比较了最大池脱落和随机池，这两个引入基于多项分布的随机性在池阶段。
2015-12-01 cs.CV cs.LG cs.NE
Deep Embedding Convolutional Neural Network for Synthesizing CT Image from T1-Weighted MR Image
Med-X Research Institute, School of Biomedical Engineering, Shanghai Jiao Tong University（上海交通大学Med-X研究院，生物医学工程学院）；Shenzhen Key Lab of Comp. Vis. & Pat. Rec., Shenzhen Institutes of Advanced Technology, CAS（中国科学院深圳先进技术研究院，深圳市计算机视觉与模式识别重点实验室）；Department of Radiology and BRIC, University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校，放射学系与BRIC）；Department of Brain and Cognitive Engineering, Korea University（高丽大学，脑与认知工程系）
近年来，跨模态的医学图像合成受到越来越多的关注。其中，从T1加权磁共振（MR）图像的计算机断层扫描（CT）图像的合成是非常重要的，虽然它们之间的映射是非常复杂的，由于两种模式的外观的大差距。在这项工作中，我们的目标是通过一种新的深度嵌入卷积神经网络（DECNN）来解决这种MR到CT的合成。具体来说，我们从MR图像中生成特征图，然后通过网络中的卷积层向前转换这些特征图。我们可以进一步从特征图流的中途计算试验性CT合成，然后将该试验性CT合成嵌入回特征图。这种嵌入操作会产生更好的特征图，这些特征图在DECNN中进一步向前转换。在网络中重复多次嵌入过程后，我们最终可以在DECNN的末尾合成最终的CT图像。我们已经在脑和前列腺数据集上验证了我们提出的方法，并与最先进的方法进行了比较。实验结果表明，我们的DECNN（重复嵌入操作）表现出优越的性能，在合成CT图像的感知质量和合成CT图像的运行时间成本。
2017-11-09 cs.CV
Texture Synthesis Using Convolutional Neural Networks
Centre for Integrative Neuroscience, University of Tübingen（图宾根大学整合神经科学中心）；Bernstein Center for Computational Neuroscience, Tübingen（图宾根伯恩斯坦计算神经科学中心）；Graduate School of Neural Information Processing, University of Tübingen（图宾根大学神经信息处理研究生院）；Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）；Baylor College of Medicine（贝勒医学院）
在这里，我们介绍了一种新的自然纹理模型的基础上优化的对象识别的卷积神经网络的特征空间。来自该模型的样本具有高感知质量，证明了以纯粹区分方式训练的神经网络的生成能力。在模型中，纹理由网络的几层中的特征图之间的相关性表示。我们表明，跨层的纹理表示越来越多地捕捉自然图像的统计特性，同时使对象信息越来越明确。该模型为神经科学提供了一种新的刺激生成工具，并可能为卷积神经网络学习的深层表示提供见解。
2015-11-06 cs.CV cs.NE q-bio.NC
Retinal OCT Synthesis with Denoising Diffusion Probabilistic Models for Layer Segmentation
Institute of Imaging and Computer Vision, RWTH Aachen University（成像与计算机视觉研究所，亚琛RWTH大学）；Bio-manufacturing Engineering Laboratory of Tsinghua SIGS, Tsinghua University（清华大学SIGS生物制造工程实验室）；Shenzhen Eye Hospital（深圳眼科医院）；Department of Ophthalmology, RWTH Aachen University（眼科部，亚琛RWTH大学）
本文提出利用DDPMs合成视网膜OCT图像，通过知识迁移提升分割精度，展示其在减少人工标注需求方面的潜力。
2024-03-06 cs.CV eess.IV physics.med-ph
Free-form tumor synthesis in computed tomography images via richer generative adversarial network
Tianjin University（天津大学）；CSIRO Data61（澳大利亚联邦科学与工业研究组织Data61）；La Trobe University（乐卓博大学）；Tianjin University of Traditional Chinese Medicine（天津中医药大学）
针对癌症的注释医学成像扫描的不足使得在精确肿瘤学中训练和验证数据饥渴的深度学习模型变得具有挑战性。我们提出了一种新的更丰富的生成对抗网络，用于计算机断层扫描（CT）图像中的自由形式3D肿瘤/病变合成。该网络由一个新的更丰富的卷积特征增强型扩张门控生成器（RicherDG）和一个混合损失函数组成。RicherDG具有扩大门控卷积层，以实现肿瘤绘画并扩大感知范围;它具有一个新的更丰富的卷积特征关联分支，以恢复多尺度卷积特征，特别是从肿瘤和周围健康组织之间的不确定边界中恢复。混合损失函数由不同范围的损失组成，旨在聚合互补信息以改善优化。我们对涵盖肝脏、肾脏肿瘤和肺结节的广泛公共CT图像数据集的合成结果进行了全面评估。定性和定量评价以及消融研究表明，与先进的肿瘤合成方法相比，合成结果有所改善。
2021-04-20 cs.CV eess.IV
Unsupervised Semantic-based Aggregation of Deep Convolutional Features
在本文中，我们提出了一个简单而有效的基于语义的聚合（SBA）方法。所提出的SBA利用深卷积层的判别滤波器作为语义检测器。此外，我们提出了有效的无监督策略来选择一些语义检测器来生成“概率建议”，突出了对象的某些歧视性模式，并抑制了背景噪声。然后，可以通过聚合由对应于各种语义内容的所选择的“概率建议”加权的区域表示来获得最终的全局SBA表示。我们的无监督SBA很容易推广，并在各种任务上取得了优异的性能。我们进行了全面的实验，并表明我们的无监督SBA优于国家的最先进的无监督和监督聚合方法的图像检索，地点识别和云分类。
2018-04-03 cs.CV
A Convolutional Decoder for Point Clouds using Adaptive Instance Normalization
Visual Computing Institute（视觉计算研究所）；RWTH Aachen University（亚琛工业大学）
高质量的3D形状的自动合成是一个正在进行的和具有挑战性的研究领域。虽然已经提出了几种利用神经网络来生成3D形状的数据驱动方法，但它们都没有达到图像的深度学习合成方法所提供的质量水平。在这项工作中，我们提出了一个卷积点云解码器/生成器，利用图像合成领域的最新进展的方法。也就是说，我们使用自适应实例规范化，并直观地说明为什么它可以改善训练。此外，我们提出了扩展到自动编码点云的常用倒角距离的最小化。此外，我们表明，仔细采样是很重要的输入几何形状，并在我们的点云生成过程中，以提高结果。结果在自动编码设置中进行评估，以提供定性和定量分析。所提出的解码器是通过广泛的消融研究进行验证，并能够在一些实验中优于当前的最先进的结果。我们展示了我们的方法在点云上采样，单视图重建和形状合成领域的适用性。
2019-06-27 cs.CV cs.GR
Representation Synthesis by Probabilistic Many-Valued Logic Operation in Self-Supervised Learning
Panasonic Holdings（松下控股）；Ritsumeikan University（立命馆大学）
本文提出一种可进行逻辑运算的自监督表示学习方法，用概率多值逻辑的 OR 运算替代传统表示合成，使表示支持 OR/AND 操作，并在分类和图像检索任务中验证了其有效性。
2024-10-03 cs.CV
Unsupervised Part-based Weighting Aggregation of Deep Convolutional Features for Image Retrieval
State Key Laboratory of Management and Control for Complex Systems（复杂系统管理与控制国家重点实验室）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在本文中，我们提出了一个简单而有效的基于语义部分的加权聚合（PWA）的图像检索。所提出的PWA利用深度卷积层的鉴别滤波器作为部分检测器。此外，我们提出了有效的无监督策略来选择一些部分检测器来生成“概率建议”，突出对象的某些有区别的部分，并抑制背景噪声。然后，可以通过聚合由对应于各种语义内容的所选择的“概率建议”加权的区域表示来获取最终的全局PWA表示。我们在四个标准数据集上进行了全面的实验，结果表明，我们的无监督PWA优于最先进的无监督和监督聚合方法。代码可在https://github.com/XJhaoren/PWA上获得。
2017-11-29 cs.CV
Paint-it: Text-to-Texture Synthesis via Deep Convolutional Texture Map Optimization and Physically-Based Rendering
University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；POSTECH（浦项科技大学）；Institute for Convergence Research and Education in Advanced Technology, Yonsei University（延世大学尖端技术融合研究与教育学院）
Paint-it提出基于深度卷积PBR参数化的文本驱动纹理优化方法，利用SDS在15分钟内为3D网格生成高质量PBR纹理图，有效滤除噪声并支持大规模网格及重新光照等应用。
2024-05-07 cs.AI cs.CV cs.GR
Simultaneous Dual-View Mammogram Synthesis Using Denoising Diffusion Probabilistic Models
Tecnologico de Monterrey, School of Engineering and Sciences（蒙特雷科技大学工程与科学学院）；School of Engineering, Pontificia Universidad Católica de Chile（智利天主教大学工程学院）；Tecnologico de Monterrey, School of Medicine and Health Sciences（蒙特雷科技大学医学与健康科学学院）
本文提出一种三通道去噪扩散概率模型，同时生成乳腺的CC和MLO视角，通过绝对差编码保持全局结构，用于乳腺影像数据增强和交叉视角AI应用。
2026-04-06 cs.AI cs.CV
LiDAR Data Synthesis with Denoising Diffusion Probabilistic Models
Faculty of Information Science and Electrical Engineering, Kyushu University（九州大学情报科学与电气工程学院）
本文提出基于 DDPM 的 R2DM 模型，利用距离与反射强度图像表示生成高保真 3D LiDAR 点云，并构建灵活补全流程，在 KITTI 数据集生成与补全任务上超越现有方法。
2024-03-04 cs.CV cs.RO
Pose Guided Human Image Synthesis with Partially Decoupled GAN
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Science and Technology of China（中国科学技术大学）；Shanghai International Studies University（上海外国语大学）
姿态引导的人体图像合成（PGHIS）是一个具有挑战性的任务，将人体图像从参考姿态转换为目标姿态，同时保持其风格。现有的方法大多将参考人体图像的纹理编码到一个隐空间中，然后利用解码器合成目标姿态的图像纹理。然而，很难恢复整个人体图像的细节纹理。为了缓解这个问题，我们提出了一种方法，通过解耦的人体成几个部分（\eg，头发，脸，手，脚，\etc），然后使用这些部分中的每一个来指导合成的人，它保留了生成的图像的详细信息的逼真的图像。此外，我们设计了一个基于多头注意力的PGHIS模块。由于大多数基于卷积神经网络的方法由于卷积运算而难以建模长距离依赖性，因此注意力机制的长距离建模能力比卷积神经网络更适合于姿态转移任务，特别是对于尖锐的姿态变形。在Market-1501和DeepFashion数据集上进行的大量实验表明，我们的方法在定性和定量指标方面几乎优于其他现有的最先进的方法。
2022-10-07 cs.AI cs.CV
Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses
Artomatix；University of Virginia（弗吉尼亚大学）
最近，已经提出了通过使用卷积神经网络来执行纹理合成和风格转移的方法（例如Gatys等人[2015，2016]）。这些方法是令人兴奋的，因为它们在某些情况下可以创建具有最先进质量的结果。然而，在本文中，我们表明这些方法也有纹理质量，稳定性，必要的参数调整，并缺乏用户控件的限制。本文提出了一种基于卷积神经网络的多尺度合成流水线，以改善这些问题。我们首先给出了一个数学解释的来源，在许多以前的方法不稳定性。然后，我们通过使用直方图损失来合成更好地统计匹配样本的纹理来改善这些不稳定性。我们还展示了如何在我们的多尺度框架中集成本地化的风格损失。这些损失可以提高大型功能的质量，改善内容和样式的分离，并提供艺术控制，如按数字绘制。我们证明，我们的方法提供了更好的质量，收敛在更少的迭代，和更稳定的优化。
2017-02-01 cs.CV cs.GR cs.NE
