Learning Implicit Generative Models by Matching Perceptual Features
IBM Research(IBM研究院)
感知特征(PF)已经在诸如迁移学习、风格迁移和超分辨率等任务中获得了巨大的成功。然而,PF作为学习生成模型的关键信息源的功效还没有得到很好的研究。我们在这里调查使用PF的背景下,通过矩匹配(MM)学习内隐生成模型。更具体地说,我们提出了一种新的有效的MM方法,通过对从预训练的ConvNets中提取的特征进行均值和协方差匹配来学习隐式生成模型。我们提出的方法通过以下方式改进了现有的MM方法:(1)摆脱对抗学习的有问题的最小/最大游戏;(2)避免核函数的在线学习;以及(3)在使用的时刻和所需的minibatch大小方面都是有效的。我们的实验结果表明,由于来自预训练的深度ConvNets的PF的表现力,我们的方法在具有挑战性的基准测试中获得了最先进的结果。
2019-04-04 cs.CV cs.LG
DeFloMat: Detection with Flow Matching for Stable and Efficient Generative Object Localization
Department of Software Convergence, Seoul Women’s University(软件融合系,首尔女子大学);Department of Radiology, Severance Hospital, Yonsei University College of Medicine(放射科,松趾医院,延世大学医学院)
DeFloMat通过结合条件流匹配和确定性流场,实现了稳定高效的生成物体定位检测,仅需3步推理即可达到43.32%的AP10:50精度,优于DiffusionDet的31.03%。
2025-12-26 cs.CV
Example-based Motion Synthesis via Generative Motion Matching
Shandong University(山东大学);Tencent AI Lab(腾讯人工智能实验室);ETH Zurich(苏黎世联邦理工学院);Peking University(北京大学)
本文提出无需训练的生成模型 GenMM,通过双向视觉相似性和多阶段生成式运动匹配,从少量示例快速合成高质量多样化运动,并支持补全、关键帧引导、无限循环与重组。
2023-06-01 cs.CV cs.GR
Dense-Prior-Guided Generative Video Compression
本文提出可控生成视频压缩方法,通过多视觉条件引导生成细节,兼顾信号保真度与感知质量。
2026-09-22 cs.CV
Towards Real-World Blind Face Restoration with Generative Facial Prior
Applied Research Center (ARC), Tencent PCG(腾讯平台与内容事业群应用研究中心)
盲人脸恢复通常依赖于人脸先验信息,如人脸几何先验信息或参考先验信息,以恢复真实可靠的细节。然而,非常低质量的输入不能提供准确的几何先验,而高质量的参考是不可访问的,限制了在现实世界中的应用场景。在这项工作中,我们提出了GFP-GAN GAN,它利用封装在预训练的人脸GAN中的丰富多样的先验知识进行盲人脸恢复。该生成面部先验(GFP)通过新颖的通道分割空间特征变换层被纳入面部恢复过程,这使得我们的方法能够实现真实性和保真度的良好平衡。得益于强大的生成面部先验和精细设计,我们的GFP-GAN只需一次向前传递就可以联合恢复面部细节并增强颜色,而GAN反演方法需要在推理时进行昂贵的图像特定优化。大量的实验表明,我们的方法在合成和真实世界的数据集上都取得了优于现有技术的性能。
2021-06-11 cs.CV
Laplacian Multi-scale Flow Matching for Generative Modeling
Georgia Institute of Technology(佐治亚理工学院)
本文提出拉普拉斯多尺度流匹配框架,通过并行处理多尺度表示提升图像生成质量与效率,实现高分辨率生成的同时降低计算开销。
2026-02-23 cs.CV cs.LG
Generative Point Tracking with Flow Matching
McGill University(麦吉尔大学);Mila;Stanford University(斯坦福大学);York University(约克大学);Polytechnique Montréal(蒙特利尔理工学院)
针对判别式点跟踪器无法处理多模态不确定性的问题,提出基于流匹配的生成式框架GenPT,结合迭代细化与最佳优先搜索,在遮挡点跟踪上达到最先进精度。
2025-10-23 cs.CV
MedSymmFlow: Bridging Generative Modeling and Classification in Medical Imaging through Symmetrical Flow Matching
Eindhoven University of Technology(埃因霍温理工大学)
MedSymmFlow通过对称流匹配结合生成与判别模型,实现医学影像中的分类、生成和不确定性量化,提升分类准确性和不确定性估计的可靠性。
2025-07-25 cs.AI cs.CV
ID Preserving Generative Adversarial Network for Partial Latent Fingerprint Reconstruction
West Virginia University(西弗吉尼亚大学)
使用潜在指纹样本执行识别任务对于自动识别系统来说通常是具有挑战性的,这是由于输入样本的质量差、失真和部分缺失信息。提出了一种基于条件生成对抗网络(cGANs)的直接潜在指纹重建模型。对cGAN进行了两次修改,以使其适应潜在指纹重建的任务。首先,模型被迫生成三个额外的映射到脊图,以确保在生成过程中考虑方向和频率信息,并防止模型填充大的缺失区域和生成错误的细节点。其次,一个感性的ID保存方法的开发,以迫使生成器在重建过程中保存的ID信息。使用综合生成的潜在指纹数据库,深度网络学习从输入的潜在样本中预测丢失的信息。我们评估所提出的方法结合两种不同的指纹匹配算法在几个公开的潜在指纹数据集。我们在IIIT-Delhi潜在指纹数据库上实现了88.02\%的rank-10准确率,用于潜在匹配任务,在IIIT-Delhi MOLF数据库上实现了70.89\%的rank-50准确率,用于潜在传感器匹配任务。实验结果表明,该方法能有效提高指纹识别系统对潜在样本的匹配精度。
2018-07-31 cs.CV
Discriminative Flow Matching Via Local Generative Predictors
本文提出判别流匹配框架,将分类和目标检测转化为条件传输过程,通过局部流匹配目标训练多个独立流预测器,实现鲁棒的生成式推理。
2026-03-14 cs.AI cs.CV
Iterative Flow Matching: Path Correction and Gradual Refinement for Enhanced Generative Modeling
The University of British Columbia(不列颠哥伦比亚大学);University of Cambridge(剑桥大学)
本研究针对图像生成模型易产生幻觉的问题,提出可集成于各类生成建模技术的迭代流匹配方法,通过路径校正与渐进式优化提升图像合成的性能与鲁棒性。
2026-08-20 cs.AI cs.CV cs.LG
Exploring Diffusion and Flow Matching Under Generator Matching
University of California, Berkeley(加利福尼亚大学伯克利分校)
本文在生成器匹配统一框架下理论比较扩散与流匹配,揭示流匹配更稳健的原因,并探讨混合确定性与随机组件以构建新模型类别。
2024-12-17 cs.CV cs.LG
Image-derived generative modeling of pseudo-macromolecular structures - towards the statistical assessment of Electron CryoTomography template matching
Carnegie Mellon University(卡内基梅隆大学);University of Florida(佛罗里达大学)
细胞电子冷冻断层扫描(CECT)是一种3D成像技术,它以接近天然状态和亚分子分辨率捕获有关单细胞内大分子复合物的结构和空间组织的信息。虽然模板匹配通常用于在CECT图像中定位大分子,但它是不够的,因为它仅测量相对结构相似性。因此,最好通过假设检验来评估决策的统计可信度,这需要来自不同大分子结构群体的许多模板。由于已知结构的数量非常有限,我们需要一个生成模型来有效和可靠地从复杂的大分子结构分布中采样伪结构。为了应对这一挑战,我们提出了一种新的图像衍生方法,通过使用生成对抗网络构建生成模型来执行模板匹配的假设检验。最后,我们进行了假设检验实验的模板匹配模拟和实验subtomographs,使我们能够得出结论的身份subtomographs具有较高的统计可信度,并显着减少误报。
2018-05-12 cs.CV q-bio.QM stat.AP
Linear-DPO: Linear Direct Preference Optimization for Diffusion and Flow-Matching Generative Models
School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院);Alibaba Group(阿里巴巴集团)
本文提出Linear-DPO,通过统一的反向时间SDE框架推导出涵盖扩散和流匹配的通用DPO目标,指出标准DPO目标在文本到图像生成中不最优,并通过定性定量实验验证了其在扩散模型和流匹配模型上的优越性。
2026-05-20 cs.CV cs.LG
Symmetrical Flow Matching: Unified Image Generation, Segmentation, and Classification with Score-Based Generative Models
本文提出对称流匹配方法,通过联合建模正反向变换实现图像生成、分割和分类的统一,采用对称学习目标确保双向一致性并保留生成多样性,实验表明其在多个基准上取得SOTA性能。
2026-01-30 cs.AI cs.CV
Force Matching with Relativistic Constraints: A Physics-Inspired Approach to Stable and Efficient Generative Modeling
Wyoming Seminary(怀俄明神学院);Middle Tennessee State University(中田纳西州立大学);Stevens Institute of Technology(斯蒂文斯理工学院);The University of Hong Kong(香港大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Tsinghua University(清华大学);Simons Institute for the Theory of Computing, University of California, Berkeley(加州大学伯克利分校西蒙斯理论计算研究所);Anhui University(安徽大学)
本文提出力匹配(ForM)生成建模框架,通过融入狭义相对论的洛伦兹因子施加速度约束,经理论分析与实证评估(half-moons数据集欧氏距离损失0.714优于基线),为稳定高效生成过程及物理原理在机器学习应用提供新路径。
2025-02-12 cs.AI cs.CV cs.LG
FLOAT: Generative Motion Latent Flow Matching for Audio-driven Talking Portrait
KAIST(韩国科学技术院);DeepBrain AI Inc.(DeepBrain AI公司)
FLOAT利用学习到的正交运动潜空间和流匹配生成模型,结合Transformer向量场预测器与逐帧条件机制,实现高效、时间一致且支持情感增强的音频驱动说话人肖像视频生成,在视觉质量、运动保真度和效率上优于现有方法。
2025-09-19 cs.AI cs.CV cs.LG
MatchingGAN: Matching-based Few-shot Image Generation
为了生成给定类别的新图像,大多数深度生成模型需要来自该类别的大量训练图像,而这些图像通常过于昂贵。为了实现基于少量图像生成的目标,本文提出了基于匹配的生成对抗网络(GAN)用于Few-Shot生成。匹配生成器可以将随机向量与同一类别中的几幅条件图像进行匹配,并根据融合后的特征生成该类别的新图像。该方法通过将生成图像的特征与条件图像的融合特征进行匹配,扩展了传统的GAN方法。在三个数据集上的实验证明了该方法的有效性。
2020-03-15 cs.CV cs.LG eess.IV
DeepFlow: History Matching in the Space of Deep Generative Models
Imperial College London(帝国理工学院)
利用观测到的流体压力和速率的瞬态数据校准储层模型是获得地球地下的流动和输运行为的预测模型的关键任务。模型校准任务,通常被称为“历史匹配”,可以被形式化为一个不适定的逆问题,我们的目标是找到解释所观察到的动态数据的岩石物理性质的基本空间分布。我们使用在基于地质统计对象的模型上预训练的生成对抗网络来表示油气藏合成模型的岩石性质分布。油藏流体的动态行为是使用瞬态两相不可压缩达西公式建模。我们首先使用预训练的生成模型对属性分布进行建模,然后使用正问题的伴随方程对控制生成模型输出的潜变量执行梯度下降,从而反演底层储层属性。除了动态观测数据,我们包括井岩石类型的限制,通过引入一个额外的目标函数。我们的贡献表明,对于合成测试用例,我们能够通过在深层生成模型的潜变量空间中进行优化来获得反问题的解决方案,给出了一组非线性正问题的瞬态观测。
2019-06-12 cs.CV cs.LG physics.comp-ph
Kernel Mean Matching for Content Addressability of GANs
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Georgia Institute of Technology(佐治亚理工学院)
我们提出了一种新的程序,它增加了“内容寻址”到任何给定的无条件隐式模型,例如,生成对抗网络(GAN)。该程序允许用户通过指定一组(任意大小)所需的示例来控制生成过程,基于这些示例,从模型中生成类似的样本。所提出的方法,基于核均值匹配,适用于任何生成模型,将潜在向量转换为样本,并且不需要重新训练的模型。对各种高维图像生成问题(CelebA-HQ、LSUN卧室、桥、塔)的实验表明,该方法能够生成与输入集一致的图像,同时保持原始模型的图像质量。据我们所知,这是第一个尝试在测试时从训练的边缘模型构建内容可寻址生成模型的工作。
2019-05-14 cs.CV cs.LG stat.ML
Low-Bit, High-Fidelity: Optimal Transport Quantization for Flow Matching
针对流匹配生成模型部署受高精度参数需求制约的问题,提出基于最优传输的训练后量化方法,可在2-3比特下保留生成质量,适用于边缘AI场景的模型压缩。
2025-11-14 cs.CV cs.LG
VibrantSR: Sub-Meter Canopy Height Models from Sentinel-2 Using Generative Flow Matching
Vibrant Planet Public Benefit Corporation(Vibrant Planet公共利益公司)
VibrantSR利用Sentinel-2影像生成亚米分辨率的冠层高度模型,实现更高效的大规模森林监测和碳核算。
2026-02-01 cs.CV cs.LG
Adversarial score matching and improved sampling for image generation
University of Montreal(蒙特利尔大学);Microsoft Research Lab(微软研究院实验室)
去噪得分匹配与退火Langevin采样(DSM-ALS)最近发现在生成建模的成功。该方法的工作原理是首先训练一个神经网络来估计分布的分数,然后使用Langevin动力学从分数网络假设的数据分布中采样。尽管样本的视觉质量令人信服,但在Fréchet Inception Distance(生成模型的标准度量)下,这种方法的表现似乎比生成对抗网络(GANs)更差。我们表明,这种明显的差距消失时,使用分数网络去噪的最终Langevin样本。此外,我们提出了对DSM-ALS的两项改进:1)一致退火采样作为退火Langevin采样的更稳定的替代方案,以及2)混合训练公式,由去噪得分匹配和对抗目标组成。通过结合这两种技术和探索不同的网络架构,我们提升了分数匹配方法,并获得了与CIFAR-10上最先进的图像生成相竞争的结果。
2020-10-10 cs.CV cs.LG stat.ML
Sinogram Enhancement with Generative Adversarial Networks using Shape Priors
University of Southampton(南安普顿大学)
通过从计算模型中推断测量值来补偿稀缺的测量值是解决不适定逆问题的一种方法。我们通过使用生成模型和有关扫描对象的先验知识完成一组采集来解决有限角度断层扫描。使用生成对抗网络作为模型,计算机辅助设计数据作为形状先验,我们证明了我们的技术比其他最先进的方法具有定量和定性的优势。推断大量的连续缺失测量,我们提供了一种替代其他图像修复技术,未能提供一个令人满意的答案,我们的研究问题:可以减少X射线曝光使用生成模型来推断缺乏测量?
2022-02-01 cs.CV cs.LG eess.IV
A Unified Measure-Theoretic View of Diffusion, Score-Based, and Flow Matching Generative Models
Center for Applied Scientific Computing(应用科学计算中心);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);University of California Merced(加州默塞德大学)
本文从测度论角度统一了扩散、基于分数和流匹配生成模型,探讨了时间依赖向量场诱导的边缘分布,并分析了采样、稳定性和计算的权衡。
2026-05-07 cs.CV cs.ET cs.IT
4D-HOF: Hand-Object Flow Matching for Feed-Forward 4D Interaction Reconstruction
NVIDIA(英伟达);Texas A&M University(德克萨斯A&M大学)
4D-HOF提出一种前馈流匹配框架,利用视觉基础模型的粗略估计重建4D手-物体交互,通过条件流匹配和测试时引导实现稳定准确的生成式重建。
2026-10-07 cs.AI cs.CV cs.GR
Stochastic seismic waveform inversion using generative adversarial networks as a geological prior
Imperial College London(帝国理工学院)
我们提出了在偏微分方程(PDE)约束反问题的背景下,深度生成模型的应用。我们结合了生成对抗网络(GAN)表示先验模型,创建地下地质结构及其岩石物理特性,与PDE的数值解控制声波在地球内部的传播。我们进行贝叶斯反演使用近似大都会调整Langevin算法(MALA)从后给定的地震观测样本。通过求解声波波动方程式的伴随方程,得到了正问题中模型参数的导数。通过利用用于表示生成模型的深度神经网络的可微性质来获得关于潜变量的失配的分量。我们表明,近似MALA采样允许有效的贝叶斯反演的模型参数从一个深生成模型表示的先验,获得一组不同的实现,反映所观察到的地震响应。
2018-06-10 cs.CV physics.geo-ph stat.ML
Theoretical Guarantees for High Order Trajectory Refinement in Generative Flows
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Stevens Institute of Technology(史蒂文斯理工学院);The University of Hong Kong(香港大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);South China University of Technology(华南理工大学);The Simons Institute for the Theory of Computing(西蒙斯理论计算研究所)
本文首次为引入加速度项的高阶流匹配提供理论保证,证明其作为分布估计器保持最坏情况最优性,并推导出依赖目标分布Besov平滑性和ODE参数的收敛上界。
2025-03-12 cs.AI cs.CV cs.LG
Generative 6D Pose Estimation via Conditional Flow Matching
Fondazione Bruno Kessler(布鲁诺·克塞尔基金会);University of Trento(特伦托大学);Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
Flose通过条件流匹配生成式方法,结合外观语义特征和RANSAC配准,提升6D姿态估计的准确性和鲁棒性。
2026-02-23 cs.CV
LatentFM: A Latent Flow Matching Approach for Generative Medical Image Segmentation
本文提出LatentFM,通过在潜在空间中使用流匹配方法,实现高精度且具有不确定性的医学图像分割,通过生成置信图和多样化的分割输出提升预测可靠性。
2026-11-16 cs.CV
Blind Image Deconvolution using Deep Generative Priors
Information Technology University(信息技术大学)
本文提出了一种新的方法来正则化\textit{ill-posed}和\textit{non-linear}盲图像反卷积(盲去模糊)使用深度生成网络作为先验。我们采用了两个独立的生成模型-一个被训练来生成清晰的图像,而另一个被训练来从低维参数生成模糊核。为了去模糊,我们提出了一个交替的梯度下降方案,该方案在每个预训练生成模型的潜在低维空间中运行。我们的实验表明,即使在大的模糊和严重的噪声图像上的去模糊效果很好。为了解决生成模型的缺点,如模式坍塌,我们增加了我们的生成先验与经典的图像先验和复杂的图像数据集上的性能提高报告。去模糊性能取决于生成器的范围如何跨越图像类。有趣的是,我们的实验表明,即使是未经训练的结构化(卷积)生成网络也可以在图像去模糊上下文中充当图像先验,从而使我们能够将结果扩展到更多样化的自然图像数据集。
2019-02-26 cs.CV
BigColor: Colorization using a Generative Color Prior for Natural Images
POSTECH(浦项科技大学);Samsung Electronics(三星电子)
对于逼真和生动的着色,最近已经利用了生成先验。然而,这种生成先验往往失败的野生复杂的图像,由于其有限的表示空间。在本文中,我们提出了BigColor,一种新的彩色化方法,提供生动的彩色化的各种在野外的图像具有复杂的结构。虽然以前的生成先验被训练来合成图像结构和颜色,但我们在专注于给定图像的空间结构的颜色合成之前学习生成颜色。通过这种方式,我们减少了从生成先验合成图像结构的负担,并扩展了其表示空间以覆盖不同的图像。为此,我们提出了一个BigGAN启发的编码器生成器网络,该网络使用空间特征映射而不是空间扁平化的BigGAN潜在代码,从而扩大了表示空间。我们的方法可以在单个前向通道中对不同的输入进行鲁棒的着色,支持任意的输入分辨率,并提供多模态着色结果。我们证明,BigColor显着优于现有的方法,特别是在野生图像具有复杂的结构。
2022-07-20 cs.CV
Alternating Phase Projected Gradient Descent with Generative Priors for Solving Compressive Phase Retrieval
University of California, Riverside(加州大学河滨分校);Iowa State University(爱荷华州立大学)
相位恢复的经典问题出现在各种信号采集系统中。由于问题的不适定性质,解决方案需要对信号的结构进行假设。在过去的几年中,稀疏性和支持度为基础的先验已经成功地解决了这个问题。在这项工作中,我们提出了替代稀疏/支持先验与生成先验,并提出了两种算法来解决相位恢复问题。我们提出的算法结合了AltMin方法的思想,用于非凸稀疏相位恢复和投影梯度下降方法用于使用生成先验求解线性逆问题。我们的经验表明,我们的方法与投影梯度下降的性能优于现有的方法,用于解决相位检索下生成先验。我们支持我们的方法与高斯测量样本的复杂性分析。
2019-03-07 cs.CV
Blind Image Deconvolution using Pretrained Generative Priors
Information Technology University(信息技术大学)
本文提出了一种新的方法来正则化病态盲图像反卷积(盲图像去模糊)问题使用深度生成网络。我们采用两个独立的深度生成模型-一个经过训练以生成清晰图像,而另一个经过训练以从低维参数生成模糊内核。为了去模糊,我们提出了一个交替的梯度下降方案,该方案在每个预训练生成模型的潜在低维空间中运行。我们的实验表明,即使在大的模糊和重噪声下,也有很好的去模糊效果。为了提高生成网络没有很好地学习的丰富图像数据集的性能,我们提出了一个修改方案,该方案在生成和经典先验下控制去模糊过程。
2019-08-20 cs.CV
SeasonStereo: Robust Dense Stereo Matching for Multi-Date Satellite Imagery via Generative AI
Eurecat(欧罗卡特技术中心);IIE, Facultad de Ingeniería, Universidad de la República(乌拉圭共和国大学工程学院IIE);Universitat Pompeu Fabra(庞培法布拉大学);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎萨克雷高等师范学校);Institut Universitaire de France(法国大学研究院)
SeasonStereo框架利用带可控季节外观变化的合成图像对训练并结合基础模型零样本几何先验,实现低成本、高精度的多日期卫星图像密集立体匹配,支持大规模三维重建。
2026-07-30 cs.CV
Deep Matching Prior: Test-Time Optimization for Dense Correspondence
Korea University(高丽大学)
在视觉上或语义上相似的图像之间建立密集对应的传统技术集中在设计特定于任务的匹配先验上,这是难以建模的。为了克服这一点,最近的基于学习的方法已经尝试在大的训练数据上学习模型本身内的良好匹配先验。性能改进是明显的,但需要足够的训练数据和强化学习阻碍了它们的适用性。此外,在测试时使用固定模型并没有考虑到一对图像可能需要自己的先验知识这一事实,从而提供了有限的性能并且对看不见的图像的泛化能力较差。在本文中,我们证明了可以通过单独优化输入图像对上的未训练匹配网络来捕获特定于图像对的先验。针对这种密集对应的测试时间优化,我们提出了一个残差匹配网络和一个置信度感知的对比损失,以保证有意义的收敛。实验表明,我们的框架,被称为深度匹配先验(Deep Matching Prior,缩写为MMM),是有竞争力的,甚至优于,对最新的基于学习的方法在几个基准几何匹配和语义匹配,即使它既不需要大的训练数据,也不需要密集的学习。通过预先训练的网络,它在所有基准测试中都达到了最先进的性能。
2021-12-15 cs.CV
Probabilistic Spatial Distribution Prior Based Attentional Keypoints Matching Network
Beihang University(北京航空航天大学);Zhejiang University of Technology(浙江工业大学);Institute for Infocomm Research(信息通信研究院)
关键点匹配是图像拼接、视觉同时定位与地图构建(SLAM)等图像相关应用的关键组成部分,目前基于人工智能和新近出现的基于深度学习的关键点匹配方法仅依赖于关键点和局部特征,而忽略了惯性测量单元(IMU)等其他可用传感器。在本文中,我们证明了从IMU集成的运动估计可以用来利用图像之间的关键点的空间分布先验。为此,提出了一种概率视角的注意力公式,将空间分布先验自然地集成到注意力图神经网络中。在空间分布先验的帮助下,可以减少网络对隐藏特征建模的工作量。此外,我们提出了一个投影损失的建议的关键点匹配网络,它提供了一个光滑的边缘之间的匹配和不匹配的关键点。视觉SLAM数据集上的图像匹配实验表明了该方法的有效性和效率。
2021-11-23 cs.CV
Generative ScatterNet Hybrid Deep Learning (G-SHDL) Network with Structural Priors for Semantic Image Segmentation
University of Cambridge(剑桥大学)
本文提出了一种用于语义图像分割的生成式ScatterNet混合深度学习(G-SHDL)网络。所提出的生成架构是能够训练迅速从相对较小的标记数据集使用引入的结构先验。此外,在架构的每一层中的过滤器的数量被优化,从而产生计算上高效的架构。G-SHDL网络在两个图像数据集上对无监督和半监督学习产生最先进的分类性能。G-SHDL网络的监督方法的优势,证明了与训练数据集的大小减少进行实验。
2018-02-13 cs.CV
ExtraGS: Geometric-Aware Trajectory Extrapolation with Uncertainty-Guided Generative Priors
UIUC(伊利诺伊大学香槟分校);Xiaomi EV Project(小米电动车项目)
针对驾驶场景轨迹外推中几何一致性差和渲染过度平滑的问题,提出整合几何与生成先验的ExtraGS框架,通过新型高斯表示及不确定性引导先验整合,显著提升外推视图的真实感与几何一致性。
2025-08-23 cs.CV
An End-to-End Deep Learning Generative Framework for Refinable Shape Matching and Generation
School of Computing, University of Leeds(利兹大学计算机学院);University of Manchester(曼彻斯特大学);School of Computing Science, University of Glasgow(格拉斯哥大学计算机科学学院)
针对3D医学形状生成中顶点不统一、缺乏对应关系的难题,提出基于图表示的无监督几何深度学习框架及扩展多图谱模型,可建立形状对应、生成逼真合成形状,适用于电子临床试验。
2024-03-10 cs.AI cs.CV
Equilibrium Matching: Generative Modeling with Implicit Energy-Based Models
MIT(麻省理工学院);Harvard University(哈佛大学)
本文提出 Equilibrium Matching (EqM) 生成式建模框架,通过学习隐式能量景观的平衡梯度替代传统非平衡动力学,支持推理时基于优化的采样,在 ImageNet 上取得更优性能并扩展至去噪与 OOD 检测等任务。
2026-11-10 cs.AI cs.CV cs.LG
Generative Patch Priors for Practical Compressive Image Recovery
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Misubishi Electric Research Laboratories(三菱电机研究实验室);Arizona State University(亚利桑那州立大学)
在本文中,我们提出了生成补丁先验(GPP),它基于补丁流形模型定义了压缩图像恢复的生成先验。与限制在预训练生成器的范围空间内的学习图像级先验不同,GPP可以使用预训练的补丁生成器恢复各种自然图像。此外,GPP保留了生成先验的优点,如在极低的感测速率下的高重建质量,同时也更普遍地适用。我们表明,GPP优于几个无监督和监督技术在三个不同的传感模型-线性压缩感知与已知的,未知的校准设置,和非线性相位恢复问题。最后,我们提出了一种交替优化策略,使用GPP进行联合校准和重建,该策略在现实世界的未校准压缩感知数据集上对多个基线表现良好。
2020-10-05 cs.CV cs.LG
Semi-Global Stereo Matching with Surface Orientation Priors
Middlebury College(明德学院);RIKEN AIP(理化学研究所革新智能综合研究中心);Microsoft Research(微软研究院)
半全局匹配(Semi-Global Matching,SGM)是一种广泛应用的高效立体匹配技术。它适用于有纹理的场景,但由于其正面平行平滑假设,在无纹理的倾斜表面上失败。为了解决这个问题,我们提出了一个简单的扩展,称为SGM-P,利用预先计算的表面取向先验。这样的先验有利于不同2D图像区域或3D场景区域中的不同表面倾斜,并且可以以各种方式导出。在本文中,我们评估平面方向先验来自立体匹配在一个粗糙的分辨率,并表明,这种先验可以产生显着的性能增益困难的弱纹理场景。我们还探讨了来自曼哈顿世界假设的表面正常先验,我们分析了潜在的性能增益使用来自地面实况数据的甲骨文先验。SGM-P只增加了一个小的计算开销SGM,是一个有吸引力的替代更复杂的方法,采用高阶光滑项。
2017-12-03 cs.CV cs.RO
Homotopic Gradients of Generative Density Priors for MR Image Reconstruction
Nanchang University(南昌大学)
最近,深度学习,特别是生成模型,已经证明了在减少测量的情况下显著加速图像重建的巨大潜力。不同于现有的生成模型通常对密度先验进行优化,本文利用去噪分数匹配,提出了一种基于同伦梯度的生成密度先验(HGGDP)模型,用于磁共振成像(MRI)重建。更准确地说,为了解决生成密度先验中的低维流形和低数据密度区域问题,我们在高维空间中估计目标梯度。我们训练一个更强大的噪声条件得分网络,形成高维张量作为网络的输入在训练阶段。更多的人工噪声也被注入嵌入空间。在重建阶段,同伦方法被用来追求密度先验,如提高重建性能。实验结果表明,HGGDP在高重建精度方面表现出色,仅10%的k空间数据仍然可以像标准MRI重建一样有效地生成高质量的图像。
2021-02-01 cs.CV eess.IV
Generative Phomosaic with Structure-Aligned and Personalized Diffusion
Seoul National University(首尔大学)
本文提出首个生成式光拼图方法,通过扩散生成技术实现结构对齐和个性化拼图,克服传统方法在多样性和结构一致性上的限制。
2026-04-08 cs.AI cs.CV
BG-HOP: A Bimanual Generative Hand-Object Prior
Carnegie Mellon University(卡内基梅隆大学)
本文提出BG-HOP生成式先验,通过扩展单手先验建模三维双手手-物交互,可生成双手交互并为物体合成抓取,且公开代码与模型。
2025-06-08 cs.CV cs.LG cs.RO
Robust Compressed Sensing MRI with Deep Generative Priors
ECE, UT Austin(德克萨斯大学奥斯汀分校电子与计算机工程系)
CSGM框架(Bora-Jalal-Price-Dimakis'17)表明,深度生成先验可以成为解决逆问题的强大工具。然而,到目前为止,这个框架仅在某些数据集(例如人脸和MNIST数字)上取得了经验上的成功,并且已知它在分布外样本上表现不佳。在本文中,我们提出了第一个成功的应用CSGM框架的临床MRI数据。我们训练一个生成的前从fastMRI数据集的脑扫描,并通过朗之万动力学后采样实现高质量的重建。此外,我们的实验和理论表明,后验采样是强大的地面真理分布和测量过程中的变化。我们的代码和型号可从以下网址获得:\url{https://github.com/utcsilab/csgm-mri-langevin}。
2021-12-06 cs.CV cs.IT cs.LG