WaveDiT: Distribution-Aware Wavelet Flow Matching for Efficient 3D Brain MRI Synthesis
Politecnico di Bari（巴里理工大学）；Sapienza University of Rome（罗马大学）
提出WaveDiT，一种在3D Haar离散小波变换系数空间中运行的条件流匹配框架，通过分解时空注意力与基于高阶小波统计的带状异方差不确定性建模，实现单GPU上全分辨率3D脑MRI高效合成，在分布对齐和下游任务中优于现有方法。
2026-08-18 cs.CV
CrackSegFlow: Controllable Flow Matching Synthesis for Generalizable Crack Segmentation with a 50K Image-Mask Benchmark
Department of Civil and Environmental Engineering, Grainger College of Engineering, University of Illinois Urbana--Champaign（土木与环境工程系，格拉inger工程学院，伊利诺伊大学厄巴纳-香槟分校）；Department of Computer Science, Grainger College of Engineering, University of Illinois Urbana--Champaign（计算机科学系，格拉inger工程学院，伊利诺伊大学厄巴纳-香槟分校）
CrackSegFlow通过可控流匹配合成方法，利用50K图像-掩码基准提升裂纹分割的泛化能力和性能指标。
2026-01-11 cs.CV
Self-Supervised Flow Matching for Scalable Multi-Modal Synthesis
Black Forest Labs（黑森林实验室）；MIT（麻省理工学院）
Self-Flow通过自监督流匹配方法，在无需外部监督的情况下提升多模态生成的性能和扩展性。
2026-03-06 cs.CV
WFM: 3D Wavelet Flow Matching for Ultrafast Multi-Modal MRI Synthesis
Department of Computer Science, Stanford University（斯坦福大学计算机科学系）；Machine and Hybrid Intelligence Lab, Feinberg School of Medicine, Northwestern University（北western大学费因伯格医学院机器与混合智能实验室）
本文提出WFM方法，通过学习基于小波空间条件均值的直接流，实现高效多模态MRI合成，单模型在BraTS 2024上达到26.8 dB PSNR和0.94 SSIM，速度比扩散模型快250-1000倍。
2026-04-22 cs.CV
Motion Flow Matching for Human Motion Synthesis and Editing
LMU Munich（慕尼黑大学）；University of Amsterdam（阿姆斯特丹大学）；CMU（卡内基梅隆大学）；A*STAR（新加坡科技研究局）
针对现有人体运动合成方法采样慢、误差累积的问题，提出运动流匹配模型，将采样降至10步且性能可比，在KIT-ML上达SOTA，还提出采样轨迹重写范式适配多种运动编辑场景。
2023-12-14 cs.CV
Boosting Latent Diffusion with Flow Matching
LMU Munich（慕尼黑大学）；CompVis（CompVis实验室）；MCML（慕尼黑计算与机器学习中心）
本文提出在冻结扩散模型与卷积解码器之间引入 Flow Matching，以低计算成本兼顾多样性与高分辨率图像合成，并可扩展至 2048²。
2024-12-04 cs.CV
NIFTY: a Non-Local Image Flow Matching for Texture Synthesis
Normandie Univ, UNICAEN, ENSICAEN, CNRS, GREYC（诺曼底大学、UNICAEN、ENSICAEN、CNRS、GREYC）
本文提出NIFTY，一种结合扩散模型思想与经典图像块优化的非参数流匹配纹理合成框架，无需神经网络训练，有效缓解初始化差和视觉伪影问题，实验证明其优于代表性方法。
2025-09-26 cs.CV cs.LG
Long-Tail Adaptive Flow Matching with Explicit Conditional Consistency Guidance for Precise Multimodal Face Synthesis
Tsinghua University（清华大学）；Ant Group（蚂蚁集团）；Beijing Jiaotong University（北京交通大学）；South China University of Technology（华南理工大学）
针对多模态人脸合成中语义对齐不佳的问题，提出EC²Face框架，通过显式条件一致性引导和长尾自适应流匹配，在训练时增强监督，推理无额外开销，稀有属性掩码准确率提升29.38%。
2026-09-25 cs.CV
VoxStruct3D: Structure-Leading Flow Matching for Voxel-Space 3D MRI Synthesis
本文提出VoxStruct3D，一种体素空间流匹配框架，通过结构优先策略引导，在T1加权脑MRI合成任务上实现了特征分布对齐、样本多样性等指标的最优性能，生成的体积解剖连贯且视觉真实。
2026-08-06 cs.CV
TumorGen: Boundary-Aware Tumor-Mask Synthesis with Rectified Flow Matching
The Chinese University of Hong Kong（香港中文大学）；City University of Hong Kong（香港城市大学）；Massachusetts General Hospital and Harvard Medical School（哈佛医学院麻省总医院）
提出TumorGen，一种基于整流流匹配的边界感知3D肿瘤掩码合成方法，通过边界框替代二值掩码、同时合成潜变量与掩码及VAE细化边界，在提升计算效率的同时保持病理准确性，优于现有方法。
2025-05-30 cs.CV eess.IV
Flow Matching for Conditional MRI-CT and CBCT-CT Image Synthesis
Institute for Medical Informatics, Statistics and Documentation（医学信息学、统计学与文档研究所）
本文提出一种全3D流匹配框架，用于生成MRI或CBCT到CT的合成图像，通过轻量3D编码器提取输入特征，并在有限训练分辨率下实现全局结构重建，但细节能效有限。
2026-04-23 cs.CV
Contrast-X: A Multi-Modal Contrast Image Synthesis Benchmark and Universal Modality Flow Matching
University of Cambridge（剑桥大学）；MD Anderson Cancer Center（MD安德森癌症中心）；University of Dundee（邓迪大学）
Contrast-X通过多器官CT和乳腺DCE-MRI数据，提出FlowMI模型解决多模态缺失问题，评估合成图像质量及跨器官泛化能力。
2026-05-07 cs.CV
FlowLet: Conditional 3D Brain MRI Synthesis using Wavelet Flow Matching
Politecnico di Bari（巴里理工学院）；Sapienza University of Rome（罗马萨皮恩扎大学）
提出FlowLet框架，利用可逆3D小波域中的流匹配生成年龄条件化的3D脑MRI，避免重建伪影并降低计算需求，实验证明其生成高保真体积且提升脑年龄预测模型对低代表性年龄组的性能。
2026-06-08 cs.CV
DEMO: Disentangled Motion Latent Flow Matching for Fine-Grained Controllable Talking Portrait Synthesis
College of Artificial Intelligence and Automation, Hohai University（人工智能与自动化学院，河海大学）；College of DaYu, Hohai University（大禹学院，河海大学）；College of Water Conserwancy and Hydropower Engineering, Hohai University（水利水电工程学院，河海大学）；College of Computer Science and Technology, Zhejiang University of Technology（计算机科学与技术学院，浙江工业大学）
提出DEMO框架，通过运动自编码器构建解耦潜空间并结合流匹配生成模型，实现音频驱动说话人肖像视频中唇部、头部姿态和视线的高保真细粒度控制。
2025-10-12 cs.AI cs.CV
Adversarial Distribution Matching for Diffusion Distillation Towards Efficient Image and Video Synthesis
Sun Yat-Sen University（中山大学）；ByteDance Seed Vision（字节跳动种子视觉）；Guangdong Provincial Key Laboratory of Information Security Technology（广东省信息安全技术重点实验室）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China（教育部机器智能与高级计算重点实验室）；Pazhou Lab (HuangPu), Guangzhou, China（琶洲实验室（黄埔），广州，中国）
针对 DMD 因逆 KL 散度导致的模式崩溃问题，本文提出 ADM 对抗分布匹配及 DMDX 流程，在图像与视频生成模型上实现更高效的单步和多步蒸馏。
2025-07-24 cs.CV
Few-shot Acoustic Synthesis with Multimodal Flow Matching
Center for Robotics, Mines Paris - PSL University（机器人中心，巴黎 Mines - PSL 大学）
本文提出FLAC方法，通过流匹配生成少样本声学合成，结合空间、几何和声学线索生成新的场景房间脉冲响应，优于现有八样本基线。
2026-03-19 cs.CV cs.SD eess.AS
Polarimetric Thermal to Visible Face Verification via Self-Attention Guided Synthesis
Johns Hopkins University（约翰斯·霍普金斯大学）；U.S. Army CCDC Army Research Laboratory（美国陆军CCDC陆军研究实验室）
偏振热到可见人脸验证需要匹配包含显著域差异的两个图像。最近的几种方法试图从热图像中合成可见的人脸，用于交叉模式匹配。在本文中，我们采取了一种不同的方法，而不是只集中在合成可见的热面孔，我们还建议从可见的面孔合成热面孔。我们的直觉是基于这样一个事实，即热图像也包含一些关于人的鉴别信息，以进行验证。从原始图像和合成图像中提取来自预训练卷积神经网络（CNN）的深度特征。然后将这些特征融合以生成用于验证的模板。所提出的合成网络是基于自注意生成对抗网络（SAGAN），它基本上允许有效的注意力引导的图像合成。在ARL极化热人脸数据集上的大量实验表明，该方法达到了最先进的性能。
2019-04-15 cs.CV
FMS$^2$: Unified Flow Matching for Segmentation and Synthesis of Thin Structures
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出FMS$^2$框架，通过SegFlow和SynFlow模块提升薄结构分割与合成性能，改进连续性和锐度，提升跨域泛化能力。
2026-03-14 cs.CV
Texture synthesis via projection onto multiscale, multilayer statistics
Michigan State University（密歇根州立大学）
提出了一种基于多尺度、多层特征提取器的纹理合成模型。在模型中，纹理由一组从不同层、尺度和方向的ReLU小波系数计算的统计数据表示。通过迭代投影算法匹配目标统计信息来合成新图像。我们解释了在我们的模型中使用的不同类型的预定义的小波滤波器的必要性和多层结构的图像合成的优点。我们通过生成高质量纹理的样本并提供对纹理图像深度表示的见解来展示我们模型的强大功能。
2021-05-22 cs.CV
JAM-Flow: Joint Audio-Motion Synthesis with Flow Matching
Yonsei University（延世大学）；CineLingo；Seoul National University（首尔国立大学）
本文提出JAM-Flow框架，通过流匹配和多模态扩散变压器架构，实现面部运动与语音的联合合成与条件生成，支持文本到说话人生成、音频驱动动画等多种任务。
2026-05-15 cs.CV cs.SD eess.AS
Improved Distribution Matching Distillation for Fast Image Synthesis
Massachusetts Institute of Technology（麻省理工学院）；Adobe Research（奥多比研究院）
提出DMD2，通过消除回归损失、引入GAN损失和多步采样改进分布匹配蒸馏，实现单步图像合成，FID显著降低并超越教师模型。
2024-05-24 cs.CV
EchoLVFM: One-Step Video Generation via Latent Flow Matching for Echocardiogram Synthesis
本文提出EchoLVFM框架，通过潜在空间单步生成可控的超声心动图视频，提升效率并保持视觉质量，实验证明其在单帧条件下的视频质量与专家判断准确率。
2026-03-14 cs.AI cs.CV eess.IV
Example-based Motion Synthesis via Generative Motion Matching
Shandong University（山东大学）；Tencent AI Lab（腾讯人工智能实验室）；ETH Zurich（苏黎世联邦理工学院）；Peking University（北京大学）
本文提出无需训练的生成模型 GenMM，通过双向视觉相似性和多阶段生成式运动匹配，从少量示例快速合成高质量多样化运动，并支持补全、关键帧引导、无限循环与重组。
2023-06-01 cs.CV cs.GR
CTFlow: Video-Inspired Latent Flow Matching for 3D CT Synthesis
Friedrich–Alexander University Erlangen Nürnberg（埃弗里希-亚历山大大学埃尔朗根-纽伦堡）；Department of Computing, Imperial College London（计算系，帝国理工学院伦敦分校）
CTFlow提出一个0.5B参数的潜在流匹配Transformer，以临床报告为条件，结合FLUX的A-VAE与CT-Clip编码器，通过自回归切片序列生成实现3D CT体积合成，并在时间一致性、多样性和图文对齐上优于现有方法。
2025-08-18 cs.AI cs.CV
Real-Time Person Image Synthesis Using a Flow Matching Model
Department of Industrial Engineering, Yonsei University（延世大学工业工程系）；Next-Generation Semiconductor, Seoul National University（首尔国立大学下一代半导体研究所）
本文提出基于流匹配的实时人物图像合成模型 RPFM，在 DeepFashion 上以轻微精度损失换取超过两倍的生成速度提升，实现接近实时的 PGPIS。
2025-05-06 cs.AI cs.CV
Flow Matching for Medical Image Synthesis: Bridging the Gap Between Speed and Quality
University of British Columbia（不列颠哥伦比亚大学）
本文提出基于最优传输流匹配的医学图像合成方法，通过引入更直的分布映射显著加速推理并提升质量，支持2D/3D多模态及条件机制，适用于图像生成与增强，并开源代码与数据集。
2025-03-01 cs.CV eess.IV
Pre- to Post-Contrast Synthesis of Breast DCE-MRI using Latent Bridge Matching
Maastricht University（马斯特里赫特大学）；GROW – Research Institute for Oncology and Reproduction（GROW肿瘤与生殖研究所）
该研究提出潜在桥匹配框架，在MAMA-SYNTH挑战中从乳腺DCE-MRI造影前图像合成峰值增强图像，肿瘤条件变体性能优于造影前条件及LDM基线，为虚拟造影增强提供新方案。
2026-08-12 cs.CV eess.IV
Surf2CT: Cascaded 3D Flow Matching Models for Torso 3D CT Synthesis from Skin Surface
Massachusetts General Hospital and Harvard Medical School（麻省总医院和哈佛医学院）
Surf2CT提出一种级联3D流匹配框架，通过表面补全、粗略CT合成和超分辨率三阶段，仅利用外部躯干扫描和人口统计数据即可生成高保真3D CT体积，为非侵入性内部解剖成像开辟了新范式。
2025-05-29 cs.CV eess.IV
Learning Energy-Based Models in High-Dimensional Spaces with Multi-scale Denoising Score Matching
Redwood Center for Theoretical Neuroscience（雷德伍德理论神经科学中心）；University of California Berkeley（加州大学伯克利分校）；Berkeley AI Research（伯克利人工智能研究院）；Helen Wills Neuroscience Institute（海伦·威尔斯神经科学研究所）
基于能量的模型（EBM）将非归一化对数概率分配给数据样本。该功能具有多种应用，例如样本合成、数据去噪、样本恢复、离群值检测、贝叶斯推理等等。但是使用标准极大似然训练EBM非常慢，因为它需要从模型分布中采样。分数匹配可能会解决这个问题。特别地，去噪分数匹配\citep{vincent2011connection}已成功地用于训练EBM。使用具有一个固定噪声水平的噪声数据样本，这些模型学习速度快，并在数据去噪\citep{saremi2019neural}中产生良好的结果。然而，这种模型在高维数据的高质量样本合成中的演示缺乏。最近，\citet{song2019generative}已经表明，通过去噪得分匹配训练的生成模型在使用被多级噪声破坏的数据样本进行训练时，可以实现出色的样本合成。在这里，我们提供的分析和经验证据表明，当数据维度很高时，使用多个噪声水平进行训练是必要的。利用这一洞察力，我们提出了一种新的EBM训练与多尺度去噪得分匹配。我们的模型表现出与最先进的技术（如GANs）相当的数据生成性能，并为EBM设定了新的基线。该模型还提供了密度信息，并在图像修复任务中表现良好。
2019-12-20 cs.CV cs.LG stat.ML
Equivariant Latent Alignment via Flow Matching under Group Symmetries
University of Illinois Urbana-Champaign, Illinois, USA（伊利诺伊大学厄巴纳-香槟分校）；Seoul National University, Seoul, Korea（首尔国立大学）
针对现有方法在潜在空间中存在的等变错位问题，提出基于流的残差潜在流框架，通过纠正错位潜在表示来增强旋转群SO(n)下的等变一致性，提升新视角合成质量。
2026-06-02 cs.CV cs.LG
MammoFlow: Multiview Mammogram Synthesis with Anatomically Consistent Flow Matching
Department of Biomedical Engineering, Yale University（耶鲁大学生物医学工程系）；Department of Radiology & Biomedical Imaging, Yale University（耶鲁大学放射学与生物医学成像系）
提出MammoFlow方法，利用CC与MLO视图间的几何关系，通过对齐模块和基于EMD的自一致性损失，在预训练流匹配模型中生成解剖一致的多视图乳腺X光图像，提升下游分类AUC 5%。
2026-06-26 cs.AI cs.CV cs.LG
From 2D to 3D Geodesic-based Garment Matching
Computer Vision Center（计算机视觉中心）；Univ. Autònoma de Barcelona (UAB)（巴塞罗那自治大学）；Universitat de Barcelona（巴塞罗那大学）；Universitat Oberta de Catalunya（加泰罗尼亚开放大学）；University of Tartu（塔尔图大学）；Hasan kalyoncu University（哈桑·卡利翁库大学）
提出了一种基于高斯混合模型和薄板样条（TPS）的二维到三维服装纹理重构方法。将个人的自动分割的服装与新的源服装匹配并渲染，从而产生增强图像，其中目标服装已经通过使用源服装的纹理被重新纹理化。我们将问题分为基于高斯混合模型的服装边界匹配，然后使用通过测地线路径提取的表面拓扑插值内部点，这导致比标准方法更真实的结果。我们通过均方误差（MSE）定量评估和比较了我们的系统，并使用平均意见得分（MOS）定性，显示了我们收集的数据集上所提出的方法的好处。
2018-09-21 cs.CV
Geodesic-informed Generative Diffusion Model For Topology-preserved Image Video Generation
University of Virginia（弗吉尼亚大学）；Yale School of Medicine（耶鲁医学院）
针对现有生成模型忽略几何拓扑一致性和形变不可解释的问题，提出IGG框架，将保持拓扑的测地线原理融入扩散生成过程，在测地线形变空间中合成多样样本，实现可解释且物理信息丰富的图像视频生成。
2026-09-09 cs.CV cs.GR cs.LG
Parallelised Differentiable Straightest Geodesics for 3D Meshes
Imperial College London（帝国理工学院伦敦分校）
本文提出一种并行可微的3D网格最直测地线方法，通过GPU实现并设计两种不同求导方案，提升在非欧几里得域上的学习与优化性能。
2026-03-16 cs.AI cs.CV cs.GR
Fast geodesic shooting for landmark matching using CUDA
通过测地线拍摄的地标匹配是生物医学中许多基于配准的应用的先决条件。测地线射击已被开发为一种解决方案的方法，并制定了作为一个最优控制问题的哈密顿框架下的同构注册。在这个框架中，与地标位置q0固定，问题只依赖于初始动量p0和演变通过时间步长根据一组约束方程。给定初始p0，算法使q和p向前流过时间步，基于点集失配和动能计算损失，通过时间反向传播以计算p0上的梯度并更新它。在向前和向后传递中，必须计算和边缘化界标点K上的成对核和附加的中间项，导致O（N2）计算复杂性，N是要注册的点数。对于医学图像应用，N可能在数千的范围内，使得该操作在计算上昂贵。在这项工作中，我们提出了一个CUDA实现的基础上共享内存减少。我们的实现了近2个数量级的速度相比，一个天真的基于CPU的实现，除了提高数值精度以及更好的注册结果。
2019-07-10 cs.CV
Two-View Matching with View Synthesis Revisited
Czech Technical University in Prague（布拉格捷克理工大学）
宽基线匹配的问题，重点考虑极端的观点变化。我们介绍了使用仿射协变检测器的视图合成来解决这些问题，并表明与Hessian-Affine或MSER检测器的匹配优于最先进的ASIFT。为了最大限度地减少视图合成所造成的速度损失，我们提出了按需匹配视图合成算法（MODS），该算法使用越来越多的合成图像和更多（耗时）的检测器，直到可靠的几何估计是可能的。我们的实验表明，MODS算法解决的问题超出了国家的最先进的，但在速度上是可比的标准宽基线匹配简单的问题。次要的贡献包括一个改进的方法，尝试对应选择，适用于与和没有视图合成和视图合成设置大大提高MSER鲁棒性模糊和规模的变化，增加其运行时间只有10%。
2013-11-11 cs.CV
Beyond Euclidean Prototypes: Spectral Disentanglement and Geodesic Matching for Few-Shot Medical Image Segmentation
School of Microelectronics and Communication Engineering, Chongqing University（重庆大学微电子与通信工程学院）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
本文提出Spectral-Geodesic Prototype Network (SGP-Net)，通过谱原型银行和测地匹配器解决少样本医学图像分割中的原型纠缠和拓扑盲匹配问题，实现对形状、纹理和边界线索的解耦编码。
2026-05-18 cs.CV
Wormhole Loss for Partial Shape Matching
Technion - Israel Institute of Technology（以色列理工学院）
针对部分形状匹配中点的选取及距离有效性验证难题，提出基于虫洞损失的新准则，结合三类距离关系优化匹配，作为损失函数训练网络取得当前最优结果。
2024-10-30 cs.CV
Geodesic Prototype Matching via Diffusion Maps for Interpretable Fine-Grained Recognition
Hangzhou Dianzi University（杭州电子科技大学）；Zhejiang University（浙江大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
本文提出通过扩散映射的测地原型匹配方法，用于可解释的细粒度识别，通过内在几何结构提升原型的语义对应性。
2026-03-01 cs.CV
Generalizable Novel-View Synthesis using a Stereo Camera
POSTECH（浦项科技大学）；GSAI（人工智能研究生院）；CSE（计算机科学与工程系）
本文提出首个针对多视图立体相机图像的泛化视图合成框架StereoNeRF，通过集成立体匹配技术实现高质量几何重建，并构建首个立体相机多视图数据集StereoNVS，实验证明其超越现有方法。
2024-04-21 cs.CV
Neighbor Correspondence Matching for Flow-based Video Frame Synthesis
University of Science and Technology of China（中国科学技术大学）；Microsoft Research China（微软亚洲研究院）
视频帧合成是视频处理中的一项重要技术，它包括内插和外推两部分，可以应用于各种场景。然而，大多数现有方法不能很好地处理小对象或大运动，特别是在高分辨率视频（例如4K视频）中。为了消除这种限制，我们引入了一个邻居对应匹配（NCM）算法，基于流的帧合成。由于当前帧在视频帧合成中不可用，因此以与当前帧无关的方式执行NCM以在每个像素的时空邻域中建立多尺度对应。基于NCM强大的运动表示能力，我们进一步提出了估计中间流的帧合成在一个异构的粗到细的计划。具体而言，粗尺度模块被设计为利用相邻对应来捕获大的运动，而细尺度模块在计算上更有效以加速估计过程。这两个模块都是逐步训练的，以消除训练数据集和真实世界视频之间的分辨率差距。实验结果表明，NCM在几个基准测试中达到了最先进的性能。此外，NCM还可以应用于各种实际场景，如视频压缩，以获得更好的性能。
2022-07-14 cs.CV
Elastic Registration of Geodesic Vascular Graphs
University College London（伦敦大学学院）；Universidad Nacional de Colombia（哥伦比亚国立大学）
血管图可以嵌入许多高级特征，从形态参数到功能生物标志物，并且代表了纵向和横截面临床推断的宝贵工具。然而，这只有在图表共同登记在一起时才是可行的，从而可以进行连贯的多重比较。因此，血管拓扑结构的稳健配准是分组分析的关键技术。在这项工作中，我们提出了一个端到端的血管图配准方法，对齐网络与非线性几何形状和拓扑变形，通过引入一种新的过连接测地线血管图制定，而不强制执行任何解剖先验约束。三维弹性图形配准，然后执行与国家的最先进的图形匹配方法中使用的计算机视觉。使用合成和真实血管造影的图形发现血管匹配的有前途的结果。观察和未来的设计进行了讨论，对潜在的临床应用。
2018-09-14 cs.CV
ViewSynth: Learning Local Features from Depth using View Synthesis
Siemens Corporate Technology（西门子企业技术中心）；Rutgers University（罗格斯大学）
廉价商品深度传感器的快速发展使得深度图像模态中的关键点检测和匹配成为计算机视觉中的重要问题。尽管最近的RGB局部特征学习方法有了很大的改进，但直接在深度模态中调整它们会导致性能不令人满意。这些方法中的大多数都没有明确地推理图像中的可见像素之外的内容。为了解决这些方法的局限性，我们提出了一个框架ViewSynth，以共同学习：（1）使用所提出的对比匹配损失从深度图像中获得视点不变的关键点描述符，以及（2）使用所提出的视图合成模块和视图合成损失从不同视点合成深度图像。通过学习视图合成，我们明确地鼓励特征提取器不仅对可见的信息进行编码，而且还对场景的遮挡部分进行编码。我们证明，在深度模态，ViewSynth优于国家的最先进的深度和RGB本地特征提取技术在3D关键点匹配和摄像机定位任务的RGB-D数据集7-场景，TUM RGBD和CoRBS在大多数情况下。我们还展示了ViewSynth在不同数据集的3D关键点匹配中的通用性。
2020-09-01 cs.CV
InLoc: Indoor Visual Localization with Dense Matching and View Synthesis
Tokyo Institute of Technology（东京工业大学）；ETH Zürich（苏黎世联邦理工学院）；CIIRC, CTU in Prague（布拉格捷克理工大学信息学、机器人学与网络学捷克研究所）；Inria（法国国家信息与自动化研究所）；Microsoft（微软）
我们试图预测6自由度（6DoF）的查询照片相对于一个大的室内3D地图的姿态。这项工作的贡献是三方面的。首先，我们开发了一种新的大规模视觉定位方法针对室内环境。该方法沿着三个步骤进行：（i）候选姿态的有效检索，以确保大规模环境的可扩展性，（ii）姿态估计使用密集匹配，而不是本地功能，以处理无纹理的室内场景，以及（iii）通过虚拟视图合成的姿态验证，以应对视点，场景布局和遮挡物的显着变化。其次，我们收集了一个新的数据集与参考6DoF构成大规模室内定位。查询照片由移动电话在与参考3D地图不同的时间捕获，从而呈现真实的室内定位场景。第三，我们证明，我们的方法在这些新的具有挑战性的数据上显着优于当前最先进的室内定位方法。
2018-04-08 cs.CV
Neural View Synthesis and Matching for Semi-Supervised Few-Shot Learning of 3D Pose
Johns Hopkins University（约翰斯·霍普金斯大学）
我们研究的问题，学习估计的3D对象的姿势从一些标记的例子和未标记的数据的集合。我们的主要贡献是一个学习框架，神经视图合成和匹配，它可以可靠地将3D姿态注释从标记图像转移到未标记图像，尽管有看不见的3D视图和讨厌的变化，如对象形状，纹理，照明或场景上下文。在我们的方法中，对象表示为三维立方体网格组成的特征向量在每个网格顶点。该模型是从几个标记的图像初始化，并随后用于合成看不见的三维视图的特征表示。合成视图与未标记图像的特征表示相匹配，以生成3D姿态的伪标签。伪标记的数据又用于训练特征提取器，使得每个网格顶点处的特征在对象的变化的3D视图上更加不变。我们的模型以EM类型的方式进行训练，在增加特征提取器的3D姿态不变性和通过神经视图合成和匹配注释未标记数据之间交替。我们证明了所提出的半监督学习框架的有效性，三维姿态估计的PASCAL 3D+和KITTI数据集。我们发现，我们的方法优于所有基线的一个很大的保证金，特别是在一个极端的Few-Shot设置，只有7个注释的图像。值得注意的是，我们观察到我们的模型在涉及部分遮挡的分布外场景中也实现了出色的鲁棒性。
2021-10-27 cs.CV
Semi-synthesis: A fast way to produce effective datasets for stereo matching
SenseTime Research（商汤科技研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
立体匹配是计算机视觉中的一个重要问题，几十年来一直受到人们的关注。近年来，利用卷积神经网络（CNN）的数据驱动方法不断将立体匹配推向新的高度。然而，数据驱动的方法需要大量的训练数据，这是不容易的任务，真正的立体数据，由于注释的困难，每像素的地面实况视差。虽然合成数据集被提出来填补大数据需求的空白，但由于合成数据与真实数据之间的域差异，仍然需要对真实数据集进行微调。在本文中，我们发现，在合成数据集，接近真实场景的纹理渲染是一个关键因素，以提高立体匹配性能，而接近真实场景的三维建模是次要的。然后，我们提出了半合成，一个有效的和快速的方法来合成大量的数据与接近真实场景的纹理，以尽量减少之间的差距合成数据和真实数据。大量的实验表明，与我们提出的半合成数据集训练的模型实现了显着更好的性能比一般的合成数据集，特别是在真实数据基准有限的训练数据。通过对真实数据集的进一步微调，我们还在Middlebury上实现了SOTA性能，并在KITTI和ETH3D数据集上取得了竞争性结果。
2021-01-26 cs.CV
Structure Consistent Gaussian Splatting with Matching Prior for Few-shot Novel View Synthesis
Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Peng Cheng Laboratory（鹏城实验室）；University of Birmingham（伯明翰大学）
针对少样本新视角合成中结构退化问题，提出SCGaussian方法，通过混合高斯表示和匹配先验约束高斯位置，实现高效且高质量的场景重建。
2024-11-06 cs.CV
Matching with AffNet based rectifications
Czech Technical University in Prague（布拉格捷克理工大学）；HOVER Inc.（HOVER公司）
我们考虑的问题下，显着的视点变化与视图合成的两个视图匹配。我们提出了两种新的方法，最大限度地减少视图合成开销。第一个名为DenseAffNet，使用AffNet的密集仿射形状估计，这允许它对图像进行分区，仅用单个仿射映射纠正每个分区。第二个名为DepthAffNet，它结合了深度图和仿射形状估计的信息，为不同的图像分区生成不同的校正仿射图集。DenseAffNet比最先进的更快，在通用场景上更准确。DepthAffNet在包含大型飞机的场景中与最先进的技术水平相当。评估是在3个公共数据集上进行的- EVD数据集，强视点变化数据集和IMC摄影旅游数据集。
2022-07-29 cs.CV
Learning landmark geodesics using Kalman ensembles
本文研究了两组地标之间的同态测地线匹配问题，目标是找到一个通过其群作用映射的同态。众所周知，地标的运动以及由此的自同构可以由初始动量编码，从而导致公式化，其中地标匹配问题可以作为在这样的动量上的优化问题来解决。我们的工作的新颖之处在于在应用程序的导数免费贝叶斯逆方法学习的最佳动量编码的模板和目标之间的同构映射。我们采用的方法是集合卡尔曼滤波器，扩展的卡尔曼滤波器的非线性观测算子。我们描述了一个有效的实现算法，并显示了几个数值结果为各种目标形状。
2021-03-25 cs.CV cs.LG stat.ML
Boosting Global-Local Feature Matching via Anomaly Synthesis for Multi-Class Point Cloud Anomaly Detection
State Key Laboratory of Intelligent Manufacturing Equipment and Technology, Huazhong University of Science and Technology（智能制造装备与技术国家重点实验室，华中科技大学）
针对多类别点云中正常与异常特征混淆的问题，本文提出 GLFM，通过异常合成、全局-局部记忆库和特征距离匹配提升无监督异常检测性能。
2025-05-12 cs.CV
Periodicity Extraction using Superposition of Distance Matching Function and One-dimensional Haar Wavelet Transform
New Horizon College of Engineering（新视野工程学院）；Government Engineering College（政府工程学院）；University of Mysore（迈索尔大学）
纹理的周期性是纹理的重要视觉特征之一，常被用作结构层次上纹理识别的一个度量。纹理的周期性知识在纹理合成、纹理压缩以及中楣和墙纸的设计中是非常重要的。本文提出了一种基于距离匹配函数（DMF）和小波分解叠加的周期性提取方法。所有的DMFs进行单级Haar小波分解，以获得近似和详细的系数。提取的系数有助于确定行和列方向的周期性。我们说明了实用性和有效性的纹理合成应用程序中所提出的方法。
2013-11-15 cs.CV
Bi-modality medical images synthesis by a bi-directional discrete process matching method
Shanghai Jiao Tong University（上海交通大学）
本文提出双向离散过程匹配模型Bi-DPM，通过同时利用前向与后向ODE流并在少数离散时间步上增强中间图像一致性，高效实现双模态医学图像合成，在MRI T1/T2和CT/MRI数据集上优于现有流方法。
2025-07-03 cs.CV cs.LG eess.IV
Hierarchical Visual Relocalization with Nearest View Synthesis from Feature Gaussian Splatting
Southern University of Science and Technology（南方科技大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出SplatHLoc框架，利用特征高斯点云进行层次视觉重定位，通过自适应视角检索和混合特征匹配提升重定位精度与鲁棒性。
2026-03-31 cs.CV
Novel-View Human Action Synthesis
Queen Mary University of London（伦敦玛丽女王大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
新颖视角人体动作合成的目的是从虚拟视角合成身体的运动，从真实视角给出视频。我们提出了一种新的3D推理来合成目标视点。我们首先估计目标体的3D网格，并将粗糙纹理从2D图像转移到网格。由于帧分辨率或遮挡，这种转移可能会在网格上生成稀疏纹理。我们产生一个半密集的纹理网格传播的纹理都在本地，在当地的测地线邻域，和全球范围内，跨越对称的语义部分。接下来，我们介绍了一个基于上下文的生成器，学习如何纠正和完成残留的外观信息。这允许网络独立地专注于学习前景和背景合成任务。我们在公共NTU RGB+D数据集上验证了所提出的解决方案。代码和资源可在https://bit.ly/36u3h4K上获得。
2020-10-08 cs.CV
