Joint Graph Learning and Matching for Semantic Feature Correspondence
Beijing Jiaotong University（北京交通大学）；Stony Brook University（石溪大学）
近年来，基于图神经网络（GNN）模型的深度图匹配方法在语义特征匹配方面取得了很大的进展。然而，这些方法通常依赖于启发式生成的图模式，这可能会引入不可靠的关系，损害匹配性能。在本文中，我们提出了一个联合\emph{graph learning and matching}网络，名为GLAM，探索可靠的图结构，以提高图匹配。GLAM采用纯基于注意力的框架进行图学习和图匹配。具体而言，它采用两种类型的注意力机制，自我注意和交叉注意的任务。自注意力发现特征之间的关系，并进一步更新学习结构上的特征表示;交叉注意力计算两个特征集之间的交叉图相关性，以匹配特征重建。此外，最终的匹配解决方案是直接从交叉注意层的输出，而不采用特定的匹配决策模块。在三个流行的视觉匹配基准（Pascal VOC，Willow Object和SPair-71 k）上对所提出的方法进行了评估，并且在所有基准上的显著裕度都优于以前最先进的图匹配方法。此外，通过我们的模型学习的图模式被验证能够显着增强以前的深度图匹配方法，通过用学习的图结构替换它们的手工图结构。
2021-11-17 cs.CV
Joint Flow Matching Enables Continuous Dose-Conditioned Cell Morphing
University of Zurich（苏黎世大学）；University Children’s Hospital Zurich（苏黎世大学儿童医院）
该研究提出联合流匹配方法，通过双时间步公式建模细胞隐变量与药物浓度，实现连续剂量条件下的单细胞变形，在两种化合物的各浓度指标上表现优于或媲美基线，还具备浓度估计等离散方法无法实现的能力。
2026-08-18 cs.CV
Joint detection and matching of feature points in multimodal images
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Bar Ilan University（巴伊兰大学）
在这项工作中，我们提出了一种新的卷积神经网络（CNN）架构的联合检测和匹配的图像中的特征点，由不同的传感器使用一个单一的前向通过。与经典方法（SIFT等）相比，所得到的特征检测器与特征描述符紧密耦合，其中检测阶段在计算描述符之前并且不同于计算描述符。我们的方法利用两个CNN子网络，第一个是连体CNN，第二个，由双非权重共享CNN。这允许多模态图像块中的联合和不联合线索的同时处理和融合。实验表明，所提出的方法优于当代国家的最先进的计划时，应用到多个数据集的多模态图像。它还表明，提供可重复的特征点检测跨多传感器图像，优于国家的最先进的检测器。据我们所知，这是第一个统一的方法来检测和匹配这样的图像。
2021-06-16 cs.CV
Learning the Distribution of Errors in Stereo Matching for Joint Disparity and Uncertainty Estimation
Stevens Institute of Technology（史蒂文斯理工学院）
提出一种用于深度立体匹配联合视差与不确定性估计的新损失函数，通过KL散度项使不确定性分布匹配视差误差分布，并采用可微软直方图技术近似分布，在大型数据集上显著提升了视差与不确定性预测性能。
2023-03-31 cs.CV
StereoGAN: Bridging Synthetic-to-Real Domain Gap by Joint Optimization of Domain Translation and Stereo Matching
Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
大规模的合成数据集有利于立体匹配，但通常会引入已知的域偏差。虽然以CycleGAN为代表的无监督图像到图像翻译网络在处理域间隙方面表现出巨大的潜力，但由于翻译后的像素失真和立体匹配问题，将该方法推广到立体匹配并非易事。在本文中，我们提出了一个端到端的训练框架与域翻译和立体匹配网络来应对这一挑战。首先，在我们的端到端框架中，域转换和立体匹配网络之间的联合优化使前者最大限度地促进后者。其次，该框架引入了两种新的损失，即，双向多尺度特征重投影损失和相关性一致性损失，以帮助将所有合成立体图像转换为真实图像，并保持极线约束。上述两个贡献的有效结合导致令人印象深刻的立体一致的翻译和视差估计精度。此外，增加了模式搜索正则化项，以赋予合成到真实的翻译结果更高的细粒度多样性。大量的实验表明，所提出的框架的有效性，立体匹配的桥梁合成到真正的领域差距。
2020-05-05 cs.CV
Show, Match and Segment: Joint Weakly Supervised Learning of Semantic Matching and Object Co-segmentation
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Chiao Tung University（国立交通大学）；University of California, Merced（加州大学默塞德分校）；Google Research（谷歌研究院）；Yonsei University（延世大学）；Virginia Tech（弗吉尼亚理工学院暨州立大学）
我们提出了一种方法，用于联合匹配和分割同一类别的图像集合内的对象实例。与现有的孤立地处理语义匹配和对象共分割任务的算法相比，我们的方法利用了这两项任务的互补性。我们的方法的关键见解是双重的。首先，从语义匹配估计的密集对应字段提供监督对象共同分割，通过执行从一对图像的预测掩模之间的一致性。其次，从对象共分割的预测对象掩模反过来又允许我们减少由于背景杂波的不利影响，以提高语义匹配。我们的模型是端到端可训练的，不需要手动注释的对应关系和对象掩码的监督。我们在五个基准数据集上验证了我们的方法的有效性：TSS，Internet，PF-PASCAL，PF-WILLOW和SPair-71 k，并表明我们的算法在语义匹配和对象共分割任务上都优于最先进的方法。
2020-03-29 cs.CV
JamMa: Ultra-lightweight Local Feature Matching with Joint Mamba
School of Automation, Southeast University（东南大学自动化学院）
提出基于Mamba的超轻量级特征匹配器JamMa，通过联合扫描合并策略JEGO实现两图高频交互与全局感受野，在参数和计算量减半的情况下性能优于基于注意力的匹配器。
2025-03-05 cs.CV
Joint Multi-view Face Alignment in the Wild
Imperial College London（伦敦帝国学院）
用于面部标志估计的事实上的算法涉及运行面部检测器，其中随后的可变形模型拟合在限界框上。这包括两个基本问题：i）独立地执行检测和可变形拟合步骤，而检测器可能不为拟合步骤提供最适合的初始化，ii）面部外观在不同姿势之间变化很大，这使得可变形面部拟合非常具有挑战性，因此必须使用不同的模型（\eg，一个用于轮廓，一个用于正面）。在这项工作中，我们提出了第一个，据我们所知，联合多视图卷积网络来处理野外人脸的大姿态变化，并优雅地桥接人脸检测和面部地标定位任务。现有的联合人脸检测和地标定位方法只集中在一个非常小的地标集。相比之下，我们的方法可以检测和对齐大量的地标半额叶（68个地标）和轮廓（39个地标）的脸。我们在大量数据集上评估了我们的模型，包括标准的静态图像数据集，如IBUG，300 W，COFW，以及最新的Menpo Benchmark半正面和侧面脸。在300VW基准测试中，变形人脸跟踪的最新方法得到了显着改进。我们还展示了FDDB和MALF数据集上人脸检测的最新结果。
2017-08-20 cs.CV
AffineGlue: Joint Matching and Robust Estimation
ETH Zurich（苏黎世联邦理工学院）；CTU in Prague（布拉格捷克理工大学）；HOVER Inc.（HOVER公司）；Microsoft Mixed Reality and AI Zurich Lab（微软苏黎世混合现实与人工智能实验室）
提出AffineGlue方法，通过单点最小求解器联合双视图特征匹配与鲁棒估计，推导仅需单个仿射对应和重力先验的单应性求解器并训练网络剔除低质对应，在真实数据集上显著优于SOTA。
2023-07-28 cs.CV
Globally Optimal Joint Image Segmentation and Shape Matching Based on Wasserstein Modes
提出了一种变分目标分割和形状匹配的联合泛函。该配方是基于最佳运输w.r.t.几何距离和局部特征相似度。通过引入描述形状模板的变换和变形的自由度来实现对象典型统计变化的几何不变性和建模。形状模型在数学上等同于基于轮廓的方法，但是可以在轮廓和区域表示之间没有转换的情况下执行推断，从而允许与其他凸分割方法组合并简化优化。虽然整体功能是非凸的，非凸性仅限于一个低维变量。我们提出了一个局部最优的交替优化计划和一个全局最优的分支定界计划，基于自适应凸松弛。结合这两种方法，可以消除微妙的初始化问题固有的许多轮廓为基础的方法，同时保持计算实用。通过数值实验，说明和比较了该泛函的性质，它适应各种输入数据结构的能力和不同的优化方案。
2014-12-29 cs.CV
Adding Additional Control to One-Step Diffusion with Joint Distribution Matching
HKUST（香港科技大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；HKUST (GZ)（香港科技大学（广州））
本文提出联合分布匹配（JDM）方法，通过最小化图像-条件联合分布的反向KL散度并解耦保真度与条件学习，使单步蒸馏模型无需重新蒸馏即可适配新控制条件，并改进CFG与人类反馈学习集成，在单步文本到图像合成中超越多步ControlNet等基线。
2025-03-12 cs.CV
LightGlueStick: a Fast and Robust Glue for Joint Point-Line Matching
ETH Zurich（苏黎世联邦理工学院）；Microsoft Spatial AI Lab（微软空间人工智能实验室）；Qualcomm XR Labs Europe（高通XR欧洲实验室）；Lund University（隆德大学）
针对点线联合匹配模型 GlueStick 计算繁重、难以实时部署的问题，本文提出轻量级 LightGlueStick，并通过 ALMP 显式建模线段连通性，在多个基准上达到新的最先进性能。
2025-10-18 cs.CV
Local Structure Matching Driven by Joint-Saliency-Structure Adaptive Kernel Regression
Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）；Shanghai Renji Hospital, School of Medicine, Shanghai Jiaotong University（上海交通大学医学院附属上海仁济医院）；University of the West of England（西英格兰大学）
对于非刚性图像配准，匹配具有丢失的对应性和/或局部大变形的特定结构（或离群值）可能比匹配两个图像中具有小变形的共同结构更困难。现有的大多数工作严重依赖于离群分割，以消除配准中的离群效应。此外，这些作品没有同时处理丢失的对应和局部大变形。本文将非刚性图像配准定义为一种局部自适应核回归算法，它在多分辨率块匹配中从运动图像的稀疏变形向量中局部重构运动图像的稠密变形向量。核回归的核函数使其形状和方向适应参考图像的结构，以收集更多相同结构的变形向量样本用于迭代回归计算，从而运动图像的局部变形可以符合参考图像的局部结构。为了估计异常值周围的局部变形，我们使用联合显着图，突出显示两幅图像中相应的显着结构（称为联合显着结构，JSS），通过在核回归中强调这些JSS的稀疏变形向量来指导密集变形重建。实验结果表明，与其他5种非刚性配准算法相比，该方法采用局部JSS自适应核回归算法，在所有具有离群结构的图像对的配准中取得了几乎最好的性能.
2013-04-15 cs.CV
Parts2Words: Learning Joint Embedding of Point Clouds and Texts by Bidirectional Matching between Parts and Words
Jilin University（吉林大学）；Zhejiang University（浙江大学）；Wayne State University（韦恩州立大学）
针对3D形状2D视图表示的结构歧义问题，提出Parts2Words方法，通过点云部件与文本单词的双向匹配学习联合嵌入，在Text2Shape数据集多模态检索任务上准确率显著优于SOTAs。
2023-04-02 cs.CV
Consistent Multiple Graph Matching with Multi-layer Random Walks Synchronization
Korea Electronics Technology Institute（韩国电子技术研究院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
在考虑匹配一致性的前提下，解决了具有复杂性质的多个图之间的对应搜索问题。我们通过组合多个属性来描述每对图，然后在一个统一的框架中联合匹配它们。本文的主要贡献是双重的。首先，我们利用一组多层结构来描述多属性图的全局对应搜索问题。所提出的配方描述每对图作为一个多层结构，并共同考虑整个匹配对。其次，我们提出了一种基于多层随机游走框架的鲁棒多图匹配方法。所提出的框架将随机游走者的运动分解，并将它们引导到一致的匹配候选者。在我们广泛的实验中，所提出的方法表现出强大的和准确的性能超过国家的最先进的多个图匹配算法。
2018-03-15 cs.CV
P2-Net: Joint Description and Detection of Local Features for Pixel and Point Matching
University of Oxford（牛津大学）；National University of Defense Technology（国防科技大学）；Zhejiang University（浙江大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；University of Edinburgh（爱丁堡大学）；Durham University（杜伦大学）；Wuhan University（武汉大学）
准确描述和检测2D和3D关键点对于在图像和点云之间建立对应关系至关重要。尽管已经提出了过多的基于学习的2D或3D局部特征描述符和检测器，但是社区仍然没有充分探索直接匹配像素和点的共享描述符和联合关键点检测器的推导。这项工作采取了主动，以建立2D图像和3D点云之间的细粒度的对应关系。为了直接匹配像素和点，提出了一种双全卷积框架，将2D和3D输入映射到共享的潜在表示空间中，以同时描述和检测关键点。此外，超宽接收机制结合一种新的损失函数的设计，以减轻像素和点的局部区域之间的内在信息的变化。大量的实验结果表明，我们的框架在图像和点云之间的细粒度匹配表现出竞争力的性能，并实现了室内视觉定位任务的最先进的结果。我们的源代码将在[no-name-for-blind-review]上提供。
2021-07-29 cs.CV
A Neural Template Matching Method to Detect Knee Joint Areas
University of Oulu（奥卢大学）
在本文中，新的方法被认为是在双侧PA固定屈曲膝关节X线图像检测膝关节区域。该方法是模板匹配类型的距离标准是基于负归一化互相关。当选择模板时，仅在单个双侧图像的一侧进行手动注释。最佳匹配块搜索被公式化为无约束连续域最小化问题。对于最小化问题，考虑了不同的优化方法。该文件的主要方法是一个可训练的优化器，该方法被教导采取缩放和可能旋转补丁从它的输入图像看起来像模板。在实验中，我们比较了不同的优化方法找到的最小值。我们还查看了一些测试图像，以检查最小值与膝盖区域局部化程度之间的对应关系。似乎仅对单个图像进行注释能够相当精确地检测膝关节区域。
2022-09-23 cs.CV eess.IV
The Joint Gromov Wasserstein Objective for Multiple Object Matching
Department of Computer Science, University of British Columbia（不列颠哥伦比亚大学计算机科学系）；Department of Mathematics, University of British Columbia（不列颠哥伦比亚大学数学系）
本文提出联合Gromov-Wasserstein目标，扩展传统GW框架以实现多对象匹配，提供非负相似度度量并展示在合成和真实数据集上的有效性。
2026-05-13 cs.CV q-bio.BM
ALICE: Towards Understanding Adversarial Learning for Joint Distribution Matching
Duke University（杜克大学）；Nanjing University（南京大学）；University at Buffalo（布法罗大学）
我们研究了与联合分布匹配的双向对抗训练相关的不可识别性问题。在条件熵的框架内，我们提出了对抗和非对抗的方法来学习无监督和监督任务的理想匹配联合分布。我们统一了一个广泛的家庭对抗模型的联合分布匹配问题。我们的方法稳定了无监督双向对抗学习方法的学习。此外，我们引入了半监督学习任务的扩展。理论结果在合成数据和实际应用中得到了验证。
2017-11-05 cs.AI cs.CV cs.LG
Globally optimal point set registration by joint symmetry plane fitting
Mobile Perception Laboratory, ShanghaiTech University（上海科技大学移动感知实验室）
目前的工作提出了一种解决方案，具有挑战性的问题，注册两个部分点集的同一对象非常有限的重叠。我们利用了这样一个事实，即在人造环境中发现的大多数物体都包含一个对称平面。通过将每个集合的点相对于对称平面进行反射，我们可以大大增加集合之间的重叠，从而提高配准过程。然而，关于对称平面的先验知识通常是不可用的或者至少是很难找到的，特别是对于有限的局部视图，并且找到该平面可以从局部点集的先验对准中大大受益。我们通过联合优化相对姿态和对称平面参数来解决这个鸡和蛋的问题，并且通过采用分支定界（BNB）范式在全局最优下这样做。我们的研究结果表明，一个很大的改进，目前国家的最先进的全球最佳点集注册的共同对象。此外，我们展示了一个有趣的应用程序，我们的方法密集的3D重建场景重复的对象。
2020-02-19 cs.CG cs.CV
ToMiE: Towards Explicit Exoskeleton for the Reconstruction of Complicated 3D Human Avatars
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The University of Tokyo（东京大学）
提出ToMiE方法，通过父关节定位和外部关节优化使SMPL骨架自适应扩展，解决手持物体和宽松衣物建模难题，提升渲染质量并支持显式动画。
2025-06-26 cs.CV
Joint Modeling of Feature, Correspondence, and a Compressed Memory for Video Object Segmentation
State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室）
提出统一的视频目标分割框架JointFormer，通过联合建模特征提取、对应关系匹配和压缩记忆，实现多层信息传播与全局一致性，在多个基准上达到最先进性能并展现强泛化能力。
2025-04-30 cs.CV
Joint Concept Matching based Learning for Zero-Shot Recognition
North Carolina State University（北卡罗来纳州立大学）
零样本学习（Zero-shot learning，简称ZRL）旨在通过只对可见对象类进行训练来识别不可见对象类，它在机器学习中越来越受到人们的关注，并取得了一些成功。大多数现有的CPDL方法通常学习视觉特征空间和语义空间之间的投影映射，并且主要由于可见类和不可见类之间的大的域间隙而容易发生投影域偏移。在本文中，我们提出了一种新的归纳性的语义模型的基础上投影视觉和语义特征到一个共同的独特的潜在空间与类特定的知识，并重建视觉和语义特征，通过这样一个独特的共同空间，以缩小域转移的差距。我们表明，所有这些限制的潜在空间，类特定的知识，重建的功能及其组合增强了对投影域移位问题的鲁棒性，并提高了泛化能力，看不见的对象类。在四个基准数据集上的综合实验表明，我们提出的方法优于最先进的算法。
2019-07-03 cs.CV
MotionSpaceFlow: Representation-Aware Flow Matching in Direct Motion Space
LY Corporation
针对现有运动生成受限于低维潜在空间的问题，提出表示感知流匹配框架MSFlow，直接在连续运动空间生成，并通过RA-MMDiT及投影采样实现最先进性能与零样本控制。
2026-09-29 cs.CV
Joint Symmetry Detection and Shape Matching for Non-Rigid Point Cloud
LIX, Ecole Polytechnique, IP Paris（巴黎理工学院综合理工学院计算机科学实验室）
尽管深度功能图在非刚性3D形状匹配中取得了成功，但不存在同时对自对称性和形状匹配进行建模的学习框架。尽管由于对称性失配引起的误差是非刚性形状匹配中的主要挑战。在本文中，我们提出了一个新的框架，同时学习两个自对称性以及一对形状之间的成对映射。我们的核心思想是通过正则化项耦合自对称映射和成对映射，该正则化项提供了对两者的联合约束，从而导致更精确的映射。我们在几个基准测试中验证了我们的方法，在这两个任务上它都优于许多竞争基线。
2022-04-19 cs.AI cs.CV cs.GR
Category-Level Multi-Part Multi-Joint 3D Shape Assembly
Stanford University（斯坦福大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；NVIDIA（英伟达）；Tsinghua University（清华大学）；Peking University（北京大学）；National University of Singapore（新加坡国立大学）
形状装配是通过简单零件的几何排列组合成复杂形状几何的过程，在自主机器人装配和CAD建模中有着广泛的应用。现有的工作集中在几何推理，忽略了实际的物理装配过程中的匹配和拟合关节，这是连接不同零件的接触面。在本文中，我们考虑接触关节的任务，多部件装配。一个成功的关节优化装配需要满足形状结构和关节对齐的双重目标。我们提出了一种分层图学习方法，由两个层次的图表示学习。零件图将零件几何形状作为输入来构建所需的形状结构。接头级图形使用零件接头信息，并侧重于匹配和对齐接头。这两种信息结合起来，以实现双边目标。大量的实验表明，我们的方法优于以往的方法，实现更好的形状结构和更高的联合对齐精度。
2023-03-10 cs.CV
Joint Deep Multi-Graph Matching and 3D Geometry Learning from Inhomogeneous 2D Image Collections
Technical University of Munich（慕尼黑工业大学）；University of Bonn（波恩大学）
图匹配的目的是在图的顶点之间建立对应关系，使得节点和边属性都一致。最近提出了各种基于学习的方法，用于基于深度图匹配公式找到图像关键点之间的对应关系。虽然这些方法主要集中在学习节点和边缘属性，但它们完全忽略了2D图像中描绘的底层3D对象的3D几何形状。我们通过提出一个可训练的框架来填补这一空白，该框架利用图神经网络从非均匀图像集合中学习可变形的3D几何模型，即，一组图像，描绘来自同一类别的对象的不同实例。在实验中，我们证明了我们的方法优于最近的基于学习的方法，考虑到准确性和周期一致性误差的图匹配，同时我们还获得了2D图像中描绘的对象的底层3D几何形状。
2022-05-07 cs.CV cs.LG
Where am I looking at? Joint Location and Orientation Estimation by Cross-View Matching
Australian National University（澳大利亚国立大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；University of Technology Sydney（悉尼科技大学）
交叉视图地理定位是在给定地理标记的天线（例如，卫星）图像。现有的方法把任务作为一个纯粹的位置估计问题，通过学习判别特征描述符，但忽略方向对齐。众所周知，知道地面和空中图像之间的取向可以显著减少这两个视图之间的匹配模糊性，特别是当地面图像具有有限的视场（FoV）而不是全视场全景时。因此，我们设计了一个动态相似度匹配网络来估计跨视图定位过程中的方向对齐。特别是，我们解决了跨视图域间隙通过应用极坐标变换的空间图像近似对齐的图像到一个未知的方位角。然后，使用双流卷积网络从地面和极坐标变换的航空图像中学习深度特征。最后，通过计算交叉视图特征之间的相关性来获得方向，这也提供了更准确的特征相似性度量，提高了位置召回率。标准数据集上的实验表明，我们的方法显着提高了最先进的性能。值得注意的是，我们将CVUSA数据集上的前1位位置召回率提高了1.5倍，对于具有已知方向的Cumarmas，提高了3.3倍，对于具有未知方向的Cumarmas，提高了6倍。
2020-05-08 cs.CV
3D Lane Detection from Front or Surround-View using Joint-Modeling & Matching
Wuhan Institute of Technology（武汉工程大学）；Wuhan University（武汉大学）
本文提出结合贝塞尔曲线与插值的联合建模方法及Global2Local车道匹配，并引入3D空间编码器，实现前视或环视3D车道检测，在Openlane和Argoverse2数据集上取得领先性能。
2024-05-28 cs.CV
TiCoSS: Tightening the Coupling between Semantic Segmentation and Stereo Matching within A Joint Learning Framework
College of Electronics and Information Engineering, Tongji University（电子信息工程学院，同济大学）
TiCoSS通过门控特征融合、分层深度监督和耦合加强损失函数，在联合学习框架中加强语义分割与立体匹配的耦合，在KITTI和vKITTI2上实现mIoU提升超9%。
2025-07-03 cs.CV cs.RO
Robust Model-based Face Reconstruction through Weakly-Supervised Outlier Segmentation
Southeast University（东南大学）；University of Basel（巴塞尔大学）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；University of Freiburg（弗莱堡大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
在这项工作中，我们的目标是通过避免将模型拟合到离群值来增强基于模型的人脸重建，离群值即模型无法很好表达的区域，如遮挡物或化妆。本地化离群值的核心挑战是，它们是高度可变的，难以注释。为了克服这一难题，我们引入了一种联合的人脸自动编码和离群点分割方法（FOCUS），特别是利用了离群点不能很好地被人脸模型拟合的事实，从而可以很好地定位出高质量的模型拟合。主要的挑战是模型拟合和离群值分割相互依赖，需要联合推断。我们用EM型训练策略解决了这个鸡和蛋的问题，其中人脸自动编码器与离群分割网络联合训练。这导致了协同效应，其中分割网络防止面部编码器拟合离群值，从而提高了重建质量。改进的3D人脸重建反过来又使分割网络能够更好地预测离群值。为了解决异常值和难以拟合的区域（如眉毛）之间的模糊性，我们从合成数据中构建了一个统计先验，该先验测量模型拟合中的系统偏差。在NoW测试集上的实验表明，FOCUS在没有3D标注的情况下训练的所有基线中实现了SOTA 3D人脸重建性能。此外，我们在CelebA-HQ和AR数据库上的结果表明，尽管在没有任何分割注释的情况下进行训练，分割网络仍然可以准确地定位遮挡物。
2023-03-21 cs.CV
Ubiquitous WLAN/Camera Positioning using Inverse Intensity Chromaticity Space-based Feature Detection and Matching: A Preliminary Result
Faculty of Computer Science & Information Systems, Universiti Teknologi Malaysia（马来西亚工艺大学计算机科学与信息系统学院）；Center of Real Estate Studies, Universiti Teknologi Malaysia（马来西亚工艺大学房地产研究中心）
本文提出了一种新的基于灰度色度空间的特征检测与匹配算法。该方法利用无线局域网和摄像机内部传感器的混合，其从接入点接收信号强度，同时从走廊检索兴趣点信息。该信息通过模型拟合方法组合，以找到用户目标位置的绝对值。不需要传统的搜索算法，因此期望降低计算复杂性。最后，我们提出了预实验结果来说明定位系统的室内环境设置的性能。
2012-04-10 cs.CV
Joint Alignment and Distillation for Video Generation via Sample-Guided Distribution Matching
Tsinghua University（清华大学）；Kuaishou Technology（快手科技）；Harbin Institute of Technology (ShenZhen)（哈尔滨工业大学（深圳））；Beijing University of Posts and Telecommunications（北京邮电大学）
该研究针对视频生成模型RL方法计算开销大、易致模型崩溃的问题，提出基于分布匹配的DM-Align单阶段框架，协同蒸馏与偏好引导梯度，提升生成质量与偏好对齐效果。
2026-09-07 cs.CV
Score-Regularized Joint Sampling with Importance Weights for Flow Matching
University of California San Diego（加州大学圣地亚哥分校）
针对流匹配模型在有限采样预算下估计函数期望难的问题，提出非IID采样框架，用分数正则化平衡多样性与质量，还开发非IID流样本重要性加权方法，提升了流匹配模型输出的可靠表征。
2026-07-07 cs.AI cs.CV cs.LG
PSIGAN: Joint probabilistic segmentation and image distribution matching for unpaired cross-modality adaptation based MRI segmentation
Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）
我们开发了一种新的联合概率分割和图像分布匹配生成对抗网络（PSIGAN），用于无监督域自适应（UDA）和磁共振（MRI）图像的多器官分割。我们的UDA方法使用一种新的结构模型将图像之间的相互依赖性及其分割作为联合概率分布进行建模。该结构化神经网络通过将生成的伪MRI与由同时训练的分割子网络产生的概率分割相结合来计算关注对抗性损失的结构。分割子网络使用由生成器子网络产生的伪MRI来训练。这导致生成器和分段子网络的循环优化，这些子网络作为端到端网络的一部分被联合训练。对四种不同的MRI序列进行了广泛的实验和比较，共257次扫描，用于生成多器官和肿瘤分割。实验包括：（a）20个T1加权（T1 w）同相mdixon和（b）20个T2加权（T2 w）腹部MRI，用于分割肝脏、脾脏、左肾和右肾;（c）162个T2加权脂肪抑制头颈部MRI（T2 wFS），用于腮腺分割;以及（d）75个T2 w MRI，用于肺肿瘤分割。我们的方法在T1 w和T2 w上实现了腹部器官的总体平均DSC为0.87和0.90，腮腺的T2 wFS为0.82，肺部肿瘤的T2 w MRI为0.77。
2021-07-18 cs.CV eess.IV
Fitting Different Interactive Information: Joint Classification of Emotion and Intention
Nanjing University of Science and Technology（南京理工大学）
针对低资源多模态情感与意图识别任务，提出结合伪标注缓解低资源问题、利用不同注意力头实现两类任务互促并融合提升的方案，在ICASSP MEIJU@2025赛道一测试集获0.5532分并夺冠。
2025-01-05 cs.CL cs.CV cs.LG
JAM-Flow: Joint Audio-Motion Synthesis with Flow Matching
Yonsei University（延世大学）；CineLingo；Seoul National University（首尔国立大学）
本文提出JAM-Flow框架，通过流匹配和多模态扩散变压器架构，实现面部运动与语音的联合合成与条件生成，支持文本到说话人生成、音频驱动动画等多种任务。
2026-05-15 cs.CV cs.SD eess.AS
S$^3$M-Net: Joint Learning of Semantic Segmentation and Stereo Matching for Autonomous Driving
Tongji University（同济大学）；ETH Zürich（苏黎世联邦理工学院）
针对自动驾驶中语义分割与立体匹配独立建模的资源局限，提出S$^3$M-Net联合框架，通过FFA模块共享特征、SCG损失训练，在vKITTI2和KITTI上实现优于单任务SOTA的性能。
2024-01-29 cs.AI cs.CV cs.RO
PG-MAP: Joint MAP Optimization for Inference-Time Alignment of Diffusion and Flow-Matching Models
Stony Brook University（石溪大学）
提出PG-MAP框架，通过轨迹级Gibbs-MAP/近端能量优化联合调节条件c和潜变量z_t，实现扩散与流匹配模型的推理时对齐，无需训练即可提升对齐指标。
2026-06-23 cs.CV cs.LG
Multimodal Distribution Matching for Vision-Language Dataset Distillation
Visual Intelligence Lab., KAIST（韩国科学技术院视觉智能实验室）
提出多模态分布匹配（MDM）框架，通过数据、模型和损失层面的几何感知组件，高效压缩视觉-语言数据集并保持跨模态对齐。
2026-05-22 cs.AI cs.CV
RoPE-Flow: Monocular Vision-based Robot Pose Estimation via 2D Graph-Conditioned 3D Flow Matching
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Loop Area Institute（深圳河套学院）；Xi’an Jiaotong University（西安交通大学）；EACV Research Center（EACV研究中心）
本研究提出RoPE-Flow框架，通过关键点中心特征提取器、图引导条件生成器及两类损失函数，实现单目视觉下的机器人位姿估计，性能优于现有方法且在零样本跨场景任务中表现出色。
2026-10-16 cs.CV cs.RO
Near-Optimal Joint Object Matching via Convex Relaxation
Stanford University（斯坦福大学）
对象集合上的联合匹配旨在聚合来自大量相似实例（例如图像、图形、形状）的信息，以改进它们对之间的映射。给定在孤立的几个对象对之间计算的多个匹配，目标是恢复整个地图集合，这些地图是（1）全局一致的，并且（2）接近所提供的地图--并且在某些条件下可证明是地面实况地图。尽管最近在这个问题上取得了进展，最著名的恢复保证仅限于一个小的恒定的障碍-没有现有的方法找到理论支持时，超过$50\%$的输入对应被损坏。此外，现有的方法主要集中在完全相似的对象上，而实际上更需要匹配彼此仅部分相似的实例。在本文中，我们开发了一种算法，以联合匹配多个对象，表现出只有部分相似性，给出了几个成对的匹配密集损坏。具体来说，我们建议通过一个无参数的凸程序MatchLift恢复地面实况地图，遵循一种谱方法，该方法预先估计要匹配的不同元素的总数。令人鼓舞的是，MatchLift表现出接近最佳的纠错能力，即在渐近状态下，即使当输入映射的主要部分$1-Θ\left(\frac{\log^{2}n}{\sqrt{n}}\right)$表现得像随机离群值时，它也能保证工作。此外，MatchLift成功地以最小的输入复杂度，即，只要提供的映射形成连接的映射图，就可以实现完美匹配。我们在各种基准数据集上评估了所提出的算法，包括合成示例和真实示例，所有这些都证实了MatchLift的实用性。
2014-02-06 cs.CV cs.IT cs.LG
Improving Joint Learning of Chest X-Ray and Radiology Report by Word Region Alignment
University at Buffalo, The State University of New York（纽约州立大学布法罗分校）；Weill Cornell Medicine（威尔康奈尔医学院）
自监督学习提供了一个机会，探索未标记的胸部X光片及其相关的自由文本报告积累在临床常规，而无需人工监督。本文提出了一种联合图像文本表示学习网络（JoImTeRNet）的预训练胸部X射线图像及其放射学报告。该模型在全局图像-句子水平和局部图像区域-词水平上进行预训练，用于视觉-文本匹配。两者都是双向约束基于交叉熵和基于排序的三重匹配损失。使用注意力机制计算区域-词匹配，而不直接监督它们的映射。预训练的多模态表示学习为涉及图像和/或文本编码的下游任务铺平了道路。我们在OpenI-IU和MIMIC-CXR两个数据集上通过跨模态检索和多标签分类证明了表示学习的质量
2021-09-04 cs.AI cs.CL cs.CV
