Unsupervised Deformable Registration for Multi-Modal Images via Disentangled Representations
Imperial College London（帝国理工学院）；Siemens Healthineers（西门子医疗）
我们提出了一种完全无监督的多模态可变形图像配准方法（UMMs），该方法在训练过程中不需要任何地面真实变形场或任何对齐的多模态图像对。多模态配准是医学图像分析中的一个关键问题。由于不同模态之间的关系复杂且未知，因此非常具有挑战性。在本文中，我们提出了一个无监督学习的方法来减少多模式的注册问题，通过图像去纠缠的一个单一的模式。特别是，我们将这两种模式的图像分解为一个共同的潜在形状空间和单独的潜在外观空间，通过无监督的多模态图像到图像的翻译方法。该方法建立在原图像域中存在的固有形状变形保持在该隐空间中的基础上。具体来说，已经提出了两个指标来训练所提出的网络：在公共形状空间中定义的潜在相似性指标和基于对抗性损失的基于学习的图像相似性指标。我们研究了我们提出的方法的不同变化，并将其与传统的最先进的多模态配准方法进行了比较。结果表明，我们提出的方法实现了竞争力的性能对其他方法在大幅减少计算时间。
2019-03-22 cs.CV
Enhanced Cross-modal 3D Retrieval via Tri-modal Reconstruction
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
提出三模态重建与对齐方法，通过多视图图像和点云联合表示3D形状，结合细粒度融合与困难负样本对比训练，显著提升了跨模态3D双向检索性能。
2025-04-02 cs.CV
Multi-modal 3D Pose and Shape Estimation with Computed Tomography
School of Computer Science, The University of Sydney, Sydney, NSW 2006, Australia（悉尼大学计算机科学学院）；School of Biomedical Engineering, The University of Sydney, Sydney, NSW 2006, Australia（悉尼大学生物医学工程学院）；Trauma Service, Westmead Hospital, Australia（西墨迪医院创伤服务）
本文提出一种多模态在床患者3D姿态和形状估计网络，融合CT扫描的几何特征和深度图，有效重建遮挡区域并提升估计精度，实验表明其在姿态和形状估计上分别优于现有方法23%和49.16%。
2026-03-17 cs.CV
3D Shape Knowledge Graph for Cross-domain 3D Shape Retrieval
Tianjin University（天津大学）；Tianjin Normal University（天津师范大学）
本文提出基于几何词汇构建3D形状知识图谱，通过图嵌入与相似性度量，实现跨域3D形状检索，在多个数据集上优于现有方法。
2023-12-21 cs.CV
Let Images Give You More:Point Cloud Cross-Modal Training for Shape Analysis
Shanghai University（上海大学）
虽然最近的点云分析取得了令人瞩目的进展，从单一的模态表示学习的范式逐渐遇到了瓶颈。在这项工作中，我们通过充分利用图像本身包含更丰富的外观信息，例如，质地、颜色和阴影。具体而言，本文介绍了一种简单但有效的点云跨模态训练（PointCMT）策略，该策略利用视图图像，即，渲染或投影3D对象的2D图像，以增强点云分析。在实践中，为了有效地从视图图像中获取辅助知识，我们开发了一个教师-学生框架，并将跨模态学习作为一个知识蒸馏问题。PointCMT通过新的特征和分类器增强标准消除了不同模态之间的分布差异，有效地避免了潜在的负迁移。请注意，PointCMT有效地改进了仅点表示，而无需修改架构。足够的实验验证了使用有吸引力的主干在各种数据集上的显著增益，即，配备PointCMT的PointNet++和PointMLP在两个基准测试中实现了最先进的性能，即，ModelNet 40和ScanObjectNN的准确率分别为94.4%和86.7%。代码将在https://github.com/ZhanHeshen/PointCMT上提供。
2022-10-09 cs.CV
PointMCD: Boosting Deep Point Cloud Encoders via Multi-view Cross-modal Distillation for 3D Shape Recognition
City University of Hong Kong（香港城市大学）
针对点云编码器学习能力不足的问题，提出多视图跨模态蒸馏框架PointMCD，通过可见性感知特征投影实现2D视觉与3D几何特征对齐，有效提升点云编码器在多类3D任务上的性能。
2023-06-15 cs.CV
Text2Face: A Multi-Modal 3D Face Model
University of York（约克大学）；University of Leeds（利兹大学）
我们提出了第一个3D变形建模方法，3D人脸形状可以直接和完全使用文本提示定义。在多模态学习的基础上，我们将FLAME头部模型扩展到一个共同的图像和文本潜在空间。这允许直接3D可变形模型（3DMM）参数生成，并且因此允许从文本描述进行形状操纵。我们的方法，Text2Face，有许多应用，例如：生成警察photofits的输入已经在自然语言。它还支持多模式3DMM图像拟合草图和雕塑以及图像。
2023-03-08 cs.CV
Self-Supervised Generative-Contrastive Learning of Multi-Modal Euclidean Input for 3D Shape Latent Representations: A Dynamic Switching Approach
Institute for Anthropomatics and Robotics（人机化与机器人研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工大学）；Fraunhofer Institute of Optronics, System Technologies and Image Exploitation IOSB（弗劳恩霍夫光学、系统技术与图像利用研究所）
本文提出一种自监督生成-对比学习架构，通过动态切换交叉训练体素网格和多视角图像双编码器，结合对比损失与重建损失学习三维形状潜在表示，提升重建与分类性能。
2025-06-06 cs.CV
Unified Adversarial Patch for Visible-Infrared Cross-modal Attacks in the Physical World
Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）
本文提出一种统一对抗补丁，通过操控形状特征并采用边界受限优化、分数感知迭代评估及仿射变换增强策略，实现了对可见光与红外双模态目标检测器的跨模态物理攻击，攻击成功率超80%。
2023-07-27 cs.CV
Monocular Real-time Hand Shape and Motion Capture using Multi-modal Data
BNRist（北京国家信息科学与技术研究中心）；School of Software, Tsinghua University（清华大学软件学院）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）
我们提出了一种新的方法，单目手的形状和姿态估计在前所未有的运行时性能的100 fps和最先进的精度。这是通过一种新的基于学习的架构实现的，该架构被设计成使得它可以利用可用手部训练数据的所有来源：具有2D或3D注释的图像数据，以及没有对应图像数据的独立3D动画。它具有一个3D手部关节检测模块和一个逆运动学模块，该模块不仅可以回归3D关节位置，还可以将其映射到单个前馈通道中的关节旋转。与仅回归3D关节位置相比，该输出使得该方法更直接地可用于计算机视觉和图形中的应用。我们证明，我们的建筑设计导致了一个显着的定量和定性的改进，在几个具有挑战性的基准上的最先进的。我们的模型是公开的，可用于未来的研究。
2022-03-11 cs.CV
COM3D: Leveraging Cross-View Correspondence and Cross-Modal Mining for 3D Retrieval
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文提出 COM3D，通过场景表示 transformer 生成跨视图对应特征并结合半难负例挖掘优化跨模态匹配，在 Text2Shape 数据集上取得领先的三维形状与文本检索性能。
2024-05-07 cs.CV
Shape-consistent Generative Adversarial Networks for multi-modal Medical segmentation maps
Tel Aviv University（特拉维夫大学）
跨域图像翻译的不成对数据集最近获得了很大的改进和兴趣。在医学成像中，有多种成像模式，具有非常不同的特征。我们的目标是在CT和MRI全心脏扫描之间使用跨模态适应进行语义分割。我们提出了一个分割网络，使用合成的心脏体积非常有限的数据集。我们的解决方案基于3D跨模态生成对抗网络，以在模态之间共享信息，并使用未配对的数据集生成合成数据。我们的网络利用语义分割来提高生成器形状的一致性，从而在重新训练分割网络时创建更真实的合成体积。我们表明，当使用空间增强来改进生成对抗网络时，可以在小数据集上实现改进的分割。这些增强改进了发生器的能力，从而提高了分段器的性能。仅使用16个CT和16个MRI心血管体积，在使用建议的架构时，显示出优于其他分割方法的改进结果。
2022-02-04 cs.CV cs.LG eess.IV
Optimizing Multi-Modal Models for Image-Based Shape Retrieval: The Role of Pre-Alignment and Hard Contrastive Learning
Fraunhofer IGD（弗劳恩霍夫图像研究中心）；Delft University of Technology（代尔夫特理工大学）
本文提出通过预对齐和硬对比学习优化多模态模型，提升基于图像的形状检索性能。
2026-03-07 cs.CV cs.IR
Michelangelo: Conditional 3D Shape Generation based on Shape-Image-Text Aligned Latent Representation
ShanghaiTech University（上海科技大学）；Tencent PCG（腾讯平台与内容事业群）；Fudan University（复旦大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程研究中心）；Shanghai Engineering Research Center of Energy Efficient and Custom AI IC（上海高效节能定制人工智能芯片工程研究中心）
本文提出Michelangelo框架，通过SITA-VAE和ASLDM在形状-图像-文本对齐空间中实现高质量、多样化的跨模态条件3D形状生成。
2023-07-03 cs.CV
LATFormer: Locality-Aware Point-View Fusion Transformer for 3D Shape Recognition
Huazhong Agricultural University（华中农业大学）；Huazhong University of Science and Technology（华中科技大学）；University of Oxford（牛津大学）；CalmCar Vision Systems LLC（卡尔姆汽车视觉系统有限责任公司）
针对三维形状识别中点云与多视图融合仅关注全局特征的问题，提出带LAF模块的LATFormer，通过局部共现区域双向分层融合多尺度特征，在四个基准上验证了有效性。
2023-08-25 cs.CV
MMGSD: Multi-Modal Gaussian Shape Descriptors for Correspondence Matching in 1D and 2D Deformable Objects
University of California, Berkeley（加利福尼亚大学伯克利分校）
我们探索学习像素之间的对应关系的图像在不同的配置可变形的对象。传统的对应匹配方法，如SIFT，SURF和ORB可能无法提供足够的上下文信息进行细粒度操作。我们提出了多模态高斯形状描述符（MMGSD），一个新的视觉表示的可变形对象，扩展的想法从密集的对象描述符来预测不同的对象配置之间的所有对称对应。MMGSD以自监督的方式从合成数据中学习，并产生具有可测量不确定性的对应热图。在模拟中，实验表明，MMGSD可以达到的RMSE为32.4和31.3的方形布和编织合成尼龙绳分别。结果表明，基于对比学习、对称像素对比损失（SPCL），与强制分布连续性的MMGSD相反，在提供的基线上平均改善47.7%。
2020-10-09 cs.CV cs.RO
Cross-modal Learning for Image-Guided Point Cloud Shape Completion
Politecnico di Torino（都灵理工大学）
在本文中，我们探讨了最近的话题点云完成，指导下的辅助图像。我们展示了如何有效地将来自两种模态的信息结合在局部潜在空间中，从而避免了需要复杂的点云重建方法从单视图使用的国家的最先进的。我们还研究了一种新的弱，监督设置，其中所述辅助图像通过在完成的点云上使用可微分渲染器来测量保真度，从而向训练过程提供监督信号在图像空间中。实验表明，显着的改进，超过国家的最先进的监督方法的单峰和多峰完成。我们还展示了弱监督方法的有效性，该方法优于许多监督方法，并且与仅利用点云信息的最新监督模型具有竞争力。
2022-09-20 cs.CV eess.IV
HBridge: H-Shape Bridging of Heterogeneous Experts for Unified Multimodal Understanding and Generation
HBridge通过非对称H形架构，优化异构专家的模态先验利用，提升多模态生成效率与质量。
2025-11-25 cs.CV
Multi-modal 3D Shape Reconstruction Under Calibration Uncertainty using Parametric Level Set Methods
Computer Science Department, Ben-Gurion University of the Negev（本古里安大学计算机科学系）
本文提出了一种参数化水平集方法，用于在存在校准不确定性时从多模态数据中重建3D形状，该方法能够有效处理不同数据模态，如稀疏点集、体素切片、2D照片等，并在复杂对象的紧凑表示和校准噪声鲁棒性方面取得了显著贡献。
2019-12-20 cs.CV cs.GR cs.NA
Translating and Segmenting Multimodal Medical Volumes with Cycle- and Shape-Consistency Generative Adversarial Network
University of Florida（佛罗里达大学）；Medical Imaging Technologies, Siemens Healthcare（西门子医疗医学影像技术部门）
合成的医学图像具有几个重要的应用，例如，作为跨模态图像配准的中间媒介，并作为补充训练样本，以提高分类器的泛化能力。特别是，合成的计算机断层扫描（CT）数据可以为放射治疗计划提供X射线衰减图。在这项工作中，我们提出了一种通用的跨模态合成方法，具有以下目标：1）使用不成对的训练数据合成逼真的3D图像，2）确保一致的解剖结构，这可能会改变跨模态合成的几何失真和3）通过使用合成数据有限的训练样本的模态改善体积分割。我们证明了这些目标可以通过端到端的3D卷积神经网络（CNN）来实现，该网络由用于图像合成和分割任务的互利生成器和分割器组成。生成器使用对抗性损失、周期一致性损失和形状一致性损失进行训练，这些损失由分割器监督，以减少几何失真。从分割视图来看，分割器由来自发生器的合成数据以在线方式提升。生成器和分段器以端到端的训练方式交替提示对方。通过对包括总共4，496个CT和磁共振成像（MRI）心血管体积的数据集进行广泛的实验，我们表明这两个任务对彼此都有利，并且将这两个任务结合起来会比单独解决它们带来更好的性能。
2019-03-16 cs.CV
Uncovering Grounding IDs: How External Cues Shape Multi-Modal Binding
本文提出地面ID概念，揭示外部线索通过增强多模态绑定的注意力机制，提升跨模态定位精度并减少幻觉。
2026-10-16 cs.AI cs.CV
MultiDiffSense: Diffusion-Based Multi-Modal Visuo-Tactile Image Generation Conditioned on Object Shape and Contact Pose
Department of Bioengineering, Imperial-X Initiative, Imperial College London（生物工程系、Imperial-X计划、帝国理工学院伦敦分校）；CAMS-Oxford Institute, University of Oxford（CAMS-牛津研究所、牛津大学）
MultiDiffSense是一种基于扩散的多模态视觉-触觉图像生成模型，通过双条件化实现可控且物理一致的多模态生成，提升了触觉传感数据集的生成效率和跨模态学习能力。
2026-02-22 cs.AI cs.CV
Cycle-Consistent Generative Rendering for 2D-3D Modality Translation
Samsung AI Centre Toronto（三星多伦多人工智能中心）
对于人类来说，视觉理解具有内在的生成性：给定一个3D形状，我们可以假设它在世界上的样子;给定一个2D图像，我们可以推断出可能导致它的3D结构。因此，我们可以在给定对象的2D视觉和3D结构模态之间进行转换。在计算机视觉的背景下，这对应于一个可学习的模块，用于两个目的：（i）生成3D对象的逼真渲染（形状到图像的转换）和（ii）从图像推断逼真的3D形状（图像到形状的转换）。在本文中，我们学习这样一个模块，同时意识到在获得大型配对的2D-3D数据集的困难。通过利用生成域翻译方法，我们能够定义一个学习算法，只需要弱监督，与未配对的数据。所得到的模型不仅能够从2D图像执行3D形状、姿势和纹理推断，而且还可以生成新颖的纹理3D形状和渲染，类似于图形管道。更具体地说，我们的方法（i）推断出显式的3D网格表示，（ii）利用示例形状来正则化推断，（iii）仅需要图像掩模（没有关键点或相机外部），以及（iv）具有生成能力。虽然先前的工作探索了这些属性的子集，但它们的组合是新颖的。我们展示了我们学习的表示的实用性，以及它在图像生成和不成对的3D形状推理任务上的性能。
2020-11-16 cs.CV cs.LG
Recurrent CNN for 3D Gaze Estimation using Appearance and Shape Cues
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；University of Calgary（卡尔加里大学）；University of Larestan（拉雷斯坦大学）
凝视行为是社会信号处理和人机交互中的一种重要的非语言线索。在本文中，我们解决的问题，人和头部姿态独立的3D凝视估计从远程相机，使用多模态递归卷积神经网络（CNN）。我们建议将脸部、眼睛区域和脸部地标作为单独的流组合在CNN中来估计静止图像中的注视。然后，我们通过将序列中所有帧的学习特征馈送到多对一递归模块来利用凝视的动态性质，该模块预测最后一帧的3D凝视向量。我们的多模态静态解决方案在广泛的头部姿势和注视方向上进行了评估，在EYEDIAP数据集上实现了14.6%的显着改进，当包括时间模态时进一步提高了4%。
2018-09-17 cs.CV
ISS: Image as Stepping Stone for Text-Guided 3D Shape Generation
The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；Hunan University（湖南大学）
文本引导的3D形状生成仍然具有挑战性，由于缺乏大量的成对文本形状数据，这两种模式之间的大量语义差距，以及3D形状的结构复杂性。本文提出了一种新的框架，称为图像作为垫脚石（ISS）的任务，通过引入二维图像作为垫脚石连接两种模式，并消除了对文本形状数据的需要。我们的主要贡献是一种两阶段特征空间对齐方法，该方法通过利用具有多视图监督的预训练单视图重建（SVR）模型将CLIP特征映射到形状：首先将CLIP图像特征映射到SVR模型中细节丰富的形状空间，然后将CLIP文本特征映射到形状空间，并通过鼓励输入文本和渲染图像之间的CLIP一致性来优化映射。此外，我们制定了一个文本引导的形状风格化模块，打扮输出的形状与新的纹理。除了现有的从文本生成3D形状的工作，我们的新方法是一般的创建形状在广泛的类别，而不需要配对的文本形状数据。实验结果表明，我们的方法优于国家的最先进的和我们的基线方面的保真度和一致性与文本。此外，我们的方法可以styphiles生成的形状与现实和幻想的结构和纹理。
2023-02-24 cs.CV
How Modality Shapes Perception and Reasoning: A Study of Error Propagation in ARC-AGI
Hogarthian Technologies, LLC（霍加斯技术有限责任公司）；IBM Research（IBM研究院）
研究通过对比文本和图像模态，发现结构化文本能精确获取稀疏特征，图像对分辨率敏感，结合两者可提升执行精度。
2025-11-11 cs.AI cs.CV cs.MA
Multi-modal Relation Distillation for Unified 3D Representation Learning
Beihang University（北京航空航天大学）；PICO
针对现有3D点云多模态预训练忽略样本结构关系的问题，提出多模态关系蒸馏框架MRD，蒸馏大型VLM到3D骨干，捕捉模态内与跨模态关系，在零样本分类、跨模态检索任务上取得SOTA性能。
2024-09-18 cs.AI cs.CV
Hearing the Room Through the Shape of the Drum: Modal-Guided Sound Recovery from Multi-Point Surface Vibrations
Weizmann Institute of Science（魏茨曼科学研究院）
本文提出基于模态的声恢复方法，通过多点表面振动信号融合，提升对复杂固态物体声源的恢复能力，优于传统单点振动测量和多信号融合方法。
2026-04-29 cs.CV
Multi-point Vibration Measurement for Mode Identification of Bridge Structures using Video-based Motion Magnification
University of Nebraska-Lincoln（内布拉斯加大学林肯分校）
基于图像的振动模态识别在土木和建筑界得到了越来越多的关注。近年来发展了一种基于视频的运动放大方法来测量和可视化微小结构的运动。这种新的方法提出了一种低成本的振动测量和模态识别的潜力。报告了使用这种方法对简单刚体结构进行的试点研究。其有效性复杂的室外结构还没有调查。目的是研究基于视频的运动放大方法在复杂钢桥模态频率测量和振型可视化中的应用能力。介绍了一种新的方法，提高了当前的运动放大的性能，有效的结构模态分析。在室内和室外环境中对该方法进行了测试以进行验证。研究结果表明，运动放大法可以作为复杂桥梁结构模态分析的有效工具。利用该方法，可以同时测量多个结构的模态频率，并自动显示每个结构的振型。
2017-12-18 cs.CV
3D-aware Image Generation and Editing with Multi-modal Conditions
Nanchang Hangkong University（南昌航空大学）；Cardiff University（卡迪夫大学）；Nanchang Innovation Institute, Peking University（北京大学南昌创新研究院）
针对3D一致图像生成中形状与外观解耦不足及控制模态单一的问题，提出融合噪声、文本和参考图像的端到端3D感知GAN框架，实现多样化生成、文本属性编辑与参考风格迁移。
2024-03-11 cs.CV
Deep Conditional Shape Models for 3D cardiac image segmentation
Siemens Healthineers（西门子医疗）；Technical University of Munich（慕尼黑工业大学）；Klinikum rechts der Isar（慕尼黑工业大学附属医院（右岸医院））
本文提出深度条件形状模型（DCSMs）用于3D心脏图像分割，通过隐式形状表示和标志点条件拟合，结合轻量级细化网络，在多种模态下优于基线并接近或超过用户间一致性。
2023-10-16 cs.CV cs.LG eess.IV
XDGAN: Multi-Modal 3D Shape Generation in 2D Space
NVIDIA（英伟达）；PCH Innovations GmbH（PCH创新有限公司）；University of Toronto（多伦多大学）
由于2D卷积架构的效率，2D图像的生成模型最近在质量，分辨率和速度方面取得了巨大的进步。然而，由于大多数当前的3D表示依赖于自定义网络组件，因此很难将这一进展扩展到3D领域。本文解决了一个中心问题：是否有可能直接利用2D图像生成模型来生成3D形状？为了回答这个问题，我们提出了XD GAN，这是一种有效且快速的方法，用于将2D图像GAN架构应用于生成3D对象几何形状，并结合其他表面属性，如颜色纹理和法线。具体来说，我们提出了一种新的方法来将3D形状转换为紧凑的单通道几何图像，并利用StyleGAN3和图像到图像的转换网络来在2D空间中生成3D对象。生成的几何图形图像可快速转换为3D网格，实现实时3D对象合成、可视化和交互式编辑。此外，使用标准2D架构可以帮助将更多的2D进步带入3D领域。我们在定量和定性上都表明，我们的方法在各种任务（如3D形状生成，单视图重建和形状操作）中非常有效，同时与最近的3D生成模型相比，速度更快，更灵活。
2022-10-06 cs.CV cs.GR cs.LG
Axolotl3D: a Unified Framework for Faithful 3D Shape Completion
NVIDIA（英伟达）
针对3D生成模型在多场景适用性有限及缺乏统一框架的问题，提出Axolotl3D模型，它基于多种模态条件设定，利用点云和相机参数，通过统一训练策略实现精确3D形状完成，实验验证其在多方面性能出色。
2026-07-24 cs.CV
Multi-stream Cell Segmentation with Low-level Cues for Multi-modality Images
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
针对多模态显微镜图像的细胞分割挑战，提出基于低级特征自动分类图像并分别训练分割模型的多流方法，结合高效骨干模型，在NeurIPS 2022挑战赛调优集上达到0.8795的F1分数。
2023-10-22 cs.CV
Polarimetric Information for Multi-Modal 6D Pose Estimation of Photometrically Challenging Objects with Limited Data
TU Munich（慕尼黑工业大学）
针对现有6D位姿估计方法处理光度挑战性物体的局限，提出利用偏振信息的监督学习方法，并扩展为无需标注真实数据的自监督范式，结合偏振几何信息、形状先验与物理约束显著提升位姿估计效果。
2023-08-21 cs.CV
Deep generative model-driven multimodal prostate segmentation in radiotherapy
Université de Bourgogne Franche-Comté（勃艮第-弗朗什孔泰大学）；CGFL（CGFL（第戎乔治·弗朗索瓦·勒克莱尔中心））；University Hospital of Dijon（第戎大学医院）
深度学习在计算机视觉和医学图像分析等各种应用中取得了前所未有的成功。然而，仍然有潜力通过嵌入先验知识，通过基于学习的形状建模和配准来学习器官的模态不变解剖结构，从而改善多模态图像中的分割。例如，在放射治疗中，自动前列腺分割在前列腺癌诊断、治疗和来自T2加权MR或CT图像的治疗后评估中是必不可少的。在本文中，我们提出了一种使用卷积神经网络（DGMNet）的全自动深度生成模型驱动的多模态前列腺分割方法。我们的方法的新颖性在于其嵌入式生成神经网络，用于基于学习的形状建模，并且能够通过基于学习的配准来适应不同的成像模式。所提出的方法包括一个多任务学习框架，该框架结合了卷积特征提取和嵌入式回归和基于分类的形状建模。这使得网络能够预测器官的可变形形状。我们表明，基于生成神经网络的形状建模训练的可靠的对比度成像模式（如MRI）可以直接应用于低对比度成像模式（如CT），以实现准确的前列腺分割。该方法进行了评估的MRI和CT数据集从不同的临床中心获得的对比度和扫描协议有很大的变化。实验结果表明，我们的方法可以用来自动和准确地分割前列腺在不同的成像模式。
2019-10-23 cs.CV eess.IV
US-X Complete: A Multi-Modal Approach to Anatomical 3D Shape Recovery
Computer-Aided Medical Procedures (CAMP), Technical University of Munich, Munich, Germany（计算机辅助医学程序（CAMP），慕尼黑技术大学，慕尼黑，德国）；Munich Center for Machine Learning (MCML), Germany（慕尼黑机器学习中心（MCML），德国）；Konrad Zuse School of Excellence in Reliable AI (relAI), Germany（康拉德·祖斯卓越可靠人工智能学校（relAI），德国）
US-X Complete通过结合X光图像与超声数据，提升3D超声中椎体结构的重建精度，实现更完整的椎体可视化。
2025-11-19 cs.CV cs.LG
LIGHT: Multi-Modal Text Linking on Historical Maps
University of Minnesota（明尼苏达大学）；Grinnell College（格林内尔学院）
提出多模态方法 LIGHT，融合几何、图像和语言特征解决历史地图文本链接问题，在 ICDAR 2024/2025 MapText 数据上优于现有方法。
2025-07-11 cs.CV
Multimodal In-bed Pose and Shape Estimation under the Blankets
Northeastern University（东北大学）
人类在床上度过的时间很长，平均约占一生的三分之一。此外，在许多医疗保健应用中，静止的人是至关重要的。通常，人类在休息时被毯子覆盖，为此，我们提出了一种多模式方法来揭开受试者的身体，以便在没有毯子遮挡的情况下观察他们休息时的身体。我们提出了一个金字塔计划，以最好地利用多模态传感器捕获的知识的方式有效地融合不同的模态。具体而言，两种信息量最大的模式（即，深度和红外图像）首先被融合以生成良好的初始姿态和形状估计。然后，压力图和RGB图像进一步融合一个接一个的改进结果，通过提供闭塞不变的信息的覆盖部分，和精确的形状信息的未覆盖部分，分别。然而，即使使用多模态数据，由于身体的极端遮挡，检测静止人体的任务仍然非常具有挑战性。为了进一步减少毯子遮挡的负面影响，我们采用基于注意力的重建模块来生成未覆盖的模态，这些模态进一步融合以通过循环方式更新当前估计。大量的实验验证了该模型的优越性。
2020-12-12 cs.CV cs.MM
Representation Disentanglement for Multi-modal brain MR Analysis
Stanford University（斯坦福大学）；SRI International（斯坦福国际研究院）
多模态MRI广泛用于神经成像应用，因为不同的MR序列提供关于脑结构的互补信息。最近的工作表明，多模态深度学习分析可以从明确地将解剖（形状）和模态（外观）信息分解为单独的图像呈现中受益。在这项工作中，我们挑战主流的策略，表明他们并不自然地导致在理论和实践中的代表性解开。为了解决这个问题，我们提出了一个利润损失，正规化的相似性的关系表示跨学科和模态。为了实现强大的训练，我们进一步使用条件卷积来设计一个用于编码所有模态图像的单一模型。最后，我们提出了一个融合函数，结合解开的解剖表示作为一组模态不变的功能，下游的任务。我们在三个多模态神经成像数据集上评估了所提出的方法。实验表明，我们提出的方法可以实现优越的解纠缠表示相比，现有的解纠缠策略。结果还表明，融合的解剖表示在零剂量PET重建和脑肿瘤分割的下游任务中具有潜力。代码可在\url{https://github.com/ouyangjiahong/representation-disentanglement}上获得。
2021-06-11 cs.CV
Multi-Modal Human Authentication Using Silhouettes, Gait and RGB
Johns Hopkins University（约翰斯·霍普金斯大学）
基于全身的人体认证是远程生物识别场景中一种很有前途的方法。目前的文献主要集中在基于RGB图像的人体识别或基于体型和行走模式的步态识别，两者都有各自的优点和缺点。在这项工作中，我们提出了双模态Entrance（DME），它结合了RGB和轮廓数据，以实现更强大的性能，为室内和室外的全身识别。在DME中，我们提出了GaitPattern，它的灵感来自于传统步态分析中使用的双螺旋步态模式。步态模式有助于在大范围的视角下实现鲁棒的识别性能。在CASIA-B数据集上的大量实验结果表明，该方法优于最先进的识别系统。我们还提供了使用新收集的BRIAR数据集的实验结果。
2022-10-08 cs.CV
3D Shape Generation and Completion through Point-Voxel Diffusion
Stanford University（斯坦福大学）；MIT（麻省理工学院）
我们提出了一种新的方法，概率生成建模的三维形状。与大多数现有的模型，学习确定性地将一个潜在的矢量转化为一个形状，我们的模型，点体素扩散（PVD），是一个统一的，概率公式无条件的形状生成和条件，多模态形状完成。PVD将去噪扩散模型与3D形状的混合点-体素表示相结合。它可以被视为一系列去噪步骤，将从观察到的点云数据到高斯噪声的扩散过程反转，并通过优化（条件）似然函数的变分下限进行训练。实验表明，PVD能够合成高保真形状，完成部分点云，并从真实物体的单视图深度扫描生成多个完成结果。
2021-08-29 cs.CV
Unsupervised Multi-Modal Medical Image Registration via Discriminator-Free Image-to-Image Translation
South China University of Technology（华南理工大学）；Rochester Institute of Technology（罗切斯特理工学院）
在临床实践中，诸如磁共振（MR）和计算机断层扫描（CT）的良好对准的多模态图像一起可以为图像引导的治疗提供补充信息。多模态图像配准对于这些多模态图像的精确对准是必不可少的。然而，它仍然是一个非常具有挑战性的任务，由于复杂和未知的空间之间的对应关系不同的方式。在本文中，我们提出了一种新的基于投影的无监督可变形图像配准方法，将多模态配准问题转化为单模态配准问题。具体来说，我们的方法采用了无判别式的翻译网络来促进注册网络的训练，并采用了补丁式对比损失来鼓励翻译网络保留对象形状。此外，我们建议取代对抗损失，这是广泛使用的在以前的多模态图像配准方法，与像素损失，以整合到目标模态的输出的翻译。这导致了一种无监督的方法，不需要地面真实变形或成对的对齐图像进行训练。我们在公共Learn 2 Reg 2021数据集\cite{hering2021learn2reg}上评估了我们方法的四种变体。实验结果表明，该架构达到了最先进的性能。我们的代码可在https://github.com/heyblackC/DFMIR上获得。
2022-04-28 cs.CV
End-to-end Multi-modal Video Temporal Grounding
University of California, Merced（加利福尼亚大学默塞德分校）；Phiar；Yonsei University（延世大学）；Google Research（谷歌研究院）
我们解决的问题，文本引导的视频时间接地，其目的是确定的时间间隔的基础上的自然语言描述的某个事件。与现有的大多数只考虑RGB图像作为视觉特征的方法不同，我们提出了一个多模态框架来从视频中提取互补信息。具体来说，我们采用RGB图像的外观，光流的运动，和深度图的图像结构。虽然RGB图像提供了某些事件的丰富视觉线索，但性能可能会受到背景杂波的影响。因此，我们使用光流来关注大的运动和深度图，以推断场景配置时，动作与可识别的对象与它们的形状。为了更有效地整合这三种模态，并实现模态间学习，我们设计了一个动态融合方案与Transformers建模模态之间的相互作用。此外，我们应用模态内自监督学习来增强每个模态的视频特征表示，这也有助于多模态学习。我们在Charades-STA和ActivityNet字幕数据集上进行了广泛的实验，并表明所提出的方法与最先进的方法相比表现良好。
2021-10-28 cs.CV
Evaluating Latent Generative Paradigms for High-Fidelity 3D Shape Completion from a Single Depth Image
German Aerospace Center（德国航空航天中心）；TU Munich（慕尼黑技术大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文比较了扩散模型和自回归模型在单个深度图像生成高保真3D形状补全任务中的性能，发现扩散模型在连续潜在空间中表现更优，而自回归模型在离散潜在空间中可匹敌或超越扩散模型。
2026-01-19 cs.CV
Neuromorphic Facial Analysis with Cross-Modal Supervision
University of Siena（锡耶纳大学）；University of Florence（佛罗伦萨大学）；University of Parma（帕尔马大学）
针对RGB相机难以捕捉人脸微运动、神经形态数据缺乏标注的问题，本文提出多模态同步人脸数据集FACEMORPHIC，并利用跨模态监督通过3D人脸表示弥合域差距，实现无需手动标注的神经形态人脸分析。
2024-09-16 cs.CV
3DQD: Generalized Deep 3D Shape Prior via Part-Discretized Diffusion Process
Shanghai Jiao Tong University（上海交通大学）；Huawei Hisilicon（华为海思）
我们开发了一个广义的3D形状生成先验模型，适合多个3D任务，包括无条件的形状生成，点云完成，和跨模态形状生成等。一方面，要精确地捕捉局部精细详细的形状信息，矢量量化变分自编码器（VQ-VAE）是用来索引局部几何结构从一个compartly学习的码本的基础上广泛的一组任务训练数据。另一方面，引入离散扩散生成器来模拟不同令牌之间的固有结构依赖关系。同时，多频融合模块（MFM）的开发，以抑制高频形状特征的波动，引导多频上下文信息。上述设计共同装备我们提出的3D形状先验模型具有高保真度，多样化的功能以及跨模态对齐的能力，广泛的实验已经证明了在各种3D形状生成任务上的优越性能。
2023-03-18 cs.AI cs.CV cs.LG
Collaborative Diffusion for Multi-Modal Face Generation and Editing
S-Lab, Nanyang Technological University（南洋理工大学S-Lab）
本文提出 Collaborative Diffusion，通过元网络 dynamic diffuser 协调多个预训练单模态扩散模型，在无需重训的情况下实现多模态人脸生成与编辑。
2023-04-20 cs.CV
Cross-modal Associations in Vision and Language Models: Revisiting the Bouba-Kiki Effect
Leiden Institute of Advanced Computer Science（莱顿先进计算机科学研究所）；Leiden University（莱顿大学）
本研究重新评估CLIP的ResNet和ViT变体中的布巴-奇奇效应，发现它们未一致表现出该效应，且与人类数据相比存在显著差距，揭示了VLM跨模态理解的局限性。
2025-10-15 cs.CL cs.CV
Cross-Modal Attention Analysis and Optimization in Vision-Language Models: A Study on Visual Reliability
School of Computer Science（计算机科学学院）；University of Nottingham Ningbo China（诺丁汉大学宁波分校）
本文研究了视觉-语言模型中跨模态依赖性问题，通过对抗性评估框架发现优化模型能显著降低跨模态依赖，提升视觉特征关注度。
2026-04-19 cs.AI cs.CV
SDFusion: Multimodal 3D Shape Completion, Reconstruction, and Generation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Snap Research（Snap研究院）
在这项工作中，我们提出了一个新的框架，以简化业余用户的3D资产生成。为了实现交互式生成，我们的方法支持可以由人类轻松提供的各种输入方式，包括图像，文本，部分观察到的形状以及这些的组合，进一步允许调整每个输入的强度。我们的方法的核心是一个编码器-解码器，将3D形状压缩成紧凑的潜在表示，并在此基础上学习扩散模型。为了实现各种多模态输入，我们采用了特定于任务的编码器与辍学后，交叉注意力机制。由于其灵活性，我们的模型自然支持各种任务，在形状完成，基于图像的3D重建和文本到3D方面优于以前的工作。最有趣的是，我们的模型可以将所有这些任务组合成一个瑞士军刀工具，使用户能够同时使用不完整的形状，图像和文本描述来执行形状生成，为每个输入提供相对权重并促进交互性。尽管我们的方法是形状，我们进一步展示了一种有效的方法来纹理生成的形状使用大规模的文本到图像模型。
2023-03-22 cs.CV cs.LG
ReFiNe: Recursive Field Networks for Cross-modal Multi-scene Representation
Toyota Research Institute（丰田研究所）
ReFiNe利用递归分层公式捕捉物体自相似性，以低内存高精度编码多形状连续神经场，并支持特征融合与光线追踪，实现单网络多场景重建与压缩的最优性能。
2024-06-06 cs.CV cs.GR cs.LG
Doodle Your 3D: From Abstract Freehand Sketches to Precise 3D Shapes
SketchX, CVSSP, University of Surrey（萨里大学视觉、语音与信号处理中心 SketchX）；iFlyTek-Surrey Joint Research Centre on Artificial Intelligence（科大讯飞-萨里人工智能联合研究中心）
本文提出一种部件级建模与对齐框架，通过 CLIPasso 边缘图与 3D 部件区域的跨模态对应，实现从抽象手绘草图精确生成 3D 形状，并支持就位编辑，同时降低计算成本。
2024-06-07 cs.AI cs.CV
Multi-task 3D building understanding with multi-modal pretraining
Stanford University（斯坦福大学）；Google（谷歌）
本文探讨了BuildingNet数据集上3D建筑类型分类和部分分割的各种学习策略。带有PointNeXt和PointNeXt分割的ULIP被扩展用于BuildingNet数据集上的分类和分割任务。具有多模态预训练的最佳多任务PointNeXt-s模型在3D建筑类型分类方面达到了59.36的总体准确度，在验证分割方面达到了31.68的PartIoU。最终的PointNeXt XL模型在BuildingNet-Points分割的测试分割中实现了31.33 PartIoU和22.78 ShapeIoU，这比BuildingNet论文中报告的PointNet++模型有了显着改进，并在CVPR 23 StruCo 3D研讨会上赢得了BuildingNet挑战赛的第一名。
2023-06-16 cs.CV eess.IV
