VIS-DICT: A Visual Dictionary for Missing Modality Imputation in Social Network Depression Detection
University of Tehran（德黑兰大学）；University of Sistan and Baluchestan（锡斯坦和俾路支斯坦大学）
本文提出Vis-Dict，一种基于词典的零参数方法，通过词语与平均图像向量的关联填补缺失视觉特征，在抑郁症检测中达到与生成网络相当的性能（F1=0.9454，ROC-AUC=0.9890）。
2026-09-09 cs.CV
Multimodal Image Denoising based on Coupled Dictionary Learning
University College London（伦敦大学学院）
在本文中，我们提出了一种新的多模态图像去噪方法，在一个给定的图像模态下的指导图像模态的援助下，衰减高斯白加性噪声。耦合图像去噪方法包括两个阶段：耦合稀疏编码和重构。第一阶段执行联合稀疏变换的多模态图像相对于一组学习耦合字典，其次是收缩操作的稀疏表示。然后，在第二阶段中，收缩表示，连同耦合字典，有助于通过逆变换的去噪图像的重建。所提出的去噪方案展示了捕获不同数据模态的共同和独特特征的能力。这种能力使我们的方法更强大的指导和目标图像之间的不一致，从而克服了缺点，如纹理复制文物。在真实多模态图像上的实验表明，该方法能够更好地利用指导信息，在图像去噪任务中带来显着的好处，相对于最先进的。
2018-06-26 cs.CV
Learning Granularity-Unified Representations for Text-to-Image Person Re-identification
South China University of Technology（华南理工大学）；Baidu VIS（百度视觉技术部）；University of Liverpool（利物浦大学）
文本到图像的人重新识别（ReID）的目的是通过文本描述搜索感兴趣的身份的行人图像。这是具有挑战性的，因为丰富的内部模式的变化和显着的模式间的差距。现有的工作通常忽略了两种模态之间的特征粒度的差异，即，视觉特征通常是细粒度的，而文本特征是粗粒度的，这是造成大的模态间间隙的主要原因。在本文中，我们提出了一个端到端的框架的基础上Transformers学习粒度统一表示为两种形式，表示为LGUR。LGUR框架包含两个模块：基于词典的粒度对齐（DGA）模块和基于原型的粒度统一（PGU）模块。在DGA中，为了调整两种模态的粒度，我们引入了多模态共享字典（MSD）来重建视觉和文本特征。此外，DGA有两个重要因素，即，跨模态引导和以前景为中心的重建，以促进MSD的优化。在PGU中，我们采用一组共享和可学习的原型作为查询，以在粒度统一的特征空间中为两种模态提取多样化和语义一致的特征，这进一步提高了ReID的性能。综合实验表明，我们的LGUR始终优于国家的最先进的大幅度CUHK-PEDES和ICFG-PEDES数据集。代码将在https://github.com/ZhiyinShao-H/LGUR上发布。
2022-07-16 cs.CV
Cross-Domain Visual Recognition via Domain Adaptive Dictionary Learning
University of Maryland（马里兰大学）；General Electric Global Research（通用电气全球研究中心）
在现实世界的视觉识别问题中，经常违反训练数据（源域）和测试数据（目标域）从相同分布采样的假设。这被称为领域自适应问题。在这项工作中，我们提出了一个新的域自适应字典学习框架的跨域视觉识别。我们的方法生成一组中间域。这些中间域形成了一条平滑的路径，并在源域和目标域之间架起了一座桥梁。具体来说，我们不仅学习一个共同的字典编码域共享的功能，但也学习了一组特定领域的字典来建模域转移。通用词典和领域自适应词典的分离使我们能够学习到更紧凑的、可重构的词典，以用于领域自适应。这些字典通过域自适应稀疏编码和字典更新步骤之间的交替来学习。同时，我们的方法沿着域路径逐步恢复源数据和目标数据的特征表示，通过对齐所有恢复的域数据，我们得到最终的跨域视觉识别的域自适应特征。在三个公共数据集上的大量实验表明，我们的方法优于大多数最先进的方法。
2018-04-16 cs.CV
Convolutional Dictionary Learning via Local Processing
Technion - Israel Institute of Technology（以色列理工学院）
卷积稀疏编码（Convolutional Sparse Coding，CSC）是信号和图像处理领域中越来越流行的模型，它解决了传统的基于块的稀疏表示的一些局限性。虽然有几个作品已经解决了这个模型下的字典学习问题，这些依赖于ADMM制定在傅立叶域中，失去了地方感和传统的基于补丁的稀疏追求的关系。最近的一项工作提出了一种新的理论分析这个全球模型，提供保证，依赖于本地化的稀疏性措施。在这里，我们扩展了这种局部-全局关系，展示了如何有效地解决卷积稀疏追踪问题和训练所涉及的滤波器，同时在图像补丁上进行局部操作。我们的方法提供了一个直观的算法，可以利用标准的稀疏表示领域的技术。所提出的方法是快速训练，简单的实施，并足够灵活，它可以很容易地部署在各种应用。我们证明了所提出的训练计划的图像修补和图像分离，同时达到国家的最先进的结果。
2017-05-09 cs.CV
Unified modality separation: A vision-language framework for unsupervised domain adaptation
University of Electronic Science and Technology of China（电子科学与技术大学）；Tongji University（同济大学）
针对无监督域适应中模态差距导致性能次优的问题，提出统一模态分离框架，解缠模态特定与不变组件，自适应集成，实现高达9%性能提升与9倍计算效率提升。
2025-08-07 cs.CV
Multimodal Task-Driven Dictionary Learning for Image Classification
Pennsylvania State University（宾夕法尼亚州立大学）；Army Research Laboratory（美国陆军研究实验室）；Bosch Research and Technology Center（博世研究与技术中心）；West Virginia University（西弗吉尼亚大学）
字典学习算法已经成功地用于重建和判别任务，其中输入信号用字典原子的稀疏线性组合表示。虽然这些方法大多是针对单模态场景开发的，但最近的研究已经证明了基于多模态输入的联合稀疏表示的特征级融合的优势。在本文中，我们提出了一个多模态任务驱动的字典学习算法下的联合稀疏约束（先验），以加强多个同质/异构信息源之间的合作。在这个任务驱动的公式，多模态字典学习的同时，其相应的分类。由此产生的多模态字典可以从针对给定任务（例如二进制或多类分类）优化的数据中生成有区别的潜在特征（稀疏代码）。此外，我们提出了一个扩展的建议制定使用混合的联合和独立的稀疏先验，有利于更灵活的融合的方式在特征级。所提出的多模态分类算法的功效说明了四个不同的应用程序-多模态人脸识别，多视图人脸识别，多视图动作识别，和多模态生物识别。它还表明，与对应的基于重构的字典学习算法相比，任务驱动的配方在这个意义上，它们可以配备更紧凑的字典，仍然实现卓越的性能是更有效的计算。
2015-10-27 cs.CV cs.LG stat.ML
DiMPLe -- Disentangled Multi-Modal Prompt Learning: Enhancing Out-Of-Distribution Alignment with Invariant and Spurious Feature Separation
Mohamed Bin Zayed University of Artificial Intelligence（莫罕默德·本·扎耶德人工智能大学）；Khalifa University（卡比拉大学）
提出DiMPLe多模态提示学习方法，通过互信息最小化、虚假特征正则化和不变特征对比学习解耦不变与虚假特征，显著提升了模型在分布外场景下的泛化能力与准确率。
2025-06-26 cs.CV
From Pixels and Words to Waves: A Unified Framework for Spectral Dictionary vLLMs
提出SDict-VLM，通过谱字典令牌混合器替代卷积和自注意力，以更少参数和内存实现接近BLIP-2的性能，并支持可解释的跨模态对齐。
2025-06-22 cs.CV
TriBERT: Full-body Human-centric Audio-visual Representation Learning for Visual Sound Separation
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（Vector人工智能研究所）；University of Toronto（多伦多大学）
最近Transformer模型在语言（如BERT）中的成功，激发了将此类架构用于多模态特征学习和任务。然而，大多数多模态变体（例如，ViLBERT）仅限于视觉语言数据。相对较少探索其在视听模态中的使用，并且据我们所知，没有一个在粒度视听检测或分割任务（如声音声源分离和定位）的背景下说明它们。在这项工作中，我们介绍了TriBERT -一个基于transformer的架构，灵感来自ViLBERT，它可以跨三种模式进行上下文特征学习：视觉，姿势和音频，使用灵活的共同注意力。姿势关键点的使用受到最近的作品的启发，这些作品说明这种表示可以显著提高许多视听场景中的性能，其中通常一个或多个人明确地负责声音（例如，谈话）或隐含地（例如，作为人类操纵物体的功能而产生的声音）。从技术角度来看，作为TriBERT架构的一部分，我们引入了一个基于空间注意力的学习视觉标记化方案，并利用弱监督来允许视觉和姿势模态的粒度跨模态交互。此外，我们用在所有三个流中制定的声音-声源分离损失补充学习。我们在大型MUSIC 21数据集上预训练我们的模型，并通过微调在该数据集以及其他数据集上展示了视听声音声源分离的改进性能。此外，我们表明，学习的TriBERT表示是通用的，并显着提高性能的其他视听任务，如跨模态视听姿势检索高达66.7%的前1名的准确性。
2021-10-26 cs.CV
Revisiting Integration of Image and Metadata for DICOM Series Classification: Cross-Attention and Dictionary Learning
Bayer AG（勃林格殷曼公司）
本文提出了一种端到端的多模态框架，用于DICOM系列分类，通过联合建模图像内容和获取元数据，显式考虑异质切片内容、可变系列长度和完全缺失、不完整或不一致的DICOM元数据等挑战。
2026-10-09 cs.CV eess.IV
Coupled dictionary learning for unsupervised change detection between multi-sensor remote sensing images
University of Toulouse（图卢兹大学）
用于变化检测的原型场景通常考虑通过相同模态的传感器获取的两个图像。然而，在某些特定情况下，例如紧急情况，唯一可用的图像可能是通过不同模式的传感器获取的图像。本文讨论了无监督地检测两个观察到的图像之间的变化，可能不同的分辨率不同的方式的传感器采集的问题。这些传感器的不同之处在操作变化检测的上下文中引入了大多数经典方法都没有解决的额外问题。本文介绍了一种新的框架，有效地利用现有的信息，通过建模的两个观察到的图像作为一个稀疏的线性组合的原子属于一对耦合的过完备字典从每个观察到的图像。由于它们覆盖相同的地理位置，代码预计将在全球范围内相似，除了稀疏的空间位置可能发生变化。因此，通过双码估计来设想变化检测任务，该双码估计在与每个图像相关联的估计码之间的差中强制空间稀疏性。这个问题被制定为一个反问题，这是迭代求解，使用一个有效的近端交替最小化算法占非光滑和非凸函数。所提出的方法被应用到真实的图像与模拟尚未现实和真实的变化。与最先进的变化检测方法的比较证明了所提出的策略的准确性。
2019-09-02 cs.CV eess.IV physics.data-an
CD-DPE: Dual-Prompt Expert Network Based on Convolutional Dictionary Feature Decoupling for Multi-Contrast MRI Super-Resolution
CD-DPE通过双提示专家网络和卷积字典特征解耦策略，提升多对比MRI超分辨率的重建质量与泛化能力。
2025-12-19 cs.CV
A Dictionary Approach to Identifying Transient RFI
University of Cape Town（开普敦大学）
随着射电望远镜变得越来越灵敏，射频干扰（RFI）的破坏性影响变得更加明显。在射电望远镜阵列附近，射频干扰源通常很容易被移除或更换;挑战在于识别它们。瞬态（脉冲）RFI特别难以识别。我们提出了一种新的基于字典的方法来识别瞬态RFI。RFI事件被视为子事件的序列，从特定的标记类。我们展示了一个自动化的方法提取和标签子事件使用数据集的瞬态RFI。标签字典可以与隐马尔可夫模型结合使用，以可靠地识别RFI事件的来源。我们获得了比传统方法（如SVM或朴素的kNN分类器）更高的分类精度。最后，我们调查为什么瞬态RFI是难以分类。我们表明，集群分离的主成分域的影响，电源相位为某些来源。
2017-11-23 astro-ph.IM cs.CV eess.SP
Audio-visual speech separation based on joint feature representation with cross-modal attention
Northwestern Polytechnical University（西北工业大学）；Nanchang University（南昌大学）
基于多模态的语音分离在多说话人噪声环境中分离目标特征方面具有独特的优势。遗憾的是，大多数现有的分离策略更喜欢基于每个单一模态的特征学习的直接融合，这远远没有充分考虑模态之间的相互关系。受注意力机制的启发，本文提出了一种新的跨模态融合策略，利用不同模态之间的语义相关性，使整个框架受益。为了进一步提高视听语音分离，嘴唇运动的密集光流被纳入，以加强视觉表示的鲁棒性。在两个公共视听语音分离基准数据集上进行了评估。性能的整体改善表明，额外的运动网络有效地增强了组合嘴唇图像和音频信号的视觉表示，以及优于基线的所有指标与建议的跨模态融合。
2022-03-05 cs.CV cs.LG cs.SD
Combined Dictionary Unfolding Network with Gradient-Adaptive Fidelity for Transferable Multi-Source Fusion
College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机科学与技术学院）；College of Surveying and Geoinformatics, Tongji University（同济大学测绘与地理信息学院）；School of Computer and Information, Hefei University of Technology（合肥工业大学计算机与信息学院）
本文提出CDNet，通过结合字典学习的共同-特定表示先验，设计轻量级结构约束联合展开架构，提升多源图像融合效率与性能。
2026-05-01 cs.CV eess.IV
SpectralGCD: Spectral Concept Selection and Cross-modal Representation Learning for Generalized Category Discovery
University of Florence, Media Integration and Communication Center (MICC)（佛罗伦萨大学，媒体整合与通信中心（MICC））
研究广义类别发现问题，提出SpectralGCD方法，利用CLIP跨模态相似性统一表示，通过光谱滤波和知识蒸馏提升性能，相比现有方法计算成本低且精度高。
2026-07-07 cs.AI cs.CV cs.LG
Sparse Representation and Non-Negative Matrix Factorization for image denoise
Zagazig University（宰加济格大学）
近年来，图像盲分离问题得到了广泛的研究，尤其是医学图像去噪，它是医学诊断的重要环节。去除噪声而不影响图像的相关特征是主要目标。冗余字典上的稀疏分解成为解决这一问题的常用方法。NMF代码自然倾向于稀疏的、基于部分的表示。在稀疏表示中，信号表示为冗余字典原子的线性组合。本文提出了一种基于冗余字典上稀疏表示和非负矩阵分解（N-NMF）的算法。该算法首先对含噪图像构造训练样本进行字典运算，然后利用近似匹配追踪算法（AMP）寻找最佳的信源表示。建议的N-NMF给出了一个更好的重建图像去噪之一。我们比较了我们的数值结果与不同的图像去噪技术，我们发现所提出的技术的性能是有前途的。关键词：图像去噪，稀疏表示，字典学习，匹配追踪，非负矩阵分解。
2018-07-05 cs.CV
Knowledge-Enhanced Hierarchical Information Correlation Learning for Multi-Modal Rumor Detection
University of Science and Technology of China（中国科学技术大学）
针对多模态谣言检测中跨模态复杂语义关联探索不足的问题，提出知识增强层次信息关联学习方法KhiCL，通过跨模态联合字典与融合层建模基本语义关联，并利用知识图谱推理实体最短路径与带符号注意力机制学习高阶实体关联，有效提升了检测性能。
2023-06-28 cs.CV
VisualVoice: Audio-Visual Speech Separation with Cross-Modal Consistency
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Stanford University（斯坦福大学）；Facebook AI Research（Facebook AI研究院）
我们介绍了一种新的视听语音分离方法。给定视频，目标是提取与面部相关联的语音，而不管同时的背景声音和/或其他人类说话者。而现有的方法专注于学习扬声器的嘴唇运动和他们产生的声音之间的对齐，我们建议利用扬声器的面部外观作为额外的之前，隔离相应的声乐质量，他们可能会产生。我们的方法联合学习视听语音分离和跨模态扬声器嵌入未标记的视频。它在五个用于视听语音分离和增强的基准数据集上产生了最先进的结果，并很好地推广到具有挑战性的各种场景的真实世界视频。我们的视频结果和代码：http://vision.cs.utexas.edu/projects/VisualVoice/.
2021-04-06 cs.CV cs.SD eess.IV
Optimizing Codes for Source Separation in Color Image Demosaicing and Compressive Video Recovery
IIT Bombay（印度理工学院孟买分校）
在图像处理中存在若干应用（例如：视频压缩传感[Hitomi，Y.等人，“Video from a single coded exposure photograph using a learned overcomplete dictionary”]和彩色图像去马赛克[Moghadam，A. A.等人，“Compressive Framework for Demosaicing of Natural Images”]），其需要以那些图像的编码叠加的形式分离给定测量的组成图像。在这些应用中，物理上实际的代码模式是非负的，系统结构化的，并且并不总是遵守其他模式（例如高斯码）的良好的非相干特性，这会对重构性能产生不利影响。本文的贡献是通过最小化矩阵$\boldsymbol{ΦΨ}$的互相关来设计用于视频压缩感知和去马赛克的码型，其中$\boldsymbolΦ$表示从码创建的感知矩阵，并且$\boldsymbolΨ$是信号表示矩阵。我们的主要贡献是，我们明确地考虑到这些应用程序所需的这些代码模式的特殊结构：（1）~非负性，（2）~块对角性质，和（3）~循环移位。特别地，最后一个属性使得能够对一些重要的压缩传感架构进行准确且无缝的逐块重建。
2017-07-11 cs.CV
OmniSep: Unified Omni-Modality Sound Separation with Query-Mixup
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；Shanghai Jiao Tong University（上海交通大学）
本文提出统一全模态声音分离框架 OmniSep，通过 Query-Mixup、正负向查询调控和 Query-Aug 支持文本、图像、音频查询及开放词汇分离，并在多个数据集达到最先进性能。
2024-10-28 cs.CV cs.MM cs.SD
DyaDiT: A Multi-Modal Diffusion Transformer for Socially Favorable Dyadic Gesture Generation
Institute of Science Tokyo（东京科学大学）；UNIST（蔚山科学技术院）；Shanda AI Research Tokyo（盛大人工智能研究院东京）；The University of Tokyo（东京大学）
DyaDiT通过多模态扩散变换器生成适合社会互动的双人手势，利用双人音频信号和社交上下文令牌，融合双方信息并编码运动先验，实现更自然的交互。
2026-03-30 cs.CV
Multi-Modal Multi-Correlation Learning for Audio-Visual Speech Separation
Microsoft Research Asia（微软亚洲研究院）
在本文中，我们提出了一个多模态多相关学习框架，针对视听语音分离的任务。虽然以前的努力已经广泛地把音频和视频形式相结合，他们中的大多数仅仅采用一个简单的级联的音频和视频功能。为了利用这两种模态背后真正有用的信息，我们定义了两个关键的相关性：（1）身份相关性（音色和面部属性之间）;（2）语音相关性（音素和嘴唇运动之间）。这两种相关性共同构成了完整的信息，在分离目标说话人的语音方面显示出一定的优越性，特别是在一些困难的情况下，如性别相同或内容相似。为了实现，应用对比学习或对抗训练方法来最大化这两个相关性。这两种方法都能很好地工作，而对抗训练通过避免对比学习的一些局限性而显示出其优势。与以前的研究相比，我们的解决方案在实验指标上表现出明显的改善，而不增加复杂性。进一步的分析表明，所提出的架构的有效性和良好的潜力，为未来的扩展。
2022-07-04 cs.CV cs.MM cs.SD
Looking into Your Speech: Learning Cross-modal Affinity for Audio-visual Speech Separation
Yonsei University（延世大学）；Naver Corporation（Naver公司）；Korea Aerospace University（韩国航空大学）
在本文中，我们解决的问题，分离个人语音信号从视频使用视听神经处理。大多数常规方法利用逐帧匹配准则来提取共现音频与视频之间的共享信息。因此，他们的表现在很大程度上取决于视听同步的准确性和他们的表现的有效性。为了克服由于传输延迟不匹配或抖动导致的两种模态之间的帧不连续问题，我们提出了一种跨模态亲和网络（CaffNet），它可以学习音频和视频流之间的全局对应关系以及局部变化的亲和性。考虑到全局项在话语级的时间序列上提供稳定性，这解决了以不一致分配为特征的标签置换问题。通过在复杂网络上扩展所提出的跨模态亲和度，进一步提高了复谱域的分离性能。实验结果表明，所提出的方法优于传统的各种数据集上，在现实世界的场景中展示了他们的优势。
2021-03-25 cs.CV cs.SD eess.AS
Multi-modal Alignment using Representation Codebook
Amazon（亚马逊公司）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
对齐来自不同模态的信号是视觉语言表示学习中的重要步骤，因为它影响诸如跨模态融合的后续阶段的性能。由于图像和文本通常位于特征空间的不同区域，因此在实例级别直接对齐它们具有挑战性，特别是当特征在训练期间仍在演变时。在本文中，我们建议使用聚类表示在更高和更稳定的水平上对齐。具体来说，我们把图像和文本作为同一个实体的两个“视图”，并将它们编码到一个由聚类中心字典（码本）构成的联合视觉语言编码空间中。我们通过它们的聚类分配来对比阳性和阴性样本，同时优化聚类中心。为了进一步理顺学习过程，我们采用了师生蒸馏范式，其中一个观点的动力教师指导学生学习其他观点。我们在常见的视觉语言基准上评估了我们的方法，并在zero-shot跨模态检索上获得了新的SoTA，同时在各种其他传输任务上具有竞争力。
2022-03-28 cs.AI cs.CV
TARDis: Time Attenuated Representation Disentanglement for Incomplete Multi-Modal Tumor Segmentation and Classification
School of Automation and Electrical Engineering, University of Science and Technology Beijing（北京科技大学自动化与电气工程学院）；Alibaba Group DAMO Academy（阿里巴巴集团DAMO学院）；Hupan Lab（湖畔实验室）；Departments of Radiology, Changhai Hospital（上海长海医院放射科）
TARDis通过时间衰减表示解耦框架，解决多模态肿瘤分割与分类中缺失模态问题，提升诊断精度并降低辐射暴露。
2026-02-27 cs.CV
An ADMM Approach to Masked Signal Decomposition Using Subspace Representation
New York University（纽约大学）；Electrical Engineering Department（电气工程系）
信号分解是信号处理中的一个经典问题，其目的是将观测信号分解为两个或多个分量，每个分量具有各自的特性。通常，每个组件由其自己的子空间或字典描述。已经对其中组件是加性的情况进行了广泛的研究，但是在现实世界的应用中，组件通常是非加性的。例如，图像可以由覆盖在背景上的前景对象组成，其中每个像素属于前景或背景。在这种情况下，为了分离信号分量，我们需要找到一个显示每个分量位置的二进制掩码。因此，它需要解决一个二元优化问题。由于大多数二进制优化问题是难以解决的，我们放松这个问题的近似连续问题，并解决它的交替优化技术。我们提出的算法的应用程序为三个应用程序：从图像中的背景中分离的文本，分离的运动对象从经历全局摄像机运动的视频背景中，分离的正弦和尖峰分量的一维信号。我们证明，在每种情况下，考虑非添加剂性质的问题，可以导致显着的改善。
2018-12-25 cs.CV
A Survey of Super-Resolution in Iris Biometrics with Evaluation of Dictionary-Learning
Halmstad University（哈尔姆斯塔德大学）；University of Malta（马耳他大学）；Universidad Autonoma de Madrid（马德里自治大学）；Nokia Bell-Labs（诺基亚贝尔实验室）
分辨率的不足对基于图像的生物识别的性能有负面影响。虽然已经提出了许多通用的超分辨率方法来恢复低分辨率图像，但它们通常旨在增强其视觉外观。然而，生物特征图像的视觉增强不一定与更好的识别性能相关。因此，重建方法需要结合来自目标生物特征模态的特定信息，以有效地提高识别。本文提出了一个全面的调查虹膜超分辨率的方法提出的文献。我们还采用了基于局部图像块PCA特征变换的特征块重建方法。虹膜的结构是利用建立一个补丁的位置相关的字典。此外，图像块被单独恢复，具有它们自己的重建权重。这使得解决方案可以在本地进行优化，有助于保留本地信息。为了评估该算法，我们从CASIA Interval V3数据库中降级了高分辨率图像。考虑了不同的分辨率，15 x15像素是最小的分辨率。据我们所知，这是文献中采用的最小分辨率之一。该框架与六个公共虹膜比较器相补充，用于进行生物特征验证和识别实验。实验结果表明，该方法显着优于双线性和双三次插值在非常低的分辨率。许多比较器的性能达到了令人印象深刻的相等出错率低至5%，并在考虑虹膜图像只有15 x15像素时，前1级精度为77-84%。这些结果清楚地证明了在匹配之前使用训练的超分辨率技术来提高虹膜图像的质量的益处。
2022-03-27 cs.CV eess.IV
iQuery: Instruments as Queries for Audio-Visual Sound Separation
UC San Diego（加州大学圣地亚哥分校）；Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；National University of Singapore（新加坡国立大学）；ShanghaiTech University（上海科技大学）；University of Pennsylvania（宾夕法尼亚大学）
当前的视听分离方法共享标准架构设计，其中音频编码器-解码器网络在编码器瓶颈处与视觉编码特征融合。该设计混淆了多模态特征编码的学习与用于音频分离的鲁棒声音解码。推广到一种新乐器：必须为所有乐器微调整个视觉和音频网络。我们重新制定视听分离的任务，并提出了一个灵活的查询扩展机制的查询（iQuery）的仪器。我们的方法确保了跨模态的一致性和跨仪器的解纠缠。我们利用“视觉命名”查询启动学习的音频查询，并使用跨模态的注意力，以消除潜在的声源干扰估计波形。为了推广到新的仪器或事件类，从文本提示设计中汲取灵感，我们插入一个额外的查询作为音频提示，同时冻结注意力机制。三个基准测试的实验结果表明，我们的iQuery提高视听声音声源分离性能。
2022-12-08 cs.CV cs.MM cs.SD
DAAL: Density-Aware Adaptive Line Margin Loss for Multi-Modal Deep Metric Learning
Pokhara University（博卡拉大学）；Universita di Verona（维罗纳大学）；Eng. for Innovative Medicine（创新医学工程学院）
本文提出密度感知自适应线形间隔损失（DAAL），通过保持嵌入密度分布并形成自适应子簇，增强类内方差和类间分离，在细粒度数据集上取得优越性能，推进多模态深度度量学习。
2024-11-05 cs.CV cs.LG
WenLan: Bridging Vision and Language by Large-Scale Multi-Modal Pre-Training
Renmin University of China（中国人民大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
近年来，多模式预训练模型被广泛探索，以连接视觉和语言。然而，他们中的大多数明确的模型之间的跨模态的图像-文本对的相互作用，通过假设存在着很强的语义相关性之间的文本和图像模态。由于这种强假设在现实场景中通常是无效的，因此我们选择隐式地对大规模多模态预训练的跨模态相关性进行建模，这是我们团队领导的中国项目“WenLan”的重点。具体来说，在图像-文本对的弱相关性假设下，我们在跨模态对比学习框架内提出了一种称为BriVL的双塔预训练模型。与采用简单对比学习方法的OpenAI CLIP不同，我们通过将最新的方法MoCo应用于跨模态场景来设计更高级的算法。通过构建一个大型的基于字典的字典，我们的BriVL可以在有限的GPU资源中包含更多的负样本。我们进一步构建了一个名为RUC-CAS-WenLan的大型中文多源图像-文本数据集，用于预训练我们的BriVL模型。大量的实验表明，预训练的BriVL模型在各种下游任务上的性能优于UNITER和OpenAI CLIP。
2021-07-08 cs.CV cs.IR
Audio-visual multi-channel speech separation, dereverberation and recognition
Tencent AI Lab（腾讯人工智能实验室）
尽管自动语音识别（ASR）技术发展迅速，但到目前为止，以来自重叠扬声器、背景噪声和房间混响的干扰为特征的鸡尾酒会语音的准确识别仍然是一项极具挑战性的任务。受视觉模态对声学信号破坏的不变性的激励，已经开发了视听语音增强技术，尽管主要针对重叠的语音分离和识别任务。本文提出了一种视听多通道语音分离、去混响和识别的方法，该方法的特点是在系统的所有三个阶段都充分结合了视觉信息。额外的视觉模态的优势，仅使用音频证明了两个神经去混响方法的基础上DNN-WPE和频谱映射。分离和去混响模型之间的学习成本函数失配以及它们与后端识别系统的集成使用MSE和LF-MMI标准的微调来最小化。在LRS 2数据集上进行的实验表明，所提出的视听多通道语音分离、去混响和识别系统的性能优于不含去混响模块的基线视听多通道语音分离和识别系统，其统计显著的字出错率（WER）绝对降低了2.06%（相对降低了8.77%）。
2022-04-08 cs.CV cs.MM cs.SD
Learning Multi-Modal Nonlinear Embeddings: Performance Bounds and an Algorithm
METU（中东技术大学）
虽然文献中存在许多方法来学习多模态数据汇集的低维表示，但多模态非线性嵌入对以前未见过的数据的可推广性是一个相当被忽视的主题。在这项工作中，我们首先提出了一个理论分析学习多模态非线性嵌入在监督设置。我们的性能界限表明，对于多模态分类和检索问题的成功推广，将嵌入扩展到整个数据空间的插值函数的规律性与类间分离和跨模态对齐标准一样重要。然后，我们提出了一个多模态的非线性表示学习算法，是由这些理论研究结果的动机，其中的嵌入的训练样本进行了优化与Lipschitz正则性的插值器。与最近的多模态和单模态学习算法的实验比较表明，所提出的方法在多模态图像分类和跨模态图像-文本检索应用中产生有前途的性能。
2020-12-24 cs.CV cs.IR cs.LG
One Geometry, Different Outcomes: Readout-Dependent Effects of the Modality Gap in Vision-Language Models
Indian Institute of Technology Jodhpur（印度理工学院焦特布尔分校）
本文通过几何分析揭示视觉-语言模型中模态间隙的秩一结构，统一解释了间隙修改在不同下游任务中的改善、降低或恢复性能的效应，并为间隙干预选择提供原则性指导。
2026-09-30 cs.AI cs.CV cs.LG
Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University at Buffalo（布法罗大学）；Amazon（亚马逊）
对比损失已经越来越多地用于从多种模态学习表征。在有限的范围内，对比损失的性质鼓励模态在潜在空间中彼此精确匹配。然而，它仍然是一个悬而未决的问题，如何通道对齐影响下游的任务绩效。在本文中，基于信息理论的论点，我们首先证明，准确的模态对齐是次优的下游预测任务。因此，我们认为，更好的表现的关键在于有意义的潜在情态结构，而不是完美的情态对齐。为此，我们提出了三种构建潜在情态结构的一般方法。具体来说，我们设计了1）用于模态内正则化的深度特征分离损失; 2）用于模态间正则化的布朗桥损失;以及3）用于模态内和模态间正则化的几何一致性损失。在两个流行的多模态表示学习框架上进行了大量的实验：基于CLIP的双塔模型和基于ALBEF的融合模型。我们测试我们的模型上的各种任务，包括零/Few-Shot图像分类，图像-文本检索，视觉问答，视觉推理和视觉蕴涵。我们的方法取得了一致的改进，现有的方法，证明了我们提出的方法的有效性和通用性的潜在模态结构正则化。
2023-03-10 cs.AI cs.CV cs.LG
Music source separation conditioned on 3D point clouds
mdw.ac.at（维也纳音乐与表演艺术大学）
最近，通过应用深度学习技术，在音频声源分离方面取得了重大进展。目前结合音频和视觉信息的方法使用2D表示（如图像）来指导分离过程。然而，为了从真实音乐合奏的记录（重新）创建用于3D虚拟/增强现实应用的声学上正确的场景，需要关于3D环境中的每个声源的详细信息。这一需求，以及LiDAR或rgb深度相机等3D视觉采集系统的激增，刺激了可以使用3D视觉信息指导音频分离的模型的创建。本文提出了一种多模态深度学习模型，以音乐表演记录的3D点云为条件执行音乐声源分离。该模型使用3D稀疏卷积提取视觉特征，而使用密集卷积提取音频特征。融合模块组合所提取的特征以最终执行音频声源分离。它示出，所提出的模型可以区分乐器从一个单一的三维点云帧，并执行声源分离定性类似的参考情况下，手动分配的仪器标签提供。
2021-02-03 cs.CV cs.SD eess.AS
End-to-End Multi-Modal Diffusion Mamba
China University of Petroleum-Beijing（中国石油大学（北京））；Leyard Optoelectronic（莱亚德光电）；University of Wisconsin-Milwaukee（威斯康星大学密尔沃基分校）
本文提出MDM架构，利用曼巴多步选择扩散模型和统一变分自编码器，实现端到端多模态联合表示学习，在图像生成、视觉问答等任务上超越现有模型，并可与SOTA模型竞争。
2025-10-15 cs.AI cs.CV cs.LG
Deep Convolutional Sparse Coding Networks for Image Fusion
Xi’an Jiaotong University（西安交通大学）
图像融合在包括数字摄影、计算成像和遥感等许多领域都是一个重要的问题。最近，深度学习已经成为图像融合的重要工具。本文提出了三种深度卷积稀疏编码（CSC）网络，用于三种图像融合任务（即，红外和可见光图像融合、多次曝光图像融合和多模态图像融合）。CSC模型和迭代收缩阈值算法被推广到字典卷积单元。因此，所有超参数都是从数据中学习的。我们广泛的实验和全面的比较揭示了所提出的网络在定量评估和视觉检查方面的优越性。
2020-05-18 cs.CV cs.MM eess.IV
FaceFilter: Audio-visual speech separation using still images
Yonsei University（延世大学）；Naver Corp.（Naver公司）
本文的目标是使用深度视听语音分离网络从两个说话人的混合语音中分离出目标说话人的语音。不同于以往的作品，使用嘴唇运动的视频剪辑或预先注册的扬声器信息作为辅助条件功能，我们使用一个单一的人脸图像的目标扬声器。在该任务中，条件特征是从跨模态生物特征识别任务中的面部外观中获得的，其中音频和视觉身份表示在潜在空间中共享。从面部图像中学习的身份迫使网络隔离匹配的说话者并从混合语音中提取声音。它解决了语音分离任务中经常出现的通道输出交换引起的排列问题。由于用户简档图像在许多平台上都很容易获得，因此所提出的方法比基于视频的语音分离更实用。此外，与说话者感知分离方法不同，它适用于与以前从未登记过的未见过的说话者分离。我们在具有挑战性的现实世界的例子中表现出强大的定性和定量结果。
2020-05-14 cs.CV cs.MM cs.SD
