Contrastive Visual-Linguistic Pretraining
Beijing University of Posts and Telecommunication（北京邮电大学）；Rutgers University（罗格斯大学）；The Chinese University of Hong Kong（香港中文大学）；Chinese Academy of Sciences（中国科学院）；Hasso Plattner Institute（哈索·普拉特纳研究院）
最近提出了几种多模态表示学习方法，如LXMERT和ViLBERT。由于在大规模多模态预训练期间捕获的高级语义信息，这些方法可以实现优异的性能。然而，由于ViLBERT和LXMERT采用视觉区域回归和分类损失，它们经常遭受域间隙和噪声标签问题，基于视觉特征已经在Visual Genome数据集上进行了预训练。为了克服这些问题，我们提出了无偏的对比视觉语言预训练（CVLP），它构建了一个基于对比学习的视觉自我监督损失。我们在几个下游任务上评估了CVLP，包括VQA，GQA和NLVR2，以验证对比学习在多模态表示学习上的优越性。我们的代码可在https://github.com/ArcherYunDong/CVLP-上获得。
2020-07-26 cs.CV eess.IV
MatCha: Enhancing Visual Language Pretraining with Math Reasoning and Chart Derendering
Google DeepMind（谷歌DeepMind）；University of Cambridge（剑桥大学）
提出MatCha预训练框架，通过图表解构和数值推理任务增强视觉语言模型在图表数据上的联合建模能力，在标准基准上提升近20%并验证了跨领域迁移效果。
2023-05-23 cs.AI cs.CL cs.CV
Weakly-Supervised Learning of Visual Relations in Multimodal Pretraining
Google DeepMind（谷歌DeepMind）；University of Copenhagen（哥本哈根大学）
本文提出两种预训练方法，利用小规模视觉关系数据的监督信号，通过语言化场景图和掩码关系预测在多模态设置中情境化视觉实体，在零样本评估中有效提升了多模态表示学习能力。
2023-10-19 cs.CL cs.CV
Efficient Vision-Language Pretraining with Visual Concepts and Hierarchical Alignment
Sorbonne University（索邦大学）；Meta AI
视觉和语言预训练已经成为解决多模态下游任务的流行方法。目前的趋势是朝着更大的模型和预训练数据集发展。从长远来看，这种计算上的盲目追求似乎并不合理，无法实现可持续的解决方案，事实上也排除了资源有限的学术实验室。在这项工作中，我们提出了一个新的框架，称为ViCHA，有效地利用输入数据，以提高学习：（a）一个新的分层交叉模态对齐损失，（b）新的自我监督计划的基础上，掩码图像建模，（c）利用图像级注释，称为视觉概念，获得与现有的基础模型，如CLIP，以提高图像编码器的性能。虽然在少四倍的数据上进行了预训练，但我们的ViCHA策略在几个下游任务上的表现优于其他方法，例如图像-文本检索，VQA，视觉推理，视觉蕴涵和视觉基础。该代码将在以下网站公开发布：https://github.com/mshukor/ViCHA
2022-10-05 cs.CV cs.LG
Contrastive Pretraining with Dual Visual Encoders for Gloss-Free Sign Language Translation
CVSSP, University of Surrey（CVSSP，英国萨里大学）
提出一种基于双视觉编码器对比预训练的两阶段框架，通过融合互补视觉特征实现无 gloss 手语翻译，在 Phoenix-2014T 基准上取得了最高 BLEU-4 分数。
2025-07-14 cs.CV
Learning to Localize Sound Source in Visual Scenes
KAIST（韩国科学技术院）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；University of California, Merced（加州大学默塞德分校）
在我们的日常生活中，视觉事件通常伴随着声音。我们提出这个问题：机器能否学习视觉场景和声音之间的对应关系，并像人类一样只通过观察声音和视觉场景对来定位声源？在本文中，我们提出了一种新的无监督算法，以解决在视觉场景中的声源定位的问题。本文提出了一种基于注意力机制的双流网络结构，用于声源定位。此外，虽然我们的网络是在无监督学习框架内制定的，但它也可以扩展到一个统一的体系结构，只需对监督和半监督学习设置进行简单修改。同时，开发了一种新的声源数据集用于性能评估。我们的实证评估表明，无监督的方法最终会通过错误的结论在某些情况下。我们表明，即使有一些监督，错误的结论是能够得到纠正，并在视觉场景中的声源可以有效地定位。
2018-03-10 cs.AI cs.CV cs.MM
QPT V2: Masked Image Modeling Advances Visual Scoring
Tsinghua University（清华大学）；Kuaishou Technology（快手科技）
本文提出QPT V2框架，通过掩码图像建模提升视觉质量和审美评分能力，通过数据筛选、降质引入和模型结构调整，在11个下游基准测试中表现优异。
2026-03-27 cs.CV cs.MM
How Far Are We from Removing the Visual Encoder? Scaling Laws for Encoder-Free Multimodal Pretraining
CASIA UCAS Foundation Model Department, Tencent（中国科学院自动化研究所 中国科学院大学 腾讯基础模型部）
本研究通过缩放定律比较，发现无编码器多模态大语言模型在足够计算量下可追平基于视觉编码器的模型，且视觉先验优势随规模减弱，表明无编码器架构是多模态预训练的有前景方向。
2026-09-29 cs.CV
One Model, Multiple Modalities: A Sparsely Activated Approach for Text, Sound, Image, Video and Code
Tencent AI Lab（腾讯人工智能实验室）
人们用多种感官感知世界（例如，通过听声音、读单词和看物体）。然而，大多数现有的AI系统只处理单个模态。本文提出了一种方法，擅长处理多种形式的信息与一个单一的模型。在我们的“{SkillNet}”模型中，参数的不同部分专门用于处理不同的模态。与总是激活所有模型参数的传统密集模型不同，我们的模型稀疏地激活了与任务相关的技能的部分参数。这种模型设计使SkillNet能够以更可解释的方式学习技能。我们开发了五种模式，包括文本，图像，声音，视频和代码。结果表明，SkillNet对五种模态特定的微调模型进行了测试。此外，我们的模型支持以相同的稀疏激活方式进行自我监督预训练，从而为不同的模态提供更好的初始化参数。我们发现，预训练显著提高了SkillNet在五种模式上的性能，与特定模式预训练的基线相当甚至更好。在中文文本到图像的检索任务中，我们最终的系统实现了更高的准确率比现有的领先系统，包括悟空{ViT-B}和文澜2.0，而使用较少的激活参数。
2022-05-12 cs.CL cs.CV cs.LG
Does Visual Pretraining Help End-to-End Reasoning?
Brown University（布朗大学）；Google（谷歌）；Google Research（谷歌研究院）
本文提出一种基于视频帧压缩与时间上下文重建的自监督视觉预训练框架，证明预训练对端到端视觉推理的组合泛化至关重要，并在 CATER 和 ACRE 上显著超过图像分类与目标检测等监督预训练方法。
2023-12-16 cs.AI cs.CV cs.LG
Learning from Silence and Noise for Visual Sound Source Localization
Intelligent Multimodal Vision Analysis Universitat Pompeu Fabra Barcelona, Spain（智能多模态视觉分析Universitat Pompeu Fabra Barcelona）；MARL-IDM New York University, New York, USA（MARL-IDM纽约大学）
针对视觉声源定位在静默、噪声和画外音等负音频条件下性能不足及评估受限的问题，提出融合静默与噪声的自监督模型 SSL-SaN、新评估指标和 IS3+ 数据集。
2025-08-29 cs.CV cs.MM
Self-supervised Pretraining and Finetuning for Monocular Depth and Visual Odometry
Naver Labs Europe（欧洲Naver实验室）
本文提出两阶段自监督 transformer 训练框架，结合 CroCo 预训练与无标注视频微调，在六类数据集上同时提升单目深度和视觉里程计性能。
2024-06-16 cs.CV
Visual Instruction Pretraining for Domain-Specific Foundation Models
PCA Lab, VCIP, Computer Science, NKU, Tianjin, China（PCA实验室、VCIP、计算机科学、NKU、天津，中国）；NKIARI, Futian, Shenzhen, China（NKIARI、福田、深圳，中国）
本文提出ViTP，通过视觉指令预训练提升领域特定基础模型的感知与推理能力，在多个遥感和医学影像任务中取得新的最先进性能。
2026-02-26 cs.CV
SimVLM: Simple Visual Language Model Pretraining with Weak Supervision
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；University of Washington（华盛顿大学）
随着视觉和文本表示联合建模的最新进展，视觉语言预训练（VLP）在许多多模态下游任务上取得了令人印象深刻的性能。然而，昂贵的注释，包括干净的图像标题和区域标签的要求限制了现有方法的可扩展性，并复杂化的预训练过程中引入多个特定的目标。在这项工作中，我们放松这些限制，并提出了一个最低限度的预训练框架，命名为简单的视觉语言模型（SimVLM）。与以前的工作不同，SimVLM通过利用大规模弱监督来降低训练复杂度，并且使用单个前缀语言建模目标进行端到端训练。在不使用额外数据或特定于任务的定制的情况下，所产生的模型显著优于以前的预训练方法，并在包括VQA在内的各种判别和生成视觉语言基准测试中获得了最新的结果（+3. 74% vqa-score）、NLVR 2（+1.17%准确度）、SNLI-VE（+1.37%准确度）和图像描述任务（+10.1%ciderr平均得分）。此外，我们证明了SimVLM具有很强的泛化和迁移能力，能够实现zero-shot行为，包括开放式视觉问答和跨通道迁移。
2022-05-15 cs.CL cs.CV cs.LG
Cyclic Co-Learning of Sounding Object Visual Grounding and Sound Separation
University of Rochester（罗切斯特大学）；Beijing Key Laboratory of Big Data Management and Analysis Methods（北京大数据管理与分析方法重点实验室）
在我们的日常生活中，存在着丰富的同步视听事件。在事件内部，音频场景与相应的视觉对象相关联;同时，发声对象可以指示并帮助分离音轨中的各个声音。基于这一观察，在本文中，我们提出了一个循环的共同学习（CCoL）的范例，可以共同学习发声对象的视觉接地和视听声音分离在一个统一的框架。具体地说，我们可以利用扎根的物体-声音关系来改善声音分离的结果。同时，利用分离出的声音所提供的判别信息，改进了探测目标接地的训练样本采样方法，为两个任务建立了一个协同学习的循环，使它们相互受益。大量的实验表明，该框架在这两个任务上都优于最近的方法，并且它们可以通过我们的循环协同学习相互受益。
2021-04-05 cs.CV cs.MM cs.SD
Dense Contrastive Visual-Linguistic Pretraining
Beijing University of Posts and Telecommunications（北京邮电大学）；Rutgers University（罗格斯大学）；Shanghai AI Laboratory（上海人工智能实验室）；Hasso Plattner Institute, University of Potsdam（波茨坦大学哈索普拉特纳研究所）；YITU Technology（依图科技）
受BERT成功的启发，已经提出了几种联合表示图像和文本的多模态表示学习方法。这些方法通过从大规模多模态预训练中捕获高级语义信息来实现卓越的性能。特别是，LXMERT和UNITER采用视觉区域特征回归和标签分类作为借口任务。然而，它们往往会受到噪声标签和稀疏语义注释的问题的困扰，这是基于视觉特征已经在具有有限和不一致的语义标签的众包数据集上进行了预训练。为了克服这些问题，我们提出了无偏的密集对比视觉语言预训练（DCVLP），它取代了区域回归和分类与跨模态区域对比学习，不需要注释。为了提高对比学习中负样本的质量，提出了两种数据增强策略（Mask扰动和Intra-/Inter-Adversarial扰动）。总的来说，DCVLP允许在独立于任何对象注释的自监督设置中进行跨模态密集区域对比学习。我们将我们的方法与先前的视觉语言预训练框架进行比较，以验证密集对比学习在多模态表示学习上的优越性。
2021-09-24 cs.CL cs.CV
Knowledge-enhanced Visual-Language Pretraining for Computational Pathology
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
该研究针对计算病理学视觉表征学习问题，构建首个结构化病理学知识库，提出知识增强的视觉语言预训练方法，在多类下游任务上实现显著性能提升。
2024-09-15 cs.CV
Audio-Visual Spatial Integration and Recursive Attention for Robust Sound Source Localization
Kyung Hee University（庆熙大学）
针对声源定位中音频空间线索利用不足的问题，提出整合视听空间线索的网络与递归注意力机制，并设计两种损失以实现更鲁棒的定位。
2023-08-18 cs.AI cs.CV cs.MM
Self-supervised video pretraining yields robust and more human-aligned visual representations
Google DeepMind（谷歌DeepMind）
提出 VITO 自监督视频预训练框架，通过视频整理与对比学习获得跨图像和视频任务、鲁棒且更符合人类判断的统一视觉表征。
2025-01-10 cs.AI cs.CV cs.LG
Efficient Pretraining Model based on Multi-Scale Local Visual Field Feature Reconstruction for PCB CT Image Element Segmentation
针对PCB CT元件分割中MIM全局重建冗余的问题，提出EMLR-seg，以教师引导预训练、多尺度局部视野模块和4层Transformer解码器提升精度并降低训练成本。
2024-05-09 cs.CV
Hearing Touch: Audio-Visual Pretraining for Contact-Rich Manipulation
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Olin College of Engineering（奥林工程学院）；Meta AI
针对机器人触觉模态缺乏互联网规模预训练数据的问题，提出用接触式麦克风作为替代触觉传感器，借助大规模视听预训练获取表示以提升富接触操作性能，是首个将多感官预训练用于机器人操作的方法。
2024-05-14 cs.AI cs.CV cs.LG
Rethinking Visual Intelligence: Insights from Video Pretraining
Computer Vision Group, University of Bern（伯尔尼大学计算机视觉组）；VITA Lab, EPFL（苏黎世联邦理工学院VITA实验室）
针对视觉领域模型在组合理解和样本效率上的不足，本文研究视频扩散模型（VDMs），发现其在多基准测试中比LLM具有更高的数据效率，为视觉基础模型提供了有效归纳偏置。
2025-11-03 cs.AI cs.CV
Self-supervised vision-language pretraining for Medical visual question answering
Harbin Engineering University（哈尔滨工程大学）；Monash University（莫纳什大学）
医学图像视觉问答（VQA）是在给定的射线图像下回答临床问题的任务，这是一个具有挑战性的问题，需要一个模型来集成视觉和语言信息。为了解决训练数据数量有限的医学VQA问题，预训练-微调范式被广泛用于提高模型的泛化能力。在本文中，我们提出了一种自监督的方法，应用掩码图像建模，屏蔽语言建模，图像文本匹配和图文对齐通过对比学习（M2 I2）的预训练的医学图像字幕数据集，并微调到下游的医学VQA任务。所提出的方法在所有三个公共医疗VQA数据集上实现了最先进的性能。我们的代码和型号可在https://github.com/pengfeiliHEU/M2I2上获得。
2022-11-24 cs.AI cs.CV
MAL: Cluster-Masked and Multi-Task Pretraining for Enhanced xLSTM Vision Performance
Sun Yat-sen University（中山大学）
本文提出MAL框架，通过聚类掩码预训练和多任务编码器-解码器预训练增强xLSTM在视觉任务中的特征提取与适应性，实验证明其超越传统监督模型并发挥xLSTM扩展潜力。
2024-12-14 cs.CV
How Useful is Self-Supervised Pretraining for Visual Tasks?
Princeton University（普林斯顿大学）
最近的进展在自我监督的视觉预训练方面取得了令人难以置信的进展。我们调查哪些因素可能发挥作用，这些预培训方法的实用性从业者。为此，我们在一系列综合的合成数据集和下游任务中评估了各种自监督算法。我们准备了一套合成数据，可以无休止地提供注释图像，并完全控制数据集的难度。我们的实验提供了洞察自我监督的效用如何随着可用标签数量的增长而变化，以及效用如何随着下游任务和训练数据的属性而变化。我们还发现，线性评价与微调性能无关。代码和数据可在\href{https://www.github.com/princeton-vl/selfstudy}{github.com/princeton-vl/selfstudy}上获得。
2020-03-31 cs.CV cs.LG
Visual to Sound: Generating Natural Sound for Videos in the Wild
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Adobe Research（Adobe研究院）
视觉和声音作为人类传统的五种感官（视觉、听觉、味觉、嗅觉和触觉）中的两种，是人类认识世界的基本来源。在自然事件中，这两种模式往往相互关联，共同影响人类的感知。在本文中，我们提出的任务，产生声音给定的视觉输入。这些功能可以帮助实现虚拟现实中的应用程序（自动为虚拟场景生成声音），或者为视觉障碍者提供对图像或视频的额外访问。作为这个方向的第一步，我们应用基于学习的方法来生成给定输入视频帧的原始波形样本。我们在包含各种声音（例如环境声音和来自人/动物的声音）的视频数据集上评估我们的模型。我们的实验表明，生成的声音是相当逼真的，并有良好的时间同步与视觉输入。
2018-06-01 cs.CV
VirTex: Learning Visual Representations from Textual Annotations
University of Michigan（密歇根大学）
许多视觉任务的实际方法是从预先训练的视觉表示开始，通常通过ImageNet上的监督训练来学习。最近的方法已经探索了无监督的预训练，以扩展到大量的未标记图像。相比之下，我们的目标是从更少的图像中学习高质量的视觉表示。为此，我们重新审视监督预训练，并寻求基于分类的预训练的数据效率替代方案。我们提出了VirTex --一种使用语义密集的标题来学习视觉表示的预训练方法。我们在COCO Captions上从头开始训练卷积网络，并将其转移到下游识别任务中，包括图像分类、目标检测和实例分割。在所有任务中，VirTex产生的功能都与ImageNet上学习的功能相匹配或超过-监督或无监督-尽管使用的图像少了十倍。
2021-09-25 cs.CL cs.CV
Billion-Scale Pretraining with Vision Transformers for Multi-Task Visual Representations
Pinterest（品趣志）
视觉表示的大规模预训练已经在一系列基准计算机视觉任务上实现了最先进的性能，但这些技术在复杂生产系统中的极端规模的好处相对未被探索。我们考虑流行的视觉发现产品的情况，其中这些表示是用多任务学习训练的，从特定于用例的视觉理解（例如肤色分类）到所有视觉内容的一般表示学习（例如用于检索的嵌入）。在这项工作中，我们描述了我们如何（1）通过大型弱监督预训练生成一个包含超过10亿张图像的数据集，以提高这些视觉表示的性能，以及（2）利用Transformers来取代传统的卷积主干，深入了解系统和性能改进，特别是在1B+图像规模下。为了支持这个骨干模型，我们详细介绍了一个系统的方法来从异质文本信号中获得弱监督的图像注释，展示了聚类技术处理图像标签的长尾分布的好处。通过对离线和在线评估的全面研究，我们表明，大规模的基于transformer的预训练为工业计算机视觉应用提供了显着的好处。该模型被部署在一个生产视觉购物系统中，前1相关性提高了36%，点击量提高了23%。我们进行了广泛的实验，以更好地了解基于transformer的架构，数据集规模和生产视觉系统的性能之间的经验关系。
2021-08-12 cs.AI cs.CV cs.LG
What Do I Hear? Generating Sounds for Visuals with ChatGPT
Carnegie Mellon University（卡内基梅隆大学）
针对视觉媒体音景生成仅匹配可见内容的局限，提出利用ChatGPT等大语言模型推理能力的工作流，可生成含非可见但必要声音的沉浸式音景，涵盖场景构建、声音构思与生成环节。
2023-11-09 cs.CV cs.MM cs.SD
Audio-Visual Grouping Network for Sound Localization from Mixtures
Carnegie Mellon University（卡内基梅隆大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
声源定位是一个典型的和具有挑战性的任务，预测声源在视频中的位置。以往的单声源定位方法主要是利用音-视关联作为线索来定位每幅图像中的发声对象。由于多个声源在原始空间中的混合属性，除了最近的一项工作使用图像和分离的声音作为节点的图中的对比随机游走之外，存在罕见的多源方法来同时定位多个源。尽管它们有很好的性能，但它们只能处理固定数量的源，并且它们不能学习单个源的紧凑类感知表示。为了克服这一缺点，在本文中，我们提出了一种新的视听分组网络，即AVGN，它可以直接从输入的音频混合和图像中学习每个源的类别语义特征，以同时定位多个源。具体来说，我们的AVGN利用可学习的视听类令牌来聚合类感知源功能。然后，每个源的聚合的语义特征可以用作定位相应视觉区域的指导。与现有的多源方法相比，我们的新框架可以本地化一个灵活的数量的源和解开类别感知的视听表示为个人的声源。我们对MUSIC，VGGSound-Instruments和VGG-Sound Sources基准进行了广泛的实验。实验结果表明，AVGN算法在单声源和多声源情况下均能获得最佳的探测目标定位性能。代码可在\url{https://github.com/stoneMo/AVGN}上获得。
2023-03-29 cs.CV cs.LG cs.MM
2.5D Visual Sound
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Facebook AI Research（Facebook人工智能研究院）
双耳音频为收听者提供3D声音感觉，允许对场景的丰富感知体验。然而，双耳录音几乎是可用的，需要非平凡的专业知识和设备来获得。我们建议通过利用视频将普通单声道音频转换为双耳音频。关键的想法是，视觉帧揭示了显着的空间线索，而明确缺乏在伴随的单通道音频，强烈地链接到它。我们的多模态方法恢复这种链接从未标记的视频。我们设计了一个深度卷积神经网络，通过注入有关对象和场景配置的视觉信息，学习将单声道（单通道）声道解码为双耳声道。我们称其为2.5D视觉声音--视觉流帮助将平面单声道音频“提升”为空间化声音。除了声音生成之外，我们还展示了通过我们的网络学习的自监督表示有利于视听声源分离。我们的视频结果：http://vision.cs.utexas.edu/projects/2.5D_visual_sound/
2019-04-09 cs.CV
Is BERT Blind? Exploring the Effect of Vision-and-Language Pretraining on Visual Language Understanding
Tel Aviv University（特拉维夫大学）
该研究提出VLU任务集与Stroop零样本探测法，验证了视觉-语言预训练能让文本编码器获得视觉推理能力，在隐含视觉推理的纯文本任务中表现更优，为多模态学习中文本编码器的选择提供参考。
2023-11-02 cs.CL cs.CV cs.LG
Hear The Flow: Optical Flow-Based Self-Supervised Visual Sound Source Localization
University at Buffalo（布法罗大学）
学习在没有明确注释的情况下定位视频中的声源是视听研究的一个新领域。这一领域的现有工作集中在创建注意力地图，以捕捉两种模式之间的相关性，以定位声音的来源。在视频中，通常，表现出运动的对象是产生声音的对象。在这项工作中，我们捕捉到这个特性，通过建模的光流在视频中作为一个更好的援助之前，在本地化的声源。我们进一步证明，流为基础的注意力的增加，大大提高了视觉声源定位。最后，我们在标准声源定位数据集上对我们的方法进行了基准测试，并在Soundnet Flickr和VGG声源数据集上实现了最先进的性能。代码：https://github.com/denfed/heartheflow.
2022-11-06 cs.CV
Pix2Struct: Screenshot Parsing as Pretraining for Visual Language Understanding
Google Research（谷歌研究院）；University of Cambridge（剑桥大学）
本研究提出预训练图像到文本模型Pix2Struct，以网页掩码截图解析为简化HTML为预训练目标，结合可变分辨率输入与灵活的多模态融合方式，首次实现单模型在四个领域9项视觉语言任务中6项达SOTA。
2023-06-15 cs.CL cs.CV
Large-scale Pretraining for Visual Dialog: A Simple State-of-the-Art Baseline
Georgia Institute of Technology（佐治亚理工学院）；Facebook AI Research（Facebook人工智能研究院）
之前在可视化对话框方面的工作主要集中在孤立地在VisDial上训练深度神经模型。相反，我们提出了一种方法，在转移到视觉对话之前，利用相关视觉语言数据集的预训练。我们采用最近提出的ViLBERT（Lu et al.，2019年）模型的多轮视觉接地的对话。我们的模型在概念标题和视觉问答数据集上进行了预训练，并在VisDial上进行了微调。我们最好的单一模型在NDCG和MRR上的绝对性能优于先前发表的工作（包括模型集成）超过1%。接下来，我们发现在VisDial中使用“密集”注释进行额外的微调会导致更高的NDCG -比我们的基本模型高出10%-但会损害MRR -比我们的基本模型低17%以上！这突出了两个主要指标- NDCG和MRR -之间的权衡，我们发现这是由于密集的注释与问题的原始地面真相答案不相关。
2020-03-31 cs.CL cs.CV cs.LG
Location-Aware Pretraining for Medical Difference Visual Question Answering
Department of Electrical and Computer Engineering, Carnegie Mellon University, Kigali, Rwanda（电气与计算机工程系，卡内基梅隆大学，刚果（金）基利齐）；University of Melbourne, Melbourne, Australia（墨尔本大学，墨尔本，澳大利亚）
本文提出一种面向位置的预训练框架，结合AREF、GCAP和CAREF任务，提升医学差异VQA中细粒度空间视觉表征能力，实现胸部X光图像中临床相关变化的准确识别与推理。
2026-04-22 cs.AI cs.CV
Multi-scale Multi-instance Visual Sound Localization and Segmentation
Carnegie Mellon University（卡内基梅隆大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Xiaohongshu（小红书）
本文提出多尺度多实例视觉声源定位框架M2VSL，通过可学习多尺度视觉特征与多尺度多实例Transformer聚合跨模态表示，在多个基准上实现发声物体定位与分割的最先进性能。
2024-08-31 cs.CV cs.LG cs.MM
Scaling Dense Event-Stream Pretraining from Visual Foundation Models
City University of Hong Kong（香港城市大学）；Xidian University（西安电子科技大学）
本文提出一种基于视觉基础模型的自监督预训练方法，通过结构感知的蒸馏损失优化密集事件表示，显著提升下游任务性能。
2026-03-04 cs.CV
Learning Sight from Sound: Ambient Sound Provides Supervision for Visual Learning
University of California, Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology（麻省理工学院）；Google Research（谷歌研究院）
海浪的撞击声，快速行驶的汽车的轰鸣声--声音传达了关于我们周围物体的重要信息。在这项工作中，我们表明，环境声音可以作为一个监督信号学习视觉模型。为了证明这一点，我们训练一个卷积神经网络来预测与视频帧相关联的声音的统计摘要。我们表明，通过这个过程，网络学习了一种表达对象和场景信息的表示。我们在几个识别任务上评估了这种表示，发现其性能与其他最先进的无监督学习方法相当。最后，我们通过可视化展示了网络学习单元，这些单元对通常与特征声音相关联的对象具有选择性。本文扩展了早期的会议论文Owens et al. 2016，并进行了额外的实验和讨论。
2017-12-20 cs.CV
Objects as Audio-Visual Modal Sound Fields
University of Maryland, College Park（马里兰大学帕克分校）
本文针对现有碰撞声建模方法成本高或需大量数据的问题，提出AV-MSF表示，结合3D高斯溅射与模态参数实现少样本重建，在真实数据集上达最优渲染性能，还支持接触定位等下游应用。
2026-08-10 cs.CV cs.MM cs.SD
Leveraging Category Information for Single-Frame Visual Sound Source Separation
Tampere University（坦佩雷大学）
视觉声音声源分离的目的是在视觉线索存在的情况下从给定的声音混合中识别声音分量。先前的工作已经展示了令人印象深刻的结果，但是以大型多级架构和复杂的数据表示（例如，光流轨迹）为代价。相比之下，我们研究简单而有效的模型，只使用一个单一的视频帧的视觉声音分离。此外，我们的模型是能够利用的信息的声源类别的分离过程中。为此，我们提出了两个模型，其中我们假设i）类别标签在训练时可用，或者ii）我们知道训练样本对是否来自相同或不同的类别。MUSIC数据集的实验表明，我们的模型获得了相当或更好的性能相比，最近的几个基线方法。代码可在https://github.com/ly-zhu/Leveraging-Category-Information-for-Single-Frame-Visual-Sound-Source-Separation上获得
2021-04-16 cs.CV
Localizing Visual Sounds the Easy Way
Carnegie Mellon University（卡内基梅隆大学）
无监督音视频源定位的目标是定位视频中的可见声源，而不依赖于地面实况定位进行训练。以前的作品往往寻求高视听相似性的可能积极（发声）的地区和低相似性的可能消极的地区。然而，在没有手动注释的情况下，准确区分发声区域和非发声区域是具有挑战性的。在这项工作中，我们提出了一种简单而有效的方法，即EZ-VSL，而不依赖于建设的积极和/或消极的地区在训练过程中。相反，我们通过寻找在关联图像的至少一个位置对齐的视听表示来对齐音频和视觉空间，而在任何位置都不匹配其他图像。我们还引入了一种新的对象引导定位方案在推理时间，以提高精度。我们简单而有效的框架在两个流行的基准测试中实现了最先进的性能，Flickr SoundNet和VGG-Sound Source。特别是，我们将Flickr SoundNet测试集的CIoU从76.80%提高到83.94%，并将VGG-Sound Source数据集的CIoU从34.60%提高到38.85%。该代码可在https://github.com/stoneMo/EZ-VSL上获得。
2022-03-29 cs.CV cs.LG cs.MM
FoleyGAN: Visually Guided Generative Adversarial Network-Based Synchronous Sound Generation in Silent Videos
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
基于深度学习的视觉到声音生成系统本质上需要开发，特别是考虑到视觉和音频特征随时间的同步性方面。在这项研究中，我们引入了一个新的任务，指导类条件生成对抗网络的时间视觉信息的视频输入的视觉到声音生成任务适应视听模态之间的同步性特征。我们提出的FoleyGAN模型能够调节视觉事件的动作序列，从而产生视觉上对齐的逼真音轨。我们扩展了我们之前提出的自动Foley数据集，以使用FoleyGAN进行训练，并通过人类调查评估我们的合成声音，该调查显示出值得注意的（平均81%）视听同步性能。与其他基线模型和视听数据集相比，我们的方法在统计实验中也表现出色。
2021-07-20 cs.AI cs.CV cs.LG
Learning from Next-Frame Prediction: Autoregressive Video Modeling Encodes Effective Representations
Peking University（北京大学）
NExT-Vid通过掩码下一帧预测提出自回归视频预训练框架，提升视频生成质量和语义表示能力。
2026-09-28 cs.CV
RelVAE: Generative Pretraining for few-shot Visual Relationship Detection
National Technical University of Athens（雅典国立技术大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；DeepLab
本文提出RelVAE，首个无需标注关系的少样本视觉关系检测预训练方法，通过生成式模型在潜在空间建模关系语义、视觉与空间变化，并在VG200和VRD上优于基线。
2023-11-27 cs.AI cs.CV
Ambient Sound Provides Supervision for Visual Learning
Google Research（谷歌研究院）；Massachusetts Institute of Technology（麻省理工学院）
海浪的撞击声，快速行驶的汽车的轰鸣声--声音传达了关于我们周围物体的重要信息。在这项工作中，我们表明，环境声音可以作为一个监督信号学习视觉模型。为了证明这一点，我们训练一个卷积神经网络来预测与视频帧相关联的声音的统计摘要。我们表明，通过这个过程，网络学习了一种表达对象和场景信息的表示。我们在几个识别任务上评估了这种表示，发现其性能与其他最先进的无监督学习方法相当。最后，我们通过可视化展示了网络学习单元，这些单元对通常与特征声音相关联的对象具有选择性。
2016-12-05 cs.CV
Visually-Guided Sound Source Separation with Audio-Visual Predictive Coding
Xi’an Jiaotong University（西安交通大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences（中国科学院香港创新研究院）
提出视听预测编码（AVPC）方法，通过预测编码网络统一特征提取、融合和掩码预测，实现参数高效且性能更优的视觉引导声音源分离。
2023-06-19 cs.CV cs.MM cs.SD
FlowGrad: Using Motion for Visual Sound Source Localization
Universitat Pompeu Fabra（庞培法布拉大学）；New York University（纽约大学）
本文提出FlowGrad，通过光流引入时间运动信息，改进城市交通等复杂场景下的视觉声源定位性能，并分析了该方法的优势与不足。
2023-04-14 cs.CV cs.MM cs.SD
Learning Visual Styles from Audio-Visual Associations
Tsinghua University（清华大学）；University of Michigan（密歇根大学）；Shanghai Qi Zhi Institute（上海期智研究院）
从淅淅沥沥的雨声到雪的嘎吱声，我们听到的声音往往传达了场景中出现的视觉纹理。在本文中，我们提出了一种方法来学习视觉风格从未标记的视听数据。我们的模型学习操纵场景的纹理以匹配声音，我们称之为音频驱动的图像风格化。给定一个配对的视听数据集，我们学习修改输入图像，使得在操作之后，它们更有可能与给定的输入声音共同出现。在定量和定性评估中，我们基于声音的模型优于基于标签的方法。我们还表明，音频可以是一个直观的表示操纵图像，调整声音的音量或混合两个声音在一起的结果在可预测的变化，视觉风格。项目网页：https://tinglok.netlify.app/files/avstyle
2022-05-10 cs.CV cs.MM cs.SD
AV-Edit: Multimodal Generative Sound Effect Editing via Audio-Visual Semantic Joint Control
AV-Edit通过联合利用视觉、音频和文本语义，实现多模态生成式声音效果编辑，提升音频编辑的精度和质量。
2025-11-26 cs.CV cs.MM cs.SD
Contrastive Pretraining for Visual Concept Explanations of Socioeconomic Outcomes
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Getulio Vargas Foundation（热图利奥·瓦加斯基金会）；Inria（法国国家信息与自动化研究所）；University of Montpellier（蒙彼利埃大学）
本文研究任务特定对比预训练对卫星图像社会经济预测模型概念可解释性的影响，证明其可形成按社会经济结果连续排序的潜在空间，并为城市研究提供新洞见。
2024-06-13 cs.CV
When Does Contrastive Visual Representation Learning Work?
Caltech（加州理工学院）；Google（谷歌）；University of Edinburgh（爱丁堡大学）；Alan Turing Institute（艾伦·图灵研究所）；University of Copenhagen（哥本哈根大学）
最近的自监督表示学习技术在很大程度上缩小了ImageNet分类上的监督学习和无监督学习之间的差距。虽然ImageNet上预训练的细节现在已经得到了比较好的理解，但该领域仍然缺乏广泛接受的最佳实践来在其他数据集上复制这种成功。作为这个方向的第一步，我们在四个不同的大规模数据集上研究对比自监督学习。通过透视数据量、数据域、数据质量和任务粒度，我们对成功的自监督学习的必要条件提供了新的见解。我们的主要发现包括以下观察结果：（i）超过500k图像的额外预训练数据的好处是适度的，（ii）添加来自另一个域的预训练图像不会导致更一般的表示，（iii）损坏的预训练图像对监督和自监督预训练有不同的影响，（iv）对比学习在细粒度视觉分类任务上远远落后于监督学习。
2022-04-04 cs.CV cs.LG
Transmission Line Defect Detection Based on UAV Patrol Images and Vision-language Pretraining
Department of Electronic and Communication Engineering, North China Electric Power University（电子与通信工程系，华北电力大学）；Hebei Key Laboratory of Power Internet of Things Technology, North China Electric Power University（河北省电力物联网技术重点实验室，华北电力大学）；Computer Science and Software Engineering Department, Monmouth University（计算机科学与软件工程系，蒙特莫恩大学）
针对无人机巡检图像缺陷视觉信息不足的问题，提出VLP-TL视觉-语言预训练与PTS渐进式迁移策略，提升输电线路缺陷检测精度。
2025-05-11 cs.CV
iQuery: Instruments as Queries for Audio-Visual Sound Separation
UC San Diego（加州大学圣地亚哥分校）；Shanghai AI Laboratory（上海人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；National University of Singapore（新加坡国立大学）；ShanghaiTech University（上海科技大学）；University of Pennsylvania（宾夕法尼亚大学）
当前的视听分离方法共享标准架构设计，其中音频编码器-解码器网络在编码器瓶颈处与视觉编码特征融合。该设计混淆了多模态特征编码的学习与用于音频分离的鲁棒声音解码。推广到一种新乐器：必须为所有乐器微调整个视觉和音频网络。我们重新制定视听分离的任务，并提出了一个灵活的查询扩展机制的查询（iQuery）的仪器。我们的方法确保了跨模态的一致性和跨仪器的解纠缠。我们利用“视觉命名”查询启动学习的音频查询，并使用跨模态的注意力，以消除潜在的声源干扰估计波形。为了推广到新的仪器或事件类，从文本提示设计中汲取灵感，我们插入一个额外的查询作为音频提示，同时冻结注意力机制。三个基准测试的实验结果表明，我们的iQuery提高视听声音声源分离性能。
2022-12-08 cs.CV cs.MM cs.SD
