Visual sound source separation aims at identifying sound components from a given sound mixture with the presence of visual cues. Prior works have demonstrated impressive results, but with the expense of large multi-stage architectures and complex data representations (e.g. optical flow trajectories). In contrast, we study simple yet efficient models for visual sound separation using only a single video frame. Furthermore, our models are able to exploit the information of the sound source category in the separation process. To this end, we propose two models where we assume that i) the category labels are available at the training time, or ii) we know if the training sample pairs are from the same or different category. The experiments with the MUSIC dataset show that our model obtains comparable or better performance compared to several recent baseline methods. The code is available at https://github.com/ly-zhu/Leveraging-Category-Information-for-Single-Frame-Visual-Sound-Source-Separation
ViTNF: Leveraging Neural Fields to Boost Vision Transformers in Generalized Category Discovery
School of Mathematics and Information Science（数学与信息科学学院）；Guangxi University（广西大学）；Shanghai Institute of Applied Mathematics and Mechanics（应用数学与力学研究所）；School of Mechanics and Engineering Science（力学与工程科学学院）；Shanghai University（上海大学）
本文提出 ViTNF，用基于耦合静态神经场的分类器替换 ViT 的 MLP 头，并简化训练流程，在多个 GCD 基准上显著提升新类别和所有类别的准确率。
Joint Learning of Visual-Audio Saliency Prediction and Sound Source Localization on Multi-face Videos
Beihang University（北京航空航天大学）；National Laboratory of Pattern Recognition（模式识别国家重点实验室）；Institution of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；Primer.AI Inc.（Primer.AI公司）
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Xinjiang University（新疆大学）；JD Explore Academy, JD.com（京东探索研究院）
Decompose the Sounds and Pixels, Recompose the Events
University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）
在本文中，我们提出了一个框架，围绕一个新的架构称为事件分解重组网络（EDRNet），以解决视听事件（AVE）的本地化问题，在监督和弱监督设置。真实世界中的AVE表现出共同的解开模式（称为事件进展检查点（EPC）），人类可以通过听觉和视觉的合作来感知。与试图识别整个事件序列的早期方法不同，EDRNet使用堆叠的时间卷积对EPC和EPC间关系进行建模。基于假设EPC表示理论上是一致的事件类别，我们介绍了基于状态机的视频融合，一种新的增强技术，混合源视频使用不同的EPC模板序列。此外，我们设计了一个新的损失函数，称为陆地-海岸-海洋损失，以压缩连续的前景和背景表示。最后，为了减轻在弱监督期间混淆事件的问题，我们提出了一种称为Bag to Instance Label Correction的预测稳定方法。在AVE数据集上的实验表明，我们的集体框架在相当大的幅度上优于最先进的框架。
