Audiovisual speaker conversion: jointly and simultaneously transforming facial expression and acoustic characteristics
National Institute of Informatics(国立信息学研究所);The University of Edinburgh(爱丁堡大学)
提出了一种视听说话人转换方法,用于同时将源说话人的面部表情和语音转换为目标说话人的面部表情和语音。将面部和声学特征一起变换使得转换后的语音和面部表情高度相关,并且生成的目标说话者看起来和听起来自然。它使用三个神经网络:融合并变换面部特征和声学特征的转换网络、从经转换的面部特征和声学特征两者产生波形的波形生成网络、以及也基于经转换的特征两者输出RGB面部图像的图像重建网络。使用情感视听数据库的实验结果表明,与单独变换声音和面部特征的方法相比,所提出的方法实现了显着更高的自然度。
2018-12-01 cs.CL cs.LG cs.SD
Spot Risks Before Speaking! Unraveling Safety Attention Heads in Large Vision-Language Models
本文发现LVLMs中存在稀疏“安全头”可在首token生成时感知恶意提示,并基于其激活构建轻量逻辑回归检测器,实现强零样本攻击检测且不损害模型效用。
2025-01-03 cs.AI cs.CR cs.CV
Images Speak Louder than Words: Understanding and Mitigating Bias in Vision-Language Model from a Causal Mediation Perspective
University of Southern California(南加州大学);Sony AI(索尼人工智能)
本文提出基于因果中介分析的框架,发现图像特征是视觉-语言模型偏见的主要来源,并通过模糊图像编码器中的性别表征实现高效去偏。
2025-06-06 cs.AI cs.CL cs.CV
Deep Learning Based Audio-Visual Multi-Speaker DOA Estimation Using Permutation-Free Loss Function
University of Science and Technology of China(中国科学技术大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出了一种基于深度学习的多说话人波达方向(DOA)估计方法,该方法利用无置换损失函数对音频和视频信号进行DOA估计。我们首先收集多模态声源定位(SSL)的音频和视频信号都记录在现实生活中的家庭电视场景的数据集。然后,我们提出了一种新的空间标注方法,产生地面真实的DOA与视频数据之间的相机坐标和像素坐标的转换,根据针孔相机模型的每个扬声器。将空间位置信息与声学特征一起作为另一个输入,多说话人DOA估计可以作为主动说话人检测的分类任务来解决。由于每个说话人的位置被用作输入,因此将解决多说话人相关任务中的标签排列问题。仿真数据和实际数据的实验结果表明,该模型的估计性能明显优于纯音频DOA估计模型。
2022-10-26 cs.SD eess.AS eess.IV
Seeing Through Words, Speaking Through Pixels: Deep Representational Alignment Between Vision and Language Models
Department of Cognitive Science University of California, San Diego(认知科学系,加州大学圣地亚哥分校)
本研究系统探究视觉与语言单模态模型表征对齐的机制,发现对齐在中间层达峰、依赖语义而非外观,并能在多对多场景中反映人类偏好,且实例聚合可增强对齐。
2025-09-25 cs.AI cs.CL cs.CV
A Second-Order Cepstral Signature of Contact-Vibration Sounds Reproduced by Laptop Loudspeakers: A Synthetic Case Study
TalkNicer, Inc.(TalkNicer公司)
通过合成信号链分析,提出接触振动声音在笔记本电脑扬声器再现时具有一阶和二阶倒谱周期性结构,其中二阶倒谱双峰性在机械源和扬声器播放时最明显。
2026-09-29 cs.MM cs.SD math.SP
Seeing Through Noise: Visually Driven Speaker Separation and Enhancement
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
当视频在嘈杂的环境中拍摄时,隔离特定人的声音,同时过滤掉其他声音或背景噪音是一项挑战。我们提出了视听方法来隔离单个扬声器的声音,并消除不相关的声音。首先,在视频中捕获的面部运动被用来估计扬声器的声音,通过一个基于视频到语音的神经网络模型传递无声的视频帧。然后将语音预测作为滤波器应用于有噪声的输入音频。这种方法避免了在学习过程中使用声音的混合,因为这种可能的混合的数量是巨大的,并且不可避免地会使训练的模型产生偏差。我们在两个视听数据集,GRID和TCD-TIMIT上评估了我们的方法,并表明我们的方法在原始视频到语音的预测和一个著名的仅音频方法上获得了显着的SDR和PESQ改进。
2018-02-09 cs.CV cs.SD
SPEAKER VGG CCT: Cross-corpus Speech Emotion Recognition with Speaker Embedding and Vision Transformers
University of Florence(佛罗伦萨大学)
近年来,语音情感识别(SER)已经被研究,主要是将语音信号转换成谱图,然后使用在通用图像上预训练并用谱图进行微调的卷积神经网络对谱图进行分类。在本文中,我们从上述的一般思想出发,并开发了一种新的学习解决方案SER,这是基于紧凑的卷积Transformers(CCT)结合说话人嵌入。通过CCT,视觉Transformer(ViT)的学习能力与对大量数据的需求减少相结合,因为卷积使之成为可能。这在SER中很重要,因为在SER中通常无法获得大型数据库。说话人嵌入允许网络提取说话人的身份表示,然后通过自注意力机制将其与CCT从声谱图中提取的特征相结合。总的来说,该解决方案能够实时运行,在跨语料库的情况下显示有希望的结果,其中训练和测试数据集保持分离。在文献中很少使用的跨语料库设置中的几个基准上进行了实验,结果与最先进的网络架构所获得的结果相当或更好。我们的代码可在https://github.com/JabuMlDev/Speaker-VGG-CCT上获得。
2022-11-04 cs.CV cs.SD eess.AS
DiffV2S: Diffusion-based Video-to-Speech Synthesis with Vision-guided Speaker Embedding
KAIST(韩国科学技术院)
本文提出 DiffV2S,利用自监督模型与提示微调从视频中提取视觉引导说话人嵌入,并结合扩散模型完成无需参考音频的视频转语音合成,实现音素与身份保持的最优效果。
2023-08-15 cs.CV cs.LG cs.SD
BatVision with GCC-PHAT Features for Better Sound to Vision Predictions
Technical University of Denmark(丹麦技术大学);UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
受自然界中复杂的回声定位能力的启发,我们训练了一个生成对抗网络来预测声音中合理的深度图和灰度布局。为了实现这一点,我们的声音到视觉模型处理来自啁啾声音的双耳回声返回。我们建立在以前的工作与蝙蝠视觉,包括一个声音到视觉模型和一个自我收集的数据集使用我们的移动机器人和低成本的硬件。我们通过对模型进行几项更改来改进以前的模型,从而获得更好的深度和灰度估计,并提高感知质量。我们不是使用原始双耳波形作为输入,而是生成广义互相关(GCC)特征并将其用作输入。此外,我们改变了模型生成器,并将其基于残差学习,并将谱归一化用于神经网络。我们比较并提出了定量和定性的改进,我们以前的BatVision模型。
2020-06-14 cs.CV cs.RO cs.SD
VisualVoice: Audio-Visual Speech Separation with Cross-Modal Consistency
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Stanford University(斯坦福大学);Facebook AI Research(Facebook AI研究院)
我们介绍了一种新的视听语音分离方法。给定视频,目标是提取与面部相关联的语音,而不管同时的背景声音和/或其他人类说话者。而现有的方法专注于学习扬声器的嘴唇运动和他们产生的声音之间的对齐,我们建议利用扬声器的面部外观作为额外的之前,隔离相应的声乐质量,他们可能会产生。我们的方法联合学习视听语音分离和跨模态扬声器嵌入未标记的视频。它在五个用于视听语音分离和增强的基准数据集上产生了最先进的结果,并很好地推广到具有挑战性的各种场景的真实世界视频。我们的视频结果和代码:http://vision.cs.utexas.edu/projects/VisualVoice/.
2021-04-06 cs.CV cs.SD eess.IV
Video-Driven Speech Reconstruction using Generative Adversarial Networks
Imperial College London(帝国理工学院);Samsung AI Centre(三星人工智能中心)
语音是一种依靠听觉和视觉信息进行交流的手段。缺乏一种模式往往会导致信息的混乱或误解。在本文中,我们提出了一个端到端的时间模型,能够直接从无声视频合成音频,而不需要转换到和从中间功能。我们提出的基于GANs的方法能够产生与视频同步的自然声音,可理解的语音。我们的模型的性能进行评估的GRID数据集的扬声器相关和扬声器独立的情况下。据我们所知,这是第一种将视频直接映射到原始音频的方法,也是第一种在以前看不见的扬声器上测试时产生可理解语音的方法。我们不仅根据声音质量,而且还根据口语的准确性来评估合成音频。
2019-06-14 cs.CV cs.SD eess.AS
Self-Supervised Vision-Based Detection of the Active Speaker as Support for Socially-Aware Language Acquisition
University of Southern California(南加州大学);KTH Royal Institute of Technology(瑞典皇家理工学院);NTNU Norwegian University of Science and Technology(挪威科技大学)
提出了一种多人语音交互场景下主动说话人视觉检测的自监督方法。主动说话人检测是任何人工认知系统在社会环境中获取语言的基本前提。所提出的方法是为了补充有源扬声器的声学检测,从而提高系统在噪声条件下的鲁棒性。该方法可以检测任意数量的可能重叠的主动扬声器的基础上,专门对他们的脸的视觉信息。此外,该方法不依赖于外部注释,因此符合认知发展。相反,该方法使用来自听觉模态的信息来支持视觉域中的学习。本文报告了一个广泛的评估所提出的方法,使用一个大型的多人面对面的互动数据集。结果表明,良好的性能,在扬声器相关的设置。然而,在扬声器独立设置所提出的方法产生一个显着较低的性能。我们认为,所提出的方法代表了任何人工认知系统或机器人平台参与社会互动的重要组成部分。
2019-07-18 cs.CL cs.CV cs.HC
Towards the Vision-Sound-Language-Action Paradigm: The HEAR Framework for Sound-Centric Manipulation
School of Automation and Intelligent Sensing, Shanghai Jiao Tong University and Shanghai Key Laboratory of Navigation and Location Based Services(自动化与智能感知学院,上海交通大学,导航与基于位置的服务重点实验室);Department of Engineering, Cambridge University(工程系,剑桥大学)
本文提出HEAR框架,通过整合声音、视觉、语言和本体感知,解决实时声音中心操作中的关键声音遗漏问题,强调因果持续性和显式时间学习的重要性。
2026-09-21 cs.AI cs.CV cs.RO
From Vision to Sound: Advancing Audio Anomaly Detection with Vision-Based Algorithms
University of Padova(帕多瓦大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
本研究将视觉异常检测算法适应到音频领域,提出在频谱图中进行细粒度时频定位的音频异常检测方法,以提高可解释性和实用性,并在工业与环境基准上验证其有效性。
2025-02-25 cs.AI cs.CV cs.SD
Kiki or Bouba? Sound Symbolism in Vision-and-Language Models
Tel Aviv University(特拉维夫大学)
本文通过零样本知识探测方法,验证了CLIP和Stable Diffusion等视觉-语言模型能够表现出与心理语言学中kiki-bouba效应相似的声音象征模式,为利用计算工具研究声音象征提供了新方法。
2024-04-02 cs.CL cs.CV cs.LG
Repetitive Activity Counting by Sight and Sound
University of Amsterdam(阿姆斯特丹大学);Inception Institute of Artificial Intelligence(Inception人工智能研究院)
本文致力于视频中的重复活动计数。不同于现有的作品,所有分析的视觉视频内容,我们第一次将相应的声音重复计数过程。这有利于在具有挑战性的视觉条件,如遮挡,戏剧性的相机视图变化,低分辨率等,我们提出了一个模型,开始分别分析的视线和声音流的准确性。然后,视听时间步幅决策模块和可靠性估计模块,利用跨模态的时间交互。为了学习和评估,现有的数据集被重新利用和重组,以允许使用视觉和声音进行重复计数。我们还介绍了这个数据集的一个变体,用于在具有挑战性的视觉条件下进行重复计数。实验证明了声音的好处,以及其他引入的模块,重复计数。我们的视觉模型本身已经优于最先进的模型,当我们添加声音时,结果显着改善,特别是在恶劣的视觉条件下。
2021-04-17 cs.CV
Cross-Modal Urban Sensing: Evaluating Sound-Vision Alignment Across Street-Level and Aerial Imagery
Department of Geography, University of South Carolina(南卡罗来纳大学地理系);Department of Environmental Sciences, Emory University(埃默里大学环境科学系);University of Canterbury(坎特伯雷大学);School of Resource and Environmental Sciences, Wuhan University(武汉大学资源与环境科学学院)
研究通过比较不同视觉表示策略,探讨城市声音与视觉场景的对齐程度,发现街道影像嵌入比分割结果更符合环境声音,而遥感分割在生态分类解释中更有效。
2026-03-27 cs.CV
SonoVision: A Computer Vision Approach for Helping Visually Challenged Individuals Locate Objects with the Help of Sound Cues
Department of Computer Science and Engineering(计算机科学与工程系);BRAC University(布拉克大学)
SonoVision通过声音线索帮助视障人士独立定位物体,采用Flutter开发并使用Efficientdet-D2模型实现离线功能。
2025-12-27 cs.CV
Designing, Playing, and Performing with a Vision-based Mouth Interface
ATR Media Information Science Labs(ATR媒体信息科学实验室);RWTH Aachen University(亚琛工业大学);McGill University(麦吉尔大学)
面部和嘴巴在言语产生以及非语言交流中的作用表明面部动作可以控制音乐声音。在这里,我们的文件工作的mouthesizer,一个系统,它使用一个头戴式微型摄像机和计算机视觉算法,以提取形状参数的嘴开口和输出这些作为MIDI控制的变化。我们报告我们的经验与各种手势到声音的映射和音乐的应用,并描述了现场表演,使用Mouthesizer接口。
2020-10-07 cs.CV cs.HC cs.SD
Learning Audio-Visual Dereverberation
UT Austin(德克萨斯大学奥斯汀分校);FAIR, Meta AI(Meta人工智能基础人工智能研究院)
混响不仅降低了语音的质量,而且严重影响了自动语音识别的准确性。先前的工作尝试仅基于音频模态来去除混响。我们的想法是学习从视听观察中消除语音的回响。人类说话者周围的视觉环境揭示了关于房间几何形状,材料和扬声器位置的重要线索,所有这些都会影响精确的混响效果。我们介绍了视觉信息的音频去混响(VIDA),这是一种端到端的方法,可以根据观察到的单声道声音和视觉场景来学习消除混响。为了支持这一新任务,我们开发了一个大规模的数据集SoundSpaces-Speech,该数据集在提供各种室内声学效果的真实家庭3D扫描中使用逼真的语音声学渲染。演示我们的方法在模拟和真实图像的语音增强,语音识别,和说话人辨识,我们表明它达到了最先进的性能,并大大提高了纯音频的方法。
2023-03-13 cs.CV cs.LG cs.SD
SoundNet: Learning Sound Representations from Unlabeled Video
MIT(麻省理工学院)
我们通过利用在野外收集的大量未标记的声音数据来学习丰富的自然声音表示。我们利用视觉和声音之间的自然同步,使用200万个未标记的视频来学习声学表示。未标记的视频的优势在于它可以大规模经济地获取,但包含有关自然声音的有用信号。我们提出了一个学生-教师的培训过程,将歧视性的视觉知识从建立良好的视觉识别模型转换为声音模态,使用未标记的视频作为桥梁。我们的声音表示产生了显着的性能改进的声学场景/对象分类的标准基准上的最先进的结果。可视化表明,一些高级语义自动出现在声音网络中,即使它是在没有地面真值标签的情况下训练的。
2016-10-27 cs.CV cs.LG cs.SD
Images Speak in Images: A Generalist Painter for In-Context Visual Learning
Beijing Academy of Artificial Intelligence(北京人工智能研究院);Zhejiang University(浙江大学);Peking University(北京大学)
上下文学习作为自然语言处理中的一种新范式,它允许模型在只有少量提示和示例的情况下快速适应各种任务。但在计算机视觉中,上下文学习的难点在于任务在输出表征上的差异很大,因此如何定义视觉模型能够理解的通用任务提示并将其转换为域外任务还不清楚。在这项工作中,我们提出了画家,一个通才模型,它解决了这些障碍与“图像”为中心的解决方案,即,重新定义输出的核心视觉任务的图像,并指定任务提示也图像。有了这个想法,我们的训练过程非常简单,它对输入和输出图像对的拼接执行标准的掩码图像建模。这使得模型能够执行以可见图像补丁为条件的任务。因此,在推理过程中,我们可以采用来自同一任务的一对输入和输出图像作为输入条件,以指示执行哪个任务。没有花里胡哨,我们的多面手画家可以实现竞争力的表现相比,完善的特定任务的模型,在七个代表性的视觉任务,从高层次的视觉理解到低层次的图像处理。此外,Painter在几个具有挑战性的任务上明显优于最近的通才模型。
2023-03-24 cs.CV
You Only Speak Once to See
Tianjin University(天津大学);University of Washington(华盛顿大学);University of Copenhagen(哥本哈根大学)
本文提出 YOSS 方法,通过对比学习与多模态对齐融合预训练音频和视觉模型,首次系统探索音频引导的物体定位,并验证其能提升定位精度与鲁棒性。
2024-09-30 cs.CV
Towards reliable respiratory disease diagnosis based on cough sounds and vision transformers
Luca Healthcare(卢卡医疗);Ruijin Hospital, Shanghai Jiao Tong University School of Medicine(上海交通大学医学院附属瑞金医院);Shanghai Key Laboratory of Emergency Prevention, Diagnosis and Treatment of Respiratory Infectious Disease(上海市呼吸道传染病应急防控诊治重点实验室)
本文针对咳嗽声音呼吸疾病诊断中小规模数据和模型能力受限问题,提出在大规模咳嗽数据集上结合自监督与监督学习的分类方法,并在COVID-19和COPD分类任务上取得优于现有方法的性能。
2024-09-03 cs.CV cs.LG cs.SD
Improving Visual Recognition using Ambient Sound for Supervision
New York University(纽约大学)
我们的大脑将视觉和听觉结合起来,创造出对世界更精细的解释。当视觉输入不足时,丰富的声音可以用来描述我们的周围环境。由于每天有超过1,000小时的视频上传到互联网上,因此手动注释这些视频即使不是不可能,也是非常困难的。因此,将音频与没有注释的视觉数据结合起来,对于利用这种数据爆炸来识别和理解对象和场景至关重要。Owens等人提出,通过使用卷积神经网络来预测与给定视频帧相关联的声音纹理,可以学习物理世界的丰富表示。我们试图从他们的实验中复制这些声明,其中的代码是不可公开的。此外,我们提出了改进的借口任务,导致在其他下游计算机视觉任务的性能更好。
2019-12-25 cs.CV
MERLOT Reserve: Neural Script Knowledge through Vision and Language and Sound
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Edinburgh(爱丁堡大学)
作为人类,我们在一个多模态的世界中航行,从我们所有的感官中建立一个整体的理解。我们引入了MERLOT Reserve,这是一种随着时间的推移联合表示视频的模型-通过一个新的训练目标,从音频,字幕和视频帧中学习。给定一个视频,我们用MASK令牌替换文本和音频片段;模型通过选择正确的屏蔽片段来学习。我们的目标比其他方法学习得更快,并且在规模上表现良好:我们在2000万个YouTube视频上进行预训练。实证结果表明,MERLOT储备学习强大的多模态表示。当微调时,它在视觉常识推理(VCR),TVQA和Kinetics-600上设置了最先进的技术;分别比以前的工作高出5%,7%和1.5%。消融表明,这些任务受益于音频预训练-甚至VCR,一个QA任务围绕图像(没有声音)。此外,我们的目标使开箱即用的预测,揭示了强大的多模态常识的理解。在完全zero-shot设置中,我们的模型在四个视频任务上获得了有竞争力的结果,甚至在最近提出的情境推理(STAR)基准测试中优于监督方法。我们分析了为什么音频能够更好地表达视觉语言,这为未来的研究提供了重要的机会。最后,我们讨论多模式预训练的伦理和社会影响。
2022-05-13 cs.CL cs.CV cs.LG
Audio-Visual Camera Pose Estimation with Passive Scene Sounds and In-the-Wild Video
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出一种结合方向到达谱和双耳嵌入的音频-视觉框架,用于真实世界视频中的相机姿态估计,在视觉信息受损时表现出鲁棒性。
2026-07-02 cs.CV
Does Your VFM Speak Plant? The Botanical Grammar of Vision Foundation Models for Object Detection
University of California, Davis(加州大学戴维斯分校)
本文提出系统提示优化框架,评估四个开放词汇检测器在合成和真实农田图像中对豆科植物花和豆荚的检测性能,发现提示结构对不同模型响应各异,通过模型特定的组合提示显著提升检测精度。
2026-04-10 cs.CV
6 Seconds of Sound and Vision: Creativity in Micro-Videos
Universitat Pompeu Fabra(庞培法布拉大学);Università degli Studi di Torino(都灵大学)
创造力的概念,而不是相关的概念,如美或有趣,还没有从多媒体内容的自动分析的角度进行研究。与此同时,在社交媒体平台上分享的短视频或微视频已经成为创意表达的新媒介。在本文中,我们研究创意微视频,努力了解的特点,使视频创意,并解决自动检测的问题,创意内容。我们将创意视频定义为新颖且具有美学价值的视频,并进行了一项众包实验,创建了一个包含3,800多个微视频的数据集,这些微视频被标记为创意和非创意。我们提出了一组计算特征,将其映射到我们对创造力定义的组成部分,并进行分析以确定其中哪些特征与创意视频最相关。最后,我们评估了一种自动检测创意视频的监督方法,结果令人鼓舞,表明有必要对美学价值和新颖性进行建模,以实现最佳分类精度。
2014-11-14 cs.CV cs.HC cs.MM
v-HUB: A Benchmark for Video Humor Understanding from Vision and Sound
Shanghai Jiao Tong University(上海交通大学);Wuhan University(武汉大学);Beijing Institute for General Artificial Intelligence(北京一般人工智能研究院);Independent Researcher(独立研究者)
提出v-HUB基准,通过非语言短视频评估多模态大语言模型在仅凭视觉线索理解幽默的能力,并发现音频信息有助于提升幽默理解。
2026-06-01 cs.AI cs.CL cs.CV