A Deep Reinforcement Learning Approach for Audio-based Navigation and Audio Source Localization in Multi-speaker Environments
National and Kapodistrian University of Athens(雅典国家与卡波季斯特里安大学)
在这项工作中,我们将深度强化学习应用于导航三维环境和推断人类扬声器音频源的位置的问题,在唯一可用信息是来自环境的原始声音的情况下,因为放置在环境中的模拟人类听众会听到它。为此,我们使用Unity游戏引擎创建了两个虚拟环境,一个提出基于音频的导航问题,一个提出音频源定位问题。我们还创建了一个自主智能体的基础上PPO在线强化学习算法,并试图训练它来解决这些环境。我们的实验表明,我们的代理实现足够的性能和泛化能力,在这两种环境中,通过定量指标测量,即使当有限的训练数据或环境参数的变化,在训练过程中没有遇到的方式。我们还表明,一定程度的代理知识转移是可能的环境之间。
2021-11-27 cs.LG cs.SD eess.AS
Synthetic training set generation using text-to-audio models for environmental sound classification
Politecnico di Milano(米兰理工大学)
本文研究利用文本到音频模型生成合成数据训练环境声音分类系统,比较数据增强、混合训练和纯合成训练三种场景,发现文本到音频模型适合数据增强,但完全依赖合成音频会导致识别性能下降。
2024-07-07 cs.SD eess.AS eess.SP
Audio-Visual Speech Separation in Noisy Environments with a Lightweight Iterative Model
Tsinghua University(清华大学);Universität Hamburg(汉堡大学);Chinese Institute for Brain Research (CIBR)(中国脑科学研究所)
本文提出轻量级音视频迭代模型AVLIT,采用渐进学习和共享权重的A-FRCNN块,在噪声环境下实现高效音视频语音分离,实验证明其性能优于多种基线且适用于低资源场景。
2023-05-31 cs.LG cs.SD eess.AS
RoSS: Utilizing Robotic Rotation for Audio Source Separation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文考虑音频声源分离的问题,其中目标是从多个干扰信号(例如,很多人都在说话)。这个问题已经获得了新的兴趣,主要是由于语音控制设备的显着增长,包括家庭,办公室和其他公共设施中的机器人。虽然在声源分离的核心主题上存在着丰富的工作,但我们发现麦克风的机器人运动--比如机器人的头部--是对过去方法的补充。简单地说,我们表明,旋转麦克风阵列的正确方向可以产生所需的混淆之间的两个麦克风,导致两个麦克风构成一个。换句话说,K个信号的混合变成(K-1)的混合,这是数学上具体的增益。我们表明,增益转化为实践提供了两个流动性相关的挑战可以减轻。本文的重点是缓解这些挑战,并在一个功能齐全的原型上展示端到端性能。我们相信,我们的旋转声源分离模块RoSS可以插入到实际的机器人头部,或其他设备(如亚马逊显示),也能够旋转。
2022-03-18 cs.RO cs.SD eess.AS
Dynamical Audio-Visual Navigation: Catching Unheard Moving Sound Sources in Unmapped 3D Environments
Albert-Ludwigs-University Freiburg(弗赖堡阿尔伯特-路德维希大学)
最近的视听导航工作针对无噪声音频环境中的单一静态声音,并努力推广到听不见的声音。我们介绍了新的动态视听导航基准,其中一个具体的人工智能智能体必须抓住一个移动的声源在一个未映射的环境中存在的干扰和嘈杂的声音。我们提出了一种端到端的强化学习方法,该方法依赖于多模态架构,该架构融合了来自双耳音频信号和空间占用图的空间视听信息,以编码为我们新的复杂任务设置学习鲁棒导航策略所需的特征。我们证明,我们的方法优于当前最先进的技术,更好地推广到闻所未闻的声音和更好的鲁棒性,噪声场景上的两个具有挑战性的3D扫描的真实世界的数据集ESTA和Matterport3D,静态和动态的视听导航基准。我们的新基准将在http://dav-nav.cs.uni-freiburg.de上提供。
2022-01-12 cs.CV cs.LG cs.RO
Environment Transfer for Distributed Systems
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
收集足够数量的数据,可以代表各种声学环境属性是分布式声学机器学习的关键问题。已经引入了几种音频数据增强技术来解决这个问题,但是它们往往停留在对现有数据的简单操纵中,并且不足以覆盖环境的可变性。我们提出了一种方法来扩展已用于在音频数据之间传输声学风格纹理的技术。该方法在用于分布式声学数据增强的环境之间传送音频签名。本文设计的指标来评估生成的声学数据,分类精度和内容保存的基础上。使用UrbanSound8K数据集进行了一系列实验,结果表明,该方法在保留内容特征的同时,生成了更好的音频数据。
2021-01-06 cs.LG cs.SD eess.AS
Catch Me If You Hear Me: Audio-Visual Navigation in Complex Unmapped Environments with Moving Sounds
University of Freiburg(弗莱堡大学)
视听导航结合视觉和听觉,在未映射的环境中导航到声音发射源。虽然最近的方法已经证明了音频输入在检测和找到目标方面的好处,但它们专注于干净和静态的声源,并且难以推广到听不到的声音。在这项工作中,我们提出了一种新的动态视听导航基准,它需要在嘈杂和分散注意力的声音环境中捕捉移动声源,这带来了一系列新的挑战。我们引入了一种强化学习方法,该方法可以为这些复杂的设置学习一个强大的导航策略。为了实现这一目标,我们提出了一个架构,融合视听信息的空间特征空间学习相关的几何信息固有的本地地图和音频信号。我们证明了我们的方法在两个具有挑战性的3D扫描现实世界环境(即Matterport3D和Matterport3D)中,在移动声音、未听到的声音和嘈杂环境的所有任务中,都始终优于当前最先进的方法。该基准可在http://dav-nav.cs.uni-freiburg.de上获得。
2023-01-03 cs.CV cs.LG cs.RO
A Deep Reinforcement Learning Approach to Audio-Based Navigation in a Multi-Speaker Environment
National and Kapodistrian University of Athens(雅典国立卡波季斯特里安大学);University of Piraeus(比雷埃夫斯大学)
在这项工作中,我们使用深度强化学习来创建一个自主智能体,它可以只使用来自环境的原始听觉感官信息在二维空间中导航,这个问题在强化学习文献中很少受到关注。我们的实验表明,代理可以成功地识别特定的目标扬声器之间的一组$N$预定义的扬声器在一个房间里,并向该扬声器移动,同时避免与其他扬声器碰撞或走出房间边界。该代理被证明是强大的扬声器音高变化,它可以学习导航的环境,即使是有限数量的训练话语可用于每个扬声器。
2021-05-10 cs.LG cs.SD eess.AS
Spanish and English Phoneme Recognition by Training on Simulated Classroom Audio Recordings of Collaborative Learning Environments
协作学习环境的音频记录包含持续存在的串扰和背景噪声。在这些环境中需要西班牙语和英语之间的动态语音识别。为了消除大规模地面实况的标准要求,本文开发了一个模拟数据集,通过将音频transanimation转换为音素,并使用3D扬声器几何和数据增强来生成西班牙语和英语语音的声学模拟。本文开发了一个低复杂度的神经网络,用于识别西班牙语和英语音素(可在github.com/muelitas/keywordRec获得)。当在41个英语音素上训练时,在语音命令上实现了0.099 PER。当训练36西班牙语音素和测试的协作学习环境的真实录音,0.7208 LER实现。比Google的Speech-to-text 0.7272 LER稍好,后者使用了15到1,635倍的参数,并在300到27,500小时的真实数据上进行了训练,而不是13小时的模拟音频。
2022-02-21 cs.SD eess.AS
Neural Speech Tracking in a Virtual Acoustic Environment: Audio-Visual Benefit for Unscripted Continuous Speech
Carl von Ossietzky University of Oldenburg(奥尔登堡大学)
本研究在虚拟声学环境中用非脚本自然语音探究视听增益,通过EEG和皮层语音追踪分析不同条件及说话者特征的影响,发现噪声下视听增强显著,唇部运动作用关键,验证了自然刺激下皮层语音追踪的可行性。
2025-01-14 cs.SD eess.AS
DAIEN-TTS: Disentangled Audio Infilling for Environment-Aware Text-to-Speech Synthesis
National Engineering Research Center of Speech and Language Information Processing(语音与语言信息处理国家工程研究中心)
DAIEN-TTS通过解耦音频填充技术实现环境感知的文本到语音合成,支持独立控制语音音色和环境背景,提升合成语音的自然度和环境保真度。
2026-01-19 cs.SD eess.AS
Improving the Environmental Perception of Autonomous Vehicles using Deep Learning-based Audio Classification
The University of Alabama(阿拉巴马大学);General Motors R&D(通用汽车研发中心)
听觉对于自动驾驶汽车(AV)更好地感知周围环境至关重要。虽然AV的视觉传感器,如摄像头,激光雷达和雷达,有助于看到其周围的环境,但AV无法看到这些传感器的视线之外。另一方面,AV的听觉不能被视线阻挡。例如,AV可以通过音频分类识别紧急车辆的警报器,即使紧急车辆不在AV的视线内。因此,听觉感知是对相机、激光雷达和基于雷达的感知系统的补充。本文提出了一种基于深度学习的鲁棒音频分类框架,旨在改善AV的环境感知。所提出的框架利用深度卷积神经网络(CNN)来对不同的音频类别进行分类。城市环境数据集UrbanSound8k用于训练和测试所开发的框架。七个音频类,即,空调、汽车喇叭、儿童玩耍、狗吠声、发动机空转、枪声和警笛,由于它们与AV相关,因此从UrbanSound8k数据集中识别。我们的框架可以以97.82%的准确率对不同的音频类别进行分类。此外,音频分类精度与所有10类,这证明了我们的框架表现更好的情况下,AV相关的声音相比,现有的音频分类框架。
2022-09-09 cs.AI cs.SD eess.AS
Look, Listen, and Act: Towards Audio-Visual Embodied Navigation
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Tsinghua University(清华大学);Massachusetts Institute of Technology(麻省理工学院);Google(谷歌)
移动智能体的一个关键能力是整合来自环境中多个感官输入的证据,并采取一系列行动来达到其目标。在本文中,我们试图接近的问题,视听具身导航,规划的最短路径的任务,从一个随机的起始位置在一个场景中的声源在室内环境中,只有原始的自我中心的视觉和听觉感官数据。为了完成这一任务,智能体需要从各种模态中学习,即将音频信号与视觉环境相关联。在这里,我们描述了一种方法,视听具身导航,同时利用视觉和音频的证据。我们的解决方案是基于三个关键的想法:一个视觉感知映射器模块,构建其空间记忆的环境,一个声音感知模块,推断的相对位置的声源从代理,和一个动态的路径规划,计划一系列的行动的基础上的视听观察和空间记忆的环境,以导航到目标。使用模拟多模态环境在新收集的视听室数据集上的实验结果证明了我们的方法在几个竞争基线上的有效性。
2020-03-08 cs.CV cs.LG cs.RO
SaSLaW: Dialogue Speech Corpus with Audio-visual Egocentric Information Toward Environment-adaptive Dialogue Speech Synthesis
本研究提出含第一人称视听同步数据的自发对话语音语料库SaSLaW,用于建模人类的环境语音调整行为,实验证明融合听觉音频数据的TTS模型比普通模型的环境自适应语音合成效果更合理。
2024-08-13 eess.AS
A toolbox for rendering virtual acoustic environments in the context of audiology
University of Oldenburg(奥尔登堡大学)
本文开发了用于听力学研究的动态虚拟声学环境渲染工具箱TASCAR,介绍了其软件结构、时域仿真方法及渲染格式,并验证了其在商用硬件上可实时仿真数百个虚拟声源的计算性能。
2018-04-30 cs.SD eess.AS
Few-Shot Audio-Visual Learning of Environment Acoustics
UT Austin(德克萨斯大学奥斯汀分校);FAIR(Facebook人工智能研究院)
房间脉冲响应(RIR)函数捕捉周围的物理环境如何转换听者听到的声音,并对AR、VR和机器人技术中的各种应用产生影响。而传统的方法来估计RIR假设密集的几何形状和/或整个环境中的声音测量,我们探讨如何推断RIR的基础上,在空间中观察到的图像和回波的稀疏集。为了实现这一目标,我们引入了一种基于变换器的方法,该方法使用自注意力来构建丰富的声学上下文,然后通过交叉注意力来预测任意查询源-接收器位置的RIR。此外,我们设计了一个新的训练目标,提高了RIR预测和目标之间的声学签名的匹配。在实验中使用的国家的最先进的视听模拟器的3D环境中,我们证明,我们的方法成功地产生任意RIR,优于国家的最先进的方法和-在一个主要的背离传统的方法-概括到新的环境中的Few-Shot的方式。项目:http://vision.cs.utexas.edu/projects/fs_rir。
2022-11-24 cs.CV cs.LG cs.SD
Audio-Driven Reinforcement Learning for Head-Orientation in Naturalistic Environments
Radboud University(拉德堡德大学);Donders Institute(多纳德研究所)
本研究提出音频驱动的深度Q学习框架,使智能体在自然声学环境中基于立体声朝向说话者,并验证了其性能及跨混响环境的泛化局限性。
2025-01-17 cs.AI cs.SD eess.AS
GRAM: Spatial general-purpose audio representation models for real-world applications
Donders Institute, Radboud University, Nijmegen, The Netherlands(多纳茨研究所,拉德堡德大学,尼姆韦根,荷兰);Mortimer B Zuckerman Institute, Columbia University, New York, United States(莫蒂默·B·祖克erman研究所,哥伦比亚大学,纽约,美国)
GRAM通过多通道掩码自编码器学习空间音频表示,提升真实世界声学环境中的音频任务性能。
2026-02-04 cs.AI cs.SD eess.AS
SoundSpaces: Audio-Visual Navigation in 3D Environments
UT Austin(德克萨斯大学奥斯汀分校);UIUC(伊利诺伊大学厄巴纳-香槟分校);Facebook Reality Labs(Facebook 现实实验室);Facebook AI Research(Facebook 人工智能研究院)
在世界上四处移动自然是一种多感官体验,但今天的实体代理是聋子-仅限于他们对环境的视觉感知。我们为复杂的、声学上和视觉上逼真的3D环境引入了视听导航。通过视觉和听觉,智能体必须学会导航到发声物体。我们提出了一种多模态深度强化学习方法,用于从以自我为中心的视听观察流中端到端地训练导航策略,允许代理(1)发现由混响音频指示的物理空间的几何元素,以及(2)检测和跟踪发声目标。我们进一步介绍SoundSpaces:这是首个基于两组公开可用的3D环境(Matterport 3D和Matterport)的几何声学模拟的音频渲染数据集,我们为Habitat提供仪器以支持新的传感器,从而可以在真实世界的扫描环境阵列中插入任意声源。我们的研究结果表明,音频极大地有利于3D空间中的嵌入式视觉导航,我们的工作为具有视听感知的嵌入式AI的新研究奠定了基础。
2020-08-21 cs.CV cs.HC cs.SD
Audio-Visual Target Speaker Enhancement on Multi-Talker Environment using Event-Driven Cameras
Istituto Italiano di Tecnologia(意大利技术研究院);University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学)
我们提出了一种方法,以解决视听目标扬声器增强多说话人环境中使用事件驱动的摄像机。最先进的视听语音分离方法表明,关键信息是与语音产生相关的面部标志的运动。然而,迄今为止提出的所有方法都是离线工作的,使用基于帧的视频输入,使得难以以低延迟处理用于在线应用的视听信号。为了克服这一局限性,我们提出了使用事件驱动的摄像机,并利用压缩,高时间分辨率和低延迟,低成本和低延迟的运动特征提取,走向在线嵌入式视听语音处理。我们使用面部标志的事件驱动光流估计作为堆栈双向LSTM的输入,该LSTM被训练用于预测理想幅度掩码,然后用于过滤嘈杂的音频,以获得目标说话者的音频信号。所提出的方法几乎与基于帧的方法相当,具有非常低的延迟和计算成本。
2021-02-22 cs.LG eess.AS eess.IV
VR-PTOLEMAIC: A Virtual Environment for the Perceptual Testing of Spatial Audio Algorithms
本研究提出集成MUSHRA方法的VR-PTOLEMAIC虚拟现实评估系统,支持在25个模拟聆听位评估空间音频算法,测试验证其能有效支撑评估且用户体验良好。
2025-08-01 cs.SD eess.AS
Visual-based spatial audio generation system for multi-speaker environments
Queen Mary University of London(伦敦玛丽女王大学);Xidian University(西安电子科技大学)
针对多媒体应用中空间音频生成复杂耗时的问题,提出集成YOLOv8人脸检测、单目深度估计与空间音频技术的自动化系统,无需额外双耳数据集训练,显著提升音视频空间一致性与语音质量,助力高效制作。
2025-02-13 cs.MM cs.SD eess.AS
An Open-set Recognition and Few-Shot Learning Dataset for Audio Event Classification in Domestic Environments
Visualfy(Visualfy公司);Universitat de Valencia(瓦伦西亚大学);Universidad de Castilla-La Mancha(卡斯蒂利亚-拉曼恰大学);Universitat Politècnica de València(瓦伦西亚理工大学)
用少量正样本进行训练的问题被称为少样本学习(FSL)。众所周知,传统的深度学习(DL)算法在使用大型数据集进行训练时通常表现出非常好的性能。然而,在许多应用中,不可能获得如此高数量的样本。在图像领域,典型的FSL应用包括与人脸识别相关的应用。在音频领域,音乐欺诈或说话人识别可以明显受益于FSL方法。本文论述了应用FSL检测特定的和故意的声音事件给出了不同类型的声音报警,如门铃或火警,使用有限数量的样本。这些声音通常发生在家庭环境中,其中发生了与各种各样的声音类别相对应的许多事件。因此,在实际场景中检测这样的警报可以被认为是开集识别(OSR)问题。为了解决音频FSL缺乏专用公共数据集的问题,研究人员通常会对其他可用数据集进行修改。本文旨在为音频识别社区提供OSR上下文中的FSL的仔细注释的数据集(https://zenodo.org/record/3689288),该数据集由来自34个类别的1360个片段组成,分为模式声音和不需要的声音。为了方便和促进这方面的研究,结果与国家的最先进的基线系统的基础上迁移学习。
2022-04-11 cs.LG cs.SD eess.AS
Environment Aware Text-to-Speech Synthesis
The Chinese University of Hong Kong(香港中文大学)
本研究旨在设计一个环境感知的文本转语音(TTS)系统,可以产生语音,以适应特定的声学环境。这也是出于在TTS系统开发中利用来自异构源的大量语音音频数据的愿望。其核心思想是将语音音频中的声学环境建模为数据可变性的因素,并将其作为基于神经网络的语音合成过程中的条件。使用两个专门构建的数据集训练两个嵌入提取器,用于表征和解开语音中的说话者和环境因素。训练神经网络模型以从提取的说话者和环境嵌入生成语音。客观和主观评价结果表明,该TTS系统能够有效地分离说话人和环境因素,合成出具有指定说话人特征和环境属性的语音音频。音频样本可在线演示https://daxintan-cuhk.github.io/Environment-Aware-TTS/。
2022-08-06 cs.SD eess.AS
RMS-AQA: A Two-Stage Spatial Audio Question Answering Benchmark for Real-World Domestic Environments
NVIDIA(英伟达)
针对家庭具身助手的空间音频理解需求,提出双阶段SAQA基准RMS-AQA,结合真实FOA录音与RIR合成数据,并引入轻量空间插件,实验揭示并发源、远距离及域差距为主要挑战。
2026-10-27 cs.SD eess.AS
Speaker-Targeted Audio-Visual Models for Speech Recognition in Cocktail-Party Environments
Carnegie Mellon University(卡内基梅隆大学)
鸡尾酒会环境中的语音识别对于现有技术的语音识别系统来说仍然是一个重大的挑战,因为从具有相似频率和时间特性的重叠语音的背景中提取单个说话者的声学信号是极其困难的。我们建议使用扬声器为目标的声学和视听模型为这项任务。我们补充的声学特征的混合DNN-HMM模型与信息的目标扬声器的身份,以及从目标扬声器的嘴部区域的视觉特征。实验进行了使用模拟鸡尾酒会数据产生的GRID视听语料库重叠两个扬声器的语音在一个单一的声学通道。我们的纯音频基线达到了26.3%的WER。视听模型将WER提高到4.4%。引入说话人身份信息的效果更明显,将WER提高到3.6%。然而,结合这两种方法并没有进一步显着提高性能。我们的工作表明,以说话人为目标的模型可以显着提高鸡尾酒会环境中的语音识别。
2019-06-13 cs.CL cs.CV cs.SD
An Empirical Study of Visual Features for DNN based Audio-Visual Speech Enhancement in Multi-talker Environments
Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
视听语音增强(AVSE)方法使用音频和视觉特征两者用于语音增强的任务,并且视觉特征的使用已经被示出在多说话者场景中特别有效。在大多数基于深度神经网络(DNN)的AVSE方法中,首先使用不同的子网络分别处理音频和视觉数据,然后融合学习的特征以利用来自两种模态的信息。关于合适的音频输入功能和网络架构已经有了各种研究,然而,据我们所知,还没有发表的研究调查哪些视觉功能最适合这个特定的任务。在这项工作中,我们对基于DNN的AVSE最常用的视觉特征,每个特征的预处理要求进行了实证研究,并研究了它们对性能的影响。我们的研究表明,尽管基于嵌入的功能的整体性能更好,但它们的计算密集型预处理使得它们难以在低资源系统中使用。对于这样的系统,光流或基于原始像素的特征可能更适合。
2020-11-09 cs.CV cs.LG cs.SD
SEE-2-SOUND: Zero-Shot Spatial Environment-to-Spatial Sound
University of Toronto(多伦多大学)
SEE-2-SOUND提出一种零样本方法,通过识别视觉区域、三维定位、生成单声道音频并整合为空间音频,实现为视频、图像及生成媒体生成沉浸式空间声音。
2025-07-07 cs.CV cs.LG cs.SD
Structural and Statistical Audio Texture Knowledge Distillation for Acoustic Classification
Department of Electrical and Computer Engineering, Texas A&M University(得克萨斯大学电气与计算机工程系)
本文提出SSATKD框架,结合高层上下文信息与低层结构统计音频纹理,提升复杂声学环境下的分类性能,实验验证其在多个数据集上的有效性。
2026-03-23 cs.SD eess.AS
Multi-Microphone and Multi-Modal Emotion Recognition in Reverberant Environment
Faculty of Engineering Bar-Ilan University Ramat-Gan, Israel(工程学院 巴伊兰大学 拉马特-甘, 以色列)
针对混响等复杂声学环境下的情感识别难题,提出融合改进HTS-AT多通道音频处理与R(2+1)D视频分析的多模态MER系统,在混响RAVDESS数据集上验证其性能优于单模态及单麦克风方案。
2025-07-28 cs.LG cs.SD eess.AS
Diffusion-Based Unsupervised Audio-Visual Speech Separation in Noisy Environments with Noise Prior
Faculty of Engineering, Bar-Ilan University(巴伊兰大学工程学院);OriginAI
针对单麦克风含噪语音分离问题,提出一种基于扩散模型的无监督音视频分离方法,通过显式建模语音与噪声分布并利用逆向扩散过程采样,在嘈杂环境中实现了有效的纯净语音分离。
2025-09-17 cs.LG eess.AS
VoiceDiT: Dual-Condition Diffusion Transformer for Environment-Aware Speech Synthesis
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出VoiceDiT,通过双条件扩散Transformer结合文本与视觉提示,并利用大规模合成与真实语音数据集训练,实现环境感知的高质量语音合成。
2024-12-26 cs.SD eess.AS
AudioScene: Integrating Object-Event Audio into 3D Scenes
本文提出AudioScene数据集,通过整合音频事件与3D场景,探索音频条件任务,提升空间学习的准确性与多样性。
2025-11-25 cs.AI cs.SD eess.AS
Active Audio-Visual Separation of Dynamic Sound Sources
UT Austin(德克萨斯大学奥斯汀分校);Facebook AI Research(脸书人工智能研究院)
我们探讨了动态声源的主动视听分离,其中一个具体的代理智能移动在3D环境中不断隔离感兴趣的对象发出的随时间变化的音频流。代理听到多个音频源的混合流(例如,多个人交谈和乐队在嘈杂的聚会上演奏音乐)。在有限的时间预算下,它需要使用自我中心的视听观察在每一步准确地提取目标声音。我们提出了一个强化学习代理配备了一个新的Transformer内存,学习运动策略来控制其摄像头和麦克风恢复动态目标音频,使用自我注意力,使高质量的估计当前的时间步长,并同时提高其过去的估计。在真实世界的扫描Matterport3D环境中使用高度逼真的声学SoundSpaces模拟,我们表明我们的模型能够学习有效的行为来进行动态音频目标的连续分离。项目:https://vision.cs.utexas.edu/projects/active-av-dynamic-separation/。
2022-07-25 cs.CV cs.LG cs.SD
Robust Active Speaker Detection in Noisy Environments
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出一种以音视频语音分离为引导、端到端联合优化的鲁棒主动说话人检测框架,并引入动态加权损失处理语音噪声,有效提升了噪声环境下的ASD性能。
2024-03-30 cs.CV cs.MM cs.SD
Large-vocabulary Audio-visual Speech Recognition in Noisy Environments
Ruhr University Bochum(波鸿鲁尔大学)
视听语音识别(AVSR)可以有效地和显着地提高识别率的小词汇量系统,相比他们的纯音频同行。然而,对于大词汇量系统,仍然存在许多困难,例如视频识别精度不令人满意,这使得它很难在仅音频的基础上进行改进。在本文中,我们专门考虑了这种情况,重点是LRS 2数据库的大词汇量任务,其中仅音频性能远远优于仅视频精度,这使得这成为多模态集成的有趣且具有挑战性的设置。为了解决固有的困难,我们提出了一种新的融合策略:一个经常性的集成网络进行训练,融合多个单模态模型的状态后验,一组基于模型和基于信号的流可靠性措施的指导下。在解码过程中,该网络用于混合识别器内的流集成,从而可以处理其多个特征输入的时变可靠性和信息内容。我们将结果与端到端AVSR系统以及具有竞争力的混合基线模型进行比较,发现新的融合策略显示出优越的结果,平均甚至优于Oracle动态流加权,这标志着标准流加权的上限-实际上无法实现。即使纯粹的唇读性能很低,视听整合在所有-干净,嘈杂和混响-条件下都是有帮助的。平均而言,新的系统实现了相对字错误率降低42.18%相比,仅音频模型,在所提出的集成方法的高效率。
2021-09-10 cs.SD eess.AS eess.IV
Self-Supervised Visual Acoustic Matching
UT Austin(德克萨斯大学奥斯汀分校);FAIR, Meta(Meta人工智能研究院)
提出自监督视觉声学匹配方法,仅用目标图像和音频,通过条件GAN和新指标解耦声学并重合成音频,在多数据集上超越现有技术。
2023-11-24 cs.CV cs.MM cs.SD
EnvSDD: Benchmarking Environmental Sound Deepfake Detection
Speech Lab(语音实验室);Centre for Vision, Speech and Signal Processing (CVSSP)(视觉、语音和信号处理中心)
该研究构建首个大规模环境声音深度伪造检测数据集 EnvSDD,并提出基于预训练音频基础模型的检测系统,在跨模型、跨数据测试条件下优于语音与歌声领域的现有方法。
2025-09-29 cs.AI cs.SD eess.AS
Contextual Audio-Visual Switching For Speech Enhancement in Real-World Environments
University of Stirling(斯特灵大学)
人类语音处理本质上是多模态的,其中视觉线索(嘴唇运动)有助于更好地理解噪声中的语音。唇读驱动的语音增强在低信噪比(SNR)下显著优于基准的仅音频方法。然而,在高SNR或低水平的背景噪声,视觉线索变得相当不那么有效的语音增强。因此,需要一种更优化的、上下文感知的视听(AV)系统,该系统上下文地利用视觉和噪声音频特征两者,并且有效地考虑不同的噪声条件。在本文中,我们介绍了一种新的上下文AV切换组件,上下文利用AV线索相对于不同的操作条件来估计干净的音频,而不需要任何SNR估计。切换模块分别在低、高和中等SNR水平下在仅视觉(仅V)、仅音频(仅A)和两个AV提示之间切换。通过集成卷积神经网络和长短期记忆网络来开发上下文AV切换组件。为了测试,估计干净的音频功能,利用开发的新的增强的视觉导出的维纳滤波器的干净的音频功率谱估计。使用基准Grid和ChiME 3语料库在真实场景下对上下文AV语音增强方法进行了评估。对于客观测试,使用语音质量的感知评估来评估恢复语音的质量。对于主观测试,使用标准的平均意见得分方法。关键的分析和比较研究表明,所提出的上下文AV方法,在低和高信噪比的A-只有,V-只有,谱减法,和对数最小均方误差为基础的语音增强方法的优异性能,揭示了它的能力,以解决在任何现实世界的噪声条件下的频谱时间变化。
2018-08-28 cs.CV cs.SD eess.AS
Sound Adversarial Audio-Visual Navigation
Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学);Xinjiang University(新疆大学);JD Explore Academy, JD.com(京东探索研究院)
视听导航任务要求智能体通过自我中心的视听观察在现实的、未映射的3D环境中找到声源。现有的视听导航作品假设一个干净的环境,只包含目标声音,然而,这将是不适合在大多数现实世界中的应用,由于意外的声音噪声或故意干扰。在这项工作中,我们设计了一个声学复杂的环境中,除了目标声音,存在一个声音攻击者玩零和游戏的代理。更具体地说,攻击者可以移动和改变声音的音量和类别,使智能体在试图躲避攻击并在干预下导航到目标的同时难以找到发声对象。在对攻击者进行一定约束的情况下,可以提高智能体对视听导航中意外声音攻击的鲁棒性。为了更好的收敛,我们开发了一个联合训练机制,采用的财产集中的批评与分散的演员。在两个真实的3D扫描数据集上进行的实验验证了在我们设计的环境下训练的Agent在转移到干净环境或包含随机策略的声音攻击者的环境中的有效性和鲁棒性。项目:\url{https://yyf17.github.io/SAAVN}。
2022-02-22 cs.CV cs.RO cs.SD
Move2Hear: Active Audio-Visual Source Separation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Facebook AI Research(Facebook AI研究院)
我们引入了主动视听声源分离问题,其中代理必须智能地移动,以便更好地隔离来自其环境中感兴趣的对象的声音。代理同时听到多个音频源(例如,一个人在嘈杂的家庭中的大厅里说话),并且它必须使用它的眼睛和耳朵在有限的时间预算内自动分离出源自目标对象的声音。为了实现这一目标,我们引入了一种强化学习方法,该方法通过预测音频分离质量的改善来训练控制代理的摄像头和麦克风位置的运动策略。我们证明了我们的方法在场景中的动机都增强现实(系统已经与目标对象位于同一地点)和移动机器人(代理开始任意远离目标对象)。在3D环境中使用最先进的逼真的视听模拟,我们证明了我们的模型的能力,找到最小的运动序列与音频声源分离的最大回报。项目:http://vision.cs.utexas.edu/projects/move2hear。
2021-08-26 cs.CV cs.LG cs.RO
ActiveRIR: Active Audio-Visual Exploration for Acoustic Environment Modeling
The University of Texas at Austin(德克萨斯大学奥斯汀分校);FAIR, Meta(Meta FAIR研究院)
提出主动声学采样任务及强化学习策略ActiveRIR,利用视听传感器引导智能体导航并确定最佳声学数据采样位置,以最少样本高效构建未映射室内环境的高质量声学模型。
2024-04-24 cs.CV cs.RO cs.SD
Visual Acoustic Matching
University of Texas at Austin(德克萨斯大学奥斯汀分校);Meta AI;Stanford University(斯坦福大学);Reality Labs at Meta(Meta现实实验室)
我们介绍了视觉声学匹配任务,其中音频剪辑被转换为听起来像是在目标环境中记录的。给定目标环境的图像和源音频的波形,目标是重新合成音频以匹配目标房间声学,如其可见几何形状和材料所建议的。为了解决这个新的任务,我们提出了一个跨模态的Transformer模型,使用视听注意力注入到音频的视觉属性,并产生逼真的音频输出。此外,我们设计了一个自我监督的训练目标,可以学习声学匹配在野生网络视频,尽管他们缺乏声学不匹配的音频。我们证明,我们的方法成功地将人类语音翻译到图像中描绘的各种真实世界环境中,优于传统的声学匹配和更严格的监督基线。
2022-06-13 cs.CV cs.MM cs.SD
Effect of acoustic scene complexity and visual scene representation on auditory perception in virtual audio-visual environments
在日常生活中,社会交往和声学交流经常发生在复杂的声学环境中,其中存在各种干扰声和混响。对于听力研究和听力系统的评估,使用虚拟现实技术的模拟CAE在生态有效性的背景下获得了兴趣。在目前的研究中,场景的复杂性和视觉表示的场景上的心理声学措施,如声源位置,距离感知,响度,语音清晰度,并在虚拟视听环境中的听力努力的影响进行了研究。使用三维86通道扬声器阵列来呈现声场,结合或不结合头戴式显示器(HMD)来创建场景的沉浸式立体视觉表示。该场景由八个(虚拟)扬声器组成的一个环,在几个空间条件下播放目标语音刺激和无意义语音播放器。无论是无回声(下雪的户外风景)或回声环境(阁楼公寓)的混响时间(T60)约为1.5秒的模拟。除了不同数量的干扰者,场景的复杂性是不同的,通过评估的心理声学措施,在孤立的连续测量或同时。结果显示佩戴HMD对数据没有显著影响。响度和距离知觉表现出显着不同的结果时,他们被同时测量,而不是连续孤立。所建议的设置的优点在于,它可以直接转移到相应的真实房间,从而能够在真实和虚拟环境中对感知实验进行1:1的比较和验证。
2021-11-07 cs.SD eess.AS
Audio Spatially-Guided Fusion for Audio-Visual Navigation
Joint Research Laboratory for Embodied Intelligence, Xinjiang University(新疆大学联合研究实验室,具身智能);Joint International Research Laboratory of Silk Road Multilingual Cognitive Computing, Xinjiang University(新疆大学丝绸之路多语言认知计算国际联合研究实验室);School of Computer Science and Technology, Xinjiang University(新疆大学计算机科学与技术学院)
本文提出一种音频空间引导融合方法,通过自适应提取空间状态信息,实现多模态特征动态对齐与融合,提升在未知声源分布下的导航泛化能力。
2026-04-02 cs.AI cs.SD eess.AS
Real-Time System for Audio-Visual Target Speech Enhancement
Bose Corporation(博世公司);Georgia Institute of Technology(佐治亚理工学院)
本文介绍RAVEN,一个完全在CPU上运行的实时音视频语音增强系统,利用预训练视觉嵌入编码嘴唇运动,以增强目标语音并抑制干扰,适用于多种噪声和干扰场景。
2025-09-25 cs.ET cs.LG eess.AS
LSTM-CNN Network for Audio Signature Analysis in Noisy Environments
KineticAI Inc.(动能人工智能公司);Iran University of Science and Technology(伊朗科技大学)
本研究提出LSTM-CNN网络,在嘈杂环境中利用19000个样本估计同时说话者的数量与性别,训练/验证MSE约0.019/0.017,验证了概念可行性。
2023-12-12 cs.AI cs.HC cs.SD
ImmersiveTTS: Environment-Aware Text-to-Speech with Multimodal Diffusion Transformer and Domain-Specific Representation Alignment
Department of Artificial Intelligence, Korea University(韩国大学人工智能系)
提出ImmersiveTTS模型,通过多模态扩散Transformer和领域特定表示对齐,实现与环境音频自然融合的文本到语音生成。
2026-05-29 cs.AI cs.CL eess.AS