Audio-Visual Talker Localization in Video for Spatial Sound Reproduction
本研究提出融合视觉与多通道音频的视听方法,用于视频中说话人定位与位置元数据提取,相比传统方法显著降低了检测误差并提升了空间精度。
2024-06-01 cs.CV cs.SD eess.AS
Audio-Visual Speaker Diarization Based on Spatiotemporal Bayesian Fusion
INRIA Grenoble Rhône-Alpes(法国国家信息与自动化研究所格勒诺布尔-罗讷阿尔卑斯分院)
说话人日志化包括将语音信号分配给参与对话的人。提出了一种视听时空日志化模型。该模型非常适合具有挑战性的场景,包括参与多方互动的多个参与者,同时他们四处走动,并将头转向其他参与者,而不是面对摄像机和麦克风。将多人视觉跟踪与多语音源定位相结合,以解决语音到人的关联问题。后者是解决在一个新的视听融合方法,理由如下:双耳频谱特征首先从麦克风对提取,然后监督视听对齐技术将这些功能映射到图像上,最后半监督聚类方法分配双耳频谱特征可见的人。这种方法的主要优点是,它在原则上的方式多人同时发出的语音信号处理。的日记本身被铸造成一个潜在的变量时间图形模型,推断扬声器的身份和语音转向,基于输出的视听关联过程,在每个时间片执行,并在动态的日记变量本身。所提出的配方产生一个有效的精确推理过程。一个新的数据集,其中包含视听训练数据,以及一些场景,涉及几个参与者进行正式和非正式的对话,介绍。所提出的方法经过了几种最先进的日记化算法的彻底测试和基准测试。
2016-11-03 cs.CV cs.SD
DOA-Aware Audio-Visual Self-Supervised Learning for Sound Event Localization and Detection
Graduate School of Informatics, Kyoto University(京都大学情报学研究科);National Institute of Advanced Industrial Science and Technology(独立行政法人产业技术综合研究所);Faculty of Science and Engineering, Doshisha University(同志社大学理工学部)
针对声音事件定位与检测中标注数据不足的问题,提出DOA感知的音视频自监督预训练方法,利用无标注音视频数据通过对比学习优化音频特征,有效降低了SELD任务的误差得分。
2024-10-30 cs.AI cs.LG cs.MM
Cooperative Audio Source Separation and Enhancement Using Distributed Microphone Arrays and Wearable Devices
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
诸如助听器的增强听音设备通常在具有许多竞争声源的嘈杂和混响环境中表现不佳。大型分布式麦克风阵列可以提高性能,但来自远程麦克风的数据通常不能用于延迟受限的实时处理。我们提出了一个合作的音频源分离和增强系统,利用可穿戴式收听设备和其他麦克风阵列分布在一个房间。全分布式阵列用于分离声源并估计其统计量。每个收听设备使用这些统计数据来设计使用其自己的本地麦克风的实时双耳音频增强滤波器。该系统的实验证明,使用10个语音源和160个麦克风在一个大的,混响室。
2019-12-10 cs.SD eess.AS
PhaseCoder: Microphone Geometry-Agnostic Spatial Audio Understanding for Multimodal LLMs
Google DeepMind(谷歌DeepMind);Media Lab, MIT(媒体实验室,麻省理工学院);Google AR(谷歌AR)
PhaseCoder是一种无需麦克风几何结构的Transformer空间音频编码器,能够生成空间嵌入并使LLM实现复杂空间推理和转录任务。
2026-08-07 cs.AI cs.SD eess.AS
Speaker Diarization and Identification from Single-Channel Classroom Audio Recording Using Virtual Microphones
University of New Mexico(新墨西哥大学)
在嘈杂的音频记录中,特别是那些来自协作学习环境的音频记录中,说话人识别可能极具挑战性。有必要从同时说话的其他学生中识别出在小组中说话的个别学生。为了解决这个问题,我们假设每个学生组使用单个麦克风,而不访问以前的大型数据集进行训练。本文提出了一种基于互相关模式的说话人识别方法。通过使用从视频记录中观察到的近似扬声器几何形状来模拟虚拟麦克风。基于每个虚拟麦克风的房间脉冲响应的估计来构造模式。然后使用相关模式来识别说话者。所提出的方法通过课堂音频进行了验证,并显示出大大优于Google Cloud和Amazon AWS提供的日志服务。
2022-07-01 cs.SD eess.AS
Active Audio-Visual Separation of Dynamic Sound Sources
UT Austin(德克萨斯大学奥斯汀分校);Facebook AI Research(脸书人工智能研究院)
我们探讨了动态声源的主动视听分离,其中一个具体的代理智能移动在3D环境中不断隔离感兴趣的对象发出的随时间变化的音频流。代理听到多个音频源的混合流(例如,多个人交谈和乐队在嘈杂的聚会上演奏音乐)。在有限的时间预算下,它需要使用自我中心的视听观察在每一步准确地提取目标声音。我们提出了一个强化学习代理配备了一个新的Transformer内存,学习运动策略来控制其摄像头和麦克风恢复动态目标音频,使用自我注意力,使高质量的估计当前的时间步长,并同时提高其过去的估计。在真实世界的扫描Matterport3D环境中使用高度逼真的声学SoundSpaces模拟,我们表明我们的模型能够学习有效的行为来进行动态音频目标的连续分离。项目:https://vision.cs.utexas.edu/projects/active-av-dynamic-separation/。
2022-07-25 cs.CV cs.LG cs.SD
Audio and Contact Microphones for Cough Detection
University of Mons(蒙斯大学);Cliniques St Luc(圣卢克诊所);University of Louvain(鲁汶大学)
在评估慢性咳嗽疾病的病理严重程度的框架内,医学文献强调缺乏允许自动、客观和可靠检测咳嗽事件的工具。本文介绍了一种基于两个麦克风,我们为此目的而开发的系统。所提出的方法依赖于各种各样的音频描述符,一个有效的算法的特征选择的基础上,他们的互信息和人工神经网络的使用。首先,可能使用的接触式麦克风(放置在病人的胸部或气管)补充的音频信号进行调查。这项研究强调,这种接触式麦克风遭受可靠性问题,并传达很少的新的相关信息相比,音频模态。其次,所提出的仅音频的方法相比,商业上可用的系统,使用四个传感器的数据库与不同的声音类别往往被误检测为咳嗽,并在各种条件下产生。平均灵敏度和特异性分别为94.7%和95%,所提出的方法实现了更好的咳嗽检测性能比商业系统。
2020-05-10 cs.SD eess.AS
Move2Hear: Active Audio-Visual Source Separation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Facebook AI Research(Facebook AI研究院)
我们引入了主动视听声源分离问题,其中代理必须智能地移动,以便更好地隔离来自其环境中感兴趣的对象的声音。代理同时听到多个音频源(例如,一个人在嘈杂的家庭中的大厅里说话),并且它必须使用它的眼睛和耳朵在有限的时间预算内自动分离出源自目标对象的声音。为了实现这一目标,我们引入了一种强化学习方法,该方法通过预测音频分离质量的改善来训练控制代理的摄像头和麦克风位置的运动策略。我们证明了我们的方法在场景中的动机都增强现实(系统已经与目标对象位于同一地点)和移动机器人(代理开始任意远离目标对象)。在3D环境中使用最先进的逼真的视听模拟,我们证明了我们的模型的能力,找到最小的运动序列与音频声源分离的最大回报。项目:http://vision.cs.utexas.edu/projects/move2hear。
2021-08-26 cs.CV cs.LG cs.RO
Mic2Mic: Using Cycle-Consistent Generative Adversarial Networks to Overcome Microphone Variability in Speech Systems
Nokia Bell Labs(诺基亚贝尔实验室);University College London(伦敦大学学院);University of Oxford(牛津大学)
移动和嵌入式设备越来越多地使用麦克风和基于音频的计算模型来推断用户上下文。构建将音频模型与商用麦克风相结合的系统的主要挑战是确保其在现实世界中的准确性和鲁棒性。除了许多环境动态之外,影响音频模型鲁棒性的主要因素是麦克风可变性。在这项工作中,我们提出了Mic 2 Mic-一个机器学习的系统组件-它驻留在音频模型的推理管道中,并实时减少了由麦克风特定因素引起的音频数据的可变性。Mic 2 Mic设计的两个关键考虑因素是:a)将麦克风可变性问题与音频任务解耦,b)将最终用户提供训练数据的负担降至最低。考虑到这些,我们应用周期一致性生成对抗网络(CycleGANs)的原理,使用从不同麦克风收集的未标记和未配对数据来学习Mic 2 Mic。我们的实验表明,Mic 2 Mic可以恢复66%至89%的准确性损失,由于麦克风的变化,两个常见的音频任务。
2020-03-27 cs.LG cs.SD eess.AS
Binaural Audio Source Remixing with Microphone Array Listening Devices
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
增强听力设备,如助听器和增强现实耳机,通过改变我们听到的声音来增强人类的感知。麦克风阵列可以提高听音系统在嘈杂环境中的性能,但大多数基于阵列的听音系统被设计为从混合声中隔离单个声源。这项工作认为,源重新混合过滤器,改变每个源的相对水平独立。重新混合而不是分离声音可以帮助提高感知透明度:它对信号频谱造成的失真较小,特别是对人类用于在空间中定位声音的耳间线索造成的失真较小。
2020-04-24 cs.SD eess.AS
Towards Generating Ambisonics Using Audio-Visual Cue for Virtual Reality
Trinity College Dublin(都柏林圣三一学院)
高保真度立体声,即,全球面环绕声是典型的360度视觉内容,以提供逼真的虚拟现实(VR)体验。虽然360度视觉内容捕获最近获得了巨大的推动,但由于所需的声场麦克风或有关声源位置的信息,相应的空间声音的估计仍然具有挑战性。在本文中,我们介绍了一个新的问题,产生高保真度立体声在360度视频使用的视听线索。为了实现这一目标,首先,引入了一个新的360度视听视频数据集,其中包含265个视频,并带有注释的声源位置。其次,设计了一个自动高保真度立体声估计问题的流水线。受益于基于深度学习的视听特征嵌入和预测模块,我们的流水线估计3D声源位置,并进一步使用这些位置编码为B格式。为了对我们的数据集和管道进行基准测试,我们还提出了评估标准,以使用不同的360度输入表示来研究性能。我们的研究结果证明了所提出的管道的有效性,并为未来的调查开辟了360度视听分析的新研究领域。
2019-08-16 cs.CV cs.LG cs.MM
Enabling Real-time On-chip Audio Super Resolution for Bone Conduction Microphones
Beijing University of Posts and Telecommunications(北京邮电大学);University of Washington(华盛顿大学);Harman International(哈曼国际)
在噪声环境中使用空气传导麦克风的语音通信遭受语音可听度的降低。骨导麦克风(BCM)对环境噪音具有鲁棒性,但由于其传感机制,有效带宽有限。虽然现有的音频超分辨率算法可以恢复高频损失以实现高保真音频,但它们需要比低功率可听设备中可用的计算资源多得多的计算资源。本文提出了第一个实时的【形】片上语音音频超分辨率系统。为了实现这一点,我们构建并比较了一系列轻量级音频超分辨率深度学习模型。在所有这些模型中,ATS-UNet是最具成本效益的,因为所提出的新的音频时间偏移模块(ATSM)降低了网络的维数,同时保持足够的时间特征,从语音音频。然后,我们量化和部署ATS-UNet到低端ARM微控制器单元的实时的【形】嵌入式原型。评测结果表明,该系统在Cortex-M7上实现实时的【形】的推理速度,并且比基线音频超分辨率方法具有更高的质量。最后,我们进行了一个用户研究与十个专家和十个业余听众,以评估我们的方法的有效性,人耳。与使用原始麦克风或具有尖端降噪算法的空气传导麦克风的解决方案相比,两组人都认为我们的方法具有显着更高的语音质量。
2021-12-24 cs.MM cs.SD eess.AS
MicAugment: One-shot Microphone Style Transfer
Google(谷歌公司)
基于音频的模型的成功部署的一个关键方面是“在野外”的异构采集条件引入的转换的鲁棒性。在这项工作中,我们提出了一种方法来执行单次麦克风风格的转移。给定目标设备记录的仅几秒钟的音频,MicAugment识别与输入采集管道相关联的变换,并使用学习的变换来合成音频,就好像它是在与目标音频相同的条件下记录的。我们表明,我们的方法可以成功地应用到真正的音频风格转移,它显着增加模型的鲁棒性时,作为数据增强在下游的任务。
2020-10-19 cs.LG cs.SD eess.AS
Convolutive Audio Source Separation using Robust ICA and an intelligent evolving permutation ambiguity solution
Democritus University of Thrace(色雷斯德谟克利特大学)
音频声源分离的任务是隔离由一组麦克风捕获的房间中同时活动的声源。等数量声源和麦克风的卷积音频声源分离具有许多缺点,包括频域ICA的复杂性、排列模糊性以及随着传感器数量的增加问题的可扩展性。本文在Mitianoudis和Davies(2003)的工作基础上,提出了一种多麦克风音频声源分离算法。复杂的FastICA被Robust ICA取代,提高了鲁棒性和性能。排列歧义的解决使用两种方法。第一种是使用Likestival Ration Jump解决方案,该解决方案现在经过修改以降低多个麦克风情况下的计算复杂性。MuSIC算法的应用,作为前一个解决方案的预处理步骤,形成了第二种方法,具有良好的效果。
2017-08-14 cs.NE cs.SD
On the Usefulness of Diffusion-Based Room Impulse Response Interpolation to Microphone Array Processing
Bar-Ilan University(巴伊兰大学)
本文探讨了扩散基插值在多麦克风阵列处理中的应用,验证了其在真实房间脉冲响应插值中的鲁棒性。
2026-03-30 cs.SD
Multichannel Linear Prediction for Blind Reverberant Audio Source Separation
Istanbul Technical University(伊斯坦布尔理工大学);Qualcomm Atheros, Inc.(高通创锐讯公司)
当声源被麦克风阵列观测时,基于多通道线性预测(MCLP)的一类方法可以实现有效的声源盲去混响。我们提出了MCLP作为利用麦克风阵列的盲声源分离的预处理步骤的创造性使用。我们从理论上表明,在一定的假设下,这样的预处理减少了原来的盲混响声源分离问题的非混响,这反过来又可以有效地解决使用现有的方法。我们证明了我们的主张,使用真实的录音与八麦克风圆形阵列在混响环境中获得。
2017-02-24 cs.CE cs.SD
SEA-LM: Egocentric Spatial Audio Understanding for Wearable Microphone Arrays
University of Maryland, College Park(马里兰大学学院公园分校);Google(谷歌);Google DeepMind(谷歌DeepMind)
针对大型音频语言模型缺乏空间感知的问题,提出SEA-LM模型,通过FOACODER编码器提取空间音频特征,结合多模态大语言模型与时空加权损失,在声音定位和选择性转录任务上优于基线,并适应多种麦克风阵列配置。
2026-10-08 cs.AI cs.SD
Acoustic Impulse Responses for Wearable Audio Devices
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了一个开放获取的数据集,其中包含来自160个麦克风的8000多个声脉冲,这些麦克风分布在身体各处,并固定在可穿戴配件上。这些数据可用于评估使用助听器、耳机、眼镜、珠宝和服装等可穿戴设备的音频捕获和阵列处理系统。我们分析了身体不同部位的声学传递函数,测量了麦克风上穿着的衣服的影响,比较了来自人体模型的测量结果,并模拟了几种波束形成器的降噪性能。结果表明,分布在身体上的麦克风阵列比局限于单个设备的麦克风更有效。
2019-03-05 cs.SD eess.AS
Ambisonic Encoding of Signals From Equatorial Microphone Arrays
Chalmers University of Technology(查尔姆斯理工大学)
在(Ahrens等人,2021)基于沿着刚性球形挡板的赤道的压力传感器来计算声场的球谐(SH)表示。原始公式使用复值SH基函数。如果所捕获的声场的SH表示意图借助于实值音频信号存储在时域中,则这是不方便的,因为实值音频信号在立体混响的空间音频格式中是常见的。本文件总结了需要应用于来自(Ahrens等人,2021)来产生所捕获声场的立体混响表示,其与已建立的立体混响软件工具(如SPARTA和IEM插件套件)兼容。提供了实现此公式的示例MATLAB脚本。
2022-09-18 cs.SD eess.AS
Audio scene monitoring using redundant ad-hoc microphone array networks
University of California San Diego(加州大学圣迭戈分校);Université de Sherbrooke(舍布鲁克大学)
我们提出了一个系统,用于定位声源在一个房间里有几个特设麦克风阵列。每个圆形阵列使用商业软件独立地执行到达方向(DOA)估计。DOA被馈送到融合中心,级联,并用于执行基于两种方法的定位,这两种方法只需要很少的标记源位置(锚点)进行训练。第一种方法是基于主成分分析(PCA)的观测波达方向,不需要任何知识的锚点。然后,阵列集群可以在由级联的波达方向随时间的PCA定义的流形上执行定位。第二种方法使用DOA向量和房间流形之间的仿射变换进行定位。PCA对训练序列的要求更少,但对来自阵列之一的丢失DOA的鲁棒性较低。这些方法使用五个物联网8麦克风圆形阵列进行演示,这些阵列放置在办公室中未指定的固定位置。PCA和仿射方法都可以很容易地基于几个锚点以相似的精度绘制出矩形。所提出的方法提供了一个步骤,以监测活动的灵巧家庭,并要求很少的安装工作,因为不需要的阵列位置。
2021-08-23 cs.LG cs.SD eess.AS
Spheroidal Ambisonics: a Spatial Audio Framework Using Spheroidal Bases
University of Maryland(马里兰大学)
高保真度立体声响复制是一种基于其球谐表示来捕获、处理和再现空间声场的既定框架。我们提出了一个概括的传统球形立体混响的球形坐标系和球形麦克风阵列,它表示通过球形波函数的声场。这个框架被称为球面立体混响和制定的情况下,长椭球坐标。球形立体混响允许使用球形麦克风阵列对声场进行分析编码。此外,为了保证与现有的球形立体混响生态系统的兼容性,推导了从球形立体混响到球形立体混响的解析转换公式。数值实验验证了球面立体混响编码和转码时,用于空间声场记录。研究发现,从转码系数重建的声场具有准确重建的区域,该区域朝向长椭球麦克风阵列的长轴延伸。
2021-03-09 cs.SD eess.AS
Estimating Respiratory Rate From Breath Audio Obtained Through Wearable Microphones
Apple(苹果公司)
呼吸率(RR)是一种用于评估整体健康和身体健康的临床指标。由于慢性疾病症状(例如,哮喘,充血性心力衰竭),急性疾病(例如,由于感染引起的呼吸困难),以及在一天的过程中由于高度消耗期间的身体疲惫。RR的远程估计可以提供一种具有成本效益的方法来跟踪疾病进展和随着时间的推移的心肺健康。这项工作研究了一种模型驱动的方法来估计RR从短的音频片段后,在健康的成年人体力消耗。数据收集从21个人使用麦克风启用,近场耳机之前,期间和之后剧烈运动。通过计数感知的吸气和呼气手动注释RR。实施具有卷积层的多任务长短期记忆(LSTM)网络以处理梅尔滤波器组能量,在变化的背景噪声条件下估计RR,并预测由每分钟超过25次呼吸的RR指示的重呼吸。多任务模型执行分类和回归任务,并利用损失函数的混合。据观察,RR可以用0.76的一致性相关系数(CCC)和0.2的均方误差(MSE)来估计,表明音频可以是用于近似RR的可行信号。
2021-07-28 cs.AI cs.LG cs.SD
Online Single-Channel Audio-Based Sound Speed Estimation for Robust Multi-Channel Audio Control
本文提出一种在线声音速度估计方法,利用单个麦克风在多通道音频播放中估计声音速度,以提升空间音频控制的鲁棒性。
2026-05-12 cs.SD eess.AS
Frequency-Invariant Beamforming in Elevation and Azimuth via Autograd and Concentric Circular Microphone Arrays
Department of Electronic Technology, Universidad Carlos III de Madrid, Spain(电子技术系,卡洛斯三世大学,西班牙);Department of Signal Theory and Communications, Universidad Carlos III de Madrid, Spain(信号理论与通信系,卡洛斯三世大学,西班牙);Department of Computer Science, Universidad de Valencia, Spain(计算机科学系,瓦伦西亚大学,西班牙)
本研究利用Autograd和同心圆麦克风阵列实现频率不变的双轴波束成形,提升空间音频任务的性能。
2025-11-24 cs.SD
SHB-AE: Spherical harmonic beamforming based Ambisonics encoding and upscaling method for smartphone microphone array
Peking University(北京大学);Beijing Xiaomi Mobile Software Co., Ltd(北京小米移动软件有限公司);Xiaomi Communications Co., Ltd(小米通讯有限公司)
针对智能手机麦克风阵列,提出一种基于球谐波束形成的Ambisonics编码与升级方法SHB-AE,通过设计各阶球谐函数的波束形成器,仅用四个非规则排列的麦克风即可实现四阶Ambisonics编码与升级。
2026-06-03 cs.SD
Particle Filtering on the Audio Localization Manifold
UC San Diego(加州大学圣迭戈分校)
提出了一种基于麦克风阵列的运动声源跟踪粒子滤波算法。如果阵列中有N个麦克风,则我们使用单个粒子滤波器随时间跟踪所有$N \choose 2$延迟。由于已知在高维中跟踪是困难的,我们将这些延迟所在的低维流形的模型集成到我们的粒子滤波器中。我们的流形模型基于通过随机投影树建模低维流形的工作[1]。此外,我们还引入了一个新的加权方案,我们的粒子滤波算法的基础上,在线学习的最新进展。我们表明,我们的新TDOA跟踪算法,集成了一个流形模型可以大大优于标准的粒子滤波器在这个音频跟踪任务。
2010-03-02 cs.AI cs.SD
Speaker head orientation estimation with a single microphone array using phase spectrogram features
Audio Research Group, Tampere University, Finland(塔尔皮奥大学音频研究组,芬兰)
提出利用单个麦克风阵列的短时傅里叶变换相位分量作为深度神经网络输入,结合卷积、循环和自注意力层,在模拟和真实数据上学习,实现高精度头部朝向估计,平均角度误差达11.3度。
2026-07-03 cs.SD
Robust Audio-Based Vehicle Counting in Low-to-Moderate Traffic Flow
Czech Technical University in Prague(布拉格捷克理工大学);Tampere University(坦佩雷大学)
提出了一种基于单声道声音的中低流量车辆计数方法。我们将VC公式化为回归问题,即,我们预测车辆和麦克风之间的距离。所提出的距离函数的最小值对应于经过麦克风的车辆。VC通过预测距离中的局部最小值检测来执行。我们建议将最小检测阈值设置在假阳性和假阴性的概率相吻合的点上,以便它们在统计上相互抵消总车辆数。该方法在包括$422$短、$20$秒单声道声音文件的交通监控数据集上训练和测试,其中总共有$ 1421 $车辆经过麦克风。在训练中未使用的交通位置中的相对VC误差在宽范围的检测阈值内低于$ 2 \%$。实验结果表明,通过引入一种新的高频功率特征,提高了噪声环境下的回归精度。
2020-10-22 cs.LG cs.SD eess.AS
Multi-microphone Automatic Speech Segmentation in Meetings Based on Circular Harmonics Features
Le Mans Université(勒芒大学)
针对远场会议多麦克风语音分割,本文提出圆谐波域 DOA 空间特征 CH-DOA,并融合标准声学特征,用于 VAD、OSD 和 SCD,在 AMI 上提升分割性能且对麦克风失效鲁棒。
2023-06-07 cs.CL cs.SD eess.AS
Meeting Transcription Using Virtual Microphone Arrays
Microsoft Technical Report MSR-TR-2019-11 Revised July 2019 This report is an expanded version of a conference paper Denmark:interspeech2019 with added results on NIST-RT data.
我们描述了一个系统,通过使用虚拟麦克风阵列,一组空间分布的异步记录设备,如笔记本电脑和手机,生成扬声器注释的会议记录。该系统由连续音频流对齐、盲波束形成、语音识别、利用先验说话人信息的说话人日志化和系统合并组成。当利用七个输入音频流时,我们的系统实现了22.3%的单词错误率(WER),并且在非重叠语音段上接近麦克风WER的3%以内。说话者归因的WER(SAWER)为26.7%。对于三个、五个和七个麦克风,SAWER相对于单设备系统的相对增益分别为14.8%、20.3%和22.4%。当10%的语音持续时间包含多个说话人时,所提出的系统实现了13.6%的日志化错误率。每个组件的整体性能的贡献也进行了研究,我们验证了系统的NIST RT-07会议测试集上的实验。
2019-07-07 cs.CL cs.SD eess.AS
Listening broadband physical model for microphones: a first step
Institut d’esthétique, des arts et technologies - UMR 8153 (CNRS/Université Paris 1/MENRT), Université Paris 1(巴黎第一大学美学与艺术技术研究所(UMR 8153));ENS Louis-Lumière(国立高等路易·卢米埃尔学校)
本文提出麦克风宽带物理模型设计的第一步,将经典指向性图作为极限情况重新发现,通过 Max/MSP 应用实时模拟声场,揭示指向性受频带与声源位置影响并展现近场效应。
2024-01-04 cs.SD eess.AS
Voices Obscured in Complex Environmental Settings (VOICES) corpus
In-Q-Tel Laboratories(In-Q-Tel实验室);Lab41(Lab41实验室);SRI International(斯坦福国际研究院)
本文介绍了在复杂环境设置(VOICES)语料库,一个免费的数据集下的知识共享BY 4.0。该数据集将促进在嘈杂的房间条件下由远场麦克风记录的语音和信号处理研究。公开的语音语料库大多由近距离的孤立语音组成。更好地表示真实场景的典型方法是将干净的语音与噪声和模拟的房间响应进行卷积以用于模型训练。尽管有这些努力,但在自然条件下对未经策划的语音进行测试时,模型性能会下降。对于该语料库,音频是在带家具的房间中录制的,背景噪音与从LibriSpeech语料库中选择的前景语音一起播放。在每个房间记录多个会话,以适应所有前景语音-背景噪声组合。录音时使用了12个麦克风,每个麦克风可以录制120小时的音频。这项工作是由SRI International和Lab 41领导的多组织努力,旨在推动信号处理和语音识别中最先进的远距离麦克风方法。
2018-05-15 cs.SD eess.AS
Audio Spotforming Using Nonnegative Tensor Factorization with Attractor-Based Regularization
National Institute of Technology, Kagawa(香川国立高等专门学校);CyberAgent, Inc.(CyberAgent公司)
本研究针对多麦克风阵列点波束成形任务,提出带吸引子正则化的非负张量分解公共分量提取法,提升了模型可解释性与超参数鲁棒性,性能优于传统方法且具实用特性。
2024-07-12 cs.SD eess.AS
Utterance-Wise Meeting Transcription System Using Asynchronous Distributed Microphones
Hitachi, Ltd.(日立有限公司)
本文提出了一种新的框架,会议转录使用异步麦克风。它包括音频同步、说话人日志化、基于引导源分离的语音增强、自动语音识别和重复减少。在语音增强之前进行说话人日志化,使得系统能够处理重叠语音,而无需考虑麦克风之间的采样频率失配。对我们真实会议数据集的评估表明,我们的框架通过使用11个分布式麦克风实现了28.7%的字符错误率(CER),而放置在桌子中心的单声道麦克风的CER为38.2%。我们还表明,我们的框架实现了21.8%的CER,仅比基于耳机麦克风的转录的CER高2.1个百分点。
2020-07-31 cs.CL cs.SD eess.AS
FaSNet: Low-latency Adaptive Beamforming for Multi-microphone Audio Processing
Columbia University(哥伦比亚大学);University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
波束成形已经被广泛研究用于多声道音频处理任务。最近,基于学习的波束形成方法(有时称为\textit{neural beamformers})已经在信号质量(例如,信噪比(SNR))和语音识别(例如,字错误率(WER))方面实现了显著的改进。这样的系统通常是非因果的,并且需要大的上下文以用于信道间特征的鲁棒估计,这在需要低延迟响应的应用中是不切实际的。在本文中,我们提出了滤波和求和网络(FaSNet),一种适用于低延迟场景的基于时域滤波器的波束成形方法。FaSNet有一个两阶段的系统设计,首先学习选定的参考通道的帧级时域自适应波束成形滤波器,然后计算所有剩余通道的滤波器。将所有通道的滤波输出相加以生成最终输出。实验表明,尽管FaSNet的模型尺寸较小,但在混响语音增强和分离任务中,其尺度不变信噪比(SI-SNR)优于几种传统的oracle波束形成器。此外,当在CHiME-3数据集上使用频域目标函数进行训练时,与基线模型相比,FaSNet实现了14.3%的相对字错误率降低(RWERR)。这些结果显示了FaSNet的功效,特别是在混响和噪声信号条件下。
2019-10-01 cs.LG cs.SD eess.AS
Your Microphone Array Retains Your Identity: A Robust Voice Liveness Detection System for Smart Speakers
Shanghai Jiao Tong University(上海交通大学);University of Virginia(弗吉尼亚大学)
针对智能音箱易受语音欺骗、现有被动活体检测受环境和用户姿势影响性能下降的问题,提出基于麦克风阵列的阵列指纹特征与轻量级检测方案ARRAYID,在含32780个样本的数据集上实现99.84%的准确率,性能优于现有方案。
2025-10-28 cs.CR cs.SD eess.AS
Speaker Diarization Based on Multi-channel Microphone Array in Small-scale Meeting
在演讲者日记化的任务中,小规模会议的数量占了很大的比重。麦克风阵列作为一种录音设备,其空间信息往往被大多数研究者所忽略。本文受d向量和麦克风阵列空间向量相结合的聚类方法的启发,提出了一种利用多通道麦克风阵列对不超过4个发言人的会议进行日志化的方法。我们利用语音增强预处理的麦克风阵列的音频。该算法采用了方向响应功率相位变换(SRP-PHAT)算法来获得更准确的说话人,并根据说话人数目对语音段进行重新聚类,以获得更好的性能。最后,我们用DOVER-SVM对我们的系统进行融合,以获得最佳的融合效果。我们评估了我们的系统上AMI语料库。与目前最好的实验结果相比,我们的系统在日志化出错率(DER)上有了很大的改善。
2022-10-26 cs.SD eess.AS
EBEN: Extreme bandwidth extension network applied to speech signals captured with noise-resilient body-conduction microphones
LMSSC;Conservatoire national des arts et métiers(法国国立工艺学院);HESAM Université(HESAM大学);French-German Research Institute of Saint-Louis (ISL)(圣路易法德研究院(ISL))
本文提出EBEN,一种基于GAN的极限带宽扩展网络,利用多频带分解和U-Net结构,结合特征与对抗损失,以轻量级生成器实现骨传导麦克风语音的实时宽带增强,达到最先进性能。
2023-03-03 cs.SD eess.AS
wav2pos: Sound Source Localization using Masked Autoencoders
Lund University(隆德大学);Arm(安谋科技);Sony(索尼);Tenstorrent
提出将3D声源定位建模为集合到集合回归,用多模态掩码自编码器处理音频和麦克风坐标,重建掩码坐标实现定位,支持任意麦克风数量及缺失数据,在模拟和真实室内录音上表现优异。
2024-08-28 cs.LG cs.SD eess.AS
Neural Ambisonics encoding for compact irregular microphone arrays
Nokia Technologies(诺基亚技术公司);Tampere University(坦佩雷大学)
本文提出一种基于深度神经网络(U-Net)的Ambisonics编码方法,用于紧凑型不规则麦克风阵列,并通过可学习预处理和复合损失函数在模拟混响多声源场景中验证其性能达到或超过传统编码器。
2024-01-11 cs.SD eess.AS
Are Multiple Cross-Correlation Identities better than just Two? Improving the Estimate of Time Differences-of-Arrivals from Blind Audio Signals
Università degli Studi di Genova(热那亚大学);Istituto Italiano di Tecnologia(意大利理工学院)
在未知音频源的情况下,利用信道盲辨识和互相关恒等式(CCI),可以有效且鲁棒地估计到达时间差(TDOA)。先前的“盲”工作已经通过不同的算法解决方案和优化策略来改进TDOA的估计,同时总是坚持N = 2个麦克风的情况。但是,如果我们可以通过增加N来直接改善性能呢?在本文中,我们试图研究这个方向,表明,尽管简化,这是能够(急剧)改善国家的最先进的盲信道识别方法的基础上CCI,而不修改的计算管道。受我们的研究结果的启发,我们试图通过为联合方法铺平道路(两个具体但初步的例子)来温暖社区和从业者,在联合方法中,优化的进步与麦克风数量的增加相结合,以实现进一步的改进。
2020-10-16 cs.SD eess.AS
AnomaSense: Anomaly-based Sensor Activation for Fine-Grained Human Activity Recognition
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
AnomaSense通过异常检测触发腕戴设备麦克风短时开启并掩蔽音频,在保护隐私的同时将HAR准确率从78.98%提升至96.89%,并验证了掩蔽策略的有效性。
2026-09-25 cs.HC cs.SD
Towards End-to-End Acoustic Localization using Deep Learning: from Audio Signal to Source Position Coordinates
University of Alcalá(阿尔卡拉大学)
提出了一种基于卷积神经网络(CNN)的麦克风阵列室内声源定位方法。据我们所知,所提出的解决方案是第一个公开的工作,其中CNN被设计为直接估计声源的三维位置,使用原始音频信号作为输入信息,避免使用手工制作的音频特征。鉴于有限的本地化数据,本文提出了一种基于两个步骤的训练策略。我们首先使用从近距离谈话语音记录生成的半合成数据来训练我们的网络,并且在其中我们模拟从源传播到麦克风阵列的信号中所遭受的时间延迟和失真。然后,我们使用少量的实际数据来微调这个网络。我们的实验结果表明,这种策略是能够产生的网络,显着改善现有的定位方法的基础上\textit{SRP-PHAT}战略。此外,我们的实验表明,我们的CNN方法表现出更好的抵抗不同性别的发言人和不同的窗口大小相比,其他方法。
2018-07-29 cs.SD eess.AS
Neural Directional Filtering: Far-Field Directivity Control With a Small Microphone Array
Fraunhofer IIS(弗劳恩霍夫应用集成电路研究所);Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
提出基于DNN的神经方向滤波方法,通过估计单通道复数掩蔽并应用于参考麦克风,用小型麦克风阵列实现了高阶远场指向性控制。
2024-09-20 cs.SD eess.AS
Beyond Mono to Binaural: Generating Binaural Audio from Mono Audio with Depth and Cross Modal Attention
IIT Kanpur(印度理工学院坎普尔分校);CDAC Noida(诺伊达电子发展中心);TensorTour Inc.(TensorTour公司)
双耳音频给听众一种身临其境的体验,可以增强增强和虚拟现实。然而,记录双耳音频需要具有在左耳和右耳中具有麦克风的假人头部的专门设置。这样的录音设置很难构建和设置,因此单声道音频已成为常见设备中的首选。为了获得与双耳音频相同的效果,最近的努力已经指向将单声道音频提升为以来自场景的视觉输入为条件的双耳音频。这些方法没有使用任务的重要线索:不同声音产生对象与麦克风的距离。在这项工作中,我们认为,场景的深度图可以作为一个代理,用于诱导场景中不同对象的距离信息,音频双耳化的任务。我们提出了一种新的编码器-解码器架构与分层注意力机制的图像,深度和音频特征联合编码。我们在最先进的Transformer网络之上设计网络,用于图像和深度表示。我们的经验表明,该方法优于国家的最先进的方法舒适的两个具有挑战性的公共数据集公平播放和音乐立体声。我们还证明了定性的结果,该方法能够专注于任务所需的正确信息。项目详情可在\url{https://krantiparida.github.io/projects/bmonobinaural.html}上查阅
2021-11-15 cs.CV cs.SD eess.AS
6DoF SELD: Sound Event Localization and Detection Using Microphones and Motion Tracking Sensors on self-motioning human
NTT Corporation(NTT公司)
本文面向运动人体的可穿戴SELD任务,构建首个考虑麦克风6DoF自主运动的数据集,并提出融合音频与运动追踪信号的多模态系统,以条件化声学特征提升定位检测性能。
2024-03-04 cs.SD eess.AS
Replay Attacks Against Audio Deepfake Detection
Fraunhofer AISEC(弗劳恩霍夫人工智能安全研究所);Wrocław University of Science and Technology(沃斯克拉大学科学与技术学院);Resemble AI(Resemble AI公司);Technical University of Cluj-Napoca(克鲁克斯-纳波卡技术大学);Neodyme AG(Neodyme公司);TU Munich(慕尼黑技术大学)
本文研究重放攻击对音频深度伪造检测的影响,构建了涵盖109种扬声器-麦克风组合的ReplayDF数据集,并发现最佳检测模型W2V2-AASIST的EER从4.7%升至18.2%,揭示了现有检测方法的严重脆弱性。
2025-06-01 cs.AI cs.SD eess.AS
Lend me an Ear: Speech Enhancement Using a Robotic Arm with a Microphone Array
本文提出利用机械臂与麦克风阵列结合深度学习技术,通过动态调整麦克风位置提升语音增强性能,实验显示在不同信噪比条件下效果优于传统方法。
2026-09-24 cs.RO cs.SD
Deep learning based spatial aliasing reduction in beamforming for audio capture
First Department(第一部门);Second Department(第二部门);Institute of Electronics(电子研究所);Dolby Laboratories(杜比实验室)
针对间隔麦克风阵列波束形成中的空间混叠问题,提出用 U-Net 预测信号相关的去混叠滤波器,并在立体声和一阶 Ambisonics 场景中验证其客观与感知提升。
2025-05-26 cs.SD eess.AS
Sound of Guns: Digital Forensics of Gun Audio Samples meets Artificial Intelligence
Hamad Bin Khalifa University(哈马德·本·哈利法大学)
根据武器的枪口冲击波对武器进行分类是一项具有挑战性的任务,在各种安全和军事领域都有重要的应用。大多数现有的工作依赖于空间上不同的麦克风传感器的ad-hoc部署,以捕获同一枪声的多个副本,这使得能够准确地检测和识别声源。然而,在诸如犯罪现场取证的场景中难以获得仔细控制的设置,使得上述技术不适用且不切实际。我们介绍了一种新的技术,需要零知识的录音设置,是完全不可知的麦克风和射手的相对位置。我们的解决方案可以识别枪支的类别,口径和型号,在从YouTube视频中提取的3655个样本组成的数据集上达到90%以上的准确率。我们的研究结果表明,应用卷积神经网络(CNN)在枪击分类的有效性和效率,消除了需要一个特设的设置,同时显着提高分类性能。
2021-03-01 cs.LG cs.SD eess.AS
Harnessing Smartwatch Microphone Sensors for Cough Detection and Classification
本研究利用内置麦克风的智能手表监测咳嗽,采集9小时音频数据得到223个阳性样本,通过数据增强和1D CNN模型实现98.49%(非行走)和98.2%(行走)的检测准确率,并利用聚类技术成功识别出四种不同类型的咳嗽。
2024-04-20 cs.HC cs.LG cs.SD
Two Channel Audio Zooming System For Smartphone
Indian Institute of Technology, Delhi(德里印度理工学院);SRI Noida(SRI诺伊达)
在本文中,两个麦克风为基础的音频变焦系统首次提出。音频缩放应用程序允许从前方捕获和增强声音,同时衰减来自所有其他方向的干扰源。完整的音频缩放系统利用基于波束成形的目标提取。特别是,最小功率无失真响应(MPDR)波束形成器和格里菲斯吉姆波束形成器(GJBF)进行了探讨。然后进行块阈值处理,以抑制残留噪声和干扰,并创建缩放效果。使用三星智能手机(三星Galaxy A5)进行了一些模拟和现实生活中的实验。客观和主观的测量证实了丰富的用户体验。
2020-01-13 cs.SD eess.AS
Dual Quaternion Ambisonics Array for Six-Degree-of-Freedom Acoustic Representation
Sapienza University of Rome(罗马第一大学)
空间音频方法由于沉浸式音频体验和应用(诸如虚拟现实和增强现实)的传播而获得越来越大的兴趣。出于这些目的,3D音频信号通常通过高保真度立体声响复制麦克风的阵列来获取,每个麦克风包括四个以球谐分解声场的囊。在本文中,我们提出了一个双四元数表示的空间声场获得通过一个阵列的两个一阶高保真度立体声(FOA)麦克风。音频信号被封装在一个对偶四元数中,该对偶四元数利用四元数代数属性来利用它们之间的相关性。这种具有6个自由度(6DOF)的增强表示涉及更准确的声场覆盖,从而实现更精确的声音定位和更身临其境的音频体验。我们评估我们的方法上的声音事件定位和检测(SELD)基准。我们表明,我们的双四元数SELD模型与时间卷积块(DualQSELD-TCN)实现了更好的结果相对于真实和四元数值基线由于我们的增强表示的声场。完整代码可在以下网址获得:https://github.com/ispamm/DualQSELD-TCN。
2022-12-14 cs.LG cs.SD eess.AS