Effect of laboratory conditions on the perception of virtual stages for music
Instituto de Automática (Institute of Automation)（自动化研究所）
本文通过对比消声室与两种定制听力室的声学条件，验证了所提出的评估方法在虚拟舞台感知实验中的有效性，为虚拟声学研究中的实验室设计提供了初步依据。
2025-06-02 cs.SD eess.AS
Target Sound Extraction with Variable Cross-modality Clues
Microsoft（微软）
自动目标声音提取（TSE）是一种机器学习方法，用于模仿人类从混合源中关注感兴趣声源的听觉感知能力。它通常使用一个以固定形式的目标声音线索为条件的模型，例如声音类别标签，这限制了用户与模型交互以指定目标声音的方式。为了利用在推理阶段中可用的不同数量的线索交叉模态，包括视频，声音事件类和文本标题，我们提出了一个统一的基于transformer的TSE模型架构，其中多线索注意力模块集成了跨模态的所有线索。由于没有现成的基准来评估我们提出的方法，我们建立了一个基于公共语料库，Audioset和AudioCaps的数据集。对可见和不可见目标声音评估集的实验结果表明，我们提出的TSE模型可以有效地处理不同数量的线索，提高了TSE性能和鲁棒性对部分妥协的线索。
2023-03-15 cs.SD eess.AS
Mobile Sound Recognition for the Deaf and Hard of Hearing
Universidade Federal do Rio de Janeiro（里约热内卢联邦大学）
人类对周围事件的感知强烈依赖于音频提示。因此，隔音会严重影响态势感知。我们提出了一个探索性的研究领域的辅助计算，引出的要求，并提出解决方案，发现在发展中的环境声音识别系统，其目的是帮助聋人和重听的人在感知声音的问题。为了利用智能手机的计算无处不在，我们提出了一个系统，执行所有的处理设备本身，从音频特征提取识别和视觉呈现的结果。我们的应用程序还向用户呈现了分类的置信度。对聋人用户进行的系统测试提供了参与者的重要和鼓舞人心的反馈。
2018-10-19 cs.AI cs.HC cs.SD
ProtoSound: A Personalized and Scalable Sound Recognition System for Deaf and Hard-of-Hearing Users
University of Washington（华盛顿大学）；Google（谷歌）；Google Research（谷歌研究院）
最近的进展已经使移动设备上的聋人和听力困难（DHH）用户能够使用自动声音识别系统。然而，这些工具使用预先训练的通用声音识别模型，无法满足DHH用户的各种需求。我们介绍ProtoSound，一个交互式系统，通过记录一些例子来定制声音识别模型，从而实现个性化和细粒度的类别。ProtoSound的动机是以前的工作检查DHH的人的声音意识的需求，并通过我们与472 DHH参与者进行了调查。为了评估ProtoSound，我们在两个真实世界的声音数据集上表征了性能，显示出比最先进的显着改进（例如，第一个数据集的准确率为+9.7%）。然后，我们通过移动应用程序部署了ProtoSound的最终用户培训和实时识别，并招募了19名听力参与者，他们聆听了真实世界的声音，并对56个地点的准确性进行了评级（例如，家庭、餐馆、公园）。结果表明，ProtoSound可以实时个性化设备上的模型，并在不同的声学环境中准确地学习声音。最后，我们讨论了个性化声音识别方面的挑战，包括需要更好的录音界面和算法改进。
2022-02-22 cs.HC cs.LG cs.SD
A dataset and model for auditory scene recognition for hearing devices: AHEAD-DS and OpenYAMNet
Australian Hearing Hub, Macquarie University, Sydney, Australia（澳大利亚听力中心、麦考瑞大学、悉尼、澳大利亚）；Google Research Australia, Sydney, Australia（谷歌澳大利亚研究、悉尼、澳大利亚）
AHEAD-DS和OpenYAMNet为助听设备提供标准化听觉场景识别数据集和模型，实现高精度实时声音识别。
2026-01-13 cs.SD eess.AS
Head shadow enhancement with low-frequency beamforming improves sound localization and speech perception for simulated bimodal listeners
KU Leuven – University of Leuven（鲁汶大学）
由于双耳线索的可用性差，许多听力受损的听众难以定位声音。带有人工耳蜗和对侧助听器的听众--所谓的双峰听众--是表现最差的，因为两耳间的时间和水平差都很难传递。提出了一种新的低频头部阴影增强方法。头部阴影增强是通过在每只耳朵中使用对侧衰减的固定波束形成器来实现的。该方法导致耳间水平差随角度单调变化。在语音和噪声空间分离的情况下，它还提高了低频信噪比。我们验证了该方法在两个实验中的声学模拟双峰听。在定位实验中，与标准全向麦克风相比，性能从50.5°提高到26.8°均方根误差。在噪声中的语音实验中，语音从正面方向呈现。当噪声来自人工耳蜗侧时，语音接收阈值提高了15.7 dB SNR，当噪声来自助听器侧时，语音接收阈值提高了7.6 dB SNR，当噪声来自各个方向时，语音接收阈值不受影响。除了双模态听众，该方法也可能是有前途的双侧人工耳蜗或助听器用户。其低计算复杂度使得该方法适合于在当前临床设备中的应用。保留字：头影增强、耳间水平差增强、声音定位、定向听力、噪声中言语、言语清晰度PACS：43.60.Fg、43.66.Pn、43.66.Qp、43.66.Rq、43.66.Ts、43.71.- k，43.71.Es，43.71.Ky
2018-03-14 cs.SD eess.AS
SoundBeam: Target sound extraction conditioned on sound-class labels and enrollment clues for increased performance and continuous learning
NTT Corporation（日本电报电话公司）
在许多情况下，我们希望听到所需的声音事件（SE），同时能够忽略干扰。目标声音提取（TSE）通过估计声音混合中的目标SE类的声音的音频信号同时抑制所有其它声音来解决这个问题。我们可以通过一个神经网络来实现这一点，该神经网络通过对代表目标SE类的线索进行调节来提取目标SE。已经提出了两种类型的线索，即，目标SE类别标签和登记音频样本（或音频查询），其是来自目标SE类别的声音的预先记录的音频样本。基于SE类标签的系统可以直接优化表示SE类的嵌入向量，从而获得高提取性能。然而，扩展这些系统以提取在训练期间未遇到的新SE类并不容易。基于登记的方法通过在混合物中找到与登记音频样本共享相似特性的声音来提取SE。这些方法不显式依赖于SE类定义，因此可以处理新的SE类。在本文中，我们介绍了一个TSE框架，SoundBeam，它结合了这两种方法的优点。我们还使用合成和真实混合物对不同的TSE方案进行了广泛的评估，这表明了SoundBeam的潜力。
2022-11-02 cs.SD eess.AS
Individualized Hear-through For Acoustic Transparency Using PCA-Based Sound Pressure Estimation At The Eardrum
Starkey Hearing Technologies（斯达克听力技术公司）
听力设备上的透听功能，其允许听力等同于开放耳朵，同时提供以期望的方式修改鼓膜处的声压的可能性，近年来引起了研究人员的极大关注。为此，该装置的输出通过均衡滤波器进行处理，使得外部声源和鼓膜之间的传递函数对于开放耳朵和辅助条件（其中该装置在耳朵中）是等效的。为了实现理想的性能，均衡滤波器的设计假设所有相关的声学传递函数的准确知识。一个特别的挑战是听力设备接收器和鼓膜之间的传递函数，这在实践中很难获得，因为它需要额外的探头管测量。在这项工作中，我们提出了一个个性化的听通均衡滤波器设计，利用所谓的次级路径的测量来预测鼓膜处的声压，从而解决了这个问题。使用真实耳测量的传递函数的实验结果证实，所提出的方法实现了良好的声音质量相比，开放的耳朵，同时优于不利用所提出的估计器的滤波器设计。
2022-02-17 cs.SD eess.AS
Semantic Hearing: Programming Acoustic Scenes with Binaural Hearables
University of Washington（华盛顿大学）；Microsoft（微软）
本文提出语义听觉技术，通过首个双耳目标声音提取神经网络和泛化训练方法，使可听设备实时聚焦或忽略特定声音并保留空间线索，在20类声音和真实场景中验证有效。
2023-11-01 cs.LG cs.SD eess.AS
wav2shape: Hearing the Shape of a Drum Machine
New York University（纽约大学）
从几个波形例子中解开和恢复物理属性，如形状和材料，是音频信号处理中具有挑战性的逆问题，在音乐声学和结构工程中有许多应用。我们建议通过结合时频分析和监督机器学习来解决这个问题。我们首先使用函数变换方法合成声音数据集。然后，我们表示每个谐振声音的时不变散射变换系数，并制定了一个深卷积神经网络的多维回归的谐振器的参数估计。我们插值散射系数在鼓的表面作为潜在的缺失数据的替代品，并研究了神经网络的响应插值样本。最后，我们重新合成鼓的声音从散射系数，因此铺平了道路，对鼓的声音，其潜变量是物理上可解释的深层生成模型。
2020-07-20 cs.LG cs.SD eess.AS
Fine-grained Soundscape Control for Augmented Hearing
Paul G. Allen School of Computer Science and Engineering, University of Washington（保罗·G·阿伦计算机科学与工程学院，华盛顿大学）；Hearvana AI（Hearvana人工智能）
Aurchestra通过细粒度声音控制实现可穿戴设备上多声音源的独立调节与混合，提升环境声音的增强与抑制效果。
2026-07-13 cs.LG cs.SD eess.AS
Hearing and Seeing Through CLIP: A Framework for Self-Supervised Sound Source Localization
School of Electrical Engineering, KAIST, South Korea（韩国延世大学电气工程学院）；ETRI, South Korea（韩国电子技术研究院）
本文提出一种基于CLIP的自监督声源定位框架，通过将音频映射为CLIP兼容嵌入并与视觉特征对比对齐，无需文本输入即可实现更完整紧凑的定位，并在多个任务和零样本场景中优于现有方法。
2025-05-08 cs.CV cs.SD eess.AS
Seeing Sound, Hearing Sight: Uncovering Modality Bias and Conflict of AI models in Sound Localization
Nanyang Technological University, Singapore（南洋理工大学）；Peking University, China（北京大学）；Shenzhen University, China（深圳大学）
本研究系统考察AI声音定位中的模态偏差，发现人类优于AI，并提出受神经科学启发的EchoPin模型，其超越现有基准并呈现类似人类的水平定位偏差。
2025-10-24 cs.AI cs.CV cs.MM
Influence of Lossy Speech Codecs on Hearing-aid, Binaural Sound Source Localisation using DNNs
本文研究 BLE 场景下 LC3plus 有损编解码对双耳 DNN 声源定位的影响，比较单耳与中心处理条件，并扩展 Pyroomacoustics 支持 HD-HRTF。
2023-06-04 eess.AS
SoundCompass: Navigating Target Sound Extraction With Effective Directional Clue Integration In Complex Acoustic Scenes
SoundCompass通过整合SPIN模块、SH嵌入和CoI策略，有效提取复杂声学场景中的目标声音。
2026-01-27 cs.AI cs.SD eess.AS
Reduction of Subjective Listening Effort for TV Broadcast Signals with Recurrent Neural Networks
Carl von Ossietzky University Oldenburg（奥尔登堡大学）；Fraunhofer IDMT（弗劳恩霍夫数字媒体技术研究所）
收听电视广播信号的音频对于听力受损者以及听力正常的收听者来说可能是具有挑战性的，特别是当背景声音与语音信号相比突出或太响时。这可能导致听众的满意度降低和收听努力增加。由于广播声音通常是预混的，我们进行主观评价量化的潜力语音增强系统的基础上，音频源分离和递归神经网络（RNN）。最近，RNN在声源分离和实时信号处理的背景下显示出有希望的结果。在本文中，我们将语音从背景信号中分离出来，并将分离出来的声音以更高的信噪比进行混音。这不同于经典的语音增强，在经典的语音增强中，通常仅利用所提取的语音信号。主观评价与20个正常的听力主体对真正的电视广播材料表明，我们提出的增强系统是能够减少约2个点的13点的听力努力评级量表上的听力努力，并增加了感知的声音质量相比，原来的混合物。
2021-11-02 cs.SD eess.AS
Building Ears for Robots: Machine Hearing in the Age of Autonomy
Zoox, Inc.（Zoox公司）
本文以 robotaxi 外部麦克风阵列为例探讨机器人听觉的硬件设计与 SNR 测试，并提出基于概率机器人学、Bayes 滤波和 POMDP 的软件框架，将听觉纳入感知与决策。
2023-12-05 cs.RO cs.SD eess.AS
Multichannel-to-Multichannel Target Sound Extraction Using Direction and Timestamp Clues
School of Electrical Engineering（电气工程学院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出多通道到多通道目标声音提取框架，利用方向和时间戳线索，基于Transformer架构提取多通道目标信号，并验证其有效性与归纳偏置优势。
2024-09-19 cs.AI cs.SD eess.AS
A Fused Deep Denoising Sound Coding Strategy for Bilateral Cochlear Implants
针对双侧人工耳蜗的噪声语音理解问题，提出通过潜在融合层连接两侧单耳端到端深度降噪编码模型的策略，提升了降噪、耳间相干性和语音可懂度。
2023-10-02 eess.AS
Learning to Model Aspects of Hearing Perception Using Neural Loss Functions
Center for Computer Research in Music and Acoustics, Stanford University（斯坦福大学计算机音乐与声学研究中心）
我们提出了一个框架，通过结合卷积架构，从经典的信号处理的想法来模拟音频信号的感知质量，并描述了一种方法来提高感知的声学质量。我们证明了这种方法，通过将一个廉价的音乐与退化的声音质量的声音，一个高品质的乐器，而不需要并行数据，这往往是很难收集。我们适应一个简单的自适应EQ滤波的经典方法学习的神经架构的客观标准，并优化它，以获得我们感兴趣的信号。由于我们根据感兴趣的信号学习自适应掩码，而不是对所有输入进行固定变换，因此我们表明浅层神经架构可以实现预期的结果。对目标和初始化的简单约束有助于我们避免对抗性的示例，否则会产生嘈杂的，难以理解的音频。我们相信，目前提出的框架具有巨大的应用，在各种问题中，人们可以根据问题学习损失函数，使用神经架构并在学习后对其进行优化。
2019-12-11 cs.SD eess.AS
Hearing Like Humans? Sound Symbolism and Perceptual Alignment in Speech Language Models
Graduate Institute of Communication Engineering National Taiwan University Taipei, Taiwan；Graduate Institute of Electrical Engineering National Taiwan University Taipei, Taiwan；Artificial Intelligence Center of Research Excellence National Taiwan University Taipei, Taiwan
研究语音语言模型是否有语音象征倾向，通过真实人类语音录音对比模型与人类数据，发现模型听觉判断与人类感知对齐差，错过声学线索，开放权重模型表现不佳，弱点在语音表示方式。
2026-10-07 cs.CL eess.AS
SoundBeam meets M2D: Target Sound Extraction with Audio Foundation Model
NTT Corporation（NTT公司）
本文提出将M2D音频基础模型集成到SoundBeam系统中，以提升目标声音提取性能，尤其在利用注册线索时效果显著。
2024-09-19 cs.SD eess.AS
Developing an AI-Guided Assistant Device for the Deaf and Hearing Impaired
Jiayu (Jerry) Liu（独立研究者）
本研究提出一种面向聋人与听障人士的 AI 辅助设备，结合 JerryNet 声源方向识别、CLAP 音频分类及多模态音频-视觉定位模型，在多个数据集上取得优于基线模型的性能，为新一代无障碍设备奠定基础。
2025-07-16 cs.LG cs.SD eess.AS
A Neural-Network Framework for the Design of Individualised Hearing-Loss Compensation
针对助听器依赖简化模型而无法有效补偿复杂听力损失的问题，提出一种可微分的深度神经网络框架，基于正常与受损听觉系统的生物物理差异训练助听器模型，能补偿外毛细胞损失和耳蜗突触病变，改善噪声中言语理解，支持个性化听力恢复。
2023-06-16 eess.AS eess.SP
dCoNNear: An Artifact-Free Neural Network Architecture for Closed-loop Audio Signal Processing
Hearing Technology Lab, Department of Information Technology, Ghent University（信息科技系听力技术实验室，根特大学）；IDLAB, Department of Information Technology, Ghent University（信息科技系IDLAB，根特大学）
本文提出无伪影神经网络架构dCoNNear，通过消除闭环音频处理中非理想采样引起的音调与混叠伪影，在助听器个性化设计和语音增强任务中显著提升感知音质。
2025-11-06 cs.SD eess.AS
Cross-attention Inspired Selective State Space Models for Target Sound Extraction
National Key Laboratory of General Artificial Intelligence（国家级通用人工智能重点实验室）；School of Intelligence Science and Technology（智能科学与技术学院）；Peking University（北京大学）
本文提出CrossMamba模型用于目标声音提取，利用Mamba的隐藏注意力机制模拟交叉注意力，计算线索与混合音频间的依赖关系，在保持低计算复杂度的同时验证了方法的有效性。
2025-06-25 cs.SD eess.AS
EasyEyes: Online hearing research using speakers calibrated by phones
本研究提出开源工具EasyEyes.app，借助智能手机麦克风配置文件库与非同步MLS算法，可在线快速校准电脑扬声器，助力高效包容的在线听力研究。
2025-10-29 eess.AS
Binaural Audio Source Remixing with Microphone Array Listening Devices
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
增强听力设备，如助听器和增强现实耳机，通过改变我们听到的声音来增强人类的感知。麦克风阵列可以提高听音系统在嘈杂环境中的性能，但大多数基于阵列的听音系统被设计为从混合声中隔离单个声源。这项工作认为，源重新混合过滤器，改变每个源的相对水平独立。重新混合而不是分离声音可以帮助提高感知透明度：它对信号频谱造成的失真较小，特别是对人类用于在空间中定位声音的耳间线索造成的失真较小。
2020-04-24 cs.SD eess.AS
USE: A Unified Model for Universal Sound Separation and Extraction
Shanghai Jiao Tong University（上海交通大学）；VUI Labs, China（中国语音与虚拟用户界面实验室）；Nanjing University, Suzhou, China（南京大学苏州校区）；Shenzhen Loop Area Institute, Shenzhen, China（深圳环带研究所）
本文提出USE模型，通过统一框架结合声音分离与目标声音提取，提升两者性能，实验显示在SS和TSE任务中分别取得1.4 dB SDR提升和86%准确率。
2025-12-24 eess.AS
Self-Guided Target Sound Extraction and Classification Through Universal Sound Separation Model and Multiple Clues
提出多阶段自引导框架，通过USS、SC和TSE模型循环优化，解决DCASE 2025声音分割任务，无需外部指导即实现SOTA性能。
2025-09-17 eess.AS
Audio-Visual Speech Enhancement With Selective Off-Screen Speech Extraction
Waseda Research Institute for Science and Engineering（早稻田大学科学与工程研究院）；School of Advanced Science and Engineering, Waseda University（早稻田大学高等科学与工程学院）
针对传统视听语音增强仅保留屏内语音的局限，提出融合屏内视觉线索与屏外声纹线索、结合时序注意力和静音训练策略的方法，可同时提取屏内和指定屏外说话人混合语音，性能与效率优于基线方法。
2023-06-10 cs.SD eess.AS
Detect what you want: Target Sound Detection
Peking University（北京大学）；Xiaomi Corporation（小米公司）
人类可以通过选择性听觉注意从多源混合信号中感知目标声音类型，然而，这种功能在机器听觉中几乎没有被探索过。目标声检测（TSD）任务是在给定目标声参考音频的情况下，从混合音频中检测出目标声信号。我们提出了一种新的目标声音检测网络（TSDNet），它由两个主要部分组成：一个条件网络，其目的是产生一个声音的歧视性的条件嵌入向量表示的目标声音，和一个检测网络，它采取的混合音频和条件嵌入向量作为输入，并产生目标声音的检测结果。这两个网络可以通过多任务学习方法进行联合优化，以进一步提高性能。此外，我们研究了强监督和弱监督策略来训练TSDNet，并提出了一种混合两个样本的数据增强方法。为了便于这项研究，我们建立了一个目标声音检测数据集（\textit{i.e.} URBAN-TSD）的基础上URBAN-SED和UrbanSound 8 K数据集，实验结果表明，我们的方法可以得到基于段的F分数分别为76.3 $\%$和56.8 $\%$在强标记和弱标记的数据。
2022-07-07 cs.SD eess.AS
Sound Separation and Classification with Object and Semantic Guidance
本文提出双路径分类器与语义线索编码器，融合分离特征和预训练语义表示以解决声音分离与分类中的错误传播问题，在DCASE 2025 task4上取得11.19 dB CA-SDRi的最优性能。
2025-09-19 eess.AS
SoundShift: Exploring Sound Manipulations for Accessible Mixed-Reality Awareness
University of Michigan（密歇根大学）；National Taiwan University（台湾大学）
SoundShift提出六种声音操控方法，通过用户研究验证其能增强混合现实中盲人用户的声音感知并降低认知负荷，且开发了实际应用示例。
2024-05-26 cs.HC cs.SD eess.AS
Effect of acoustic scene complexity and visual scene representation on auditory perception in virtual audio-visual environments
在日常生活中，社会交往和声学交流经常发生在复杂的声学环境中，其中存在各种干扰声和混响。对于听力研究和听力系统的评估，使用虚拟现实技术的模拟CAE在生态有效性的背景下获得了兴趣。在目前的研究中，场景的复杂性和视觉表示的场景上的心理声学措施，如声源位置，距离感知，响度，语音清晰度，并在虚拟视听环境中的听力努力的影响进行了研究。使用三维86通道扬声器阵列来呈现声场，结合或不结合头戴式显示器（HMD）来创建场景的沉浸式立体视觉表示。该场景由八个（虚拟）扬声器组成的一个环，在几个空间条件下播放目标语音刺激和无意义语音播放器。无论是无回声（下雪的户外风景）或回声环境（阁楼公寓）的混响时间（T60）约为1.5秒的模拟。除了不同数量的干扰者，场景的复杂性是不同的，通过评估的心理声学措施，在孤立的连续测量或同时。结果显示佩戴HMD对数据没有显著影响。响度和距离知觉表现出显着不同的结果时，他们被同时测量，而不是连续孤立。所建议的设置的优点在于，它可以直接转移到相应的真实房间，从而能够在真实和虚拟环境中对感知实验进行1：1的比较和验证。
2021-11-07 cs.SD eess.AS
SALMONN: Towards Generic Hearing Abilities for Large Language Models
Tsinghua University（清华大学）；ByteDance（字节跳动）
本文提出SALMONN多模态模型，将文本LLM与语音及音频编码器融合，使其具备通用听觉理解、多任务竞争性能和跨模态涌现能力，并用少样本激活调优激发这些能力。
2024-04-08 cs.CL cs.SD eess.AS
Hearing from Silence: Reasoning Audio Descriptions from Silent Videos via Vision-Language Model
Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent AI Lab（腾讯AI实验室）；Institute of Automation School of Artificial Intelligence（自动化研究所人工智能学院）
针对多模态大模型在视频转音频推理中难以获取音频描述的问题，提出从无声视频推理音频描述（SVAD）任务，构建CoT-AudioCaps数据集并采用基于思维链的监督微调策略，显著提升了模态失配推理能力。
2025-05-28 cs.MM cs.SD eess.AS
Cooperative Audio Source Separation and Enhancement Using Distributed Microphone Arrays and Wearable Devices
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
诸如助听器的增强听音设备通常在具有许多竞争声源的嘈杂和混响环境中表现不佳。大型分布式麦克风阵列可以提高性能，但来自远程麦克风的数据通常不能用于延迟受限的实时处理。我们提出了一个合作的音频源分离和增强系统，利用可穿戴式收听设备和其他麦克风阵列分布在一个房间。全分布式阵列用于分离声源并估计其统计量。每个收听设备使用这些统计数据来设计使用其自己的本地麦克风的实时双耳音频增强滤波器。该系统的实验证明，使用10个语音源和160个麦克风在一个大的，混响室。
2019-12-10 cs.SD eess.AS
HAAQI-Net: A Non-intrusive Neural Music Audio Quality Assessment Model for Hearing Aids
Academia Sinica（中央研究院）；National Chengchi University（国立政治大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）；College of Informatics, National Chengchi University（国立政治大学资讯学院）；Institute of Communications Engineering, National Yang Ming Chiao Tung University（国立阳明交通大学通讯工程研究所）
本文提出非侵入式 HAAQI-Net，融合 BEATs 特征、BLSTM 与注意力机制预测助听器音乐质量，并通过知识蒸馏和微调实现高效、鲁棒的主客观评分预测。
2025-01-09 cs.LG cs.SD eess.AS
Visual-Assisted Sound Source Depth Estimation in the Wild
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
深度估计支持各种各样的3D应用，例如机器人、自动驾驶和虚拟现实。尽管在该领域中进行了大量的工作，但如何实现准确、低成本、高分辨率和大范围的深度估计仍然是开放的。受闪电爆炸现象（即看到闪电后听到雷声）的启发，本文开发了第一个视听深度估计框架FBDepth。它需要光和声音的飞行时间（ToF）之间的差异来推断声源深度。FBDepth是第一个将视频和音频与语义特征和空间提示结合起来进行范围估计的工具。它首先对齐视频轨道和音频轨道之间的对应关系，以粗粒度定位目标对象和目标声音。FBDepth基于对运动对象运动轨迹的观察，提出了通过估计发声前后光流的交点来及时定位视频事件。FBDepth为最终的深度估计提供视频事件和音频剪辑的估计时间戳。我们使用手机收集3000+视频剪辑与20个不同的对象在高达$50m$。与基于RGB的方法相比，FBDepth将绝对相对误差（AbsRel）降低了55%。
2022-07-20 cs.SD eess.AS eess.IV
Learning to Separate Object Sounds by Watching Unlabeled Video
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；IBM Research（IBM研究院）；Facebook AI Research（Facebook人工智能研究院）
最充分地感知一个场景需要所有的感官。然而，建模对象的外观和声音是具有挑战性的：大多数自然场景和事件包含多个对象，并且音轨将所有声源混合在一起。我们提出从未标记的视频中学习视听对象模型，然后利用视觉上下文来执行新视频中的音频声源分离。我们的方法依赖于一个深度的多实例多标签学习框架来解开映射到单个视觉对象的音频基础，即使没有孤立地观察/听到这些对象。我们展示了如何恢复解开基地可以用来指导音频声源分离，以获得更好的分离，对象级的声音。我们的工作是第一个学习音频声源分离从大规模的“在野外”的视频包含多个音频源，每个视频。我们获得了视觉辅助音频声源分离和音频去噪的最先进的结果。我们的视频结果：http://vision.cs.utexas.edu/projects/separating_object_sounds/
2018-07-26 cs.CV cs.MM cs.SD
Diverse and Vivid Sound Generation from Text Descriptions
Shanghai Jiao Tong University（上海交通大学）
针对以往音频生成类别受限的问题，提出结合变异量化GAN码本、Transformer和melgan声码器的文本驱动音频生成方法，可生成高质量、贴合文本的自然生动音频，效果优异。
2023-05-03 cs.SD eess.AS
Benchmarks and leaderboards for sound demixing tasks
Institute for Design Problems in Microelectronics of Russian Academy of Sciences（俄罗斯科学院微电子设计问题研究所）
本文提出两个新的音源分离基准及排行榜，并开发了一种基于多模型集成、按音轨成分择优分配的新方法，在 Music Demixing Challenge 2023 中取得顶尖成绩。
2024-05-07 cs.LG cs.SD eess.AS
Catch Me If You Hear Me: Audio-Visual Navigation in Complex Unmapped Environments with Moving Sounds
University of Freiburg（弗莱堡大学）
视听导航结合视觉和听觉，在未映射的环境中导航到声音发射源。虽然最近的方法已经证明了音频输入在检测和找到目标方面的好处，但它们专注于干净和静态的声源，并且难以推广到听不到的声音。在这项工作中，我们提出了一种新的动态视听导航基准，它需要在嘈杂和分散注意力的声音环境中捕捉移动声源，这带来了一系列新的挑战。我们引入了一种强化学习方法，该方法可以为这些复杂的设置学习一个强大的导航策略。为了实现这一目标，我们提出了一个架构，融合视听信息的空间特征空间学习相关的几何信息固有的本地地图和音频信号。我们证明了我们的方法在两个具有挑战性的3D扫描现实世界环境（即Matterport3D和Matterport3D）中，在移动声音、未听到的声音和嘈杂环境的所有任务中，都始终优于当前最先进的方法。该基准可在http://dav-nav.cs.uni-freiburg.de上获得。
2023-01-03 cs.CV cs.LG cs.RO
Contrastive Environmental Sound Representation Learning
University of Cambridge（剑桥大学）；Jomo Kenyatta University of Agriculture and Technology（乔莫·肯雅塔农业技术大学）
环境声音的机器听觉是音频识别领域的重要课题之一。它使机器能够区分不同的输入声音，指导其决策。在这项工作中，我们利用自监督对比技术和浅层1D CNN来提取独特的音频特征（音频表示），而不使用任何显式的annotations.We生成的表示一个给定的音频使用其原始音频波形和频谱图和评估，如果建议的学习者是不可知的类型的音频输入。我们进一步使用典型相关分析（CCA）融合表示从给定的音频的两种类型的输入，并证明了融合的全局特征的结果在鲁棒的表示的音频信号相比，单独的表示。在ESC-50和UrbanSound 8 K上对所提出的技术进行了评估。实验结果表明，该方法能够提取环境音频的大部分特征，在ESC-50和UrbanSound 8 K数据集上分别提高了12.8%和0.9%。
2022-07-18 cs.AI cs.LG cs.SD
AudioViewer: Learning to Visualize Sounds
University of British Columbia（不列颠哥伦比亚大学）
感官替代领域的一个长期目标是通过可视化音频内容来使聋人和听力困难（DHH）的人能够感知声音。与现有的翻译成手语的模型不同，在语音和文本之间，或者文本和图像之间，我们的目标是即时和低级别的音频到视频的翻译，适用于通用的环境声音以及人类语音。由于这种替代是人为的，没有监督学习的标签，我们的核心贡献是建立一个从音频到视频的映射，通过高级约束从未配对的示例中学习。对于演讲，我们还从风格中分离出内容，如性别和方言。包括人类研究在内的定性和定量结果表明，我们的非配对翻译方法在生成的视频中保留了重要的音频特征，并且面部和数字的视频非常适合可视化高维音频特征，这些特征可以由人类解析以匹配和区分声音和单词。代码和模型可在https://chunjinsong.github.io/audioviewer上获得
2022-11-10 cs.CV cs.HC cs.LG
End-to-end audio-visual learning for cochlear implant sound coding simulations in noisy environments
Graduate Institute of Electronics Engineering（电子工程研究所）；the Department of Electrical Engineering, National Taiwan University, Taipei 106319, Taiwan（国立台湾大学电子工程系）；Research Center for Information Technology Innovation Technology, Academia Sinica, Taipei 115201, Taiwan（中科院资讯科技创新研究中心）；Department of Electrical Engineering, Chung Yuan Christian University, Taoyuan 320314, Taiwan（Chung Yuan Christian University 电子工程系）
本文提出了一种端到端的人工耳蜗声音编码系统，通过整合音频视觉信息提升噪声环境中的语音可懂度和信噪比。
2026-01-29 cs.AI cs.SD eess.AS
Representations of Sound in Deep Learning of Audio Features from Music
Cold Spring Harbor Laboratory（冷泉港实验室）
一个音乐家、一个乐队或一个作曲家的作品在音乐风格上可以有很大的不同。事实上，不同的风格元素，从表演媒介和节奏到和谐和纹理，通常是在艺术家的一生中开发和发展的。然而，例如，在感知层面上，单个作曲家的作品通常具有可辨别的特征-有经验的听众通常可以从音乐中找到微妙的线索来识别作曲家或表演者。在这里，我们建议卷积网络可以学习这些微妙的线索或特征，给出音乐的适当表示。在本文中，我们将深度卷积神经网络应用于大型音频数据集，并根据经验评估其在音频分类任务上的性能。我们训练的网络在这样的分类任务上表现出准确的性能，当呈现通过原始音频波形的简单变换获得的5秒音乐示例时。一个特别有趣的例子是音乐的频谱表示，通过应用一个空间间隔的滤波器组，反映了哺乳动物听觉信号转导的早期阶段。最成功的音乐表示，以促进歧视是通过随机矩阵变换（RMT）。基于对数滤波器组和RMT的网络能够分别在68%和84%的情况下正确地猜测出31种可能性中的一个作曲家。
2017-12-08 cs.CV cs.SD eess.AS
A Multi-Stage Separation-and-Classification Framework Guided by Complementary Acoustic-to-Semantic Clues
School of Electrical Engineering, KAIST, Daejeon, Republic of Korea（韩国科学技术院电气工程学院）
提出多阶段分离-分类框架，通过互补的声学与语义线索逐步细化目标估计，在DCASE 2026挑战任务4中显著提升空间语义分割性能。
2026-06-24 eess.AS
Deploying Enhanced Speech Feature Decreased Audio Complaints at SVT Play VOD Service
SVT（瑞典电视台）；Polish-Japanese Academy of Information Technology（波日信息技术学院）
在瑞典的公共服务广播公司SVT，节目中的背景音乐和声音多年来一直是观众最常见的抱怨之一。最敏感的群体是听力残疾的人，但其他许多人也觉得背景声音很烦人。为了解决这个问题，SVT在VOD服务SVT Play中的许多电视节目中添加了增强语音，这是一种具有较低背景噪音的功能。因此，当具有增强语音功能的程序数量增加时，客户服务的音频投诉水平就会下降。增强语音功能在86名参与者的调查中获得了8.3/10的评分。未来可能使用的评级为9.0/10。在这篇文章中，我们描述了这个功能的设计和开发过程，以及它的技术规格，限制和未来的发展机会。
2022-08-18 cs.MM cs.SD eess.AS
