A Dual-Purpose Deep Learning Model for Auscultated Lung and Tracheal Sound Analysis Based on Mixed Set Training
National Taiwan University（台湾大学）；Far Eastern Memorial Hospital（远东纪念医院）；Heroic Faith Medical Science Co., Ltd.（鸿信医学科技股份有限公司）；En Chu Kong Hospital（恩主公医院）；Oriental Institute of Technology（东方科技大学）；Avalanche Computing Inc.（雪崩计算公司）；Academia Sinica（中央研究院）；National Taiwan University Hospital（台湾大学医院）
本文构建气管音数据库 HF_Tracheal_V1，并与肺音数据库 HF_Lung_V2 结合，提出基于混合集训练或领域自适应的 CNN-BiGRU 模型，证明其能同时提升肺音与气管音中吸气、呼气及连续附加音检测性能。
2023-01-04 cs.LG cs.SD eess.AS
Noisy Neonatal Chest Sound Separation for High-Quality Heart and Lung Sounds
Monash University（莫纳什大学）；Shiraz University（设拉子大学）；Emory University（埃默里大学）；Monash Children’s Hospital（莫纳什儿童医院）；University British Columbia（不列颠哥伦比亚大学）；BC Children’s Hospital Research Institute（不列颠哥伦比亚儿童医院研究所）
听诊器记录的胸部声音为新生儿的远程心肺健康监测提供了机会。然而，可靠的监测需要高质量的心肺音。本文提出了新的非负矩阵分解（NMF）和非负矩阵共分解（NMCF）的新生儿胸部声音分离的方法。为了评估这些方法并与现有的单源分离方法进行比较，生成了包括心脏，肺和噪声声音的人工混合数据集。然后计算这些人工混合物的信噪比。这些方法也在真实世界嘈杂的新生儿胸部声音上进行了测试，并根据我们以前的工作中开发的生命体征估计误差和1-5的信号质量评分进行了评估。此外，所有方法的计算成本进行了评估，以确定实时处理的适用性。总体而言，所提出的NMF和NMCF方法都优于下一个最佳现有方法，对于人工数据集为2.7dB至11.6dB，对于真实世界数据集为0.40至1.12的信号质量改善。10秒录音的声音分离的中位处理时间对于NMCF为28.3秒，对于NMF为342毫秒。由于稳定和强大的性能，我们相信，我们提出的方法是有用的去噪新生儿心脏和肺的声音在现实世界的环境。拟议和现有方法的代码可在https://github.com/egrooby-monash/Heart-and-Lung-Sound-Separation上找到。
2022-01-10 cs.LG cs.SD eess.AS
The Diagnosis of Asthma using Hilbert-Huang Transform and Deep Learning on Lung Sounds
肺听诊是利用听诊器在吸气和呼气时从气道发出的声音来诊断各种呼吸疾病的最有效和不可缺少的方法。在这项研究中，统计特征计算的内在模式函数，通过应用希尔伯特黄变换从胸部和背部的12个不同的听诊区域的肺音提取。使用深度信念网络（DBN）对来自哮喘和健康受试者的肺音进行分类。采用5折交叉验证方法对双隐层DBN分类器模型进行了测试。建议DBN分离肺音哮喘和健康受试者的高分类性能率为84.61%，85.83%，和77.11%的整体准确性，灵敏度和选择性，分别使用频率时间分析。
2021-01-20 cs.LG cs.SD eess.AS
Training one model to detect heart and lung sound events from single point auscultations
Institute of Artificial Intelligence, Philipps-University Marburg（马尔堡大学人工智能研究所）；Clinic of Oral and Cranio-Maxillofacial Surgery, University Hospital Basel（巴塞尔大学医院口腔颌面外科诊所）；Division of Respiratory and Critical Care Medicine, Philipps-University, Marburg（马尔堡大学呼吸与重症医学科）；Division of Internal Medicine, University Hospital Basel（巴塞尔大学医院内科）；Department of Gastroenterology, Endocrinology, Metabolism and Infectiology, Philipps-University, Marburg（马尔堡大学消化内科、内分泌科、代谢与感染病科）；Cardiology Department, University Hospital Gießen and Marburg（吉森和马尔堡大学医院心脏病科）；Department of Cardiology, University Heart and Vascular Center Hamburg（汉堡大学心脏和血管中心心脏病科）
目的：这项工作提出了一种半监督的训练方法，用于同时检测肺和心脏的声音，只有一个训练模型和不变性的听诊点。方法：我们使用来自2016年Physionet/CinC挑战赛、2022年George Moody挑战赛和肺音数据库HF_V1的开放获取数据。我们首先训练专家单任务模型，使用来自不同听诊数据库的前景地面实况（GT）标签，以识别各自的肺部和心脏听诊数据库中的背景声音事件。以这种方式生成的伪标签在新的训练迭代中与地面真值标签组合，使得新的模型随后被训练以检测前景和背景信号。基准测试确保了新训练的模型可以在不同的听诊部位检测肺和心音事件，而不会对原始任务进行回归。我们还为心脏和肺音听诊中各自的背景信号建立了手动验证的标签，以评估模型。结果如下：在这项工作中，我们首次报告了i）肺音事件的多类预测和ii）同时检测心脏和肺音事件的结果，并仅使用一个模型实现了有竞争力的结果。组合的多任务模型在心音检测方面略有回归，在肺音检测准确性方面显着提高，六个类别的总体宏观F1得分为39.2%，比单任务基线模型提高了6.7%。结论/意义：据我们所知，这是迄今为止开发的第一种方法，用于测量对听诊部位和捕获设备都不变的心肺声事件。因此，我们的模型能够从任何听诊位置执行肺和心音检测。
2023-01-15 cs.SD eess.AS
Benchmarking of eight recurrent neural network variants for breath phase and adventitious sound detection on a self-developed open-access lung sound database-HF_Lung_V1
National Taiwan University（台湾大学）；Far Eastern Memorial Hospital（远东纪念医院）；Heroic Faith Medical Science Co. Ltd.（浩信医疗科技股份有限公司）；Avalanche Computing Inc.（雪崩计算公司）；Academia Sinica（中央研究院）；HCC Healthcare Group（HCC医疗集团）
在许多临床应用中，迫切需要一种具有自动化呼吸音分析能力的可靠、远程、连续的实时呼吸音监测仪--比如在2019冠状病毒病的病情进展监测中--用手持听诊器取代传统的听诊。然而，一个强大的计算机化的呼吸音分析算法尚未在实际应用中得到验证。在这项研究中，我们开发了一个肺音数据库，（HF_Lung_V1）包括9，765个肺音音频文件（每次持续15 s），34，095个吸气标签，18，349个呼气标签，13，883个连续偶发声（CAS）标签（包括8，457个喘鸣标记、686个喘鸣标记和4，740个干啰音标记）和15，606个不连续的偶发声音标记（所有爆裂音）。我们对长短期记忆（LSTM）、门控递归单元（GRU）、双向LSTM（BiLSTM）、双向GRU（BiGRU）、卷积神经网络（CNN）-LSTM、CNN-GRU、CNN-BiLSTM和CNN-BiGRU模型进行了基准测试，用于呼吸相位检测和偶发声音检测。我们还在基于LSTM和基于GRU的模型之间、单向和双向模型之间以及有和没有CNN的模型之间进行了性能比较。结果表明，这些模型在肺音分析中表现出足够的性能。基于GRU的模型优于，在F1分数和面积下的接收器操作特征曲线，基于LSTM的模型在大多数定义的任务。此外，所有双向模型的表现都优于单向模型。最后，添加CNN提高了肺音分析的准确性，特别是在CAS检测任务中。
2022-07-12 cs.AI cs.LG cs.SD
An Update on a Progressively Expanded Database for Automated Lung Sound Analysis
National Taiwan University（台湾大学）；Far Eastern Memorial Hospital（亚东纪念医院）；Heroic Faith Medical Science Co., Ltd.（Heroic Faith Medical Science 有限公司）；Avalanche Computing Inc.（Avalanche Computing 公司）；Academia Sinica（中央研究院）；HCC Healthcare Group（HCC 医疗集团）
目的：我们之前建立了一个开放访问的肺音数据库HF_Lung_V1，并开发了用于吸气、呼气、连续偶发音（CAS）和不连续偶发音（DAS）检测的深度学习模型。用于训练的数据量有助于模型的准确性。在这里，我们收集了大量的数据，以进一步提高模型的性能。此外，噪声标签和声音重叠的问题进行了探讨。方法：将HF_Lung_V1扩展为HF_Lung_V2，音频文件数量增加了1.45倍。分别使用HF_Lung_V1（V1_Train）和HF_Lung_V2（V2_Train）训练集训练卷积神经网络-双向门控递归单元网络模型，然后分别使用HF_Lung_V1（V1_Test）和HF_Lung_V2（V2_Test）测试集进行测试。使用F1评分评价片段和事件检测性能。对标签质量进行了评估。此外，还计算了吸气、呼气、CAS和DAS标签之间的重叠率。结果如下：使用V2_Train训练的模型在V1_Test和V2_Test上的吸气、呼气和CAS检测中表现出改善的F1评分，但在DAS检测中没有。CAS检测不良归因于CAS标签的质量。DAS检测受到DAS标记与吸气和呼气标记重叠的强烈影响。结论：收集更多的肺音数据对于开发更准确的肺音分析模型至关重要。为了构建真正的地面事实标签，必须重新处理标签;这个过程正在进行中。此外，必须制定用于解决DAS检测中的声音重叠问题的方法。
2021-09-29 cs.AI cs.LG cs.SD
A New Non-Negative Matrix Co-Factorisation Approach for Noisy Neonatal Chest Sound Separation
Monash University（莫纳什大学）
获得高质量的心肺音使临床医生能够准确评估新生儿的心肺健康状况并提供及时的护理。然而，嘈杂的胸部声音记录是常见的，阻碍了及时和准确的评估。提出了一种新的基于非负矩阵协分解的方法，将嘈杂的胸部声音记录分离为心脏、肺和噪声分量，以解决这个问题。这种方法是通过使用20个高质量的心肺声音进行训练来实现的，同时分离嘈杂录音的声音。该方法进行了测试，68个10秒的嘈杂录音，包含心脏和肺的声音，并与目前最先进的非负矩阵分解方法。结果表明，显着改善的心脏和肺的声音质量分数分别，提高了3.6bpm和1.2bpm的心脏和呼吸率估计的准确性，分别与现有的方法相比。
2021-09-04 cs.LG cs.SD eess.AS
Towards Enhanced Classification of Abnormal Lung sound in Multi-breath: A Light Weight Multi-label and Multi-head Attention Classification Method
National Yang Ming Chiao Tung University（国立阳明交通大学）
本研究针对呼吸音数据集类别不平衡等问题，提出结合多标签学习与多头注意力的轻量高精度肺部异常音分类方法，在ICBHI2017四分类任务获59.2%的ICBHI得分，助力临床辅助诊断。
2024-07-15 cs.AI cs.SD eess.AS
Patient Domain Supervised Contrastive Learning for Lung Sound Classification Using Mobile Phone
Dept. Applied Artificial Intelligence（应用人工智能系）
本研究针对手机麦克风与电子听诊器的音频差异及患者变异性挑战，提出患者域监督对比学习（PD-SCL）方法并结合AST模型，使肺音分类性能提升2.4%，推动了手机肺部疾病检测的普及。
2025-05-29 cs.AI cs.SD eess.AS
A Self-Attention-Driven Deep Denoiser Model for Real Time Lung Sound Denoising in Noisy Environments
Bangladesh University of Engineering and Technology（孟加拉国工程与技术大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出融合 CNN 编码器、Transformer 编码器与 CNN 解码器的 Uformer 肺音去噪模型，在多噪声、宽 SNR 条件下以更少参数取得优于现有模型的实时去噪性能。
2025-10-19 eess.AS
RespireNet: A Deep Neural Network for Accurately Detecting Abnormal Lung Sounds in Limited Data Setting
Microsoft Research India（印度微软研究院）；Microsoft（微软）
呼吸音听诊是筛查和诊断肺部疾病的主要工具。自动分析加上数字听诊器，可以在实现致命肺部疾病的远程筛查方面发挥关键作用。深度神经网络（DNN）在解决此类问题方面表现出了很大的潜力，是一个显而易见的选择。然而，DNN非常需要数据，最大的呼吸数据集ICBHI只有6898个呼吸周期，这对于训练一个令人满意的DNN模型来说仍然很小。在这项工作中，RespireNet，我们提出了一个简单的基于CNN的模型，以及一套新的技术-设备特定的微调，基于拼接的增强，空白区域裁剪和智能填充-使我们能够有效地使用小型数据集。我们对ICBHI数据集进行了广泛的评估，并将4类分类的最新结果提高了2.2%
2021-05-07 cs.LG cs.SD eess.AS
Patient-Aware Feature Alignment for Robust Lung Sound Classification:Cohesion-Separation and Global Alignment Losses
Seoul National University of Science and Technology（首尔科学技术大学）
肺音分级对呼吸系统疾病的早期诊断至关重要。然而，生物医学信号往往表现出患者间的差异，甚至在具有相同症状的患者之间，需要考虑个体差异的学习方法。我们提出了一个患者感知特征对齐（PAFA）框架，其中包含两个新的损失，患者凝聚分离损失（PCSL）和全局患者对齐损失（GPAL）。PCSL将同一患者的特征聚类，同时将这些特征与其他患者分离，以捕获患者的变异性，而GPAL将每个患者的质心绘制到全局中心，防止特征空间碎片化。在ICBHI数据集上，该方法取得了较好的效果，四类分类的分类率为64.84%，两类分类的分类率为72.08%.这些发现突出了PAFA捕捉个性化模式的能力，并在不同的患者群中展示了性能增益，为以患者为中心的医疗保健提供了更广泛的应用。
2025-05-28 cs.LG cs.SD eess.AS
Inception-Based Network and Multi-Spectrogram Ensemble Applied For Predicting Respiratory Anomalies and Lung Diseases
Austria Institute of Technology（奥地利技术研究所）；Queen Mary University of London（伦敦玛丽女王大学）；University of Lübeck（吕贝克大学）；Singapore Institute of Technology（新加坡理工学院）
本文提出了一种基于感知的深度神经网络，用于使用呼吸声输入检测肺部疾病。首先将从患者收集的呼吸声记录转换成频谱图，其中频谱和时间信息都很好地呈现，称为前端特征提取。然后将这些频谱图输入到被称为后端分类的拟议网络中，以检测患者是否患有肺部相关疾病。我们的实验，进行了ICBHI基准元数据集的呼吸音，实现竞争ICBHI评分0.53/0.45和0.87/0.85呼吸异常和疾病检测，分别。
2020-12-26 cs.LG cs.SD eess.AS
Real-Time Multi-Level Neonatal Heart and Lung Sound Quality Assessment for Telehealth Applications
Monash University（莫纳什大学）；Emory University（埃默里大学）；University of British Columbia（不列颠哥伦比亚大学）
数字听诊器与远程医疗相结合，可以轻松收集和传输胸部声音，用于远程监测和诊断。胸部声音包含有关新生儿心肺健康的重要信息。然而，低质量的记录使远程监测和诊断复杂化。在这项研究中，提出了一种新的方法，客观和自动评估心脏和肺信号质量的5级规模在实时和评估信号质量对生命体征估计的影响。为了进行评估，从119名早产儿和足月婴儿中采集了207个10 s长的胸部声音。来自10名受试者的30份记录是基于心电图记录从新生儿重症监护室（NICU）获得的同步生命体征。作为参考，7名注释者独立评估了信号质量。对于自动质量分类，从胸部声音中提取400个特征。在使用最小冗余和最大相关算法进行特征选择、类平衡和超参数优化之后，训练了各种多类和有序分类和回归算法。然后，心率和呼吸率自动估计的胸部声音使用适应预先存在的方法。受试者留一交叉验证的结果表明，表现最好的模型的均方误差（MSE）为0.49和0.61，心脏和肺质量的平衡准确度分别为57%和51%。用于实时分析（<200 ms）的最佳模型的MSE分别为0.459和0.67，平衡准确度分别为57%和46%。我们的实验结果强调，提高信号质量可以减少生命体征误差，只有高质量的记录才具有小于5次/分钟的平均绝对误差，这是临床使用所需的。
2021-09-29 cs.LG cs.SD eess.AS
Manikin-Recorded Cardiopulmonary Sounds Dataset Using Digital Stethoscope
Electrical and Computer Engineering Department, McMaster University（麦斯特大学电气与计算机工程系）
本文介绍了首个同时包含单独和混合心血管声音的数据集，用于AI在心脏病和肺部疾病自动检测中的应用。
2024-10-04 cs.AI cs.LG eess.AS
Multi-path Convolutional Neural Networks Efficiently Improve Feature Extraction in Continuous Adventitious Lung Sound Detection
National Taiwan University（台湾大学）；Far Eastern Memorial Hospital（亚东纪念医院）；Heroic Faith Medical Science Co., Ltd.（英雄信仰医学科技股份有限公司）；Avalanche Computing Inc.（雪崩计算公司）；Academia Sinica（中央研究院）
我们之前建立了一个大型肺音数据库HF_Lung_V2（Lung_V2）。我们训练了卷积双向门控递归单元（CNN-BiGRU）网络，用于在Lung_V2的基础上在记录水平检测吸气、呼气、连续偶然声（CAS）和不连续偶然声。然而，由于多种原因，CAS检测的性能较差，其中之一是CAS模式的高度多样化。为了使原始CNN-BiGRU模型更有效地学习CAS模式，并且不会造成太多的计算负担，研究了涉及CNN层的网络架构的最小修改的三种策略：（1）通过使用残差块使CNN层更深一点，（2）通过增加CNN内核的数量使CNN层更宽一点，（3）将特征输入分成多条路径（模型用Multi-pathCNN-BiGRU表示）。评估了CAS段和事件检测的性能。结果表明，在所有提出的架构修改后的模型中观察到CAS检测的改善。提出的模型的CAS事件检测的F1分数从0.445增加到0.491-0.530，这被认为是显著的。然而，多路径CNN-BiGRU模型在总共9个评估指标中的获奖数量（5个）方面优于其他模型。此外，与原始CNN-BiGRU模型相比，多路径CNN-BiGRU模型不会造成额外的计算负担（0.97倍的推理时间）。总之，多路径CNN层可以有效地提高特征提取的有效性，从而导致更好的CAS检测。
2021-07-09 cs.LG cs.SD eess.AS
Transfer Learning Based Diagnosis and Analysis of Lung Sound Aberrations
Donghua University（东华大学）；University of Catania（卡塔尼亚大学）；PIEAS（巴基斯坦工程与应用科学学院）；Islamia University of Bahawalpur（巴哈瓦尔布尔伊斯兰大学）
随着能够收集和分析大量数据的计算机系统的发展，医学界正在建立几种非侵入性工具。这项工作试图开发一种非侵入性的技术，用于识别通过听诊器和语音记录软件通过机器学习技术获得的呼吸声。这项研究提出了一种经过训练和验证的基于CNN的呼吸音分类方法。构建每个音频样本的视觉表示，允许使用类似于用于有效描述视觉效果的方法进行分类的资源识别。我们使用了一种称为Mel频率倒谱系数（MFCC）的技术。在这里，通过VGG 16（迁移学习）检索和分类特征，并使用5重交叉验证完成预测。呼吸音数据库采用多种数据分割技术，取得了最先进的结果，准确率为95%，精确率为88%，召回率为86%，F1评分为81%。ICBHI数据集用于训练和测试模型。
2023-03-15 cs.LG cs.SD eess.AS
Robust and Interpretable Temporal Convolution Network for Event Detection in Lung Sound Recordings
Queensland University of Technology（昆士兰科技大学）；M3DICINE Pty Ltd（M3DICINE私人有限公司）
本文提出了一种新的肺声音事件检测框架，将连续的肺音记录分割成离散的事件，并对每个事件进行识别。利用时间卷积网络（TCN）的轻量级性质和其优越的结果相比，他们经常性的同行，我们提出了一个轻量级的，但强大的，完全可解释的框架肺声音事件检测。我们提出了使用多分支TCN架构，并利用一种新的融合策略，结合这些分支的结果功能。这不仅允许网络在不同的时间粒度上保留最显著的信息，并忽略不相关的信息，还允许我们的网络处理任意长度的记录。结果如下：所提出的方法进行了评估，在多个公共和内部基准的不规则和嘈杂的呼吸听诊过程中的录音，识别众多的听诊事件，包括吸气，呼气，爆裂音，喘息，喘鸣，和干。我们在所有评估中都超过了最先进的结果。此外，我们实证分析所提出的多分支TCN架构和特征融合策略的效果，并提供定量和定性的评价，以说明其效率。此外，我们提供了一个端到端的模型解释管道，解释所提出的框架的所有组件的操作。我们对不同特征融合策略的分析表明，所提出的特征拼接方法可以更好地抑制非信息特征，从而大大减少分类器开销，从而形成一个强大的轻量级网络。我们模型的轻量级性质使其能够部署在智能手机等终端用户设备中，并且能够实时生成预测。
2021-06-30 cs.LG cs.SD eess.AS
Real-time Neonatal Chest Sound Separation using Deep Learning
Monash University（莫纳什大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出一种受 Conv-TasNet 启发的深度学习模型，通过编码器、解码器和掩码生成器实时分离新生儿胸音中的心音与肺音，在失真度量和计算时间上均显著优于现有方法。
2023-10-26 cs.SD eess.AS
Enhancing Lung Disease Diagnosis via Semi-Supervised Machine Learning
University of South Florida（南佛罗里达大学）；Kunsan National University（群山大学）
本研究提出基于MFCC+CNN模型结合Mix Match等半监督学习模块进行肺音信号检测，在减少人工标注依赖的同时使准确率提升3.8%至92.9%，有效应对了个体差异和标注数据不足等挑战。
2025-08-11 cs.LG cs.SD eess.AS
Abnormal Respiratory Sound Identification Using Audio-Spectrogram Vision Transformer
National Taiwan University of Science and Technology（台湾科技大学）；Academia Sinica（中央研究院）
针对呼吸音异常识别需求，提出结合短时傅里叶变换与视觉Transformer的AS-ViT方法，在ICBHI 2017数据库上取得超越现有最优水平的检测性能，助力肺部疾病智能诊断。
2024-05-14 cs.LG cs.SD eess.AS
CNN-MoE based framework for classification of respiratory anomalies and lung disease detection
University of Kent（肯特大学）；Queen Mary University of London（伦敦玛丽女王大学）；University of Lübeck（吕贝克大学）；Singapore Institute of Technology（新加坡理工学院）
本文提出并探索了一种用于听诊分析的强大深度学习框架。其目的是根据呼吸音记录对呼吸周期中的异常进行分类并检测疾病。该框架从前端特征提取开始，将输入声音转换为声谱图表示。然后，使用后端深度学习网络将频谱图特征分类为呼吸异常周期或疾病的类别。在ICBHI呼吸声基准数据集上进行的实验证实了对呼吸声分析的三个主要贡献。首先，我们进行了广泛的探索的效果的频谱图类型，频谱时间分辨率，重叠/非重叠窗口，和数据增强最终的预测精度。这使得我们提出了一种新的深度学习系统，该系统建立在所提出的框架上，其性能优于当前最先进的方法。最后，我们采用教师-学生计划，以实现模型性能和模型复杂性之间的权衡，这也有助于增加所提出的框架构建实时应用程序的潜力。
2020-06-02 cs.LG cs.SD eess.AS
RepAugment: Input-Agnostic Representation-Level Augmentation for Respiratory Sound Classification
Kyungpook National University（庆北国立大学）；MODULABS；KAIST AI（韩国科学技术院人工智能学院）；Amazon（亚马逊）
本文提出输入无关的表示级增强方法RepAugment，解决预训练语音模型在呼吸音分类中面临的表征差距问题，性能优于SpecAugment，少数疾病类别准确率最高提升7.14%。
2024-05-05 cs.AI cs.SD eess.AS
Patch-Mix Contrastive Learning with Audio Spectrogram Transformer on Respiratory Sound Classification
KAIST AI（韩国科学技术院人工智能学院）；Department of AI, Kyungpook National University（庆北国立大学人工智能系）；SmartSound（SmartSound公司）；Dongguk University（东国大学）；MODULABS（MODULABS机构）
本文提出Patch-Mix对比学习方法，结合Audio Spectrogram Transformer，通过在潜在空间中区分混合patch表示，在ICBHI呼吸音分类数据集上取得最优性能，较此前最佳结果提升4.08%。
2024-12-26 cs.LG cs.SD eess.AS
Blind Source Separation in Biomedical Signals Using Variational Methods
McMaster University（麦克马斯特大学）
本文提出一种基于变分自编码器的无监督方法，用于分离重叠的心肺音，无需标签数据，在真实录音中实现准确重建，适用于便携诊断与智能听诊器。
2025-06-23 cs.SD eess.AS
Sound-Dr: Reliable Sound Dataset and Baseline Artificial Intelligence System for Respiratory Illnesses
AI Center, FPT Software Company Limited（FPT软件公司人工智能中心）；Reliable Machine Learning Group（可靠机器学习小组）；School of Computer Science and Information Technology, University College Cork, Ireland（University College Cork信息科学与技术学院）
本文提出了一种高质量的人声数据集和基线AI系统，用于研究呼吸系统疾病，展示了其在多种机器学习任务中的优越性能和广泛的应用潜力。
2023-08-04 cs.SD eess.AS
An artificial neural network-based system for detecting machine failures using tiny sound data: A case study
STC Research Centre（STC研究中心）；Mid Sweden University（中瑞典大学）
为了倡导基于深度学习的机器故障检测系统的研究，我们提出了一个基于微小声音数据集的系统的案例研究。我们的案例研究调查了一个变分自编码器（VAE），用于增强来自Valmet AB的小钻声数据集。Valmet数据集包含134种声音，分为两类：“异常”和“正常”，记录自Valmet AB的钻孔机，Valmet AB是一家位于瑞典松兹瓦尔的公司，为生物燃料生产提供设备和工艺。使用深度学习模型来检测这样一个小的声音数据集上的失败训练通常是不成功的。我们采用了VAE，通过从原始声音合成新声音来增加微小数据集中的声音数量。通过将这些合成声音与原始声音相结合来创建增强数据集。我们使用通带频率为1000 Hz的高通滤波器和通带频率为22 \kern 0.16667 em 000 Hz的低通滤波器对增强数据集中的声音进行预处理，然后将其转换为Mel频谱图。然后使用这些Mel频谱图训练预训练的2D-CNN Alexnet。与使用原始的微小声音数据集来训练预训练的Alexnet相比，使用增强的声音数据集将CNN模型的分类结果提高了6.62%（在增强的数据集上训练时为94.12%，在原始数据集上训练时为87.5%）。
2022-09-23 cs.LG cs.SD eess.AS
Music Representing Corpus Virtual: An Open Sourced Library for Explorative Music Generation, Sound Design, and Instrument Creation with Artificial Intelligence and Machine Learning
National Arts Council, Singapore（新加坡国家艺术理事会）
本文介绍开源软件套件MRCV，利用AI与ML支持探索性音乐生成、声音设计和虚拟乐器创建，通过可自定义数据集和详尽文档降低使用门槛，促进社区协作与创造力。
2023-05-24 cs.AI eess.AS
What artificial intelligence might teach us about the origin of human language
Nagoya University of Business and Commerce（名古屋商科大学）
这项研究探讨了一个有趣的模式，从研究中出现的结合人工智能与声音象征。在这些研究中，监督机器学习算法被训练成基于所指名称的声音对样本进行分类。机器学习算法是声音符号的有效学习者，但它们倾向于偏向一个类别。模式是这样的：当一个类别可以说代表更大的威胁时，算法往往会对该类别进行过度预测。一个假设，错误管理理论框架，提出建议，这可能是适应偏好谨慎行为的证据。通过构建极端梯度提升（XGBoost）模型，使用的声音，使中国，日本和韩国的口袋妖怪的名字和观察分类误差分布，这一假设进行了测试。
2023-01-15 cs.CL cs.LG cs.SD
FOLEY-VAE: Generación de efectos de audio para cine con inteligencia artificial
Universidad Politécnica de Madrid（马德里理工大学）
本研究提出基于变分自编码器的FOLEY-VAE接口，利用自然声音训练实现实时拟音效果生成与潜变量交互修改，并成功应用于首部AI辅助音效的西班牙短片创作，展现了该技术在电影行业的变革潜力。
2023-10-24 cs.SD eess.AS
AutoFoley: Artificial Synthesis of Synchronized Sound Tracks for Silent Videos with Deep Learning
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
在电影制作中，福利艺术家负责创建一个覆盖配乐，帮助电影为观众带来活力。这就要求艺术家首先确定声音，这将提高听众的经验，从而加强导演的意图，为给定的场景。在本文中，我们介绍了AutoFoley，一个全自动的深度学习工具，可用于合成视频的代表性音轨。AutoFoley可用于没有与视频相关联的相应音频文件的应用程序中，或者需要识别关键场景并提供合成的强化音轨的情况下。合成声道的一个重要性能标准是与输入视频时间同步，这提供了合成声音的逼真和可信的描绘。与现有的声音预测和生成架构不同，我们的算法能够通过将插值技术和时间关系网络（TRN）结合起来，精确识别快速移动的视频剪辑中的动作和帧间关系。我们采用了一个强大的多尺度递归神经网络（RNN）与卷积神经网络（CNN），以更好地理解复杂的输入输出关联随着时间的推移。为了评估AutoFoley，我们创建并引入了一个大规模的音频视频数据集，其中包含电影中经常用作Foley效果的各种声音。我们的实验表明，合成的声音逼真地描绘了准确的时间同步的相关视觉输入。AutoFoley的人类定性测试显示，超过73%的测试对象认为生成的音轨是原始的，这是声音合成中跨模态研究的一个值得注意的进步。
2020-02-21 cs.CV cs.LG cs.SD
A Novel U-Net Architecture for Denoising of Real-world Noise Corrupted Phonocardiogram Signal
TCS Research Tata Consultancy Services（塔塔咨询服务公司TCS研究院）
针对心音信号易受真实噪声污染导致诊断偏差的问题，提出基于U-Net的新型PCG去噪架构，采用合成真实噪声数据集验证，性能优于现有最先进去噪算法。
2023-09-30 cs.SD eess.AS eess.SP
EZhouNet:A framework based on graph neural network and anchor interval for the respiratory sound event detection
针对现有呼吸音事件检测方法边界难学习、仅支持定长音频、未充分利用位置信息的问题，提出基于图神经网络与锚定区间的EzhouNet框架，可处理变长音频、提升定位精度，经实验验证有效。
2025-09-04 cs.AI cs.SD eess.AS
Sound of Guns: Digital Forensics of Gun Audio Samples meets Artificial Intelligence
Hamad Bin Khalifa University（哈马德·本·哈利法大学）
根据武器的枪口冲击波对武器进行分类是一项具有挑战性的任务，在各种安全和军事领域都有重要的应用。大多数现有的工作依赖于空间上不同的麦克风传感器的ad-hoc部署，以捕获同一枪声的多个副本，这使得能够准确地检测和识别声源。然而，在诸如犯罪现场取证的场景中难以获得仔细控制的设置，使得上述技术不适用且不切实际。我们介绍了一种新的技术，需要零知识的录音设置，是完全不可知的麦克风和射手的相对位置。我们的解决方案可以识别枪支的类别，口径和型号，在从YouTube视频中提取的3655个样本组成的数据集上达到90%以上的准确率。我们的研究结果表明，应用卷积神经网络（CNN）在枪击分类的有效性和效率，消除了需要一个特设的设置，同时显着提高分类性能。
2021-03-01 cs.LG cs.SD eess.AS
Automatic COVID-19 disease diagnosis using 1D convolutional neural network and augmentation with human respiratory sound based on parameters: cough, breath, and voice
NIT Tiruchirappalli（印度国立理工学院蒂鲁吉拉帕利分校）
呼吸音分类的问题在过去一年中得到了临床科学家和医学研究小组的高度关注，以诊断COVID-19疾病。迄今为止，各种人工智能（AI）模型进入现实世界，从人类产生的声音（如语音/语音，咳嗽和呼吸）中检测COVID-19疾病。卷积神经网络（CNN）模型是在人工智能（AI）的基础上实现的，用于解决许多现实问题。在此背景下，提出并实施一维（1D）CNN，以从诸如语音、咳嗽和呼吸的人类呼吸声音诊断COVID-19的呼吸疾病。应用基于增强的机制来提高COVID-19声音数据集的预处理性能，并使用1D卷积网络自动进行COVID-19疾病诊断。此外，DDAE（数据去噪自动编码器）技术被用来生成深度声音特征，如输入函数的1D CNN，而不是采用标准的输入MFCC（梅尔频率倒谱系数），它是执行比以前的模型更好的精度和性能。
2021-12-14 cs.LG cs.SD eess.AS
A Frequency-Domain Artificial Reverberator Plug-In
ETH Zurich（苏黎世联邦理工学院）
该研究提出基于声码器思想的FDverb频域人工混响器，通过STFT生成后期混响，新增早期反射等功能，以JUCE框架开发开源DAW插件用于创意声音设计。
2026-08-31 eess.AS
BirdSoundsDenoising: Deep Visual Audio Denoising for Bird Sounds
Yeshiva University（叶史瓦大学）；Cornell University（康奈尔大学）
几十年来，人们一直在使用传统方法和基于深度学习的方法来探索音频去噪。然而，这些方法仍然限于手动添加的人工噪声或较低的去噪音频质量。为了克服这些挑战，我们收集了一个大规模的自然噪声鸟声数据集。我们首次将音频去噪问题转化为图像分割问题，并提出了深度视觉音频去噪（DVAD）模型。我们开发了一个音频ImageMask工具，并建议使用Few-Shot泛化策略来标记这些图像。大量的实验结果表明，该模型达到了最先进的性能。我们还表明，我们的方法可以很容易地推广到语音去噪，音频分离，音频增强和噪声估计。
2022-10-18 cs.CV cs.SD eess.AS
BatVision: Learning to See 3D Spatial Layout with Two Ears
Technical University of Denmark（丹麦技术大学）；UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
许多物种已经进化出先进的非视觉感知，而人工系统则落后了。雷达和超声波补充了基于摄像头的视觉，但它们通常过于昂贵和复杂，无法获得非常有限的信息。在自然界中，声音被蝙蝠、海豚、鲸鱼和人类有效地用于导航和交流。然而，目前还不清楚如何最好地利用声音进行机器感知。受蝙蝠回声定位机制的启发，我们设计了一个低成本的蝙蝠视觉系统，它能够通过两只耳朵的聆听看到前方空间的3D空间布局。我们的系统从一个扬声器发出短啁啾，并通过一对人造人耳中的麦克风记录返回的回声。在训练过程中，我们还使用立体相机来捕获彩色图像以计算场景深度。我们训练一个模型来预测深度图，甚至仅从声音中预测灰度图像。在测试过程中，我们经过训练的BatVision从两个1D音频信号中提供了令人惊讶的2D视觉场景预测。这种声音到视觉系统将有益于机器人导航和机器视觉，特别是在低光或无光条件下。我们的代码和数据是公开的。
2020-03-19 cs.CV cs.RO cs.SD
