Robust and Explainable Depression Identification from Speech Using Vowel-Based Ensemble Learning Approaches
Texas A&M University（德克萨斯农工大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；Institute of Cognitive Science（认知科学研究所）
该研究利用基于元音的预训练嵌入，提出自下而上预测PHQ-8条目与自上而下MoE评估严重程度的集成学习框架，实现与SOTA相当且更鲁棒、可解释的语音抑郁识别。
2024-10-23 cs.CL cs.LG cs.SD
Efficient Long Speech Sequence Modelling for Time-Domain Depression Level Estimation
Newcastle University（纽卡斯尔大学）
针对时频表示信息损失及短片段分割忽略长程关联的问题，提出时域长语音建模框架，结合状态空间模型、双路径长序列模块与时间外部注意力，在 AVEC2013/2014 上达到最先进性能。
2025-01-05 cs.SD eess.AS
DEPAC: a Corpus for Depression and Anxiety Detection from Speech
Winterlight Labs（温特莱特实验室）
本文提出抑郁焦虑语音检测语料库DEPAC，含多语音任务与人口统计信息，并验证其与手工特征在预测抑郁严重程度上的有效性。
2023-06-20 cs.CL cs.LG cs.SD
AudVowelConsNet: A Phoneme-Level Based Deep CNN Architecture for Clinical Depression Diagnosis
University of Luxembourg（卢森堡大学）；Sorbonne Universite（索邦大学）
抑郁症是一种常见且严重的情绪障碍，对患者在日常工作中正常运作的能力产生负面影响。言语被证明是诊断抑郁症的有力工具。精神病学的研究集中在对导致言语抑郁表现的词级言语成分进行细粒度分析，并揭示了抑郁言语中音素水平的显着变化。另一方面，基于机器学习的从语音中自动识别抑郁症的研究集中于探索用于检测抑郁症及其严重程度的各种声学特征。很少有人专注于将音素级的语音成分在自动评估系统。在本文中，我们提出了一个基于人工智能（AI）的应用程序，从语音的临床抑郁症识别和评估。我们通过深度学习研究了音素单元的声学特征，特别是用于抑郁症识别的元音和辅音。我们提出并比较了三种基于频谱图的深度神经网络架构，分别对音素辅音和元音单元及其融合进行训练。我们的实验表明，深学习辅音的声学特征导致更好的识别结果比元音。通过深度网络融合元音和辅音语音特征的性能明显优于单空间网络以及DAIC-WOZ数据库上最先进的深度学习方法。
2020-11-04 cs.HC cs.SD eess.AS
Transferring speech-generic and depression-specific knowledge for Alzheimer's disease detection
OPPO Research（OPPO研究院）；Cambridge Trust（剑桥信托基金会）
本文针对AD语音检测训练数据稀疏问题，提出同时迁移语音通用基础模型知识和抑郁症检测任务知识的并行迁移框架，在ADReSSo数据集上取得0.928的F1分数。
2023-10-06 cs.CL cs.SD eess.AS
SpeechT-RAG: Reliable Depression Detection in LLMs with Retrieval-Augmented Generation Using Speech Timing Information
针对文本RAG在抑郁症检测中的不足，提出SpeechT-RAG系统，利用语音时序特征实现准确检测与可靠置信度估计，无需额外训练即达微调LLM水平。
2025-05-23 eess.AS
Speech-based Clinical Depression Screening: An Empirical Study
Suzhou Fubian Medical Technology Co., Ltd（苏州阜边医疗科技有限公司）；Peking University Sixth Hospital（北京大学第六医院）；The First Clinical College of Xinxiang Medical University（新乡医学院第一临床学院）
该研究通过精神科访谈、聊天机器人对话和文本朗读场景，提取声学与深度语音特征并采用神经网络或SVM分类，验证了语音用于临床抑郁症筛查的有效性。
2024-06-12 cs.AI cs.SD eess.AS
Self-Supervised Embeddings for Detecting Individual Symptoms of Depression
Dalhousie University（达尔豪斯大学）；Vector Institute（向量研究所）；McMaster University（麦克马斯特大学）；Nova Scotia Health（新斯科舍卫生机构）
本研究利用基于自监督学习的语音模型提取SSL嵌入，不仅预测抑郁症严重程度，还识别个体症状，并发现其优于常规特征，同时验证了多任务学习的重要性。
2024-06-25 cs.LG cs.SD eess.AS
Self-supervised representations in speech-based depression detection
University of Cambridge（剑桥大学）
本文利用自监督预训练基础模型解决语音抑郁症检测的数据稀疏问题，通过融合ASR和情绪识别模型的多层表征，在DAIC-WOZ数据集上取得了最先进结果。
2023-07-06 cs.CL cs.SD eess.AS
Hierarchical attention interpretation: an interpretable speech-level transformer for bi-modal depression detection
The University of Edinburgh（爱丁堡大学）
针对抑郁检测中片段级标注噪声和缺乏可解释性的问题，提出双模态语音级Transformer及基于梯度加权注意力图的分层解释方法，在提升性能的同时提供语音级和句子级解释，助力临床验证。
2026-09-21 cs.CL cs.SD eess.AS
Identifying depression-related topics in smartphone-collected free-response speech recordings using an automatic speech recognition system and a deep learning topic model
King's College London（伦敦国王学院）；University College London（伦敦大学学院）；South London and Maudsley NHS Foundation Trust（南伦敦和莫兹利国民保健基金会信托）；Health Data Research UK London, University College London（英国健康数据研究伦敦中心，伦敦大学学院）；University of Augsburg（奥格斯堡大学）；University of Sussex（萨塞克斯大学）；Amsterdam UMC, Vrije Universiteit（阿姆斯特丹大学医学中心，自由大学）；Parc Sanitari Sant Joan de Déu（圣胡安·德杜健康园区）；Universitat de Barcelona（巴塞罗那大学）；Janssen Research and Development LLC（杨森研发有限责任公司）；Amsterdam University Medical Centre, Vrije Universiteit（阿姆斯特丹大学医学中心，自由大学）；GGZ inGeest（GGZ inGeest精神卫生机构）；Davos Alzheimer’s Collaborative（达沃斯阿尔茨海默病协作组织）
本研究利用Whisper和BERTopic模型分析智能手机语音记录，识别出与抑郁相关的六个风险主题，并验证了纵向监测语言使用的价值，为数字健康研究提供了数据驱动的工作流。
2023-09-05 cs.CL cs.CY cs.SD
Dyadic Interaction Assessment from Free-living Audio for Depression Severity Assessment
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
抑郁症中的精神发育迟滞与二元临床访谈中的言语时间变化有关。在这项工作中，我们研究了自由生活的二元交互的语音计时特征。除了持续监测以补充临床访视的可能性外，在自由生活条件下进行的研究还可以推断社交特征，例如与抑郁症有关的二元互动频率。我们采用了说话人计数估计作为二元交互检测器，在DIHARD数据集中的特异性为89.5%，灵敏度为86.1%。使用该检测器，我们获得了语音定时功能，从检测到的二元互动在多天的音频记录的32名参与者，包括13名健康人，11名抑郁症患者，和8名精神病患者。在没有或轻度抑郁的参与者中，二元交互频率随着抑郁的严重程度而增加，这表明抑郁发作的潜在诊断标志。然而，随着抑郁严重程度的增加，中度或重度抑郁症的参与者的二元互动频率下降。在言语时间特征方面，响应时间与抑郁严重程度呈显著正相关。我们的工作显示了从自由生活的录音中进行二元互动分析以获得抑郁症严重程度的标记的潜力。
2022-09-08 cs.AI cs.SD eess.AS
Significance of Speaker Embeddings and Temporal Context for Depression Detection
Dalhousie University（达尔豪斯大学）；Vector Institute（向量研究所）；Nova Scotia Health（新斯科舍省卫生局）
近年来，从语音中检测抑郁症引起了人们的广泛关注。然而，说话人特定信息在抑郁症检测中的意义尚未得到探讨。在这项工作中，我们分析了说话人嵌入的抑郁症检测任务的语音的意义。实验结果表明，说话人嵌入提供了重要的线索，以实现国家的最先进的性能在抑郁症检测。我们还表明，结合传统的OpenSMILE和COVAREP功能，携带互补信息，与扬声器嵌入进一步提高了抑郁症检测性能。本文还分析了时间背景在用于抑郁检测的深度学习模型训练中的重要性。
2021-07-24 cs.CY cs.LG cs.SD
Who is Speaking or Who is Depressed? A Controlled Study of Speaker Leakage in Speech-Based Depression Detection
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Michigan（密歇根大学）
研究探讨语音抑郁检测模型是否学习抑郁相关声学生物标记物还是依赖说话者身份线索，通过DAIC-WOZ数据集提出数据分割策略，评估三种复杂度不同的模型，发现说话者重叠显著提升性能，但未见说话者时性能下降，表明当前语音模型提取的抑郁特征与说话者身份高度纠缠。
2026-04-15 eess.AS
Recurrence-Based Nonlinear Vocal Dynamics as Digital Biomarkers for Depression Detection from Conversational Speech
Independent Researcher（独立研究者）
研究通过分析对话语音动态中的复发结构，提出非线性状态空间分析作为抑郁症数字生物标记符的新方向，实验结果显示其在分类性能上优于传统方法。
2026-04-29 cs.LG cs.SD eess.AS
Optimizing Speech-Input Length for Speaker-Independent Depression Classification
Ellipsis Health, Inc.（埃利皮西斯健康公司）；Linguistic Data Consortium（语言数据联盟）
本文基于超1400小时语音语料，研究语音输入长度对说话人无关抑郁症分类的影响，发现性能受自然长度、经过长度和回答顺序影响，并据此提出优化提问与输入长度的应用设计建议。
2024-12-31 cs.CL eess.AS
When LLMs Meets Acoustic Landmarks: An Efficient Approach to Integrate Speech into Large Language Models for Depression Detection
The University of New South Wales（新南威尔士大学）；Nanyang Technological University（南洋理工大学）；The Hong Kong Polytechnic University（香港理工大学）
本文提出一种利用声学标志将语音信号高效集成到大语言模型（LLMs）中的多模态方法，在DAIC-WOZ数据集上取得SOTA抑郁症检测效果，并拓展了LLMs处理语音信号的能力。
2024-09-23 cs.AI cs.SD eess.AS
Multi-modal deep learning system for depression and anxiety detection
University of Toronto（多伦多大学）；Winterlight Labs（Winterlight实验室）
传统的焦虑和抑郁症筛查方法阻碍了有效监测和治疗这些疾病。然而，NLP和语音建模的最新进展允许文本，声学和手工制作的基于语言的特征共同构成未来心理健康筛查和状况检测的基础。语音是一种丰富且易于获得的洞察个人认知状态的来源，通过利用语音的不同方面，我们可以开发新的抑郁和焦虑数字生物标志物。为此，我们提出了一个多模态系统的自我管理的语音任务的抑郁和焦虑的筛选。所提出的模型集成了从音频和文本中深入学习的特征，以及由临床验证的领域知识提供信息的手工制作的特征。我们发现，与单独手工特征的基线相比，用深度学习的特征增强手工特征可以提高我们的总体分类F1评分，抑郁症的F1评分从0.58提高到0.63，焦虑症的F1评分从0.54提高到0.57。我们的研究结果表明，基于语音的抑郁和焦虑生物标志物在未来的数字健康中具有重要的前景。
2022-12-30 cs.CL cs.MM cs.SD
Automatic Depression Detection: An Emotional Audio-Textual Corpus and a GRU/BiLSTM-based Model
Tongji University（同济大学）
抑郁症是一个全球性的心理健康问题，最严重的情况可能导致自杀。自动抑郁症检测系统在促进抑郁症自我评估和提高诊断准确性方面提供了很大的帮助。在这项工作中，我们提出了一种新的抑郁症检测方法，利用语音特征和语言内容，从参与者的采访。此外，我们还建立了一个情绪化的音频-文本抑郁语料库（EATD-Corpus），它包含了抑郁和非抑郁志愿者的音频和提取的反应记录。据我们所知，EATD-Corpus是第一个也是唯一一个包含中文音频和文本数据的公开抑郁症数据集。在两个抑郁症数据集上的测试结果表明，该方法具有较好的性能。实验结果证明了该方法的有效性和推广能力。源代码和EATD-Corpus可在https://github.com/speechandlanguageprocessing/ICASSP2022-Depression上获得。
2022-02-15 cs.AI cs.SD eess.AS
Robust Speech and Natural Language Processing Models for Depression Screening
Ellipsis Health（埃利普西斯健康公司）
本文提出基于声学和自然语言处理的两种迁移学习深度模型，在11,000名用户的对话语音数据上实现AUC≥0.80的鲁棒抑郁症筛查性能。
2024-12-26 cs.CL eess.AS
Speech based Depression Severity Level Classification Using a Multi-Stage Dilated CNN-LSTM Model
University of Maryland - College Park（马里兰大学帕克分校）
近年来，基于语音的抑郁症分类得到了极大的普及。然而，大多数分类研究都集中在二元分类，以区分抑郁症患者和非抑郁症患者。在本文中，我们制定了抑郁症分类任务作为一个严重程度分类问题，以提供更多的粒度的分类结果。我们使用发音协调功能（ACFs）开发来捕捉神经运动协调的变化，这是由于心理减缓而发生的，这是重度抑郁症的必要特征。从声道变量（TV）导出的ACF用于训练基于扩张卷积神经网络的抑郁症分类模型，以获得段级预测。然后，我们提出了一种基于递归神经网络的方法来从段级预测中获得会话级预测。我们发现，当一个会话式分类器的嵌入从它得到的训练时，分段式分类器的优势被放大。来自电视的ACF上训练的模型在会话级分类任务的未加权平均召回率（UAR）显示出27.47%的相对改善，相比来自梅尔频率倒谱系数（MFCC）的ACF。
2021-04-09 cs.LG eess.AS
MFCC-based Recurrent Neural Network for Automatic Clinical Depression Recognition and Assessment from Speech
Université Paris-Est（巴黎东部大学）；INSAT Institut National des Sciences Appliquées et de Technologie（突尼斯应用科学与技术学院）；Yobitrust（优比特信托公司）；University of Sciences and Arts in Lebanon（黎巴嫩科学与艺术大学）；Université de Bourgogne Franche Comté（勃艮第-弗朗什-孔泰大学）
临床抑郁症或重度抑郁症（MDD）是一种常见的严重医学疾病。本文提出了一种基于深度递归神经网络的框架来检测抑郁症并从语音中预测其严重程度。从音频记录中提取低级别和高级别音频特征，以预测患者健康问卷的24个分数和抑郁症诊断的二元分类。为了克服语音抑郁识别（SDR）数据集规模小的问题，考虑扩展训练标签和转移特征。该方法优于DAIC-WOZ数据库上的最新方法，在评估抑郁症时的总体准确率为76.27%，均方根误差为0.4，而在预测抑郁症严重程度时的均方根误差为0.168。该框架具有快速、非侵入性和非入侵性等优点，便于实时应用。在多模态和多特征的实验中，对所提出的方法的性能进行了评估。基于MFCC的高级特征包含与抑郁症相关的信息。然而，添加视觉动作单元和不同的其他声学特征进一步将分类结果提高了20%和10%，分别达到95.6%和86%的准确率。考虑到视觉-面部模态需要仔细研究，因为它会引发患者隐私问题，同时添加更多的声学特征会增加计算时间。
2020-03-12 cs.AI cs.HC cs.LG
Towards Robust Deep Neural Networks for Affect and Depression Recognition from Speech
University of Paris-Est Créteil（巴黎东-克雷泰伊大学）；Sorbonne University（索邦大学）；INSAT（国立应用科学技术学院）；ENSIIE（国立工业环境高等工程师学院）；Polytechnic University of Hauts-de-France（上法兰西理工大学）
近年来出现了智能监控系统和情感计算应用程序，以增强医疗保健。这些应用的例子包括情感状态的评估，如重度抑郁症（MDD）。MDD描述了某些情绪的持续表达：消极情绪（低效价）和缺乏兴趣（低唤醒）。高性能的智能系统将在早期阶段加强MDD诊断。在本文中，我们提出了一种新的深度神经网络架构，称为MudioNet，用于从语音中识别情感和抑郁。Deep Audio AudioNet从音频信号的时频表示及其频谱的视觉表示中学习。我们的模型在预测情感和抑郁方面显示出非常有希望的结果。根据RECOLA和DAIC-WOZ数据集上的几个评估指标，它在预测唤醒、效价和抑郁方面的工作原理类似于或优于最先进的方法。AudioNet的代码在GitHub上公开：https://github.com/AliceOTHMANI/EmoAudioNet
2020-11-18 cs.HC cs.SD eess.AS
The Relationship Between Speech Features Changes When You Get Depressed: Feature Correlations for Improving Speed and Performance of Depression Detection
University of Glasgow（格拉斯哥大学）；Università degli Studi della Campania “Luigi Vanvitelli”（坎帕尼亚大学“路易吉·万维泰利”）
该研究发现抑郁会改变语音特征间的相关性，并验证将特征相关矩阵代替特征向量输入 SVM 和 LSTM 模型，可在 Androids Corpus 上显著提升抑郁检测的训练速度与性能，错误率相对降低 23.1% 至 26.6%。
2023-07-07 cs.CL cs.SD eess.AS
Non-uniform Speaker Disentanglement For Depression Detection From Raw Speech Signals
提出一种非均匀对抗 SID 损失最大化的说话人解耦方法，在 ECAPA-TDNN 上提升抑郁症检测性能并显著降低说话人识别准确率，兼顾隐私保护。
2023-06-06 eess.AS
Validating Computational Markers of Depressive Behavior: Cross-Linguistic Speech-Based Depression Detection with Neurophysiological Validation
Beijing Normal University（北京师范大学）；Shandong University（山东大学）；University of Glasgow（格拉斯哥大学）；Università della Campania “Luigi Vanvitelli”（坎帕尼亚路易吉范维泰利大学）
本文通过扩展CDMA框架，结合中文语料和EEG数据，验证了基于语音的抑郁症检测模型的跨语言鲁棒性及神经生理基础，展示了其在中文数据集上的高检测性能。
2026-04-05 eess.AS
Depression Markers in Speech: An Approach based on Tract Variables Dynamics
University of Glasgow（格拉斯哥大学）；Taif University（泰夫大学）
该研究基于声道变量动态特性识别新的抑郁生物标志物，利用最大李雅普诺夫指数等量化发音过程特性，在安卓语料库实验中，所提标志物能有效区分抑郁与对照说话者。
2026-07-29 cs.AI eess.AS
TRI-DEP: A Trimodal Comparative Study for Depression Detection Using Speech, Text, and EEG
DISI, University of Bologna, Italy（博洛尼亚大学DISI学院，意大利）
本文通过系统比较语音、文本和EEG的三模态方法，验证了多模态检测的有效性，发现预训练嵌入优于手工特征，三模态模型达到最优性能。
2026-03-23 cs.AI cs.CL cs.LG
Deep Learning for Depression Recognition with Audiovisual Cues: A Review
Xi’an University of Posts and Telecommunications（西安邮电大学）；University of Chinese Academy of Sciences（中国科学院大学）；Aalto University（阿尔托大学）；Northwest University（西北大学）；Northwestern Polytechnical University（西北工业大学）
随着工作和生活节奏的加快，人们不得不面对越来越大的压力，这就增加了患抑郁症的可能性。然而，由于世界上医患比例严重失衡，许多患者可能无法得到及时诊断。令人鼓舞的是，生理和心理研究表明，抑郁症患者和健康人之间的言语和面部表情存在一些差异。因此，为了改善当前的医疗保健，许多学者使用深度学习来提取音频和视频中抑郁线索的表示，以进行自动抑郁检测。为了对这些工作进行梳理和总结，本文介绍了数据库，并描述了自动抑郁估计（ADE）的客观标志物。此外，我们回顾了用于自动抑郁检测的深度学习方法，以从音频和视频中提取抑郁的表示。最后，本文讨论了使用深度学习技术自动诊断抑郁症的挑战和有前途的方向。
2021-05-27 cs.SD eess.AS eess.SP
Distinctive Feature Codec: An Adaptive Efficient Speech Representation for Depression Detection
University of New South Wales（新南威尔士大学）；Xiaomi Corp（小米公司）
Distinctive Feature Codec通过动态分割信号生成可变长度标记，提升抑郁症检测的语音表示效率和时间动态性。
2025-12-29 eess.AS
Layer-wise Cross-Lingual Depression Detection from Speech: Analysis with Contrastive Alignment
University of Southern California（南加州大学）
研究跨语言抑郁检测难题，提出CLeaD框架，通过映射英语和普通话的WavLM嵌入到共享临床空间来检测，无需平行数据或目标语言微调，实验显示有一定效果。
2026-07-07 eess.AS
Hierarchical Self-Supervised Representation Learning for Depression Detection from Speech
College of Computing and Data Science（计算与数据科学学院）；Nanyang Technological University（南洋理工大学）；Center of AI in Medicine（医学人工智能中心）
本文提出HAREN-CTC模型，通过层级自适应表征学习和CTC目标，有效捕捉语音中抑郁症特征，提升抑郁症检测的准确性和泛化能力。
2026-01-21 cs.AI cs.CL cs.SD
Emotional Vietnamese Speech-Based Depression Diagnosis Using Dynamic Attention Mechanism
本研究针对抑郁症语音诊断需求，提出结合Dynamic-CBAM的Attention-GRU网络，通过越南语语音情感分类实现抑郁症筛查，在VNEMOS数据集上取得了较高的识别准确率。
2024-12-11 cs.CV cs.SD eess.AS
Automatic Detection of Depression in Speech Using Ensemble Convolutional Neural Networks
本文提出一种基于集成一维卷积神经网络的语音抑郁症自动分类方法，通过集成平均融合多个模型预测，在AVEC-2016 DCC上取得优于对比系统的结果。
2024-02-05 eess.AS
Unsupervised Instance Discriminative Learning for Depression Detection from Speech Signals
重度抑郁症（MDD）是一种影响数百万人的严重疾病，尽早诊断这种疾病至关重要。从语音信号中检测抑郁症对医生有很大的帮助，并且可以在没有任何侵入性程序的情况下完成。由于相关的标记数据是稀缺的，我们提出了一种改进的实例判别学习（IDL）方法，一种无监督的预训练技术，以提取增量不变和实例扩散嵌入。在学习增强不变嵌入方面，研究了语音的各种数据增强方法，时间掩蔽产生最好的性能。为了学习实例分散嵌入，我们探索了对训练批次的实例进行采样的方法（基于不同说话者的随机采样）。结果发现，不同的扬声器为基础的采样提供了更好的性能比随机的，我们假设，这一结果是因为相关的扬声器信息被保存在嵌入。此外，我们提出了一种新的采样策略，伪实例为基础的采样（PIS），基于聚类算法，以提高扩展特性的嵌入。使用DepAudioNet在DAIC-WOZ（英语）和CONVERGE（普通话）数据集上进行实验，使用PIS在MDD检测中观察到统计学显著改善，p值分别为0.0015和0.05，相对于基线，没有预训练。
2022-06-27 eess.AS q-bio.QM
Speech-Based Depression Prediction Using Encoder-Weight-Only Transfer Learning and a Large Corpus
Ellipsis Health（省略号健康公司）
本文提出仅迁移轻量级编码器权重的语音抑郁预测方法，在大规模语料上对PHQ-8二分类取得最高27%的显著提升，并证明该方法灵活且不依赖强源任务性能。
2024-12-22 cs.CL eess.AS
MA-DLE: Speech-based Automatic Depression Level Estimation via Memory Augmentation
Tianjin Normal University（天津师范大学）；Tsinghua University（清华大学）；Technical University of Munich（慕尼黑技术大学）；Imperial College London（伦敦帝国理工学院）
提出记忆增强特征方法，通过选择性整合历史时序特征和动态记忆特征，结合层次注意力融合模块，在DAIC-WOZ和E-DAIC数据集上实现最优性能。
2026-06-11 cs.AI cs.CL cs.SD
Attention-Based Acoustic Feature Fusion Network for Depression Detection
Nanjing Medical University（南京医科大学）；The Affiliated Brain Hospital of Nanjing Medical University（南京医科大学附属脑科医院）；The Fourth School of Clinical Medicine, Nanjing Medical University（南京医科大学第四临床医学院）
针对现有语音抑郁症检测方法多依赖单维特征、信息利用不足的问题，提出带后融合权重调整模块的ABAFnet，融合四种声学特征，在两个临床数据集上检测与亚型分类表现更优，验证了MFCC相关特征的重要性。
2023-08-24 cs.AI cs.SD eess.AS
FrAUG: A Frame Rate Based Data Augmentation Method for Depression Detection from Speech Signals
本文提出了一种数据增强方法，用于语音信号中的凹陷检测。通过在特征提取过程中改变帧宽和帧移参数来创建用于数据扩充的样本。与其他数据增强方法（如VTLP，音高扰动，或速度扰动），所提出的方法不显式地改变声学参数，而是帧级功能的时频分辨率。使用两个不同的数据集，模型和输入声学特征评估所提出的方法。对于DAIC-WOZ（英语）数据集，当使用DepAudioNet模型和mel-Spectrograms作为输入时，与基线相比，所提出的方法导致5.97%（验证）和25.13%（测试）的改进。当使用以CNN作为后端和MFCC作为输入特征的x向量嵌入时，CONVERGE（普通话）数据集的改进为9.32%（验证）和12.99%（测试）。基线系统不包括任何数据扩充。此外，所提出的方法优于常用的数据增强方法，如噪声增强，VTLP，速度和音高扰动。所有改善均具有统计学显著性。
2022-02-11 eess.AS eess.SP
When Layer Selection Misleads Speech Depression Detection
本研究揭示在抑郁检测中，于评估数据上选择最佳编码器层会虚增AUC最多0.09，并证明该偏差源于选择而非信号，提出嵌套模型选择协议应作为标准，且发现紧凑的情感-韵律模型在公平比较下具有竞争力。
2026-10-06 eess.AS
A Fair and Transparent Framework for Speech-Based Depression Detection: Balancing Interpretability and Performance
ViVoLab, I3A University of Zaragoza（萨拉戈萨大学 ViVoLab、I3A）
提出结合低复杂度机器学习模型与可解释性方法（LIME和SHAP）的框架，在DAIC-WOZ数据集上实现82%的测试准确率，兼顾性能、可解释性和人口公平性。
2026-07-01 eess.AS
Speaker-Aware Temporal Aggregation Strategies on Segment Representations for Depression Detection in Dyadic Interaction: A Benchmark Study
University of Southern California（南加州大学）
研究基于语音的抑郁症检测中时间聚合策略，引入DEPOOL基准，对比六种聚合架构与六种语音骨干网络，发现三分之一配置失败，强调骨干网络和种子的稳健性应是临床语音时间聚合基准标准。
2026-07-07 eess.AS
Towards Interpretable Depression Detection: Linking Acoustic Features to DSM-5 Indicators
University of St. Gallen HSG（圣加仑大学）；University of Zurich UZH（苏黎世大学）
该研究提出透明关联框架，将语音声学特征映射到DSM-5抑郁指标，在DAIC-WOZ上初步验证了声学特征与相关指标的关联，实现可解释且隐私保护的抑郁检测。
2026-08-28 cs.CL cs.SD eess.AS
ComFeAT: Combination of Neural and Spectral Features for Improved Depression Detection
IIIT-Delhi（德里印度信息技术学院）；GGSIPU（古鲁·戈宾德·辛格·因德拉普拉斯塔大学）；BIT Mesra（梅萨理工学院）；Ulster University（阿尔斯特大学）；University of Tartu（塔尔图大学）
本文提出 ComFeAT，通过 CNN 融合预训练模型神经特征与频谱特征，利用二者互补性提升真实场景下的语音抑郁检测，并在 E-DAIC 上超过既有 SOTA。
2024-06-10 cs.SD eess.AS
Avengers Assemble: Amalgamation of Non-Semantic Features for Depression Detection
IIIT-Delhi（德里印度信息技术学院）；Reliance Jio AICoE（信实Jio人工智能卓越中心）；BIT Mesra（梅斯拉理工学院）；ISRC, Ulster University（阿尔斯特大学国际软件研究中心）；University of Tartu（塔尔图大学）；IIT-Dharwad（达尔瓦德印度理工学院）；IIIT-Dharwad（达尔瓦德印度信息技术学院）
本研究提出FuSeR框架，通过融合TRILLsson、x-vector和emoHuBERT等预训练模型提取的非语义特征，在E-DAIC基准上实现SOTA抑郁症检测性能。
2024-09-22 cs.SD eess.AS
Density Adaptive Attention-based Speech Network: Enhancing Feature Understanding for Mental Health Disorders
James Silberrad Brown Center for Artificial Intelligence（詹姆斯·西尔伯拉德·布朗人工智能中心）；Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；Amazon GenAI（亚马逊生成式人工智能）
本文提出DAAMAudioCNNLSTM和DAAMAudioTransformer两种参数高效且可解释的语音抑郁症检测模型，通过多头密度自适应注意力机制动态聚焦关键语音片段，在DAIC-WOZ数据集上取得领先性能，且无需额外补充信息。
2024-08-31 cs.AI cs.SD eess.AS
Continuous Silent Speech Recognition using EEG
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们探讨了连续无声语音识别使用脑电图（EEG）信号。我们实现了一个连接主义的时间分类（CTC）的自动语音识别（ASR）模型，以翻译并行记录的EEG信号，而受试者正在阅读英语句子在他们的脑海中，没有产生任何语音文本。我们的研究结果证明了利用脑电信号进行连续无声语音识别的可行性。我们证明了我们的结果，有限的英语词汇组成的30个独特的句子。
2020-05-04 cs.LG cs.SD eess.AS
AV-CPL: Continuous Pseudo-Labeling for Audio-Visual Speech Recognition
MIT（麻省理工学院）；Apple（苹果公司）
本文提出半监督 AV-CPL 框架，利用同一视听模型在有标签和无标签视频上连续生成伪标签，在保持 ASR/AVSR 性能的同时显著提升 LRS3 上的 VSR 效果。
2023-09-29 cs.LG cs.SD eess.AS
Advancing Speech Recognition With No Speech Or With Noisy Speech
Brain Machine Interface Lab The University of Texas at Austin（德克萨斯大学奥斯汀分校脑机接口实验室）
在本文中，我们展示了端到端的连续语音识别（CSR）使用脑电图（EEG）信号，没有语音信号作为输入。实现了基于注意模型的自动语音识别（ASR）和基于连接主义时间分类（CTC）的ASR系统，用于执行识别。我们进一步证明CSR的嘈杂的语音融合EEG功能。
2020-03-15 cs.CL cs.LG cs.SD
Speech Recognition With No Speech Or With Noisy Speech Beyond English
Brain Machine Interface Lab The University of Texas at Austin（德克萨斯大学奥斯汀分校脑机接口实验室）
在本文中，我们展示了连续噪声语音识别使用连接主义时间分类（CTC）模型在有限的中文词汇使用脑电（EEG）特征，没有语音信号作为输入，我们进一步展示了单一的CTC模型基于连续噪声语音识别有限的联合英语和汉语词汇使用脑电特征，没有语音信号作为输入。我们使用最近在[1]中引入的各种EEG特征集来展示我们的结果，并且我们在本文中提出了一种新的深度学习架构，该架构可以使用原始EEG信号对有限的联合英语和汉语词汇进行连续语音识别。
2020-02-27 cs.LG cs.SD eess.AS
Sequence-Level Unsupervised Training in Speech Recognition: A Theoretical Study
本文提出了一种基于分类误差界限的序列级交叉熵损失，用于无监督语音识别的理论分析与实验验证。
2026-03-02 cs.LG cs.SD eess.AS
Classifying Dementia in the Presence of Depression: A Cross-Corpus Study
Technische Hochschule Nürnberg（图林根应用技术大学）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔兰根-纽伦堡 Friedrich-Alexander 大学）；Klinik für Psychiatrie und Psychotherapie, Universitätsklinik der Paracelsus Medizinischen Privatuniversität, Klinikum Nürnberg, Germany（纽伦堡大学心理治疗与精神病科诊所，帕拉塞尔医学私人大学大学医院，纽伦堡诊所，德国）；KST Institut GmbH, Bad Emstal, Germany（KST 机构，巴德埃姆斯塔尔，德国）
本文通过跨语料库实验，利用文本、音频和情感嵌入对语音进行三类分类（HC vs. MCI vs. DEM），探讨抑郁作为次级诊断对分类器的影响。
2023-08-16 cs.SD eess.AS
Large Vocabulary Spontaneous Speech Recognition for Tigrigna
Adama Science and Technology University（阿达玛科技大学）；Addis Ababa University（亚的斯亚贝巴大学）
该论文旨在为提格里尼亚语开发说话人无关的自发语音识别系统，使用Sphinx工具构建声学模型，并用SRIM工具构建语言模型。
2023-10-15 cs.LG cs.SD eess.AS
DeepTalk: Vocal Style Encoding for Speaker Recognition and Speech Synthesis
Michigan State University（密歇根州立大学）
自动说话人识别算法通常使用对语音产生的生理和解剖方面进行编码的短期频谱特征来表征语音音频。这样的算法不完全利用行为语音特征中存在的说话者相关特性。在这项工作中，我们提出了一个名为DeepTalk的韵律编码网络，用于直接从原始音频数据中提取声乐风格特征。DeepTalk方法在多个具有挑战性的数据集上优于几种最先进的说话人识别系统。通过将DeepTalk与最先进的基于生理语音特征的说话人识别系统相结合，进一步提高了说话人识别性能。我们还将DeepTalk集成到当前最先进的语音合成器中，以生成合成语音。对合成语音的详细分析表明，DeepTalk捕获了对声乐风格建模至关重要的F0轮廓。此外，基于DeepTalk的合成语音在说话人识别的背景下几乎无法与真实语音区分开来。
2021-02-14 cs.LG cs.SD eess.AS
