Layer-wise Cross-Lingual Depression Detection from Speech: Analysis with Contrastive Alignment
University of Southern California（南加州大学）
研究跨语言抑郁检测难题，提出CLeaD框架，通过映射英语和普通话的WavLM嵌入到共享临床空间来检测，无需平行数据或目标语言微调，实验显示有一定效果。
2026-07-07 eess.AS
Efficient Long Speech Sequence Modelling for Time-Domain Depression Level Estimation
Newcastle University（纽卡斯尔大学）
针对时频表示信息损失及短片段分割忽略长程关联的问题，提出时域长语音建模框架，结合状态空间模型、双路径长序列模块与时间外部注意力，在 AVEC2013/2014 上达到最先进性能。
2025-01-05 cs.SD eess.AS
Optimizing Speech-Input Length for Speaker-Independent Depression Classification
Ellipsis Health, Inc.（埃利皮西斯健康公司）；Linguistic Data Consortium（语言数据联盟）
本文基于超1400小时语音语料，研究语音输入长度对说话人无关抑郁症分类的影响，发现性能受自然长度、经过长度和回答顺序影响，并据此提出优化提问与输入长度的应用设计建议。
2024-12-31 cs.CL eess.AS
Predicting Individual Depression Symptoms from Acoustic Features During Speech
Dalhousie University（达尔豪斯大学）；Vector Institute（向量研究所）；Nova Scotia Health（新斯科舍省健康局）
针对现有自动抑郁检测系统未基于临床量表单项症状预测的问题，该研究首次利用语音声学特征，结合CNN、LSTM及多种时序上下文学习方法、投票方案，实现抑郁量表单项条目预测，还配套了动态可视化示例。
2024-06-23 cs.AI cs.LG cs.SD
Robust Speech and Natural Language Processing Models for Depression Screening
Ellipsis Health（埃利普西斯健康公司）
本文提出基于声学和自然语言处理的两种迁移学习深度模型，在11,000名用户的对话语音数据上实现AUC≥0.80的鲁棒抑郁症筛查性能。
2024-12-26 cs.CL eess.AS
Speech and the n-Back task as a lens into depression. How combining both may allow us to isolate different core symptoms of depression
Thymia；King’s College London（伦敦国王学院）
在任何语音信号中，都包含了丰富的认知、神经肌肉和生理信息。这种丰富性使言语成为与一系列不同健康状况相关的强大信号，包括重度抑郁症（MDD）。言语抑郁研究中的一个关键问题是假设抑郁的严重程度是主要的可测量效果。然而，考虑到MDD的临床特征的异质性，实际上可能是这样的情况，即语音改变与关键抑郁症状的子集更密切相关。本文提出了强有力的证据支持这一论点。首先，我们提出了一个新的大型，横截面，多模态数据集收集在胸腺。然后，我们提出了一组机器学习实验，证明在预测流行的八项患者健康问卷抑郁量表（PHQ-8）时，将语音与来自n-Back工作记忆评估的特征相结合可以提高分类器性能。最后，我们提出了一组实验，突出不同的语音和n-Back标记在PHQ-8项目水平之间的关联。具体来说，我们观察到，躯体和精神症状与n-Back表现分数更密切相关，而其他项目：快感缺乏，抑郁情绪，食欲变化，感觉不舒服和注意力不集中与言语变化更密切相关。
2022-03-30 cs.LG cs.SD eess.AS
When Layer Selection Misleads Speech Depression Detection
本研究揭示在抑郁检测中，于评估数据上选择最佳编码器层会虚增AUC最多0.09，并证明该偏差源于选择而非信号，提出嵌套模型选择协议应作为标准，且发现紧凑的情感-韵律模型在公平比较下具有竞争力。
2026-10-06 eess.AS
Toward Knowledge-Driven Speech-Based Models of Depression: Leveraging Spectrotemporal Variations in Speech Vowels
Texas A&M University（得克萨斯农工大学）
与抑郁症相关的精神发育迟滞与元音产生的有形差异有关。本文研究了一种知识驱动的机器学习（ML）方法，该方法在元音水平上整合语音的谱时信息来识别抑郁症。低级别的语音描述符是由一个卷积神经网络（CNN），该网络是训练元音分类学习。这些低级描述符的时间演变通过长短期记忆（LSTM）模型在话语内和话语之间的高级处建模，该模型做出最终的抑郁决策。修改后的版本的本地可解释的模型不可知的解释（LIME）进一步用于识别的影响，低级别的spectrotemporal元音变化的决定，并观察高级别的时间变化的抑郁症的可能性。所提出的方法优于在不整合基于元音的信息的情况下对语音中的频谱时间信息进行建模的基线，以及使用传统韵律和频谱时间特征训练的ML模型。进行的可解释性分析表明，对应于非元音段的频谱时间信息的重要性低于基于元音的信息。进一步检查有和没有抑郁症的参与者的高层次信息捕获的分段的决策的可解释性。这项工作的发现可以为知识驱动的可解释决策支持系统提供基础，这些系统可以帮助临床医生更好地了解语音数据中的细粒度时间变化，最终增强心理健康诊断和护理。
2022-10-05 cs.LG cs.SD eess.AS
A Fair and Transparent Framework for Speech-Based Depression Detection: Balancing Interpretability and Performance
ViVoLab, I3A University of Zaragoza（萨拉戈萨大学 ViVoLab、I3A）
提出结合低复杂度机器学习模型与可解释性方法（LIME和SHAP）的框架，在DAIC-WOZ数据集上实现82%的测试准确率，兼顾性能、可解释性和人口公平性。
2026-07-01 eess.AS
AudVowelConsNet: A Phoneme-Level Based Deep CNN Architecture for Clinical Depression Diagnosis
University of Luxembourg（卢森堡大学）；Sorbonne Universite（索邦大学）
抑郁症是一种常见且严重的情绪障碍，对患者在日常工作中正常运作的能力产生负面影响。言语被证明是诊断抑郁症的有力工具。精神病学的研究集中在对导致言语抑郁表现的词级言语成分进行细粒度分析，并揭示了抑郁言语中音素水平的显着变化。另一方面，基于机器学习的从语音中自动识别抑郁症的研究集中于探索用于检测抑郁症及其严重程度的各种声学特征。很少有人专注于将音素级的语音成分在自动评估系统。在本文中，我们提出了一个基于人工智能（AI）的应用程序，从语音的临床抑郁症识别和评估。我们通过深度学习研究了音素单元的声学特征，特别是用于抑郁症识别的元音和辅音。我们提出并比较了三种基于频谱图的深度神经网络架构，分别对音素辅音和元音单元及其融合进行训练。我们的实验表明，深学习辅音的声学特征导致更好的识别结果比元音。通过深度网络融合元音和辅音语音特征的性能明显优于单空间网络以及DAIC-WOZ数据库上最先进的深度学习方法。
2020-11-04 cs.HC cs.SD eess.AS
Depression Markers in Speech: An Approach based on Tract Variables Dynamics
University of Glasgow（格拉斯哥大学）；Taif University（泰夫大学）
该研究基于声道变量动态特性识别新的抑郁生物标志物，利用最大李雅普诺夫指数等量化发音过程特性，在安卓语料库实验中，所提标志物能有效区分抑郁与对照说话者。
2026-07-29 cs.AI eess.AS
A Novel Decision Tree for Depression Recognition in Speech
Lanzhou University（兰州大学）；Chinese Academy of Sciences（中国科学院）；Lanzhou University Second Hospital（兰州大学第二医院）
抑郁症是世界范围内常见的精神障碍，会导致一系列严重后果。抑郁症的诊断依赖于患者报告的量表和精神科医生的访谈，这可能会导致主观偏见。近年来，越来越多的研究者致力于语音中抑郁的识别，这可能是一个有效而客观的指标。为了提高抑郁症识别的准确率，提出了一种基于决策树的语音段融合方法，并在52名受试者（23名抑郁症患者和29名健康对照者）的样本上进行了验证。在性别依赖模型下，男性和女性的识别准确率分别为75.8%和68.5%。从数据可以看出，所提出的决策树模型可以提高抑郁症的分类性能。
2020-02-22 cs.LG cs.SD eess.AS
Transferring speech-generic and depression-specific knowledge for Alzheimer's disease detection
OPPO Research（OPPO研究院）；Cambridge Trust（剑桥信托基金会）
本文针对AD语音检测训练数据稀疏问题，提出同时迁移语音通用基础模型知识和抑郁症检测任务知识的并行迁移框架，在ADReSSo数据集上取得0.928的F1分数。
2023-10-06 cs.CL cs.SD eess.AS
Cost-effective Models for Detecting Depression from Speech
Winterlight Labs（Winterlight实验室）
抑郁症是最常见的心理障碍，被认为是世界范围内残疾和自杀的主要原因。一个能够检测人类语言中抑郁症迹象的自动化系统可以有助于确保为患有这种疾病的个人提供及时有效的心理健康护理。开发这样的自动化系统需要准确的机器学习模型，能够捕捉抑郁症的迹象。然而，基于深层声学表示的最先进的模型需要大量的数据，精心选择的功能，和严格的训练;该过程涉及巨大的计算资源。在这项工作中，我们探讨了两种不同的声学特征组的有效性-传统的手工策划和深度表示功能，从语音预测抑郁症的严重程度。我们探讨了可能的影响因素对模型表现的相关性，包括个体的性别，障碍的严重程度，内容和讲话的长度。我们的研究结果表明，在传统声学特征上训练的模型与在深度表征特征上训练的模型相比，在计算成本显著降低的情况下表现得同样好或更好，而不考虑其他因素，例如语音的内容和长度，说话者的性别和疾病的严重程度。这使得这样的模型更适合于计算资源的可用性受到限制的部署，例如智能设备中的实时的抑郁监测应用。
2023-02-18 cs.SD eess.AS stat.ML
Speaker-Aware Temporal Aggregation Strategies on Segment Representations for Depression Detection in Dyadic Interaction: A Benchmark Study
University of Southern California（南加州大学）
研究基于语音的抑郁症检测中时间聚合策略，引入DEPOOL基准，对比六种聚合架构与六种语音骨干网络，发现三分之一配置失败，强调骨干网络和种子的稳健性应是临床语音时间聚合基准标准。
2026-07-07 eess.AS
Speech-based Clinical Depression Screening: An Empirical Study
Suzhou Fubian Medical Technology Co., Ltd（苏州阜边医疗科技有限公司）；Peking University Sixth Hospital（北京大学第六医院）；The First Clinical College of Xinxiang Medical University（新乡医学院第一临床学院）
该研究通过精神科访谈、聊天机器人对话和文本朗读场景，提取声学与深度语音特征并采用神经网络或SVM分类，验证了语音用于临床抑郁症筛查的有效性。
2024-06-12 cs.AI cs.SD eess.AS
A knowledge-driven vowel-based approach of depression classification from speech using data augmentation
Texas A&M University（得克萨斯农工大学）
我们提出了一种新的可解释的机器学习（ML）模型，识别抑郁症的语音，建模跨话语的时间依赖关系，并利用在元音水平的spectrotemporal信息。我们的方法首先使用具有空间金字塔池化层（“元音CNN”）的卷积神经网络将本地级别的可变长度话语建模为基于固定大小元音的嵌入。之后，抑郁症在全局水平上从一组元音CNN嵌入中分类，所述一组元音CNN嵌入用作另一个1D CNN的输入（“抑郁症CNN”）。针对元音CNN和抑郁症CNN的训练设计了不同的数据增强方法。我们调查所提出的系统在不同的时间粒度建模时，短，中，长的分析窗口，分别对应于10，21，和42话语的性能。所提出的方法达到了与以前的国家的最先进的方法，并描绘了可解释的属性方面的抑郁症的结果。这项工作的发现可能会使临床医生受益，因为它在人类-机器学习联合决策任务中提供了额外的直觉。
2022-10-27 cs.LG cs.SD eess.AS
Self-supervised representations in speech-based depression detection
University of Cambridge（剑桥大学）
本文利用自监督预训练基础模型解决语音抑郁症检测的数据稀疏问题，通过融合ASR和情绪识别模型的多层表征，在DAIC-WOZ数据集上取得了最先进结果。
2023-07-06 cs.CL cs.SD eess.AS
Hierarchical attention interpretation: an interpretable speech-level transformer for bi-modal depression detection
The University of Edinburgh（爱丁堡大学）
针对抑郁检测中片段级标注噪声和缺乏可解释性的问题，提出双模态语音级Transformer及基于梯度加权注意力图的分层解释方法，在提升性能的同时提供语音级和句子级解释，助力临床验证。
2026-09-21 cs.CL cs.SD eess.AS
Dyadic Interaction Assessment from Free-living Audio for Depression Severity Assessment
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
抑郁症中的精神发育迟滞与二元临床访谈中的言语时间变化有关。在这项工作中，我们研究了自由生活的二元交互的语音计时特征。除了持续监测以补充临床访视的可能性外，在自由生活条件下进行的研究还可以推断社交特征，例如与抑郁症有关的二元互动频率。我们采用了说话人计数估计作为二元交互检测器，在DIHARD数据集中的特异性为89.5%，灵敏度为86.1%。使用该检测器，我们获得了语音定时功能，从检测到的二元互动在多天的音频记录的32名参与者，包括13名健康人，11名抑郁症患者，和8名精神病患者。在没有或轻度抑郁的参与者中，二元交互频率随着抑郁的严重程度而增加，这表明抑郁发作的潜在诊断标志。然而，随着抑郁严重程度的增加，中度或重度抑郁症的参与者的二元互动频率下降。在言语时间特征方面，响应时间与抑郁严重程度呈显著正相关。我们的工作显示了从自由生活的录音中进行二元互动分析以获得抑郁症严重程度的标记的潜力。
2022-09-08 cs.AI cs.SD eess.AS
Robust and Explainable Depression Identification from Speech Using Vowel-Based Ensemble Learning Approaches
Texas A&M University（德克萨斯农工大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；Institute of Cognitive Science（认知科学研究所）
该研究利用基于元音的预训练嵌入，提出自下而上预测PHQ-8条目与自上而下MoE评估严重程度的集成学习框架，实现与SOTA相当且更鲁棒、可解释的语音抑郁识别。
2024-10-23 cs.CL cs.LG cs.SD
Speech based Depression Severity Level Classification Using a Multi-Stage Dilated CNN-LSTM Model
University of Maryland - College Park（马里兰大学帕克分校）
近年来，基于语音的抑郁症分类得到了极大的普及。然而，大多数分类研究都集中在二元分类，以区分抑郁症患者和非抑郁症患者。在本文中，我们制定了抑郁症分类任务作为一个严重程度分类问题，以提供更多的粒度的分类结果。我们使用发音协调功能（ACFs）开发来捕捉神经运动协调的变化，这是由于心理减缓而发生的，这是重度抑郁症的必要特征。从声道变量（TV）导出的ACF用于训练基于扩张卷积神经网络的抑郁症分类模型，以获得段级预测。然后，我们提出了一种基于递归神经网络的方法来从段级预测中获得会话级预测。我们发现，当一个会话式分类器的嵌入从它得到的训练时，分段式分类器的优势被放大。来自电视的ACF上训练的模型在会话级分类任务的未加权平均召回率（UAR）显示出27.47%的相对改善，相比来自梅尔频率倒谱系数（MFCC）的ACF。
2021-04-09 cs.LG eess.AS
DEPAC: a Corpus for Depression and Anxiety Detection from Speech
Winterlight Labs（温特莱特实验室）
本文提出抑郁焦虑语音检测语料库DEPAC，含多语音任务与人口统计信息，并验证其与手工特征在预测抑郁严重程度上的有效性。
2023-06-20 cs.CL cs.LG cs.SD
Speech-Based Depression Prediction Using Encoder-Weight-Only Transfer Learning and a Large Corpus
Ellipsis Health（省略号健康公司）
本文提出仅迁移轻量级编码器权重的语音抑郁预测方法，在大规模语料上对PHQ-8二分类取得最高27%的显著提升，并证明该方法灵活且不依赖强源任务性能。
2024-12-22 cs.CL eess.AS
When LLMs Meets Acoustic Landmarks: An Efficient Approach to Integrate Speech into Large Language Models for Depression Detection
The University of New South Wales（新南威尔士大学）；Nanyang Technological University（南洋理工大学）；The Hong Kong Polytechnic University（香港理工大学）
本文提出一种利用声学标志将语音信号高效集成到大语言模型（LLMs）中的多模态方法，在DAIC-WOZ数据集上取得SOTA抑郁症检测效果，并拓展了LLMs处理语音信号的能力。
2024-09-23 cs.AI cs.SD eess.AS
Why Pre-trained Models Fail: Feature Entanglement in Multi-modal Depression Detection
School of Electrical Engineering and Telecommunications, University of New South Wales（新南威尔士大学电气工程和电信学院）
本文针对预训练模型在多模态抑郁检测中性能差的问题，提出信息分离框架解纠缠混合特征，显著提升了SSL模型和LLMs的检测性能，为相关系统开发提供了新见解。
2026-08-05 eess.AS
Multi-modal deep learning system for depression and anxiety detection
University of Toronto（多伦多大学）；Winterlight Labs（Winterlight实验室）
传统的焦虑和抑郁症筛查方法阻碍了有效监测和治疗这些疾病。然而，NLP和语音建模的最新进展允许文本，声学和手工制作的基于语言的特征共同构成未来心理健康筛查和状况检测的基础。语音是一种丰富且易于获得的洞察个人认知状态的来源，通过利用语音的不同方面，我们可以开发新的抑郁和焦虑数字生物标志物。为此，我们提出了一个多模态系统的自我管理的语音任务的抑郁和焦虑的筛选。所提出的模型集成了从音频和文本中深入学习的特征，以及由临床验证的领域知识提供信息的手工制作的特征。我们发现，与单独手工特征的基线相比，用深度学习的特征增强手工特征可以提高我们的总体分类F1评分，抑郁症的F1评分从0.58提高到0.63，焦虑症的F1评分从0.54提高到0.57。我们的研究结果表明，基于语音的抑郁和焦虑生物标志物在未来的数字健康中具有重要的前景。
2022-12-30 cs.CL cs.MM cs.SD
Towards Robust Deep Neural Networks for Affect and Depression Recognition from Speech
University of Paris-Est Créteil（巴黎东-克雷泰伊大学）；Sorbonne University（索邦大学）；INSAT（国立应用科学技术学院）；ENSIIE（国立工业环境高等工程师学院）；Polytechnic University of Hauts-de-France（上法兰西理工大学）
近年来出现了智能监控系统和情感计算应用程序，以增强医疗保健。这些应用的例子包括情感状态的评估，如重度抑郁症（MDD）。MDD描述了某些情绪的持续表达：消极情绪（低效价）和缺乏兴趣（低唤醒）。高性能的智能系统将在早期阶段加强MDD诊断。在本文中，我们提出了一种新的深度神经网络架构，称为MudioNet，用于从语音中识别情感和抑郁。Deep Audio AudioNet从音频信号的时频表示及其频谱的视觉表示中学习。我们的模型在预测情感和抑郁方面显示出非常有希望的结果。根据RECOLA和DAIC-WOZ数据集上的几个评估指标，它在预测唤醒、效价和抑郁方面的工作原理类似于或优于最先进的方法。AudioNet的代码在GitHub上公开：https://github.com/AliceOTHMANI/EmoAudioNet
2020-11-18 cs.HC cs.SD eess.AS
The Relationship Between Speech Features Changes When You Get Depressed: Feature Correlations for Improving Speed and Performance of Depression Detection
University of Glasgow（格拉斯哥大学）；Università degli Studi della Campania “Luigi Vanvitelli”（坎帕尼亚大学“路易吉·万维泰利”）
该研究发现抑郁会改变语音特征间的相关性，并验证将特征相关矩阵代替特征向量输入 SVM 和 LSTM 模型，可在 Androids Corpus 上显著提升抑郁检测的训练速度与性能，错误率相对降低 23.1% 至 26.6%。
2023-07-07 cs.CL cs.SD eess.AS
MFCC-based Recurrent Neural Network for Automatic Clinical Depression Recognition and Assessment from Speech
Université Paris-Est（巴黎东部大学）；INSAT Institut National des Sciences Appliquées et de Technologie（突尼斯应用科学与技术学院）；Yobitrust（优比特信托公司）；University of Sciences and Arts in Lebanon（黎巴嫩科学与艺术大学）；Université de Bourgogne Franche Comté（勃艮第-弗朗什-孔泰大学）
临床抑郁症或重度抑郁症（MDD）是一种常见的严重医学疾病。本文提出了一种基于深度递归神经网络的框架来检测抑郁症并从语音中预测其严重程度。从音频记录中提取低级别和高级别音频特征，以预测患者健康问卷的24个分数和抑郁症诊断的二元分类。为了克服语音抑郁识别（SDR）数据集规模小的问题，考虑扩展训练标签和转移特征。该方法优于DAIC-WOZ数据库上的最新方法，在评估抑郁症时的总体准确率为76.27%，均方根误差为0.4，而在预测抑郁症严重程度时的均方根误差为0.168。该框架具有快速、非侵入性和非入侵性等优点，便于实时应用。在多模态和多特征的实验中，对所提出的方法的性能进行了评估。基于MFCC的高级特征包含与抑郁症相关的信息。然而，添加视觉动作单元和不同的其他声学特征进一步将分类结果提高了20%和10%，分别达到95.6%和86%的准确率。考虑到视觉-面部模态需要仔细研究，因为它会引发患者隐私问题，同时添加更多的声学特征会增加计算时间。
2020-03-12 cs.AI cs.HC cs.LG
Identifying depression-related topics in smartphone-collected free-response speech recordings using an automatic speech recognition system and a deep learning topic model
King's College London（伦敦国王学院）；University College London（伦敦大学学院）；South London and Maudsley NHS Foundation Trust（南伦敦和莫兹利国民保健基金会信托）；Health Data Research UK London, University College London（英国健康数据研究伦敦中心，伦敦大学学院）；University of Augsburg（奥格斯堡大学）；University of Sussex（萨塞克斯大学）；Amsterdam UMC, Vrije Universiteit（阿姆斯特丹大学医学中心，自由大学）；Parc Sanitari Sant Joan de Déu（圣胡安·德杜健康园区）；Universitat de Barcelona（巴塞罗那大学）；Janssen Research and Development LLC（杨森研发有限责任公司）；Amsterdam University Medical Centre, Vrije Universiteit（阿姆斯特丹大学医学中心，自由大学）；GGZ inGeest（GGZ inGeest精神卫生机构）；Davos Alzheimer’s Collaborative（达沃斯阿尔茨海默病协作组织）
本研究利用Whisper和BERTopic模型分析智能手机语音记录，识别出与抑郁相关的六个风险主题，并验证了纵向监测语言使用的价值，为数字健康研究提供了数据驱动的工作流。
2023-09-05 cs.CL cs.CY cs.SD
FrAUG: A Frame Rate Based Data Augmentation Method for Depression Detection from Speech Signals
本文提出了一种数据增强方法，用于语音信号中的凹陷检测。通过在特征提取过程中改变帧宽和帧移参数来创建用于数据扩充的样本。与其他数据增强方法（如VTLP，音高扰动，或速度扰动），所提出的方法不显式地改变声学参数，而是帧级功能的时频分辨率。使用两个不同的数据集，模型和输入声学特征评估所提出的方法。对于DAIC-WOZ（英语）数据集，当使用DepAudioNet模型和mel-Spectrograms作为输入时，与基线相比，所提出的方法导致5.97%（验证）和25.13%（测试）的改进。当使用以CNN作为后端和MFCC作为输入特征的x向量嵌入时，CONVERGE（普通话）数据集的改进为9.32%（验证）和12.99%（测试）。基线系统不包括任何数据扩充。此外，所提出的方法优于常用的数据增强方法，如噪声增强，VTLP，速度和音高扰动。所有改善均具有统计学显著性。
2022-02-11 eess.AS eess.SP
Self-Supervised Embeddings for Detecting Individual Symptoms of Depression
Dalhousie University（达尔豪斯大学）；Vector Institute（向量研究所）；McMaster University（麦克马斯特大学）；Nova Scotia Health（新斯科舍卫生机构）
本研究利用基于自监督学习的语音模型提取SSL嵌入，不仅预测抑郁症严重程度，还识别个体症状，并发现其优于常规特征，同时验证了多任务学习的重要性。
2024-06-25 cs.LG cs.SD eess.AS
TRI-DEP: A Trimodal Comparative Study for Depression Detection Using Speech, Text, and EEG
DISI, University of Bologna, Italy（博洛尼亚大学DISI学院，意大利）
本文通过系统比较语音、文本和EEG的三模态方法，验证了多模态检测的有效性，发现预训练嵌入优于手工特征，三模态模型达到最优性能。
2026-03-23 cs.AI cs.CL cs.LG
Significance of Speaker Embeddings and Temporal Context for Depression Detection
Dalhousie University（达尔豪斯大学）；Vector Institute（向量研究所）；Nova Scotia Health（新斯科舍省卫生局）
近年来，从语音中检测抑郁症引起了人们的广泛关注。然而，说话人特定信息在抑郁症检测中的意义尚未得到探讨。在这项工作中，我们分析了说话人嵌入的抑郁症检测任务的语音的意义。实验结果表明，说话人嵌入提供了重要的线索，以实现国家的最先进的性能在抑郁症检测。我们还表明，结合传统的OpenSMILE和COVAREP功能，携带互补信息，与扬声器嵌入进一步提高了抑郁症检测性能。本文还分析了时间背景在用于抑郁检测的深度学习模型训练中的重要性。
2021-07-24 cs.CY cs.LG cs.SD
Unsupervised Instance Discriminative Learning for Depression Detection from Speech Signals
重度抑郁症（MDD）是一种影响数百万人的严重疾病，尽早诊断这种疾病至关重要。从语音信号中检测抑郁症对医生有很大的帮助，并且可以在没有任何侵入性程序的情况下完成。由于相关的标记数据是稀缺的，我们提出了一种改进的实例判别学习（IDL）方法，一种无监督的预训练技术，以提取增量不变和实例扩散嵌入。在学习增强不变嵌入方面，研究了语音的各种数据增强方法，时间掩蔽产生最好的性能。为了学习实例分散嵌入，我们探索了对训练批次的实例进行采样的方法（基于不同说话者的随机采样）。结果发现，不同的扬声器为基础的采样提供了更好的性能比随机的，我们假设，这一结果是因为相关的扬声器信息被保存在嵌入。此外，我们提出了一种新的采样策略，伪实例为基础的采样（PIS），基于聚类算法，以提高扩展特性的嵌入。使用DepAudioNet在DAIC-WOZ（英语）和CONVERGE（普通话）数据集上进行实验，使用PIS在MDD检测中观察到统计学显著改善，p值分别为0.0015和0.05，相对于基线，没有预训练。
2022-06-27 eess.AS q-bio.QM
Recurrence-Based Nonlinear Vocal Dynamics as Digital Biomarkers for Depression Detection from Conversational Speech
Independent Researcher（独立研究者）
研究通过分析对话语音动态中的复发结构，提出非线性状态空间分析作为抑郁症数字生物标记符的新方向，实验结果显示其在分类性能上优于传统方法。
2026-04-29 cs.LG cs.SD eess.AS
Automatic Depression Detection: An Emotional Audio-Textual Corpus and a GRU/BiLSTM-based Model
Tongji University（同济大学）
抑郁症是一个全球性的心理健康问题，最严重的情况可能导致自杀。自动抑郁症检测系统在促进抑郁症自我评估和提高诊断准确性方面提供了很大的帮助。在这项工作中，我们提出了一种新的抑郁症检测方法，利用语音特征和语言内容，从参与者的采访。此外，我们还建立了一个情绪化的音频-文本抑郁语料库（EATD-Corpus），它包含了抑郁和非抑郁志愿者的音频和提取的反应记录。据我们所知，EATD-Corpus是第一个也是唯一一个包含中文音频和文本数据的公开抑郁症数据集。在两个抑郁症数据集上的测试结果表明，该方法具有较好的性能。实验结果证明了该方法的有效性和推广能力。源代码和EATD-Corpus可在https://github.com/speechandlanguageprocessing/ICASSP2022-Depression上获得。
2022-02-15 cs.AI cs.SD eess.AS
Emotional Vietnamese Speech-Based Depression Diagnosis Using Dynamic Attention Mechanism
本研究针对抑郁症语音诊断需求，提出结合Dynamic-CBAM的Attention-GRU网络，通过越南语语音情感分类实现抑郁症筛查，在VNEMOS数据集上取得了较高的识别准确率。
2024-12-11 cs.CV cs.SD eess.AS
Hierarchical Self-Supervised Representation Learning for Depression Detection from Speech
College of Computing and Data Science（计算与数据科学学院）；Nanyang Technological University（南洋理工大学）；Center of AI in Medicine（医学人工智能中心）
本文提出HAREN-CTC模型，通过层级自适应表征学习和CTC目标，有效捕捉语音中抑郁症特征，提升抑郁症检测的准确性和泛化能力。
2026-01-21 cs.AI cs.CL cs.SD
Deep Learning for Depression Recognition with Audiovisual Cues: A Review
Xi’an University of Posts and Telecommunications（西安邮电大学）；University of Chinese Academy of Sciences（中国科学院大学）；Aalto University（阿尔托大学）；Northwest University（西北大学）；Northwestern Polytechnical University（西北工业大学）
随着工作和生活节奏的加快，人们不得不面对越来越大的压力，这就增加了患抑郁症的可能性。然而，由于世界上医患比例严重失衡，许多患者可能无法得到及时诊断。令人鼓舞的是，生理和心理研究表明，抑郁症患者和健康人之间的言语和面部表情存在一些差异。因此，为了改善当前的医疗保健，许多学者使用深度学习来提取音频和视频中抑郁线索的表示，以进行自动抑郁检测。为了对这些工作进行梳理和总结，本文介绍了数据库，并描述了自动抑郁估计（ADE）的客观标志物。此外，我们回顾了用于自动抑郁检测的深度学习方法，以从音频和视频中提取抑郁的表示。最后，本文讨论了使用深度学习技术自动诊断抑郁症的挑战和有前途的方向。
2021-05-27 cs.SD eess.AS eess.SP
MA-DLE: Speech-based Automatic Depression Level Estimation via Memory Augmentation
Tianjin Normal University（天津师范大学）；Tsinghua University（清华大学）；Technical University of Munich（慕尼黑技术大学）；Imperial College London（伦敦帝国理工学院）
提出记忆增强特征方法，通过选择性整合历史时序特征和动态记忆特征，结合层次注意力融合模块，在DAIC-WOZ和E-DAIC数据集上实现最优性能。
2026-06-11 cs.AI cs.CL cs.SD
Attention-Based Acoustic Feature Fusion Network for Depression Detection
Nanjing Medical University（南京医科大学）；The Affiliated Brain Hospital of Nanjing Medical University（南京医科大学附属脑科医院）；The Fourth School of Clinical Medicine, Nanjing Medical University（南京医科大学第四临床医学院）
针对现有语音抑郁症检测方法多依赖单维特征、信息利用不足的问题，提出带后融合权重调整模块的ABAFnet，融合四种声学特征，在两个临床数据集上检测与亚型分类表现更优，验证了MFCC相关特征的重要性。
2023-08-24 cs.AI cs.SD eess.AS
ComFeAT: Combination of Neural and Spectral Features for Improved Depression Detection
IIIT-Delhi（德里印度信息技术学院）；GGSIPU（古鲁·戈宾德·辛格·因德拉普拉斯塔大学）；BIT Mesra（梅萨理工学院）；Ulster University（阿尔斯特大学）；University of Tartu（塔尔图大学）
本文提出 ComFeAT，通过 CNN 融合预训练模型神经特征与频谱特征，利用二者互补性提升真实场景下的语音抑郁检测，并在 E-DAIC 上超过既有 SOTA。
2024-06-10 cs.SD eess.AS
Avengers Assemble: Amalgamation of Non-Semantic Features for Depression Detection
IIIT-Delhi（德里印度信息技术学院）；Reliance Jio AICoE（信实Jio人工智能卓越中心）；BIT Mesra（梅斯拉理工学院）；ISRC, Ulster University（阿尔斯特大学国际软件研究中心）；University of Tartu（塔尔图大学）；IIT-Dharwad（达尔瓦德印度理工学院）；IIIT-Dharwad（达尔瓦德印度信息技术学院）
本研究提出FuSeR框架，通过融合TRILLsson、x-vector和emoHuBERT等预训练模型提取的非语义特征，在E-DAIC基准上实现SOTA抑郁症检测性能。
2024-09-22 cs.SD eess.AS
Towards Interpretable Depression Detection: Linking Acoustic Features to DSM-5 Indicators
University of St. Gallen HSG（圣加仑大学）；University of Zurich UZH（苏黎世大学）
该研究提出透明关联框架，将语音声学特征映射到DSM-5抑郁指标，在DAIC-WOZ上初步验证了声学特征与相关指标的关联，实现可解释且隐私保护的抑郁检测。
2026-08-28 cs.CL cs.SD eess.AS
ParaCalib: Semantically Calibrated Paralinguistic Modeling for Depression Detection
Nanyang Technological University（南洋理工大学）；University of New South Wales（新南威尔士大学）
ParaCalib通过音频语言模型和基于大语言模型的提取器，将语音模式与语义语境校准，实现副语言状态的结构化表示，在抑郁检测中取得最高平均宏F1（DAIC-WOZ 71.9%，MODMA 90.5%）。
2026-10-02 eess.AS
Investigating Acoustic-Textual Emotional Inconsistency Information for Automatic Depression Detection
Guangdong-Hong Kong-Macao Joint Laboratory of Human-Machine Intelligence-Synergy Systems, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院粤港澳人机协同智能系统联合实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Good Mood Health Industry Group Co., Ltd（好心情健康产业集团有限公司）；Shanghai Jiao Tong University（上海交通大学）
本文首次提出利用声学-文本情感不一致信息进行抑郁症检测，通过多模态交叉注意力捕捉ATEI特征，并结合Transformer模型与缩放融合策略提升不同严重程度患者的识别效果。
2024-12-09 cs.AI cs.CL eess.AS
Density Adaptive Attention-based Speech Network: Enhancing Feature Understanding for Mental Health Disorders
James Silberrad Brown Center for Artificial Intelligence（詹姆斯·西尔伯拉德·布朗人工智能中心）；Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）；Amazon GenAI（亚马逊生成式人工智能）
本文提出DAAMAudioCNNLSTM和DAAMAudioTransformer两种参数高效且可解释的语音抑郁症检测模型，通过多头密度自适应注意力机制动态聚焦关键语音片段，在DAIC-WOZ数据集上取得领先性能，且无需额外补充信息。
2024-08-31 cs.AI cs.SD eess.AS
Classifying Dementia in the Presence of Depression: A Cross-Corpus Study
Technische Hochschule Nürnberg（图林根应用技术大学）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔兰根-纽伦堡 Friedrich-Alexander 大学）；Klinik für Psychiatrie und Psychotherapie, Universitätsklinik der Paracelsus Medizinischen Privatuniversität, Klinikum Nürnberg, Germany（纽伦堡大学心理治疗与精神病科诊所，帕拉塞尔医学私人大学大学医院，纽伦堡诊所，德国）；KST Institut GmbH, Bad Emstal, Germany（KST 机构，巴德埃姆斯塔尔，德国）
本文通过跨语料库实验，利用文本、音频和情感嵌入对语音进行三类分类（HC vs. MCI vs. DEM），探讨抑郁作为次级诊断对分类器的影响。
2023-08-16 cs.SD eess.AS
Automatic Detection of Depression from Stratified Samples of Audio Data
抑郁症是一种常见的精神障碍，一直影响着全球数百万人，并随着COVID-19的到来而变得更加严重。然而，由于严重缺乏精神病医生，许多地区无法获得适当的诊断。在低收入国家，这种短缺情况更加严重，精神病医生与人口的比例比经济较好的国家低210倍。本研究旨在探索深度学习在从语音样本诊断抑郁症中的应用。我们从DAIC-WOZ数据库中收集了来自154个个体的189个声音记录。来自PHQ-8评分等于或高于10的患者的声音样本被认为是抑郁的，而PHQ-8评分低于10的患者被认为是健康的。我们应用梅尔-频谱图从音频中提取相关特征。测试了三种类型的编码器，即1D CNN、1D CNN-LSTM和1D CNN-GRU。在系统地调整超参数后，我们发现内核大小为5和15秒记录数据的1D CNN-GRU编码器似乎具有最佳性能，F1得分为0.75，精度为0.64，召回率为0.92。
2021-11-21 cs.HC cs.SD eess.AS
Multimodal Depression Classification Using Articulatory Coordination Features And Hierarchical Attention Based Text Embeddings
University of Maryland - College Park（马里兰大学帕克分校）
近年来，多模式抑郁症分类得到了极大的普及。我们开发了一个多模态抑郁症分类系统，使用发音协调功能提取声道变量和文本transmittance从自动语音识别工具，产生改善的接收器操作特征曲线下的面积相比，单峰分类（7.5%和13.7%的音频和文本分别）。我们表明，在训练数据有限的情况下，可以首先训练分段级分类器，然后使用多级卷积递归神经网络在不影响性能的情况下获得会话预测。使用分层注意力网络（HAN）训练文本模型。多模态系统是通过将会话级音频模型和HAN文本模型的嵌入相结合来开发的
2022-02-13 cs.CL eess.AS
On using the UA-Speech and TORGO databases to validate automatic dysarthric speech classification approaches
虽然UA-语音和TORGO数据库的控制和构音障碍的语音是宝贵的资源提供给研究界的目标是开发强大的自动语音识别系统，他们也被用来验证相当数量的自动构音障碍语音分类方法。这种方法通常依赖于基本假设，即来自控制和构音障碍扬声器的录音是使用相同的录音设置在相同的无噪声环境中收集的。在本文中，我们表明，这一假设是违反了UA语音和TORGO数据库。使用语音活动检测提取语音和非语音段，我们表明，大多数国家的最先进的构音障碍分类方法实现相同或更好的性能时，使用这些数据库的非语音段比使用语音段。这些结果表明，在UA-语音和TORGO数据库上训练和验证的这种方法可能是记录环境或设置的学习特征，而不是构音障碍的语音特征。我们希望这些结果能提高研究界在开发和评估构音障碍自动分类方法时对录音质量重要性的认识。
2022-11-16 eess.AS
Speech Encoder Fusion for LLM-based Automatic Speech Recognition
KU Leuven（鲁汶大学）
研究融合多个预训练语音编码器以增强基于LLM的ASR性能，提出多种融合策略并在多场景下验证其有效性。
2026-06-09 eess.AS
