ACA-Net: Towards Lightweight Speaker Verification using Asymmetric Cross Attention
Alibaba Group（阿里巴巴集团）；Nanyang Technological University（南洋理工大学）
提出ACA-Net，通过非对称交叉注意力替代时间池化，在WSJ0-1talker上以1/5参数实现5% EER相对改进，优于强基线。
2023-05-20 cs.LG cs.SD eess.AS
Towards Lightweight Speaker Verification via Adaptive Neural Network Quantization
Shanghai Jiao Tong University（上海交通大学）
针对说话人验证模型资源开销大的问题，提出自适应均匀精度、混合精度与多阶段微调及 1-bit 量化方案，在 VoxCeleb 上实现高压缩与显著性能优势。
2024-07-22 cs.SD eess.AS
A Lightweight Speaker Recognition System Using Timbre Properties
Bangladesh University of Business & Technology（孟加拉国商业技术大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）；Chonnam National University（全南国立大学）
说话人识别是一个非常活跃的研究领域，在生物特征安全和身份认证系统中有着重要的应用。目前，在说话人识别领域已经有许多性能良好的模型。然而，大多数高级模型都实现了深度学习，需要GPU支持实时语音识别，它不适合低端设备。本文提出了一种基于随机森林分类器的轻量级文本无关说话人识别模型。它还引入了用于说话人验证和识别任务的新功能。该模型使用基于人类语音的音色特性作为特征，使用随机森林进行分类。音色是指声音的最基本的属性，让听众区分它们。该原型使用七个最活跃的搜索音色属性，繁荣，亮度，深度，硬度，粗糙度，锐度，和温暖作为我们的说话人识别模型的功能。在说话人确认和说话人辨识任务中进行了实验，验证了该模型的有效性和不足。在说话人辨识阶段，它达到了78%的最高准确率。相反，在说话人确认阶段，该模型保持80%的准确度，具有0.24的相等出错率（ERR）。
2020-10-13 cs.AI cs.LG cs.SD
Pretraining Multi-Speaker Identification for Neural Speaker Diarization
NTT Corporation（日本电信电话公司）
本文提出预训练多说话人识别模型作为替代方案，利用大规模说话人识别数据集，无需模拟对话数据即可实现高精度轻量级的局部说话人日志模型。
2025-05-30 cs.SD eess.AS
Emphasized Non-Target Speaker Knowledge in Knowledge Distillation for Automatic Speaker Verification
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；Alibaba Group（阿里巴巴集团）；The Hong Kong Polytechnic University（香港理工大学）
本文提出在自动说话人验证的知识蒸馏中解耦并强调非目标说话人的分类概率，该方法在VoxCeleb数据集上使EER平均提升13.67%。
2024-01-15 cs.SD eess.AS
Convolution-Based Channel-Frequency Attention for Text-Independent Speaker Verification
The Chinese University of Hong Kong（香港中文大学）
深度卷积神经网络（CNN）已被应用于提取说话人嵌入，在说话人验证中取得了重大成功。研究表明，引入注意机制可以有效地提高模型的性能。本文提出了一种高效的基于二维卷积的注意力模型C2 D-Att。卷积通道和频率之间的相互作用涉及轻量级卷积层的注意力计算。这只需要少量的参数。细粒度的注意力权重被产生以表示信道和频率特定的信息。通过对输入特征进行加权，提高了说话人模型的表达能力. C2 D-Att被集成到ResNet的修改版本中，用于说话人嵌入提取。实验在VoxCeleb数据集上进行。实验结果表明，C2 DAtt方法能够有效地生成区分性注意图，并且优于其他注意图生成方法。所提出的模型显示了强大的性能与不同规模的模型大小，并取得了国家的最先进的结果。
2022-10-31 cs.SD eess.AS
Voices as Handles: Reasoning about Speaker Identity with Frozen Text LLMs
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出说话人句柄（Speaker Handles），通过轻量投影器将声学身份映射为软令牌，使冻结文本大语言模型能跨会话推理说话人归属，在VoxCeleb1和SpeakerBind上分别达到97.40-98.36%和70.40%的准确率。
2026-10-01 cs.SD eess.AS
EEND-M2F: Masked-attention mask transformers for speaker diarization
Fano Labs
该研究借鉴图像分割的 Mask2Former，提出完全端到端的说话人日志模型 EEND-M2F，通过带掩码交叉注意力的 transformer 解码器并行计算说话人表示，并在多个数据集及 DIHARD-III 上取得最优 DER。
2024-01-23 cs.SD eess.AS
Whisper-SV: Adapting Whisper for Low-data-resource Speaker Verification
Northwestern Polytechnical University（西北工业大学）；Mashang Consumer Finance Co.,Ltd（马上消费金融股份有限公司）
针对低数据资源场景下说话人验证任务数据不足的问题，提出Whisper-SV框架，通过表征选择和多层聚合模块适配Whisper模型，在多个数据集上取得了优异的验证性能。
2024-07-14 cs.SD eess.AS
Constrained speaker linking
Netherlands Forensic Institute（荷兰法医研究所）；Radboud University Nijmegen（奈梅亨拉德堡德大学）；AGNITIO Research（AGNITIO研究公司）
在本文中，我们研究说话人连接（又名\分割），给出了讲话者身份在语音记录上的分布的约束。具体而言，我们表明，棘手的分区问题变得易于处理的约束时，预分区的数据在较小的集团与非重叠的扬声器。令人惊讶的常见情况下，扬声器在电话交谈中是已知的，但分配的渠道身份是未指定的，是在贝叶斯的方式处理。我们表明，对于荷兰CGN数据库，这个通道分配任务在手，一个轻量级的说话人识别系统可以相当有效地解决通道分配问题，93%的集团解决。我们进一步表明，信道分配配置的后验分布校准良好。
2014-04-02 cs.SD stat.ML
Learning to fool the speaker recognition
Institute of Computer Technology, Chinese Academic of Sciences（中国科学院计算技术研究所）；Peking University（北京大学）；University of Chinese Academic of Sciences（中国科学院大学）
由于指纹/人脸/说话人识别系统的广泛部署，攻击基于深度学习的生物特征系统引起了越来越多的关注。以往的研究主要是针对基于视觉的系统，如指纹、人脸识别等进行攻击。而对说话人识别的攻击虽然在日常生活中得到了广泛的应用，但至今还没有研究。在本文中，我们试图欺骗最先进的说话人识别模型，并提出了\textit{speaker recognition attacker}，一个轻量级的模型，欺骗深层说话人识别模型，通过添加不可察觉的扰动到原始语音波形。我们发现说话人识别系统也容易受到攻击，并且我们在非目标攻击上取得了很高的成功率。此外，我们还提出了一种有效的方法来优化说话人识别攻击，以获得攻击成功率和感知质量之间的权衡。在TIMIT数据集上的实验表明，我们可以达到一个平均信噪比为$57.2\text{dB}$和PESQ 4.2的$99.2\%$的句子错误率，速度比实时快。
2020-04-07 cs.CR cs.SD eess.AS
Clustering-based hard negative sampling for supervised contrastive speaker verification
Samsung R&D Institute Poland（三星研发院波兰分院）；AGH University of Krakow（波兰克拉科夫AGH大学）
针对说话人验证中对比学习的难负样本利用问题，提出CHNS聚类式难负样本采样方法，通过聚类相似说话人嵌入并优化批次难易负样本比例，在VoxCeleb数据集上用轻量模型使相对EER和minDCF提升达18%，优于基线对比方法与最优分类方法。
2025-07-23 cs.LG cs.SD eess.AS
Towards Speaker Identification with Minimal Dataset and Constrained Resources using 1D-Convolution Neural Network
Shahjalal University of Science and Technology（沙赫贾拉勒科技大学）
本文提出一种轻量级1D-CNN，结合数据增强在最小数据集上实现97.87%的说话人识别准确率，并开源代码、数据集与模型以支持复现。
2024-11-22 cs.AI cs.LG cs.SD
RSKNet-MTSP: Effective and Portable Deep Architecture for Speaker Verification
College of Artificial Intelligence, Nankai University（南开大学人工智能学院）；College of Computer Science, Nankai University（南开大学计算机学院）
基于卷积神经网络（CNN）的方法在说话人验证（SV）任务中取得了巨大的成功，其中建模长时间上下文和减少说话人特征的信息丢失是显著影响验证性能的两个重要挑战。以前的工作已经引入了扩张卷积和多尺度聚合方法来解决上述挑战。但是，这些方法也难以充分利用一些有价值的信息，使得验证性能难以得到实质性的提高。为了解决上述问题，我们构建了一种新的基于CNN的SV架构，称为RSKNet-MTSP，其中首先提出了一个残差选择性内核块（RSKBlock）和多时间尺度统计池（MTSP）模块。RSKNet-MTSP能够同时捕获长时间上下文和相邻信息，并从多尺度特征中收集更多的说话人区分信息。为了设计一个可移植的模型，真正的应用程序与有限的资源，然后，我们提出了一个轻量级版本的RSKNet-MTSP，即RSKNet-MTSP-L，它采用了组合技术相关联的dependency可分离卷积与低秩分解的权重矩阵。在两个公共SV数据集VoxCeleb和Speaker in the Wild（SITW）上进行了大量的实验。结果表明：1）RSKNet-MTSP在所有测试集中的性能至少优于最先进的深度嵌入架构9%-26%。2)与基线模型相比，RSKNet-MTSP-L实现了具有竞争力的性能，网络参数减少了17%-39%。烧蚀实验进一步表明，我们提出的方法可以实现显着的改善比以前的方法。
2021-08-30 cs.SD eess.AS
Probing Self-supervised Learning Models with Target Speech Extraction
Brno University of Technology（布尔诺理工大学）；NTT Corporation（NTT公司）
本文提出将目标语音提取作为评估预训练自监督学习模型的新下游任务，通过基于同一冻结SSL模型的两个轻量级模块同时实现说话人识别与语音分离，并在Libri2mix上验证了该任务对探究SSL模型的独特价值。
2024-02-17 cs.SD eess.AS
Mask2Flow-TSE: Two-Stage Target Speaker Extraction with Masking and Flow Matching
Sungkyunkwan University（成均馆大学）；University of Seoul（首尔大学）
提出两阶段框架Mask2Flow-TSE，结合掩蔽模块和单步流匹配，实现高质量、低延迟的目标说话人提取。
2026-06-23 cs.AI cs.SD
Efficient Black-Box Speaker Verification Model Adaptation with Reprogramming and Backend Learning
The Chinese University of Hong Kong（香港中文大学）
针对说话人验证中的语言域不匹配问题，本文提出黑盒重编程结合轻量梯度估计与两层后端学习的自适应方法，以低计算和参数成本达到接近或优于完全微调的效果。
2023-09-24 cs.SD eess.AS
Post-Training Embedding Alignment for Decoupling Enrollment and Runtime Speaker Recognition Models
Amazon（亚马逊）
提出轻量级神经网络NESSA实现不对称SID中独立模型的嵌入对齐，仅更新单模型即可获得标准对称方法60%以上的性能提升。
2024-01-23 cs.LG cs.SD eess.AS
CA-MHFA: A Context-Aware Multi-Head Factorized Attentive Pooling for SSL-Based Speaker Verification
Brno University of Technology（布尔诺技术大学）；Athens University of Economics and Business（雅典经济与商业大学）；Omilia（欧米利亚公司）；Archimedes/Athena R.C.（阿基米德/雅典娜研究中心）
本文提出轻量级框架CA-MHFA，通过分组可学习查询与共享键值融合上下文信息，有效建模局部时间依赖，在VoxCeleb上以更少参数超越复杂模型，并在多任务中展现强泛化能力。
2024-09-23 cs.SD eess.AS
TARNet: A Temporal-Aware Multi-Scale Architecture for Closed-Set Speaker Identification
College of Computing, University Mohammed VI Polytechnic（穆罕默德六世理工学院计算机学院）
本文提出TARNet，一种轻量级时序感知表示网络，通过多阶段时序编码器和注意力统计池化模块，有效融合多尺度时序信息，提升封闭集说话人识别性能。
2026-05-08 cs.SD
A Reinforcement Learning Framework for Online Speaker Diarization
Columbia University（哥伦比亚大学）；New York University（纽约大学）
说话人日志是一项在每个给定时间戳用说话人的身份标记音频或视频记录的任务。在这项工作中，我们提出了一种新的机器学习框架，进行实时多说话人日记和识别，而无需事先注册和预训练，在一个完全在线和强化学习设置。我们的框架结合了嵌入提取，聚类和重新分割到同一个问题作为一个在线决策问题。我们讨论了实际的考虑和先进的技术，如离线强化学习，半监督，和领域自适应，以解决有限的训练数据和分布环境的挑战。我们的方法认为说话人日记作为一个完全在线学习问题的说话人识别任务，代理接收任何训练集部署之前没有预训练，并学会检测扬声器的身份在飞行中通过奖励反馈。说话人日记化的强化学习方法的范例呈现了一种自适应、轻量级和可推广的系统，该系统对于多用户电话会议是有用的，其中许多人可能在没有提前进行大量预注册的情况下来来去去。最后，我们提供了一个桌面应用程序，使用我们提出的方法作为概念证明。据我们所知，这是第一种将强化学习方法应用于说话人日记化任务的方法。
2023-02-21 cs.AI cs.HC cs.LG
Rethinking Leveraging Pre-Trained Multi-Layer Representations for Speaker Verification
School of Industrial and Management Engineering（工业与管理工程学院）
本文提出LAP和ASTP的轻量级说话人验证模型，在减少训练时间的同时实现最先进的性能。
2025-12-15 cs.AI cs.SD
Kiwano: A Cutting-Edge Open-Source Toolkit for Speaker Verification
Avignon University（阿维尼翁大学）
本文介绍Kiwano，一个基于PyTorch的轻量级可扩展开源工具包，提供标准化流程、预训练模型和多种架构集成，旨在降低门槛并标准化评估，推动说话人验证研究与开发。
2026-06-23 cs.LG cs.SD
Parameter-efficient transfer learning of pre-trained Transformer models for speaker verification using adapters
Brno University of Technology（布尔诺理工大学）；Omilia - Conversational Intelligence（Omilia对话智能公司）；Tencent AI Lab（腾讯人工智能实验室）
近年来，预训练的Transformer模型在语音处理领域受到越来越多的关注，这要归功于它们在各种下游任务中的巨大成功。然而，大多数微调方法都会更新预训练模型的所有参数，随着模型大小的增加，这变得令人望而却步，有时会导致小数据集的过拟合。在本文中，我们进行了全面的分析，应用参数有效的迁移学习（PETL）方法，以减少所需的可学习参数，以适应说话人验证任务。具体来说，在微调过程中，预先训练的模型被冻结，只有插入每个Transformer块中的轻量级模块是可训练的（一种称为适配器的方法）。此外，为了提高跨语言低资源场景中的性能，Transformer模型在小数据集上直接微调之前，会在大的中间数据集上进一步调优。更新少于4%的参数，（我们提出的）基于PETL的方法实现了与完全微调方法相当的性能（Vox 1-O：0.55%，Vox 1-E：0.82%，Vox 1-H：1.73%）。
2022-10-28 cs.SD eess.AS eess.SP
Text-Dependent Speaker Verification (TdSV) Challenge 2024: Team Naive System Report
Self-Organized and Independent Participants（自组织和独立参与者）
本文提出了一种2024年TdSV挑战的系统，通过适应现有先进神经网络并设计轻量模型，实现了MinDCF 0.0461和EER 1.3%的性能，展示了多模型集成学习的有效性。
2026-05-14 cs.LG cs.SD
LightCAM: A Fast and Light Implementation of Context-Aware Masking based D-TDNN for Speaker Verification
Zhejiang University of Technology（浙江工业大学）；Hangzhou Jet-voice Technology Co., Ltd.（杭州捷声技术有限公司）
针对TDNN计算复杂度高的问题，提出轻量级模型LightCAM，结合DSM和MFA优化D-TDNN，在VoxCeleb上取得更优性能且降低计算成本。
2024-02-12 cs.CL cs.SD eess.AS
Efficient Adapter Tuning of Pre-trained Speech Models for Automatic Speaker Verification
University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对自监督语音模型全量微调成本高且易过拟合的问题，本文提出并行适配器框架，仅更新5%参数即可在VoxCeleb1上优于全量微调和其他参数高效迁移学习方法。
2024-03-01 cs.LG cs.SD eess.AS
Speaker Verification with Speech-Aware LLMs: Evaluation and Augmentation
Electrical and Computer Engineering Department, Johns Hopkins University, Baltimore, MD, USA（约翰霍普金斯大学电气与计算机工程系）；Human Language Technology Center of Excellence, Johns Hopkins University, Baltimore, MD, USA（约翰霍普金斯大学人机语言技术中心卓越中心）
提出模型无关的评分协议评估语音感知LLM的说话人区分能力（EER>20%），并通过注入冻结的ECAPA-TDNN说话人嵌入和LoRA微调，实现接近专用系统的性能（EER 1.03%）。
2026-06-18 cs.AI cs.SD
Lightweight Target-Speaker-Based Overlap Transcription for Practical Streaming ASR
University of West Bohemia in Pilsen（西波西米亚大学）
提出一种轻量级基于目标说话人的流式ASR扩展方法，结合SI与SC模型及紧凑重叠检测器，在计算量仅增44%下将重叠语音WER从68.0%降至35.78%，实现高效可扩展的重叠转录。
2025-06-25 cs.SD eess.AS
VANI: Very-lightweight Accent-controllable TTS for Native and Non-native speakers with Identity Preservation
NVIDIA（英伟达）
我们介绍VANI，一个非常轻量级的多语言口音可控的语音合成系统。我们的模型建立在RADMMM提出的解纠缠策略，并支持显式控制口音，语言，扬声器和细粒度的$F_0$和能量功能的语音合成。我们利用为LIMMITS 2023发布的印度语言数据集，作为ICASSP信号处理大挑战的一部分，合成3种不同语言的语音。我们的模型支持转移说话人的语言，同时保留他们的声音和目标语言的本地口音。对Track $1$采用大参数RADMMM模型，对Track $2$和$3$采用轻量级VANI模型。
2023-03-14 cs.LG cs.SD eess.AS
Multi-Utterance Speech Separation and Association Trained on Short Segments
Signal Processing Research Center, Tampere University, Tampere, Finland（塔尔皮奥大学信号处理研究中心）；Nokia Technologies, Espoo, Finland（诺基亚技术）
本文提出频率-时间循环神经网络FTRNN，以0.9M参数在10秒短片段上训练，无需分段即可处理21-121秒长音频，实现多话语语音分离并保持说话人关联。
2025-07-03 cs.SD eess.AS
Unseen Speaker and Language Adaptation for Lightweight Text-To-Speech with Adapters
本文针对轻量级文本转语音系统，通过适配器实现未见说话人和语言的跨语言适配，避免灾难性遗忘，提出口音母语程度的客观指标，并分析适配器配置等因素的影响。
2025-08-25 cs.CL cs.LG cs.SD
VoiceTailor: Lightweight Plug-In Adapter for Diffusion-Based Personalized Text-to-Speech
Seoul National University (SNU)（首尔国立大学）；NVIDIA（英伟达）；AIIS（人工智能融合研究院）；ASRI（先进科学技术研究院）；INMC（纳米集成技术研究所）；ISRC（智能社会研究中心）
VoiceTailor通过在预训练扩散TTS模型中结合LoRA适配器与指导技术，仅微调0.25%参数即实现与现有模型相当的说话人自适应性能及强鲁棒性。
2024-08-28 cs.SD eess.AS
A lightweight dual-stage framework for personalized speech enhancement based on DeepFilterNet2
Orosound（奥罗桑德公司）；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎综合理工学院电信巴黎理工学院LTCI实验室）
针对现有个性化语音增强模型计算量大、不适用于嵌入式设备的问题，本文基于DeepFilterNet2提出轻量级双阶段个性化方法，通过优化说话人嵌入位置和定制训练策略，在低计算开销下大幅提升模型性能。
2024-04-11 cs.SD eess.AS
EDITnet: A Lightweight Network for Unsupervised Domain Adaptation in Speaker Verification
语言不匹配导致的性能下降是将说话人确认系统应用于不同语言的语音数据时的常见问题。本文提出了一个域转移网络，命名为EDITnet，以减轻语言不匹配的问题，说话人嵌入，而不需要说话人标签。该网络利用条件变分自动编码器将嵌入从目标域转移到源域。一个自监督学习策略施加在转移的嵌入，以增加嵌入之间的余弦距离从不同的发言人。在EDITnet的训练过程中，嵌入提取模型是固定的，无需微调，这使得训练效率高，成本低。在Voxceleb和CN-Celeb上的实验表明，使用ECAPA-TDNN 512，EDITnet传输的嵌入比未传输的嵌入高出约30%。性能改进也可以通过其他嵌入提取模型来实现，例如，TDNN，SE-ResNet34.
2022-06-15 eess.AS
LSZone: A Lightweight Spatial Information Modeling Architecture for Real-time In-car Multi-zone Speech Separation
Huawei Technologies Co., Ltd.（华为技术有限公司）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；School of Software, Northwestern Polytechnical University（西北工业大学软件学院）
本文提出LSZone，一种用于实时车内多区域语音分离的轻量级架构，通过结合Mel频谱图与IPD的SpaIEC模块及轻量Conv-GRU CNP模块高效建模空间信息，在0.56G MACs和0.37 RTF下实现优异性能。
2025-10-12 cs.AI cs.SD
DiaPer: End-to-End Neural Diarization with Perceiver-Based Attractors
Brno University of Technology（布尔诺理工大学）；Omilia（奥米利亚公司）；Athens University of Economics and Business（雅典经济与商业大学）
本文提出 DiaPer 模型，用基于 Perceiver 的模块替换 EEND-EDA 中的 EDA 模块，在 Callhome 等十多个数据集上实现更优性能、更准确的说话人数量估计及更快推理，并开源代码与模型。
2024-06-01 cs.SD eess.AS
Lightweight speech enhancement guided target speech extraction in noisy multi-speaker scenarios
MiLM Plus, Xiaomi Inc（小米公司 MiLM 实习项目）
本文提出轻量语音增强模型GTCRN，通过改进目标语音提取方法，在噪声多说话人场景中提升语音增强性能，实验显示SISDR、PESQ和STOI均有显著提升。
2026-03-13 eess.AS
MeanVC: Lightweight and Streaming Zero-Shot Voice Conversion via Mean Flows
MeanVC通过引入均值流和扩散对抗后训练，实现轻量级、高效的零样本语音转换，提升语音质量和效率。
2025-12-21 cs.SD eess.AS
Few-Shot Speaker Identification Using Lightweight Prototypical Network with Feature Grouping and Interaction
本文提出一种轻量级原型网络少样本说话人识别方法，通过特征分组与交互降低计算复杂度和模型规模，在多个数据集上取得更高准确率，适用于资源受限终端。
2023-05-31 eess.AS
TripleC Learning and Lightweight Speech Enhancement for Multi-Condition Target Speech Extraction
MiLM Plus, Xiaomi Inc（小米公司 MiLM Plus）
本文提出TripleC学习策略，通过跨条件一致性学习提升多条件目标语音提取的鲁棒性，实验表明其在复杂场景下的优越性能。
2026-03-13 eess.AS
Online Audio-Visual Autoregressive Speaker Extraction
Alibaba Group（阿里巴巴集团）；Singapore National University of Singapore（新加坡国立大学）
本文提出在线音视频说话人提取模型，通过轻量级视觉前端和自回归声学编码器利用历史分离语音信息，在LRS3上以极低参数量达到先进性能，并在注意力切换时保持鲁棒。
2025-06-02 cs.SD eess.AS
SV-Mixer: Replacing the Transformer Encoder with Lightweight MLPs for Self-Supervised Model Compression in Speaker Verification
提出首个完全基于MLP的学生编码器SV-Mixer，通过三个轻量级模块替换Transformer，在大幅降低参数和计算成本的同时，实现接近教师模型的说话人验证准确率。
2025-09-17 eess.AS
Lightweight Zero-shot Text-to-Speech with Mixture of Adapters
NTT Corporation（NTT公司）
本文提出一种基于适配器混合的轻量级零样本TTS方法，通过将MoA模块集成到非自回归模型的解码器和方差适配器中，以少于40%的参数和1.9倍推理速度实现优于基线的高质量语音合成。
2024-07-01 cs.CL cs.LG cs.SD
U-Mamba-Net: A highly efficient Mamba-based U-net style network for noisy and reverberant speech separation
Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）；School of Informatics, Daido University（大同大学信息学学部）
针对语音分离模型计算量过大的问题，提出轻量级U-mamba-net模型，通过将Mamba作为特征滤波器与U-Net交替使用，在Libri2mix上以极低计算成本实现了性能提升。
2024-12-24 cs.LG cs.SD eess.AS
Lightweight Speaker Verification Using Transformation Module with Feature Partition and Fusion
针对低资源终端说话人验证部署难题，提出即插即用的特征划分与融合变换模块，可在 AMCRN、ResNet34 和 ECAPA-TDNN 中显著降低复杂度并保持较低等错误率。
2023-12-06 eess.AS
Fast-VGAN: Lightweight Voice Conversion with Explicit Control of F0 and Duration Parameters
STMS Lab（STMS实验室）
本文提出 Fast-VGAN，一种基于卷积神经网络的轻量级语音转换方法，通过显式条件控制 F0、音素序列、强度和说话人身份，在保持高可懂度和说话人相似度的同时实现灵活的语音变换。
2025-07-07 cs.AI cs.SD eess.AS
Improvement Speaker Similarity for Zero-Shot Any-to-Any Voice Conversion of Whispered and Regular Speech
FluentaAI
提出SpeakerVC模型，实现轻量级流式零样本有声与耳语语音转换，并探索提升说话人身份迁移质量的方法。
2024-08-21 cs.SD eess.AS
Towards Lightweight and Stable Zero-shot TTS with Self-distilled Representation Disentanglement
Zhejiang University（浙江大学）；AMAP（中国农业科学院农业资源与农业区划研究所）
针对现有零样本TTS依赖大模型与大数据、部署成本高且有数据安全风险的问题，提出带自蒸馏表征解耦的轻量稳定系统，兼具优异性能、高稳定性与计算效率。
2025-01-15 cs.AI cs.SD eess.AS
Multi-Channel Replay Speech Detection using Acoustic Maps
Faculty of Information Technology（信息科技学院）；Commmunication Sciences（通信科学）；Tampere University（塔尔皮奥大学）；Tampere, Finland（芬兰塔尔皮奥）
本文提出利用声学地图作为新型空间特征表示方法，用于多通道录音中的回放语音检测，通过轻量级卷积神经网络在ReMASC数据集上实现了竞争性性能，展示了声学地图在不同设备和声学环境下的紧凑且物理可解释的特征空间。
2026-05-20 cs.LG cs.SD eess.AS
Don't Listen to Me: A Lightweight, Low-Latency Model for Own-Voice Cancellation in Far-Field Speech Enhancement
WS Audiology（唯听）；DTU Compute, Technical University of Denmark（丹麦技术大学计算系）；Verth
提出自声消除（OVC）任务，通过低延迟时域模型（2ms算法延迟）去除目标说话人语音，保留其他语音，并采用Mamba-MinGRU掩蔽器实现高效计算。
2026-06-23 eess.AS
CabinSep: IR-Augmented Mask-Based MVDR for Real-Time In-Car Speech Separation with Distributed Heterogeneous Arrays
Northwestern Polytechnical University（西北工业大学）；Shanghai ZEEKR Blue New Energy Technology Co., Ltd.（上海ZEKR蓝新能源科技有限公司）
针对车内多说话人重叠语音导致ASR识别错误的问题，本文提出轻量级CabinSep方法，结合空间特征、推理阶段MVDR与IR数据增强，以极低计算量实现了优于SOTA模型的识别错误率降低效果。
2025-09-01 cs.AI cs.HC cs.SD
Autoregressive Guidance of Deep Spatially Selective Filters using Bayesian Tracking for Efficient Extraction of Moving Speakers
本文提出基于贝叶斯跟踪的自回归引导方法，用于高效提取移动说话人，通过轻量级跟踪算法和自回归引导深度空间滤波器，提升语音增强性能。
2026-09-10 cs.LG cs.SD eess.AS
Transforming the Embeddings: A Lightweight Technique for Speech Emotion Recognition Tasks
本文比较了五种预训练模型嵌入在语音情感识别中的效果，发现x-vector嵌入表现最佳，并提出结合x-vector与MFCC的轻量级方法，在CREMA-D上达到与SOTA相当的准确率。
2023-05-29 eess.AS
