PACE: Pretrained Audio Continual Learning
Department of Psychological and Cognitive Sciences, Tsinghua University（心理与认知科学系，清华大学）
PACE通过改进的分析分类器和自适应子空间正交PEFT，提升预训练模型在音频持续学习中的鲁棒性和可扩展性。
2026-02-03 cs.LG cs.SD
Advancing Continual Learning for Robust Deepfake Audio Classification
University of New South Wales（新南威尔士大学）
针对音频深度伪造检测中未知攻击识别难、传统重训练存储成本高的问题，提出持续学习方法CADE，通过固定内存存样、双层蒸馏损失实现旧知识保留与性能提升，在ASVspoof2019上优于基线。
2024-07-14 cs.SD eess.AS
Continual Learning for Fake Audio Detection
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
虚假音频攻击成为说话人确认系统的主要威胁。虽然目前的检测方法已经取得了可喜的成果，在特定的情况下，他们遇到的困难，看不见的欺骗数据。为纳入新数据，从零开始进行了微调和再培训。然而，微调会导致先前数据的性能下降。重新训练需要大量的时间和计算资源。此外，在某些情况下，由于隐私原因，以前的数据不可用。针对上述问题，本文提出了一种基于连续学习的无遗忘伪检测方法，使模型能够增量地学习新的欺骗攻击。在损失函数中引入知识蒸馏损失，以保持原模型的记忆。假设真实语音在不同场景中的分布是一致的，额外的嵌入相似性损失被用作另一个约束，以进一步进行正样本对齐。实验在ASVspoof2019数据集上进行。实验结果表明，该方法的平均等出错率相对降低了81.62%。
2021-04-15 cs.LG cs.SD eess.AS
Audio-Visual Continual Test-Time Adaptation without Forgetting
本文提出AVReCAP方法，在测试时无需源数据即可提升模型性能，通过动态检索最佳融合层参数减少灾难性遗忘。
2026-07-21 cs.LG cs.SD
Taming Modality Entanglement in Continual Audio-Visual Segmentation
School of Artificial Intelligence, UCAS（人工智能学院，UCAS）；MAIS, Institute of Automation（自动化研究所MAIS）；School of Intelligent Science and Technology, University of Science and Technolog Beijing（智能科学与技术学院，北京理工大学）
本文提出CAVS任务和CMR框架，通过解决多模态语义漂移和共现混淆问题，提升持续音频-视觉分割性能。
2026-09-02 cs.AI cs.CV cs.MM
Unlocking the Power of Function Vectors for Characterizing and Mitigating Catastrophic Forgetting in Continual Instruction Tuning
University of Science and Technology of China（中国科学技术大学）；Zhejiang University（浙江大学）
针对持续指令调优中灾难性遗忘问题，本研究通过分析函数向量发现遗忘受任务和模型双重影响，提出函数向量引导的正则化训练方法，有效缓解遗忘并验证了理论框架。
2025-04-16 cs.AI cs.LG
AlphaWiSE: Adaptive Weight Interpolation for Continual Multimodal Representation Learning
Google DeepMind（谷歌DeepMind）
研究连续多模态表示学习中跨模态对齐被破坏的问题，提出AlphaWiSE方法，通过事后权重空间插值，由两个冻结源检查点拟合系数实现插值检查点，在多模态检索实验中相比基线有持续改进。
2026-07-17 cs.CV cs.LG
Modality-Inconsistent Continual Learning of Multimodal Large Language Models
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Carnegie Mellon University（卡内基梅隆大学）；George Mason University（乔治·梅森大学）
本文提出MICL，一种针对多模态大语言模型的持续学习场景，涉及不一致的模态和变化的任务类型。通过伪目标生成模块和基于指令的知识蒸馏，解决任务类型转移导致的遗忘问题，实验验证了方法的有效性。
2026-05-12 cs.AI cs.CL cs.CV
Online Continual Learning in Keyword Spotting for Low-Resource Devices via Pooling High-Order Temporal Statistics
Samsung Research UK（三星英国研究院）
针对嵌入式设备关键词识别的在线持续学习需求，提出时序感知池化构建增强特征空间，结合TAP-SLDA方法增量更新类别高斯模型，在GSC数据集上取得11.3%的相对平均性能提升。
2023-07-24 cs.LG cs.SD eess.AS
Continual Learning of New Sound Classes using Generative Replay
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mila--Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；Adobe Research（奥多比研究院）
持续学习包括在一系列数据集上递增地训练模型，并在所有数据集的联合上进行测试。在本文中，我们研究了声音分类问题的持续学习，我们希望改进已经训练好的模型来学习新的声音类别。在实践中，人们并不想保留所有过去的训练数据并从头开始重新训练，但是天真地用新数据（集）更新模型会导致已经学习的任务的退化，这被称为“灾难性遗忘”。“我们开发了一个生成重放程序来生成训练音频频谱图数据，而不是保留旧的训练数据集。我们表明，通过逐步完善的分类器与生成重放一个发电机，是所有以前的训练数据的大小的4%匹配的性能，完善的分类器保持20%的所有以前的训练数据。因此，我们可以扩展经过训练的声音分类器来学习新的类，而不必保留以前使用的数据集。
2019-06-03 cs.LG cs.SD eess.AS
Visual Representation Matters: Exploiting Temporal Differences in Video-to-Audio Generation
针对现有基于条件扩散的视频到音频（V2A）生成方法需额外网络或强归纳偏置的问题，提出TD-V2A框架，利用时间差异（TD）增强视觉条件，提升了V2A生成质量。
2026-08-06 cs.CV cs.LG cs.SD
Do You Remember? Overcoming Catastrophic Forgetting for Fake Audio Detection
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）
针对虚假音频检测中的灾难性遗忘问题，提出正则化自适应权重修改（RAWM）持续学习算法，依据真假音频比例自适应调整权重修改方向并引入正则化约束，在跨数据集实验中显著提升性能。
2023-08-07 cs.LG cs.SD eess.AS
Rehearsal with Auxiliary-Informed Sampling for Audio Deepfake Detection
Institute of Innovation, Science and Sustainability（创新、科学与可持续性研究所）；School of Computing Technologies（计算技术学院）
RAIS通过辅助信息引导的样本选择提升音频深度伪造检测的持续学习性能，实现更低的错误率。
2025-05-30 cs.AI cs.CR cs.LG
Incremental learning for audio classification with Hebbian Deep Neural Networks
Signal Processing Research Centre, Tampere University, Tampere, Finland（塔尔库大学信号处理研究中心，芬兰塔尔库）；Department of Electronics, Information and Bioengineering (DEIB), Politecnico di Milano, Italy（米兰理工学院电子、信息与生物工程系）
本文提出基于Hebbian学习的核可塑性方法，用于音频分类增量学习，通过选择性调节网络核实现新信息学习与旧知识保留，实验显示在ESC-50数据集上准确率提升且稳定性更优。
2026-04-20 cs.LG eess.AS
Continual Cross-Modal Generalization
Zhejiang University（浙江大学）
本文提出持续跨模态泛化方法，通过CMoE-Adapter和伪模态重放机制，利用中介模态将新模态增量映射到共享离散码本，在保留先验知识的同时实现强跨模态泛化性能。
2025-04-01 cs.CV
Continual Learning for On-Device Speech Recognition using Disentangled Conformers
Meta Inc.（Meta公司）
本文提出解耦 Conformer 模型与 DisentangledCL 持续学习算法，通过冻结核心网络和可调增强网络实现计算高效的说话人特定端侧语音识别自适应，并在通用和个性化 ASR 任务上显著优于基线。
2022-12-13 cs.CL cs.LG cs.SD
Towards Robust Audio Deepfake Detection: A Evolving Benchmark for Continual Learning
Institute of Automation（自动化研究所）；Chinese Academy of Sciences（中国科学院）；Tsinghua University（清华大学）
针对音频深度伪造技术快速迭代下传统微调检测方法适配性不足、持续学习缺乏专用评估框架的问题，本研究提出演进式基准EVDA，整合多类新旧伪造音频数据集，支持多种主流持续学习方法并提供开放扩展接口，助力鲁棒检测算法研发。
2024-08-13 cs.SD eess.AS
Understanding Generalization and Forgetting in In-Context Continual Learning
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）；University of Buffalo（布法罗大学）
提出首个上下文持续学习理论框架，分析预训练Transformer在单提示中处理多序列任务时的泛化与遗忘行为，揭示注意力机制导致的干扰和偏差。
2026-05-27 cs.LG
DDFAD: Dataset Distillation Framework for Audio Data
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）
本文首次提出音频数据的数据集蒸馏框架DDFAD，通过融合差分MFCC特征和匹配训练轨迹蒸馏，并基于Griffin-Lim算法重建音频信号，在多种音频数据集上验证了有效性，并展示了在持续学习和神经架构搜索中的应用潜力。
2024-07-15 cs.AI cs.DB cs.SD
Autonomous Deep Learning: Continual Learning Approach for Dynamic Environments
Nanyang Technological University（南洋理工大学）
由于传统深度学习方法的静态和离线性质，深度神经网络（DNN）解决数据流问题的可行性仍然需要深入研究。提出了一种深度持续学习算法--自主深度学习（ADL）。与传统的深度学习方法不同，ADL具有灵活的结构，其网络结构可以在没有初始网络结构的情况下通过自构建网络结构从头开始构建。ADL通过具有能够在可塑性和稳定性之间实现权衡的不同深度结构来专门解决灾难性遗忘。提出了网络重要性公式来驱动隐节点的生长和修剪机制。漂移检测方案（DDS）是为了信号的分布变化，导致一个新的隐藏层的创建数据流。最大信息压缩指数（MICI）方法作为消除冗余层的复杂度降低模块起着重要的作用。ADL的有效性进行了数值验证下，在终身环境中使用九个流行的数据流问题的prequential测试，然后训练程序。数值结果表明，ADL始终优于最近的持续学习方法，同时表征网络结构的自动构建。
2020-01-09 cs.LG stat.ML
Revisiting Deepfake Detection: Chronological Continual Learning and the Limits of Generalization
Sapienza University of Rome（罗马萨皮恩扎大学）；University Ibn Khaldoun of Tiaret（蒂阿雷特伊本·khaldoun大学）；University of Udine（乌迪内大学）
该研究将深度伪造检测重构为持续学习问题，提出高效框架模拟7年时间演进，引入C-AUC和FWT-AUC指标，发现当前方法对未来生成器泛化接近随机，提出非通用深度伪造分布假设。
2025-08-29 cs.AI cs.CV cs.GR
Continual Visual Anomaly Detection on the Edge: Benchmark and Efficient Solutions
University of Padova（帕多瓦大学）
本文提出边缘持续视觉异常检测的首个全面基准测试，评估了七种模型在三种轻量级架构上的表现，并提出Tiny-Dinomaly模型在内存和计算成本上显著降低的同时提升Pixel F1指标。
2026-08-11 cs.AI cs.CV
Continual Learning for Multiple Modalities
School of Computer Science and Engineering（计算机科学与工程学院）
针对现有持续学习方法仅适用单一模态的局限，提出一种多模态持续学习框架，通过自调节表示偏移巩固模态内知识并选择性整合跨模态信息，同时引入模态嵌入重对齐策略，有效缓解了多模态场景下的知识遗忘与干扰问题。
2025-08-14 cs.AI cs.CV
SONAR: Self-Distilled Continual Pre-training for Domain Adaptive Audio Representation
Graduate School of Informatics, Kyoto University, Japan（京都大学信息科学研究生院）
SONAR通过自我蒸馏和持续预训练，实现了领域自适应音频表示的高效学习与遗忘抑制。
2026-01-23 cs.SD eess.AS
Transformers for Supervised Online Continual Learning
Google Deepmind（谷歌DeepMind）
本文提出将 Transformer 的上下文条件机制、Transformer-XL 式在线 SGD 训练与回放结合，用于有监督在线持续学习，并在 CLOC 基准上显著超越现有最优结果。
2024-03-03 cs.LG
LLMs Can Evolve Continually on Modality for X-Modal Reasoning
Dalian University of Technology（大连理工大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Tsinghua University（清华大学）；The Hong Kong University of Science and Technology（香港科技大学）
提出PathWeave框架，通过AnA适配器和MoE门控模块实现MLLMs的模态持续学习，无需联合模态预训练，在MCL基准上表现优异且减少98.73%训练负担。
2024-11-12 cs.AI cs.CL cs.CV
Continual Audio Deepfake Detection via Universal Adversarial Perturbation
School of Electronic Science and Engineering, Xiamen University, China（厦门大学电子科学与技术学院）；School of Informatics, Xiamen University, China（厦门大学信息学院）
本文提出一种基于全域对抗扰动的音频深度伪造检测框架，通过整合预训练自监督模型实现持续学习，有效应对不断演变的深度伪造攻击。
2025-11-25 cs.SD
The Forgetting-Retention Dilemma: Certified Unlearning Theory in Continual Learning
Singapore University of Technology and Design（新加坡科技设计大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文建立持续学习与机器遗忘之间的理论桥梁，通过定义后遗忘超额风险揭示保留历史知识与定向遗忘的权衡，并分析梯度法与海森法在遗忘损失和存储开销上的优劣，提出混合策略。
2026-06-29 cs.LG
Adapter Incremental Continual Learning of Efficient Audio Spectrogram Transformers
Rapid-Rich Object Search (ROSE) Lab, Nanyang Technological University（南洋理工大学快速丰富目标搜索（ROSE）实验室）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；DSO National Laboratories（DSO国家实验室）
本文提出用于音频分类器任务增量持续学习的AI-CL方法，结合参数高效的卷积适配器和计算高效的频率-时间分解注意力（FTA），在大幅减少可训练参数和计算量的同时有效防止灾难性遗忘。
2024-01-02 cs.SD eess.AS
DeCoR: Defy Knowledge Forgetting by Predicting Earlier Audio Codes
Department of Electrical Engineering, Columbia University（哥伦比亚大学电气工程系）
DeCoR通过从延迟码本预测量化索引来蒸馏早期模型知识，防止持续音频学习中的灾难性遗忘，提升声学场景分类精度且开销极小。
2023-05-29 cs.LG cs.SD eess.AS
AI Autonomy : Self-Initiated Open-World Continual Learning and Adaptation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Intel Labs（英特尔实验室）；PAR Government Systems Corporation（PAR政府系统公司）
本文针对开放世界中AI智能体需自主持续学习并适应新颖环境的问题，提出SOLA框架，并通过实现的智能体验证可行性。
2023-04-19 cs.AI cs.CL cs.HC
Unlocking the Power of Rehearsal in Continual Learning: A Theoretical Perspective
Ohio State University（俄亥俄州立大学）；University of Kentucky（肯塔基大学）；University of Houston（休斯顿大学）
本文从理论视角分析了持续学习中的排练策略，证明在任务相似度低时顺序排练优于并行排练，并提出混合排练方法以提升模型性能。
2025-05-30 cs.LG
Rethinking Continual Learning for Speech and Audio: A Representation-Centric Taxonomy and Open Problems
University of Melbourne, Melbourne, Australia（墨尔本大学）
本文从表征中心视角重新审视语音持续学习，提出基于表征几何演化的新分类法，并指出现有假设与语音基础模型行为的关键不匹配，最后概述开放挑战与未来方向。
2026-05-29 cs.SD eess.AS
What Affects the Performance of Fake Audio Detection? Analyzing Factors in a Continual Learning Setting
本研究在持续学习环境下分析攻击者架构、训练数据集、说话人多样性和任务顺序对伪造音频检测性能的影响，发现数据集伪影和任务顺序等因素显著影响系统鲁棒性。
2026-09-17 cs.SD
Delta: A Cloud-assisted Data Enrichment Framework for On-Device Continual Learning
Shanghai Jiao Tong University（上海交通大学）；Beijing Big Data Centre（北京大数据中心）
本文提出云辅助数据增强框架Delta，通过目录数据集、软数据匹配与最优采样安全利用云端数据，缓解设备端持续学习的数据稀缺和遗忘问题。
2024-10-24 cs.LG
MetaCLBench: Meta Continual Learning Benchmark on Resource-Constrained Edge Devices
Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Samsung AI Center-Cambridge（三星AI中心-剑桥）；The Hong Kong Polytechnic University（香港理工大学）
MetaCLBench研究了资源受限边缘设备上元持续学习方法的准确性与部署性能，通过真实物联网设备评估六个方法，发现复杂架构未必更优，提供部署指南和框架发布。
2026-01-25 cs.AI cs.LG
UniWhisper: Efficient Continual Multi-task Training for Robust Universal Audio Representation
Jilin University（吉林大学）；University of Electronic Science and Technology of China（电子科技大学）；Hunan University（湖南大学）；Shandong University（山东大学）
UniWhisper通过统一多任务训练框架，实现了高效持续学习，提升通用音频表示的鲁棒性和性能。
2026-03-09 cs.AI cs.SD
Region-Based Optimization in Continual Learning for Audio Deepfake Detection
Anhui University（安徽大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）
提出基于区域的持续学习优化方法RegO，通过Fisher信息矩阵划分神经元区域并自适应优化，结合艾宾浩斯遗忘机制，在音频深度伪造检测中实现21.3%的EER改进，并适用于其他任务。
2024-12-16 cs.AI cs.SD eess.AS
Characterizing dynamically varying acoustic scenes from egocentric audio recordings in workplace setting
University of Southern California（南加州大学）
能够对声学场景进行检测和分类的设备具有许多应用，诸如提供上下文感知的用户体验。在本文中，我们解决的任务，从可穿戴麦克风收集的录音在工作场所设置的声学场景的特征。声学场景，跟踪与蓝牙收发器，动态变化与时间从自我中心的角度来看，移动用户。我们的数据集包含从医院的临床提供者收集的经验采样长音频记录，他们在多个轮班期间佩戴音频徽章。为了处理长时间的自我中心记录，我们提出了一个基于时间延迟神经网络（TDNN）的分段级建模。实验表明，TDNN在声学场景分类任务中优于其他模型。我们调查的影响，主要发言人的讲话确定声学场景从音频徽章，并提供了不同的模型之间的性能比较。此外，我们探讨了用户所经历的声学场景的序列和他们的工作性质之间的关系，并发现我们的模型预测的场景序列往往具有类似的关系。初步的有希望的结果揭示了许多研究方向的声学场景分类通过可穿戴设备以及自我中心的分析，动态声学场景中遇到的用户。
2019-11-10 cs.LG cs.SD eess.AS
Conditional Online Learning for Keyword Spotting
SiDi（SiDi研究所）
提出一种基于SGD的设备端在线持续学习方法，通过条件模型更新机制在动态音频流中提升关键词检测模型性能并缓解灾难性遗忘。
2023-05-19 cs.LG cs.SD eess.AS
Push-Pull: Characterizing the Adversarial Robustness for Audio-Visual Active Speaker Detection
National Taiwan University（国立台湾大学）；The Chinese University of Hong Kong（香港中文大学）
视听主动说话人检测（AVASD）是一种非常成熟的检测技术，目前已成为多模态应用中不可缺少的前端。然而，据我们所知，AVASD模型的对抗性鲁棒性尚未得到研究，更不用说对此类攻击的有效防御了。在本文中，我们首次通过大量实验揭示了AVASD模型在纯音频、纯视觉和视听对抗攻击下的脆弱性。更重要的是，我们还提出了一种新的视听交互损失（AVIL），使攻击者难以找到可行的对抗性的例子下分配的攻击预算。损失的目的是推动类间嵌入分散，即非语音和语音集群，充分解开，并拉类内嵌入尽可能接近，以保持它们紧凑。实验结果表明，在多模式攻击下，AVIL比对抗训练提高了33.14 mAP（%）。
2022-10-03 cs.LG cs.MM cs.SD
Learning as Deepfakes Evolve: RF-Prompt for Continual Audio Deepfake Detection
The Hong Kong Polytechnic University（香港理工大学）；Communication University of China（中国传媒大学）；Beijing Institute of Technology（北京理工大学）
针对持续音频深度伪造检测，提出RAMI协议和RF-Prompt方法，通过共享真实提示与继承伪造专家结合软融合，在受控实验中取得最优EER。
2026-09-30 cs.AI cs.SD
Chameleon: A Multiplier-Free Temporal Convolutional Network Accelerator for End-to-End Few-Shot and Continual Learning from Sequential Data
Delft University of Technology（代尔夫特理工大学）
Chameleon通过统一学习和推理架构、高效捕捉长期时序依赖以及无矩阵乘法计算阵列，实现了端到端的少样本学习和持续学习，同时在低功耗下保持高精度。
2026-07-21 cs.AR cs.LG
Continuously Learning New Words in Automatic Speech Recognition
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
针对ASR系统在识别首字母缩写词、命名实体等缺乏标注数据的特殊词汇时易出错的问题，提出一种自监督持续学习方法，利用幻灯片引导记忆增强模型解码新词并构建适配数据集进行迭代训练，使新词召回率超80%且保持整体性能。
2025-01-29 cs.CL cs.LG
TaxaBind: A Unified Embedding Space for Ecological Applications
Washington University in St. Louis（圣路易斯华盛顿大学）
本研究提出用于生态应用的多模态统一嵌入空间TaxaBind，以物种地面图像为绑定模态，通过多模态修补技术蒸馏多模态知识，构建多个专用数据集，在多类生态任务中展现出优异的零样本与涌现能力。
2024-11-01 cs.AI cs.CL cs.CV
ChildVox: A Speech, Audio, and Large Audio-Language Model Benchmark in Understanding and Characterizing Sound across Childhood
University of Southern California（南加州大学）；The Ohio State University（俄亥俄州立大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Harvard University（哈佛大学）；Boston University（波士顿大学）；University of Miami（迈阿密大学）
提出ChildVox基准，整合17个儿童音频数据集和20多个子任务，评估多种基础模型在儿童生理声、非语言发声、规范音节和口语识别上的性能。
2026-10-08 cs.SD
Characterizing Audio Adversarial Examples Using Temporal Dependency
Shanghai Jiao Tong University（上海交通大学）；University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）；UC, Berkeley（加州大学伯克利分校）
最近的研究强调对抗性示例是对不同神经网络模型和许多下游应用的普遍威胁。尽管如此，由于独特的数据属性激发了独特而强大的学习原则，本文旨在探索它们在减轻对抗性输入方面的潜力。特别是，我们的研究结果揭示了使用音频数据中的时间依赖性来获得对抗性示例的区分能力的重要性。在自动语音识别（ASR）任务和最近的三种音频对抗攻击上进行测试，我们发现（i）从图像对抗防御开发的输入变换提供了有限的鲁棒性改进，并且对高级攻击很微妙;（ii）可以利用时间依赖性来获得对音频对抗示例的区分能力，并且抵抗我们实验中考虑的自适应攻击。我们的研究结果不仅显示了提高ASR系统鲁棒性的有希望的方法，而且还提供了利用特定领域数据属性来减轻对抗性示例的负面影响的新见解。
2019-06-05 cs.AI cs.CR cs.LG
Subspace Geometry Governs Catastrophic Forgetting in Low-Rank Adaptation
Georgia Institute of Technology（佐治亚理工学院）
子空间几何揭示低秩适应中灾难性遗忘的规律，表明遗忘受任务子空间角度影响，秩对遗忘的影响取决于子空间相似性。
2026-02-10 cs.LG
SynthASR: Unlocking Synthetic Data for Speech Recognition
Alexa Speech, Amazon.com（亚马逊Alexa语音）
端到端（E2 E）自动语音识别（ASR）模型最近已经证明了优于传统混合ASR模型的性能。训练E2 E ASR模型需要大量数据，这不仅昂贵，而且可能会增加对生产数据的依赖性。与此同时，由最先进的文本到语音（TTS）引擎生成的合成语音已经发展到接近人类的自然度。在这项工作中，我们建议在数据稀疏或难以获得ASR模型训练的应用中利用合成语音进行ASR训练（SynthASR）。此外，我们采用了一种新的多阶段训练策略来解决灾难性遗忘，通过加权多风格训练，数据增强，编码器冻结和参数正则化的混合来实现。在我们针对识别药物名称的新应用程序在内部数据集上进行的实验中，通过提出的多阶段训练使用合成音频训练ASR RNN-T模型，将新应用程序的识别性能相对提高了65%以上，而不会降低现有的一般应用程序。我们的观察表明，SynthASR在为新应用程序训练最先进的大规模E2 E ASR模型方面具有很大的潜力，同时降低了成本和对生产数据的依赖。
2021-06-14 cs.LG cs.SD eess.AS
FedSpeech: Federated Text-to-Speech with Continual Learning
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
提出基于持续学习的联邦文本到语音合成架构FedSpeech，通过渐进剪枝掩码、选择性掩码和私有说话人嵌入解决少样本与隐私挑战，在多说话人质量和相似度上表现优异。
2023-05-22 cs.SD eess.AS
Listen, Analyze, and Adapt to Learn New Attacks: An Exemplar-Free Class Incremental Learning Method for Audio Deepfake Source Tracing
The University of Melbourne（墨尔本大学）；Fortemedia Singapore（新加坡Fortemedia）
针对音频深度伪造溯源的类别增量学习中存在的灾难性遗忘问题，提出AnaST方法，固定特征提取器并以闭式解析解单轮更新分类器，性能优于基线，兼顾隐私与内存效率。
2025-05-20 cs.SD eess.AS
Kimi-Audio Technical Report
Kimi Team（Kimi团队）
Kimi-Audio 是一个开源音频基础模型，采用 12.5Hz 音频分词器和基于 LLM 的架构，通过超过 1300 万小时音频数据预训练，在语音识别、音频理解等基准上达到最先进性能。
2025-04-25 cs.AI cs.CL cs.LG
CultureMERT: Continual Pre-Training for Cross-Cultural Music Representation Learning
针对现有音乐基础模型跨文化效果有限的问题，提出两阶段持续预训练的多文化适配模型CultureMERT-95M及任务算术融合方法，在非西方音乐任务上性能提升显著且遗忘低，已开源相关模型以推动文化感知音乐模型发展。
2025-06-21 cs.AI cs.LG cs.SD
Tiny Machine Learning for Concept Drift
Politecnico di Milano（米兰理工大学）
微型机器学习（TML）是一个新的研究领域，其目标是设计能够在嵌入式系统和物联网单元中运行的机器和深度学习技术，从而满足这些普及设备在内存、计算和能源方面的严格技术限制。有趣的是，相关文献主要集中在减少机器和深度学习模型推理阶段的计算和内存需求。同时，通常假设训练在云或边缘计算系统中进行（由于更大的内存和计算需求）。这种假设导致TML解决方案可能在生成数据的过程受到概念漂移的影响时变得过时（例如，由于周期性或季节性效应、影响传感器或致动器的故障或失灵、或用户行为的改变），这是现实世界应用场景中的常见情况。在文献中，本文首次介绍了一种基于深度学习特征提取器和k-最近邻分类器的用于概念漂移的微小机器学习（TML-CD）解决方案，该解决方案集成了能够处理影响数据生成过程的概念漂移的混合自适应模块。该自适应模块不断更新（以被动的方式）TML-CD的知识库，同时，采用变化检测测试来检查变化（以主动的方式），以通过去除过时的知识来快速适应概念漂移。图像和音频基准测试的实验结果表明，所提出的解决方案的有效性，而移植的TML-CD上的三个现成的微控制器单元显示的可行性，提出了在现实世界中的普适系统。
2021-07-30 cs.LG
