Hardware-Aware Federated Learning for Speech Emotion Recognition
Computer Engineering（计算机工程）；Istanbul Technical University（伊斯坦布尔技术大学）；Department of Computer Technologies（计算机技术系）；Istanbul University-Cerrahpaşa（伊斯坦布尔大学-塞拉赫帕沙）
提出一种硬件感知联邦学习框架，通过硬件性能分析、Top-K客户端选择和自适应本地轮数，在IEMOCAP数据集上实现情感识别，相比FedAvg减少约36.5%训练时间和40%通信成本。
2026-05-23 cs.HC cs.LG
Semi-FedSER: Semi-supervised Learning for Speech Emotion Recognition On Federated Learning using Multiview Pseudo-Labeling
University of Southern California（南加州大学）
针对联邦学习下语音情感识别标注数据稀缺与隐私保护问题，提出半监督框架Semi-FedSER，利用多视图伪标签同时使用标注与未标注数据，在IEMOCAP和MSP-Improv上实现标签率仅20%时的良好性能。
2022-03-15 cs.CR cs.LG cs.SD
Federated learning for unpaired multimodal data
Department of Biomedical Engineering, Linköping University, Sweden（_linköping大学生物医学工程系）；Department of Computer and Information Science, Linköping University, Sweden（_linköping大学计算机与信息科学系）；Center for Medical Image Science and Visualization (CMIV), Linköping University, Sweden（_linköping大学医学影像科学与可视化中心）
本文提出通过同质Transformer模型实现联邦学习，解决无配对多模态数据的训练问题，通过公共锚点对齐和子空间稳定化微调方法，在不传输私有数据的情况下实现全局模型统一表示。
2026-11-02 cs.LG
End-to-End Speech Recognition from Federated Acoustic Models
University of Cambridge（剑桥大学）；Avignon University（阿维尼翁大学）；Telecom Paris（巴黎电信）；University of Oxford（牛津大学）；Adap GmbH（Adap有限责任公司）
在联邦学习（FL）环境下训练自动语音识别（ASR）模型近年来引起了广泛的关注。然而，在文献中的FL场景往往是人为的，并未能捕捉到真实FL系统的复杂性。在本文中，我们构建了一个具有挑战性和现实的ASR联邦实验设置，包括客户端的异构数据分布使用法语和意大利语集的CommonVoice数据集，一个大型的异构数据集，包含数千个不同的扬声器，声学环境和噪声。我们提出了第一个基于注意力的序列到序列端到端（E2 E）ASR模型与三个聚合加权策略-标准FedAvg，基于损失的聚合和一个新的字出错率（WER）为基础的聚合，在两个现实的FL场景：跨筒仓与10个客户端和跨设备与2K和4K客户端进行比较的实证研究。我们的分析E2 E ASR异构和现实的联邦声学模型提供了基础，为未来的研究和开发现实的FL为基础的ASR应用。
2021-07-09 cs.LG cs.SD eess.AS
Towards Multi-modal Transformers in Federated Learning
University of Central Florida（中佛罗里达大学）；Center for Research in Computer Vision（计算机视觉研究中心）
针对联邦学习中多模态 Transformer 训练的数据孤岛问题，提出 FedCola 框架，通过解决模态内与跨模态差距，在多种 FL 设置下显著优于现有方法。
2024-07-16 cs.CV cs.LG
Federated Pruning: Improving Neural Network Efficiency with Federated Learning
Emory University（埃默里大学）；Google LLC（谷歌有限责任公司）
自动语音识别模型需要大量的语音数据进行训练，而这些数据的收集往往会导致隐私问题。联邦学习已经被广泛使用，并且被认为是一种有效的分散技术，通过协作学习共享的预测模型，同时将数据保持在不同客户端设备上的本地。然而，客户端设备上有限的计算和通信资源为大型模型带来了实际困难。为了克服这些挑战，我们提出了联邦修剪训练联邦设置下的简化模型，同时保持类似的性能相比，完整的模型。此外，与集中式训练相比，还可以利用大量的客户端数据来改善修剪结果。我们探索不同的修剪方案，并提供我们的方法的有效性的经验证据。
2022-09-14 cs.AI cs.LG
FedTP: Federated Learning by Transformer Personalization
ShanghaiTech University（上海科技大学）；Nantong University（南通大学）；University of Technology Sydney（悉尼科技大学）
本文提出FedTP框架，通过服务器端超网络学习个性化自注意力投影矩阵，解决联邦平均对Transformer自注意力的负面影响，在非IID场景下取得最先进性能。
2023-04-18 cs.AI cs.LG
Federated learning for secure development of AI models for Parkinson's disease detection using speech from different languages
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；University Hospital RWTH Aachen（亚琛工业大学医院）；University of Antioquia（安蒂奥基亚大学）；Czech Technical University in Prague（布拉格捷克理工大学）
针对帕金森病语音检测跨机构数据共享的隐私难题，本研究采用联邦学习利用三种语言的真实语音语料训练模型，其准确率优于本地模型且接近集中训练模型，可在保护隐私的前提下提升机构协作效率与患者预后。
2023-08-21 cs.AI cs.LG eess.AS
Summary of Point Transformer with Federated Learning for Predicting Breast Cancer HER2 Status from Hematoxylin and Eosin-Stained Whole Slide Images
Towson University（陶森大学）
本研究提出基于联邦学习和点Transformer的方法，结合动态标签分布、辅助分类器与最远余弦采样，从H&E染色全切片图像预测乳腺癌HER2状态，在多站点数据上表现卓越且泛化性强。
2024-12-19 cs.AI cs.CV cs.LG
Combined Use of Federated Learning and Image Encryption for Privacy-Preserving Image Classification with Vision Transformer
Tokyo Metropolitan University（东京都立大学）
近年来，深度学习的隐私保护方法已经成为一个迫切的问题。因此，我们提出了联邦学习（FL）和加密图像的隐私保护图像分类下使用的视觉Transformer（ViT）的组合使用。所提出的方法不仅允许我们在多个参与者之间进行训练模型而不直接共享原始数据，而且还首次保护了测试（查询）图像的隐私。此外，它还可以保持与正常训练模型相同的精度。在一个实验中，所提出的方法被证明是很好的工作，没有任何性能下降的CIFAR-10和CIFAR-100数据集。
2023-03-03 cs.CR cs.CV cs.LG
Separate but Together: Unsupervised Federated Learning for Speech Enhancement from Non-IID Data
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究院）
我们提出了FEDENHANCE，一种无监督的联邦学习（FL）方法，用于多个客户端的非IID分布式数据的语音增强和分离。我们模拟了一个现实世界的场景，每个客户端只能访问一些嘈杂的录音从有限的和不相交的扬声器（因此非IID）。每个客户端使用混合不变训练来隔离训练他们的模型，同时定期向中央服务器提供更新。我们的实验表明，我们的方法实现了有竞争力的增强性能相比，IID训练在一个单一的设备上，我们可以进一步促进收敛速度和整体性能使用服务器端的迁移学习。此外，我们还证明了我们可以有效地将本地训练的客户端的更新与监督和非监督损失相结合。我们还发布了一个新的数据集LibriFSD 50 K及其创建配方，以促进FL研究声源分离问题。
2021-09-26 cs.CL cs.LG cs.SD
Attribute Inference Attack of Speech Emotion Recognition in Federated Learning Settings
语音情感识别（SER）处理语音信号以检测和表征所表达的感知情感。许多SER应用系统经常获取在客户端收集的语音数据并将其传输到远程云平台进行推理和决策。然而，语音数据不仅包含丰富的情感信息，而且还包含其他敏感的人口统计特征，如性别，年龄和语言背景。因此，希望SER系统具有对情感结构进行分类的能力，同时防止对敏感和人口统计信息的非故意/不适当的推断。联邦学习（FL）是一种分布式机器学习范式，它协调客户端协作训练模型，而无需共享其本地数据。这种训练方法似乎是安全的，可以提高隐私的SER。然而，最近的工作表明，FL方法仍然容易受到各种隐私攻击，如重建攻击和成员推断攻击。虽然这些研究中的大多数都集中在计算机视觉应用上，但在使用FL技术训练的SER系统中存在这种信息泄漏。为了评估使用FL训练的SER系统的信息泄漏，我们提出了一个属性推断攻击框架，该框架从共享梯度或模型参数推断客户端的敏感属性信息，分别对应于FedSGD和FedAvg训练算法。作为一个用例，我们使用三个SER基准数据集：IEMOCAP，CREMA-D和MSP-Improv来经验性地评估我们预测客户性别信息的方法。我们表明，属性推断攻击是可以实现的SER系统使用FL训练。我们进一步确定，大部分的信息泄漏可能来自SER模型中的第一层。
2022-12-22 cs.CR cs.LG cs.MM
FED-HARGPT: A Hybrid Centralized-Federated Approach of a Transformer-based Architecture for Human Context Recognition
Electrical Engineering Department, Seoul National University, Seoul, Korea（首尔国立大学电气工程系，韩国首尔）
本文提出一种混合集中-联邦方法，利用Transformer架构进行人类活动识别，通过联邦学习框架评估基于集中基线的联邦模型训练，实验表明该方法在非IID数据场景下提升了识别准确性和鲁棒性，同时保护数据隐私。
2026-03-13 cs.AI cs.LG eess.SP
Trustformer: A Trusted Federated Transformer
University of Windsor（温莎大学）
本文提出Trustformer，一种基于联邦学习的Transformer训练方法，通过k-means聚类传输质心并利用Intel SGX保护安全，在降低通信开销的同时保持模型效用。
2025-01-20 cs.CR cs.LG
Federated Transformer: Multi-Party Vertical Federated Learning on Practical Fuzzily Linked Data
National University of Singapore（新加坡国立大学）
针对多方模糊标识符下的纵向联邦学习难题，提出 Federated Transformer 框架及融合差分隐私与安全多方计算的隐私机制，在50方场景中准确率最高提升46%。
2024-10-23 cs.AI cs.CR cs.LG
PA-CFL: Privacy-Adaptive Clustered Federated Learning for Transformer-Based Sales Forecasting on Heterogeneous Retail Data
University of Cambridge（剑桥大学）；The Alan Turing Institute（阿兰·图灵研究所）
针对零售异构数据下联邦学习需求预测的精度与隐私平衡问题，提出PA-CFL方法，通过差分隐私与特征分布划分气泡集群、适配Transformer模型，提升预测精度的同时保障隐私与系统鲁棒性。
2025-03-21 cs.CR cs.LG
A federated learning framework with knowledge graph and temporal transformer for early sepsis prediction in multi-center ICUs
Chengdu Medical College（成都医学院）；Kunming Medical University（昆明医科大学）；National Yang Ming Chiao Tung University（国立阳明交通大学）；University of Southern California（南加州大学）；Yanshan University（燕山大学）
本文提出融合知识图谱和时间变换器的联邦学习框架，用于多中心ICU早期脓毒症预测，通过隐私保护的协同训练提升预测性能，实验表明其AUC达到0.956，优于传统集中模型和标准联邦学习。
2026-03-06 cs.AI cs.LG
FedET: A Communication-Efficient Federated Class-Incremental Learning Framework Based on Enhanced Transformer
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；The Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
提出FedET框架，通过微型Enhancer模块吸收新知识并结合预训练Transformer，利用Enhancer蒸馏解决局部与全局遗忘，在提升联邦类增量学习准确率的同时大幅降低通信成本。
2023-06-27 cs.AI cs.LG
FSSC: Federated Learning of Transformer Neural Networks for Semantic Image Communication
School of Electronics and Information, Northwestern Polytechnical University（西北工业大学电子信息学院）；Samsung AI Center, Cambridge（三星剑桥人工智能中心）；State Key Laboratory of Integrated Services Networks, Xidian University（西安电子科技大学综合业务网国家重点实验室）；University of Houston（休斯顿大学）
本文提出FSSC框架，将联邦学习与Swin Transformer语义通信系统结合，在保护隐私的同时提升多用户图像语义通信性能，PSNR提升超2dB。
2024-07-31 cs.AI cs.LG eess.IV
Federated Learning for Keyword Spotting
Snips（Snips公司）
我们提出了一种基于联邦学习的实用方法，以解决连续运行的嵌入式基于语音的模型（如唤醒词检测器）的域外问题。我们进行了广泛的实证研究的联邦平均算法的“嘿Snips”唤醒词的基础上众包的数据集，模仿联邦唤醒词用户。我们的经验表明，使用自适应平均策略的灵感来自亚当的标准加权模型平均大大减少了通信轮数，以达到我们的目标性能。每个用户的相关上行通信成本估计为8 MB，这在智能家居语音助理的背景下是合理的。此外，用于这些实验的数据集正在开源，旨在促进联邦学习应用于语音数据的进一步透明研究。
2019-02-18 cs.CL cs.LG cs.SD
Decepticons: Corrupted Transformers Breach Privacy in Federated Learning for Language Models
University of Maryland（马里兰大学）；New York University（纽约大学）
本文提出一种利用恶意参数向量攻击联邦学习文本模型的新方法，通过分别提取token和位置嵌入恢复用户私有文本，揭示文本联邦学习比以往认为的更易受隐私攻击。
2023-05-31 cs.CL cs.CR cs.LG
Point Transformer with Federated Learning for Predicting Breast Cancer HER2 Status from Hematoxylin and Eosin-Stained Whole Slide Images
University of Science and Technology of China（中国科学技术大学）；Chinese Academy of Sciences（中国科学院）；West China Hospital, Sichuan University（四川大学华西医院）；Beihang University（北京航空航天大学）
本文提出结合联邦学习的点Transformer方法，通过动态标签分布策略、辅助分类器和最远余弦采样，解决多中心HE染色WSIs的标签不平衡与长程依赖建模问题，在2687张WSIs上实现HER2状态预测的最先进性能并具备跨站点泛化能力。
2024-02-27 cs.CV cs.LG eess.IV
Open-Source LLM-Driven Federated Transformer for Predictive IoV Management
School of Computer Science and Technology, Algoma University, Canada（计算机科学与技术学院，阿尔戈马大学，加拿大）；Faculty of Electrical Engineering, Czech Technical University in Prague, Czech Republic（电气工程系，布拉格捷克技术大学，捷克共和国）
本文提出FPoTT框架，利用开源LLM实现预测性智能交通管理，通过动态提示优化和联邦学习提升轨迹预测精度，验证了开源LLM在隐私保护和可扩展性方面的潜力。
2025-05-13 cs.AI cs.ET cs.LG
Efficient Federated Finetuning of Tiny Transformers with Resource-Constrained Devices
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Huawei Research Center（华为研究中心）
针对联邦学习中LoRA微调存在的内存和FLOP低效问题，提出新型层微调方案，使资源受限设备能高效利用预训练模型，在同/异构约束下精度优于现有技术且通信量与LoRA相当。
2025-04-16 cs.AI cs.DC cs.LG
A Federated Approach for Hate Speech Detection
AI4Bharat；University of Alberta（阿尔伯塔大学）；Georgia Institute of Technology（佐治亚理工学院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
由于社交媒体上创建的内容的规模，仇恨语音检测一直是高度关注的研究主题。尽管这项任务的关注和敏感性，仇恨言论检测中的隐私保护仍然没有得到充分研究。大多数研究都集中在集中式机器学习基础设施上，这可能会泄露数据。在本文中，我们表明，使用联邦机器学习可以帮助解决隐私问题，这是仇恨言论检测固有的问题，同时在F1分数方面获得高达6.81%的改进。
2023-02-18 cs.AI cs.CL cs.LG
Parameter-Efficient Transfer Learning under Federated Learning for Automatic Speech Recognition
Google（谷歌公司）
本文研究在保护数据隐私下提升ASR模型在用户特定领域性能的挑战，采用联邦学习与参数高效的领域自适应方法解决海量数据需求与高通信开销问题，证明配备适当适配器的联邦微调能达到与集中式微调相近的性能，为隐私保护ASR服务提供新方向。
2024-08-19 cs.CR cs.LG eess.AS
Transformer-based Models of Text Normalization for Speech Applications
Google Research（谷歌研究院）
文本规范化，或将文本转换为一致的规范形式的过程，对于文本到语音合成（TTS）等语音应用至关重要。在TTS中，系统必须决定是将“1995”在“1995年出生”中表述为“1995年”，还是在“1995页”中表述为“1995年”。我们提出了一个实验比较各种基于transformer的序列到序列（seq 2seq）模型的文本规范化语音和评估他们的各种数据集的书面文本对齐其规范化的口语形式。这些模型包括Zhang等人（2019）引入的基于2阶段RNN的标记/seq 2seq架构的变体，其中我们在一个或多个阶段中用Transformer替换RNN，以及输出编辑序列的字符串表示的香草Transformers。在我们的方法中，在2阶段模型中使用Transformers进行句子上下文编码被证明是最有效的，微调的BERT编码器产生了最好的性能。
2022-02-01 cs.LG
Federated Self-supervised Speech Representations: Are We There Yet?
University of Cambridge（剑桥大学）；Samsung AI（三星人工智能）；Avignon University（阿维尼翁大学）
支持麦克风的设备无处不在，导致大量未标记的音频数据在边缘产生。将自监督学习（SSL）和联邦学习（FL）集成到一个连贯的系统中，可以潜在地提供数据隐私保证，同时还可以提高语音表示的质量和鲁棒性。在本文中，我们提供了一个第一的系统研究的可行性和复杂性训练语音SSL模型下FL场景的算法，硬件和系统限制的角度。尽管它们的组合具有很高的潜力，但我们发现现有的系统限制和算法行为使得SSL和FL系统在今天几乎不可能构建。然而，至关重要的是，我们的研究结果表明，具体的性能瓶颈和研究机会，将使这种情况得到扭转。虽然我们的分析表明，考虑到硬件的现有趋势，混合SSL和FL语音系统要到2027年才能实现。我们相信，这项研究可以作为一个路线图，加快工作，实现这一里程碑早得多。
2022-07-19 cs.LG cs.SD eess.AS
FedACT: Federated Adaptive Coordinate Trust Modulation for Robust Transformer Training under Data Heterogeneity
NUDT（南京理工大学）
研究数据异构下联邦Transformer训练问题，提出FedACT方法，先形成全局校正自适应方向，再依坐标信任分数重分配更新幅度，实验表明其优于基线，能提升跨客户端方向一致性。
2026-07-07 cs.AI cs.LG
FedNST: Federated Noisy Student Training for Automatic Speech Recognition
Samsung Research UK（三星英国研究院）
联合学习（FL）能够在分布式系统中的用户设备（客户端）上训练最先进的自动语音识别（ASR）模型，从而防止将原始用户数据传输到中央服务器。在ASR中实际采用FL所面临的一个关键挑战是获得客户端的真实标签。现有的方法依赖于客户端手动转录他们的语音，这对于获得大型训练语料库是不切实际的。一个有前途的替代方案是使用半/自监督学习方法来利用未标记的用户数据。为此，我们提出了FedNST，这是一种使用私有和未标记用户数据训练分布式ASR模型的新方法。我们探索了FedNST的各个方面，例如具有不同比例的标记和未标记数据的训练模型，并在1173个模拟客户端上评估了所提出的方法。在LibriSpeech上评估FedNST，其中960小时的语音数据被平均分为服务器（标记）和客户端（未标记）数据，显示相对于仅在服务器数据上训练的监督基线，相对单词错误率降低了22.5%（WERR）。
2022-07-12 cs.AI cs.CL cs.CV
Federated Representation Learning for Automatic Speech Recognition
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Amazon Alexa（亚马逊Alexa）
本文提出将自监督学习与联邦学习结合，在非IID说话人隔离数据上预训练ASR编码器，实现与集中式预训练相当的性能并显著降低词错误率。
2023-08-07 cs.CL cs.LG cs.SD
Prompt Estimation from Prototypes for Federated Prompt Tuning of Vision Transformers
Department of Computational and Data Sciences, Indian Institute of Science（计算与数据科学系，印度科学研究院）；Accenture, Japan（日本Accenture公司）；Google, India（印度Google公司）；Indian Institute of Science（印度科学研究院）
本文提出PEP-FedPT框架，通过类上下文混合提示实现联邦提示微调中的泛化与个性化，实验表明其在不同数据异质性场景下优于现有方法。
2026-05-11 cs.CV cs.LG
Federated style aware transformer aggregation of representations
Khuynghee Univ（韩国科学技术院）
FedSTAR通过解耦客户端特定风格因素与共享内容表示，结合Transformer注意力机制实现高效个性化联邦学习，提升异构环境下的鲁棒性与泛化能力。
2025-11-24 cs.AI cs.DC cs.LG
Temporal transformer CAN encoder with federated lightweight heads for anomaly detection
ANADELTA P.C.（ANADEL塔公司）；Harokopio University of Athens（阿萨索皮奥雅典大学）
该研究提出一种带联邦轻量头的时间Transformer CAN编码器框架，用于车载网络异常检测，结合联邦学习与时间序列建模，在保障隐私和效率的同时实现稳健检测。
2026-10-09 cs.CR cs.LG
Task-agnostic Decision Transformer for Multi-type Agent Control with Federated Split Training
Tsinghua University（清华大学）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
针对个性化智能体状态与动作空间差异导致的联邦学习聚合难题，提出联邦拆分决策Transformer（FSDT），采用两阶段训练，在D4RL基准上实现高效、隐私保护的多类型智能体决策，显著降低通信与计算开销。
2024-05-22 cs.AI cs.LG
Transformer-based language modeling and decoding for conversational speech recognition
Columbia University in the City of New York（纽约哥伦比亚大学）
我们提出了一种在会话语音识别中使用基于转换器的语言模型的方法。具体来说，我们专注于解码有效地加权有限状态换能器框架。我们展示了一种方法，格重新评分，允许更长的范围内的历史记录捕获的一个基于多变量的语言模型，并利用一个Transformer的能力，以避免计算顺序。
2020-01-04 cs.CL cs.LG eess.AS
Should we hard-code the recurrence concept or learn it instead ? Exploring the Transformer architecture for Audio-Visual Speech Recognition
Trinity College Dublin（都柏林圣三一学院）
视听语音融合策略AV Align在具有挑战性的LRS2数据集上的视听语音识别（AVSR）中表现出显着的性能改进。性能提高范围在7%到30%之间，具体取决于除了听觉模态之外还利用语音的视觉模态时的噪声水平。这项工作提出了AV Align的一个变体，其中经常性的长短期记忆（LSTM）计算块被最近提出的Transformer块取代。我们比较了这两种方法，更详细地讨论了它们的优点和缺点。我们发现，Transformers也学习跨模态单调对齐，但与LSTM模型一样存在视觉收敛问题，需要对机器学习中的主导模态问题进行更深入的研究。
2020-05-19 cs.LG eess.AS
Ultra-Low-Bitrate Speech Coding with Pretrained Transformers
Google（谷歌）
语音编码有助于以最小失真在低带宽网络上传输语音。基于神经网络的语音编解码器最近已经证明了在质量上比传统方法有显著的改进。虽然这种新一代编解码器能够合成高保真语音，但它们使用的递归或卷积层通常会限制它们的有效感受域，这会阻止它们有效地压缩语音。我们建议通过使用预训练的Transformers进一步降低神经语音编解码器的比特率，由于它们的电感偏置，能够利用输入信号中的长程依赖性。因此，我们使用预训练的Transformer与卷积编码器串联，卷积编码器通过量化器和生成对抗网络解码器进行端到端训练。我们的数值实验表明，用Transformer语音嵌入补充神经语音编解码器的卷积编码器产生了一个比特率为$600\,\mathrm{bps}$的语音编解码器，当以相同的比特率训练时，该语音编解码器在合成语音质量方面优于原始神经语音编解码器。主观的人类评估表明，所得到的编解码器的质量与以三到四倍的速率操作的传统编解码器的质量相当或更好。
2022-07-05 cs.LG cs.SD eess.AS
Transformers with Attentive Federated Aggregation for Time Series Stock Forecasting
Kyung Hee University（庆熙大学）
针对Transformer用于时间序列股票预测时传统训练存在的过拟合、数据稀缺与隐私问题，提出带注意力的联邦Transformer方案，在Yahoo! Finance股票数据上验证了其应对相关挑战及数据异质性的有效性，同时可保护参与企业隐私。
2024-01-22 cs.AI cs.CE cs.DC
Federated Adversarial Training with Transformers
University College of Applied Sciences（应用科学大学学院）；Univ Rennes（雷恩大学）；INSA Rennes（雷恩国立应用科学学院）；CNRS（法国国家科学研究中心）；IETR – UMR 6164（电子与电信研究所 – 联合研究单位6164）
本文针对视觉Transformer的联邦学习场景，提出FedWAvg聚合方法，提升了非IID数据下联邦对抗训练的模型鲁棒准确率。
2026-08-28 cs.CR cs.CV cs.LG
Probing Speech Emotion Recognition Transformers for Linguistic Knowledge
University of Augsburg（奥格斯堡大学）；audEERING GmbH（audEERING有限公司）；Imperial College（帝国理工学院）
由自我注意层（Transformers）组成的大型预训练神经网络最近在几个语音情感识别（SER）数据集上取得了最先进的结果。这些模型通常以自我监督的方式进行预训练，目的是提高自动语音识别性能，从而理解语言信息。在这项工作中，我们调查在SER微调过程中，利用这些信息的程度。使用基于开源工具的可重复方法，我们合成韵律中立的语音话语，同时改变文本的情感。Transformer模型的配价预测对积极和消极的情感内容以及否定都非常敏感，但对强化词或还原词却不敏感，而这些语言特征都不影响唤醒或支配。这些研究结果表明，Transformers可以成功地利用语言信息，以提高他们的效价预测，语言分析应包括在他们的测试。
2022-07-26 cs.CL cs.LG
EEG based Continuous Speech Recognition using Transformers
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们研究连续语音识别使用脑电图（EEG）的功能，使用最近推出的端到端的Transformer为基础的自动语音识别（ASR）模型。我们的研究结果表明，基于Transformer的模型表现出更快的训练相比，基于递归神经网络（RNN）的序列到序列EEG模型和更好的性能在推理时间较小的测试集词汇，但随着我们增加的词汇量，基于RNN的模型的性能优于基于Transformer的模型在有限的英语词汇。
2020-05-05 cs.LG cs.SD eess.AS
BlocksecRT-DETR: Decentralized Privacy-Preserving and Token-Efficient Federated Transformer Learning for Secure Real-Time Object Detection in ITS
University of Louisiana at Lafayette（路易斯安那州立大学拉斐特分校）；University of Central Arkansas（中央阿肯色大学）
BlockSecRT-DETR通过区块链安全机制和令牌工程模块，实现去中心化、高效且隐私保护的实时目标检测联邦学习，提升边缘设备性能并保障模型聚合安全。
2026-01-19 cs.CR cs.LG
Speech Slytherin: Examining the Performance and Efficiency of Mamba for Speech Separation, Recognition, and Synthesis
Columbia University（哥伦比亚大学）
该研究针对语音分离、识别、合成三类任务提出Mamba及混合模型，对比相近规模Transformer发现，长语音下Mamba效率更优、性能相当或更好，短语音及文语联合建模场景下表现较差，二者优劣取决于具体问题与模型。
2024-07-13 cs.LG cs.SD eess.AS
Label-Synchronous Speech-to-Text Alignment for ASR Using Forward and Backward Transformers
LINE Corporation（LINE公司）
本文提出了一种新的标签同步语音到文本对齐技术的自动语音识别（ASR）。语音到文本对齐是将具有未对齐的转录本的长音频记录分割成语音和文本的话语对的问题。与传统的基于帧同步预测的方法不同，该方法将语音到文本对齐重新定义为标签同步文本映射问题。这使得能够实现准确的对齐，受益于最先进的基于注意力的编码器-解码器模型的强推理能力，这不能应用于传统方法。两种不同的Transformer模型，即前向Transformer和后向Transformer，分别用于基于教师强迫的句尾预测来估计给定语音段的初始和最终标记。使用语料库的自发日语（CSJ）的实验表明，所提出的方法提供了一个准确的话语明智的对齐，匹配手动注释对齐的误差只有0.2%。实验结果表明，基于Transformer的CTC/Attention ASR混合模型将对齐后的语音和文本对作为额外的训练数据，可以将字符错误率降低到59.0%，明显优于基于连接主义时间分类模型的传统对齐方法的39.0%。
2021-04-21 cs.LG cs.SD eess.AS
Voice Transformer Network: Sequence-to-Sequence Voice Conversion Using Transformer with Text-to-Speech Pretraining
Nagoya University（名古屋大学）；NTT Communication Science Laboratories（NTT通信科学实验室）
我们介绍了一种新的序列到序列（seq2seq）语音转换（VC）模型的基础上Transformer架构与文本转语音（TTS）预训练。Seq2seq VC模型由于其转换韵律的能力而具有吸引力。虽然基于递归神经网络（RNN）和卷积神经网络（CNN）的seq2seq模型已成功应用于VC，但尚未研究Transformer网络的使用，该网络已在各种语音处理任务中显示出有希望的结果。尽管如此，它们的数据饥渴属性和转换后语音的错误发音使得seq2seq模型远不实用。为此，我们提出了一种简单而有效的预训练技术，从学习的TTS模型中转移知识，这些模型受益于大规模，易于访问的TTS语料库。用这种预训练的模型参数初始化的VC模型能够为高保真、高度可理解的转换语音生成有效的隐藏表示。实验结果表明，这样的预训练方案可以促进数据有效的训练，并在可理解性，自然度和相似性方面优于基于RNN的seq2seq VC模型。
2019-12-14 cs.CL cs.LG cs.SD
How Redundant Is the Transformer Stack in Speech Representation Models?
Technical University of Denmark（丹麦技术大学）
该研究针对基于Transformer的自监督语音表示模型，通过三种相似度指标分析发现层间存在显著冗余，验证了无需后训练的剪枝及知识蒸馏方法可大幅缩减模型规模与推理时间且性能损失极小。
2025-01-17 cs.CL cs.LG cs.SD
TSTNN: Two-stage Transformer based Neural Network for Speech Enhancement in the Time Domain
Concordia University（康考迪亚大学）
在本文中，我们提出了一种基于变换的架构，称为两级Transformer神经网络（TSTNN）的端到端的语音去噪在时域。该模型由编码器、两级Transformer模块（TSTM）、掩蔽模块和解码器组成。编码器将输入的噪声语音映射为特征表示。TSTM利用四个堆叠的两级Transformer块来逐级有效地从编码器输出中提取局部和全局信息。掩码模块创建将与编码器输出相乘的掩码。最后，解码器使用掩蔽的编码器特征来重建增强的语音。在基准数据集上的实验结果表明，TSTNN在时域或频域上优于大多数最先进的模型，同时具有显着降低的模型复杂度。
2021-03-18 cs.LG cs.SD eess.AS
Multi-Channel Transformer Transducer for Speech Recognition
Amazon（亚马逊）
多通道输入提供了优于单通道的几个优点，以提高设备上语音识别系统的鲁棒性。最近关于多通道Transformer的工作提出了一种将这样的输入合并到端到端ASR中以提高精度的方法。然而，这种方法的特征在于高计算复杂性，这阻止了它被部署在设备上的系统中。本文提出了一种新的语音识别模型--多通道Transformer Transducer（MCTT），它具有端到端多通道训练、低计算成本和低延迟的特点，适合于设备上语音识别的流式解码。在远场内部数据集中，我们的MCTT优于分段多通道模型，变压器-换能器相对WER改善高达6.01%（WERR）。此外，MCTT的性能优于多通道Transformer，WERR高达11.62%，推理速度快15.8倍。我们进一步表明，我们可以提高MCTT的计算成本，通过限制未来和以前的上下文在注意力计算。
2021-08-30 cs.LG cs.SD eess.AS
Improving speech emotion recognition via Transformer-based Predictive Coding through transfer learning
我已经向arXiv提交了一个新版本：1910.13806。我忘记选择替换旧版本，但提交了一个新的。是我的错
2019-10-31 cs.HC cs.LG stat.ML
Privacy-Enhancing Infant Cry Classification with Federated Transformers and Denoising Regularization
School of Computing and Engineering Sciences（计算与工程科学学院）
本文提出一种结合联邦学习与去噪正则化的婴儿哭声分类方法，实现隐私保护、噪声鲁棒和通信高效。
2025-12-15 cs.AI cs.LG cs.SD
Conformer: Convolution-augmented Transformer for Speech Recognition
Google Inc.（谷歌公司）
最近，基于Transformer和卷积神经网络（CNN）的模型在自动语音识别（ASR）中显示出有希望的结果，优于递归神经网络（RNN）。Transformer模型擅长捕捉基于内容的全局交互，而CNN则有效地利用了局部特征。在这项工作中，我们通过研究如何将卷积神经网络和Transformers结合起来，以参数有效的方式对音频序列的局部和全局依赖关系进行建模，从而实现两全其美。为此，我们提出了卷积增强的Transformer用于语音识别，命名为Conformer。Conformer的性能显著优于之前的基于Transformer和CNN的模型，实现了最先进的精度。在广泛使用的LibriSpeech基准测试中，我们的模型在不使用语言模型的情况下实现了2.1%/4.3%的WER，在使用外部语言模型的情况下实现了1.9%/3.9%的WER。我们还观察到2.7%/6.3%的竞争性能，只有10 M参数的小模型。
2020-05-16 cs.LG cs.SD eess.AS
Cross-lingual Zero- and Few-shot Hate Speech Detection Utilising Frozen Transformer Language Models and AXEL
University of Augsburg（奥格斯堡大学）；TU Munich（慕尼黑工业大学）；Imperial College London（帝国理工学院）
检测仇恨言论，特别是在低资源语言中，是一个不小的挑战。为了解决这个问题，我们开发了一个定制的架构，该架构基于冻结的、预训练的Transformers，以在HatEval挑战数据集上检查跨语言zero-shot和少样本学习以及单语言学习。与我们的新的注意力为基础的分类块AXEL，我们表现出高度竞争力的英语和西班牙语子集的结果。我们还对英语子集进行了重新采样，以便在未来进行更多有意义的比较。
2020-04-13 cs.CL cs.LG stat.ML
Synthesized Speech Detection Using Convolutional Transformer-Based Spectrogram Analysis
Purdue University（普渡大学）
由于虚拟助理、用于生成和修改语音信号的易于使用的工具以及远程工作实践的流行，合成语音在今天是常见的。合成语音也可以用于邪恶的目的，包括创建一个声称的语音信号，并将其归因于没有说出信号内容的人。我们需要检测语音信号是否是合成的方法。在本文中，我们分析语音信号的频谱图的形式与一个紧凑的卷积Transformer（CCT）的合成语音检测。CCT利用卷积层将感应偏置和共享权重引入网络，从而允许Transformer架构在用于训练的数据样本较少的情况下表现良好。CCT使用注意力机制来合并来自被分析信号的所有部分的信息。在真实的人类语音信号和合成的人类语音信号上训练，我们证明了我们的CCT方法成功地区分了真实的和合成的语音信号。
2022-05-03 cs.CV cs.LG cs.SD
