MSAC: Multiple Speech Attribute Control Method for Reliable Speech Emotion Recognition
Kyushu University（九州大学）；Shanghai Ximalaya Technology Co Ltd（上海喜马拉雅科技有限公司）；University of Alberta（阿尔伯塔大学）
本文提出统一语音情感识别框架 MSAC-SERNet 及多语音属性控制方法（MSAC），通过细粒度控制语音属性并减轻无关表示影响，在单语料库和跨语料库场景及可靠性检验中均取得优越性能。
2024-03-22 cs.AI cs.MM cs.SD
How Language-Independent Are Emotional Attributes? A Study on Training Data Scaling and Cross-Lingual Generalization
University of Szeged（塞格德大学）；HUN-REN–SZTE Research Group on Artificial Intelligence（HUN-REN–SZTE人工智能研究组）
该研究针对语音情感识别，探讨跨语言模型适配与单语言方法的性能差异，发现唤醒度适配仅需少量数据即可获益，效价适配则需更多数据，为低资源SER提供了有效思路。
2026-10-14 cs.SD
GEmo-CLAP: Gender-Attribute-Enhanced Contrastive Language-Audio Pretraining for Accurate Speech Emotion Recognition
Kyushu University（九州大学）；University of Tokyo（东京大学）；University of Alberta（阿尔伯塔大学）；Ximalaya Inc.（喜马拉雅公司）；Shanghai Jiao Tong University（上海交通大学）
本文提出 GEmo-CLAP 性别属性增强对比语言-音频预训练方法，通过多任务学习和软标签融入性别信息，在 IEMOCAP 上取得 83.16% 的最优语音情感识别准确率。
2023-12-04 cs.CL cs.MM cs.SD
An Efficient Transfer Learning Method Based on Adapter with Local Attributes for Speech Emotion Recognition
Singapore Institute of Technology（新加坡科技学院）；School of Information Science and Technology, University of Science and Technology of China（中国科学技术大学信息科学与技术学院）
针对 SER 迁移微调成本高的问题，提出带局部属性的师生 adapter，结合 WAP-Transformer、EMA、自蒸馏、聚类与 SAP，在 IEMOCAP 上取得优于同类最先进方法的结果。
2025-09-28 cs.SD
Augmenting Generative Adversarial Networks for Speech Emotion Recognition
University of Southern Queensland（南昆士兰大学）；Data61, CSIRO（联邦科学与工业研究组织数据61研究所）；Information Technology University（信息技术大学）；University of New South Wales（新南威尔士大学）；Queensland University of Technology（昆士兰科技大学）；Imperial College London（帝国理工学院）；University of Augsburg（奥格斯堡大学）
生成对抗网络（GANs）在学习情感属性和生成新数据样本方面表现出了潜力。然而，它们的性能通常受到较大的语音情感识别（SER）数据的不可用性的阻碍。在这项工作中，我们提出了一个框架，利用混合数据增强计划，以增加GAN的特征学习和生成。为了显示所提出的框架的有效性，我们目前的结果SER（i）合成特征向量，（ii）增强的训练数据与合成功能，（iii）压缩表示的编码功能。我们的研究结果表明，该框架可以有效地学习压缩的情感表示，以及它可以生成合成样本，有助于提高性能的语料库内和跨语料库的评价。
2020-07-26 cs.SD eess.AS
Improving Speech Emotion Recognition with Unsupervised Speaking Style Transfer
Zhejiang Lab（之江实验室）；Xinjiang University（新疆大学）；University of Hamburg（汉堡大学）
本文提出EmoAug无监督风格转换模型，通过分离语义与副语言编码并重建语音，增强情感表达并平衡数据，在IEMOCAP上超越现有方法并缓解过拟合。
2023-12-28 cs.AI cs.SD eess.AS
MATER: Multi-level Acoustic and Textual Emotion Representation for Interpretable Speech Emotion Recognition
Artificial Intelligence \& Computer Vision Lab.
针对自然语音情感识别，提出多层级声学-文本表示框架MATER，融合词、话语和嵌入层特征，并采用不确定性感知集成，在SERNC挑战赛中取得Macro-F1 41.01%和效价CCC 0.6941的成绩。
2025-06-24 cs.AI cs.SD eess.AS
Parameter Efficient Finetuning for Speech Emotion Recognition and Domain Adaptation
University of Cambridge（剑桥大学）
本文研究语音情感识别的参数高效微调方法，通过组合多种PEFT适配器并设计两阶段自适应策略，在显著减少可训练参数的同时提升源域和目标域性能。
2024-02-19 cs.LG cs.SD eess.AS
Unifying the Discrete and Continuous Emotion labels for Speech Emotion Recognition
Carnegie Mellon University（卡内基梅隆大学）
传统上，在用于从语音中检测情感的语言学分析中，已经用离散或维度（连续值）标签来识别情感。因此，已经提出的用于情感检测的模型使用这些标签类型中的一个或另一个。然而，像罗素和普鲁奇克这样的心理学家提出了统一这些观点的理论和模型，认为这些表征具有共享和互补的信息。本文试图通过计算来验证这些观点。为此，我们提出了一个模型来联合预测连续和离散的情感属性，并展示了如何利用这些属性之间的关系来提高情感识别任务的鲁棒性和性能。我们的方法包括多任务和分层多任务学习框架，共同建模连续值和离散情感标签之间的关系。在两个广泛使用的基于语音的情感识别数据集（IEMOCAP和MSPPodcast）上的实验结果表明，我们的模型在统计上显著提高了非统一方法的强基线性能。我们还证明了使用一种类型的标签（离散或连续值）进行训练可以提高使用其他类型标签的任务的识别性能。实验结果和推理这种方法（称为不匹配的训练方法）也。
2022-10-29 cs.AI cs.CL cs.SD
MSP-Podcast SER Challenge 2024: L'antenne du Ventoux Multimodal Self-Supervised Learning for Speech Emotion Recognition
LIA Avignon Universite（阿维尼翁大学计算机科学与人工智能实验室）
本研究针对2024年MSP-Podcast SER挑战赛的分类式情感识别任务，提出融合多模态自监督学习微调模型的集成方法，经SVM分数融合后在开发集取得0.35%的F1-macro值。
2024-07-08 cs.AI cs.SD eess.AS
Discriminative Axis, Not Data Volume: What a Contrastive Corpus Teaches an Audio Embedding
Eximius Labs（埃克西米厄斯实验室）；Wabash College（沃巴什学院）
该研究发现对比音频嵌入模型编码的属性由语料库结构而非规模决定，通过调整语料标注多样性可提升情感识别性能，同时平衡关键词检测能力。
2026-08-04 cs.CL cs.SD
Attribute Inference Attack of Speech Emotion Recognition in Federated Learning Settings
语音情感识别（SER）处理语音信号以检测和表征所表达的感知情感。许多SER应用系统经常获取在客户端收集的语音数据并将其传输到远程云平台进行推理和决策。然而，语音数据不仅包含丰富的情感信息，而且还包含其他敏感的人口统计特征，如性别，年龄和语言背景。因此，希望SER系统具有对情感结构进行分类的能力，同时防止对敏感和人口统计信息的非故意/不适当的推断。联邦学习（FL）是一种分布式机器学习范式，它协调客户端协作训练模型，而无需共享其本地数据。这种训练方法似乎是安全的，可以提高隐私的SER。然而，最近的工作表明，FL方法仍然容易受到各种隐私攻击，如重建攻击和成员推断攻击。虽然这些研究中的大多数都集中在计算机视觉应用上，但在使用FL技术训练的SER系统中存在这种信息泄漏。为了评估使用FL训练的SER系统的信息泄漏，我们提出了一个属性推断攻击框架，该框架从共享梯度或模型参数推断客户端的敏感属性信息，分别对应于FedSGD和FedAvg训练算法。作为一个用例，我们使用三个SER基准数据集：IEMOCAP，CREMA-D和MSP-Improv来经验性地评估我们预测客户性别信息的方法。我们表明，属性推断攻击是可以实现的SER系统使用FL训练。我们进一步确定，大部分的信息泄漏可能来自SER模型中的第一层。
2022-12-22 cs.CR cs.LG cs.MM
Privacy-Preserving Federated Learning on Partitioned Attributes
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
真实世界的数据通常按属性划分，并分布在不同的各方。联邦学习支持协作培训，而无需暴露本地数据或模型。正如我们通过设计攻击所展示的那样，即使有一小部分损坏的数据，对手也可以准确地推断出输入属性。我们引入了一个基于对抗学习的过程，该过程调整局部模型以释放隐私保护的中间表示。针对准确性下降的问题，提出了一种基于前后向分裂算法的防御方法，在前向和后向梯度下降步骤中分别处理准确性损失和隐私性损失，同时实现了两个目标。在各种数据集上进行的大量实验表明，我们的防御方法显著减轻了隐私泄露，对联邦学习任务的影响可以忽略不计。
2021-04-29 cs.CR cs.LG
A Novel Attribute Reconstruction Attack in Federated Learning
Sony AI（索尼人工智能）；Zhejiang University（浙江大学）
联邦学习（FL）作为一种有前途的学习范式出现，使众多参与者能够在不暴露其私有训练数据的情况下构建联合ML模型。现有的FL设计已被证明存在漏洞，这些漏洞可以被系统内外的对手利用，从而损害数据隐私。然而，大多数当前的作品通过利用小批量数据上的梯度来进行攻击，这在FL中不太实用。在这项工作中，我们考虑了一个更实用和有趣的场景，其中参与者共享他们的epoch平均梯度（在至少1个epoch的本地训练后共享梯度），而不是像以前的作品那样每个示例或小批量平均梯度。我们执行的属性重构攻击（ARA）的恶意服务器在FL系统中发起的第一个系统的评估，并实证证明，共享的历元平均局部模型梯度可以揭示敏感属性的本地训练数据的任何受害者参与者。为了实现这一目标，我们开发了一个更有效和高效的梯度匹配的方法称为余弦匹配重建的训练数据属性。我们评估我们对各种真实世界数据集，场景，假设的攻击。实验结果表明，该方法的属性攻击性能优于大多数已有的基线方法.
2021-08-16 cs.CR cs.LG
User Consented Federated Recommender System Against Personalized Attribute Inference Attack
Department of CSE, HKUST（香港科技大学计算机科学与工程系）
针对联邦推荐系统中属性推断攻击和用户隐私偏好差异问题，提出用户同意的联邦推荐系统UC-FedRec，通过最小化准确度代价灵活满足隐私需求，实验证明其高效灵活。
2023-12-23 cs.CR cs.IR cs.LG
Attribute Inference Attacks for Federated Regression Tasks
Inria（法国国家信息与自动化研究所）；Meta；CNRS（法国国家科学研究中心）；I3S（信息科学与系统实验室）；Amadeus（阿玛迪斯公司）
针对联邦回归任务中属性推理攻击研究空白，提出基于模型的新型攻击方法，在异构客户端数据集等场景下显著提升重建精度，为量化隐私泄露提供有效手段。
2025-04-16 cs.AI cs.CR cs.LG
FL-DABE-BC: A Privacy-Enhanced, Decentralized Authentication, and Secure Communication for Federated Learning Framework with Decentralized Attribute-Based Encryption and Blockchain for IoT Scenarios
提出融合DABE、HE、SMPC与区块链的FL-DABE-BC框架，在物联网设备端实现去中心化认证加密，并通过雾层安全聚合与差分隐私保护模型训练。
2024-10-26 cs.CR
Towards Explainable Privacy Preservation in Federated Learning via Shapley Value-Guided Noise Injection
School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机学院）
本文提出FedSVA，一种基于Shapley值动态校准噪声注入的可解释差分隐私机制，通过量化属性对模型训练的影响，提供严格隐私保障并最小化效用损失。
2026-04-01 cs.CR
PrivFairFL: Privacy-Preserving Group Fairness in Federated Learning
Mila – Quebec AI Institute（Mila – 魁北克人工智能研究所）；HEC Montréal（蒙特利尔高等商学院）；University of Washington Tacoma（华盛顿大学塔科马分校）；Ghent University（根特大学）
群体公平性确保了基于机器学习（ML）的决策系统的结果不会偏向于由敏感属性（如性别或种族）定义的特定人群。在联邦学习（FL）中实现群体公平性是具有挑战性的，因为减轻偏见本质上需要使用所有客户端的敏感属性值，而FL的目的正是通过不允许访问客户端的数据来保护隐私。正如我们在本文中所示，在FL中的公平性和隐私性之间的冲突可以通过将FL与安全多方计算（MPC）和差分隐私（DP）相结合来解决。在这样做的过程中，我们提出了一种在完整和正式的隐私保证下在跨设备FL中训练组公平ML模型的方法，而不需要客户端公开其敏感属性值。
2022-08-26 cs.CR cs.LG
Task-Agnostic Privacy-Preserving Representation Learning for Federated Learning Against Attribute Inference Attacks
本文提出任务无关的 TAPPFL 框架，通过双互信息目标学习少含敏感属性、多保留任务效用的表示，并给出可证明隐私保证。
2023-12-12 cs.CR
Local Model Reconstruction Attacks in Federated Learning and their Uses
本文提出联邦学习中的局部模型重建攻击，使诚实但好奇的对手窃听客户端与服务器通信以重建受害者局部模型，并据此提出基于模型的属性推断攻击，在异构数据下实现更高重建精度，为量化隐私风险提供新视角。
2024-05-27 cs.AI cs.CR cs.LG
FLAP -- A Federated Learning Framework for Attribute-based Access Control Policies
传感器、物联网和机器人等领域的技术进步，使新的协作应用成为可能（例如，自主设备）。这种合作的主要要求是拥有一个安全的系统，能够实现信息共享和信息流保护。基于策略的管理系统是实现受保护资源安全选择共享的关键机制。然而，这种协作环境中的每一方的政策都不能是静态的，因为它们必须适应不同的背景和情况。协作应用程序的一个优点是，协作中的每一方都可以利用其他方的知识来学习或增强自己的策略。我们把这种学习机制称为政策转移。策略转移框架的设计具有挑战性，包括策略冲突和隐私问题。政策冲突通常是由于各方义务的不同而产生的，而隐私问题则是由于敏感数据的数据共享限制而产生的。因此，政策转移框架应能够通过考虑最低限度的数据共享来应对这些挑战，并支持政策调整以解决冲突。在本文中，我们提出了一个框架，旨在应对这些挑战。我们介绍了一个正式的定义的政策转移问题的属性为基础的政策。然后，我们介绍的转移方法，包括三个连续的步骤。最后，我们报告实验结果。
2020-11-02 cs.CR
Attacks on fairness in Federated Learning
University of Cambridge（剑桥大学）
本文提出了一种针对联邦学习中公平性的攻击方法，通过控制少量客户端影响模型的属性层面表现分布，强调了在可能使用户受益的情况下，防御此类攻击的重要性。
2026-01-13 cs.CR cs.LG
A Model for Privacy-enhanced Federated Identity Management
出于法律和商业原因，在业务或消费者上下文中运行的身份联合需要防止跨信任服务提供商收集用户数据。法律原因由数据保护立法给出。其他原因包括企业所有者越来越意识到超越传统信息安全的保密风险，例如，对电子数据交换服务的认证次数可以提供对发票数量的了解，从中可以得到内部信息。本文提出了支持三个隐私要求的扩展技术控制：a）限制可链接性：两个服务提供商在没有第三方帮助的情况下不能链接与用户相关的数据，既不使用标识符也不使用其他识别属性，如电子邮件地址或支付数据; b）有限的可观察性：身份提供商在没有第三方帮助的情况下无法跟踪用户正在使用哪些服务; c）不公开：由属性提供者提供给服务提供者的属性不向身份提供者或中间服务代理公开。这个参考体系结构使用遵循隐私设计原则的轴辐式联合风格，解决了上面提到的隐私控制。
2014-01-19 cs.CR
An Efficient Gradient-Based Inference Attack for Federated Learning
Gradiant
本文提出了一种高效的基于梯度的推理攻击方法，用于联邦学习场景，通过分析多轮次梯度演变，揭示数据泄露风险及聚合器威胁。
2025-12-17 cs.CR cs.LG
MixNN: Protection of Federated Learning Against Inference Attacks by Mixing Neural Network Layers
Univ Lyon（里昂大学）；INSA Lyon（里昂国立应用科学学院）；Inria（法国国家信息与自动化研究院）；CITI（信息、图像与智能科学中心）
本文提出基于代理的MixNN系统，通过在参与者间混合神经网络层更新，抵御联邦学习中好奇或恶意聚合服务器的属性推理攻击，并在不降低模型效用的前提下显著减少隐私泄露。
2021-09-26 cs.CR cs.LG
VFLGAN-TS: Vertical Federated Learning-based Generative Adversarial Networks for Publication of Vertically Partitioned Time-Series Data
National University of Singapore（新加坡国立大学）；University of Sheffield（谢菲尔德大学）
本文提出VFLGAN-TS，结合属性判别器与纵向联邦学习，在垂直划分场景下生成合成时间序列数据，并通过高斯机制实现差分隐私及增强隐私审计。
2024-09-05 cs.CR cs.LG
Multi-dimensional Data Quick Query for Blockchain-based Federated Learning
针对区块链联邦学习中多维元数据查询耗时、参与者选择困难的问题，提出MerkleRB-Tree并结合MBR、布隆过滤器与跳表思想提升块内及跨块查询效率。
2023-09-27 cs.CR cs.DB cs.DS
Training privacy-preserving video analytics pipelines by suppressing features that reveal information about private attributes
Queen Mary University of London（伦敦玛丽女王大学）；Centre for Intelligent Sensing（智能感知中心）
深度神经网络越来越多地用于场景分析，包括评估人们对户外广告的注意力和反应。然而，由被训练成预测特定的、合意的属性（例如情感）的深度神经网络提取的特征也可以编码并因此揭示关于隐私的、受保护的属性（例如年龄或性别）的信息。在这项工作中，我们专注于这种泄漏的私人信息在推理时间。我们考虑一个对手访问的功能提取的层部署的神经网络，并使用这些功能来预测私人属性。为了防止这种攻击的成功，我们使用混淆损失来修改网络的训练，鼓励提取特征，使对手难以准确预测私有属性。我们使用公开的数据集在基于图像的任务上验证了这种训练方法。结果表明，与原始网络相比，所提出的PrivateNet可以将最先进的情感识别分类器的私人信息泄漏减少2.88%（性别）和13.06%（年龄组），对任务准确性的影响最小。
2022-06-01 cs.CR cs.CV cs.LG
Benchmarking Differential Privacy and Federated Learning for BERT Models
Manipal Institute of Technology（马尼帕尔理工学院）；Carnegie Mellon University（卡内基梅隆大学）；OpenMined；Yildiz Technical University（耶尔德兹技术大学）；Ford Motor Company（福特汽车公司）；University of California, San Diego（加州大学圣地亚哥分校）
自然语言处理（NLP）技术可以应用于帮助诊断医疗条件，如抑郁症，使用一个人的话语集合。抑郁症是一种严重的医学疾病，会对一个人的感觉、思想和行为产生不利影响，从而导致情绪和身体问题。由于这些数据的敏感性，需要采取隐私措施来处理和训练这些数据的模型。在这项工作中，我们研究了差分隐私（DP）的应用，在集中式和联邦学习（FL）的设置，训练上下文语言模型（BERT，ALBERT，RoBERTa和DistilBERT）的影响。我们提供了关于如何私下训练NLP模型以及什么架构和设置提供更理想的隐私实用程序权衡的见解。我们设想这项工作将用于未来的医疗保健和心理健康研究，以保持病史的私密性。因此，我们提供了这项工作的开源实现。
2022-06-16 cs.CL cs.CR cs.LG
Privacy-Preserving Federated Learning with Verifiable Fairness Guarantees
CryptoFair-FL通过加密技术实现隐私保护下的公平性验证，有效降低公平性违规并保持高隐私保护水平。
2026-02-13 cs.CL cs.CR cs.CV
G$^2$uardFL: Safeguarding Federated Learning Against Backdoor Attacks through Attributed Client Graph Clustering
National University of Defense Technology（国防科技大学）；Zhejiang Lab（之江实验室）；Zhejiang University（浙江大学）；Data 61；Chongqing University（重庆大学）
本文提出 G$^2$uardFL，将恶意客户端识别建模为属性图聚类问题，并结合自适应差异放大机制消除后门，在25%恶意客户端设置下显著优于现有防御。
2023-12-08 cs.CR cs.LG
RecUP-FL: Reconciling Utility and Privacy in Federated Learning via User-configurable Privacy Defense
University of Tennessee（田纳西大学）；Rutgers University（罗格斯大学）；Intuit AI Research（Intuit人工智能研究院）
本文提出用户可配置的联邦学习隐私防御方法 RecUP-FL，通过对抗学习生成梯度扰动以保护用户指定敏感属性，并利用元学习思想提升对黑盒攻击的可迁移性，在满足隐私约束的同时显著改善模型效用。
2023-04-11 cs.CR cs.LG
Privacy-preserving Graph Analytics: Secure Generation and Federated Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Arizona State University（亚利桑那州立大学）
直接从国土安全企业的安全相关的应用程序的动机，我们专注于图数据的隐私保护分析，它提供了重要的能力来表示丰富的属性和关系。特别是，我们讨论了两个方向，即隐私保护图生成和联邦图学习，这可以共同实现每个拥有私有图数据的多方之间的协作。对于每一个方向，我们都确定了“速赢”和“难题”。最后，我们展示了一个用户界面，可以促进模型的解释，解释和可视化。我们相信，在这些方向上开发的技术将大大提高国土安全企业应对和减轻各种安全风险的能力。
2022-06-30 cs.CR cs.LG
Quality Inference in Federated Learning with Secure Aggregation
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
本文证明在联邦学习应用安全聚合后仍可推断个体数据集质量，并通过图像识别实验实现参与者质量排序，用于检测不当行为、稳定训练和衡量个体贡献。
2023-05-25 cs.CR cs.LG stat.ML
