A Federated Data Fusion-Based Prognostic Model for Applications with Multi-Stream Incomplete Signals
North Carolina State University(北卡罗来纳州立大学)
针对单组织历史数据不足且多流信号高维、不完整的问题,提出联邦数据融合预后模型,通过联邦多元函数主成分分析与(对数)位置尺度回归实现隐私保护的失效时间预测,性能媲美集中式模型并优于各用户本地模型。
2024-04-09 cs.LG eess.SP stat.ME
Imaging with highly incomplete and corrupted data
我们考虑的问题,从一些嘈杂的数据使用$l_1$ -最小化方法成像稀疏场景。该问题可以被转换为形式为$A \, ρ=b$的线性系统,其中$A$是$N\times K$测量矩阵。我们假设未知稀疏向量$ρ\in {\mathbb{C}}^K$的维数远大于数据向量$b \in {\mathbb{C}}^N$的维数,即$K \gg N$。我们提供了一个理论框架,使我们能够检查在什么条件下的$\ell_1$ -最小化问题承认一个解决方案,是接近的确切存在的噪声。我们的分析表明,当需要高分辨率时,$l_1$ -最小化对于具有噪声数据的成像是不稳健的。为了提高性能的$l_1$ -最小化,我们建议,而不是解决增广线性系统$ [A \, | \, C] ρ=b$,其中的$N \times Σ$矩阵$C$是一个噪声收集器。它被构造成使得其列向量提供了一个框架,在该框架上,可以很好地近似数据的噪声(维度$N$的向量)。理论上,噪声收集器的尺寸$Σ$应该是$e^N$,这将使其使用不实用。然而,我们的数值结果表明,在噪声的存在下,可以得到强大的结果与足够大的列数$Σ\approx 10 K$。
2019-08-05 cs.LG cs.NA eess.IV
Understanding Server-Assisted Federated Learning in the Presence of Incomplete Client Participation
Rochester Institute of Technology(罗切斯特理工学院);The Ohio State University(俄亥俄州立大学);Wayne State University(韦恩州立大学);Duke University(杜克大学)
针对不完整客户端参与问题,本文首次从理论上证明传统FL不可PAC学习而SA-FL可恢复可学习性,并提出SAFARI算法,享有线性收敛加速保证,实验验证其显著提升性能。
2024-05-25 cs.DC cs.LG
Towards Flexible Device Participation in Federated Learning
Carnegie Mellon University(卡内基梅隆大学);Sun Yat-Sen University(中山大学)
传统的联邦学习算法对设备的参与率提出了严格的要求,这限制了联邦学习的潜在范围。本文扩展了当前的学习范式,包括可能变得不活动,计算不完整的更新,并在培训中离开或到达的设备。我们得出的分析结果,以说明如何允许更灵活的设备参与可以影响学习收敛时,数据不是独立和相同的分布(非IID)。然后,我们提出了一个新的联合聚合方案,收敛,即使设备可能是不活动的或返回不完整的更新。我们还研究了学习过程如何适应早出发或晚到达,并分析其对收敛的影响。
2021-02-25 cs.LG stat.ML
Federated Incomplete Multi-View Clustering with Heterogeneous Graph Neural Networks
Guangdong University of Foreign Studies(广东外语外贸大学);School of Engineering, Westlake University(西湖大学工程学院);East China University of Science and Technology(华东理工大学)
针对联邦场景下多视图数据的特征异构与视图不完整问题,提出FIM-GNNs框架,通过客户端异构图自编码器、服务器重叠特征聚合及全局伪标签引导提升聚类性能。
2024-06-12 cs.DC cs.LG
Federated Learning for Time-Series Healthcare Sensing with Incomplete Modalities
KAIST(韩国科学技术院)
针对医疗传感多模态时间序列数据的联邦学习中完整模态假设不现实、现有不完整模态方法扩展性差的问题,提出高效FLISM算法,通过模态不变表示学习等三项技术,实现不完整模态下高精度且高效的联邦训练。
2024-11-27 cs.LG
Federated Incomplete Multi-view Clustering with Globally Fused Graph Guidance
School of Computer Science and Technology, Harbin Institute of Technology, Weihai, China(哈尔滨工业大学威海学院);School of Software, Shandong University, Jinan, China(山东大学软件学院);Shenzhen Key Laboratory of Visual Object Detection and Recognition, Harbin Institute of Technology, Shenzhen, China(深圳视觉对象检测与识别重点实验室)
提出FIMCFG方法,通过双头图卷积编码器提取全局与视图特定特征,在融合图引导下进行聚类,解决联邦多视图聚类中全局信息利用不足和缺失数据问题。
2025-05-30 cs.AI cs.LG
Structured Low-Rank Matrix Factorization with Missing and Grossly Corrupted Observations
The Chinese University of Hong Kong(香港中文大学);Arizona State University(亚利桑那州立大学)
从不完整或损坏的观测值中恢复低秩和稀疏矩阵是机器学习、统计学、生物信息学、计算机视觉以及信号和图像处理中的重要问题。理论上,这个问题可以通过自然凸联合/混合松弛(即,l_{1} -范数和迹范数)。然而,目前所有的可证明算法遭受超线性每次迭代成本,这严重限制了它们的适用性,以大规模的问题。在本文中,我们提出了一个可扩展的,可证明的结构化低秩矩阵分解方法,以恢复低秩和稀疏矩阵从丢失和严重损坏的数据,即,鲁棒矩阵完成(RMC)问题,或不完整和严重损坏的测量,即,压缩主成分追踪(CPCP)问题。具体来说,我们首先提出了两个小规模矩阵迹范数正则化双线性结构因子分解模型的RMC和CPCP问题,其中重复计算的SVD的大规模矩阵的更新两个小得多的因子矩阵。然后,我们应用交替方向乘子法(ADMM)有效地解决RMC问题。最后,我们提供了我们的算法的收敛性分析,并将其扩展到解决一般的CPCP问题。实验结果验证了我们的方法与国家的最先进的方法相比,效率和有效性。
2014-09-03 cs.CV cs.LG stat.ML
Quantifying uncertainty in spectral clusterings: expectations for perturbed and incomplete data
University of Bonn(波恩大学);Institute for Numerical Simulation(数值模拟研究所)
本文针对谱聚类在数据扰动或不完整时结果不可靠的问题,基于随机集理论提出计算期望聚类的蒙特卡罗框架,并分析一致性及数值验证。
2025-05-23 cs.LG stat.ML
Robust Federated Learning with Confidence-Weighted Filtering and GAN-Based Completion under Noisy and Incomplete Data
Computer Engineering Department, İstanbul Commerce University(伊斯坦布尔商业大学计算机工程系);Turkcell Teknoloji(Turkcell技术公司);Grid Communications and Security Group, Electrification and Energy Infrastructures Division, Oak Ridge National Laboratory(橡树岭国家实验室电网安全与能源基础设施部门)
针对联邦学习中的噪声标签、类别缺失与不均衡问题,提出结合自适应噪声清洗、条件 GAN 合成补全和鲁棒训练的隐私保护框架,并在 MNIST 与 Fashion-MNIST 上验证其性能提升。
2025-05-14 cs.AI cs.CR cs.LG
OCT-FedSIR: Toward Trustworthy Federated Ophthalmic Learning under Annotation Noise
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Wake Forest School of Medicine(维克森林大学医学院)
OCT-FedSIR提出可靠性感知谱框架,结合谱估计与重标记,在异构联邦眼科数据中有效识别并纠正注释噪声,提升分类准确率至86.73%。
2026-09-15 cs.AI cs.DC cs.LG
Fed-MIWAE: Federated Imputation of Incomplete Data via Deep Generative Models
Centre Inria d’Université Côte d’Azur(蔚蓝海岸大学法国国家信息与自动化研究所中心)
本文提出 Fed-MIWAE,将深度生成模型 MIWAE 联邦化,用于在不交换原始数据的前提下对分布式不完整数据进行插补,并在 ADNI 多模态医学数据上验证其精度接近集中式最优方法且能量化插补不确定性。
2023-04-17 cs.LG stat.ML
Leveraging Foundation Models for Multi-modal Federated Learning with Incomplete Modality
Rutgers University(罗格斯大学);Pennsylvania State University(宾夕法尼亚州立大学);Dalian University of Technology(大连理工大学)
针对多模态联邦学习中的模态缺失问题,提出 FedMVP 框架,借助冻结的大规模预训练模型完成模态补全与知识迁移,并在服务器端基于表征相似性构图聚合,实验显示其性能优越且鲁棒。
2024-06-16 cs.DC cs.LG
The Built-In Robustness of Decentralized Federated Averaging to Bad Data
SoBigData RI PPP: SoBigData RI Preparatory Phase Project(SoBigData RI预研阶段项目);PNRR - M4C2 - Investimento 1.3(PNRR-M4C2-投资1.3);Telecommunications of the Future(未来电信)
本文通过模拟坏数据均匀分布和集中于单节点两种场景,发现基于FedAvg的去中心化联邦学习对局部低质量数据具有显著鲁棒性,且损坏数据集中于单节点时鲁棒性更强,其原因是平均过程限制了任何单个节点对整体学习的影响。
2025-06-04 cs.AI cs.DC cs.LG
MMiC: Mitigating Modality Incompleteness in Clustered Federated Learning
The University of Adelaide(阿德莱德大学);Macquarie University(麦考瑞大学);CSIRO’s Data 61 and The University of New South Wales(CSIRO的数据61与新南威尔士大学)
MMiC框架通过集群内部分参数替换、Banzhaf权力指数优化客户端选择以及Markovitz投资组合优化动态控制全局聚合,有效缓解多模态联邦学习中的模态缺失问题,并在全局与个性化性能上优于现有方法。
2025-08-21 cs.AI cs.LG
FLIGAN: Enhancing Federated Learning with Incomplete Data using GAN
Vienna University of Technology(维也纳技术大学)
本文提出FLIGAN方法,利用联邦式生成对抗网络生成合成数据以解决联邦学习中数据不完整和类别不平衡问题,并通过按类别采样和节点分组提升合成数据质量,实验显示模型准确率最高可提升20%。
2024-04-02 cs.LG
LIA: Privacy-Preserving Data Quality Evaluation in Federated Learning Using a Lazy Influence Approximation
École Polytechnique Fédérale de Lausanne (EPFL)(瑞士联邦理工学院洛桑校区);Telenor Research(Telenor研究);University of Southern California(南加州大学)
本文提出了一种新的隐私保护数据质量评估方法LIA,通过懒惰影响近似技术过滤和评分数据,在保持隐私的前提下有效识别低质量、损坏或恶意数据。
2024-11-25 cs.AI cs.CR cs.LG
DaringFed: A Dynamic Bayesian Persuasion Pricing for Online Federated Learning under Two-sided Incomplete Information
School of Computer Science and Technology, Wuhan University of Science and Technology(武汉科技大学计算机科学与技术学院);Key Laboratory of Social Computing and Cognitive Intelligence (Dalian University of Technology), Ministry of Education, China(大连理工大学社会计算与认知智能重点实验室(教育部));Hubei Province Key Laboratory of Intelligent Information Processing and Real-time Industrial System, Wuhan University of Science and Technology, China(湖北省智能信息处理与实时工业系统重点实验室(武汉科技大学));College of Computer Science, Inner Mongolia University, China(内蒙古大学计算机学院);School of Computer Science and Technology, Huazhong University of Science and Technology, China(华中科技大学计算机科学与技术学院);School of Automation, Southeast University, China(东南大学自动化学院)
本文针对在线联邦学习中双边不完全信息下的激励机制问题,提出动态贝叶斯劝说定价方法DaringFed,通过信号传递与定价博弈实现近似最优设计,并在真实和合成数据集上验证其能提升准确率、收敛速度及服务器效用。
2025-05-09 cs.GT cs.LG stat.ML
A chaotic maps-based privacy-preserving distributed deep learning for incomplete and Non-IID datasets
Universidad Pablo de Olavide(巴勃罗·德·奥拉维德大学);CUNEF Universidad(库内夫大学);Universidad Autónoma de Chile(智利自治大学)
本研究提出一种安全的联邦学习方法,通过增加差分隐私或基于混沌的加密隐私层来解决non-IID数据挑战,实验证明该方法能提升深度神经网络在IID和non-IID数据下的平均性能。
2024-02-15 cs.CR cs.DC cs.LG
FedMobile: Enabling Knowledge Contribution-aware Multi-modal Federated Learning with Incomplete Modalities
City University of Hong Kong(香港城市大学);The University of Melbourne(墨尔本大学)
针对多模态联邦学习在移动感知场景下的模态不完备难题,提出知识贡献感知框架FedMobile,通过跨节点特征重构、节点贡献评估与对应聚合规则实现鲁棒学习,在高缺失率下性能优于现有基线。
2025-02-20 cs.AI cs.LG
ClusMFL: A Cluster-Enhanced Framework for Modality-Incomplete Multimodal Federated Learning in Brain Imaging Analysis
School of Science and Engineering, the Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)理工学院);Department of Computer Science and Engineering, Lehigh University(利哈伊大学计算机科学与工程系);Department of Computer Science, Emory University(埃默里大学计算机科学系)
针对脑成像联邦学习中的客户端级与实例级模态缺失问题,提出基于 FINCH 聚类、监督对比对齐、缺失模态代理和模态感知聚合的 ClusMFL,并在 ADNI 上验证其优于基线。
2025-02-14 cs.AI cs.CV cs.LG
MAP: Model Aggregation and Personalization in Federated Learning with Incomplete Classes
Nanjing University(南京大学);Nanjing University of Science and Technology(南京理工大学)
针对联邦学习中客户端类别不完整的Non-I.I.D.场景,提出MAP算法,通过受限softmax优化聚合、继承式私有模型存储个性化经验,同时实现聚合与个性化目标,经实验验证性能更优。
2024-04-14 cs.DC cs.LG
Privacy-Preserving Federated Learning on Partitioned Attributes
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
真实世界的数据通常按属性划分,并分布在不同的各方。联邦学习支持协作培训,而无需暴露本地数据或模型。正如我们通过设计攻击所展示的那样,即使有一小部分损坏的数据,对手也可以准确地推断出输入属性。我们引入了一个基于对抗学习的过程,该过程调整局部模型以释放隐私保护的中间表示。针对准确性下降的问题,提出了一种基于前后向分裂算法的防御方法,在前向和后向梯度下降步骤中分别处理准确性损失和隐私性损失,同时实现了两个目标。在各种数据集上进行的大量实验表明,我们的防御方法显著减轻了隐私泄露,对联邦学习任务的影响可以忽略不计。
2021-04-29 cs.CR cs.LG
Robust Mean Estimation on Highly Incomplete Data with Arbitrary Outliers
Stanford University(斯坦福大学)
我们研究的问题,稳健估计的平均值的$d$维分布给定$N$的例子,其中大多数坐标的每个例子可能会丢失和$\varepsilon N$的例子可能会被任意损坏。假设每个坐标出现在一个恒定的因素比$\varepsilon N$的例子,我们显示的算法,估计的平均值的分布与信息理论上的最佳尺寸无关的误差保证在近线性时间$\widetilde O(Nd)$。我们的研究结果扩展了最近的工作计算效率的鲁棒估计,更广泛适用的不完全数据设置。
2021-05-03 cs.DS cs.LG math.ST
Robust Federated Learning by Mixture of Experts
University of Toronto(多伦多大学)
提出了一种基于混合专家模型(MoE)概念的加权平均模型,以提高联邦学习(FL)对中毒/损坏/过时局部模型的鲁棒性。这些威胁以及数据集的非IID性质可以大大降低FL模型的准确性。我们提出的MoE-FL设置依赖于用户和服务器之间的信任,其中用户与服务器共享其公共数据集的一部分。服务器通过解决优化问题或Softmax方法来应用鲁棒聚合方法,以突出异常情况并减少其对FL过程的不利影响。我们的实验表明,MoE-FL的性能优于传统的聚合方法的高速率的中毒数据从攻击者。
2021-04-23 cs.DC cs.LG cs.NE
Federated Deep Multi-View Clustering with Global Self-Supervision
University of Electronic Science and Technology of China(电子科技大学);Shantou University(汕头大学)
针对联邦场景下多视图特征异质与数据不完整问题,提出服务器端对齐扩展并下发全局原型、伪标签,客户端协同训练的自监督深度聚类方法,性能优越。
2023-09-24 cs.LG cs.MM
Bayesian Robust Aggregation for Federated Learning
Scaleout Systems(Scaleout系统公司);Science for Life Laboratory(生命科学实验室)
针对联邦学习中恶意客户端数量未知且攻击随时间变化的问题,本文提出一种基于贝叶斯推理的自适应鲁棒聚合方法,在保持经典平均估计器简洁性的同时,在多个基准数据集上取得了最先进的鲁棒性能。
2025-05-05 cs.LG stat.ML
Robust Federated Training via Collaborative Machine Teaching using Trusted Instances
Symantec Research Labs(赛门铁克研究实验室);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
联邦学习使用代理托管的本地数据执行分布式模型训练。它只共享模型参数更新,以便在服务器上进行迭代聚合。虽然它是隐私保护的设计,联邦学习是容易受到本地代理的噪音腐败,如在以前的研究对抗数据投毒威胁联邦学习系统。即使是一个噪声破坏的代理也会使模型训练产生偏差。在我们的工作中,我们提出了一个具有多个分布式教师的协作和隐私保护的机器教学范例,以提高联邦训练过程对本地数据损坏的鲁棒性。我们假设每个本地代理(教师)都有资源来验证一小部分可信实例,但这本身可能不足以进行学习。在建议的协作机器教学方法中,这些可信的实例指导分布式代理共同选择一个紧凑的,而信息丰富的训练子集,从他们自己托管的数据。同时,智能体学习将有限幅度的变化添加到所选择的数据实例中,以提高联邦训练模型的测试性能,尽管训练数据损坏。玩具和真实数据上的实验表明,我们的方法可以有效地识别训练集错误,并建议适当的修改标签。我们的算法是迈向可信的机器学习的一步。
2019-05-08 cs.AI cs.LG stat.ML
Regression with Sensor Data Containing Incomplete Observations
IBM Research - Tokyo(IBM东京研究院)
针对传感器标签因不完整观测而偏低且无法识别的问题,本文提出一种显式建模恒为负值非对称噪声的学习算法,并证明其无偏性,通过数值实验验证了算法优势。
2023-05-31 cs.LG
Linear Regression under Missing or Corrupted Coordinates
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加州大学圣地亚哥分校);University of California, Davis(加州大学戴维斯分校)
研究高斯协变量下多变量线性回归在数据可能被擦除或损坏时的情况,通过建立新信息论下界刻画误差,得出缺失数据与损坏数据设置中最优误差匹配,知道损坏位置无普遍优势的结论。
2026-07-15 cs.DS cs.LG math.ST
EM-Based Channel Estimation from Crowd-Sourced RSSI Samples Corrupted by Noise and Interference
Naval Research Labs(海军研究实验室);WINLAB, Rutgers University(罗格斯大学WINLAB)
我们提出了一种方法,用于估计信道参数RSSI测量和丢失的数据包计数,它可以工作在存在的损失,由于干扰和信号衰减低于本底噪声。这在无线网络中尤其重要,例如车辆,其中传播模型随着节点的密度而变化。该方法是基于随机期望最大化,其中接收到的数据被建模为混合分布(无/低干扰和强干扰),不完整(删失),由于数据包丢失。根据普遍接受的无线信号和干扰功率模型,混合物中的PDF是Gamma。该方法利用损失计数作为附加信息,因此对于少量接收的RSSI样本,优于不使用该信息(ML-)的最大似然估计。因此,它允许廉价的在线信道估计从ad-hoc收集的数据。该方法在未删失数据混合物上的性能也优于ML-,因为ML-假设样本来自单模PDF。
2015-04-05 cs.LG
Communication-Efficient Robust Federated Learning with Noisy Labels
University of Pittsburgh(匹兹堡大学);Simon Fraser University(西蒙弗雷泽大学)
联邦学习(Federated learning,FL)是一种基于分布式数据的隐私保护机器学习方法。在FL中,数据由每个用户本地保存。这保护了用户隐私,但也使服务器难以验证数据质量,特别是如果数据被正确标记。使用损坏的标签进行训练对联邦学习任务是有害的;然而,在标签噪声的情况下,很少有人关注FL。在本文中,我们专注于这个问题,并提出了一种基于学习的重新加权方法来减轻FL中噪声标签的影响。更确切地说,我们调整了每个训练样本的权重,使学习的模型在验证集上具有最佳的泛化性能。更正式地,该过程可以被公式化为联邦双层优化问题。双层优化问题是一类两层纠缠的优化问题。近年来,非分布双层问题的求解取得了显著的进展,并提出了新的有效算法。然而,解决双层优化问题下的联邦学习设置的研究不足。我们确定,高通信成本的高梯度评估是主要的瓶颈。因此,我们提出了\textit{Comm-FedBiO}来解决一般的联邦双层优化问题,更具体地说,我们提出了两个通信效率高的子例程来估计超梯度。最后给出了算法的收敛性分析。最后,我们应用所提出的算法来解决噪声标签问题。与各种基线相比,我们的方法在几个真实世界的数据集上表现出卓越的性能。
2022-06-11 cs.LG
Federated Causal Inference from Observational Data
National University of Singapore(新加坡国立大学)
本文提出一个从去中心化数据源估计因果效应的隐私保护联邦框架,包含基于高斯过程的FedCI、自适应迁移算法CausalRFF和处理缺失数据的CausalFI三种实例,有效应对分布差异与缺失值带来的偏差。
2024-05-30 cs.AI cs.LG stat.ME
Probabilistic Inference for Learning from Untrusted Sources
IBM Research(IBM研究院)
联邦学习带来了更快的学习、更好的解决方案以及当来自不同方的异构数据增加多样性时更大的转移倾向的潜在好处。然而,由于联邦学习任务往往是大型和复杂的,并且训练时间不可忽略,因此聚合算法对非IID数据和受损方具有鲁棒性是很重要的。这种鲁棒性依赖于识别和适当加权不兼容方的能力。最近的工作假设有一个\textit{reference dataset},通过它可以执行识别。我们考虑的设置中没有这样的参考数据集是可用的;相反,双方的质量和适用性需要是\textit{inferred}。我们通过从众包预测和协同过滤中带来想法来做到这一点,在这种情况下,人们必须从质量未知的参与者那里推断出未知的基本事实。我们提出了新的联邦学习聚合算法的基础上贝叶斯推理,适应各方的质量。经验上,我们表明,算法优于标准和强大的聚合在联邦学习的合成和真实数据。
2021-01-15 cs.AI cs.DC cs.LG
Learning Reconfigurable Representations for Multimodal Federated Learning with Missing Data
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Washington State University(华盛顿州立大学);VinUniversity(文大学);Griffin University(格里芬大学);Hanoi University of Science and Technology(河内科学技术大学)
针对多模态联邦学习中客户端数据缺失和异构导致的表示不对齐问题,提出基于可学习嵌入控制的可重构表示框架,实现局部自适应对齐,在严重缺失下性能提升达36.45%。
2025-10-27 cs.AI cs.LG
Towards Heterogeneous Clients with Elastic Federated Learning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));JD AI Lab(京东人工智能实验室);Ping An Technology(平安科技)
联邦学习涉及在设备或数据孤岛(如边缘处理器或数据仓库)上训练机器学习模型,同时将数据保持在本地。在异构和潜在的大规模网络中进行训练会给系统带来偏差,这源于非IID数据和现实中的低参与率。在本文中,我们提出了弹性联邦学习(EFL),一个无偏的算法来解决系统中的异构性,这使得最具信息量的参数在训练过程中波动较小,并利用不完整的局部更新。它是一种高效且有效的算法,可压缩上游和下游通信。从理论上讲,该算法在低参与率下对非IID数据进行训练时具有收敛性保证。实证实验证实了EFL框架在鲁棒性和效率方面的竞争力。
2021-06-17 cs.AI cs.LG
End-to-End Verifiable Decentralized Federated Learning
POSTECH(浦项科技大学);TU Berlin(柏林工业大学)
针对现有可验证去中心化联邦学习缺乏端到端数据完整性保障的问题,提出结合两步证明与验证(2PV)方法的系统,将可验证性扩展至数据源,实现数据与计算的端到端完整性和真实性,且开销极小。
2024-04-19 cs.CR cs.DC cs.LG
FedUAF: Uncertainty-Aware Fusion with Reliability-Guided Aggregation for Multimodal Federated Sentiment Analysis
Shanghai University(上海大学);North China Electric Power University(华北电力大学);Université de Technologie de Compiègne(法国图卢兹国立理工学院);Nanyang Technological University(南洋理工大学);City University of Hong Kong(香港城市大学);Macquarie University(麦考瑞大学)
本文提出FedUAF框架,通过不确定性融合和可靠性引导聚合解决联邦学习中多模态数据缺失、分布异质和客户端更新不可靠的问题,实验证明其在CMU-MOSI和CMU-MOSEI数据集上优于现有方法。
2026-02-28 cs.AI cs.LG
Federated Remote Physiological Measurement with Imperfect Data
University of Washington(华盛顿大学);Microsoft Research(微软研究院);Fudan University(复旦大学)
人口老龄化和COVID-19疫情凸显了对支持远程医疗技术的日益增长的需求。在健康相关的机器学习应用中,在数据不离开私人设备的情况下学习预测模型的能力是有吸引力的,特别是当这些数据可能包含特征(例如,身体的照片或视频)使得识别对象变得微不足道和/或训练数据量很大(例如,未压缩视频)。基于相机的远程生理感测有助于可扩展和低成本的测量,但它是涉及分析包含可识别图像和敏感健康信息的高比特率视频的任务的一个主要例子。联邦学习能够实现隐私保护的分散式训练,其具有有益于基于相机的感测的若干属性。我们开发了第一个基于摄像头的移动联邦学习传感系统,并表明它可以与传统的最先进的监督方法竞争。然而,在存在损坏的数据(例如,视频或标签噪声),则加权平均的性能迅速降低。为了解决这个问题,我们利用有关视频中预期噪声分布的知识,智能地调整模型权重在服务器上的平均值。我们的研究结果表明,这显着提高后的鲁棒性模型,即使在信号噪声比低
2022-03-11 cs.CV cs.LG eess.IV
LEGATO: A LayerwisE Gradient AggregaTiOn Algorithm for Mitigating Byzantine Attacks in Federated Learning
University of Maryland, College Park(马里兰大学帕克分校);IBM Research(IBM研究院)
联邦学习是一种允许多个参与者在不共享数据的情况下协作训练模型的机制。在这些设置中,参与者(工作人员)可能不完全信任彼此;例如,一组竞争对手可能协作训练机器学习模型来检测欺诈。工作器提供中央服务器用于更新全局模型的本地梯度。当Byzantine worker发送恶意梯度时,这个全局模型可能会被破坏,这需要用于聚合梯度的鲁棒方法来减轻Byzantine输入的不利影响。现有的鲁棒聚集算法通常计算量大,并且仅在严格的假设下有效。在本文中,我们介绍了分层梯度聚合(LEGATO),聚合算法,相比之下,可扩展性和通用性。LEGATO通过研究梯度对拜占庭攻击的特定于层的响应,采用了一种动态梯度重新加权方案,该方案在基于特定于层的鲁棒性处理梯度方面是新颖的。我们证明,LEGATO比多种最先进的技术在计算上更高效,并且在实践中在各种攻击环境中更强大。我们还证明了LEGATO在没有攻击的情况下对梯度下降收敛的好处。
2021-07-26 cs.CR cs.DC cs.LG
Game of Gradients: Mitigating Irrelevant Clients in Federated Learning
IBM Research-India(IBM印度研究院)
联邦学习(FL)的范例涉及在中央服务器的编排下参与机器学习模型的协作训练的多个客户端。在这种设置中,每个客户端的数据都是私有的,不能传输给其他客户端或服务器。尽管外语教学范式近年来受到研究界的广泛关注,但在外语教学过程中,如何选择合适的交际对象仍是一个亟待解决的问题。中央服务器的学习目标未被充分开发。我们将这些问题称为联合相关客户端选择(FRCS)。由于服务器对每个客户端拥有的数据的性质没有明确的控制,因此在FL设置中选择相关客户端的问题非常复杂。在本文中,我们解决重要的和相关的FRCS问题,即,选择具有相关数据的客户端,检测拥有与特定目标标签相关的数据的客户端,以及校正各个客户端的损坏的数据样本。我们遵循一种原则性的方法来解决上述FRCS问题,并使用合作博弈论中的Shapley值概念开发了一种新的联邦学习方法。为此,我们提出了一个合作的游戏,涉及到客户端共享的梯度。使用这个游戏,我们计算Shapley值的客户端,然后提出基于Shapley值的联邦平均(S-FedAvg)算法,使服务器选择相关的客户端具有高概率。事实证明,S-FedAvg在设计特定算法以解决FRCS问题方面至关重要。最后,我们对图像分类和语音识别任务进行了全面的实证分析,以显示S-FedAvg在监督联邦学习设置的背景下比基线的性能更优越。
2021-10-23 cs.AI cs.DC cs.LG
Wavelet Scattering Transform and Fourier Representation for Offline Detection of Malicious Clients in Federated Learning
Department of Mathematical Sciences, Politecnico di Torino(波兰理工学院数学科学系);Istituto Nazionale di Fisica Nucleare, Sezione di Torino(意大利国家核物理研究所托斯卡纳分部);Tynk S.R.L.(Tynk公司);Laboratoire de Physique de l’Ecole Normale Supérieure, ENS Université PSL(巴黎高等科学研究院物理实验室);CNRS, Sorbonne Université, Université de Paris(法国国家科学研究中心、索邦大学、巴黎大学)
WAFFLE通过小波散射变换和傅里叶变换在联邦学习中实现恶意客户端的离线检测,提升检测准确性和分类性能。
2025-10-10 cs.LG
Adversarial Robustness Unhardening via Backdoor Attacks in Federated Learning
University of Michigan, Michigan, USA(密歇根大学);Carnegie Mellon University, Pittsburgh, Pennsylvania, USA(卡内基梅隆大学)
提出ARU方法防御联邦学习中的后门攻击,显著提升模型对抗鲁棒性。
2025-06-29 cs.AI cs.LG
Heterogeneous Datasets for Federated Survival Analysis Simulation
Politecnico di Milano(米兰理工大学);Technische Universität Dresden(德累斯顿工业大学)
生存分析研究人群中发生的感兴趣事件的时间建模技术。生存分析在医疗保健、工程和社会科学中得到了广泛的应用。然而,训练生存模型所需的数据往往是分布式的,不完整的,审查,和机密。在这种情况下,可以利用联邦学习来极大地提高在分布式数据上训练的模型的质量,同时保护用户隐私。然而,联邦生存分析仍处于早期发展阶段,并且没有通用的基准数据集来测试联邦生存模型。这项工作提供了一种新的技术,通过以可复制的方式从现有的非联邦数据集开始构建真实的异构数据集。具体来说,我们提出了两个基于Dirichlet分布的数据集分裂算法,将每个数据样本分配给精心选择的客户端:数量偏斜分裂和标签偏斜分裂。此外,这些算法允许通过改变单个超参数来获得不同水平的异质性。最后,数值实验提供了一个定量评估的异质性水平,使用对数秩检验和定性分析所产生的分裂。所提出的方法的实施是公开的,有利于可重复性,并鼓励共同的做法,模拟联邦环境的生存分析。
2023-02-21 cs.LG
Federated Graph-based Networks with Shared Embedding
Beijing University of Civil Engineering and Architecture(北京建筑大学);Southwest Jiaotong University(西南交通大学)
如今,用户隐私正成为系统开发人员无法绕过的问题,特别是对于数据可以通过互联网轻松传输的Web应用程序。值得庆幸的是,联邦学习提出了一种创新的方法,用分布式设备来训练模型,而数据则保存在本地存储中。然而,与一般的神经网络不同,尽管基于图的网络在分类任务和高级推荐系统中取得了巨大的成功,但其高性能依赖于图结构所提供的丰富上下文,当数据属性不完整时,它是脆弱的。因此,后者成为一个现实的问题时,实施联邦学习基于图的网络。知道数据嵌入是在一个不同的空间表示,我们提出了我们的联邦基于图的网络与共享嵌入(Feras),它使用共享的嵌入数据来训练网络,避免了直接共享原始数据。本文给出了Feras收敛性的一个可靠的理论证明。在不同的数据集(PPI,Flickr,Reddit)上进行实验,以显示Feras的集中式学习的效率。最后,Feras支持在联邦学习框架中训练当前基于图的模型,以解决隐私问题。
2022-10-03 cs.AI cs.LG
Improving $(α, f)$-Byzantine Resilience in Federated Learning via layerwise aggregation and cosine distance
University of Granada(格拉纳达大学);Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)(安达卢西亚数据科学与计算智能研究所(DaSCI))
针对联邦学习在高维空间中拜占庭攻击鲁棒性下降的问题,提出分层余弦聚合方法,通过逐层余弦距离增强鲁棒性,理论分析与实验表明准确率最高提升16%。
2025-03-27 cs.AI cs.LG
FedGRec: Federated Graph Recommender System with Lazy Update of Latent Embeddings
University of Pittsburgh(匹兹堡大学)
推荐系统在工业中被广泛用于改善用户体验。尽管取得了巨大的成功,但他们最近因收集私人用户数据而受到批评。联邦学习(Federated Learning,FL)是一种在分布式数据上进行学习而无需直接数据共享的新范式。因此,联邦推荐(FedRec)系统被提出来减轻非分布式推荐系统的隐私问题。然而,FedRec系统与非分布式系统相比存在性能差距。主要原因是本地客户端的用户-项目交互图不完整,因此FedRec系统不能很好地利用间接的用户-项目交互。在本文中,我们提出了联邦图推荐系统(FedGRec)来弥补这一差距。我们的FedGRec系统可以有效地利用间接的用户项交互。更确切地说,在我们的系统中,用户和服务器显式地存储用户和项目的潜在嵌入,其中潜在嵌入总结了间接用户-项目交互的不同顺序,并在本地训练期间用作缺失交互图的代理。我们进行了广泛的实证评估,以验证使用潜在嵌入作为缺失的交互图的代理的有效性;实验结果显示,与各种基线相比,我们的系统具有优异的性能。该论文的简短版本见\href{https://federated-learning.org/fl-neurips-2022/}{the FL-NeurIPS'22 workshop}。
2022-10-25 cs.LG
Federated Learning based Latent Factorization of Tensors for Privacy-Preserving QoS Prediction
Southwest University(西南大学)
本文提出一种基于张量潜在分解的联邦学习模型(FL-LFT),通过构建面向数据密度的联邦学习框架,使孤立用户在保护隐私的同时协作训练全局模型,实现高精度的Web服务QoS预测。
2024-07-29 cs.CR cs.LG
FedNI: Federated Graph Learning with Network Inpainting for Population-Based Disease Prediction
University of Electronic Science and Technology of China(电子科技大学);East China Normal University(华东师范大学);University of British Columbia(不列颠哥伦比亚大学);Yale University(耶鲁大学)
图卷积神经网络(GCN)被广泛用于图分析。具体而言,在医学应用中,GCN可以用于人口图上的疾病预测,其中图节点表示个体,边表示个体相似性。然而,GCN依赖于大量的数据,这对于单个医疗机构来说是具有挑战性的。此外,大多数医疗机构继续面临的一个关键挑战是在数据信息不完整的情况下孤立地解决疾病预测问题。为了解决这些问题,联邦学习(FL)允许孤立的本地机构协作训练全球模型,而无需数据共享。在这项工作中,我们提出了一个框架,FedNI,利用网络修复和机构间的数据通过FL。具体来说,我们首先联邦训练丢失的节点和边缘预测使用图生成对抗网络(GAN),以完成本地网络的缺失信息。然后,我们训练一个全球GCN节点分类跨机构使用联合图学习平台。这种新颖的设计使我们能够通过利用联邦学习和图形学习方法来构建更准确的机器学习模型。我们证明了我们的联邦模型优于本地和基线FL方法,在两个公共神经成像数据集上具有显著的利润率。
2022-07-18 cs.LG cs.SI
MIDAS: Mutual Information Disentanglement with Uncertainty-Aware Fusion for Incomplete Multimodal Sentiment Analysis
Beijing University of Posts and Telecommunications(北京邮电大学);Zhongguancun Academy(中关村学院);Tsinghua University(清华大学)
本研究针对多模态情感分析中模态不完整的问题,提出MIDAS框架,通过互信息解缠与不确定性感知融合实现鲁棒的多模态表示,在多个数据集上取得优于基线的性能。
2026-08-12 cs.AI cs.LG
GraMFedDHAR: Graph Based Multimodal Differentially Private Federated HAR
Indian Statistical Institute Kolkata(印度统计研究所科塔加特)
针对多模态人体活动识别中的隐私与异构数据挑战,提出基于图的多模态联邦学习框架GraMFedDHAR,采用残差GCN和注意力融合,在差分隐私下显著优于基线模型。
2025-09-06 cs.AI cs.CR cs.LG
Horizontal and Vertical Federated Causal Structure Learning via Higher-order Cumulants
School of Computer Science, Guangdong University of Technology(广东技术大学计算机科学学院);Peng Cheng Laboratory, Shenzhen, China(深圳鹏城实验室);College of Science, Shantou University(汕头大学理学院);Department of Philosophy, Carnegie Mellon University(卡内基梅隆大学哲学系);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出基于高阶累积量的横向与纵向联邦因果结构学习方法,通过聚合客户端累积量估计进行递归源识别,重建因果图并估计因果强度,在合成与真实数据上表现优越。
2025-07-09 cs.LG
EPTAS for $k$-means Clustering of Affine Subspaces
Royal Holloway University of London(伦敦大学皇家霍洛威学院);University of Bergen(卑尔根大学);IIT Hyderabad(印度理工学院海得拉巴分校)
我们认为一个泛化的基本$k$ -手段聚类数据不完整或损坏的条目。当数据对象由$\mathbb{R}^d$中的点表示时,当数据点的某些条目丢失或未指定时,则称该数据点不完整。具有至多$Δ$未指定条目的不完整数据点对应于维度至多为$Δ$的轴平行仿射子空间,称为$Δ$ -点。因此,我们寻求一个分区的$n$输入$Δ$ -点到$k$集群最小化的$k$ -手段的目标。对于$Δ=0$,当指定每个点的所有坐标时,这是通常的$k$均值聚类。我们给出了一个算法,找到一个$(1+ ε)$ -近似解的时间$f(k,ε, Δ) \cdot n^2 \cdot d$的一些功能$f$的$k,ε$,和$Δ$只有。
2020-10-19 cs.CG cs.DS cs.LG
Conditional Imputation for Within-Modality Missingness in Multi-Modal Federated Learning
University of Central Florida(佛罗里达大学)
本文提出CondI框架,通过条件扩散模型解决多模态联邦学习中的模态内缺失问题,采用两阶段训练流程提升模态特定提取器和联合嵌入空间的性能,实验表明在三个临床数据集上效果与现有方法相当。
2026-04-25 cs.LG