Discovering topics with neural topic models built from PLSA assumptions
Dailymotion（Dailymotion公司）
本文提出了一个文本语料库中无监督主题发现的模型。该模型使用文档、单词和主题查找表嵌入作为神经网络模型参数，以构建单词给定主题的概率和主题给定文档的概率。这些概率用于通过边缘化来恢复给定文档的单词的概率。对于文档数量可能达到数十亿的非常大的语料库，使用基于神经自动编码器的文档嵌入比使用传统的查找表嵌入更具可扩展性。因此，我们将基于查找的文档嵌入模型扩展到基于连续自动编码器的模型。我们的模型使用概率潜在语义分析（PLSA）假设进行训练。我们在六个内容丰富的数据集上评估了我们的模型。实验结果表明，所提出的神经主题模型是非常有效的捕获相关的主题。此外，考虑到困惑度量，进行评估基准测试表明，我们的主题模型优于潜在的Dirichlet分配（LDA）模型，这是经典的用于解决主题发现任务。
2019-11-25 cs.CL cs.LG stat.ML
Lifelong Neural Topic Learning in Contextualized Autoregressive Topic Models of Language via Informative Transfers
Technische Universität München（慕尼黑工业大学）；TUM（慕尼黑工业大学）；Siemens AG（西门子股份公司）；LMU（慕尼黑大学）
LDA、DocNADE、iDocNADEe等主题模型在文档分析中得到了广泛的应用。然而，传统的主题模型有几个局限性，包括：（1）词袋（BoW）假设，其中它们忽略了单词排序，（2）数据稀疏，其中由于有限的单词共现，主题模型的应用具有挑战性，导致不连贯的主题，以及（3）没有用于终身主题学习的持续学习框架，利用历史知识（或潜在主题）和最小化灾难性遗忘。本文的研究重点是在神经主题建模框架下解决上述问题。我们建议：（1）结合主题和语言模型并引入语言结构（如词序、句法和语义特征等）的语境化主题模型在主题建模中，（2）将一种新的终身学习机制引入神经主题建模框架，以证明连续文档集合中的连续学习和最小化灾难性遗忘。此外，我们执行一个选择性的数据增强，以减轻在数据幻觉或重放过程中需要完整的历史语料库。
2019-09-29 cs.CL cs.IR cs.LG
Neural Embedding Allocation: Distributed Representations of Topic Models
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）；Atypon Systems（Atypon系统公司）
诸如skip-gram之类的词嵌入模型学习词的语义关系的向量表示，并且文档嵌入模型学习文档的类似表示。另一方面，主题模型提供了文档主题的潜在表示。为了同时获得这些表示的好处，我们提出了一种统一的算法，称为神经嵌入分配（NEA），它通过学习神经嵌入来模仿主题模型，将主题模型解构为单词，主题，文档，作者等的可解释向量空间嵌入。我们展示了NEA的LDA，作者主题模型和最近提出的混合成员跳克主题模型的有效性和通用性，并实现了更好的性能与嵌入相比，几个国家的最先进的模型。此外，我们证明，使用NEA平滑的主题，提高了一致性分数超过原来的主题模型时，主题的数量是大的。
2019-09-10 cs.CL cs.IR cs.LG
Is Neural Topic Modelling Better than Clustering? An Empirical Study on Clustering with Contextual Embeddings for Topics
University of Technology Sydney（悉尼科技大学）；Eindhoven University of Technology（埃因霍温理工大学）；University of Wollongong（伍伦贡大学）
最近的工作将预训练的词嵌入（如BERT嵌入）纳入神经主题模型（NTM），生成高度连贯的主题。然而，有了高质量的上下文文档表示，我们真的需要复杂的神经模型来获得连贯和可解释的主题吗？在本文中，我们进行了深入的实验表明，直接聚类高质量的句子嵌入与适当的词选择方法可以产生更多的连贯性和多样性的主题比NTM，也实现了更高的效率和简单性。
2022-04-21 cs.CL
A Joint Learning Approach for Semi-supervised Neural Topic Modeling
Harvard University（哈佛大学）
主题模型是以可解释的方式表示文本数据的一些最流行的方法。最近，深度生成模型的进步，特别是自动编码变分贝叶斯（AEVB），导致了无监督神经主题模型的引入，该模型利用了深度生成模型，而不是传统的基于神经网络的主题模型。我们通过引入标签索引神经主题模型（LI-NTM）来扩展这些神经主题模型，据我们所知，这是第一个有效的上游半监督神经主题模型。我们发现LI-NTM在文档重建基准中优于现有的神经主题模型，在低标记数据制度和具有信息标签的数据集中效果最显着;此外，我们的联合学习分类器在消融研究中优于基线分类器。
2022-04-07 cs.CL cs.IR cs.LG
Discovering Discrete Latent Topics with Neural Variational Inference
University of Oxford（牛津大学）；DeepMind
主题模型作为文档的概率生成模型已被广泛研究。传统的推理方法寻求封闭形式的推导来更新模型，然而随着这些模型的表达能力的增长，对它们的参数进行快速和准确的推理的难度也在增加。本文提出了替代神经主题建模的方法，通过提供参数化分布的主题，允许在神经变分推理的框架内通过反向传播进行训练。此外，在一个破棒结构的帮助下，我们提出了一个循环网络，它能够发现一个概念上无限数量的主题，类似于贝叶斯非参数主题模型。在MXM Song Lyrics、20个NewsGroups和Reuters News数据集上的实验结果证明了这些神经主题模型的有效性和效率。
2018-05-21 cs.AI cs.CL cs.IR
Automatic Labelling of Topics with Neural Embeddings
IBM Research（IBM研究院）；The University of Melbourne（墨尔本大学）
由主题模型生成的主题通常表示为术语列表。为了减少为最终用户解释这些主题的认知开销，我们建议用一个简洁的短语来概括主题或想法。使用维基百科文档标题作为标签候选者，我们计算文档和单词的神经嵌入，以选择与主题最相关的标签。与最先进的主题标签系统相比，我们的方法更简单，更有效，并找到更好的主题标签。
2016-12-23 cs.CL
Neural Topic Modeling with Cycle-Consistent Adversarial Training
Southeast University（东南大学）
深度生成模型的进展吸引了神经主题建模的重大研究兴趣。最近提出的对抗神经主题模型的主题与对抗训练的生成器网络，并采用狄利克雷之前捕捉潜在的主题的语义模式。它是有效的，在发现连贯的主题，但无法推断给定的文档或利用可用的文档标签的主题分布。为了克服这些限制，我们提出了主题建模与周期一致的对抗训练（ToMCAT）及其监督版本sToMCAT。ToMCAT采用一个生成器网络来解释主题和一个编码器网络来推断文档主题。对抗性训练和周期一致性约束用于鼓励生成器和编码器产生彼此协调的真实样本。sToMCAT通过将文档标签合并到主题建模过程中来扩展ToMCAT，以帮助发现更连贯的主题。在无监督/有监督主题建模和文本分类上对所提出的模型的有效性进行了评估。实验结果表明，我们的模型可以产生连贯和信息丰富的主题，优于一些竞争基线。
2020-09-29 cs.CL
Neural Topic Modeling with Deep Mutual Information Estimation
Nanjing University of Posts and Telecommunications（南京邮电大学）；Southeast University（东南大学）；Monash University（莫纳什大学）；Tsinghua University（清华大学）
新兴的神经主题模型使得主题模型在无监督文本挖掘中具有更好的适应性和扩展性。然而，现有的神经主题模型是很难保留的代表性信息的文件内学习的主题表示。在本文中，我们提出了一个神经主题模型，它结合了深度互信息估计，即，深度互信息估计神经主题建模（NTM-DMIE）。NTM-DMIE是一种用于主题学习的神经网络方法，它最大化输入文档与其潜在主题表示之间的互信息。为了学习鲁棒的主题表示，我们通过对抗性学习来区分消极示例和积极示例。此外，我们使用全局和局部的互信息，以保持在主题表示的输入文档的丰富信息。我们评估NTM-DMIE的几个指标，包括文本聚类的准确性，主题表示，主题的独特性和主题的连贯性。实验结果表明，NTM-DMIE算法在4个数据集上的性能均优于现有算法。
2022-03-12 cs.AI cs.CL
Context Reinforced Neural Topic Modeling over Short Texts
Sun Yat-sen University（中山大学）；Lingnan University（岭南大学）
神经网络主题建模作为一种流行的主题挖掘工具，以其训练效率高、泛化能力强等优点引起了人们的广泛关注。然而，由于每个短文本中缺乏上下文，现有的神经主题模型可能会遭受这样的文档的特征稀疏性。为了缓解这个问题，我们提出了一个上下文增强神经主题模型（CRNTM），其特点可以概括如下。首先，通过假设每个短文本只覆盖几个突出的主题，CRNTM在一个狭窄的范围内推断每个词的主题。其次，我们的模型通过将主题视为嵌入空间中的多元高斯分布或高斯混合分布来利用预训练的词嵌入。在两个基准数据集上的实验验证了该模型在主题发现和文本分类方面的有效性。
2020-08-11 cs.CL cs.IR
Labeling Topics with Images using Neural Networks
由主题模型生成的主题通常由$t$术语列表表示，或者使用短语和图像。目前最先进的工作标签的主题使用图像选择图像重新排序的一小部分候选人为一个给定的主题。在本文中，我们提出了一种更通用的方法，可以使用深度神经网络来估计任何一对看不见的主题和图像之间的关联程度。我们的方法具有更好的运行时性能$O(n)$相比，$O(n^2)$为当前最先进的方法，也是显着更准确。
2017-01-03 cs.CL cs.CV
Federated Topic Model and Model Pruning Based on Variational Autoencoder
Beijing Key Laboratory of Intelligent Communication Software and Multimedia（智能通信软件与多媒体北京重点实验室）；Beijing University of Posts and Telecommunications（北京邮电大学）；School of Economics and Management（经济管理学院）
针对多方跨分析时数据隐私及联邦场景下的通信和性能问题，提出基于变分自编码器建立联邦主题模型并结合模型剪枝的方法，通过两种确定剪枝率的方式，在保持性能的同时大幅加速训练。
2026-07-14 cs.IR cs.LG
Bayesian Federated Neural Matching that Completes Full Information
Tongji University（同济大学）；University of Oklahoma（俄克拉荷马大学）
联邦学习是一种当代机器学习范式，其中局部训练模型被提炼成全局模型。由于神经网络具有固有的排列不变性，概率联合神经网络匹配（PFNM）在局部神经元的生成过程中采用贝叶斯非参数框架，然后在每次交替优化迭代中创建线性和分配公式。但根据我们的理论分析，PFNM中的优化迭代忽略了现有的全局信息。在这项研究中，我们提出了一种新的方法，克服了这一缺陷，在每次迭代引入Kullback-Leibler发散惩罚。我们的方法的有效性证明了图像分类和语义分割任务的实验。
2023-02-22 cs.LG
Exact Penalty Method for Federated Learning
Imperial College London（伦敦帝国理工学院）
联邦学习近年来在机器学习中蓬勃发展，引起了各种各样的研究课题。流行的优化算法基于（随机）梯度下降方法或乘子的交替方向方法的框架。在本文中，我们部署了一个精确的惩罚方法来处理联邦学习，并提出了一个算法，Federnet，能够解决联邦学习中的四个关键问题：通信效率，计算复杂性，掉队者的影响，和数据隐私。此外，它被证明是收敛的，并证明了具有较高的数值性能。
2022-12-04 cs.CR cs.LG
A Federated Learning Benchmark on Tabular Data: Comparing Tree-Based Models and Neural Networks
DENSO Automotive Deutschland GmbH（电装德国汽车有限公司）；Corporate Research and Development（企业研发部）
本文在10个表格数据集上对横向联邦学习中的基于树的模型和深度神经网络进行基准测试，发现联邦化XGBoost等树模型在不同数据划分及大量客户端场景下均优于联邦化参数化模型。
2024-05-03 cs.LG
STFL: A Temporal-Spatial Federated Learning Framework for Graph Neural Networks
Macquarie University（麦考瑞大学）；Ant Group（蚂蚁集团）
本文提出了一个时空联合的图神经网络学习框架STFL。该框架探索输入时空数据的潜在相关性，并将其转换为节点特征和邻接矩阵。框架中的联邦学习设置确保了数据隐私，同时实现了良好的模型泛化。在睡眠阶段数据集ISRUC_S3上的实验结果说明了STFL在图预测任务上的有效性。
2022-01-11 cs.AI cs.LG
Probabilistic Federated Learning of Neural Networks Incorporated with Global Posterior Information
在联邦学习中，在本地客户端上训练的模型被提炼成一个全局模型。由于神经网络具有排列不变性，因此在利用神经网络进行联邦学习时，需要首先对隐含层神经元进行匹配。概率联合神经匹配（PFNM）通过贝叶斯非参数框架，对局部神经网络进行匹配和融合，以适应不同的全局模型大小和数据的异质性。在本文中，我们提出了一种新的方法，扩展PFNM与Kullback-Leibler（KL）分歧的神经组件产品，为了使推理利用后验信息在局部和全局水平。我们还从理论上表明，额外的部分可以无缝连接到匹配和融合的进展。通过一系列的仿真实验表明，无论是在单轮通信还是在多轮通信的情况下，新方法的性能都优于当前流行的联邦学习方法。
2022-10-01 cs.AI cs.LG
Toward Data Heterogeneity of Federated Learning
University of Minnesota（明尼苏达大学）
联邦学习是机器学习的一种流行范式。理想情况下，当所有客户端共享类似的数据分布时，联邦学习工作得最好。然而，在现实世界中并不总是如此。因此，异构数据上的联邦学习得到了学术界和工业界越来越多的关注。在这个项目中，我们首先做了大量的实验，以显示数据偏斜和数量偏斜将如何影响最先进的联邦学习算法的性能。然后，我们提出了一个新的算法FedMix，调整现有的联邦学习算法，我们展示了它的性能。我们发现，现有的国家的最先进的算法，如FedProx和FedNova没有在所有的测试情况下有显着的改善。但是通过测试现有的和新的算法，似乎调整客户端比调整服务器端更有效。
2022-12-17 cs.LG
Federated Bayesian Neural Regression: A Scalable Global Federated Gaussian Process
University of Waterloo（滑铁卢大学）；Vector Institute for AI（Vector人工智能研究院）；Noah’s Ark Lab, Huawei Technologies（华为技术诺亚方舟实验室）
在应用联邦学习（FL）框架的典型场景中，客户端通常没有足够的训练数据来生成准确的模型。因此，不仅提供点估计，而且还提供某种置信度概念的模型是有益的。高斯过程（GP）是一个强大的贝叶斯模型，具有自然校准的方差估计。然而，学习一个独立的全局GP是具有挑战性的，因为合并局部内核会导致隐私泄漏。为了保护隐私，以前考虑联邦GP的作品通过关注个性化设置或学习局部模型的集合来避免学习全局模型。我们提出了联邦贝叶斯神经回归（FedBNR），这是一种学习可扩展的独立全球联邦GP的算法，该算法尊重客户的隐私。我们通过定义统一的随机内核，将深度内核学习和随机特性结合起来，以实现可扩展性。我们表明，这种随机内核可以恢复任何平稳内核和许多非平稳内核。然后，我们推导出一种学习全局预测模型的原则性方法，就好像所有客户端数据都是集中的一样。我们还学习全局内核与知识蒸馏方法的非相同和独立分布（非i.i.d.）客户.在真实世界的回归数据集上进行了实验，与其他联邦GP模型相比，实验显示出统计上的显着改进。
2022-06-13 cs.LG
Bayesian Nonparametric Federated Learning of Neural Networks
IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Center for Computational Health（计算健康中心）
在联邦学习问题中，数据分散在不同的服务器上，交换或池化数据通常是不切实际的或被禁止的。我们开发了一个贝叶斯非参数框架联邦学习与神经网络。假设每个数据服务器提供本地神经网络权重，这些权重通过我们的框架建模。然后，我们开发了一种推理方法，使我们能够合成一个更具表现力的全球网络，而无需额外的监督，数据池，并且只需一轮通信。然后，我们证明了我们的方法对联邦学习问题的有效性，从两个流行的图像分类数据集模拟。
2019-05-28 cs.LG stat.ML
Training Large-Vocabulary Neural Language Models by Private Federated Learning for Resource-Constrained Devices
Apple Inc.（苹果公司）
联邦学习（FL）是一种使用跨设备分布的数据来训练模型的技术。差分隐私（DP）为敏感数据提供正式的隐私保证。我们的目标是在计算受限的设备上训练一个大型神经网络语言模型（NNLM），同时使用FL和DP保护隐私。然而，引入模型的DP噪声随着模型大小的增加而增加，这通常会阻止收敛。我们提出了部分嵌入更新（PEU），一种新的技术，以减少噪声，通过减少有效载荷的大小。此外，我们采用低秩适应（LoRA）和噪声对比估计（NCE），以减少计算受限设备上的大型模型的内存需求。这种技术组合使得训练大词汇量语言模型成为可能，同时保持准确性和隐私性。
2022-07-18 cs.CL cs.CR cs.LG
Real-time Federated Evolutionary Neural Architecture Search
University of Surrey（萨里大学）
联邦学习是一种分布式机器学习方法，用于隐私保护，两个主要的技术挑战阻碍了联邦学习的更广泛应用。一个是联邦学习对通信提出了很高的要求，因为大量的模型参数必须在服务器和客户端之间传输。另一个挑战是，在联邦学习中训练深度神经网络等大型机器学习模型需要大量的计算资源，这对于手机等边缘设备来说可能是不现实的。当在联邦学习中执行深度神经架构搜索时，问题变得更糟。为了解决上述挑战，我们提出了一种进化的方法来实时的【形】联邦神经架构搜索，不仅优化模型的性能，但也减少了本地负载。在搜索过程中，引入了双采样技术，其中对于每个个体，主模型的随机采样子模型被传输到多个随机采样的客户端进行训练，而无需重新初始化。这样，我们有效地减少了进化优化所需的计算和通信开销，避免了局部模型的大的性能波动，使得所提出的框架非常适合于实时的【形】联邦神经结构搜索.
2020-03-04 cs.DC cs.LG stat.ML
Federated Pruning: Improving Neural Network Efficiency with Federated Learning
Emory University（埃默里大学）；Google LLC（谷歌有限责任公司）
自动语音识别模型需要大量的语音数据进行训练，而这些数据的收集往往会导致隐私问题。联邦学习已经被广泛使用，并且被认为是一种有效的分散技术，通过协作学习共享的预测模型，同时将数据保持在不同客户端设备上的本地。然而，客户端设备上有限的计算和通信资源为大型模型带来了实际困难。为了克服这些挑战，我们提出了联邦修剪训练联邦设置下的简化模型，同时保持类似的性能相比，完整的模型。此外，与集中式训练相比，还可以利用大量的客户端数据来改善修剪结果。我们探索不同的修剪方案，并提供我们的方法的有效性的经验证据。
2022-09-14 cs.AI cs.LG
Federated Learning on Stochastic Neural Networks
Department of Mathematics at Florida State University（佛罗里达州立大学数学系）；Division of Computer Science and Mathematics, Oak Ridge National Laboratory（橡树岭国家实验室计算机科学与数学 division）
针对联邦学习中本地数据潜在噪声问题，提出以随机神经网络作为本地模型的 Federated stochastic neural networks，用于估计真实状态并量化噪声，实验验证其在非独立同分布数据上的有效性。
2025-06-09 cs.DC cs.LG
Architecture Agnostic Federated Learning for Neural Networks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
随着人们对数据隐私的日益关注和数据量的快速增长，联邦学习（FL）已成为一种重要的学习范式。然而，在FL设置中联合学习深度神经网络模型被证明是一项不平凡的任务，因为与神经网络相关的复杂性，例如跨客户端的不同架构，神经元的排列不变性以及每层中存在非线性变换。这项工作介绍了一种新的联邦异构神经网络（FedHeNN）框架，允许每个客户端建立一个个性化的模型，而无需在客户端之间执行一个共同的架构。这允许每个客户端针对本地数据和计算约束进行优化，同时仍然受益于其他（可能更强大的）客户端的学习。FedHeNN的核心思想是使用从对等客户端获得的实例级表示来指导每个客户端上的同步训练。广泛的实验结果表明，FedHeNN框架是能够学习更好地执行客户端上的模型在两个设置跨客户端的同构和异构体系结构。
2022-07-07 cs.LG
Survey of Personalization Techniques for Federated Learning
Vishwakarma University（维什瓦卡玛大学）；DeepTek Inc（迪普泰克公司）
联邦学习使机器学习模型能够在不损害隐私的情况下从私有分散数据中学习。联邦学习的标准制定为所有客户生成一个共享模型。由于跨设备的数据的非IID分布导致的统计异质性通常会导致这样的场景：对于某些客户端来说，仅在其私有数据上训练的本地模型比全局共享模型表现更好，从而剥夺了他们参与该过程的动力。已经提出了几种技术来个性化全局模型，以便更好地为各个客户端工作。本文强调了个性化的必要性，并调查了最近关于这一主题的研究。
2020-03-19 cs.LG stat.ML
SpreadGNN: Serverless Multi-task Federated Learning for Graph Neural Networks
University of Southern California（南加州大学）；Viterbi School of Engineering（维特比工程学院）
图神经网络（GNN）是解决图机器学习问题的首选方法，因为它能够从图结构化数据中学习最先进的水平表示。然而，由于用户侧隐私问题、法规限制和商业竞争，集中大量真实世界的图形数据进行GNN训练是禁止的。联邦学习是事实标准，用于在许多分布式边缘设备上协作训练机器学习模型，而无需集中化。然而，在联邦环境中训练图神经网络定义模糊，并带来统计和系统挑战。这项工作提出了一种新的多任务联邦训练框架，能够在文献中首次在存在部分标签和不存在中央服务器的情况下运行。RIGGNN将联邦多任务学习扩展到GNN的现实无服务器设置，并利用一种具有收敛保证的新型优化算法，分散周期平均SGD（DPA-SGD）来解决分散多任务学习问题。我们实证证明了我们的框架对各种非I.I.D.具有部分标签的分布式图级分子性质预测数据集。我们的研究结果表明，即使在受限的拓扑结构中，在中央服务器依赖的联邦学习系统上训练的GNN模型也优于GNN模型。源代码可在www.example.com上公开获取
2021-06-04 cs.LG
Privacy and Fairness in Federated Learning: on the Perspective of Trade-off
University of Technology Sydney（悉尼科技大学）；City University of Macau（澳门城市大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本文综述了联邦学习中隐私与公平的相互作用，分析了FL环境下的独特挑战与解决方案，并揭示了二者相互竞争的权衡关系，为公平与隐私联邦学习指明了新研究方向。
2023-06-25 cs.AI cs.CR cs.CY
Federated Neural Architecture Search
State Key Laboratory of Networking and Switching Technology (BUPT)（网络与交换技术国家重点实验室（北京邮电大学））；Key Lab of High Confidence Software Technologies (Peking University)（高可信软件技术重点实验室（北京大学））
为了在实现移动智能的同时保护用户隐私，已经提出了在分散数据上训练深度神经网络的技术。然而，在分散的数据上进行训练使得神经架构的设计变得非常困难。当为异构移动平台设计和部署不同的神经架构时，这种困难进一步放大。在这项工作中，我们提出了一种自动神经架构搜索到分散式训练中，作为一种新的DNN训练范式，称为联邦神经架构搜索，即联邦NAS。为了应对有限的客户端计算和通信资源的主要挑战，我们提出了FedNAS，这是一个高度优化的高效联邦NAS框架。FedNAS充分利用了架构搜索过程中模型候选重新训练不足的关键机会，并结合了三个关键优化：部分客户端上的并行候选训练，早期丢弃性能较差的候选，以及动态轮数。在大规模数据集和典型的CNN架构上进行测试后，FedNAS实现了与最先进的NAS算法相当的模型准确性，该算法使用集中式数据训练模型，并且与联邦NAS的直接设计相比，还将客户端成本降低了两个数量级。
2022-07-06 cs.DC cs.LG
Federated Learning with Spiking Neural Networks
Yale University（耶鲁大学）
随着神经网络在资源受限的嵌入式设备中得到广泛采用，对低功耗神经系统的需求日益增长。脉冲神经网络（SNN）正在成为传统人工神经网络（ANN）的能量高效替代方案，人工神经网络（ANN）已知是计算密集型的。从应用的角度来看，由于联邦学习涉及多个能源受限的设备，因此利用SNN提供的能源效率有很大的空间。尽管其重要性，但很少有人关注在像联邦学习这样的大规模分布式系统上训练SNN。在本文中，我们将SNN带到一个更现实的联邦学习场景中。具体来说，我们提出了一个联邦学习框架，用于SNN的分散和隐私保护训练。为了验证所提出的联邦学习框架，我们用CIFAR10和CIFAR100基准测试实验评估了SNN在联邦学习各个方面的优势。我们观察到，当数据分布在联邦中的大量客户端时，SNN在整体准确性方面优于ANN超过15%，同时提供高达5.3倍的能源效率。除了效率之外，我们还分析了所提出的联邦SNN框架对客户端，落伍者和梯度噪声之间的数据分布的敏感性，并与ANN进行了全面的比较。
2021-06-11 cs.CV cs.DC cs.LG
Plankton-FL: Exploration of Federated Learning for Privacy-Preserving Training of Deep Neural Networks for Phytoplankton Classification
University of Waterloo（滑铁卢大学）；University of Montreal（蒙特利尔大学）；Blue Lion Labs（蓝狮实验室）
为浮游植物监测创建高性能可推广的深度神经网络需要利用来自全球不同水源的大规模数据。培训这类网络的一个主要挑战在于数据隐私，在不同设施收集的数据往往被限制转移到一个集中的位置。克服这一挑战的一种有希望的方法是联邦学习，其中在站点级别对本地数据进行训练，并且仅通过网络交换模型参数以生成全局模型。在这项研究中，我们探讨了利用联邦学习进行浮游植物分类的深度神经网络的隐私保护训练的可行性。更具体地说，我们模拟了两种不同的联邦学习框架，联邦学习（FL）和互斥FL（ME-FL），并将其性能与传统的集中式学习（CL）框架进行了比较。本研究的实验结果证明了联邦学习在浮游植物监测中的可行性和潜力。
2022-12-18 cs.CR cs.CV cs.LG
Investigating the Predictive Reproducibility of Federated Graph Neural Networks using Medical Datasets
Istanbul Technical University（伊斯坦布尔理工大学）；Faculty of Medicine of Sousse（苏塞医学院）
图神经网络（GNN）在各个领域取得了非凡的增强，包括医学成像和网络神经科学领域，在诊断自闭症等具有挑战性的神经系统疾病方面表现出很高的准确性。面对医疗数据的稀缺性和高隐私性，训练这种数据饥渴的模型仍然具有挑战性。联邦学习为这个问题带来了一个有效的解决方案，它允许在不同医院独立收集的多个数据集上以完全数据保存的方式训练模型。尽管最先进的GNN和联邦学习技术都专注于提高分类准确性，但它们忽略了一个关键的未解决问题：研究最具区分性的生物标志物的再现性（即，特征）在联邦学习范例内由GNN模型选择。量化预测医学模型对训练和测试数据分布扰动的可重复性是开发转化临床应用时要克服的最大障碍之一。据我们所知，这是第一次研究联邦GNN模型的可重复性，并将其应用于对医学成像和大脑连接数据集进行分类。我们使用在医学成像和连接组数据集上训练的各种GNN模型来评估我们的框架。更重要的是，我们发现联邦学习提高了GNN模型在此类医学学习任务中的准确性和可重复性。我们的源代码可以在https://github.com/basiralab/reproducibleFedGNN上找到。
2022-09-13 cs.LG
Recent Advances on Federated Learning: A Systematic Survey
Beijing University of Posts and Telecommunications（北京邮电大学）
联邦学习已经成为一种有效的模式，以实现隐私保护的合作学习之间的不同方。与传统的集中式学习需要从每一方收集数据相比，在联邦学习中，只交换本地训练的模型或计算的梯度，而不暴露任何数据信息。这在一定程度上保护了隐私。近年来，联邦学习越来越受到人们的关注，相关的研究也越来越多。但大多集中在某一个特定的视角或缺乏最新的研究进展。本文对联邦学习进行了系统的综述，旨在从不同的角度对近年来的先进联邦学习方法及其应用进行综述。具体而言，本文包括四个主要贡献。首先，我们提出了一个新的分类法的联邦学习的管道和联邦场景中的挑战。其次，我们将联邦学习方法归纳为几类，并简要介绍了这些类别下的最新方法。第三，我们概述了一些流行的联邦学习框架，并介绍了他们的特点。最后，讨论了现有方法的一些潜在不足和未来的发展方向。
2023-01-03 cs.LG
FedIPR: Ownership Verification for Federated Deep Neural Network Models
Shanghai Jiao Tong University（上海交通大学）；WeBank（微众银行）；Hong Kong University of Science and Technology（香港科技大学）
联邦学习模型是在多方拥有的有价值的训练数据上协作开发的。在联邦模型的开发和部署过程中，它们面临着非法复制、重新分发、滥用和/或搭便车等风险。为了解决这些风险，联邦学习模型的所有权验证是保护联邦学习模型知识产权（IPR）的先决条件，即，FedIPR。我们提出了一种新型的联合深度神经网络（FedDNN）所有权验证方案，允许嵌入和验证私有水印，以声称FedDNN模型的合法知识产权。在该方案中，每个客户端独立地验证模型水印的存在性，并声称各自的联邦模型的所有权，而不透露私人训练数据，也没有私人水印信息。嵌入式水印的有效性在理论上是合理的严格分析的条件下，水印可以私下嵌入和检测的多个客户端。此外，大量的计算机视觉和自然语言处理任务的实验结果表明，不同的位长水印可以嵌入和可靠地检测，而不损害原始模型的性能。我们的水印方案也是弹性的各种联邦训练设置和鲁棒性对删除攻击。
2022-08-24 cs.AI cs.LG
eFedDNN: Ensemble based Federated Deep Neural Networks for Trajectory Mode Inference
Toronto Metropolitan University（多伦多都会大学）；Royal Military College（皇家军事学院）
作为智能移动系统中最重要的数据源，GPS轨迹可以帮助识别用户的出行模式。然而，这些GPS数据集可能包含用户的私人信息（例如，家庭位置），防止许多用户与第三方共享他们的私人信息。因此，在保护用户隐私的同时识别出行模式是一个重要的问题。为了应对这一挑战，我们使用了联邦学习（FL），这是一种隐私保护的机器学习技术，旨在通过访问用户的本地训练模型而不是原始数据来协同训练一个健壮的全局模型。具体来说，我们设计了一种新的基于集成的联邦深度神经网络（eFedDNN）。集成方法结合了用户通过FL学习的不同模型的输出，并显示出超越文献中报道的可比模型的准确性。在蒙特利尔真实世界开放获取数据集上进行的广泛实验研究表明，所提出的推理模型可以在不影响隐私的情况下准确识别用户的旅行模式。
2022-05-11 cs.LG
Federated Learning of Neural ODE Models with Different Iteration Counts
Keio University（庆应义塾大学）
本文提出一种基于神经ODE模型的灵活联邦学习方法，可聚合不同迭代次数或深度的模型，减少通信开销，并在CIFAR-10上相比ResNet降低通信量达92.4%。
2023-09-05 cs.DC cs.LG
Federated Learning of Spiking Neural Networks under Heterogeneous Temporal Resolutions
Department of Electrical Engineering, Uppsala University, Sweden（瑞典乌普萨拉大学电气工程系）
本文提出一种联邦学习框架，解决不同时间分辨率下脉冲神经网络参数整合问题，通过在SHD和DVS-Gesture数据集上验证，有效恢复因时间不匹配导致的精度损失。
2026-05-14 cs.LG
Direct Federated Neural Architecture Search
Cisco Systems（思科系统公司）
神经架构搜索（NAS）是一组用于构建神经网络的方法。我们将这一思想应用于联邦学习（FL），其中预定义的神经网络模型在客户端/设备数据上进行训练。这种方法不是最佳的，因为模型开发人员无法观察本地数据，因此无法构建高度准确和高效的模型。NAS可以为非IID数据自动搜索全局和个性化的模型，是FL很有前途的方法。大多数NAS方法在计算上是昂贵的，并且需要在搜索之后进行微调，这使得它成为一个两阶段的复杂过程，可能需要人为干预。因此，需要端到端NAS，它可以在FL场景中常见的异构数据和资源分布上运行。在本文中，我们提出了一种有效的方法，直接联邦NAS，这是硬件不可知的，计算轻量级的，和一个阶段的方法来搜索准备部署的神经网络模型。我们的结果显示了资源消耗的数量级减少，同时在准确性上超过了现有技术。这为创建优化和计算效率高的联邦学习系统打开了一扇机会之窗。
2020-10-20 cs.LG cs.NE
Heterogeneous Federated Learning with Convolutional and Spiking Neural Networks
College of Information Science and Technology, Donghua University（东华大学信息科学与技术学院）；School of Engineering, Westlake University（西湖大学工程学院）；School of Cyber Science and Engineering, Wuhan University（武汉大学网络空间安全学院）
本文针对异构联邦学习中CNN与SNN模型并存带来的聚合难题，系统比较了多种联邦聚合方法，并提出CNN-SNN融合框架，在MNIST数据集上取得最佳性能，同时揭示了多模型联邦学习收敛过程中的竞争抑制现象。
2024-06-14 cs.DC cs.LG
Multi-objective Evolutionary Federated Learning
University of Surrey（萨里大学）
联邦学习是一种新兴的技术，用于防止私人信息的泄漏。与需要从用户收集数据并将其集中存储在云服务器上的集中式学习不同，联邦学习可以在数据分布在用户设备上的同时学习全局模型。然而，与传统的集中式方法相比，联邦设置消耗了大量的客户端通信资源，这是更新全局模型所不可或缺的，并阻碍了该技术的广泛应用。在本文中，我们的目标是使用多目标进化算法优化联邦学习中的神经网络模型的结构，同时最小化通信成本和全局模型测试误差。一种用于编码网络连接性的可扩展方法适用于联邦学习，以提高进化深度神经网络的效率。在多层感知器和卷积神经网络上的实验结果表明，所提出的优化方法能够找到优化的神经网络模型，与标准的全连接神经网络相比，不仅能够显著降低通信开销，而且能够提高联邦学习的学习性能.
2019-06-08 cs.AI cs.LG stat.ML
An End-to-End Encrypted Neural Network for Gradient Updates Transmission in Federated Learning
Tongdun Technology（同盾科技）；ZhongAn Technology（众安科技）
联邦学习是一种分布式学习方法，通过聚集本地计算的梯度更新来训练共享模型。在联邦学习中，带宽和隐私是梯度更新传输的两个主要关注点。本文提出了一种端到端的梯度更新加密神经网络传输。该网络首先将输入梯度更新编码到每个客户端的低维空间，这显著减轻了联邦学习中数据通信的压力。在服务器上的网络的解码层中，编码的梯度更新作为整体直接恢复，即训练模型的聚合梯度更新。通过这种方式，在每个客户端中加密的梯度更新不仅可以防止在通信期间被拦截，而且服务器也不知道。在加密神经网络的基础上，设计了一种新的联邦学习框架，并将其应用于实际应用。实验结果表明，该网络在联邦学习中以较小的模型精度为代价，能够有效地实现隐私保护和数据压缩两个目标。
2019-08-22 cs.LG stat.ML
Federated Neural Bandits
National University of Singapore（新加坡国立大学）；MIT（麻省理工学院）
最近关于神经上下文强盗的工作已经取得了令人信服的性能，因为它们能够利用神经网络（NN）的强大表示能力进行奖励预测。上下文强盗的许多应用涉及多个代理谁合作，而不共享原始观察，从而产生了联邦上下文强盗的设置。现有的联邦上下文bandits依赖于线性或内核化bandits，这在建模复杂的现实世界奖励函数时可能会有所不足。因此，本文引入了联邦神经元置信上界（FN-UCB）算法。为了更好地利用联合设置，FN-UCB采用两个UCB的加权组合：$\text{UCB}^{a}$允许每个代理额外使用来自其他代理的观察来加速探索（而不共享原始观察），而$\text{UCB}^{b}$使用具有聚合参数的NN进行奖励预测，其方式类似于监督学习的联合平均。值得注意的是，我们的理论分析所需的两个UCB之间的权重适合于有趣的解释，该解释最初强调$\text{UCB}^{a}$以加速探索，并且在收集了足够的观察结果以训练NN以进行准确的奖励预测之后更依赖于$\text{UCB}^{b}$（即，可靠的开发）。我们证明了FN-UCB的累积遗憾和通信回合数的次线性上界，并实证证明了其竞争性能。
2023-03-01 cs.AI cs.LG
Spiking Neural Networks in Vertical Federated Learning: Performance Trade-offs
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；University of Oklahoma（俄克拉荷马大学）
本文首次研究脉冲神经网络（SNNs）在纵向联邦学习（VFL）中的适用性，实现带/不带模型拆分的两类联邦架构，在CIFAR数据集上验证发现SNN准确率与传统ANN相当且能效更高。
2024-08-13 cs.AI cs.LG
Federated Transfer Learning: concept and applications
Technical University of Munich（慕尼黑工业大学）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
人工智能（AI）的发展与数据的发展有着内在的联系。然而，在大多数行业中，数据以孤岛的形式存在，不同组织之间的共享范围有限。这是AI进一步发展的障碍。联邦学习在过去几年中已经成为解决这个问题的一个可能的解决方案，而不会损害用户隐私。在联邦学习的不同变体中，值得注意的是联邦迁移学习（FTL），它允许知识在没有太多重叠功能和用户的领域之间转移。在这项工作中，我们提供了一个全面的调查，现有的作品就这一主题。更详细地，我们研究了超光速的背景和它的不同现有的应用。我们进一步从隐私和机器学习的角度分析FTL。
2021-03-06 cs.CR cs.LG
Federated Learning for Healthcare Domain - Pipeline, Applications and Challenges
Saama AI Research（萨马人工智能研究院）
联邦学习是在分布于数据中心（如医院、临床研究实验室和移动设备）的数据集上开发机器学习模型，同时防止数据泄露的过程。本调查调查了医疗保健领域以前关于联邦学习的研究，涉及一系列用例和应用。我们的调查显示了从业者在联邦学习主题中应该意识到的挑战、方法和应用。本文旨在列出现有的研究，并列出医疗保健行业联邦学习的可能性。
2022-11-19 cs.AI cs.CR cs.DC
Feasibility Analysis of Federated Neural Networks for Explainable Detection of Atrial Fibrillation
CERN（欧洲核子研究组织）；Sapienza University of Rome（罗马大学）
本文评估联邦学习平台利用原始 ECG 数据训练神经网络检测 AFib 的可行性，证明其优于本地训练，并提供隐私保护、可解释的医疗诊断方案。
2024-10-14 cs.LG eess.SP
Threats to Federated Learning: A Survey
WeBank（微众银行）；Hong Kong University of Science and Technology（香港科技大学）；National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
随着数据孤岛的出现和流行的隐私意识，传统的训练人工智能（AI）模型的集中式方法正面临着强大的挑战。联邦学习（FL）最近出现作为一个有前途的解决方案，在这一新的现实。现有的FL协议设计已被证明存在漏洞，这些漏洞可以被系统内外的对手利用，从而损害数据隐私。因此，使FL系统设计者意识到未来FL算法设计对隐私保护的影响至关重要。目前，没有关于这一主题的调查。在本文中，我们弥合这一重要的差距，外语文学。通过对FL的概念进行简要介绍，并对FL的威胁模型和两种主要攻击进行了独特的分类：1）中毒攻击和2）推理攻击，本文对这一重要主题进行了简单的回顾。我们强调的直觉，关键技术以及各种攻击所采用的基本假设，并讨论未来的研究方向，更强大的隐私保护FL。
2020-03-04 cs.CR cs.LG stat.ML
Federated Spectral Graph Transformers Meet Neural Ordinary Differential Equations for Non-IID Graphs
Indian Institute of Information Technology Kottayam (IIITK)（印度信息技术学院科塔亚姆分校（IIITK））；International Institute of Information Technology Hyderabad (IIITH)（印度信息技术学院海得拉巴分校（IIITH））
针对联邦GNN学习未被充分探索的问题，提出结合谱图Transformer与神经常微分方程的方法，处理非IID图，在同构/异构图上性能优异，推动联邦GNN发展。
2025-04-16 cs.LG
Neural Federated Learning for Livestock Growth Prediction
University of Technology Sydney（悉尼科技大学）；Queensland University of Technology（昆士兰科技大学）
本文提出LivestockFL框架，通过联邦学习解决畜牧业生长预测中数据稀疏和隐私保护问题，结合门控循环单元和多层感知机建模时间生长模式，并引入LivestockPFL实现个性化预测。
2026-04-01 cs.LG
Federated Neural Collaborative Filtering
Democritus University of Thrace（德谟克利特色雷斯大学）；Athena Research Center（雅典娜研究中心）
在这项工作中，我们提出了一个联邦版本的国家的最先进的神经协同过滤（NCF）的项目建议的方法。该系统名为FedNCF，可以在不要求用户披露或传输其原始数据的情况下进行学习。数据本地化保护数据隐私并符合GDPR等法规。虽然联邦学习可以在没有本地数据传播的情况下进行模型训练，但原始客户端更新的传输会带来额外的隐私问题。为了解决这一挑战，我们采用了一种隐私保护的聚合方法，满足对诚实但好奇的实体的安全要求。我们认为，理论和实验，现有的聚合算法是不一致的潜在因素模型更新。我们提出了一个增强分解的聚合步骤矩阵分解和神经网络为基础的平均。实验验证表明，FedNCF实现了与原始NCF系统相当的推荐质量，而我们提出的聚合导致更快的收敛速度相比，现有的方法。我们调查的联邦推荐系统的有效性和评估的隐私保护机制的计算成本。
2022-02-16 cs.CR cs.IR cs.LG
DiPSeN: Differentially Private Self-normalizing Neural Networks For Adversarial Robustness in Federated Learning
Carleton School of Information Technology（卡尔顿信息技术学院）
对强大、安全和私有的机器学习的需求是实现物联网（IoT）全部潜力的重要目标。联邦学习已被证明有助于防止隐私侵犯和信息泄露。然而，它引入了新的风险向量，这使得机器学习模型更难以抵御对抗性样本。在这项研究中，我们研究了差分隐私和自我规范化在降低对抗性样本风险方面的作用，特别是在联邦学习环境中。我们介绍了DiPSeN，一个差分隐私自规范化神经网络，它结合了差分隐私噪声与自规范化技术的元素。我们在三个公开数据集上的实证结果表明，DiPSeN成功地提高了深度学习分类器在基于几个评估指标的联邦学习环境中的对抗鲁棒性。
2021-01-08 cs.AI cs.CY cs.LG
One Node Per User: Node-Level Federated Learning for Graph Neural Networks
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
本文针对图神经网络联邦学习中客户端仅持单节点特征向量的场景，提出解耦首层消息传递与特征变换的节点级联邦图学习框架，并引入图拉普拉斯正则项，在多个数据集上验证了优于基线方法的性能。
2024-09-29 cs.AI cs.LG
Conformal Prediction for Federated Graph Neural Networks with Missing Neighbor Information
University of Southern California（南加州大学）；DEVCOM Army Research Office（DEVCOM陆军研究办公室）
本文针对联邦图学习中缺失邻居信息影响模型可靠性的问题，提出基于变分自编码器重建缺失邻居的共形预测方法，在保证覆盖率的同时获得更小的预测集。
2024-10-17 cs.LG
NTK-DFL: Enhancing Decentralized Federated Learning in Heterogeneous Settings via Neural Tangent Kernel
ece（电气与计算机工程系）；sci（安全计算研究所）
针对去中心化联邦学习在统计异构场景下的性能瓶颈，提出融合神经切线核演化与模型平均的NTK-DFL方法，可提升准确率与收敛速度，通信轮次较基线减少4.6倍，且在多场景下具备鲁棒性。
2025-06-12 cs.LG
