单次联邦保形预测

面向LLM群体的任意有效联邦共形RAG

Certified Adaptive Refresh: Anytime-Valid Monitoring for Federated Conformal RAG

H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（H.米尔顿·斯图尔特工业与系统工程学院，佐治亚理工学院）

提出Anytime-FC-RAG，通过可累积的逐步校准偏差预算和截断投注e过程，将联邦共形RAG扩展到任意停止时间均有效的序贯覆盖，并保证时间均匀报警有效性、Hoeffding拼接累积误覆盖包络及自适应控制下的安全性。

2026-09-30cs.LGstat.ML

带宽预算下的联邦语言模型：蒸馏率与共形覆盖

Federated Language Models Under Bandwidth Budgets: Distillation Rates and Conformal Coverage

H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（H. Milton Stewart工业与系统工程学院，佐治亚理工学院）

本文研究带宽受限节点间分布式语言模型的统计保证，提出联邦探针-对数蒸馏（FPLD）和联邦共形RAG（FC-RAG）两种协议，分别给出训练时的KL一致性率和推理时的无分布边际覆盖界，首次将带宽作为一阶统计参数。

2026-10-14cs.CLcs.LGstat.ML

拜占庭鲁棒的联邦RAG：通过对齐校准与固定成员共形预测

Byzantine-Robust Federated RAG via Aligned Calibration and Fixed-Membership Conformal Prediction

Georgia Institute of Technology（佐治亚理工学院）

针对联邦RAG中拜占庭节点攻击，利用诚实节点跨步骤一致性，通过对齐校准与固定成员共形预测，在有限样本下提供覆盖保证，并实现更小的预测集。

2026-09-30cs.LGstat.ML

数据异质性下的高效共形预测

Efficient Conformal Prediction under Data Heterogeneity

Ecole Polytechnique（巴黎综合理工学院）；Lagrange Mathematics and Computing Research Center（拉格朗日数学与计算研究中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；HSE University（高等经济大学）；Technology Innovation Institute（技术创新研究院）

针对传统共形预测依赖数据可交换性、现有非可交换场景方法计算性差的问题，提出高效共形预测方法，可在通用非可交换分布及联邦学习异质场景下生成有理论保证的有效预测集，经真实数据集实验验证有效。

2024-07-13cs.LGstat.ML

具有个性化统计有效性的多智能体共形预测

Multi-Agent Conformal Prediction with Personalized Statistical Validity

Department of Electronic Systems（电子系统系）；Aalborg University（奥尔堡大学）；Department of Mathematical Sciences（数学科学系）；Institut de Mathématiques de Toulouse（图卢兹数学研究所）；Université de Toulouse（图卢兹大学）

提出个性化联邦加权共形预测框架，通过局部密度比加权和加权分位数聚合，在保护隐私的同时纠正数据异质性，为每个参与智能体提供渐近有效的边际和校准条件覆盖保证。

2026-05-30cs.AIcs.LGstat.ML

基于元学习交叉验证的共形预测集合预测量的Few-Shot校正

Few-Shot Calibration of Set Predictors via Meta-Learned Cross-Validation-Based Conformal Prediction

已知传统的频率主义学习会产生校准不良的模型，这些模型无法可靠地量化其决策的不确定性。贝叶斯学习可以改善校准，但形式保证仅适用于对正确的模型规范的限制性假设。共形预测（CP）提供了一个通用框架，用于设计具有校准保证的集合预测器，无论底层数据生成机制如何。然而，当训练数据有限时，CP倾向于产生大的，因此没有信息的预测集。本文介绍了一种新的元学习解决方案，旨在减少集合预测大小。与先前的工作不同，所提出的元学习方案（称为元XB）（i）建立在基于交叉验证的CP上，而不是效率较低的基于验证的CP;（ii）保留正式的每任务校准保证，而不是不太严格的任务边际保证。最后，元XB扩展到自适应非共形分数，这是经验，以进一步提高边际每输入校准。

2022-10-06cs.LGeess.SPstat.ML

跨筒仓设置的实用一次性联邦学习

Practical One-Shot Federated Learning for Cross-Silo Setting

National University of Singapore（新加坡国立大学）；University of California, Berkeley（加州大学伯克利分校）

联邦学习使多方能够在不交换数据的情况下协作学习模型。虽然大多数现有的联邦学习算法需要许多轮来收敛，但是一次性联邦学习（即，联邦学习与一个单一的通信轮）是一个有前途的方法，使联邦学习适用于跨筒仓设置在实践中。然而，现有的一次性算法只支持特定的模型，不提供任何隐私保证，这大大限制了实际应用。本文提出了一种实用的一次性联邦学习算法FedKT。通过利用知识转移技术，FedKT可以应用于任何分类模型，可以灵活地实现差分隐私保证。我们对各种任务的实验表明，FedKT可以显着优于其他国家的最先进的联邦学习算法与一个单一的通信轮。

2021-05-20cs.LGstat.ML

一次性联邦学习

One-Shot Federated Learning

Carnegie Mellon University（卡内基梅隆大学）

我们提出了一次性联邦学习，其中中央服务器在单轮通信中通过联合设备网络学习全局模型。我们的方法-利用集成学习和知识聚合-实现了AUC相对于本地基线的平均相对增益为51.5%，并且在（无法实现的）全球理想的90.1%范围内。我们讨论了这些方法，并确定了未来工作的几个有前途的方向。

2019-03-05cs.LGstat.ML

基于Zero-Shot数据增强的公平联邦学习

Towards Fair Federated Learning with Zero-Shot Data Augmentation

Duke University（杜克大学）；Samsung（三星）；State University of New York at Buffalo（纽约州立大学布法罗分校）

联邦学习已经成为一种重要的分布式学习范式，其中服务器从许多客户端训练的模型中聚合全局模型，而不能访问客户端数据。虽然人们认识到，客户端本地数据的统计异质性会导致全局模型收敛较慢，但很少有人认识到，它也会导致有偏见的联合全局模型，在客户端之间具有很高的准确性差异。在这项工作中，我们的目标是提供联邦学习计划，提高公平性。为了应对这一挑战，我们提出了一种新的联邦学习系统，该系统在代表性不足的数据上采用zero-shot数据增强，以减轻统计异质性，并鼓励联邦网络中的客户端实现更均匀的准确性性能。我们研究了该方案的两个变体，Fed-ZDAC（在客户端具有zero-shot数据增强的联邦学习）和Fed-ZDAS（在服务器端具有zero-shot数据增强的联邦学习）。一组数据集上的实验结果表明，我们的方法在同时提高测试精度和公平性的有效性。

2021-04-27cs.CVcs.LGstat.ML

一次通信联邦回归的精确支持度恢复

Exact Support Recovery in Federated Regression with One-shot Communication

Purdue University（普渡大学）

联邦学习提供了一个框架，以解决分布式计算的挑战，数据所有权和隐私的大量分布式客户端与低计算和通信能力。在本文中，我们研究了在联邦学习设置中学习稀疏线性回归的精确支持度的问题。我们提供了一个简单的通信有效的算法，它只需要一次与集中式服务器的通信来计算精确的支持。我们的方法不需要客户端解决任何优化问题，因此可以在计算能力较低的设备上运行。我们的方法对于客户端失败，模型中毒和离散客户端的问题自然是鲁棒的。我们正式证明，我们的方法需要每个客户端的样本数量是多项式的支持大小，但独立的问题的维度。我们要求分布式客户端的数量在问题的维度上是对数的。如果预测变量是相互独立的，则总体样本复杂度与非联邦集中式设置的最佳样本复杂度相匹配。此外，我们的方法很容易实现，并具有整体多项式时间的复杂度。

2020-06-22cs.LGstat.ML

具有一次性通信复杂度的非IID量子联邦学习

Non-IID Quantum Federated Learning with One-shot Communication Complexity

Zhili College, Tsinghua University（清华大学致理书院）

联合学习是指基于来自多个客户端的分散数据的机器学习任务，具有安全的数据隐私。最近的研究表明，量子算法可以用来提高其性能。然而，当客户端的数据不是独立同分布的（IID），传统的联邦算法的性能是已知的恶化。在这项工作中，我们探讨了非IID问题在量子联邦学习的理论和数值分析。我们进一步证明了一个全局量子信道可以被精确地分解成由每个客户端训练的局部信道，并借助于局部密度估计器。这一观察结果为具有一次性通信复杂性的非IID数据的量子联邦学习提供了一个通用框架。数值仿真表明，该算法在非IID设置下明显优于传统算法。

2023-01-18cs.DCcs.LGquant-ph

FedZKT：面向异构设备上模型的资源受限联邦学习的Zero-Shot知识转移

FedZKT: Zero-Shot Knowledge Transfer towards Resource-Constrained Federated Learning with Heterogeneous On-Device Models

Michigan Technological University（密歇根理工大学）；University of Florida（佛罗里达大学）

联邦学习使多个分布式设备能够协作学习共享的预测模型，而无需集中其设备上的数据。大多数当前的算法需要具有相同结构和大小的设备上模型的本地训练的可比的个人努力，然而，这阻碍了资源受限的设备的参与。鉴于当今广泛而异构的设备，在本文中，我们提出了一个创新的联邦学习框架，通过Zero-shot知识转移，命名为FedZKT的异构设备上的模型。具体来说，FedZKT允许设备根据其本地资源独立确定设备上的模型。为了在这些异构的设备上模型之间实现知识转移，设计了一种zero-shot蒸馏方法，而不需要任何私有设备上数据的先决条件，这与基于公共数据集或预训练数据生成器的某些现有研究相反。此外，这种计算密集型的蒸馏任务被分配给服务器，以允许资源受限的设备参与，其中生成器通过收集的设备上模型的集合来对抗学习。然后，将提取的中心知识以相应的设备上模型参数的形式发送回来，这些参数可以很容易地在设备侧被吸收。大量的实验研究证明了FedZKT对设备上知识不可知、设备上模型异构和其他具有挑战性的联邦学习场景（如异构设备上数据和离散效应）的有效性和鲁棒性。

2022-04-05cs.LGstat.ML

FiT：面向个性化和联邦图像分类的参数高效少样本迁移学习

FiT: Parameter Efficient Few-shot Transfer Learning for Personalized and Federated Image Classification

University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）

针对个性化与联邦学习中的少样本图像分类，提出结合迁移学习与元学习的FiT方法，以极低参数实现高精度，并在VTAB-1k上达到最优。

2023-02-02cs.CVcs.LGstat.ML

一次性通信的联邦近视社区发现

Federated Myopic Community Detection with One-shot Communication

Purdue University（普渡大学）

在本文中，我们研究了联邦近视学习下的网络社区结构恢复问题。在这种模式下，我们有几个客户，他们每个人都有一个短视的观点，即，观察网络的一个小的子图。每个客户端向中央服务器发送经审查的证据图。我们提供了一个有效的算法，它计算一个共识签署的加权图从客户端的证据，并恢复底层的网络结构在中央服务器。我们分析了网络的拓扑结构条件，以及允许恢复网络结构的客户端的信号和噪声水平。我们的分析表明，准确的恢复是可能的，可以在多项式时间内实现。我们还为中央服务器从任何单个客户端证据恢复网络结构提供了信息理论限制。最后，作为我们分析的副产品，我们提供了一个新的Cheeger型不等式一般符号加权图。

2021-06-14cs.LGstat.ML

FedFisher：利用Fisher信息进行一次性联邦学习

FedFisher: Leveraging Fisher Information for One-Shot Federated Learning

Carnegie Mellon University（卡内基梅隆大学）；IBM Research（IBM研究院）

FedFisher利用Fisher信息矩阵，通过贝叶斯视角实现单轮通信的一次性联邦学习，理论证明在过参数化ReLU网络下误差趋近于零，并提出了对角Fisher和K-FAC近似的高效变体，实验验证其优于现有基线。

2024-03-19cs.DCcs.LGstat.ML

精简的一次性联邦学习

Distilled One-Shot Federated Learning

University of Florida（佛罗里达大学）；Cognization Lab（认知实验室）

目前的联邦学习算法在理想情况下需要数十轮通信来传输庞大的模型权重，而在数据分布不佳的情况下则需要数百轮通信。受最近数据集蒸馏和分布式单次学习工作的启发，我们提出了蒸馏单次联邦学习（DOSFL），以显着降低通信成本，同时实现相当的性能。在一轮中，每个客户端提取其私有数据集，将合成数据（例如图像或句子）发送到服务器，并共同训练全局模型。提取的数据看起来像噪声，并且仅对特定的模型权重有用，即，在模型更新后变得无用。通过这种轻量和无梯度的设计，DOSFL的总通信成本比FedAvg低三个数量级，同时保留了集中式对等体的93%到99%的性能。之后，客户可以切换到传统的方法，如FedAvg来微调最后的几个百分比，以适应个性化的本地模型与本地数据集。通过全面的实验，我们展示了DOSFL在视觉和语言任务上的准确性和通信性能，包括CNN，LSTM，Transformer等。我们证明了窃听攻击者无法使用泄漏的蒸馏数据正确地训练一个好的模型，而不知道初始模型权重。DOSFL是一种廉价的方法，可以快速收敛到高性能的预训练模型，其通信成本低于传统方法的0.1%。

2021-06-06cs.AIcs.LGstat.ML

联邦一次性集成聚类

Federated One-Shot Ensemble Clustering

Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）；University of Michigan（密歇根大学）；Harvard Medical School（哈佛医学院）；Brigham and Women’s Hospital（布莱根妇女医院）

针对跨机构聚类的数据共享限制问题，提出仅需单轮通信、仅交换模型参数与标签的联邦一次性集成聚类FONT算法，经理论、模拟及类风湿关节炎患者数据验证，性能更优、跨站点聚类一致性更好，适用于严格隐私与通信约束的多站点聚类场景。

2024-09-12cs.LGstat.APstat.ML

基于贝叶斯伪核心集的单次联邦学习

One-Shot Federated Learning with Bayesian Pseudocoresets

Eindhoven University of Technology（埃因霍温理工大学）；Graz University of Technology（格拉茨理工大学）

本文提出一种基于贝叶斯伪核心集的单次通信联邦学习方法，通过函数空间近似推断解决多峰后验坍塌问题，在保持竞争性预测性能的同时将通信成本降低两个数量级并提供良好的不确定性估计。

2024-06-04cs.AIcs.DCcs.LG

一次性联邦学习：理论极限与实现算法

One-Shot Federated Learning: Theoretical Limits and Algorithms to Achieve Them

Sharif University of Technology（谢里夫理工大学）

我们考虑在单次设置中的分布式统计优化，其中有$m$机器，每个机器观察$n$ i.i.d.。样品基于其观察到的样本，每台机器向服务器发送一条$B$位长的消息。然后，服务器从所有机器收集消息，并估计使预期凸损失函数最小化的参数。我们调查的影响，通信约束，$B$，对预期的错误，并推导出一个严格的下界的错误实现的任何算法。然后，我们提出了一个估计，我们称之为多分辨率估计（MRE），其预期误差（当$B\ge\log mn$）满足上述下限的多对数因子，从而阶最优。我们还解决了在微小的通信预算下的学习问题，并提出了$B$是一个常数时的上下误差界。与现有算法不同，MRE的预期误差随着机器的数量（$m$）趋于无穷大而趋于零，即使当每台机器的样本数量（$n$）保持由常数限定的上限时也是如此。MRE算法的这一特性使其适用于$m$比$n$大得多的新机器学习范例。

2019-12-30cs.DCcs.LGstat.ML

联邦因果推断：超越元分析的多研究平均处理效应估计

Federated Causal Inference: Multi-Study ATE Estimation beyond Meta-Analysis

Inria（法国国家信息与自动化研究所）；Université de Montpellier（蒙彼利埃大学）

本研究提出联邦因果推断框架，比较元分析、单轮及多轮联邦学习三类ATE估计器，推导线性模型下的渐近方差，为不同场景提供选择指导，并经模拟验证。

2025-03-25cs.LGmath.STstat.ML

具有数据隐私与目标隐藏的联邦单样本学习

Federated One-Shot Learning with Data Privacy and Objective-Hiding

Technical University of Munich, Germany（慕尼黑技术大学）；École Polytechnique Fédérale de Lausanne, Switzerland（瑞士联邦理工学院洛桑分校）

提出一种结合秘密共享多方计算与基于图的私有信息检索的联邦学习新方法，同时保护客户端数据隐私并隐藏联邦器目标，提供信息论隐私保证，且优于现有工具。

2025-04-29cs.CRcs.DCcs.IT

基于模型无关元学习的联邦学习个性化改进

Improving Federated Learning Personalization via Model Agnostic Meta Learning

University of Washington（华盛顿大学）；Google Research（谷歌研究院）

联邦学习（FL）是指基于分散的数据存储来学习高质量的全局模型，而无需复制原始数据。一个自然的场景出现了由移动电话用户的活动在移动电话上创建的数据。考虑到这种情况下典型的数据异构性，很自然地会问如何为每个这样的设备单独定制全局模型。在这项工作中，我们指出，设置模型不可知的元学习（MAML），其中一个优化的快速，基于梯度的，Few-Shot适应异构分布的任务，有一些相似之处与FL的个性化的目标。我们提出FL作为一个自然的源MAML算法的实际应用，并作出以下观察。1)流行的FL算法，联邦平均，可以被解释为一个元学习算法。2)仔细的微调可以产生更高精度的全局模型，同时更容易个性化。然而，仅针对全局模型准确性进行优化会产生较弱的个性化结果。3)使用标准数据中心优化方法训练的模型比使用联合平均训练的模型更难个性化，这支持了第一个说法。这些结果为FL，MAML和更广泛的ML研究提出了新的问题。

2023-01-18cs.LGstat.ML

联邦量化分位数的公平性差异测量

Federated Measurement of Demographic Disparities from Quantile Sketches

Kyoto University, Japan（京都大学）

本文提出一种联邦学习方法，通过分位数摘要测量人口公平性差异，利用Wasserstein-Fréchet方差分析敏感群体分数分布，实现通信高效且具有有限样本保证的全局差异估计。

2026-02-21cs.LGstat.ML

差异私有元学习

Differentially Private Meta-Learning

Carnegie Mellon University（卡内基梅隆大学）；Determined AI（Determined AI公司）；Carnegie Mellon University & Determined AI（卡内基梅隆大学与Determined AI公司（联合））

参数转移是元学习的一种众所周知的通用方法，其应用包括少样本学习，联邦学习和强化学习。然而，参数传递算法通常需要共享已经在特定任务的样本上训练过的模型，从而使任务所有者容易受到隐私侵犯。我们进行了第一次正式的隐私研究，在这种情况下，正式的概念，任务全局差分隐私作为一个更普遍的研究威胁模型的实际放松。然后，我们提出了一个新的差分隐私算法的基于梯度的参数传输，不仅满足这一隐私要求，但也保留了可证明的迁移学习保证凸设置。从经验上讲，我们将我们的分析应用于个性化和Few-Shot分类的联邦学习问题，表明允许从更常见的本地隐私概念放松到任务全局隐私，会导致递归神经语言建模和图像分类的性能显着提高。

2020-02-21cs.AIcs.CRcs.LG