A compressive channel estimation technique robust to synchronization impairments
由于波束成形之前的硬件非理想性和低SNR测量，毫米波频率下的初始接入是一个具有挑战性的问题。先前的工作已经利用了毫米波MIMO信道在空间角度域中稀疏的观察，并且已经使用基于压缩感知的算法进行信道估计。然而，他们中的大多数忽略了硬件损伤，如载波频率偏移和相位噪声，并且当考虑到这些损伤时不能很好地执行。在本文中，我们开发了一种压缩信道估计算法的窄带毫米波系统，这是鲁棒的非理想性。我们通过构建对毫米波信道和CFO进行建模的张量来解决这个问题，并在仍然利用毫米波信道的稀疏性的同时估计张量。仿真结果表明，在相同的设置下，我们的方法表现得更好，比可比的算法是强大的相位误差。
2017-07-29 cs.IT math.IT
RIS-Assisted Over-the-Air Adaptive Federated Learning with Noisy Downlink
本文研究异构边缘智能网络中不完美CSI与噪声信道下的OTA-FL问题，提出联合优化RIS配置、通信与计算资源的跨层自适应算法，并通过动态本地更新步长、RIS相移和发射功率提升学习性能，数值结果验证其优于现有统一方法。
2023-09-19 cs.IT eess.SP math.IT
Hardware Impairments Aware Transceiver for Full-Duplex Massive MIMO Relaying
本文研究了大规模MIMO全双工中继（MM-FDR），其中多个源-目的对在一个配备超大天线阵列的全双工中继的帮助下同时通信。与传统的MM-FDR协议不同，本文提出了一种允许源/目的地配置多天线的通用模型。与传统的MIMO系统相比，大规模MIMO系统必须使用易于受到硬件损害的低成本组件来构建。在本文中，硬件损伤的影响被考虑在内，并使用发送/接收失真噪声建模。我们提出了一种低复杂度的硬件损伤感知收发器方案（命名为HIA方案），以减轻失真噪声，利用统计知识的信道和天线阵列在源和目的地。为了进一步优化基于HIA的MM-FDR的频谱效率，提出了一种自由度和功率联合优化算法。仿真结果表明，如果源端和目的端的天线数与中继端的天线数成比例，HIA方案可以有效地抑制传统MM-FDR协议中出现的"天花板效应"。
2015-09-18 cs.IT math.IT
ROAR-Fed: RIS-Assisted Over-the-Air Adaptive Resource Allocation for Federated Learning
本文提出ROAR-Fed算法，通过联合优化客户端计算步数、发射功率与RIS相移，在异构数据和不完美CSI条件下实现联邦边缘学习的收敛，并验证了RIS辅助学习的优势。
2023-09-18 cs.IT eess.SP math.IT
Coherence-Aware Over-the-Air Distributed Learning under Heterogeneous Link Impairments
Purdue University（普渡大学）
本文提出一种具有相干意识的联邦学习框架，通过优化下行和上行链路的干扰处理，提升通信效率、延迟和学习准确性。
2026-03-09 cs.IT math.IT
Exploiting Correlations in Federated Learning: Opportunities and Practical Limitations
Department of Electrical Engineering (ISY), Linköping University（_linköping大学电气工程系）；CentraleSupélec, CNRS, L2S, Université Paris-Saclay（_centralesupelec, CNRS, L2S, 巴黎萨克雷大学）；Division of Decision and Control Systems, School of EECS, KTH Royal Institute of Technology（_决策与控制系统系，皇家理工学院）
本文系统分类了梯度和模型压缩方案，探讨了任务复杂度、模型架构对相关性的影响，并提出自适应压缩方法以提升联邦学习效率。
2026-04-16 cs.DC cs.IT cs.LG
Weighted Sum-Rate Maximization for Multi-IRS-assisted Full-Duplex Systems with Hardware Impairments
智能和可重构的无线通信环境可以通过利用精心设计的智能反射表面（IRS）来塑造通信信道。在本文中，我们研究了多个IRS如何影响多用户全双工通信系统的性能下的硬件损伤在每个节点，其中的基站（BS）和上行链路用户受到最大发射功率约束。首先，推导了上下行链路系统加权和速率（SWSR）作为系统性能度量。然后，我们制定的资源分配设计的最大化的SWSR作为一个优化问题，联合优化波束成形和合并向量在BS，上行链路用户的发射功率，和多个IRS的相移。由于SWSR优化问题是非凸的，提出了一种有效的迭代交替的方法来获得一个次优解的设计问题，并讨论了其复杂性。特别是，我们首先将主问题转化为一个等价的加权最小均方误差形式，然后将其转化为几个凸子问题，这些子问题可以解析求解给定的相移。然后，IRS相位通过基于梯度上升的算法进行优化。最后，数值结果来澄清多个IRS如何提高硬件损害下的性能指标。
2020-10-03 cs.IT math.IT
RIS-Aided MIMO Systems with Hardware Impairments: Robust Beamforming Design and Analysis
可重构智能表面（RIS）被认为是提高未来无线系统性能的一种新型技术。在本文中，我们研究了一个实用的RIS辅助多输入多输出（MIMO）系统中存在的收发器硬件损伤，RIS相位噪声和不完善的信道状态信息（CSI）。特别考虑了MIMO收发器和RIS反射矩阵的联合设计，以最小化所有数据流的总平均均方误差（MSE）。这个联合设计问题是非凸的，具有挑战性的解决，由于新考虑的实际缺陷。为了解决这个问题，我们首先分析了总平均MSE纳入上述系统的不完善的影响。然后，为了处理紧耦合的优化变量和非凸NP-硬约束，提出了一种基于交替优化（AO）框架的高效迭代算法，保证了算法的收敛性，其中每个子问题通过利用优化最小化（MM）技术得到一个封闭形式的最优解.此外，通过利用单位模约束的特殊结构，我们提出了一种改进的黎曼梯度上升（RGA）算法的离散RIS相移优化。此外，在视距信道条件下验证了该算法的最优性，并揭示了在高信噪比（SNR）条件下，由于硬件和信道状态信息的不完善而引起的不可约的均方误差地板效应.数值结果表明，我们所提出的算法的MSE性能优于所采用的基准计划，并表明，增加RIS元素的数量并不总是有益的上述系统的缺陷。
2023-03-22 cs.IT eess.SP math.IT
Beamforming Optimization for Active RIS-Aided Multiuser Communications With Hardware Impairments
本文研究存在硬件损伤的主动RIS辅助多用户通信系统，通过联合设计基站发射波束成形、主动RIS放大因子和相移以最大化总速率，提出两种高效优化算法，并验证了主动RIS相比被动RIS的性能优势及HWIs对系统的限制。
2024-02-16 cs.IT eess.SP math.IT
Space-Time- and Frequency- Spreading for Interference Minimization in Dense IoT
在本文中，我们提出了一种空间扩展辅助框架，该框架利用时间或频率分集或两者来减少由于信道损伤引起的干扰和信号损失，并促进大规模密集物联网（IoT）的有效运行。我们的方法采用了从单个物联网设备传输的数据流在索引空时（ST），空频（SF）或空时频（STF）块上的分散。因此，没有两个设备在同一块上进行传输;只有一个设备被激活，而网络中的其余设备处于静默状态，从而最大限度地降低了传输侧的干扰可能性。在接收端，多天线阵列在利用阵列处理增益的同时，改善了存在信道损伤的性能。由于多个数据流的叠加导致的干扰在其根源处被消除，因此在对抗干扰和其他损害时不会浪费额外的能量，从而使得能够通过多接入信道（MAC）从多个设备进行节能传输。为了验证所提出的概念，我们模拟了该框架在信号中断概率方面对部署在广义室内和室外场景中的密集物联网网络的性能。结果表明，我们的概念化的框架受益于无干扰传输，以及在整体系统性能的增强。
2022-12-04 cs.IT eess.SP math.IT
Optimized Power Control for Over-the-Air Federated Edge Learning
空中联合边缘学习（Air-FEEL）是一种用于通过无线网络进行隐私保护分布式学习的通信高效解决方案。Air-FEEL通过利用无线信道的波形叠加特性，允许梯度/模型更新的“一次性”空中聚合，因此保证了与网络大小无关的极低聚合延迟。然而，这样的通信效率可能以学习性能下降为代价，这是由于设备上的非均匀信道衰落和噪声扰动引起的聚合误差。先前的工作采用信道反转功率控制（或其变体）来通过对齐信道增益来减少聚合误差，然而，由于噪声放大，这在深度衰落场景中可能是高度次优的。为了克服这个问题，我们研究了功率控制优化，以提高Air-FEEL的学习性能。为此，我们首先分析的收敛行为的空气感觉推导出的最优差距的损失函数下的任何给定的功率控制策略。然后，我们优化功率控制，以最大限度地减少最优性差距，加速收敛，在边缘设备的平均和最大功率约束。由于功率控制变量在不同设备和迭代上的耦合，该问题通常是非凸的并且具有挑战性。为了解决这一挑战，我们开发了一个有效的算法，联合利用连续凸逼近（SCA）和信赖域方法。数值结果表明，优化的功率控制策略实现了显着更快的收敛速度比基准政策，如信道反转和均匀的功率传输。
2020-11-11 cs.IT eess.SP math.IT
Blind Federated Learning at the Wireless Edge with Low-Resolution ADC and DAC
Bilkent University（比尔肯特大学）；Huawei Turkey Research and Development Center (HTRDC)（华为土耳其研发中心）
我们研究协作机器学习系统，其中大量数据集分布在独立的工作人员中，这些工作人员根据自己的数据集计算他们的局部梯度估计。工作人员通过正交频分复用的多径衰落多址信道发送其估计，以减轻信道的频率选择性。我们假设在工作节点处没有信道状态信息（CSI），并且参数服务器（PS）采用多个天线来对准接收到的信号。为了降低功耗和硬件成本，我们采用复值低分辨率数模转换器（DAC）和模数转换器（ADC），分别在发送器和接收器侧，并研究实际的低成本DAC和ADC的学习性能的影响。我们的理论分析表明，低分辨率DAC和ADC，包括1位DAC和ADC，造成的损害，并不妨碍联邦学习算法的收敛，和多径信道效应消失时，足够数量的天线在PS使用。我们还通过仿真验证了我们的理论结果，并证明使用低分辨率，甚至一位DAC和ADC只会导致学习精度略有下降。
2021-03-19 cs.DC cs.IT cs.LG
Privacy-Preserving Cooperative Visible Light Positioning for Nonstationary Environment: A Federated Learning Perspective
Xiamen University（厦门大学）
可见光定位技术作为一种很有前途的室内定位技术，已经引起了人们的广泛关注。然而，在非平稳环境中，VLP的性能是有限的，因为高度时变信道。为了提高非平稳环境下的定位精度和泛化能力，提出了一种基于联邦学习的协作VLP方案。利用FL框架，一个适应环境变化的全局模型可以由用户共同训练，而无需共享用户的私有数据。此外，一个合作的可见光定位网络（CVPosNet）的建议，以加快收敛速度，提高定位精度。仿真结果表明，该方案优于基准方案，特别是在非平稳环境。
2023-03-11 cs.AI cs.IT cs.LG
Wireless Federated $k$-Means Clustering with Non-coherent Over-the-Air Computation
University of South Carolina（南卡罗来纳大学）
提出一种基于平衡数制编码的非相干 OAC 无线联邦 k-means 方案，并配合质心重初始化，在客户位置聚类中以更低通信延迟达到接近标准 k-means 的性能。
2023-08-11 cs.AI cs.IT eess.SP
Federated Learning-Based Cell-Free Massive MIMO System for Privacy-Preserving
无小区大规模MIMO（Cell-free massive MIMO，CF mMIMO）是实现联邦学习（federated learning，FL）的一种很有前途的下一代无线架构。然而，在实践中，用户设备（UE）的敏感信息可能暴露给所涉及的接入点或中央处理单元。为了保证数据的隐私性，本文定义了有效的隐私保护机制。特别是，我们证明和特征的可能性，在利用固有的量化误差，所造成的低分辨率的模数转换器（ADC）和数模转换器（DAC），在FL CF mMIMO系统中的隐私保护。此外，为了减少在这样的系统中所需的上行链路训练时间，建立了一个联合优化发射功率和数据率的随机非凸设计问题。为了解决这个问题，我们提出了一种新的功率控制方法，利用逐次凸逼近方法获得一个次优解。此外，建立了一个异步协议，以减轻离散效应，以促进FL。数值结果表明，与传统的全功率传输相比，采用所提出的功率控制方法可以有效地减少各种实际系统设置下的上行链路训练时间。此外，我们的研究结果揭示，我们提出的异步方法可以减少等待时间在中央处理器接收所有用户信息，因为没有掉队者，需要很长的时间来报告他们的本地更新。
2022-11-30 cs.IT eess.SP math.IT
Channel Estimation in Massive MIMO under Hardware Non-Linearities: Bayesian Methods versus Deep Learning
研究了在实际莱斯衰落环境下，基站和用户设备的非线性硬件损伤对单小区大规模MIMO（multiple-input multiple-output）上行链路性能的联合影响。首先，Bussgang分解为基础的有效通道和失真特性的解析推导和频谱效率（SE）实现了几个接收器的三阶非线性进行了探讨。接着，设计并训练两个深度前馈神经网络来估计每个BS天线处的有效信道和失真方差，这用于信号检测。我们比较了所提出的方法的性能与国家的最先进的失真感知和不知道贝叶斯线性最小均方误差（LMMSE）估计。所提出的深度学习方法通过利用损伤特征来提高估计质量，而LMMSE方法将失真视为噪声。使用由在BS和UE处的非线性的一般阶数的导出的有效信道生成的数据，示出了基于深度学习的估计器也为大于三阶的非线性提供了有效信道的更好的估计。
2020-01-13 cs.IT eess.SP math.IT
Federated Learning for Physical Layer Design
Duzce University（杜兹切大学）；University of Luxembourg（卢森堡大学）；University of Hertfordshire（赫特福德大学）
诸如机器学习（ML）之类的无模型技术最近已经吸引了对物理层设计的很多兴趣，例如，符号检测、信道估计和波束成形。大多数ML技术采用集中式学习（CL）方案，并假设参数服务器（PS）上的数据集可用，要求将数据从边缘设备（如手机）传输到PS。联邦学习（FL）利用边缘生成的数据，最近被提出作为一种分布式学习方案，其中每个设备计算模型参数并将其发送到PS进行模型聚合，而数据集在边缘保持完整。因此，FL比CL更有通信效率和隐私保护，并且适用于无线通信场景，其中数据在边缘设备处生成。本文介绍了基于FL的物理层设计问题训练的最新进展。与CL相比，FL的有效性是在通信开销方面的学习精度略有性能损失。设计的挑战，如模型，数据和硬件的复杂性，也详细讨论了可能的解决方案。
2021-08-06 cs.IT cs.LG eess.SP
Exploiting Side Information for Improved Online Learning Algorithms in Wireless Networks
IIT Bombay（印度理工学院孟买分校）；IIIT Delhi（德里英迪拉·甘地信息技术学院）
在无线网络中，实现的速率取决于干扰水平、硬件损伤和信道增益等因素。通常，可以测量这些因素中的一些的瞬时值，并且它们提供关于所实现的瞬时速率的有用信息。例如，较高的干扰意味着较低的速率。在这项工作中，我们对待任何这样的可测量的质量，有一个非零的相关性与作为边信息实现的速率，并研究如何可以利用它来快速学习提供更高的吞吐量（奖励）的信道。当边信息的平均值是已知的，使用控制变量理论，我们开发的算法，需要更少的样本来学习的参数，可以提高学习率的情况下，边信息被忽略。具体来说，我们将边信息在经典的置信上限（UCB）算法和量化的增益实现的遗憾性能。我们表明，收益是成比例的奖励和相关的边信息之间的相关性的量。我们详细讨论了各种边信息，可以利用认知无线电和空对地通信在$L-$波段。我们证明了奖励和边信息之间的相关性在实践中往往很强，利用它可以显着提高吞吐量。
2022-02-16 cs.AI cs.IT eess.SP
Gradient Statistics Aware Power Control for Over-the-Air Federated Learning
Shanghai Jiao Tong University（上海交通大学）
联邦学习（FL）是一种很有前途的技术，其使得许多边缘设备能够在无线网络中协作地训练机器学习模型。通过利用无线波形的叠加性质，空中计算（AirComp）可以加速模型聚合，从而促进通信高效的FL。由于信道衰落，功率控制在AirComp中至关重要。先前的工作假设要从每个设备聚集的信号，即，局部梯度具有相同的统计量。然而，在FL中，梯度统计在训练迭代和特征维度上都是变化的，并且事先是未知的。本文研究了考虑梯度统计的空中FL功率控制问题。我们的目标是最大限度地减少聚合误差，优化发射功率在每个设备的峰值功率约束。在给定梯度统计量的情况下，得到了最优策略的封闭形式。值得注意的是，我们表明，最佳的发射功率是连续的，单调递减的平方多元变异系数（SMCV）的梯度向量。然后，我们提出了一种方法来估计梯度统计可以忽略不计的通信成本。实验结果表明，所提出的梯度统计感知功率控制实现了更高的测试精度比现有的计划，为广泛的场景。
2020-11-25 cs.IT cs.LG eess.SP
Delay and Overhead Efficient Transmission Scheduling for Federated Learning in UAV Swarms
本文针对无人机集群联邦学习中的多跳无线传输问题，提出一种智能聚合与高效传输调度框架，理论证明其实现最小延迟和通信开销，并通过数值实验验证其优于现有基线方案。
2024-02-22 cs.IT cs.NI cs.SY
Differentially Private Federated Learning via Reconfigurable Intelligent Surface
ShanghaiTech University（上海科技大学）
联邦学习（FL）作为一种破坏性的机器学习范式，能够在分散的本地数据集上协作训练全局模型，而无需共享它们。它涵盖了从物联网（IoT）到生物医学工程和药物发现的广泛应用。为了支持无线网络上的低延迟和高隐私FL，在本文中，我们提出了一个可重构智能表面（RIS）授权的空中FL系统，以缓解学习精度和隐私之间的困境。这是通过同时利用RIS的信道传播可重构性来提高接收信号功率，以及利用空中计算（AirComp）的波形叠加特性来实现快速模型聚合。通过考虑一个实际的情况下，高维本地模型更新跨多个通信块传输，我们的特点的差异私有联邦优化算法的收敛行为。我们进一步制定了一个系统优化问题，以优化学习精度，同时满足隐私和功率约束，通过联合设计的发射功率，人工噪声，并在RIS的相移，其中两步交替最小化框架的开发。仿真结果验证了我们的系统，理论和算法的成就，并表明，RIS可以实现更好的权衡之间的隐私和准确性的空中FL系统。
2022-03-31 cs.CR cs.IT cs.LG
Exploiting Reconfigurable Intelligent Surfaces in Edge Caching: Joint Hybrid Beamforming and Content Placement Optimization
边缘缓存可以有效地减少核心网的回程负担，提高无线边缘节点的服务质量。然而，当卸载链路处于深度衰落时，边缘缓存的有益作用不能完全实现。幸运的是，无线传播环境引起的损伤可以通过可重构智能表面（RIS）来修复。本文提出了一种新的RIS辅助边缘缓存系统，其中网络成本最小化问题，制定优化内容放置在缓存单元，主动波束形成在基站和被动相移在RIS。在将内容放置子问题与混合波束形成设计解耦后，我们提出了一种交替优化算法来解决主动波束形成和被动相移问题。对于主动波束形成，我们将问题转化为半定规划（SDP），并证明了SDP的最优解总是秩1。对于被动相移，我们引入块坐标下降法交替优化辅助变量和RIS相移。在此基础上，提出了一种基于流形优化的共轭梯度算法来处理非凸单位模约束。数值结果表明，我们的RIS辅助边缘缓存设计可以有效地降低回程容量和功耗方面的网络成本。
2020-11-07 cs.IT math.IT
Federated Unlearning Over Wireless Networks
College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息与电子工程学院）；National Mobile Communications Research Laboratory, Southeast University（东南大学移动通信国家重点实验室）；Purple Mountain Laboratories（紫金山实验室）
本文针对无线网络中联邦遗忘的延迟问题，建立综合系统模型，提出高效迭代算法优化资源分配，可显著降低遗忘完成时间且复杂度为多项式级。
2026-08-17 cs.IT math.IT
Exploiting Network Cooperation in Green Wireless Communication
对能量高效或所谓的“绿色”无线通信以减少蜂窝网络中的能量消耗的兴趣日益增长。由于今天的无线终端通常配备有多个网络接入接口，如蓝牙，Wi-Fi和蜂窝网络，本文研究用户终端相互合作，在发送他们的数据包到基站（BS），通过利用多个网络接入接口，称为网络间合作。我们还研究了传统的计划，没有用户的合作，并与网络内的合作进行比较。给定目标中断概率和数据率要求，我们分析了传统方案的能量消耗相比，建议网络间的合作，考虑到物理层信道损伤（包括路径损耗，衰落和热噪声）和上层协议开销。示出了不同网络实体之间的距离（即，用户终端和BS）对所提出的网络间协作方案的能量效率具有显著影响。具体地，当协作用户靠近BS或用户彼此远离时，网络间协作可能比没有用户协作或具有网络内协作的常规方案消耗更多的能量。然而，由于协作用户远离BS并且用户间距离不是太大，因此网络间协作比传统方案显著降低了能量消耗。
2012-10-14 cs.IT cs.PF math.IT
Time-Correlated Sparsification for Efficient Over-the-Air Model Aggregation in Wireless Federated Learning
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Imperial College London（伦敦帝国理工学院）
联邦边缘学习（FEEL）是一种有前途的分布式机器学习（ML）框架，可用于驱动边缘智能应用。然而，由于动态的无线环境和边缘设备的资源限制，通信成为一个主要的瓶颈。在这项工作中，我们提出了时间相关的稀疏化与混合聚合（TCS-H）的通信效率的FEEL，它利用联合功率的模型压缩和空中计算。通过利用模型参数之间的时间相关性，我们构建了一个全局稀疏化掩码，该掩码在设备之间是相同的，从而实现了空中的高效模型聚合。每个设备进一步构造局部稀疏向量以探索其自身的重要参数，这些参数经由具有正交多址的数字通信来聚合。我们进一步设计了TCS-H的设备调度和功率分配算法。实验结果表明，在有限的通信资源，TCS-H可以达到显着更高的精度相比，传统的top-K稀疏与正交模型聚合，与i.i.d.和非I.I.D.数据分布
2022-02-17 cs.IT cs.LG math.IT
Federated Learning via Intelligent Reflecting Surface
ShanghaiTech University（上海科技大学）；Xiamen University（厦门大学）；Tsinghua University（清华大学）；Hong Kong University of Science and Technology（香港科技大学）；Peng Cheng Laboratory（鹏城实验室）
基于空中计算（AirComp）的联邦学习（FL）能够利用多个接入信道的波形叠加特性实现快速模型聚合。然而，模型聚合性能受到不利的无线传播信道的严重限制。在本文中，我们提出利用智能反射表面（IRS）来实现基于AirComp的FL的快速而可靠的模型聚合。为了优化学习性能，我们制定了一个优化问题，该优化问题联合优化设备选择，基站（BS）处的聚合波束形成器，以及IRS处的相移，以在特定均方误差（MSE）要求下最大化参与每个通信回合的模型聚合的设备的数量。为了解决制定的高度棘手的问题，我们提出了一个两步优化框架。具体来说，我们在第一步中诱导设备选择的稀疏性，然后在第二步中解决一系列MSE最小化问题以找到最大可行设备集。然后，我们提出了一个交替的优化框架，支持的低秩优化的凸函数的差分编程算法，有效地设计聚合波束形成器在BS和相位移在IRS。仿真结果将表明，与基线算法相比，我们提出的算法和IRS的部署可以实现更低的训练损失和更高的FL预测准确度。
2020-11-12 cs.IT cs.LG eess.SP
Over-the-Air Federated Learning: Rethinking Edge AI Through Signal Processing
School of Electrical Engineering and Computer Science, KTH Royal Institute of Technology（皇家理工学院电气工程与计算机科学学院）；Department of Electrical and Electronic Engineering, The University of Hong Kong（香港大学电子与电气工程系）
本文从信号处理角度综述空中联邦学习（AirFL），将其分为三类（CSIT感知、盲、加权），并分析其假设、性能折衷、复杂度和部署限制，为无线边缘AI系统提供设计指导。
2026-06-23 cs.AI cs.IT cs.LG
Over-the-Air Federated Learning with Privacy Protection via Correlated Additive Perturbations
Linköping University（林雪平大学）
在本文中，我们考虑隐私方面的无线联邦学习（FL）与无线（OTA）传输的梯度更新从多个用户/代理到边缘服务器。通过利用多址信道的波形叠加特性，OTA FL使用户能够使用线性处理技术同时发送他们的更新，这提高了资源效率。然而，这种设置容易受到隐私泄漏，因为对手节点可以直接听到未编码的消息。传统的基于扰动的方法提供了隐私保护，同时由于降低的信噪比而牺牲了训练精度。在这项工作中，我们的目标是最大限度地减少隐私泄漏到对手和模型的准确性在边缘服务器在同一时间的退化。更明确地说，空间相关的扰动被添加到传输之前在用户处的梯度向量。使用相关扰动的零和属性，可以最小化添加的扰动对边缘服务器处的聚合梯度的副作用。同时，增加的扰动不会被对手抵消，这防止了隐私泄露。对扰动协方差矩阵、差分隐私和模型收敛性进行了理论分析，在此基础上提出了联合设计协方差矩阵和功率缩放因子的优化问题，以平衡隐私保护和收敛性能。仿真结果验证了相关扰动方法在保证较高学习精度的同时，具有较强的防御能力。
2022-10-05 cs.CR cs.IT cs.LG
Federated Knowledge Distillation
Seoul National University（首尔大学）；University of Oulu（奥卢大学）；Deakin University（迪肯大学）；Yonsei University（延世大学）
分布式学习框架通常依赖于在工作者之间交换模型参数，而不是揭示他们的原始数据。一个主要的例子是联邦学习，它交换每个神经网络模型的梯度或权重。然而，在有限的通信资源下，这种方法变得极其昂贵，特别是对于具有大量模型参数的现代深度神经网络。在这方面，联邦蒸馏（FD）是一种引人注目的分布式学习解决方案，其仅交换维度通常远小于模型大小的模型输出（例如，MNIST数据集中的10个标签）。本章的目标是提供对FD的深入理解，同时展示其通信效率和对各种任务的适用性。为此，本章的第一部分利用神经切线核（NTK）理论，对FD的两个基本算法，即知识蒸馏（KD）和共蒸馏（CD）进行了新的渐近分析，以揭开FD的工作原理。接下来，第二部分详细阐述了FD的分类任务的基线实现，并说明了其性能的准确性和通信效率相比，FL。最后，为了证明FD的适用性，各种分布式学习任务和环境，第三部分提出了两个选定的应用程序，即FD在非对称上行链路和下行链路无线信道和FD的强化学习。
2020-11-04 cs.DC cs.IT cs.LG
