Semantic Communication in Dynamic Channel Scenarios: Collaborative Optimization of Dual-Pipeline Joint Source-Channel Coding and Personalized Federated Learning
Beijing Institute of Technology(北京理工大学);Institute of Computer Application Technology Norinco Groups(中国兵器工业集团计算机应用技术研究所)
提出 PFL-DPJSCCA 个性化联邦学习框架,通过信道感知的双流水线联合信源信道编码及非凸零优化差距方法,增强多用户动态信道下语义通信的泛化与个性化性能。
2025-03-18 cs.LG eess.IV
Federated Learning via Lattice Joint Source-Channel Coding
KTH Royal Institute of Technology(KTH皇家理工学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对无线联邦学习,提出一种基于格型联合信源信道编码的数字空中计算框架及两层接收机,可在无设备端CSI时可靠聚合参数,并显著优于现有空中FL策略。
2024-03-01 cs.IT cs.LG math.IT
Joint fixed-rate universal lossy coding and identification of continuous-alphabet memoryless sources
在连续字母表无记忆信源的固定速率有损编码环境下,考虑了联合通用信源编码和识别问题。对于一类广泛的有界失真测度,证明了任何紧参数化的$\R^d$ -值i.i.d.源的绝对连续分布,满足适当的平滑度和Vapnik-Chervonenkis学习条件,承认一个联合计划的通用有损块编码和参数估计,这样,当块长度$n$趋于无穷大,开销每字母率和失真冗余收敛到零,分别为$O(n^{-1}\log n)$和$O(\sqrt{n^{-1}\log n})$。此外,有源源可以在解码器处被确定为半径为$O(\sqrt{n^{-1} \log n})$的球,在变距离中,渐近地几乎肯定。该系统具有有限的内存长度等于块的长度,并可以被认为是一个时不变的非线性滤波器的块的应用程序与初始条件确定从前一个块。与现有的几个通用矢量量化方案,其中不包括参数估计明确的比较,并概述了无限失真措施的扩展。最后,有限的混合类和指数家庭的参数源承认联合通用的压缩和建模方案的研究在这里给出明确的例子。
2007-05-17 cs.IT cs.LG math.IT
Learning Based Joint Coding-Modulation for Digital Semantic Communication Systems
Shanghai Jiao Tong University(上海交通大学)
在基于学习的语义通信中,神经网络已经取代了传统通信系统中的不同构建块。然而,数字调制仍然是神经网络的一个挑战。基于神经网络的数字调制的内在机制是将神经网络编码器的连续输出映射成离散的星座符号,这是一个不可微的函数,不能用现有的梯度下降算法来训练。为了克服这一挑战,在本文中,我们开发了一个联合编码调制方案的数字语义通信与BPSK调制。在我们的方法中,神经网络输出每个星座点的可能性,而不是具有具体的映射。因此,使用随机码而不是确定性码,这为每个星座点上具有接近似然性的符号保留了更多信息。联合编码调制设计可以使调制过程与信道状态相匹配,从而提高数字语义通信的性能。实验结果表明,在较宽的信噪比范围内,该方法在语义通信中的性能优于现有的数字调制方法,在较低的信噪比范围内,该方法的性能优于基于神经网络的模拟调制方法。
2022-11-07 cs.IT cs.LG math.IT
Deep Joint Source-Channel Coding for Wireless Image Retrieval
Imperial College London(伦敦帝国理工学院)
出于与无线摄像机或无人机的监控应用,我们考虑在无线信道的图像检索的问题。常规系统对查询图像应用有损压缩以减少必须在带宽和功率受限的无线链路上传输的数据。我们首先注意到,检索任务不需要重建原始图像;因此,我们引入了一种基于深度神经网络(DNN)的压缩方案,目标是检索任务。然后,我们完全删除了压缩步骤,并提出了另一种基于DNN的通信方案,该方案直接将特征向量映射到信道输入。这种联合信源-信道编码(JSCC)方法不仅提高了端到端的准确性,而且简化和加速了编码操作,这对于功率和延迟受限的IoT应用非常有益。
2019-10-28 cs.IT cs.LG eess.IV
Distributed Deep Joint Source-Channel Coding over a Multiple Access Channel
Imperial College London(帝国理工学院)
针对有限分组长度下分离式信源信道编码次优的问题,提出非正交分布式深度联合信源信道编码图像传输方案,实验证明其在低带宽比下重建图像质量显著优于正交传输方案,并公开了源代码。
2023-03-02 cs.CV cs.IT cs.LG
Nonlinear Transform Source-Channel Coding for Semantic Communications
Beijing University of Posts and Telecommunications(北京邮电大学);Peng Cheng Laboratory(鹏城实验室)
本文提出了一类能够紧密适应非线性变换下信源分布的高效深度联合信源-信道编码方法,统称为非线性变换信源-信道编码(NTSCC)。在该模型中,发射端首先学习一个非线性分析变换,将源数据映射到潜在空间,然后通过深度联合信源-信道编码将潜在表示发送给接收端。我们的模型结合了非线性变换作为一个强的前,有效地提取源的语义特征,并提供源信道编码的边信息。与现有的传统深度联合信源-信道编码方法不同,所提出的NTSCC本质上学习信源潜在表示和熵模型作为潜在表示的先验。因此,开发了新颖的自适应速率传输和超优先级辅助编解码器细化机制以升级深度联合信源-信道编码。整个系统的设计被制定为一个优化问题,其目标是最大限度地减少端到端的传输率失真性能下建立的感知质量指标。在不同分辨率的测试图像源中,我们发现所提出的NTSCC传输方法通常优于使用标准深度联合信源-信道编码的模拟传输和经典的基于分离的数字传输。值得注意的是,所提出的NTSCC方法可以潜在地支持未来的语义通信,由于其内容感知能力和感知优化目标。
2022-11-02 cs.CV cs.IT cs.LG
Gradient Coding with Iterative Block Leverage Score Sampling
University of Michigan(密歇根大学);Stanford University(斯坦福大学)
本文提出一种迭代块杠杆分数采样方法,将随机数值线性代数与近似编码计算统一,用于分布式线性回归,以应对掉队节点故障,并通过均匀采样和加权实现高效近似求解。
2024-06-25 cs.DC cs.IR cs.IT
Successive Refinement of Images with Deep Joint Source-Channel Coding
Imperial College London(伦敦帝国学院)
我们介绍了基于深度学习的通信方法,用于通过无线信道连续细化图像。我们提出了三种不同的策略,用于使用深度JSCC进行渐进式图像传输,具有不同的复杂性-性能权衡,所有这些都基于卷积自动编码器。数值结果表明,深JSCC不仅提供了优雅的退化与信道信噪比(SNR)和改善性能,在低信噪比和低带宽制度相比,最先进的数字通信技术,但也可以成功地学习分层表示,实现性能接近单层计划。这些结果表明,在高斯信道上用深度JSCC编码的自然图像几乎是连续可细化的。
2019-05-28 cs.IT cs.LG math.IT
Deep Joint Source Channel Coding for WirelessImage Transmission with OFDM
University of Michigan(密歇根大学)
提出了一种基于深度学习的联合信源信道编码(JSCC)方案,用于具有非线性信号限幅的多径衰落信道中的无线图像传输。提出的编码器和解码器使用卷积神经网络(CNN)和直接映射的源图像到复值基带样本的正交频分复用(OFDM)传输。所提出的模型驱动的机器学习方法消除了对单独的源和信道编码的需要,同时集成了OFDM数据路径以应对多径衰落信道。端到端JSCC通信系统将可训练的CNN层与表示多径信道模型和OFDM信号处理块的不可训练但可区分的层组合。我们的研究结果表明,通过将OFDM基带处理块注入到机器学习框架中来注入领域专家知识,与非结构化CNN相比,显着提高了整体性能。我们的方法优于传统的计划,采用国家的最先进的,但单独的源和信道编码,如BPG和LDPC与OFDM。此外,我们的方法被证明是强大的,对非线性信号削波在OFDM的各种信道条件下,不匹配的模型参数在训练过程中使用。
2021-05-24 cs.IT cs.LG eess.SP
Joint Source-Channel-Generation Coding: From Distortion-oriented Reconstruction to Semantic-consistent Generation
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University, Shanghai, China(合作中位网创新中心,上海交通大学,上海,中国)
本文提出JSCGC,通过概率生成替代确定性重建,提升图像传输的感知质量和语义保真度,优于传统JSCC方法。
2026-01-19 cs.CV cs.IT cs.LG
Neural Joint Source-Channel Coding
Stanford University(斯坦福大学)
为了在有噪声的通信信道上进行可靠的传输,信息论的经典结果表明,将信源和信道编码过程分离出来是渐近最优的。然而,这种分解在有限位长的情况下可能达不到要求,因为它需要对手工代码进行非平凡的调整,并且假设解码的计算能力是无限的。在这项工作中,我们提出了共同学习的编码和解码过程中使用一个新的离散变分自编码器模型。通过在训练过程中向潜在代码中添加噪声来模拟信道,我们可以在给定固定位长和计算预算的情况下学习压缩和纠错。我们获得的代码,不仅是竞争力对几个分离方案,但也学习有用的强大的表示数据的下游任务,如分类。最后,推理摊销产生了一个非常快的神经解码器,几乎比基于迭代置信传播的标准解码方法快一个数量级。
2019-05-14 cs.IT cs.LG math.IT
DeepJSCC-Q: Channel Input Constrained Deep Joint Source-Channel Coding
Imperial College London(帝国理工学院)
最近的工作表明,图像的无线传输任务可以通过使用机器学习技术来学习。非常有前途的结果,在端到端的图像质量,优于流行的数字方案,利用源和信道编码分离,已被证明通过训练的自动编码器,与非可训练的通道层在中间。然而,这些方法假设任何复值都可以通过信道传输,这可能会阻止算法在硬件或协议只能允许某些信道输入集的场景中的应用,例如使用数字星座。在这里,我们提出了DeepJSCC-Q,一种用于无线图像传输的端到端优化的联合信源信道编码方案,它能够使用固定的信道输入字母表进行操作。我们表明,DeepJSCC-Q可以实现与使用连续值信道输入的模型相似的性能。重要的是,当信道条件恶化时,它保留了先前工作中观察到的图像质量的适度下降,使DeepJSCC-Q在实际系统中的部署更具吸引力。
2021-11-25 cs.LG cs.MM eess.IV
Joint Task and Data Oriented Semantic Communications: A Deep Separate Source-channel Coding Scheme
the Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Peng Cheng Laboratory(鹏城实验室)
针对语义通信中联合数据传输与任务推理需求,提出DSSCC框架,利用变分自编码器、前向自适应和迭代训练优化语义率失真,并在图像传输分类中取得更优性能。
2023-08-13 cs.IT cs.LG eess.SP
DeepJSCC-f: Deep Joint Source-Channel Coding of Images with Feedback
Imperial College London(帝国理工学院)
我们考虑无线传输的图像中存在的信道输出反馈。从香农理论的角度来看,反馈并没有改善渐进的端到端性能,并且单独的信源编码之后的容量实现信道编码(其忽略反馈信号)实现了最佳性能。众所周知,在实际的有限块长度体制中,分离不是最优的;然而,不存在已知的实际的联合信源-信道编码(JSCC)方案,其可以利用反馈信号并且超过基于分离的方案的性能。受JSCC深度学习方法最近成功的启发,我们研究了如何将无噪声或有噪声的信道输出反馈纳入传输系统,以提高接收器的重建质量。我们引入了一个基于自动编码器的JSCC方案,我们称之为DeepJSCC-f,它利用了信道输出反馈,并在固定长度传输的端到端重建质量方面提供了相当大的改进,或者在可变长度传输的平均延迟方面。据我们所知,这是第一个实际的JSCC方案,可以充分利用信道输出反馈,展示了另一种设置,其中现代机器学习技术可以使新的和有效的通信方法的设计,超越传统的结构化编码为基础的设计的性能。
2020-04-09 cs.IT cs.LG eess.IV
Deep Joint Source-Channel Coding for Wireless Image Transmission
University College London(伦敦大学学院);Imperial College London(帝国理工学院)
我们提出了一种联合信源和信道编码(JSCC)技术的无线图像传输,不依赖于显式编码的压缩或纠错,而是直接映射的图像像素值的复值信道输入符号。我们通过两个联合训练的卷积神经网络(CNN)来参数化编码器和解码器功能,并且可以被认为是中间具有代表噪声通信信道的不可训练层的自动编码器。我们的研究结果表明,所提出的深度JSCC方案优于数字传输级联JPEG或JPEG 2000压缩,具有在低信噪比(SNR)和信道带宽值下实现信道编码的能力,在存在加性高斯白噪声(AWGN)。更引人注目的是,深度JSCC不受“悬崖效应”的影响,并且当信道SNR相对于训练期间假设的SNR值变化时,它提供了适度的性能降级。在慢瑞利衰落信道的情况下,深度JSCC学习噪声弹性编码表示,并在所有SNR和信道带宽值下显著优于基于分离的数字通信。
2019-06-17 cs.IT cs.LG eess.SP