Semantic Communication Challenges: Understanding Dos and Avoiding Don'ts
本文回顾语义通信方法论，揭示关键问题与分歧，通过阐明应做与不应做之事，为新兴的语义通信领域提供有价值的见解。
2024-03-22 cs.IT math.IT
Neural Coding Is Not Always Semantic: Toward the Standardized Coding Workflow in Semantic Communications
本文针对语义通信中神经编码是否足以理解语义的问题，提出语义编码的标准化定义和基于上下文建模的通用语义表示方案，以最小修改实现人机端到端传输。
2025-08-18 cs.IT math.IT
Autoencoder-based Semantic Communication Systems with Relay Channels
在这封信中，我们提出了一个语义通信方案的无线中继信道的基础上自动编码器，命名为AESC，编码和解码的句子从语义维度。自动编码器模块为系统提供抗噪声性能。同时，提出了一种新的语义转发（SF）模式，使中继节点能够在语义层次上转发语义信息，特别适用于源节点和目的节点之间没有共享知识的情况。数值结果表明，AESC比传统的通信方案具有更好的稳定性能，而SF模式比传统的前向协议具有更好的性能增益.
2021-11-19 cs.IT math.IT
M4SC: An MLLM-based Multi-modal, Multi-task and Multi-user Semantic Communication System
本文提出基于多模态大语言模型的M4SC语义通信系统，通过KAN多模态对齐、指令驱动多任务微调、语义共享机制及联合编码策略，提升复杂环境下多模态多任务多用户语义通信的效率与鲁棒性。
2025-02-23 cs.IT math.IT
Excess Distortion Exponent Analysis for Semantic-Aware MIMO Communication Systems
本文分析了语义感知通信系统中联合信源-信道编码（JSCC）的超额失真指数。通过引入一个不可观测的语义源，我们将Csiszar的经典结果扩展到语义感知的通信系统。建立了离散无记忆源-通道对的指数的上界和下界。此外，推导出了MIMO系统的额外失真指数的扩展可达界。进一步的分析探讨了块衰落和天线数量如何影响语义感知MIMO系统的指数。我们的结果提供了一些理论界的错误衰减性能，并可以用来指导未来的语义通信与联合信源-信道编码方案。
2023-01-13 cs.IT math.IT
Holographic Beamforming for Semantic Communication
Princeton University（普林斯顿大学）；Peking University Shenzhen Graduate School（北京大学深圳研究生院）；University of Cambridge（剑桥大学）；Peking University（北京大学）；University of Houston（休斯顿大学）；Kyung Hee University（庆熙大学）；Xiangtan University（湘潭大学）
提出一种语义重要性感知的全息波束赋形方案，通过数据拟合建模语义重要性与接收信噪比的关系，并设计算法确保高重要性语义信息的可靠传输。
2026-06-23 cs.IT math.IT
End-to-End Generative Semantic Communication Powered by Shared Semantic Knowledge Base
针对测试压缩比偏低问题，提出共享 SKB 驱动的端到端生成式语义通信系统，仅传索引并支持可控图像生成，以极低开销在低 SNR 下优于基准。
2024-05-09 cs.IT math.IT
Semantic Communications in Multi-user Wireless Networks
本文研究了多用户网络中语义通信的开发。我们提出了一种新的异构语义和比特多用户框架，提供完美的，定制的，智能的信息传输。我们讨论了正交多址接入（OMA）和非正交多址接入（NOMA）的建议异构框架，重点调查语义通信和NOMA之间的相互作用，即NOMA启用语义通信和语义通信增强NOMA。1)对于支持NOMA的语义通信，我们提出了一个半NOMA方案，有效地促进异构语义和比特多用户通信，它统一了传统的NOMA和OMA方案。的基本性能限制，即语义与比特率的区域，其特征在于，这表明所提出的半NOMA的优越性。2)对于语义通信增强的NOMA，我们提出了一个机会主义的语义和比特通信的方法，以减轻在NOMA的早，晚速率差距的问题。数值案例研究表明，显着的性能增益可以实现NOMA采用语义通信比位通信。最后，突出了几个开放的研究方向。
2022-11-16 cs.IT eess.SP math.IT
Secure Semantic Communications: Fundamentals and Challenges
语义通信允许接收方知道意图而不是比特信息本身，这是一种新兴的技术，以支持未来无线通信的实时人机和机器对机器交互。在语义通信中，发送方和接收方共享一些共同的知识，这些知识可以用于在发送方提取小尺寸信息并在接收方恢复原始信息。由于设计目的的不同，语义通信中的安全问题与标准的按位通信相比有两个独特的特点。首先，语义通信中的攻击者不仅考虑被盗数据的数量，而且考虑被盗数据的含义。其次，语义通信系统中的攻击者不仅可以攻击标准通信系统中进行的语义信息传输，而且可以攻击用于语义信息抽取的机器学习（ML）模型，因为大多数语义信息是使用基于ML的方法生成的。由于这些独特的功能，在本文中，我们提出了一个概述的基本原理和安全语义通信的设计中的关键挑战。我们首先提供各种方法来定义和提取语义信息。然后，我们重点研究了安全语义通信技术的两个方面：信息安全和语义ML模型安全。对于每个领域，我们都确定了主要问题和挑战。然后，我们将对这些问题进行全面的处理。简而言之，本文提供了一套关于如何在真实世界的无线通信网络上设计安全语义通信系统的整体指导方针。
2023-01-04 cs.IT eess.SP math.IT
Semantic Communications: Principles and Challenges
Queen Mary University of London（伦敦玛丽女王大学）；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Huawei Technologies（华为技术有限公司）；Imperial College London（帝国理工学院）
语义交际被认为是对香农范式的突破，其目的是成功地传递信息源所传达的语义信息，而不是准确地接收每一个符号或比特，而不管其意义如何。本文提供了语义通信的概述。在简要回顾了Shannon信息论之后，我们讨论了深度学习支持的语义通信理论、框架和系统设计。与传统的通信系统的符号/比特出错率不同，本文还讨论了语义通信的性能指标。文章最后提出了语义通信中的几个开放性问题。
2022-06-27 cs.IT cs.LG eess.SP
sDAC -- Semantic Digital Analog Converter for Semantic Communications
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出语义数字模拟转换器sDAC，通过生成式双向转换实现语义通信与数字通信兼容，不依赖特定模型或信道，实验证明其具有良好生成特性和信道鲁棒性。
2024-04-26 cs.IT cs.LG math.IT
From Semantic Communication to Semantic-aware Networking: Model, Architecture, and Open Problems
现有的通信系统主要是基于香农的信息论建立的，香农的信息论故意忽略了通信的语义方面。无线技术的最新迭代，即所谓的5G及以后，承诺支持基于内容，需求和语义精心定制的网络功能所实现的大量服务。这引起了人们对语义交流的极大兴趣，语义交流是一种将信息的意义纳入交流的新范式。在本文中，我们首先回顾了经典的语义通信框架，然后总结了阻碍其普及的关键挑战。我们观察到，一些语义通信过程，如语义检测，知识建模和协调，可以消耗资源和效率低下，特别是对于一个单一的源和目的地之间的通信。因此，我们提出了一种新的架构，基于联邦边缘智能支持资源高效的语义感知网络。我们的架构允许每个用户将计算密集型语义编码和解码任务卸载到边缘服务器，并通过中间结果协调来保护其专有的模型相关信息。仿真结果表明，该架构可以减少资源消耗，显著提高通信效率。
2021-06-23 cs.IT cs.NI cs.SI
Joint Semantic Communication and Target Sensing for 6G Communication System
针对含多合法用户和窃听者的6G下行感知通信一体化系统，提出结合语义提取、共享知识库与交替优化迭代算法的安全资源分配方案，可在保障用户服务质量与感知性能的同时提升语义保密速率与检测可靠性。
2024-01-30 cs.IT eess.SP math.IT
Multi-User Semantic Fusion for Semantic Communications over Degraded Broadcast Channels
Shanghai Jiao Tong University（上海交通大学）
针对退化广播信道语义通信研究不足的问题，提出多用户语义融合与DBC感知的CSI嵌入方法，实现无线图像广播中两用户性能的动态平衡，并优于传统广播方案。
2024-06-15 cs.AI cs.IT math.IT
Hybrid Generative Semantic and Bit Communications in Satellite Networks: Trade-offs in Latency, Generation Quality, and Computation
针对卫星系统链路预算有限且语义通信计算消耗高的问题，提出适配动态卫星网络的多层混合比特与生成式语义通信框架，设计SEM指标权衡时延、计算消耗与重构质量，采用GRPO算法优化资源分配，仿真验证了框架灵活性与指标有效性。
2025-07-31 cs.IT eess.SP math.IT
Robust Semantic Communications Against Semantic Noise
Zhejiang University（浙江大学）；Queen Mary University of London（伦敦玛丽女王大学）；Imperial College London（伦敦帝国理工学院）
虽然语义通信在大量的任务中表现出令人满意的性能，但语义噪声的影响和系统的鲁棒性还没有得到很好的研究。语义噪声是语义通信系统中的一种特殊噪声，指的是语义符号与接收符号之间的误导。在本文中，我们首先提出了一个框架，鲁棒的端到端的语义通信系统，以打击语义噪声。特别地，我们分析了语义噪声产生的原因，并提出了一种实用的语义噪声产生方法，为了消除语义噪声的影响，我们提出了对抗性训练，将带有语义噪声的样本加入训练数据集中。然后，掩蔽自动编码器（MAE）被设计为一个强大的语义通信系统的架构，其中一部分的输入被屏蔽。为了进一步提高语义通信系统的鲁棒性，本文首先采用矢量量化-变分自编码器（VQ-VAE）设计了一个发送端和接收端共享的离散码本，用于编码特征表示。因此，发射机仅需要在码本中发送这些特征的索引。仿真结果表明，我们提出的方法显着提高了语义通信系统对语义噪声的鲁棒性与显着减少的传输开销。
2022-05-22 cs.IT cs.LG eess.SP
Knowledge Base Enabled Semantic Communication: A Generative Perspective
Shenzhen Future Network of Intelligence Institute (FNii-Shenzhen)（深圳未来智能网络研究院（深圳FNii））；School of Science and Engineering (SSE)（科学与工程学院）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出利用语义知识库构建生成式语义通信架构，通过源、任务和信道三个子知识库实现低维高效语义表征与传输，为6G语义通信奠定基础。
2024-06-16 cs.AI cs.IT cs.NI
Communication Beyond Transmitting Bits: Semantics-Guided Source and Channel Coding
Beijing University of Posts and Telecommunications（北京邮电大学）
经典的通信模式专注于在有噪声的信道上准确地传输比特，香农理论为可靠通信的速率提供了基本的理论限制。在这种方法中，比特被平等对待，并且通信系统不知道这些比特传达什么含义或者它们将如何被使用。可以预见的是，未来的通信朝着智能和简洁的方向发展将发挥主导作用，连接智能代理的扩散需要对编码传输范式进行彻底的重新思考，以支持即将出现的新通信形态。最近提出的“语义通信”概念提供了一个很有前途的研究方向。在编码传输设计中引入语义指导，实现语义感知的通信，在有效性和可靠性方面有很大的突破潜力。本文提出了一种基于语义的信源编码和信道编码的语义通信传输模式，它利用了数据语义的多样性和无线信道的多样性来提高整个系统的性能。我们提出了一般的系统架构和关键技术，并指出了一些开放的问题，在这个主题。
2022-08-04 cs.AI cs.IT cs.LG
Disentangling Learnable and Memorizable Data via Contrastive Learning for Semantic Communications
Virginia Tech（弗吉尼亚理工学院）
实现人工智能原生无线网络对于未来6G应用（如Metaverse）的运行是必要的。尽管如此，目前的通信计划本质上只是一个缺乏推理的重建过程。使无线通信能够发展为类似人类对话的一个关键解决方案是语义通信。本文提出了一种新的机器推理框架，对源数据进行预处理和分离，使其具有语义就绪性。特别是，提出了一种新的对比学习框架，从而对数据进行实例和聚类判别。这两个任务使得能够增加映射到语义上相似的内容元素的数据点之间的内聚性，并且解开语义上不同的内容元素的数据点。随后，形成的语义深层聚类根据它们的置信水平进行排名。最高置信度的深度语义聚类被认为是可学习的、语义丰富的数据，即，可以用于在语义通信系统中构建语言的数据。最不可信的被认为是随机的，语义差的，并且必须以经典方式传输的可记忆数据。我们的模拟结果展示了我们的对比学习方法在语义影响和极简主义方面的优越性。事实上，与普通语义通信系统相比，所实现的语义表示的长度最小化了57.22%，从而实现了最低限度的语义表示。
2022-12-18 cs.IT cs.LG cs.NI
Variational Source-Channel Coding for Semantic Communication
State Key Laboratory of Mobile Network and Mobile Multimedia Technology（移动网络与移动多媒体技术国家重点实验室）；ZTE Corporation（中兴通讯）
本文针对AE难以融合信道特性的问题，提出融合变分推断与信道特征的VSCC语义通信方法，实验证明其较AE更具可解释性、较VAE语义传输能力更优。
2025-05-09 cs.IT cs.LG eess.SP
Semantic Communications with Discrete-time Analog Transmission: A PAPR Perspective
Imperial College London（帝国理工学院）
基于深度学习（DL）的联合信源-信道编码（DeepJSCC）的最新进展导致了语义通信的新范例。基于DeepJSCC的语义通信的两个显著特征是直接从源信号中利用语义感知特征，以及这些特征的离散时间模拟传输（DTAT）。与传统的数字通信相比，使用DeepJSCC的语义通信在接收端提供了卓越的重构性能，并随着信道质量的下降而适度降级，但在传输信号中也表现出较大的峰均功率比（PAPR）。一个悬而未决的问题是DeepJSCC的增益是否来自高PAPR连续幅度信号带来的额外自由度。本文针对这一问题，探讨了三种降低峰均比的技术在图像传输中的应用。我们确认，基于DeepJSCC的语义通信的卓越图像重建性能可以保留，同时传输的PAPR被抑制到可接受的水平。这一观察是在实际语义通信系统中实现DeepJSCC的重要一步。
2022-12-29 cs.IT cs.LG eess.IV
Learning Semantics: An Opportunity for Effective 6G Communications
CEA-Leti；Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
最近，语义通信被设想为未来6G网络的关键使能器。回到香农的信息论，长期以来，通信的目标一直是保证正确接收传输的信息，而不管它们的含义。然而，一般来说，每当通信发生传达一个意思，重要的是接收者的理解所传输的信息，而不一定是正确的重建。因此，语义通信引入了一种新的范式：只传输足够的相关信息，接收器捕获的意图可以节省显着的通信带宽。因此，这项工作探索了语义通信为超越5G网络提供的机会。特别是，我们专注于语义压缩的好处。我们把语义信息称为从“意义”底层数据中学习到的一系列格式良好的符号，这些符号必须在接收者处进行解释。这需要一个推理单元，这里是人工的，在知识库上：一个特定应用的符号知识表示。因此，我们提出并详细介绍了一种新的架构，使有效的语义通信的语义符号的表示学习。我们首先讨论理论方面，并成功地设计目标函数，这有助于学习有效的语义编码器和解码器。最后，我们展示了文本传输场景的有希望的数值结果，特别是当发送者和接收者说不同的语言时。
2021-10-14 cs.AI cs.CL cs.IT
Less Data, More Knowledge: Building Next Generation Semantic Communication Networks
Virginia Tech（弗吉尼亚理工大学）；Technology Innovation Institute（技术创新研究院）；CentraleSupelec（巴黎中央理工-高等电力学院）；University Paris-Saclay（巴黎萨克雷大学）；University of Houston（休斯顿大学）；Kyung Hee University（庆熙大学）；Princeton University（普林斯顿大学）
语义通信被认为是一种革命性的范式，可以潜在地改变我们如何设计和操作无线通信系统。然而，尽管最近在这一领域的研究活动激增，研究景观仍然有限。在本教程中，我们提出了一个可扩展的端到端语义通信网络的第一个严格的愿景，该网络建立在人工智能（AI），因果推理和通信理论的新概念基础上。我们首先讨论如何设计语义通信网络需要从数据驱动的网络转向知识驱动的。随后，我们强调了创建满足极简主义，概括性和效率的关键属性的数据语义表示的必要性，以便用更少的时间做更多的事情，然后我们解释这些表示如何形成所谓的语义语言的基础。通过使用语义表示和语言，我们表明，传统的发射器和接收器现在成为一个老师和学徒。然后，我们通过研究因果表示学习的基本原理及其在设计语义通信网络中的作用来定义推理的概念。我们证明了推理能力的主要特点是能够捕捉数据流中的因果关系和关联关系。对于这种推理驱动的网络，我们提出了新的和必要的语义通信指标，包括新的“推理能力”的措施，可以超越香农的约束，以捕捉计算和通信的融合。最后，我们解释了语义通信如何扩展到大规模网络（6G及以上）。简而言之，我们希望本教程提供关于如何正确构建、分析和部署未来语义通信网络的全面参考。
2022-11-25 cs.AI cs.IT cs.LG
EXK-SC: A Semantic Communication Model Based on Information Framework Expansion and Knowledge Collision
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
语义通信的重点不在于提高传输符号的准确性，而在于准确表达符号序列所承载的预期含义。然而，语义信息的测量及其相应的码本生成仍然是一个悬而未决的问题。扩展，将简单的事物整合成复杂的系统，甚至产生智能，这与人类语言系统的进化是真正一致的。我们将这一思想应用到语义通信系统中，通过符号序列量化语义传输，并以类似于Shannon的数字通信系统方法的方式研究语义信息系统。本文首次在语义信息框架下讨论了语义扩展和知识碰撞问题。给出了一些重要的理论结果，包括语义扩展与传输信息速率之间的关系。我们相信这样一个语义信息框架可以为语义通信提供一个新的范例，语义扩展和知识碰撞将成为语义信息论的基石。
2022-12-21 cs.GT cs.IT cs.LG
