The Communication and Computation Trade-off in Wireless Semantic Communications
针对无线语义通信中计算与通信资源需求快速增长的问题,本文提出一种权衡指标,并利用深度强化学习最小化该指标,以在任务时延和性能约束下降低资源平衡成本。
2025-05-13 eess.SP
Signal Shaping for Semantic Communication Systems with A Few Message Candidates
语义通信的目标是可靠地传达消息的语义含义。它与现有的专注于可靠比特传输的通信系统不同。为了实现语义通信的目标,我们提出了一种信号整形方法,通过最大限度地减少语义损失,这是衡量从变压器(BERT)模型的预训练的双向编码器表示。研究了语义通信系统中具有少量候选消息的信号集优化问题。我们提出了一个有效的投影梯度下降方法来解决这个问题,并证明了它的收敛性。仿真结果表明,该方法在最小化语义损失方面优于现有的信号整形方法。
2022-08-18 eess.SP
A Robust Deep Learning Enabled Semantic Communication System for Text
随着6 G时代的到来,语义通信的概念越来越受到关注。与传统的通信系统相比,语义通信系统不仅受到存在于无线通信环境中的物理噪声的影响,另外的白高斯噪声,而且由于语义噪声的来源和基于深度学习的系统的性质。在本文中,我们阐述了语义噪声的机制。特别地,我们将语义噪声分为两类:字面语义噪声和对抗性语义噪声。前者是由书写错误或表达歧义引起的,而后者是由通过语义通道添加到嵌入层的扰动或攻击引起的。为了防止语义噪声影响语义通信系统,我们提出了一个强大的深度学习支持的语义通信系统(R-DeepSC),它利用校准的自我注意力机制和对抗训练来解决语义噪声。与仅考虑文本传输的物理噪声的基线模型相比,所提出的R-DeepSC在处理不同信噪比下的语义噪声方面取得了显着的性能。
2022-06-06 eess.SP
Engineering Semantic Communication: A Survey
本文综述语义通信的历史、现状与四类工程化方法,分析各自研究、挑战与机遇,并提出受人类交流启发、基于优化的上下文语义通信框架。
2022-10-04 eess.SP
Semantic Communication with Conceptual Spaces
尽管香农和韦弗的《通信的数学理论》是在70多年前出版的,但所有的通信系统都继续在该理论定义的三个层次中的第一个层次上运行:技术层次。在这封信中,我们认为,过渡到语义层面体现了一个自然的,重要的一步,在通信技术的发展。此外,我们提出了一种新的方法来工程语义通信使用概念空间和功能压缩。我们引入了一个模型,利用这种方法的语义通信,并模拟通信的图像语义展示率降低99.79%。
2023-01-06 eess.SP
Wireless Semantic Transmission via Revising Modules in Conventional Communications
语义通信因其高效的频谱利用率和纠错性能而成为研究的热点。一些研究使用深度学习来提取语义特征,这些语义特征通常形成端到端的语义通信系统,并且难以解决变化的无线环境。因此,新的基于语义的编码方法和性能指标进行了研究和设计的语义系统包括各种模块,在传统的通信,但具有改进的功能。本文讨论了最近的成就,在最先进的语义通信利用传统的模块在无线系统中。我们通过两个例子表明,传统的混合自动重传请求和调制方法可以重新设计新的语义编码和指标,以进一步提高无线语义通信的性能。在本文的最后,一些开放的问题进行了确定。
2022-10-02 eess.SP
Semantic Communication with Memory
虽然语义通信由于其强大的语义信息提取能力而成功地实现了高效的信息传输,但距离智能化或类人通信还有很大的距离。在本文中,我们引入了一个重要的组成部分,记忆,语义通信模仿人类的通信。特别是,我们研究了一个基于深度学习(DL)的语义通信系统与内存,命名为Mem-DeepSC,通过考虑场景问答任务。我们利用基于通用Transformer的收发器来提取语义信息,并引入记忆模块来处理上下文信息。此外,我们推导了语义信号的长度与信道噪声之间的关系,以验证动态传输的可能性。特别是,我们提出了两种动态传输方法,以提高传输的可靠性,以及通过屏蔽一些不必要的元素,这是通过训练模型识别的互信息,以减少通信开销。数值结果表明,所提出的Mem-DeepSC在回答精度和传输效率方面优于基准,即,发送的符号数。
2023-03-22 eess.SP
Resource allocation for text semantic communications
针对语义通信资源分配空白,首次定义语义频谱效率(S-SE),提出资源分配优化方法,并开发转换方法与传统系统公平比较,仿真验证其有效性和优越性。
2022-04-25 eess.SP
Coarse-to-Fine Semantic Communication Systems for Text Transmission
针对语义通信系统语义理解不足的问题,提出一种基于粗到细处理和双重注意力机制的文本传输语义通信系统,有效提升了多信道条件下的语义交换性能。
2025-04-02 eess.SP
Semantic Synchronization for Enhanced Reliability in Communication Systems
针对语义通信中信号起始位置与AI解码器错位导致源信号无法重建的问题,提出基于图像语义特征的同步方法,通过共享SyncImg编码同步头、滑动窗口解码器定位,在低信噪比下实现更低漏检率与误差的跨设备精准同步。
2023-12-02 eess.SP
SliceOps: Explainable MLOps for Streamlined Automation-Native 6G Networks
本文提出原生嵌入6G架构的SliceOps切片,结合MLOps与可解释AI及解释引导强化学习,管理AI全生命周期并实现透明可信的网络切片资源分配。
2023-07-04 cs.NI eess.SP
Semantic Communications in Multi-user Wireless Networks
本文研究了多用户网络中语义通信的开发。我们提出了一种新的异构语义和比特多用户框架,提供完美的,定制的,智能的信息传输。我们讨论了正交多址接入(OMA)和非正交多址接入(NOMA)的建议异构框架,重点调查语义通信和NOMA之间的相互作用,即NOMA启用语义通信和语义通信增强NOMA。1)对于支持NOMA的语义通信,我们提出了一个半NOMA方案,有效地促进异构语义和比特多用户通信,它统一了传统的NOMA和OMA方案。的基本性能限制,即语义与比特率的区域,其特征在于,这表明所提出的半NOMA的优越性。2)对于语义通信增强的NOMA,我们提出了一个机会主义的语义和比特通信的方法,以减轻在NOMA的早,晚速率差距的问题。数值案例研究表明,显着的性能增益可以实现NOMA采用语义通信比位通信。最后,突出了几个开放的研究方向。
2022-11-16 cs.IT eess.SP math.IT
Semantic Sensing and Communications for Ultimate Extended Reality
无线终极延展实境(XR)技术作为虚拟现实系统的关键技术,受到了业界和学术界的广泛关注。然而,严格的延迟和超高数据速率要求阻碍了无线终极XR的发展。语义通信不需要逐位传输源数据,而是关注源数据中包含的语义信息的成功传递,这在减少无线系统的数据流量方面显示出巨大的潜力。受语义通信的启发,本文为无线终极XR开发了一个联合语义感知、渲染和通信框架。语义感知通过探索语义信息的时空分布来提高感知效率。语义渲染旨在减少语义冗余像素的成本。其次,采用语义通信,实现无线极限XR的高数据传输效率。最后,通过两个案例分析验证了该框架的有效性.最后,潜在的研究方向,以促进语义感知的无线终极XR的发展。
2022-12-16 eess.IV eess.SP
Secure Semantic Communications: Fundamentals and Challenges
语义通信允许接收方知道意图而不是比特信息本身,这是一种新兴的技术,以支持未来无线通信的实时人机和机器对机器交互。在语义通信中,发送方和接收方共享一些共同的知识,这些知识可以用于在发送方提取小尺寸信息并在接收方恢复原始信息。由于设计目的的不同,语义通信中的安全问题与标准的按位通信相比有两个独特的特点。首先,语义通信中的攻击者不仅考虑被盗数据的数量,而且考虑被盗数据的含义。其次,语义通信系统中的攻击者不仅可以攻击标准通信系统中进行的语义信息传输,而且可以攻击用于语义信息抽取的机器学习(ML)模型,因为大多数语义信息是使用基于ML的方法生成的。由于这些独特的功能,在本文中,我们提出了一个概述的基本原理和安全语义通信的设计中的关键挑战。我们首先提供各种方法来定义和提取语义信息。然后,我们重点研究了安全语义通信技术的两个方面:信息安全和语义ML模型安全。对于每个领域,我们都确定了主要问题和挑战。然后,我们将对这些问题进行全面的处理。简而言之,本文提供了一套关于如何在真实世界的无线通信网络上设计安全语义通信系统的整体指导方针。
2023-01-04 cs.IT eess.SP math.IT
Backdoor Attacks and Defenses on Semantic-Symbol Reconstruction in Semantic Communications
针对语义通信中的语义符号重建,提出后门攻击范式BASS及相应防御策略,包括训练框架、逆向工程和剪枝方法,仿真验证其有效性。
2024-04-20 cs.CR eess.IV eess.SP
Enhancing Semantic Communication with Deep Generative Models -- An ICASSP Special Session Overview
Sapienza University of Rome(罗马第一大学);Sony Group Corporation(索尼集团公司);Beijing University of Posts and Telecommunications(北京邮电大学)
本文从机器学习视角综述了语义通信的挑战,指出深度生成模型能有效解决复杂语义信息提取、数据重建及信道鲁棒性问题,并为下一代生成式语义通信框架规划了新研究路径。
2023-09-05 cs.AI cs.LG eess.SP
Semantic Communications: Principles and Challenges
Queen Mary University of London(伦敦玛丽女王大学);Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Huawei Technologies(华为技术有限公司);Imperial College London(帝国理工学院)
语义交际被认为是对香农范式的突破,其目的是成功地传递信息源所传达的语义信息,而不是准确地接收每一个符号或比特,而不管其意义如何。本文提供了语义通信的概述。在简要回顾了Shannon信息论之后,我们讨论了深度学习支持的语义通信理论、框架和系统设计。与传统的通信系统的符号/比特出错率不同,本文还讨论了语义通信的性能指标。文章最后提出了语义通信中的几个开放性问题。
2022-06-27 cs.IT cs.LG eess.SP
Transceiver Cooperative Learning-aided Semantic Communications Against Mismatched Background Knowledge Bases
Shandong University(山东大学)
基于背景知识的语义通信已被认为是智能代理之间通信的一种有前途的技术。现有的工作假设语义通信的收发器共享相同的KB。然而,智能收发器可能会遭受通信负担或担心隐私泄露以KB交换数据。此外,收发器可以独立地从环境中学习并且动态地更新它们的知识库,导致知识库的及时共享不可行。所有这些都导致知识块之间的不匹配,这可能导致接收方在语义级上的误解。为了解决这个问题,我们提出了一个收发器协作学习辅助语义通信(TCL-SC)计划对不匹配的知识库。在TCL-SC中,收发器基于它们自己的知识库协作地训练相同结构的语义编码器和解码器神经元网络(NN)。它们周期性地共享NN的参数。为了减少参数共享的通信开销,采用了参数量化。此外,我们还讨论了通信轮数对语义通信系统性能的影响。在真实数据上的实验表明,我们提出的TCL-SC可以减少接收端由于知识块之间的不匹配而引起的语义级误解,特别是在低信噪比(SNR)下。
2023-01-09 cs.AI cs.NI eess.SP
Goal-Oriented Semantic Communications for 6G Networks
针对6G中传统通信逼近容量极限的问题,本文提出融合语义信息与效能感知指标的通用目标导向语义通信框架,并通过UAV控制任务验证其有效性。
2024-04-06 cs.SY eess.SP eess.SY
Robust Semantic Communications Against Semantic Noise
Zhejiang University(浙江大学);Queen Mary University of London(伦敦玛丽女王大学);Imperial College London(伦敦帝国理工学院)
虽然语义通信在大量的任务中表现出令人满意的性能,但语义噪声的影响和系统的鲁棒性还没有得到很好的研究。语义噪声是语义通信系统中的一种特殊噪声,指的是语义符号与接收符号之间的误导。在本文中,我们首先提出了一个框架,鲁棒的端到端的语义通信系统,以打击语义噪声。特别地,我们分析了语义噪声产生的原因,并提出了一种实用的语义噪声产生方法,为了消除语义噪声的影响,我们提出了对抗性训练,将带有语义噪声的样本加入训练数据集中。然后,掩蔽自动编码器(MAE)被设计为一个强大的语义通信系统的架构,其中一部分的输入被屏蔽。为了进一步提高语义通信系统的鲁棒性,本文首先采用矢量量化-变分自编码器(VQ-VAE)设计了一个发送端和接收端共享的离散码本,用于编码特征表示。因此,发射机仅需要在码本中发送这些特征的索引。仿真结果表明,我们提出的方法显着提高了语义通信系统对语义噪声的鲁棒性与显着减少的传输开销。
2022-05-22 cs.IT cs.LG eess.SP
Variational Source-Channel Coding for Semantic Communication
State Key Laboratory of Mobile Network and Mobile Multimedia Technology(移动网络与移动多媒体技术国家重点实验室);ZTE Corporation(中兴通讯)
本文针对AE难以融合信道特性的问题,提出融合变分推断与信道特征的VSCC语义通信方法,实验证明其较AE更具可解释性、较VAE语义传输能力更优。
2025-05-09 cs.IT cs.LG eess.SP
EXK-SC: A Semantic Communication Model Based on Information Framework Expansion and Knowledge Collision
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
语义通信的重点不在于提高传输符号的准确性,而在于准确表达符号序列所承载的预期含义。然而,语义信息的测量及其相应的码本生成仍然是一个悬而未决的问题。扩展,将简单的事物整合成复杂的系统,甚至产生智能,这与人类语言系统的进化是真正一致的。我们将这一思想应用到语义通信系统中,通过符号序列量化语义传输,并以类似于Shannon的数字通信系统方法的方式研究语义信息系统。本文首次在语义信息框架下讨论了语义扩展和知识碰撞问题。给出了一些重要的理论结果,包括语义扩展与传输信息速率之间的关系。我们相信这样一个语义信息框架可以为语义通信提供一个新的范例,语义扩展和知识碰撞将成为语义信息论的基石。
2022-12-21 cs.GT cs.IT cs.LG