PDE-CNNs: Axiomatic Derivations and Applications
Eindhoven University of Technology(埃因霍温理工大学)
本文提出PDE-CNN框架,通过公理化推导确定适用于欧几里得等变二维特征图的偏微分方程,并实验证明其相比传统CNN具有更少参数、更高准确率和更好数据效率。
2024-11-20 cs.CV cs.LG
Deep Joint Source-Channel Coding for Wireless Image Transmission
University College London(伦敦大学学院);Imperial College London(帝国理工学院)
我们提出了一种联合信源和信道编码(JSCC)技术的无线图像传输,不依赖于显式编码的压缩或纠错,而是直接映射的图像像素值的复值信道输入符号。我们通过两个联合训练的卷积神经网络(CNN)来参数化编码器和解码器功能,并且可以被认为是中间具有代表噪声通信信道的不可训练层的自动编码器。我们的研究结果表明,所提出的深度JSCC方案优于数字传输级联JPEG或JPEG 2000压缩,具有在低信噪比(SNR)和信道带宽值下实现信道编码的能力,在存在加性高斯白噪声(AWGN)。更引人注目的是,深度JSCC不受“悬崖效应”的影响,并且当信道SNR相对于训练期间假设的SNR值变化时,它提供了适度的性能降级。在慢瑞利衰落信道的情况下,深度JSCC学习噪声弹性编码表示,并在所有SNR和信道带宽值下显著优于基于分离的数字通信。
2019-06-17 cs.IT cs.LG eess.SP
Edge-Efficient Deep Learning Models for Automatic Modulation Classification: A Performance Analysis
Indian Institute of Technology Guwahati(印度古瓦哈蒂印度理工学院)
本文针对无线通信边缘设备上的自动调制分类(AMC)任务,深入研究并评估了剪枝、量化和知识蒸馏三种模型优化技术及其组合在卷积神经网络中的应用,实验证明这些方法能显著降低模型复杂度并保持或提升分类性能。
2024-04-11 cs.IT cs.LG eess.SP
Analysis of Deep Complex-Valued Convolutional Neural Networks for MRI Reconstruction
Stanford University(斯坦福大学);Apple Inc.(苹果公司);GE Healthcare(GE医疗)
许多真实世界的信号源是复值的,具有实部和虚部。然而,绝大多数现有的深度学习平台和网络架构都不支持使用复值数据。MRI数据本质上是复值的,因此现有方法丢弃了复数据的更丰富的代数结构。在这项工作中,我们研究了端到端复值卷积神经网络-特别是代替双通道实值网络的图像重建。我们将其应用于磁共振成像重建的目的,加速扫描时间,并确定各种有前途的复值激活函数的性能。我们发现,在各种网络架构和数据集上,与具有相同数量可训练参数的实值卷积相比,具有复值卷积的复值CNN提供了更好的重建。
2020-05-12 cs.CV cs.LG eess.IV
Keep It Simple: CNN Model Complexity Studies for Interference Classification Tasks
Virginia Tech(弗吉尼亚理工大学);George Mason University(乔治梅森大学);Virginia Tech National Security Institute(弗吉尼亚理工大学国家安全研究所)
针对无线设备计算资源有限而现有深度学习分类模型过于复杂的问题,本文研究了数据集大小、CNN模型复杂度与分类准确率间的权衡,发现参数更少的简单CNN模型能取得与复杂模型相当的表现。
2023-03-06 cs.LG cs.NI eess.SP
Deep Learning in Wireless Communication Receiver: A Survey
本综述探讨了深度学习架构在无线通信接收机设计中的应用,分析了其在OFDM和MIMO等先进技术下关键模块的实现,并指出了未来面临的挑战。
2025-01-25 cs.IT cs.LG cs.NI
Channel Assignment in Uplink Wireless Communication using Machine Learning Approach
King’s College London(伦敦国王学院);Nanjing University of Information Science and Technology(南京信息工程大学)
本文研究了上行无线通信系统中的信道分配问题。我们的目标是最大化的总和速率的所有用户的整数信道分配约束。提出了一种基于凸优化的最优信道分配算法,每一步都得到了最优信道分配的封闭解。由于基于凸优化的算法中的高计算复杂度,采用机器学习方法来获得计算有效的解。更具体地,通过使用基于凸优化的算法来生成数据,并且将原始问题转换为回归问题,该回归问题通过卷积神经网络(CNN)、前馈神经网络(FNN)、随机森林和门控递归单元网络(GRU)的集成来解决。结果表明,机器学习方法大大减少了计算时间,预测精度略有下降。
2020-01-12 cs.LG eess.SP stat.ML
ChaRRNets: Channel Robust Representation Networks for RF Fingerprinting
Expedition Technology(远征科技公司)
我们提出了用于RF指纹识别的复值卷积神经网络(CNN),其超越了平移不变性,并适当地考虑了相对于多径传播信道的感应偏差,这是无线信号处理和通信领域特有的现象。我们专注于使用深度学习(DL)技术对无线物联网设备进行指纹识别的问题。在这些真实世界条件下,在训练和测试集中表示的多径环境将是不同的。这些差异是由于控制无线信号传播的物理学以及实际数据收集活动的限制。我们的方法遵循群论的框架,利用以前的工作DL流形值数据,并将这种以前的工作扩展到无线信号处理域。我们引入了信号在多径传播模型下经历的变换的李群,并定义了对有限脉冲响应(FIR)滤波器的频率响应等变和不变的操作,以构建ChaRRNet。我们使用合成和真实世界的数据集呈现结果,并以强大的基线模型为基准,显示了我们方法的有效性。我们的研究结果提供了证据的好处,将适当的无线域偏差到DL模型。我们希望在强大的RF机器学习领域推动新的工作,因为5G革命增加了对增强安全机制的需求。
2021-05-08 cs.LG eess.SP
CNNs on Surfaces using Rotation-Equivariant Features
Delft University of Technology(代尔夫特理工大学)
本文关注的是几何深度学习中的一个基本问题,该问题出现在表面上的卷积神经网络的构造中。由于曲率,滤波器核在表面上的传输导致旋转模糊,这阻止了这些核在表面上的均匀对准。我们提出了一个网络架构的表面,由矢量值,旋转等变功能。当在卷积层中聚合特征时,等方差属性使得可以局部对齐在任意坐标系中计算的特征。生成的网络与曲面上切线空间的坐标系选择无关。我们实现我们的方法为三角形网格。基于圆调和函数,我们引入卷积滤波器的网格是旋转等变的离散水平。我们评估所产生的网络形状对应和形状分类任务,并比较其性能与其他方法。
2020-06-02 cs.CG cs.CV cs.LG
Grassmannian Packings in Neural Networks: Learning with Maximal Subspace Packings for Diversity and Anti-Sparsity
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学);UnifyID AI Labs(UnifyID人工智能实验室)
在CNN内核中通常观察到内核稀疏性(“垂死的ReLU”)和缺乏多样性,这降低了模型容量。从信息论和无线通信中汲取灵感,我们通过CNN中的格拉斯曼子空间填充问题展示了编码理论和深度学习的交叉。我们提出了Grassmannian包装的初始内核层被初始化最大程度地远离弦或Fubini学习距离的基础上。用格拉斯曼填充初始化的卷积核表现出不同的特征,并得到不同的表示。我们发现,格拉斯曼包装,特别是在初始层中,解决了内核稀疏性并鼓励多样性,同时提高了浅层和深层CNN的分类精度,具有更好的收敛速度。
2019-11-18 cs.IT cs.LG math.IT
Spin-Weighted Spherical CNNs
GRASP Laboratory(GRASP实验室);University of Pennsylvania(宾夕法尼亚大学);Google Research(谷歌研究院)
学习等变表示是降低样本和模型复杂度并提高深度神经网络泛化性能的一种很有前途的方法。球形CNN是成功的例子,产生球形输入的SO(3)-等变表示。有两种主要类型的球形CNN。第一种类型将输入提升到旋转群SO(3)上的函数,并在群上应用卷积,这在计算上是昂贵的,因为SO(3)有一个额外的维度。第二种类型直接在球体上应用卷积,这仅限于带状(各向同性)滤波器,因此具有有限的表现力。在本文中,我们提出了一种新型的球形CNN,它允许以有效的方式进行各向异性滤波,而无需离开球形域。关键的想法是考虑自旋加权球函数,这是在物理学研究引力波时引入的。这些是球体上的复值函数,其相位随旋转而变化。我们定义了自旋加权函数之间的卷积,并基于它构建了一个CNN。自旋加权函数也可以被解释为球形向量场,允许应用于输入或输出为向量场的任务。实验表明,我们的方法优于以前的方法,如球形图像的分类,三维形状的分类和球形图像的语义分割。
2020-10-26 cs.CV cs.LG
WiNeRF: Measurement Constrained Radiance Fields for Actionable Wireless Channel Modeling
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Intel(英特尔)
WiNeRF提出一种测量约束的神经辐射场框架,从稀疏CSI中学习连续复值信道表示,在NLoS室内环境实现5.3 dB中位预测SNR,比基线高4.9 dB,并支持波束成形等任务。
2026-09-22 cs.LG cs.NI
Wireless Interference Identification with Convolutional Neural Networks
inIT - Institute Industrial IT(工业信息技术研究所);Ostwestfalen-Lippe University of Applied Sciences(东威斯特法伦-利珀应用科学大学)
无许可证频带的使用稳步增长,需要可靠的共存管理,以确定介质的利用率。为了减轻干扰,正确的无线干扰识别(WII)是必不可少的。在这项工作中,我们提出了第一个基于深度卷积神经网络(CNN)的WII方法。CNN在广泛的数据驱动的基于GPU的训练过程中通过自我优化来天真地学习其特征。我们提出了一个CNN示例,该示例基于具有12.8 μs有限持续时间和10 MHz采集带宽的感测快照。CNN在15个类之间不同。它们表示IEEE 802.11 b/g、IEEE 802.15.4和IEEE 802.15.1的分组传输,其中在2.4 GHz ISM频带内具有重叠的频率信道。我们表明,CNN优于国家的最先进的WII方法,并具有大于95%的信噪比至少为-5 dB的分类精度。
2017-03-02 cs.CV cs.LG
Efficient ECG-based Atrial Fibrillation Detection via Parameterised Hypercomplex Neural Networks
L3S Research Center(L3S研究中心);Leibniz Universität Hannover(汉诺威莱布尼茨大学)
提出使用参数化超复数层的轻量级CNN进行ECG心房颤动检测,在两个公开数据集上以更少参数达到与实值CNN相当性能,且支持任意导联输入,适合可穿戴设备。
2023-09-11 cs.LG eess.SP
Roto-Translation Covariant Convolutional Networks for Medical Image Analysis
Eindhoven University of Technology(埃因霍温理工大学)
我们提出了一个使用$SE(2)$群卷积进行旋转和平移协变深度学习的框架。特殊欧几里得运动群$SE(2)$的群积描述了两个旋转平移的级联如何导致净旋转平移。我们通过$SE(2)$组卷积层将这种几何结构编码到卷积神经网络(CNN)中,这些卷积层适合标准的2D CNN框架,并且允许在不需要数据增强的情况下一般处理旋转的输入样本。我们引入三层:提升层,其将2D(向量值)图像提升为$SE(2)$图像,即,域为$SE(2)$的3D(向量值)数据;来自和去往$SE(2)$图像的组卷积层;以及从$SE(2)$图像到2D图像的投影层。提升和组卷积层是$SE(2)$协变的(输出与输入旋转平移)。最后的投影层是旋转上的最大强度投影,使完整的CNN旋转不变。我们用组织病理学、视网膜成像和电子显微镜中的三个不同问题表明,使用所提出的组CNN,可以实现最先进的性能,而不需要通过旋转进行数据增强,并且与依赖增强的标准CNN相比,性能有所提高。
2018-06-11 cs.CV cs.LG math.GR
Towards White-Box Deep Wireless Sensing
The University of Hong Kong(香港大学);MIT(麻省理工学院)
该研究针对现有深度无线感知模型为黑盒的问题,提出基于复稀疏率降维原理的全复值Transformer模型RF-CRATE,引入子空间正则化解决数据稀缺问题,在五项数据集的多类任务中验证其性能优于黑盒模型且具备可解释性。
2026-08-03 cs.AI cs.LG
Adaptive Classification of Interval-Valued Time Series
School of Economics and Management, Beihang University(北京航空航天大学经济管理学院)
本文提出一种基于区间上下界凸组合和图像转换的自适应方法,用于单变量及多变量区间值时间序列分类,通过ADMM优化系数并建立了基于间隔的多分类泛化界。
2025-04-04 cs.LG stat.ML
Naive Gabor Networks for Hyperspectral Image Classification
Sun Yat-sen University(中山大学);South China University of Technology(华南理工大学);Hunan University(湖南大学);University of Extremadura(埃斯特雷马杜拉大学);Beihang University(北京航空航天大学)
最近,许多卷积神经网络(CNN)方法已被设计用于高光谱图像(HSI)分类,因为CNN能够产生良好的数据表示,这极大地受益于大量的参数。然而,解决这样的高维优化问题往往需要大量的训练样本,以避免过度拟合。此外,它是一个典型的非凸问题,受许多局部极小和平坦区域的影响。为了解决这些问题,在本文中,我们引入了朴素的Gabor网络或Gabor-Nets,在文献中首次严格以Gabor滤波器的形式设计和学习CNN内核,旨在减少所涉及的参数数量并限制解空间,从而提高CNN的性能。具体来说,我们开发了一种创新的相位诱导的Gabor内核,它巧妙地设计为通过由内核相位控制的数据的局部低频和高频分量的线性组合来执行Gabor特征学习。通过引入相位诱导的Gabor核函数,提出的Gabor-Nets能够自动适应HSI数据的局部谐波特征,从而产生更具代表性的谐波特征。此外,该内核可以以实值方式实现传统的复值Gabor滤波,从而使Gabor-Nets易于在通常的CNN线程中执行。我们在三个著名的HSI上评估了我们新开发的Gabor-Nets,表明我们提出的Gabor-Nets可以显着提高CNN的性能,特别是在小训练集的情况下。
2020-02-24 cs.CV cs.LG eess.IV
Performance Analysis for Resource Constrained Decentralized Federated Learning Over Wireless Networks
Macau University of Science and Technology(澳门科技大学)
本文分析了无线网络中资源受限的去中心化联邦学习在数字与模拟传输下的收敛界、资源分配和通信复杂度,并通过CNN与ViT在fashion-MNIST和CIFAR-10上的仿真验证了系统参数优化对性能的提升。
2023-08-12 cs.LG cs.PF eess.SP
Phasor-Driven Acceleration for FFT-based CNNs
Lakehead University(湖首大学);University of Windsor(温莎大学)
本文提出使用相量形式替代传统直角坐标表示,通过极坐标复数运算优化FFT-based CNN的频域计算,在CIFAR-10/100上实现1.3-1.4倍训练推理加速,且可无缝集成到现有卷积模型中。
2024-06-01 cs.CV cs.LG eess.SP
Radio-Frequency Convolutional Neural Networks
Duke University(杜克大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出射频卷积神经网络(RF-CNN),利用无线设备现有混频器在频域执行卷积,实现边缘端高效CNN推理,能耗低至0.72飞焦耳/乘加,性能接近全精度。
2026-09-18 cs.ET cs.LG eess.SP
SCNN: An Accelerator for Compressed-sparse Convolutional Neural Networks
NVIDIA(英伟达);Massachusetts Institute of Technology(麻省理工学院);UC-Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
卷积神经网络(CNN)已经成为机器学习的基础技术。高性能和极高的能效对于CNN在各种情况下的部署至关重要,特别是自动驾驶汽车、相机和电子个人助理等移动平台。本文介绍了稀疏CNN(SCNN)加速器架构,该架构通过利用训练期间网络修剪产生的零值权重和推理期间应用的常见ReLU算子产生的零值激活来提高性能和能效。具体来说,SCNN采用了一种新的卷积算法,可以在压缩编码中保持稀疏权重和激活,从而消除了不必要的数据传输并降低了存储要求。此外,SCNN低功耗有助于将这些权重和激活有效地传递到乘法器阵列,在那里它们被广泛地重用。此外,乘法积的累加是在一个新的累加器阵列中进行的。我们的研究结果表明,在当代神经网络上,SCNN可以将性能和能量分别提高2.7倍和2.3倍,而不是传统的密集CNN加速器。
2017-05-23 cs.AR cs.LG cs.NE
Wireless Fingerprinting via Deep Learning: The Impact of Confounding Factors
University of California, Santa Barbara(加州大学圣巴巴拉分校);Qualcomm(高通公司)
我们能区分两个使用相同协议发送完全相同消息的无线发射器吗?这样做的机会是由于变送器之间的微妙非线性变化,即使是由同一制造商制造的变送器。由于这些影响很难明确建模,我们使用复值深度神经网络(DNN)研究学习设备指纹,该网络将接收器处的复基带信号作为输入。我们问这样的指纹是否可以鲁棒性分布的变化,由于时间和位置的时钟漂移和无线信道中的变化。在本文中,我们指出,除非主动劝阻,否则DNN会学习这些强混淆特征,而不是我们寻求学习的非线性设备特定特征。我们提出和评估策略,增强和估计的基础上,促进泛化实现这些混淆因素,使用数据从WiFi和ADS-B协议。我们的结论是,虽然DNN训练具有不需要显式信号模型的优势,但需要重要的建模见解才能将学习集中在我们希望捕获的效果上。
2021-03-09 cs.LG eess.SP stat.ML
Decentralized learning for wireless communications and networking
University of Minnesota(明尼苏达大学);University of Science and Technology of China(中国科学技术大学);University of Rochester(罗切斯特大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一种去中心化学习算法,用于图数据的网络内处理,通过交替方向乘子法实现分布式优化,适用于无线通信和网络任务的案例研究。
2015-03-30 cs.IT cs.LG cs.MA
A Survey of Complex-Valued Neural Networks
Prairie View A&M University(普雷里维尤农工大学);Texas A&M University System(得克萨斯农工大学系统)
基于人工神经网络(ANN)的机器学习模型,特别是深度学习模型,已经广泛应用于计算机视觉、信号处理、无线通信和许多其他领域,其中复数自然地或通过设计出现。然而,目前大多数ANN和机器学习框架的实现都使用实数而不是复数。人们越来越感兴趣的是使用复数构建ANN,并探索所谓的复值神经网络(CVNN)相对于实值神经网络的潜在优势。在本文中,我们讨论了最近的发展,通过执行一个调查的工作,在文献中的CVNNs。具体而言,各种CVNN的激活函数,学习和优化,输入和输出表示,以及它们在任务中的应用,如信号处理和计算机视觉方面的详细审查提供,随后讨论了一些相关的挑战和未来的研究方向。
2021-01-28 cs.LG stat.ML
A Transformer-based Multimodal Fusion Model for Efficient Crowd Counting Using Visual and Wireless Signals
School of Electrical and Electronic Engineering, University College Dublin(都柏林大学电子与电气工程学院);College of Electrical Engineering and Automation, Shandong University of Science and Technology(山东科技大学电气工程与自动化学院)
针对单模态人群计数信息丢失问题,提出融合CSI与图像的多模态模型TransFusion,结合Transformer全局特征与CNN局部特征,实现高精度、低误差且高效的人群计数。
2025-04-28 cs.CV cs.LG
Holographic Transformers for Complex-Valued Signal Processing: Integrating Phase Interference into Self-Attention
College of Computer Science and Technology, Zhejiang University, China(浙江大学计算机科学与技术学院);School of Software and Microelectronics, Peking University, China(北京大学软件与微电子学院)
针对现有深度模型处理复值信号时忽略相位干涉的问题,提出融入波干涉原理的全息Transformer,通过全息注意力与双头解码器保障相位一致性,在多项复值信号任务中取得性能提升,为相干信号建模提供统一物理框架。
2025-10-30 cs.AI cs.LG eess.SP
Graph Neural Networks: Architectures, Stability and Transferability
University of Pennsylvania(宾夕法尼亚大学)
图神经网络(GNN)是用于图上支持的信号的信息处理架构。它们在这里被呈现为卷积神经网络(CNN)的推广,其中各个层包含图形卷积滤波器组而不是经典卷积滤波器组。否则,GNN就像CNN一样工作。滤波器是由逐点非线性和堆叠在层。结果表明,GNN结构表现出等变性置换和稳定的图变形。这些属性有助于解释GNN的良好性能,这些性能可以通过经验观察到。它还表明,如果图收敛到一个极限对象,一个graphon,GNNs收敛到相应的极限对象,一个graphon神经网络。这种收敛证明了GNN在具有不同节点数量的网络中的可转移性。通过将GNNs应用于推荐系统、分散式协作控制和无线通信网络来说明概念。
2021-01-29 cs.LG stat.ML
Wireless Channel Identification via Conditional Diffusion Model
School of Information and Electronics, Beijing Institute of Technology, Beijing, China(信息与电子学院,北京理工大学,北京,中国);School of Information Engineering, Guangdong University of Technology, Guangzhou, China(信息工程学院,广东工业大学,广州,中国)
针对传统基于统计的无线信道场景识别方法难以区分动态散射体隐含特征、相似场景识别精度低的问题,提出将识别任务转化为经条件生成扩散模型求解的MLE问题,利用Transformer捕获逆过程多潜在空间隐藏特征,识别准确率较传统方法提升超10%。
2025-06-14 cs.LG
GCNO: Gramian Chebyshev Neural Operator for Physics-Based Compression of Wireless Channels
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);InterDigital AI Lab(InterDigital人工智能实验室)
本文提出GCNO这一基于物理的可变速率压缩器,其利用信道结构、泰勒修正和最小二乘法在无路径标签训练下实现无线信道压缩,性能优于基线且可迁移至未见过的天线数量。
2026-08-20 cs.AI cs.IT cs.LG
Newton-Puiseux Analysis for Interpretability and Calibration of Complex-Valued Neural Networks
提出Newton-Puiseux框架分析复值神经网络的局部决策几何,通过多项式代理和分支描述符实现可解释性并改进校准,在ECG和无线调制数据集上提升期望校准误差。
2025-10-13 cs.LG stat.ML
Quaternion Convolutional Neural Networks for End-to-End Automatic Speech Recognition
Université d'Avignon(阿维尼翁大学);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学);Orkis(奥基斯公司);Element AI(Element AI公司)
最近,与递归(RNN)或卷积神经网络(CNN)耦合的连接主义时间分类(CTC)模型使得以端到端的方式训练语音识别系统变得更容易。然而,在实值模型中,时间帧分量,如梅尔滤波器组能量和从它们获得的倒谱系数,以及它们的一阶和二阶导数,被处理为单独的元素,而一个自然的替代方案是处理这些组成实体的组件。我们建议将这些元素以四元数的形式分组,并使用已建立的四元数代数来处理这些四元数。四元数和四元数神经网络已经证明了它们在处理作为实体的多维输入、编码内部依赖性以及用比实值模型更少的学习参数解决许多任务方面的效率。本文提出在四元数卷积神经网络(QCNN)中集成多个特征视图,用于CTC模型的序列到序列映射。使用简单的QCNN在TIMIT语料库的音素识别实验中报告了有希望的结果。更确切地说,QCNN比基于实值CNN的竞争模型用更少的学习参数获得更低的音素出错率(PER)。
2018-06-20 cs.LG cs.SD eess.AS
I Can't Believe It's Not Real: CV-MuSeNet: Complex-Valued Multi-Signal Segmentation
Cyber-Physical Networking Lab, School of Computing University of Nebraska-Lincoln(网络物理实验室,计算学院内布拉斯加大学林肯分校)
本文提出复值多信号分割网络CMuSeNet,通过复值残差架构、CFL损失和CIoU度量提升低信噪比频谱感知的弱信号检测精度与训练效率,在多个数据集上以更少训练轮次显著超越实值网络和现有方法。
2025-05-21 cs.AI cs.LG
Comprehensive Survey of Complex-Valued Neural Networks: Insights into Backpropagation and Activation Functions
Damanhour University(达曼胡尔大学)
本文全面综述了复值神经网络(CVNNs)在反向传播算法和激活函数方面的最新进展,探讨了三种复数反向传播算法,分析了完全复数和分裂激活函数的设计挑战,并引入了一组新的复值激活函数以推动该领域的持续研究。
2024-07-27 cs.LG
ShiftNAS: Towards Automatic Generation of Advanced Mulitplication-Less Neural Networks
Nanyang Technological University(南洋理工大学)
无乘法神经网络显著降低了硬件平台上的时间和能量成本,因为计算密集型乘法被轻量级移位运算取代。然而,现有的位移网络都是直接从最先进的卷积神经网络(CNN),这导致不可忽视的精度下降,甚至失败的模型收敛。为了解决这个问题,我们提出了ShiftNAS,这是第一个定制神经架构搜索(NAS)的框架,可以大大减少位移神经网络与其实值对应网络之间的准确性差距。具体而言,我们率先将NAS拖到一个面向移位的搜索空间,并赋予它强大的拓扑相关的搜索策略和自定义的正则化和稳定化。因此,我们的ShiftNAS突破了传统NAS方法对比特移位神经网络的不兼容性,并在准确性和收敛性方面实现了更理想的性能。大量的实验表明,ShiftNAS为位移神经网络设置了一个新的最先进的技术,其中CIFAR 10的准确性增加了(1.69-8.07)%,CIFAR 100增加了(5.71-18.09)%,ImageNet增加了(4.36-67.07)%,特别是当许多传统的CNN无法收敛到具有位移权重的ImageNet时。
2022-04-07 cs.LG
PolarBM: Complex-valued Boltzmann Machine for Modeling Audio Signals in Polar and Log-polar Coordinates
Graduate School of Informatics and Engineering, the University of Electro-Communications(东京电机大学信息与工程研究生院);Department of Electrical Engineering and Computer Science, Tokyo University of Agriculture and Technology(东京农业大学电气与计算机科学系)
研究提出复值玻尔兹曼机PolarBM及其对数尺度变体LogPolarBM,能在极坐标和对数极坐标中处理音频信号,明确建模幅度和相位依赖关系,实验证明其比传统模型有更高建模精度,在多领域有广泛应用潜力。
2026-07-15 cs.LG cs.SD eess.AS
Disaggregated Deep Learning via In-Physics Computing at Radio Frequency
Department of Electrical and Computer Engineering, Duke University(电气与计算机工程系,杜克大学);Research Laboratory of Electronics, Massachusetts Institute of Technology(电子研究实验室,麻省理工学院)
本文提出 WISE 无线边缘计算架构,通过无线广播解耦模型访问并在射频物理域执行复值矩阵-向量乘法,以极低功耗实现高精度深度学习推理。
2025-04-24 cs.ET cs.LG eess.SP
Adversarial Attacks Against Deep Learning-Based Radio Frequency Fingerprint Identification
School of Computer Science and Informatics, University of Liverpool(计算机科学与信息学系,利物浦大学);School of Cyber Science and Engineering, Southeast University(网络安全与工程系,东南大学);School of Electrical and Electronic Engineering, Nanyang Technological University(电子与电气工程系,南洋理工大学)
本文提出针对基于深度学习的RFFI系统的三种对抗攻击方法,通过实验验证UAP在无先验知识下的高成功攻击率
2025-12-12 cs.CR cs.LG
DeepJSCC-Q: Channel Input Constrained Deep Joint Source-Channel Coding
Imperial College London(帝国理工学院)
最近的工作表明,图像的无线传输任务可以通过使用机器学习技术来学习。非常有前途的结果,在端到端的图像质量,优于流行的数字方案,利用源和信道编码分离,已被证明通过训练的自动编码器,与非可训练的通道层在中间。然而,这些方法假设任何复值都可以通过信道传输,这可能会阻止算法在硬件或协议只能允许某些信道输入集的场景中的应用,例如使用数字星座。在这里,我们提出了DeepJSCC-Q,一种用于无线图像传输的端到端优化的联合信源信道编码方案,它能够使用固定的信道输入字母表进行操作。我们表明,DeepJSCC-Q可以实现与使用连续值信道输入的模型相似的性能。重要的是,当信道条件恶化时,它保留了先前工作中观察到的图像质量的适度下降,使DeepJSCC-Q在实际系统中的部署更具吸引力。
2021-11-25 cs.LG cs.MM eess.IV
Interrelation of equivariant Gaussian processes and convolutional neural networks
Skobeltsyn Institute of Nuclear Physics, M.V. Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学斯科贝尔琴核物理研究所)
基于神经网络(NN)和高斯过程(GP)之间的关系,目前机器学习(ML)领域出现了相当有前途的新趋势,包括许多相关的子主题,例如,神经网络中的信号传播、神经网络学习曲线的理论推导、ML中的QFT方法等。卷积神经网络(CNN)的一个重要特征是它们关于输入数据的对称变换的等方差(一致性)。在这项工作中,我们建立了CNN等变的多通道限制与向量值神经元激活的二维欧几里德群和相应的独立引入的等变高斯过程(GP)之间的关系。
2022-09-17 cs.AI cs.LG
PURe: A Plug-and-Play Product-Unit Residual Module for Vision Networks
Department of Mathematics, Informatics and Technology, University of Applied Sciences Koblenz(科隆应用科学大学数学、信息学与技术系);Technical University of Munich(慕尼黑技术大学)
提出PURe模块,通过二维乘积单元的对数域公式实现稳定的局部乘法交互,可替代残差网络中的标准单元,在图像分类和CT分割任务中提升精度-参数权衡。
2026-08-10 cs.AI cs.CV cs.LG
DeepJSCC-Q: Constellation Constrained Deep Joint Source-Channel Coding
Imperial College London(帝国理工学院)
最近的研究表明,现代机器学习技术可以为长期存在的联合信源信道编码(JSCC)问题提供一种替代方法。非常有前途的初步结果,优于流行的数字方案,利用单独的源代码和信道代码,已被证明用于无线图像和视频传输使用深度神经网络(DNN)。然而,这种方案的端到端训练需要可微分的信道输入表示;因此,先前的工作假设任何复值都可以通过信道传输。这可以防止在硬件或协议只能允许由数字星座规定的某些信道输入集的情况下应用这些代码。在这里,我们提出了DeepJSCC-Q,这是一种端到端优化的JSCC解决方案,用于使用有限信道输入字母表的无线图像传输。我们表明,DeepJSCC-Q可以实现类似的性能,允许任何复值信道输入,特别是当高调制阶数可用,并且随着调制阶数的增加,性能渐近接近无约束信道输入。重要的是,DeepJSCC-Q在不可预测的信道条件下保持了图像质量的适度下降,这是在信道条件快速变化的移动系统中部署的理想属性。
2022-06-16 cs.LG eess.IV eess.SP
HyDRA: A Hybrid Dual-Mode Network for Closed- and Open-Set RFFI with Optimized VMD
School of Electronics and Communication Engineering, Sun Yat-sen University(中山大学电子与通信工程学院);School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University(上海交通大学电子信息与电气工程学院);School of Electronic Information and Electrical Engineering, Dalian Maritime University(大连海事大学电子信息与电气工程学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出混合双模架构 HyDRA,融合优化 VMD 与 CNN、Transformer 和 Mamba 组件,在闭集与开集 RFFI 任务中实现 SOTA 准确率与毫秒级低功耗推理,有效识别未授权设备。
2026-10-01 cs.LG eess.SP
Communication-Efficient Federated Learning with Binary Neural Networks
College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息与电子工程学院);International Joint Innovation Center, Zhejiang University(浙江大学国际联合创新中心);Zhejiang Provincial Key Lab of Information Processing, Communication and Networking (IPCAN)(浙江省信息处理、通信与网络重点实验室)
联邦学习(FL)是一种隐私保护机器学习设置,它使许多设备能够联合训练共享的全局模型,而无需将其数据透露给中央服务器。然而,FL涉及在所有客户端和协调训练的服务器之间频繁交换参数。这引入了大量的通信开销,这可能是具有有限通信链路的FL中的主要瓶颈。在本文中,我们考虑在FL设置中训练二进制神经网络(BNN),而不是典型的实值神经网络,以满足无线边缘网络中严格的延迟和效率要求。我们介绍了一种新的FL框架的训练BNN,客户端只上传二进制参数到服务器。我们还提出了一种新的参数更新方案的基础上的最大似然(ML)估计,保持BNN的性能,即使没有聚合的实值辅助参数,通常需要在训练的BNN的可用性。此外,在文献中,我们第一次从理论上推导出BNN训练收敛的条件。数值结果表明,与传统的具有典型实值参数的神经网络相比,所提出的FL框架显著降低了通信开销,并且可以通过混合方法进一步补偿二值化带来的性能损失。
2021-10-05 cs.LG
Frequency-based Automated Modulation Classification in the Presence of Adversaries
School of Electrical and Computer Engineering, Purdue University(普渡大学电气与计算机工程学院)
自动调制分类(AMC)旨在通过自动预测无线RF信号的调制星座来提高拥挤的无线电频谱的效率。最近的工作已经证明了深度学习使用原始同相和正交(IQ)时间样本实现强大AMC性能的能力。然而,深度学习模型非常容易受到对抗性干扰的影响,这会导致智能预测模型以高置信度对接收到的样本进行错误分类。此外,对抗性干扰通常是可转移的,允许对手使用为特定分类网络设计的单个扰动来攻击多个深度学习模型。在这项工作中,我们提出了一种新的接收器架构,由能够承受可转移对抗性干扰的深度学习模型组成。具体来说,我们证明了针对时域特征训练的模型的对抗性攻击不容易转移到使用频域特征训练的模型。在这种能力下,我们证明了递归神经网络(RNN)的分类性能提高超过30%,卷积神经网络(CNN)的分类性能提高超过50%。我们进一步证明了我们的基于频率特征的分类模型,在没有攻击的情况下,准确率超过99%。
2021-02-19 cs.LG eess.SP
Neural Precoding in Complex Projective Spaces
Interdisciplinary Centre for Security, Reliability, and Trust (SnT) at the University of Luxembourg(卢森堡大学安全、可靠与信任跨学科中心);G Research Center, Khalifa University of Science and Technology(哈立德科学技术大学6G研究中心)
本文提出基于复数射影空间参数化的DL框架,以提高MU-MISO系统中预编码的性能和泛化能力。
2026-03-08 cs.LG
Spiking Deep Residual Network
Zhejiang University(浙江大学)
脉冲神经网络(SNN)由于其生物相容性而受到广泛关注。SNN理论上至少具有与传统人工神经网络(ANN)相同的计算能力。它们具有实现能源效率的潜力,同时保持与深度神经网络(DNN)相当的性能。然而,要训练一个很深的SNN仍然是一个很大的挑战。在本文中,我们提出了一种有效的方法来构建深度残差网络(ResNet)的尖峰版本。ResNet被认为是一种最先进的卷积神经网络(CNN)。我们采用将训练的ResNet转换为尖峰神经元网络的想法,称为尖峰ResNet(S-ResNet)。我们提出了一个捷径转换模型,以适当地缩放连续值激活,以匹配SNN中的放电率,以及一个补偿机制,以减少离散化引起的误差。实验结果表明,与最先进的SNN方法相比,所提出的Spiking ResNet在CIFAR-10,CIFAR-100和ImageNet 2012上实现了最佳性能。我们的工作是第一次构建深度超过40的SNN,其性能与大规模数据集上的ANN相当。
2020-06-03 cs.CV cs.LG cs.NE
Non-Blocking Simultaneous Multithreading: Embracing the Resiliency of Deep Neural Networks
Technion — Israel Institute of Technology(以色列理工学院)
深度神经网络(DNN)因其对稀疏激活和权重的硬件敏感性而无法利用底层硬件资源而闻名。即使在更精细的粒度中,许多非零值保持零值位的一部分,这可能导致在硬件上执行时效率低下。受传统CPU同时多线程(SMT)的启发,通过在多个线程之间共享它们来提高计算机资源利用率,我们提出了指定用于DNN加速器的非阻塞SMT(NB-SMT)。与传统SMT一样,NB-SMT在多个执行流之间共享硬件资源。然而,与SMT不同,NB-SMT是非阻塞的,因为它通过利用DNN的算法弹性来处理结构性风险。NB-SMT不是在保留站等待可用硬件时伺机分派指令,而是暂时降低计算精度以同时容纳所有线程,从而实现非阻塞操作。我们证明NB-SMT的适用性使用SySMT,NB-SMT启用输出平稳脉动阵列(OS-SA)。与传统的OS-SA相比,2线程的SySMT占用1.4倍的面积,并提供2倍的加速比,节省33%的能源,并且使用ImageNet的最先进CNN的准确性下降不到1%。4线程SySMT占用2.5倍的面积,并提供例如3.4倍的加速比和39%的节能,而精确度下降了40%-修剪ResNet-18。
2020-09-17 cs.AR cs.CV cs.LG
To prune, or not to prune: exploring the efficacy of pruning for model compression
Stanford University(斯坦福大学);Google Inc.(谷歌公司)
模型修剪试图在深度神经网络的各种连接矩阵中引入稀疏性,从而减少模型中非零值参数的数量。最近的报告(Han等人,2015; Narang等人,2017年)修剪深度网络的成本只有边际损失的准确性,并实现了相当大的减少模型的大小。这暗示了这些实验中的基线模型可能在一开始就被严重过度参数化的可能性,并且模型压缩的可行替代方案可能是简单地减少隐藏单元的数量,同时保持模型的密集连接结构,从而在模型大小和准确性方面暴露出类似的权衡。我们在资源受限环境中的节能推理的背景下研究了这两种不同的模型压缩路径,并提出了一种新的渐进修剪技术,该技术简单而直接,可以在各种模型/数据集上应用,只需最小的调整,并且可以无缝地融入训练过程。我们比较了大的,但修剪模型(大稀疏)和它们的较小,但密集(小密集)具有相同的内存占用的准确性。在广泛的神经网络架构(深度CNN,堆叠LSTM和seq 2seq LSTM模型)中,我们发现大型稀疏模型始终优于小型密集模型,并在准确性损失最小的情况下实现非零参数数量减少10倍。
2017-11-13 cs.LG stat.ML
Convolution-Free Holistic Multivariance Decomposition Layer for Efficient Hyperspectral Image Classification Tensor Networks
Istanbul Esenyurt University(伊斯坦布尔埃森耶尔特大学);Istanbul Technical University(伊斯坦布尔技术大学)
本研究提出HMD框架作为无卷积神经网络层,经实验验证其在高光谱图像分类中兼具高参数效率、精度与稳定性,可替代传统卷积。
2026-08-18 cs.CV cs.LG math.OC