Decoding noisy messages: a method that just shouldn't work
这篇论文是关于通过一条嘈杂而昂贵的线路接收文本消息的。因为线路有噪声,我们需要冗余,但由于成本高昂,我们只能负担很少的冗余。我首先使用众所周知的机器来解码有噪声的消息(压缩感知),然后尝试减少冗余(使用随机投影),直到我使用比空间维度允许的更多的正交向量。这种方法并没有陷入停顿或发出噪音,它仍然能够正确或几乎正确地解码信息。我不知道为什么这种方法有效:这是我用叙述而不是正式的科学风格来写这篇论文的第一个原因(第二个原因是我厌倦了写半正式的散文,渴望改变)。
2022-04-26 math.OC math.ST stat.TH
Feasibility and performances of compressed-sensing and sparse map-making with Herschel/PACS data
欧空局的赫歇尔空间天文台于2009年5月发射,并一直在运行。从其围绕L2的遥远轨道,它需要通过非常有限的带宽传输大量信息。这对于PACS成像相机尤其如此,PACS成像相机需要压缩其数据远远超过无损压缩所能实现的。目前通过在板上包括有损平均和舍入步骤来解决这一问题。最近,一个新的理论,所谓的压缩感知从统计界出现。该理论利用自然(或天体物理)图像的稀疏性来优化估计这些图像所需的数据的采集方案。因此,它可以导致高压缩因子。Bobin等人(2008年)之前的一篇文章展示了如何将新理论应用于模拟Herschel/PACS数据,以解决仪器的压缩要求。在这篇文章中,我们表明,压缩感知理论确实可以成功地应用于实际的Herschel/PACS数据,并给出了显着的改进,标准管道。为了充分利用数据中存在的冗余,我们同时执行全天空地图估计和解压缩,这在大多数其他压缩方法中无法做到。我们还证明了影响数据的各种人为因素(粉红噪声,毛刺,其行为是先验的,与压缩感知不兼容)也可以在这个新的框架中处理。最后,我们从压缩感知方案和标准压缩方案获得的数据之间的方法进行了比较。我们讨论了可以在地面上从数据中创建天空地图的改进。
2010-12-02 astro-ph.GA astro-ph.IM stat.AP
Convolutional Neural Network Pruning with Structural Redundancy Reduction
The University of Tennessee Knoxville(田纳西大学诺克斯维尔分校);Sun Yat-sen University(中山大学)
卷积神经网络(CNN)剪枝是近年来最成功的网络压缩方法之一。现有的网络修剪工作通常集中在删除网络中最不重要的过滤器,以实现紧凑的架构。在这项研究中,我们声称,识别结构冗余起着更重要的作用,比发现不重要的过滤器,理论和经验。我们首先从冗余减少的角度对网络修剪问题进行统计建模,发现在具有最多结构冗余的层中进行修剪优于在所有层中修剪最不重要的过滤器。基于这一发现,我们提出了一种网络修剪方法,该方法识别CNN的结构冗余,并修剪具有最大冗余的选定层中的滤波器。在各种基准网络架构和数据集上的实验表明,我们提出的方法显着优于以前的最先进的。
2021-04-08 cs.CV cs.LG
Compressive Sensing via Convolutional Factor Analysis
Bell Labs, Nokia(贝尔实验室,诺基亚);Duke University(杜克大学)
我们通过卷积因子分析来解决压缩感知问题,其中卷积字典是从压缩测量中{ \em in situ}学习的。提出了一种基于卷积因子分析的交替方向乘法器(ADMM)压缩感知反演方法。该算法提供了重建图像以及功能,可直接用于识别($e.g.$,分类)任务。当构建深度(多层)模型时,采用随机解池过程来构建生成模型。在重建和测试过程中,我们将上层字典投影到数据层,只需要单层反卷积。我们证明,使用$\sim30\%$(相对于像素数)压缩测量,该模型实现的分类精度媲美MNIST上的原始数据。我们还观察到,当压缩的测量值非常有限($e.g.$,$<10\%$)时,上层字典可以提供比底层更好的重建结果。
2017-01-11 cs.LG stat.ML
Channel redundancy and overlap in convolutional neural networks with channel-wise NNK graphs
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);University of Southern California(南加州大学)
卷积神经网络(CNN)深层的特征空间通常是非常高维的,难以解释。然而,卷积层由多个通道组成,这些通道由不同类型的输入激活,这表明通过研究通道以及它们之间的关系可以获得更多的见解。在本文中,我们首先从理论上分析通道非负核(CW-NNK)回归图,这使我们能够量化通道之间的重叠,并间接地量化数据表示流形的内在维度。我们发现,通道之间的冗余是显着的,并在训练过程中随层深度和正则化水平而变化。此外,我们观察到最后一个卷积层中的信道重叠与泛化性能之间存在相关性。我们的实验结果表明,这些技术可以导致更好地理解深度表示。
2021-10-18 cs.CV cs.LG
Simplifying Graph Convolutional Networks with Redundancy-Free Neighbors
本文分析图卷积网络的消息传递机制,发现高阶邻居消息经由低阶邻居传递导致的过聚合是过平滑的根本原因,并据此提出简化方法。
2025-04-21 cs.LG
ResNet Structure Simplification with the Convolutional Kernel Redundancy Measure
University of British Columbia(不列颠哥伦比亚大学)
深度学习,特别是卷积神经网络,引发了计算机视觉的加速发展,为我们的日常实践带来了变化。此外,标准化的深度学习模块(也称为骨干网络),即,ResNet和EfficientNet使新的计算机视觉解决方案能够高效快速地开发。然而,深度学习方法仍然存在几个缺点。最令人关注的问题之一是高存储器和计算成本,使得专用计算单元(通常为GPU)必须用于训练和开发。因此,在本文中,我们提出了一个量化的评价方法,卷积核冗余度,这是基于感知图像的差异,指导网络结构简化。当将我们的方法应用于ResNet的胸部X射线图像分类问题时,我们的方法可以保持网络的性能,并将参数的数量从超过$23$百万减少到大约$128$千(减少参数的$99.46\%$)。
2022-12-01 cs.CV cs.LG eess.IV
SlimConv: Reducing Channel Redundancy in Convolutional Neural Networks by Weights Flipping
University of Electronic Science and Technology of China(电子科技大学)
卷积神经网络(CNN)特征映射中的通道冗余导致了大量的存储器和计算资源消耗。在这项工作中,我们设计了一种新的Slim卷积(SlimConv)模块,通过减少信道冗余来提高CNN的性能。我们的SlimConv由三个主要步骤组成:重构,变换和重构,通过这些步骤,特征以更有效的方式进行拆分和重组,从而可以有效地压缩学习的权重。特别是,我们的模型的核心是一个权重翻转操作,可以大大提高功能的dilibrium,有助于性能至关重要。我们的SlimConv是一个即插即用的架构单元,可用于直接替换CNN中的卷积层。我们通过在ImageNet、MS COCO 2014、Pascal VOC 2012分割和Pascal VOC 2007检测数据集上进行综合实验来验证SlimConv的有效性。实验结果表明,与未装备SlimConv的模型相比,装备SlimConv的模型具有更好的一致性,更少的内存和计算资源消耗.例如,使用SlimConv的ResNet-101在ImageNet上实现了77.84%的top-1分类准确率,4.87 GFLOPs和27.96M参数,表现出近0.5%的性能,约3 GFLOPs和38%的参数减少。
2020-03-16 cs.CV cs.LG eess.IV
Redundancy in Deep Linear Neural Networks
Faculty of Math&CS(数学与计算机科学学院);Weizmann Institute of Science(魏茨曼科学研究所)
传统观点认为,深度线性神经网络受益于单个线性层的表现力和优化优势。本文提出,在实践中,使用传统优化器的深度线性全连接网络的训练过程与单个线性全连接层相同,是凸的。本文旨在解释并证明这一说法。尽管卷积网络与此描述不一致,但这项工作旨在获得对全连接线性网络的新概念理解,这可能会揭示卷积设置和非线性架构的可能约束。
2022-06-09 cs.LG cs.PF
Compressed BC-LISTA via Low-Rank Convolutional Decomposition
Ilmenau University of Technology, Ilmenau, Germany(伊门瑙技术大学);Weizmann Institute of Science, Rehovot, Israel(魏茨曼科学研究院);Fraunhofer Institute for Nondestructive Testing, Saarbrücken, Germany(弗劳恩霍夫非破坏性测试研究所)
本文提出了一种基于低秩卷积分解的压缩BC-LISTA方法,通过优化参数和模型大小提升多通道成像的重建精度。
2026-01-30 cs.LG eess.IV
Jointly Sparse Convolutional Neural Networks in Dual Spatial-Winograd Domains
Samsung Semiconductor Inc.(三星半导体公司)
我们考虑深度卷积神经网络(CNN)的优化,使得它们提供良好的性能,同时如果部署在具有空间域卷积的传统系统或为Winograd卷积设计的较低复杂性系统上,则具有降低的复杂性。所提出的框架产生一个压缩模型,其卷积滤波器可以在空间域或Winograd域中稀疏。因此,压缩模型可以在任何平台上通用部署,而无需在部署的平台上重新训练。为了获得更好的压缩比,稀疏模型在具有较少数量的参数的空间域中被压缩。从我们的实验中,我们获得了在ImageNet数据集上训练的ResNet-18和AlexNet的$24.2\times$和$47.7\times$压缩模型,同时它们的计算成本也分别被$4.5\times$和$5.1\times$降低。
2019-02-21 cs.CV cs.LG cs.NE
Compression of Deep Convolutional Neural Networks under Joint Sparsity Constraints
Samsung Semiconductor Inc.(三星半导体有限公司)
我们考虑深度卷积神经网络(CNN)的优化,使得它们提供良好的性能,同时如果部署在利用空间域卷积的传统系统或为Winograd卷积设计的较低复杂度系统上,则具有降低的复杂度。此外,我们探讨了这些网络的通用量化和压缩。特别是,所提出的框架产生一个压缩模型,其卷积滤波器可以在空间域或Winograd域中稀疏。因此,一个压缩模型可以通用地部署在任何平台上,而不需要在部署的平台上重新训练,并且可以利用其卷积滤波器的稀疏性来进一步降低任一域中的复杂度。为了获得更好的压缩比,稀疏模型在具有较少参数的空间域中压缩。从我们的实验中,我们获得了ResNet-18,AlexNet和CT-SRCNN的$24.2\times$,$47.7\times$和$35.4\times$压缩模型,而它们的计算成本也分别被$4.5\times$,$5.1\times$和$23.5\times$降低。
2018-10-29 cs.CV cs.LG cs.NE
Exploiting Weight Redundancy in CNNs: Beyond Pruning and Quantization
Trinity College Dublin(都柏林圣三一学院)
修剪和量化是用于提高卷积神经网络(CNN)的性能和存储效率的经验证的方法。修剪去除了张量中接近零的权重,并掩盖了相邻层神经元之间的弱连接。量化通过将权重替换为需要较少存储的数值相似的值来降低权重的精度。在本文中,我们识别了CNN权重张量中的另一种形式的冗余,即类似值的重复模式。我们观察到修剪和量化都倾向于大幅增加权重张量中重复模式的数量。我们研究了几种压缩方案,以利用CNN权重数据中的这种结构,包括多种形式的霍夫曼编码,以及受块稀疏矩阵格式启发的其他方法。我们在几个著名的CNN上评估了我们的方法,发现除了修剪和量化的节省之外,我们还可以实现1.4倍到3.1倍的压缩比。
2020-06-22 cs.LG stat.ML
SCNN: An Accelerator for Compressed-sparse Convolutional Neural Networks
NVIDIA(英伟达);Massachusetts Institute of Technology(麻省理工学院);UC-Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
卷积神经网络(CNN)已经成为机器学习的基础技术。高性能和极高的能效对于CNN在各种情况下的部署至关重要,特别是自动驾驶汽车、相机和电子个人助理等移动平台。本文介绍了稀疏CNN(SCNN)加速器架构,该架构通过利用训练期间网络修剪产生的零值权重和推理期间应用的常见ReLU算子产生的零值激活来提高性能和能效。具体来说,SCNN采用了一种新的卷积算法,可以在压缩编码中保持稀疏权重和激活,从而消除了不必要的数据传输并降低了存储要求。此外,SCNN低功耗有助于将这些权重和激活有效地传递到乘法器阵列,在那里它们被广泛地重用。此外,乘法积的累加是在一个新的累加器阵列中进行的。我们的研究结果表明,在当代神经网络上,SCNN可以将性能和能量分别提高2.7倍和2.3倍,而不是传统的密集CNN加速器。
2017-05-23 cs.AR cs.LG cs.NE
Differentiable Mask for Pruning Convolutional and Recurrent Networks
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
剪枝是最有效的模型降阶技术之一。深度网络需要大量的计算,这些模型需要压缩才能在边缘设备上使用。大多数现有的修剪技术都集中在基于视觉的模型上,如卷积网络,而基于文本的模型仍在不断发展。多模态多任务学习的出现需要一种通用的方法,同时适用于视觉和文本架构。我们引入了一个\emph{differentiable mask},诱导稀疏的各种粒度,以填补这一空白。我们成功地将我们的方法应用于修剪权重,滤波器,卷积架构的子网络以及递归网络的节点。
2020-04-29 cs.LG stat.ML
Rate-Accuracy Trade-Off In Video Classification With Deep Convolutional Neural Networks
Birzeit University(比尔泽特大学);University College London(伦敦大学学院);iSize Ltd.(iSize有限公司)
高级视频分类系统对视频帧进行解码,以导出必要的纹理和运动表示,用于时空深度卷积神经网络(CNN)的摄取和分析。然而,当考虑到视觉物联网应用、监控系统和大型视频库的语义爬虫时,视频捕获和基于CNN的语义分析部分并不倾向于位于同一位置。这需要在网络上传输压缩视频,并在带宽和能耗方面产生显著的开销,从而显著破坏了这种系统的部署潜力。在本文中,我们研究的编码比特率和基于CNN的视频分类模型,直接摄取AVC/H.264和HEVC编码的视频可达到的准确性之间的权衡。代替在CNN处理之前保留整个压缩视频比特流并应用复杂的光流计算,我们仅保留运动矢量并以显著降低的比特率选择纹理信息,并且在CNN摄取之前不应用附加处理。基于三个CNN架构和两个动作识别数据集,我们实现了11%-94%的比特率节省与边际效应的分类精度。在多个CNN之间的基于模型的选择进一步增加了这些节省,如果可以容忍高达7%的准确度损失,则视频分类可以以低至3 kbps的速率发生,用于将所需的压缩视频信息传输到实现CNN模型的系统。
2019-01-02 cs.CV cs.LG stat.ML
SGCN: Exploiting Compressed-Sparse Features in Deep Graph Convolutional Network Accelerators
Yonsei University(延世大学);Samsung Electronics(三星电子);Seoul National University(首尔国立大学)
图卷积网络(GCN)由于克服了现有神经网络的有限适用性而变得越来越流行。GCN将任意结构的图作为输入,并执行一系列层,这些层利用图的结构来计算它们的输出特征。GCN的一个最新趋势是使用深度网络架构。与传统的GCN仅跨越约2至5层深度相反,现代GCN现在在剩余连接的帮助下包含数十至数百层。从这样的深GCN,我们发现一个重要的特点,他们表现出非常高的中间特征稀疏。我们观察到,随着深层和残余连接,中间特征中的零的数量急剧增加。这揭示了加速器在GCN执行中利用的新机会,这是以前不存在的。在本文中,我们提出了SGCN,一个快速,节能的GCN加速器,充分利用现代GCN的稀疏中间功能。SGCN提出了几种技术,以实现比现有加速器更高的性能和能源效率。首先,SGCN采用GCN友好的特征压缩格式。我们专注于减少片外内存流量,这往往是GCN执行的瓶颈。其次,我们提出了微架构无缝处理的压缩特征格式。第三,为了更好地处理在不同的稀疏性存在的局部性,SGCN采用稀疏感知的合作。稀疏感知的合作创建了一个模式,展示了多个重用窗口,这样缓存可以捕获不同大小的工作集,从而适应不同的稀疏程度。我们表明,SGCN实现了1.71倍的加速比和43.9%的高能效相比,现有的加速器。
2023-01-25 cs.AR cs.LG
Feature Map Similarity Reduction in Convolutional Neural Networks
Cranfield University(克兰菲尔德大学);Centre for Computational Engineering Sciences(计算工程科学中心);Inria(法国国家信息与自动化技术研究院);Univ. Bordeaux(波尔多大学);ESTIA-Institute of Technology(ESTIA技术研究所)
本文提出卷积相似性方法,通过正则化或迭代初始化降低CNN特征图冗余,提升分类精度与收敛速度,并支持更小模型达到同等性能。
2025-05-22 cs.CV cs.LG
LCT: Losslessly Compressed Tensors with GPU friendly execution for Training
University of Cambridge(剑桥大学);University of Oxford(牛津大学)
本研究提出GPU友好的无损压缩张量框架LCT,利用浮点数据冗余压缩训练用张量,在NanoGPT和Qwen3-4B上实现内存节省,同时控制时间开销,支持更大上下文长度。
2026-10-16 cs.LG
T-Net: Parametrizing Fully Convolutional Nets with a Single High-Order Tensor
Samsung AI Center, Cambridge(三星人工智能中心(剑桥))
最近的研究结果表明,过度参数化虽然对于成功训练深度神经网络至关重要,但也会引入大量冗余。张量方法有可能通过利用这种冗余来有效地参数化过完备表示。在本文中,我们提出完全参数化卷积神经网络(CNN)与一个单一的高阶,低秩张量。以前关于网络张量化的工作主要集中在参数化单个层(卷积或全连接),并逐层单独执行张量化。相比之下,我们建议通过使用单个高阶张量对其进行参数化来共同捕获神经网络的完整结构,其模式表示网络的每个架构设计参数(例如卷积块的数量,深度,堆栈的数量,输入特征等)。这种参数化允许正则化整个网络并大大减少参数的数量。我们的模型是端到端可训练的,施加在权重张量上的低秩结构充当隐式正则化。我们研究了具有丰富结构的网络的情况,即全卷积网络(FCN),我们建议用单个8阶张量参数化。我们表明,我们的方法可以实现卓越的性能与小的压缩率,并达到高压缩率,可以忽略不计的准确性下降的挑战性任务的人体姿态估计。
2019-04-04 cs.AI cs.CV cs.LG
Three Dimensional Convolutional Neural Network Pruning with Regularization-Based Method
Zhejiang University(浙江大学);SUTD-ZJU IDEA(新加坡科技设计大学-浙江大学 信息与数据科学联合实验室);Singapore University of Technology and Design(新加坡科技设计大学)
三维卷积神经网络(3D CNN)在视频分析中有着广泛的应用,但由于其计算量大、存储量大等特点,限制了其在视频分析中的应用。为了解决这个问题,我们提出了一个三维正则化为基础的神经网络修剪方法来分配不同的正则化参数,不同的权重组的基础上,他们的重要性的网络。此外,我们分析了每一层的冗余和计算成本,以确定不同的剪枝率。实验表明,基于我们的方法修剪可以导致2倍的理论加速比,只有0.41%的准确率损失3DResNet18和3.28%的准确率损失C3D。与其他流行的模型压缩和加速方法相比,该方法具有良好的性能。
2019-05-20 cs.CV cs.LG stat.ML
Compression of Deep Convolutional Neural Networks for Fast and Low Power Mobile Applications
Samsung Electronics(三星电子);Seoul National University(首尔国立大学)
尽管最新的高端智能手机拥有强大的CPU和GPU,但在移动设备上运行更深层次的卷积神经网络(CNN)来完成ImageNet分类等复杂任务是一项挑战。为了在移动设备上部署深度CNN,我们提出了一种简单有效的方案来压缩整个CNN,我们称之为一次性全网络压缩。该方案包括三个步骤:(1)变分贝叶斯矩阵分解的秩选择,(2)核张量的Tucker分解,(3)微调以恢复累积的精度损失,每个步骤都可以使用公开可用的工具轻松实现。我们通过在智能手机上测试各种压缩CNN(AlexNet,VGGS,GoogLeNet和VGG-16)的性能来证明所提出方案的有效性。模型的大小,运行时间和能源消耗的显着减少,在精度损失小的成本。此外,我们解决的重要实施层面的问题1?1卷积,这是GoogLeNet的inception模块以及我们提出的方案压缩的CNN的关键操作。
2016-02-24 cs.CV cs.LG
S2Engine: A Novel Systolic Architecture for Sparse Convolutional Neural Networks
Beihang University(北京航空航天大学)
卷积神经网络(CNN)在执行认知任务方面取得了巨大成功。然而,CNN的执行需要大量的计算资源,并产生大量的内存流量,这对计算系统设计提出了严峻的挑战。通过优化卷积的并行执行和数据重用,脉动架构在加速CNN计算方面表现出巨大的优势。然而,传统脉动架构中的规则内部数据传输路径阻止脉动架构完全利用由神经网络稀疏性引入的益处。部署细粒度稀疏现有的脉动架构是极大地阻碍了所产生的计算开销。在这项工作中,我们提出了S2引擎$-$一种新的脉动架构,可以充分利用CNN的稀疏性,最大限度地提高数据重用。S2Engine在内部传输压缩数据,并允许每个处理元件在卷积中动态地从压缩数据流中选择对齐的数据。与原始脉动阵列相比,S2引擎在速度和能效上分别实现了约$3.2\times$和约$3.0\times$的改进。
2021-06-15 cs.AR cs.DC cs.LG
Manipulating Identical Filter Redundancy for Efficient Pruning on Deep and Complicated CNN
Tsinghua University(清华大学);Aberystwyth University(阿伯里斯特威斯大学)
卷积神经网络(CNN)中冗余的存在使我们能够在可接受的性能下降的情况下去除一些滤波器/通道。然而,CNN的训练目标通常倾向于最小化与准确性相关的损失函数,而不关注冗余,使得冗余随机分布在所有滤波器上,使得移除它们中的任何一个都可能触发信息丢失和准确性下降,需要后续的微调步骤来恢复。在本文中,我们建议在训练过程中操纵冗余以促进网络修剪。为此,我们提出了一种新的向心SGD(C-SGD)来使一些过滤器相同,从而产生理想的冗余模式,因为这些过滤器由于其重复而变得纯粹冗余;因此删除它们不会损害网络。如CIFAR和ImageNet所示,与现有方法相比,C-SGD提供了更好的性能,因为冗余更好地组织起来。效率也是C-SGD的特征,因为它与常规SGD一样快,不需要微调,并且即使在非常深的CNN中也可以在所有层上同时进行。此外,C-SGD可以通过首先训练具有相同架构但更宽层的模型,然后将其压缩到原始宽度来提高CNN的准确性。
2021-07-30 cs.CV cs.LG
A priori compression of convolutional neural networks for wave simulators
Safran Tech(赛峰科技);MINES ParisTech, PSL University(巴黎高等矿业学院,巴黎文理研究大学);CNRS(法国国家科学研究中心)
本文提出在训练前对卷积神经网络进行先验压缩,用单通道滤波器替换多通道卷积核,并在二维波动方程有限元物理数据上验证其能以更少参数和更低内存达到与经典卷积层相当的性能。
2023-04-12 cs.CE cs.LG
Remote Sensing Image Scene Classification with Deep Neural Networks in JPEG 2000 Compressed Domain
University of Trento(特伦托大学);Technische Universität Berlin(柏林工业大学)
为了降低存储要求,遥感图像通常采用压缩格式存储。现有的使用深度神经网络(DNN)的场景分类方法需要对图像进行完全分类,这在操作应用中是一项计算要求很高的任务。为了解决这个问题,在本文中,我们提出了一种新的方法来实现场景分类的JPEG 2000压缩RS图像。所提出的方法包括两个主要步骤:i)在JPEG 2000中使用的可逆双正交小波滤波器的分辨率更高的子带的近似;和ii)近似的小波子带和场景分类的学习描述符的基础上的高级语义内容的表征。这是通过将与粗分辨率小波子带相关联的码流作为输入以使用多个转置卷积层来近似更精细分辨率子带来实现的。然后,一系列卷积层对近似小波子带的高级语义内容进行建模。因此,所提出的方法模型的JPEG 2000压缩算法中给出的多分辨率范式在一个端到端的可训练的统一神经网络。在分类阶段,所提出的方法只需要粗分辨率的小波子带作为输入,从而减少所需的时间来应用解码。在两个基准航空图像档案上进行的实验结果表明,与传统的RS场景分类方法(需要完整的图像解压缩)相比,所提出的方法显着减少了计算时间,具有相似的分类精度。
2020-12-15 cs.CV cs.LG eess.IV
DCT-CompCNN: A Novel Image Classification Network Using JPEG Compressed DCT Coefficients
Indian Institute of Information Technology, Allahabad(印度理工学院安拉阿巴德分校);Madan Mohan Malaviya University of Technology(马丹·莫汉·马拉维雅理工大学)
卷积神经网络(CNN)在图像处理和计算机视觉领域的普及促使全球的研究人员和工业专家以高精度解决不同的挑战。训练CNN分类器的最简单方法是直接将原始RGB像素图像输入网络。然而,如果我们打算直接使用其压缩数据对图像进行分类,则相同的方法可能无法更好地工作,例如JPEG压缩图像的情况。本研究探讨如何修改JPEG压缩数据的输入表示,然后输入到CNN中。该架构被称为DCT-CompCNN。这种新的方法表明,CNN也可以用JPEG压缩的DCT系数进行训练,并且与传统的CNN方法相比,可以产生更好的性能。在公共图像分类数据集(如Dog Vs Cat和CIFAR-10数据集)上,使用现有的ResNet-50架构和建议的DCT-CompCNN架构测试了修改后的输入表示的效率,报告了更好的性能
2019-07-26 cs.CV cs.LG
Detecting Compressed Cleartext Traffic from Consumer Internet of Things Devices
Princeton University(普林斯顿大学)
数据加密是保护消费者设备互联网通信隐私不受网络观察者侵犯的主要方法。因此,自动检测网络流量中未加密数据的能力是审计互联网连接设备的重要工具。现有的方法识别包含明文的网络数据包,但不能区分包含加密数据的数据包与包含压缩的未加密数据的数据包,这可以通过反转压缩算法来容易地恢复。这使得消费者保护倡导者很难识别以压缩未加密格式发送敏感数据的设备。在这里,我们提出了第一种技术,以自动区分加密的压缩未加密的网络传输的每个数据包的基础上。我们应用了三种机器学习模型,并使用在原始数据包数据上训练的卷积神经网络实现了最高66.9%的准确率。这个结果是这个以前未研究的机器学习问题的基线,我们希望这将激发进一步的关注和准确性的提高。为了促进对这一主题的持续研究,我们向公众提供了我们的训练和测试数据集。
2018-05-07 cs.CR cs.LG
Flattened Convolutional Neural Networks for Feedforward Acceleration
Purdue University(普渡大学)
我们提出了扁平的卷积神经网络,设计用于快速前馈执行。卷积神经网络中卷积滤波器的参数,特别是权值的冗余性已被广泛研究,并提出了不同的算法来构造训练后的滤波器的低秩基。在这项工作中,我们训练扁平化网络,该网络由3D空间中所有方向的一维滤波器的连续序列组成,以获得与传统卷积网络相当的性能。我们在不同的数据集上测试了平坦化模型,发现平坦化层可以有效地替代3D过滤器而不会损失精度。由于学习参数的显著减少,与基线模型相比,平坦化的卷积流水线在前馈过程中提供了大约两倍的加速。此外,所提出的方法不需要手动调整或后处理的努力,一旦模型被训练。
2015-11-20 cs.LG cs.NE
GACT: Activation Compressed Training for Generic Network Architectures
University of California, Berkeley(加州大学伯克利分校)
训练大型神经网络(NN)模型需要大量的内存资源,激活压缩训练(ACT)是一种很有前途的减少训练内存占用的方法。本文介绍了GACT,ACT框架,以支持广泛的机器学习任务的通用NN架构与有限的领域知识。通过分析ACT近似梯度的线性化版本,我们证明了GACT的收敛性,而不需要算子类型或模型结构的先验知识。为了使训练稳定,我们提出了一种算法,该算法通过估计每个张量在运行时间对梯度的影响来决定每个张量的压缩比。我们将GACT实现为一个PyTorch库,可以很容易地应用于任何NN架构。GACT将卷积NN、Transformers和graph NN的激活内存减少了8.1倍,使训练的批量大小增加了4.2倍至24.7倍,精度损失可以忽略不计。我们在https://github.com/LiuXiaoxuanPKU/GACT-ICML上将GACT实现为PyTorch库。
2022-09-03 cs.LG
T2CI-GAN: Text to Compressed Image generation using Generative Adversarial Network
IIIT Allahabad(阿拉哈巴德印度信息技术学院);Vignan University(维甘大学)
近年来,为视觉数据生成文本描述的问题得到了研究的关注。与此相反,从文本描述生成视觉数据的问题仍然非常具有挑战性,因为它需要结合自然语言处理(NLP)和计算机视觉技术。现有的方法利用生成对抗网络(GANs),并从文本描述中生成未压缩的图像。然而,在实践中,大多数视觉数据是以压缩表示的方式处理和传输的。因此,所提出的工作尝试使用深度卷积GANs(DCGANs)以压缩表示形式直接生成视觉数据,以实现存储和计算效率。我们提出了GAN模型,用于从文本生成压缩图像。第一个模型直接用JPEG压缩的DCT图像(压缩域)训练,以从文本描述生成压缩图像。第二个模型使用RGB图像(像素域)进行训练,以从文本描述生成JPEG压缩DCT表示。在开源基准数据集Oxford-102 Flower图像上使用RGB和JPEG压缩版本对所提出的模型进行了测试,并在JPEG压缩域中实现了最先进的性能。该代码将在接受论文后在GitHub上公开发布。
2022-10-01 cs.AI cs.CV cs.LG
Lightweight Convolutional Representations for On-Device Natural Language Processing
The University of Texas at Austin(得克萨斯大学奥斯汀分校);Facebook(脸书)
深度神经网络的计算和存储器复杂性的增加使得难以将它们部署在低资源电子设备(例如,移动电话、平板电脑、可穿戴设备)。从业者已经开发了许多模型压缩方法来解决这些问题,但很少有压缩输入表示本身。在这项工作中,我们提出了一种快速,准确和轻量级的卷积表示,可以交换到任何神经模型中并进行显著压缩(高达32倍),性能降低可以忽略不计。此外,当考虑以资源为中心的指标(例如,模型文件大小、延迟、内存使用)。
2020-02-04 cs.CL cs.LG
Efficient Training Convolutional Neural Networks on Edge Devices with Gradient-pruned Sign-symmetric Feedback Alignment
HKUST-Qualcomm Joint Innovation and Research Laboratory(香港科技大学-高通联合创新研究实验室);Dept. ECE, Hong Kong University of Science and Technology(香港科技大学电子及计算机工程系)
随着移动设备的繁荣,分布式学习方法使模型训练与分散的数据吸引了广泛的研究。然而,边缘设备缺乏训练能力,极大地限制了分布式学习在现实生活中的能效。本文描述了一种利用传统反向传播的冗余和权重不对称潜力来训练DNN的新方法。我们证明,在分类精度损失可以忽略不计的情况下,所提出的方法在能源效率方面比现有技术高出5倍。
2021-05-13 cs.AR cs.LG cs.NI
Harmonic Convolutional Networks based on Discrete Cosine Transform
ADAPT Centre(ADAPT中心);Trinity College Dublin(都柏林圣三一学院);Dublin City University(都柏林城市大学);Maynooth University(梅努斯大学)
卷积神经网络(CNN)学习滤波器,以捕获特征空间中的局部相关模式。我们建议学习这些过滤器的组合定义的离散余弦变换(DCT)的预设频谱滤波器。我们提出的基于DCT的谐波块取代传统的卷积层,以产生新的或现有的CNN架构的部分或完全谐波版本。使用DCT能量压缩属性,我们演示了如何谐波网络可以有效地压缩截断谐波块中的高频信息由于在谱域中的冗余。我们报告了大量的实验验证,证明了将谐波块引入图像分类、目标检测和语义分割应用中的最先进的CNN模型的好处。
2022-04-09 cs.CV cs.LG
Real-Time Cardiac Cine MRI with Residual Convolutional Recurrent Neural Network
United Imaging Intelligence(联影智能);UIH America, Inc.(联影美国公司)
实时心脏电影MRI在数据采集中不需要心电门控,对于不能屏气或心律异常的患者更有用。然而,为了实现快速图像采集,实时电影通常采集高度欠采样的数据,这对MRI图像重建提出了重大挑战。我们提出了一种用于实时心脏电影重建的残差卷积RNN。据我们所知,这是第一个将深度学习方法应用于笛卡尔实时心脏电影重建的工作。根据放射科医生的评估,我们的深度学习模型显示出优于压缩感知的性能。
2020-08-20 cs.LG eess.IV
Transformer Compressed Sensing via Global Image Tokens
The University of Queensland(昆士兰大学)
卷积神经网络(CNN)与传统的手工制作方法相比,表现出出色的压缩感知(CS)性能。然而,它们在概括性、归纳偏差和难以模拟远距离关系方面受到广泛的限制。Transformer神经网络(TNN)通过实现设计用于捕获输入之间的依赖关系的注意力机制来克服这些问题。然而,高分辨率任务通常需要视觉Transformer(ViT)将图像分解为基于块的令牌,将输入限制为固有的本地上下文。我们提出了一种新的图像分解,自然地嵌入到低分辨率的输入图像。这些万花筒令牌(KD)提供了一种全局注意力机制,其计算成本与基于补丁的方法相同。为了展示这一发展,我们用TNN块替换了知名CS-MRI神经网络中的CNN组件,并展示了KD带来的改进。我们还提出了一个整体的图像令牌,提高整体图像质量和减少模型的大小。补充材料请访问:https://github.com/uqmarlonbran/TCS.git
2022-07-12 cs.CV cs.LG eess.IV