Accelerating Depthwise Separable Convolutions on Ultra-Low-Power Devices
Politecnico di Torino(都灵理工大学)
针对深度可分离卷积在超低功耗设备上部署难的问题,通过融合深度核与逐点核、组合数据布局减少内存传输,在GreenWaves GAP8 SoC上实现了最高11.40%的延迟降低和52.97%的激活数据移动量减少。
2024-06-18 cs.DC cs.LG
Generalized Depthwise-Separable Convolutions for Adversarially Robust and Efficient Neural Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
尽管卷积神经网络(CNN)取得了巨大的成功,但它的计算/存储成本很高,而且容易受到对抗性扰动的影响。最近关于鲁棒模型压缩的工作通过将模型压缩技术与对抗训练相结合来解决这些挑战。但这些方法无法提高现实硬件的吞吐量(每秒帧数),同时保持对对抗性扰动的鲁棒性。为了克服这个问题,我们提出了广义深度可分离(GDWS)卷积的方法-标准2D卷积的有效,通用,训练后近似。GDWS极大地提高了标准预训练网络在现实硬件上的吞吐量,同时保持了其鲁棒性。最后,GDWS可扩展到大型问题,因为它在预先训练的模型上运行,不需要任何额外的训练。我们建立了GDWS的最优性作为一个二维卷积逼近器,并提出了精确的算法,用于构建最佳的GDWS卷积的复杂性和误差约束。我们通过在CIFAR-10,SVHN和ImageNet数据集上的广泛实验证明了GDWS的有效性。我们的代码可以在https://github.com/hsndbk4/GDWS上找到。
2021-11-06 cs.CV cs.LG
Sound Event Detection with Depthwise Separable and Dilated Convolutions
Tampere University(坦佩雷大学);Fraunhofer-IDMT(弗劳恩霍夫数字媒体技术研究所);South China University of Technology(华南理工大学)
现有技术的声音事件检测(SED)方法通常采用一系列卷积神经网络(CNN)来从输入音频信号中提取有用的特征,然后采用递归神经网络(RNN)来对所提取的特征中的较长时间上下文进行建模。CNN的通道数量和RNN的权重矩阵的大小对SED方法的参数总量有直接影响,其数量达到数百万。此外,通常用作SED方法输入的长序列以及RNN的使用,引入了诸如增加训练时间、梯度流困难以及阻碍SED方法并行化的影响。为了解决所有这些问题,我们提出用dependently可分离卷积替换CNN,用dilated卷积替换RNN。我们比较了所提出的方法的基线卷积神经网络上的SED任务,并实现了减少的参数量的85%和平均训练时间每历元的78%,并增加了平均帧的F1分数和减少的平均出错率分别为4.6%和3.8%。
2020-02-02 cs.LG cs.SD eess.AS
Depthwise Separable Convolutions Versus Recurrent Neural Networks for Monaural Singing Voice Separation
Tampere University(坦佩雷大学);Fraunhofer-IDMT(弗劳恩霍夫数字媒体技术研究所)
最近的音乐源分离方法几乎完全基于深度神经网络,主要采用递归神经网络(RNN)。尽管RNN在许多情况下优于其他类型的深度神经网络进行序列处理,但它们在训练和并行化方面存在特定的困难,特别是对于音乐源分离中遇到的通常较长的序列。在本文中,我们提出了一个用深度可分离(DWS)卷积替换RNN的用例,DWS卷积是典型卷积的一种轻量级和更快的变体。我们专注于歌声分离,采用RNN架构,我们用DWS卷积(DWS-CNN)代替RNN。我们进行了一项消融研究,并通过利用信号与伪影、信号与干扰和信号失真比的标准度量,研究了DWS-CNN的通道数量和层数对源分离性能的影响。我们的结果表明,通过用DWS-CNN代替RNN,分别获得了1.20,0.06,0.37 dB的改进,而仅使用RNN架构参数量的20.57%。
2020-07-06 cs.LG cs.SD eess.AS
MixConv: Mixed Depthwise Convolutional Kernels
Google Brain(谷歌大脑)
依赖卷积在现代高效的ConvNets中越来越受欢迎,但它的内核大小经常被忽视。在本文中,我们系统地研究了不同内核大小的影响,并观察到结合多种内核大小的好处可以带来更好的准确性和效率。基于这一观察,我们提出了一种新的混合去卷积(MixConv),它在单个卷积中自然地混合了多个内核大小。作为香草去卷积的简单替代品,我们的MixConv提高了现有MobileNets在ImageNet分类和COCO目标检测方面的准确性和效率。为了证明MixConv的有效性,我们将其集成到AutoML搜索空间中,并开发了一系列新的模型,称为MixNets,其性能优于以前的移动模型,包括MobileNetV 2 [20]。(ImageNet top-1准确率+4.2%),ShuffleNetV 2 [16](+3.5%),MnasNet [26](+1.3%),ProxylessNAS [2](+2.2%)和FBNet [27](+2.0%)。特别是,我们的MixNet-L在典型的移动设置(<600 M FLOPS)下实现了最先进的78.9% ImageNet top-1准确度。代码位于https://github.com/ tensorflow/tpu/tree/master/models/official/mnasnet/mixnet
2019-12-01 cs.CV cs.LG
DD-CNN: Depthwise Disout Convolutional Neural Network for Low-complexity Acoustic Scene Classification
Jiangnan University(江南大学);University of Surrey(萨里大学);ByteDance AI Lab(字节跳动人工智能实验室)
本文提出了一种用于城市声场景检测和分类的依赖性Disout卷积神经网络(DD-CNN)。具体来说,我们使用log-mel作为我们网络输入的声学信号的特征表示。在所提出的DD-CNN中,使用深度可分离卷积来降低网络复杂度。此外,SpecAugment和Disout用于进一步提高性能。实验结果表明,我们的DD-CNN可以从音频片段中学习有区别的声学特征,并有效地降低了网络的复杂度。我们的DD-CNN被用于DCASE 2020挑战赛的低复杂度声学场景分类任务,在验证集上达到了92.04%的准确率。
2020-07-25 cs.LG cs.SD eess.AS
Light Field Image Quality Assessment With Auxiliary Learning Based on Depthwise and Anglewise Separable Convolutions
提出融合LF-DSC、LF-ASC与空间-角度辅助学习的无参考光场图像质量评估方法,在Win5-LID和SMART上显著降低预测误差。
2024-12-10 cs.CV cs.LG eess.IV
Do All MobileNets Quantize Poorly? Gaining Insights into the Effect of Quantization on Depthwise Separable Convolutional Networks Through the Eyes of Multi-scale Distributional Dynamics
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所)
随着“移动人工智能”革命的不断发展,了解边缘部署的深度神经网络行为的需求也在不断增长。特别是,MobileNets是移动深度卷积神经网络(CNN)的首选系列。然而,在训练后量化下,它们通常具有显著的精度下降。虽然研究已经引入了量化感知训练和其他方法来应对这一挑战,但对于为什么MobileNets(以及潜在的深度可分离CNN(DWSCNN))与其他CNN架构相比表现如此之差,人们的理解有限。为了更深入地了解这一现象,我们采取了不同的策略,研究了MobileNet-V1、一组较小的DWSCNN和常规CNN的多尺度分布动态。具体来说,我们调查的影响,量化的权重和激活分布动态的信息传播从一层到另一层,以及在网络级的分布动态的整体变化。这种细粒度的分析揭示了显着的动态范围波动和DWSCNN中的通道和分层分布之间的“分布失配”,导致信息传播过程中的量化退化和分布偏移。此外,对激活量化误差的分析表明,与常规CNN相比,DWSCNN中存在更大的量化误差累积。希望这些见解可以导致减少这种分布动态变化的创新策略,并改善移动设备的训练后量化。
2021-04-24 cs.CV cs.LG eess.IV
Spatiotemporal Estimation of TROPOMI NO2 Column with Depthwise Partial Convolutional Neural Network
University of Houston(休斯顿大学);Oak Ridge Associated Universities(橡树岭联合大学)
卫星得出的测量结果受到云层和地表反射率的不利影响。这些偏差必须被丢弃,并大大增加了遥感图像中缺失数据的数量。本文扩展了部分卷积神经网络(PCNN)的应用,将深度卷积层,赋予时间维度的填补过程。在插补过程中增加时间维度,增加了空间插补无法捕获的数据集内连续存在的状态。深度卷积过程使PCNN能够独立地卷积每个通道的数据。深度学习系统使用社区多尺度空气质量模型模拟的对流层二氧化氮柱密度(TCDNO 2)进行训练,以估算对流层监测仪器TCDNO 2。dependency PCNN模型实现了0.82的一致性指数,并优于默认的PCNN模型,有和没有时间维度的数据,和传统的数据插补方法,如反距离加权3-11%和8-15%的一致性和相关性指数,分别。该模型在对流层监测仪对流层NO2气柱密度图像重建中表现出较好的一致性。该模型还证明了遥感图像的准确填补超过95%的数据丢失。PCNN能够准确估算大面积缺失数据的遥感数据,并将有利于未来的研究人员进行资料同化的数值模型,排放研究和人类健康影响分析的空气污染。
2022-04-12 cs.AI cs.LG physics.ao-ph
Automated Road Extraction from Satellite Imagery Integrating Dense Depthwise Dilated Separable Spatial Pyramid Pooling with DeepLabV3+
Knight Foundation School of Computing and Information Sciences(奈特基金会计算与信息科学学院);Florida International University(佛罗里达国际大学)
本文提出用密集深度可分离空洞空间金字塔池化模块替代DeepLabV3+中的ASPP,并结合主干网络与Squeeze-and-Excitation模块,以提升卫星影像中复杂道路结构的自动提取精度。
2024-10-18 cs.CV cs.LG
A Low-Cost Neural ODE with Depthwise Separable Convolution for Edge Domain Adaptation on FPGAs
Keio University(庆应义塾大学)
本文提出结合Neural ODE与深度可分离卷积的紧凑模型dsODENet,设计并实现了基于FPGA的边缘域适应加速系统,在保持准确率的同时大幅减少参数量并实现23.8倍推理加速。
2023-03-17 cs.AR cs.LG
Multi-Scale Feature Fusion Quantum Depthwise Convolutional Neural Networks for Text Classification
提出基于量子深度可分离卷积与多尺度特征融合的QNN文本分类模型,通过量子词/句嵌入降低参数并提升性能,在RP数据集上达到96.77%的新最先进准确率。
2024-05-22 cs.AI cs.LG quant-ph
End-to-End High Accuracy License Plate Recognition Based on Depthwise Separable Convolution Networks
National Taiwan University of Science and Technology(台湾科技大学)
自动车牌识别在现代交通系统中起着至关重要的作用,例如交通监控和车辆违章检测。在现实世界中,车牌识别仍然面临许多挑战,并且会受到天气或照明条件等不可预测的干扰。近年来,已经提出了许多基于机器学习的ALPR解决方案来解决这些挑战。然而,大多数都不令人信服,要么是因为它们的结果是在缺乏多样环境的小型或简单数据集上进行评估的,要么是因为它们需要强大的硬件才能在实际应用中实现合理的每秒帧数。在本文中,我们提出了一种新的无分割的车牌识别框架,并介绍了NP-ALPR,一个多样化和具有挑战性的数据集,类似于现实世界的场景。提出的网络模型包括最新的深度学习方法和最先进的思想,并受益于一种新颖的网络架构。它实现了更高的精度与较低的计算要求比以前的作品。我们在三个不同的数据集上评估了所提出的方法的有效性,并显示了超过99%和超过70 fps的识别准确率,表明我们的方法不仅鲁棒,而且计算效率高。
2022-02-21 cs.CV cs.LG
Building Efficient CNNs Using Depthwise Convolutional Eigen-Filters (DeCEF)
深度卷积神经网络(CNN)由于其令人印象深刻的能力而被广泛应用于各个领域。这些模型通常由大量具有许多可训练参数的2D卷积(Conv 2D)层组成。为了降低网络的复杂性,可以应用压缩技术。这些方法通常依赖于对训练好的深度学习模型的分析。然而,在一些应用中,由于诸如特定数据或系统规范以及许可限制之类的原因,预先训练的网络可能不可用。这将需要用户从头开始训练CNN。在本文中,我们的目标是找到Conv 2D滤波器的替代参数化,而不依赖于预先训练的卷积网络。在分析过程中,我们观察到矢量化Conv 2D滤波器的有效秩随着网络深度的增加而降低,这导致了依赖卷积特征滤波器(DeCEF)层的实现。本质上,DeCEF层是Conv 2D层的低秩版本,具有显著更少的可训练参数和浮点运算(FLOP)。我们定义有效秩的方式与以前的工作不同,它很容易在任何深度学习框架中实现。为了评估DeCEF的有效性,使用各种网络架构在基准数据集CIFAR-10和ImageNet上进行了实验。结果表明,使用约2/3的原始参数,并将FLOP的数量减少到基础网络的2/3,然后将其与最先进的技术进行比较,具有相似或更高的精度和鲁棒性。
2022-01-31 cs.LG stat.ML
Unveiling the Unseen: Identifiable Clusters in Trained Depthwise Convolutional Kernels
TU Vienna(维也纳工业大学);MIT(麻省理工学院)
本研究发现训练后的深度可分离卷积神经网络各层深度卷积核存在可解释模式,经自编码器无监督聚类可归为类似高斯差分函数及其导数的少数簇,可分类九成以上主流模型滤波器,为理解人工视觉与生物视觉的关联及可解释网络设计提供支撑。
2024-01-25 cs.AI cs.CV cs.LG
Depthwise Convolution for Multi-Agent Communication with Enhanced Mean-Field Approximation
Nanjing University(南京大学);Tencent(腾讯);University of New South Wales(新南威尔士大学)
由于部分可观察性和代理之间缺乏准确的实时交互,多代理设置仍然是强化学习(RL)领域的一个根本挑战。在本文中,我们提出了一种新的方法,基于本地通信学习,以解决多代理RL(MARL)的挑战,在大量的代理共存。首先,我们设计了一个新的通信协议,利用dependencyconvolution的能力,有效地提取本地关系和学习本地相邻代理之间的通信。为了促进多智能体协调,我们明确地学习联合行动的效果,采取相邻代理的政策作为输入。其次,我们引入平均场近似到我们的方法,以减少代理相互作用的规模。为了更有效地协调相邻代理的行为,我们通过监督策略校正网络(PRN)来校正实时代理交互,并通过可学习的补偿项来校正近似偏差,从而增强了平均场近似。所提出的方法,使有效的协调,以及优于几个基线方法的自适应交通信号控制(ATSC)的任务和星际争霸II多智能体的挑战(SMAC)。
2023-01-01 cs.AI cs.LG cs.MA
RISC-V Based TinyML Accelerator for Depthwise Separable Convolutions in Edge AI
Computer Engineering Department Ihsan Dogramaci Bilkent University(比尔肯特大学计算机工程系);Engineering Sabancı University(萨班奇大学工程学院)
本文提出了一种基于 RISC-V 的 TinyML 加速器,通过融合像素级数据流消除中间缓冲区,显著降低数据传输成本,实现边缘 AI 加速器的内存墙突破。
2025-11-26 cs.AR cs.LG
Towards a New Interpretation of Separable Convolutions
Ingemini LLC(英格米尼有限责任公司)
最近,已经探索了在深度卷积神经网络架构中使用可分离卷积。一些研究人员,特别是(Chollet,2016)和(Ghosh,2017)已经在他们的深度架构中使用了可分离卷积,并展示了最先进或接近最先进的性能。然而,可分离卷积的基本作用机制仍然没有完全理解。虽然它们的数学定义被很好地理解为dependency卷积,然后是逐点卷积,但更深层次的解释,如极端的Inception假设(Chollet,2016),未能对其有效性提供彻底的解释。在本文中,我们提出了一种混合解释,我们认为这是一个更好的模型来解释可分离卷积的功效。
2017-01-16 cs.LG stat.ML
WaveletNet: Logarithmic Scale Efficient Convolutional Neural Networks for Edge Devices
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一种用于边缘设备的微尺度高效卷积神经网络架构,称为WaveletNet。我们的模型是基于著名的depressive卷积,并在两个新的层,我们在这项工作中介绍:小波卷积和depressive快速小波变换。通过打破通道维度的对称性并应用快速算法,WaveletNet将卷积块的复杂性缩小了O(logD/D)因子,其中D是通道数。在CIFAR-10和ImageNet分类上的实验显示,与MobileNetV 2等最先进的模型相比,WaveletNet具有更优越的性能。
2018-11-28 cs.CV cs.LG stat.ML
Image classification and retrieval with random depthwise signed convolutional neural networks
New Jersey Institute of Technology(新泽西理工学院)
我们提出了一个随机卷积神经网络来生成一个特征空间,我们在其中研究图像分类和检索性能。简而言之,我们应用随机卷积块,然后是全局平均池化来生成一个新的特征,我们重复k次来生成一个k维特征空间。这可以被解释为用随机超平面划分图像块的空间,我们将其形式化为随机深度卷积神经网络。在网络的最后一层,我们执行图像分类和检索与线性支持向量机和k-最近邻分类器,并研究其他经验性质。我们发现,与输入空间相比,在我们的网络的最终层中,跨类与类内的图像像素分布相似性的比率更高。当我们将线性支持向量机应用于图像分类时,我们看到准确率高于我们仅用随机权重训练VGG 16,ResNet 18和DenseNet 40的最后一层。在相同的设置中,我们将其与无监督特征学习方法进行了比较,发现我们的准确性与CIFAR 10相当,但在CIFAR 100和STL 10上更高。我们看到,准确性并不比训练过的网络差,特别是在top-k设置中。例如,我们的网络的前2名准确率在CIFAR 10和10级迷你ImageNet上均接近90%,在STL 10上为85%。我们发现,在Corel Princeton Image Similarity Benchmark上,k-最近邻的精度与使用训练网络的最后一层相当。与其他网络一样,我们发现我们的网络无法进行黑盒攻击,即使我们缺乏梯度并使用符号激活。我们强调我们的网络对背景的敏感性是一个潜在的…
2019-03-15 cs.CV cs.IR cs.LG
InceptionNeXt: When Inception Meets ConvNeXt
National University of Singapore(新加坡国立大学);Singapore Management University(新加坡管理大学);Sea AI Lab(海洋人工智能实验室);Skywork AI(天工人工智能)
受Inception启发,提出将大核深度卷积沿通道维度分解为四个并行分支构建InceptionNeXt网络,在保持性能的同时大幅提升了基于大核CNN模型的训练吞吐量。
2025-04-05 cs.AI cs.CV cs.LG
Parameter-Efficient 3D Segmentation of Liver and Liver tumors: Depthwise factorization Scales Better Than Dense Convolution with Spatial Dimensionality
本研究提出基于深度可分离分解的参数高效三维 U-Net,在肝脏分割任务中以 24 倍参数缩减超越稠密卷积,并证明空间滤波器放置比总量更重要。
2026-09-29 cs.CV cs.LG
Utterance Weighted Multi-Dilation Temporal Convolutional Networks for Monaural Speech Dereverberation
The University of Sheffield(谢菲尔德大学)
语音去混响是许多语音技术应用中的一个重要阶段。最近在这一领域的工作一直由深度神经网络模型主导。时间卷积网络(TCN)是深度学习模型,已被提出用于语音去混响任务中的序列建模。在这项工作中,加权多膨胀深度可分离卷积提出了取代标准的深度可分离卷积TCN模型。这种建议的卷积使TCN能够动态地关注网络中每个卷积块的感受野中或多或少的局部信息。结果表明,这种加权多膨胀时间卷积网络(WD-TCN)在各种模型配置中始终优于TCN,并且使用WD-TCN模型是一种比增加卷积块数量更有效的参数方法来提高模型的性能。与基线TCN相比,最佳性能改善为0.55 dB尺度不变信号失真比(SISDR),而WD-TCN模型在WHAMR数据集上的最佳性能达到12.26 dB SISDR。
2022-07-22 cs.LG cs.SD eess.AS
WBMM: Windowed Batch Matrix Multiplication for Efficient Large Receptive Field Convolution
Hefei University of Technology, Hefei, China(合肥工业大学);Lingyang Industrial Internet Co., Ltd., Hefei, China(灵阳工业互联网有限公司);Kochi University of Technology, Kochi, Japan(Kochi大学技术)
提出WBMM方法,通过窗口化批量矩阵乘法替代逐点卷积,实现大感受野下的高效计算,在ImageNet等任务上取得加速与精度提升。
2026-08-13 cs.CV cs.LG
Generalization Bounds for Convolutional Neural Networks
University of Sydney(悉尼大学)
卷积神经网络(CNN)在图像分类、语义分割和目标检测等广泛应用中取得了突破性的性能。以往表征神经网络泛化能力的研究大多集中在全连接神经网络(FNN)上,将CNN视为FNN的特例,而没有考虑卷积层的特殊结构。在这项工作中,我们提出了一个更严格的泛化界CNN利用其权重矩阵的稀疏和置换结构。由于泛化界依赖于权矩阵的谱范数,本文进一步研究了标准卷积、深度卷积和逐点卷积三种常用卷积运算的谱范数。理论和实验结果都表明,我们的CNN的界限比现有的界限更紧。
2019-10-03 cs.LG stat.ML
Depthwise Hyperparameter Transfer in Residual Networks: Dynamics and Scaling Limit
Harvard University(哈佛大学);ETH Zürich(苏黎世联邦理工学院);Princeton University(普林斯顿大学)
本文提出将残差分支尺度 1/√depth 与 μP 参数化结合,使 ResNet 和 ViT 的最优超参数可跨宽度与深度迁移,并以 DMFT 证明其联合无限宽、无限深极限。
2023-12-08 cond-mat.dis-nn cs.AI cs.LG
FuSeConv: Fully Separable Convolutions for Fast Inference on Systolic Arrays
IIT Madras(印度理工学院马德拉斯分校)
正在探索高效的神经网络和硬件加速器,以加快边缘设备上的DNN推理。例如,MobileNet使用深度可分离卷积来实现更低的延迟,而脉动阵列提供更高的每瓦性能。然而,有趣的是,这两个想法的组合是低效的:深度方向可分离卷积的计算模式不是脉动的,并且缺乏数据重用来饱和脉动阵列的约束卷积。在本文中,我们提出FuSeConv(完全可分离卷积)作为深度可分离卷积的替代品。FuSeConv将卷积的分解完全推广到沿着空间和深度维度的可分离的1D卷积。所得到的计算是脉动的,并有效地利用脉动阵列与略有修改的卷积。通过FuSeConv,我们在大小为64 x64的脉动阵列上使用MobileNet系列网络实现了3x-7 x的显着速度提升,并且在ImageNet数据集上具有相当的准确性。高速提升激励了对硬件感知神经运算符搜索(NOS)的探索,以补充神经架构搜索(NAS)的持续努力。
2021-05-27 cs.AR cs.LG
Dimensionwise Separable 2-D Graph Convolution for Unsupervised and Semi-Supervised Learning on Graphs
The Hong Kong Polytechnic University(香港理工大学);Dalian University of Technology(大连理工大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
图卷积神经网络(GCN)一直是图表示学习的首选模型,这主要是由于图卷积的有效设计,即通过聚合其邻居的表示来计算节点的表示。然而,现有的GCN变体通常使用仅在对象链接图上操作的1-D图卷积,而不探索对象属性之间的信息性关系信息。这极大地限制了它们的建模能力,并可能导致在噪声和稀疏的真实世界网络上的性能较差。在本文中,我们探讨了2-D图卷积联合建模对象链接和属性关系的图表示学习。具体来说,我们提出了一个计算效率的维度可分离的2-D图卷积(DSGC)过滤节点功能。从理论上讲,我们表明,DSGC可以减少类内方差的节点特征的对象维和属性维学习更有效的表示。从经验上讲,我们证明,通过建模属性关系,DSGC实现了显着的性能增益超过国家的最先进的方法,节点分类和聚类在各种现实世界的网络。用于再现实验结果的源代码可在https://github.com/liqimai/DSGC获得。
2021-06-09 cs.LG stat.ML
Separable Layers Enable Structured Efficient Linear Substitutions
School of Informatics(信息学院);University of Edinburgh(爱丁堡大学)
为了响应最近高效密集层的发展,本文表明,像用结构化线性分解替换逐点卷积中的线性分量这样简单的事情也会在效率/精度权衡方面产生实质性的收益。点态卷积是完全连接的层,因此准备好被结构化变换替换。使用这些层的网络能够学习与使用标准卷积的网络相同的任务,并在计算(多加)和参数计数(以及内存)方面提供效率/准确性方面的帕累托最优优势。代码可在https://github.com/BayesWatch/deficient-efficient上获得。
2019-06-03 cs.LG stat.ML
Transformer-Driven Neural Beamforming with Imperfect CSI in Urban Macro Wireless Channels
University of Maryland College Park(马里兰大学帕克分校);DeepSig Inc(迪普西格公司);Meta Reality Labs(元宇宙现实实验室)
针对密集城市环境下MU-SIMO系统非理想CSI问题,提出集成深度可分离卷积与Transformer的无监督深度学习框架NNBF生成波束成形权重,实验表明其在吞吐量、频谱效率和BLER上优于ZFBF、MMSE等基线方法。
2025-04-15 cs.IT cs.LG eess.SP
Compressing 1D Time-Channel Separable Convolutions using Sparse Random Ternary Matrices
Hasso Plattner Institute(哈索·普拉特纳研究院);NVIDIA(英伟达)
我们证明了一维时间通道可分离卷积中的1 × 1卷积可以用$\{-1,0,+1\}$中的带权重的稀疏随机三进制矩阵来代替。这样的层不执行任何乘法并且不需要训练。此外,矩阵可以在计算期间在芯片上生成,因此不需要任何存储器访问。在相同的参数预算下,我们可以提供更深入和更具表现力的模型,改善现有模型在几个任务上的帕累托边界。对于Google Speech Commands v1上的命令识别,我们在相同的网络大小下将最先进的准确性从$97.21\%$提高到了$97.41\%$。或者,我们可以降低现有模型的成本。对于Librispeech上的语音识别,我们将训练的权重数量减半,而只牺牲了浮点基线单词出错率的$1\%$。
2021-04-02 cs.LG eess.SP
Fused Depthwise Tiling for Memory Optimization in TinyML Deep Neural Network Inference
Technical University of Munich(慕尼黑工业大学)
针对TinyML设备上DNN推理内存受限问题,提出融合深度平铺(FDT)方法,在无运行时开销下减少内存使用,适用更多网络层,并通过端到端流程自动配置,在多个模型上实现显著内存优化。
2023-03-31 cs.LG
Making EfficientNet More Efficient: Exploring Batch-Independent Normalization, Group Convolutions and Reduced Resolution Training
Graphcore Research(Graphcore研究院)
最近的研究致力于提高图像分类的训练和推理效率。这项工作通常集中在显式地提高理论效率,通常以每FLOP的ImageNet验证准确度来衡量。然而,这些理论上的节省在实践中被证明是具有挑战性的,特别是在高性能训练加速器上。在这项工作中,我们专注于提高最先进的EfficientNet模型在一类新的加速器Graphcore IPU上的实际效率。我们通过以下方式扩展这一系列模型来做到这一点:(i)将dependency卷积推广到组卷积;(ii)添加代理归一化激活,以匹配批量归一化性能与批量无关统计数据;(iii)通过降低训练分辨率和以更高分辨率进行廉价微调来减少计算。我们发现这三种方法都提高了训练和推理的实际效率。代码可在https://github.com/graphcore/graphcore-research/tree/main/Making_EfficientNet_More_Efficient获得。
2021-08-26 cs.CV cs.LG stat.ML
Efficient Two-Stream Network for Violence Detection Using Separable Convolutional LSTM
Islamic University of Technology(伊斯兰科技大学);Data61-CSIRO(澳大利亚联邦科学与工业研究组织数据61中心)
从监控录像中自动检测暴力是活动识别的一个子集,值得特别关注,因为它在无人安全监控系统,互联网视频过滤等方面具有广泛的适用性。我们提出了一种利用可分离卷积LSTM的高效双流深度学习架构(SepConvLSTM)和预训练的MobileNet,其中一个流将背景抑制帧作为输入,而其他流处理相邻帧的差异。我们采用了简单快速的输入预处理技术,通过抑制非移动背景来突出帧中的移动对象,并捕捉帧之间的运动。由于暴力行为大多以身体动作为特征,这些输入有助于产生区分特征。SepConvLSTM是通过将ConvLSTM的每个门处的卷积操作替换为依赖可分离卷积来构造的,该卷积能够在使用少得多的参数的同时产生鲁棒的长距离时空特征。我们尝试了三种融合方法来组合两个流的输出特征图。在三个标准公共数据集上对所提出的方法进行了评估。我们的模型在更大和更具挑战性的RWF-2000数据集上的准确性优于2%以上,同时匹配较小数据集上的最新结果。我们的实验使我们得出结论,所提出的模型在计算效率和检测精度方面都是优越的。
2021-04-20 cs.CV cs.LG
Wind speed prediction using multidimensional convolutional neural networks
Maastricht University(马斯特里赫特大学)
准确的风速预测对许多经济、商业和管理部门都具有重要意义。提出了一种基于卷积神经网络(CNN)的风速预测模型。特别是,我们表明,与经典的基于CNN的模型相比,所提出的模型能够更好地模拟风数据的时空演变,通过从输入数据的多个维度(视图)学习底层复杂的输入-输出关系。该模型利用时空多变量多维历史天气数据学习新的表示用于风预测。我们在两个真实的天气数据集上进行实验。这些数据集是丹麦和荷兰城市的测量数据。将该模型与传统的2维和3维CNN模型、具有注意层的2D-CNN模型以及配备了上尺度和深度可分离卷积的2D-CNN模型进行了比较。
2020-07-04 cs.LG
On-Device Crack Segmentation for Edge Structural Health Monitoring
Department of Computer and Electrical Engineering, Mid Sweden University, Sundsvall, Sweden(计算机与电气工程系,Mid Sweden大学,Sundsvall,瑞典)
本研究针对资源受限微控制器上的裂缝分割挑战,提出基于TinyML的轻量级U-Net架构,通过减少滤波器数量、降低网络深度和使用深度可分离卷积三种策略,在分割性能与资源消耗间实现良好折衷,推进了能源自主的边缘结构健康监测系统。
2025-05-12 cs.LG
LPRNet: Lightweight Deep Network by Low-rank Pointwise Residual Convolution
深度学习近年来变得流行,主要是由于GPU等强大的计算设备。然而,将这些深度模型部署到资源有限的终端用户设备、智能手机或嵌入式系统是一项挑战。为了减少计算和内存成本,我们提出了一种新的轻量级深度学习模块,称为LPRNet。本质上,LPR的目的是在逐点卷积中使用低秩近似以进一步减小模块大小,同时保留depressive卷积作为残差模块来校正LPR模块。当低秩破坏卷积过程时,这是至关重要的。我们通过替换MobileNet和ShuffleNetv2中相同输入输出维度的模块来体现我们的设计。视觉识别任务的实验,包括流行的基准测试的图像分类和人脸对齐表明,我们的LPRNet实现了有竞争力的性能,但与专注于模型压缩的最先进的深度模型相比,浮点数和内存成本显着减少。
2019-11-14 cs.CV cs.LG
Learning linearly separable features for speech recognition using convolutional neural networks
Idiap Research Institute(Idiap研究所);Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
自动语音识别系统通常依赖于基于频谱的特征,例如PLP的MFCC。这些特征基于诸如语音感知或/和语音产生的先验知识来提取。最近,卷积神经网络已经被证明能够以完全数据驱动的方式来估计音素条件概率,即,直接使用时间原始语音信号作为输入。该系统在音素识别任务和大规模连续语音识别任务中,使用较少的参数,产生与基于HMM/ANN的系统相似或更好的性能。受这些研究的启发,我们研究了在基于CNN的框架中使用简单的线性分类器。因此,网络从原始语音中学习线性可分离的特征。我们表明,这样的系统产生类似或更好的性能比基于MLP的系统使用基于倒谱的功能作为输入。
2015-04-16 cs.CL cs.LG cs.NE
Differentiable Learning-to-Group Channels via Groupable Convolutional Neural Networks
The Chinese University of Hong Kong(香港中文大学);SenseTime Research(商汤科技研究院)
组卷积将ConvNets的通道划分为组,与常规卷积操作相比取得了令人印象深刻的改进。然而,现有的模型,如。ResNeXt仍然受到次优性能的影响,这是由于在所有层上手动将组的数量定义为常数。为了解决这个问题,我们提出了通过使用新型动态分组卷积(DGConv)操作构建的可分组ConvNet(GroupNet),该操作能够以端到端的方式学习组的数量。所提出的方法有几个吸引人的好处。(1)DGConv提供了一个统一的卷积表示,并涵盖了许多现有的卷积运算,如常规密集卷积,组卷积和去卷积。(2)DGConv是一种可微分且灵活的操作,它可以从训练数据中学习执行各种卷积。(3)使用DGConv训练的GroupNet为不同的卷积层学习不同数量的组。大量的实验表明,GroupNet在准确性和计算复杂性方面优于ResNet和ResNeXt等同行。我们还提出了内省和再现性的研究,第一次,显示了学习动态的训练组数。
2019-08-19 cs.CV cs.LG cs.NE
Low-Resource Spoken Language Identification Using Self-Attentive Pooling and Deep 1D Time-Channel Separable Convolutions
NTR Labs(NTR实验室);AO HTSTS
本备忘录描述了NTR/TSU在Dialog 2021会议上赢得低资源ASR挑战的提交,语言识别跟踪。口语识别(LID)是多语种自动语音识别(ASR)系统流水线中的重要步骤。传统上,ASR任务需要大量的标记数据,这对于世界上大多数语言(包括俄罗斯的大多数语言)来说是无法实现的。在本备忘录中,我们展示了具有Self-Attentive Pooling层的卷积神经网络在语言识别任务的低资源设置中显示出有希望的结果,并为低资源ASR挑战数据集建立了SOTA。此外,我们比较了这个和更多样化的VoxForge数据集和状态的混淆矩阵的结构,并证实了这样一个假设,即只要数据集足够多样化,使得其他分类因素,如性别,年龄等都得到了很好的平均,LID系统的混淆矩阵就具有语言相似性度量。
2021-05-31 cs.CL cs.LG cs.SD