FFConv: Fast Factorized Convolutional Neural Network Inference on Encrypted Data
Singapore Management University(新加坡管理大学)
同态加密(HE)允许对加密数据(密文)进行计算而无需首先对其进行解密,从而为云中的隐私保护应用程序提供安全但速度非常慢的卷积神经网络(CNN)推理。为了减少推理延迟,一种方法是将多个消息打包到单个密文中,以便减少密文的数量并支持密文之间的同态乘法累加(HMA)操作的大规模并行性。尽管HECNN推理速度更快,但主流打包方案密集打包(DensePack)和卷积打包(ConvPack)引入了昂贵的旋转开销,这降低了HECNN用于更深和更宽的CNN架构的推理延迟。在本文中,我们提出了一种低秩分解方法FFConv专用于有效的密文包装,以减少旋转开销和HMA操作。FFConv使用低秩分解卷积来近似d x d卷积层,其中具有较少通道的d x d低秩卷积之后是1 x 1卷积以恢复通道。使用DensePack的d x d低秩卷积显著减少了旋转操作,而使用ConvPack的1 x 1卷积的旋转开销接近于零。据我们所知,FFConv是第一个能够同时减少DensePack和ConvPack所产生的旋转开销的工作,而不会向HECNN推理管道中引入额外的特殊块。与现有技术的LoLa和Falcon相比,我们的方法分别将推理延迟降低了88%和21%,并且在MNIST和CIFAR-10上具有相当的准确性。
2022-06-22 cs.AI cs.CR
Sparsity Turns Adversarial: Energy and Latency Attacks on Deep Neural Networks
Purdue University(普渡大学)
对抗攻击暴露了深度神经网络(DNN)的严重漏洞,因为它们能够通过对DNN输入的人类无法察觉的扰动来强制错误分类。我们探索了对抗攻击领域的一个新方向,提出了旨在降低DNN计算效率而不是其分类准确性的攻击。具体来说,我们提出并演示了稀疏攻击,这种攻击对抗性地修改DNN的输入,以减少其内部激活值的稀疏性(或零值的存在)。在资源受限的系统中,已经提出了广泛的硬件和软件技术来利用稀疏性来提高DNN效率。拟议的攻击增加了稀疏优化DNN实现的执行时间和能耗,引发了人们对其在延迟和能源关键型应用程序中部署的担忧。我们提出了一种系统的方法来生成稀疏攻击的对抗性输入,通过制定一个目标函数来量化网络的激活稀疏性,并使用迭代梯度下降技术最小化该函数。我们对图像识别DNN发起了对抗性稀疏攻击的白盒和黑盒版本,并证明它们将激活稀疏性降低了1.82倍。我们还评估了攻击对稀疏优化的DNN加速器的影响,并展示了延迟高达1.59倍的降级,还研究了攻击对稀疏优化的通用处理器的性能。最后,我们评估了激活阈值和输入量化等防御技术,并证明了所提出的攻击能够抵御它们,强调了在对抗性机器学习领域中进一步努力的必要性。
2020-09-14 cs.LG stat.ML
An Analysis on Ensemble Learning optimized Medical Image Classification with Deep Convolutional Neural Networks
University of Augsburg(奥格斯堡大学);University Hospital Augsburg(奥格斯堡大学医院)
新型高性能医学图像分类管道大量使用集成学习策略。集成学习的思想是组合不同的模型或多个预测,从而提高预测性能。然而,在基于深度学习的医学图像分类管道中,集成学习策略在多大程度上以及哪些集成学习策略是有益的仍然是一个悬而未决的问题。在这项工作中,我们提出了一个可重复的医疗图像分类管道,用于分析以下集成学习技术的性能影响:增强,堆叠和装袋。该管道由最先进的预处理和图像增强方法以及9个深度卷积神经网络架构组成。它被应用于四个流行的医学成像数据集具有不同的复杂性。此外,分析了12个用于组合多个预测的池化函数,从简单的统计函数(如未加权平均)到更复杂的基于学习的函数(如支持向量机)。我们的研究结果显示,堆叠实现了最大的性能增益,高达13%的F1分数增加。增强显示了高达4%的一致改进能力,也适用于基于单一模型的管道。基于交叉验证的Bagging表现出接近Stacking的显著性能增益,这导致F1分数增加高达+11%。此外,我们证明了简单的统计池函数与更复杂的池函数相等,甚至更好。我们的结论是集成学习技术的集成是一个强大的方法,任何医疗图像分类管道,以提高鲁棒性和提高性能。
2022-04-13 cs.AI cs.CV cs.LG
Accelerating Federated Edge Learning via Optimized Probabilistic Device Scheduling
Shenzhen Research Institute of Big Data(深圳大数据研究院);Southern University of Science and Technology(南方科技大学);China Academy of Information and Communications Technology(中国信息通信研究院);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Zhejiang University(浙江大学)
流行的联邦边缘学习(FEEL)框架允许通过边缘设备和服务器之间频繁的学习更新交换来保护隐私的协作模型训练。由于带宽受限,只有一部分设备可以在每一轮通信中上传更新。这导致了一个活跃的研究领域,在FEEL研究最佳的设备调度策略,最大限度地减少通信时间。然而,由于难以量化确切的通信时间,在这一领域的现有工作只能通过考虑通信轮或每轮延迟来部分地解决这个问题,而总的通信时间由这两个度量来确定。为了缩小这一差距,我们在本文中首次尝试制定和解决的通信时间最小化问题。我们首先推导出一个严格的约束,通过跨学科的努力,涉及到学习理论的收敛性分析和每轮延迟分析的通信理论近似的通信时间。基于分析结果,通过求解近似的通信时间最小化问题,得到了一个优化的概率调度策略的封闭形式。研究发现,随着训练过程的发展,优化策略逐渐将其优先级从抑制剩余的通信轮次转向减少每轮延迟。通过自动驾驶中的协同3D目标检测的用例证明了所提出的方案的有效性。
2021-07-24 cs.DC cs.IT cs.LG
LEARN Codes: Inventing Low-latency Codes via Recurrent Neural Networks
University of Washington(华盛顿大学);Samsung AI Center Cambridge(三星人工智能中心剑桥);Tata Institute of Fundamental Research(塔塔基础研究院);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
在低延迟约束下设计信道码是5G标准中最苛刻的要求之一。然而,传统码的性能的一个尖锐的特征是只有在大的块长度限制。在这种渐近分析的指导下,代码设计需要大的块长度以及延迟来实现期望的错误率。咬尾卷积码和其他最近的最先进的短分组码,虽然有希望减少延迟,既不鲁棒信道失配也不适应变化的信道条件。当为一个信道设计的码(例如,~加性高斯白噪声(AWGN)信道)被用于另一个(例如,~非AWGN信道),则必须使用算法来实现非平凡的性能。在本文中,我们首先提出了一个端到端的学习神经代码,通过联合设计一个基于递归神经网络(RNN)的编码器和解码器。在块设置下,该代码优于规范卷积码。然后,我们利用这些经验,提出了一类新的代码低延迟的约束下,我们称之为低延迟高效自适应鲁棒神经(LEARN)代码。这些代码优于最先进的低延迟代码,并表现出鲁棒性和自适应性。LEARN代码显示了通过现代深度学习工具结合通信工程见解为未来通信设计新的通用代码的潜力。
2020-07-24 cs.AI eess.SP
Task-Optimized Convolutional Recurrent Networks Align with Tactile Processing in the Rodent Brain
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);Machine Learning Department, Carnegie Mellon University(卡内基梅隆大学机器学习系);Department of Psychology, University of Pennsylvania(宾夕法尼亚大学心理学系);Neuroscience Institute, Carnegie Mellon University(卡内基梅隆大学神经科学研究所)
本文提出 Encoder-Attender-Decoder (EAD) 框架,发现基于 ConvRNN 的模型在触觉分类上表现最优,且其表征与啮齿动物体感皮层高度对齐,自监督方法亦可匹配监督效果,为神经科学与具身AI提供了重要启示。
2025-10-13 cs.AI cs.LG cs.RO
Efficient Sparsely Activated Transformers
University of Michigan(密歇根大学);NVIDIA Corporation(英伟达公司)
基于变换器的神经网络已经在包括自然语言处理和计算机视觉的许多机器学习领域中实现了最先进的任务性能。为了进一步提高它们的准确性,最近的工作已经探索了将动态行为以专家混合(MoE)层的形式集成到这些网络中。在本文中,我们探讨了MoE层的引入,以优化不同的度量:推理延迟。我们引入了一个名为PLANER的新系统,该系统采用现有的基于Transformer的网络和用户定义的延迟目标,并生成原始网络的优化,稀疏激活版本,该版本试图在保持基线准确性的同时满足延迟目标。我们使用Transformer-XL网络在两个真实世界的语言建模任务上评估了PLANER,并在等精度下将推理延迟降低了2倍以上。
2022-08-31 cs.AI cs.CL cs.LG
Benchmarking Deep Learning Convolutions on Energy-constrained CPUs
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);LIP6(巴黎大学第六学院)
本文在能量受限的CPU上评估了深度学习卷积算法,发现ARM Cortex-A78AE CPU结合隐式GEMM卷积在延迟与能耗之间取得最佳平衡。
2026-01-05 cs.AI cs.AR
Enhanced Convolution Neural Network with Optimized Pooling and Hyperparameter Tuning for Network Intrusion Detection
Vellore Institute of Technology(韦洛尔理工学院);School of Computer Science and Engineering(计算机科学与工程学院)
本文提出一种具有优化池化和超参数调优的增强卷积神经网络(EnCNN)用于网络入侵检测,在KDDCUP'99数据集上相比多种机器学习算法使检测准确率提升10%,有效增强了实时威胁检测与网络弹性。
2024-09-27 cs.AI cs.CR cs.CV
E-QUARTIC: Energy Efficient Edge Ensemble of Convolutional Neural Networks for Resource-Optimized Learning
University of California San Diego(加利福尼亚大学圣迭戈分校)
本研究提出能效边缘集成框架E-QUARTIC,面向嵌入式AI系统构建CNN集成模型,可适配动态能量条件,降低系统故障率达40%,支持边端训练与推理,开销低于0.04%。
2024-09-12 cs.AI cs.DC cs.ET
MAPLE-X: Latency Prediction with Explicit Microprocessor Prior Knowledge
Waterloo AI Institute(滑铁卢人工智能研究所);University of Waterloo(滑铁卢大学);DarwinAI(达尔文人工智能公司)
深度神经网络(DNN)延迟表征是一个耗时的过程,并且在搜索用于嵌入式视觉应用的高效卷积神经网络时会显著增加神经架构搜索(NAS)过程的成本。DNN延迟是一个依赖于硬件的指标,需要对目标硬件进行直接测量或推断。最近引入的延迟估计技术MAPLE通过使用硬件性能计数器来预测DNN在以前看不见的硬件设备上的执行时间。通过以隐式先验的形式利用这些硬件计数器,MAPLE在延迟预测方面实现了最先进的性能。在这里,我们提出了MAPLE-X,它通过结合硬件设备和DNN架构延迟的显式先验知识来扩展MAPLE,以更好地考虑模型的稳定性和鲁棒性。首先,通过识别彼此表现出相似延迟的DNN架构,我们可以生成多个虚拟示例,以显着提高MAPLE的准确性。其次,硬件规格用于确定训练和测试硬件之间的相似性,以强调从可比设备(域)捕获的训练样本,并鼓励改进域对齐。在不同类型的设备上使用卷积神经网络NAS基准测试的实验结果表明,与MAPLE相比,性能提高了5%,与HELP相比,性能提高了9%。此外,我们还包括消融研究,以独立评估虚拟样本和基于硬件的样本重要性的好处。
2022-05-25 cs.AI cs.LG
SqueezeNAS: Fast neural architecture search for faster semantic segmentation
DeepScale Inc.(DeepScale公司)
对于利用深度神经网络(DNN)的实时的应用,模型在目标任务上实现高准确性和在目标计算平台上实现低延迟推理是至关重要的。虽然神经架构搜索(NAS)已被有效地用于开发用于图像分类的低延迟网络,但使用NAS来优化用于其他视觉任务的DNN架构的努力相对较少。在这项工作中,我们提出了我们认为是第一个无代理的硬件感知搜索密集的语义分割为目标。通过这种方法,我们提高了Cityscapes语义分割数据集上延迟优化网络的最新准确性。我们经过延迟优化的小型SqueezeNAS网络在NVIDIA AGX Xavier上实现了68.02%的验证等级mIOU,推理时间不到35 ms。我们的延迟优化大型SqueezeNAS网络实现了73.62%的mIOU类,推理时间不到100 ms。我们证明,显着的性能增益是可能的,通过利用NAS找到网络优化的特定任务和推理硬件。我们还提出了详细的分析比较我们的网络,最近的国家的最先进的架构。
2019-08-08 cs.CV cs.LG
Ultra-low Latency Spiking Neural Networks with Spatio-Temporal Compression and Synaptic Convolutional Block
Xidian University(西安电子科技大学);Guangzhou Institute of Technology, Xidian University(西安电子科技大学广州研究院)
脉冲神经网络(Spiking neural networks,SNNs)作为一种脑启发模型,具有时空信息处理能力、低功耗和高生物相容性等特点。有效的时空特征使其适用于事件流分类。然而,神经形态数据集,如N-MNIST,CIFAR 10-DVS,DVS 128-gesture,需要将单个事件聚合到具有新的更高时间分辨率的帧中以用于事件流分类,这导致高训练和推理延迟。在这项工作中,我们提出了一种时空压缩的方法来聚合单个事件到几个时间步长的突触电流,以减少训练和推理延迟。为了在高压缩比下保持SNN的准确性,我们还提出了一种突触卷积块来平衡相邻时间步长之间的剧烈变化。并引入了具有可学习膜时间常数的多阈值漏积分触发(Leaky Integrate-and-Fire,LIF)算法,以提高其信息处理能力。我们评估所提出的方法的神经形态N-MNIST,CIFAR 10-DVS,DVS 128手势数据集的事件流分类任务。实验结果表明,我们提出的方法优于国家的最先进的精度几乎所有的数据集,使用更少的时间步长。
2022-03-18 cs.CV cs.LG cs.NE
HOBFLOPS CNNs: Hardware Optimized Bitslice-Parallel Floating-Point Operations for Convolutional Neural Networks
Trinity College Dublin, The University of Dublin(都柏林大学圣三一学院);The School of Computer Science and Statistics(计算机科学与统计学院);Institute of Technology Carlow(卡洛理工学院)
卷积神经网络(CNN)通常使用16位或32位浮点(FP)进行训练,研究人员表明,低精度浮点(FP)可以非常有效地进行推理。低精度FP可以在现场可编程门阵列(FPGA)和专用集成电路(ASIC)加速器中实现,但是现有的处理器一般不支持定制精度FP。我们提出了硬件优化的位片并行浮点运算符(HOBFLOPS),生成高效的自定义精度仿真位片并行软件FP算法的方法。我们生成定制精度FP例程,使用硬件合成设计流程进行优化以创建电路。我们提供了标准的单元库匹配的目标微处理器架构上的位操作,和代码生成器的硬件电路的位片软件等价物。我们利用位片并行来创建一个非常宽(32-512个元素)的矢量化卷积神经网络(CNN)卷积。将Arm和Intel处理器上CNN卷积中的硬件优化位片并行浮点运算符(HOBFLOPS)乘法累加(MAC)性能与Berkeley的SoftFP 16等效MAC进行比较。HOBFLOPS 16在Intel AVX 512上的性能是SoftFP 16的8倍。HOBFLOPS提供具有自定义范围和精度的任意精度FP,例如,HOBFLOPS 9在Arm Neon上的性能是HOBFLOPS 16的6倍。HOBFLOPS允许研究人员在软件CNN加速器的算法中原型化不同级别的自定义FP精度。此外,HOBFLOPS快速定制精度FP CNN在内存带宽有限的情况下可能是有价值的。
2021-02-28 cs.AR cs.LG
DRMap: A Generic DRAM Data Mapping Policy for Energy-Efficient Processing of Convolutional Neural Networks
Technische Universität Wien(维也纳工业大学)
许多卷积神经网络(CNN)加速器面临着性能和能效挑战,这对于嵌入式实现至关重要,因为DRAM访问延迟和能耗很高。最近,一些DRAM架构已经被提出来利用子阵列级并行来减少访问延迟。为此,我们提出了一种设计空间探索方法来研究不同的DRAM架构上的不同映射策略的延迟和能量,并确定帕累托最优的设计选择。结果表明,能量有效的DRAM访问可以通过映射策略,有序的优先级,以最大限度地提高行缓冲器的命中,银行和子阵列级的并行性。
2020-04-21 cs.AR cs.LG
Short-Term Memory Convolutions
Samsung R&D Institute Poland(三星波兰研发中心)
时间序列信号的实时处理是许多实际应用中的关键问题。实时处理的思想在音频领域中尤其重要,因为人类对声音的感知对感知信号中的任何类型的干扰都很敏感,特别是听觉和视觉模态之间的滞后。深度学习(DL)模型的兴起使信号处理的前景变得复杂。虽然与标准DSP方法相比,它们通常具有更高的质量,但这一优势因更高的延迟而减弱。在这项工作中,我们提出了一种新的方法,最大限度地减少推理时间延迟和内存消耗,称为短期记忆卷积(STMC)和它的转置对应。STMC的主要优势是与长短期记忆(LSTM)网络相比的低延迟。此外,由于该方法仅基于卷积神经网络(CNN),因此基于STMC的模型的训练更快且更稳定。在这项研究中,我们演示了这种解决方案的应用程序的语音分离任务和GhostNet模型的U-Net模型在声学场景分类(ASC)任务。在语音分离的情况下,我们实现了推理时间减少5倍,延迟减少2倍,而不影响输出质量。ASC任务的推理时间快了4倍,同时保持了原始的准确性。
2023-02-08 cs.AI cs.LG cs.SD
MAPLE-Edge: A Runtime Latency Predictor for Edge Devices
University of Waterloo(滑铁卢大学);DarwinAI(达尔文AI)
神经架构搜索(NAS)已实现了更高效的神经网络架构的自动发现,特别是对于移动和嵌入式视觉应用。尽管最近的研究提出了仅使用少量样本快速估计看不见的硬件设备上的延迟的方法,但很少关注使用优化图(如TensorRT)估计运行时延迟的挑战,特别是边缘设备。在这项工作中,我们提出了MAPLE-Edge,一个面向边缘设备的扩展MAPLE,最先进的延迟预测器的通用硬件,在那里我们训练回归网络的架构延迟对结合硬件运行时描述符,以有效地估计延迟的边缘设备的不同池。与MAPLE相比,MAPLE-Edge可以使用所有Linux内核上广泛使用的一组更小的CPU性能计数器来描述运行时和目标设备平台,同时在优化的边缘设备运行时上,与以前最先进的基线方法相比,仅使用10个从未见过的目标设备测量,仍然可以实现高达+49.6%的准确性增益。我们还证明,与MAPLE不同,MAPLE在共享公共运行时的设备池上训练时表现最好,MAPLE-Edge可以通过在测量的硬件运行时描述符中应用操作延迟标准化性能计数器的技巧来有效地在运行时进行泛化。最后,我们表明,对于表现出低于预期精度的运行时,可以通过从目标设备收集额外的样本来提高性能,额外的90个样本转化为近+40%的增益。
2022-04-27 cs.AI cs.CV cs.LG
Cocktail: Leveraging Ensemble Learning for Optimized Model Serving in Public Cloud
Pennsylvania State University(宾夕法尼亚州立大学)
随着对各种应用服务采用ML模型的需求不断增长,服务于这些模型的框架能够以最小的延迟提供高度准确的预测以及降低公共云环境中的部署成本至关重要。尽管高延迟,在这一领域的先前工作是至关重要的限制由个别模型提供的准确性。直观地说,模型集成可以通过智能地并行组合不同的模型来解决精度差距。然而,在运行时动态地选择合适的模型以满足期望的准确性和低延迟,以最小的部署成本是一个不平凡的问题。Cocktail是一个基于集成的模型服务框架,它包括两个关键部分:(1)动态模型选择框架,它减少了集成中的模型数量,同时满足精度和延迟要求;(ii)采用与重要性采样组合的分布式主动自动缩放策略的自适应资源管理(RM)框架,为模特们有效地分配资源。RM框架存储临时虚拟机(VM)实例以降低公共云中的部署成本。Cocktail在AWS EC2平台上的原型实现和使用各种工作负载的详尽评估表明,与最先进的模型服务框架相比,Cocktail可以将部署成本降低1.45倍,同时将延迟降低2倍,并满足高达96%的请求的目标准确性。
2021-06-09 cs.DC cs.LG
Efficient Latency-Aware CNN Depth Compression via Two-Stage Dynamic Programming
Seoul National University(首尔国立大学);Neural Processing Research Center(神经处理研究中心)
针对现有 CNN 深度压缩搜索空间受限且依赖启发式规则的问题,提出基于两阶段动态规划精确求解的延迟感知层合并方法,在 MobileNetV2/ImageNet 上实现更快推理并提升准确率。
2023-06-02 cs.LG
Optimized Potential Initialization for Low-latency Spiking Neural Networks
Peking University(北京大学)
脉冲神经网络(SNN)由于具有低功耗、生物相容性和对抗鲁棒性等特点而受到广泛关注。训练深度SNN的最有效方法是通过ANN到SNN的转换,这在深度网络结构和大规模数据集上产生了最佳性能。然而,在准确性和延迟之间存在权衡。为了达到原始ANN的高精度,需要很长的模拟时间来匹配尖峰神经元的放电率与模拟神经元的激活值,这阻碍了SNN的实际应用。在本文中,我们的目标是以极低的延迟(少于32个时间步)实现高性能的转换SNN。我们首先从理论上分析ANN到SNN的转换,并表明缩放阈值确实起到了与权重归一化类似的作用。我们没有以模型容量为代价引入促进ANN到SNN转换的约束条件,而是通过优化初始膜电位来减少每层中的转换损失。此外,我们证明了膜电位的最佳初始化可以实现预期的无误差ANN到SNN转换。我们在CIFAR-10,CIFAR-100和ImageNet数据集上评估了我们的算法,并使用更少的时间步长实现了最先进的准确性。例如,我们在CIFAR-10上以16个时间步长达到了93.38%的top-1准确度。此外,我们的方法可以应用到其他ANN-SNN转换方法,并显着提高性能时,时间步长很小。
2022-02-03 cs.CV cs.LG cs.NE
Arithmetic Intensity Balancing Convolution for Hardware-aware Efficient Block Design
Nota Inc.(Nota公司)
提出算术强度平衡卷积(ABConv),通过提升总体算术强度上限,在不牺牲精度的前提下显著降低Arm Ethos-U65 NPU上的推理延迟,并成功应用于CIFAR100分类任务中的MobileNetV1和ResNet50。
2023-04-08 cs.AR cs.CV cs.LG
Exploration of Optimized Semantic Segmentation Architectures for edge-Deployment on Drones
Indian Institute of Technology Delhi(德里印度理工学院);CYRAN AI Solutions(CYRAN人工智能解决方案公司)
在本文中,我们提出了一个分析的语义分割架构的无人机数据处理的背景下,网络参数的影响。我们对DroneDeploy细分基准进行了分析。基于比较分析,我们确定最佳网络架构是FPN-EfficientNetB 3,其编码器骨干基于Imagenet Dataset。该网络在验证数据集上的IoU得分为0.65,F1得分为0.71。我们还比较了各种架构的内存占用和推理延迟,并进一步探索了基于TensorRT的优化的影响。与Model:FPN和Backbone:InceptionResnetV 2相比,我们实现了约4.1倍的内存节省和10%的延迟改善。
2020-07-06 cs.CV cs.LG
Efficient Low-Latency Speech Enhancement with Mobile Audio Streaming Networks
Samsung R\&D Institute Poland
我们提出了移动音频流网络(MASnet)的有效的低延迟语音增强,这是特别适合于移动设备和其他应用程序的计算能力是一个限制。MASnet处理线性尺度频谱图,将连续的噪声帧转换为复值比率掩模,然后将其应用于相应的噪声帧。MASnet可以在低延迟增量推理模式下运行,该模式与逐层批处理模式的复杂性相匹配。与类似的全卷积架构相比,MASnet结合了去卷积和逐点卷积,大大减少了每秒融合乘法累加运算(FMA/s),但代价是SNR有所降低。
2020-08-17 cs.LG cs.SD eess.AS
BASS: Batched Attention-optimized Speculative Sampling
AWS AI Labs(AWS 人工智能实验室);AWS NGDE(AWS 新一代开发者体验);Amazon AGI(亚马逊通用人工智能)
本系统提出批量投机解码方法,在A100上实现每token 5.8ms延迟和2.15倍加速,GPU利用率达15.8%,显著提升多序列生成效率与质量。
2024-06-26 cs.CL cs.LG
Convolutional Neural Network-aided Bit-flipping for Belief Propagation Decoding of Polar Codes
极化码以其容量实现能力而闻名,已被选为5G通信的控制信道编码方案。为了满足高吞吐量和低延迟的要求,选择置信传播(BP)作为解码算法。然而,在一般情况下,BP的错误性能比增强型连续相消(SC)。最近,临界集比特翻转(CS-BF)被应用于BP解码以降低错误率。然而,它的试错过程导致更长的延迟。在这项工作中,我们提出了一种卷积神经网络辅助比特翻转(CNN-BF)机制,以进一步增强极化码的BP解码。通过精心设计的输入数据和模型架构,我们提出的CNN-BF可以实现比CS-BF更高的预测精度和更好的纠错能力,但只有一半的延迟。它还实现了比SC列表(CA-SCL)更低的误块率(BLER)。
2020-02-05 cs.IT cs.LG eess.SP
Speck: A Smart event-based Vision Sensor with a low latency 327K Neuron Convolutional Neuronal Network Processing Pipeline
SynSense AG;SynSense;University of Groningen(格罗宁根大学);Zernike Institute for Advanced Materials, University of Groningen(格罗宁根大学泽尼克先进材料研究所);Groningen Cognitive Systems and Materials Center (CogniGron), University of Groningen(格罗宁根大学格罗宁根认知系统与材料中心(CogniGron))
本文提出Speck智能视觉SoC,集成事件相机与低功耗异步sCNN,实现9层网络单事件3.36微秒延迟,以低成本和低能耗支持边缘端到端视觉处理。
2024-05-27 cs.LG cs.NE eess.IV
ORACLE: Optimized Radio clAssification through Convolutional neuraL nEtworks
Northeastern University(东北大学)
本文介绍了ORACLE的体系结构和性能,一种从大量比特相似设备(相同的硬件、协议、物理地址、MAC ID)中检测唯一无线电的方法,该方法仅使用物理层的IQ样本。ORACLE训练一个卷积神经网络(CNN),它平衡了计算时间和准确性,对于16节点USRP X310 SDR测试平台和$>$ 100 COTS WiFi设备的外部数据库,分类准确率达到99\%。我们的工作做出了以下贡献:(i)它研究了发射机链中导致IQ样本变化的以硬件为中心的特征;(ii)对于理想化的静态信道环境,它提出了一种CNN架构,该架构仅需要在前端可访问的原始IQ样本,而无需信道估计或通信协议的先验知识;(iii)对于动态信道,它演示了反馈驱动的发射机侧修改的原理方法,该方法在接收机处使用信道估计来增加CNN分类器的可微性。这里的关键创新是通过软件指令在发射机侧有意地引入受控缺陷,同时最小化误比特率的变化。与以前的工作,施加恒定的环境条件下,ORACLE采用“训练一次部署在任何地方”的范例与近乎完美的设备分类精度。
2018-12-03 cs.LG eess.SP
COMPACT: Common-token Optimized Model Pruning Across Channels and Tokens
Department of Computer Science & Engineering(计算机科学与工程系)
提出COMPACT剪枝方法,联合剪枝罕见词汇与FFN中间通道,在保持标准transformer架构的同时,兼顾部署友好与规模自适应,在0.5B-70B模型上实现SOTA性能并大幅降低参数、内存与延迟。
2025-10-10 cs.AI cs.CL cs.LG
New Approach to Malware Detection Using Optimized Convolutional Neural Network
Illinois Institute of Technology(伊利诺伊理工学院)
近年来,网络犯罪已成为一个价值数十亿美元的产业。大多数网络犯罪/攻击都涉及部署某种类型的恶意软件。恶意软件恶意针对每个行业,每个部门,每个企业甚至个人,已经显示出其使整个商业组织离线的能力,并每年造成数十亿美元的重大经济损失。恶意软件作者在攻击策略和复杂性方面不断发展,并且正在开发难以检测的恶意软件,并且可以在后台休眠相当长的一段时间以逃避安全控制。鉴于上述论点,传统的恶意软件检测方法不再有效。因此,深度学习模型已成为检测和分类恶意软件的新兴趋势。本文提出了一种新的卷积深度学习神经网络,以高精度准确有效地检测恶意软件。本文与文献中的大多数其他论文不同的是,它使用专家数据科学方法,从头开始开发卷积神经网络,首先建立性能模型的基线,从基线模型探索并实现改进模型,最后评估最终模型的性能。基线模型最初达到98%的准确率,但在增加CNN模型的深度后,其准确率达到99.183,优于文献中的大多数CNN模型。最后,为了进一步巩固该CNN模型的有效性,我们使用改进的模型对数据集中的新恶意软件样本进行预测。
2023-01-26 cs.CR cs.LG
Learning Enhancement of CNNs via Separation Index Maximizing at the First Convolutional Layer
University of Tehran(德黑兰大学)
本文提出了一种基于分离指数(SI)概念的卷积神经网络(CNN)增强学习算法。首先,解释了SI作为一种监督复杂性度量,它在分类问题的CNN更好学习中的用途。然后,提出了一种学习策略,通过该策略,通过最大化SI来优化CNN的第一层,并且通过反向传播算法来训练进一步的层以学习进一步的层。为了最大化第一层的SI,利用准最小二乘误差技术优化了排序损失的一个变量。将这种学习策略应用于一些已知的CNN和数据集,几乎在所有情况下都证明了其增强效果。
2022-01-13 cs.CV cs.LG
MIST: A Novel Training Strategy for Low-latency Scalable Neural Net Decoders
Department of Electrical Engineering, Indian Institute of Technology Bombay, India(印度理工学院孟买分校电气工程系)
在本文中,我们提出了一个低延迟,鲁棒性和可扩展的基于神经网络的卷积和低密度奇偶校验(LPDC)编码方案的解码器。所提出的解码器被证明具有误比特率(BER)和误块率(BLER)的性能与最先进的基于神经网络的解码器,同时实现超过8倍的解码速度。增强的解码速度是由于使用卷积神经网络(CNN),而不是在最知名的基于神经网络的解码器中使用的递归神经网络(RNN)。这与现有的理论相矛盾,即只有基于RNN的解码器才能提供接近最佳的性能。我们的方法的关键成分是一种新的基于混合SNR独立样本的训练(MIST),它允许仅用1%的可能数据字训练CNN,即使块长度高达1000。所提出的解码器是鲁棒的,因为一旦训练,相同的解码器可以用于宽范围的SNR值。最后,在信道中断的存在下,所提出的解码器优于最好的已知解码器,{ \it即}。用于卷积码的未量化维特比解码器和用于LDPC的置信传播。这使得CNN解码器在5G毫米波系统中具有显著的优势,其中信道中断是普遍存在的。
2019-05-22 cs.IT cs.LG eess.SP
SparsePixels: Efficient Convolution for Sparse Data on FPGAs
University of Pennsylvania, USA(美国宾夕法尼亚大学);Institute of Physics Belgrade, Serbia(塞尔维亚贝尔格莱德物理研究所);Massachusetts Institute of Technology, USA(美国麻省理工学院);Institute for Artificial Intelligence and Fundamental Interactions, USA(美国人工智能与基本相互作用研究所)
本文提出SparsePixels框架,通过只计算少量活跃像素实现稀疏卷积,降低FPGA上的推理延迟,实验显示在稀疏LArTPC图像中,稀疏CNN比传统CNN快73倍。
2026-10-20 cs.AR cs.LG hep-ex
ECG Classification with a Convolutional Recurrent Neural Network
Swiss Center for Electronics and Microtechnology (CSEM)(瑞士电子与微技术中心)
我们开发了一个卷积循环神经网络来对12导联ECG信号进行分类,以应对2020年心脏病学生理网络/计算的挑战。该模型结合了卷积层和递归层,以ECG信号的滑动窗口作为输入,并产生每个类别的概率作为输出。卷积部分从每个滑动窗口提取特征。双向门控递归单元(GRU)层和注意力层将来自所有窗口的这些特征聚合到单个特征向量中。最后,密集层输出类概率。最后的决定是使用测试时间增加(TTA)和优化的决策阈值。我们的架构的几个超参数进行了优化,其中最重要的是优化器的选择和每个卷积层的过滤器数量。我们的网络在隐藏验证集上的挑战得分为0.511,在完整隐藏测试集上的挑战得分为0.167,在官方排名中,我们在41个网络中排名第23位。
2020-10-06 cs.LG eess.SP
PACSET (Packed Serialized Trees): Reducing Inference Latency for Tree Ensemble Deployment
Johns Hopkins University(约翰斯·霍普金斯大学);Amazon(亚马逊);United States Military Academy(美国军事学院)
我们提出的方法来序列化和序列化树集成,优化推理延迟时,模型还没有加载到内存中。当模型大于内存时,就会出现这种情况,但当模型部署在低资源设备上时,例如在物联网中,或者作为Web微服务运行时,资源按需分配时,也会出现这种情况。我们的包装序列化树(PACSET)编码的参考局部性的布局中的树集成使用的原则,从外部存储器的算法。该布局在多棵树上交错相关节点,使用叶基数来配置最流行路径上的节点,并针对I/O块大小进行了优化。其结果是,每个I/O产生更高比例的有用数据,从而使交互式工作负载的分类延迟减少2-6倍。
2020-11-10 cs.DC cs.LG
Performance Aware Convolutional Neural Network Channel Pruning for Embedded GPUs
University of Edinburgh(爱丁堡大学);Trinity College Dublin(都柏林三一学院);University of Glasgow(格拉斯哥大学)
卷积神经网络(CNN)由于其卓越的识别精度,正在成为许多应用和服务中的常见存在。它们越来越多地被用于移动设备,很多时候只是通过移植为服务器空间设计的大型模型,尽管已经考虑了几种模型压缩技术。一种旨在减少计算的模型压缩技术是信道修剪。移动和嵌入式系统现在有GPU,这是理想的并行计算的神经网络和他们的较低的能源成本,每一个操作。专门的库通过高度优化的例程执行这些神经网络计算。正如我们在实验中发现的那样,这些库针对最常见的网络形状进行了优化,使得未经指导的通道修剪效率低下。我们评估了更高级别的库,这些库分析卷积层的输入特性,并在此基础上生成优化的OpenCL(Arm Compute Library和TVM)和CUDA(cuDNN)代码。然而,在现实中,这些特性和随后的优化选择可能会产生相反的效果。我们发现,减少卷积通道的数量,修剪初始大小的12%,在某些情况下对性能不利,导致2倍的速度减慢。另一方面,我们也发现了性能感知修剪实现预期结果的例子,cuDNN的性能加速比为3倍,Arm Compute Library和TVM的性能加速比为10倍以上。我们的研究结果揭示了硬件指导的神经网络修剪的必要性。
2020-02-20 cs.LG stat.ML
Fast convolutional neural networks on FPGAs with hls4ml
European Organization for Nuclear Research (CERN)(欧洲核子研究组织);Institute of Physics Belgrade(贝尔格莱德物理研究所);Politecnico di Milano(米兰理工大学);California Institute of Technology(加州理工学院);Chalmers University of Technology(查尔姆斯理工大学);Zenseact(Zenseact公司);ICEPP, University of Tokyo(东京大学国际基本粒子物理研究所);Columbia University(哥伦比亚大学);University of California San Diego(加州大学圣地亚哥分校);Massachusetts Institute of Technology(麻省理工学院);Fermi National Accelerator Laboratory(费米国家加速器实验室);Purdue University(普渡大学);HawkEye360(鹰眼360公司);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Rhodes College(罗德学院)
我们介绍一种自动化工具,用于在FPGA上部署具有卷积层的超低延迟、低功耗深度神经网络。通过扩展hls4ml库,我们使用卷积架构演示了$5\,μ$ s的推理延迟,目标是微秒延迟应用,如CERN大型强子对撞机的应用。考虑到基准模型的街景房屋号码数据集上训练,我们展示了各种方法的模型压缩,以适应一个典型的FPGA器件的粒子探测器的触发和数据采集系统中使用的计算约束。特别是,我们讨论了修剪和量化感知训练,并演示了如何在模型准确性几乎没有损失的情况下显着降低资源利用率。我们表明,FPGA的关键资源消耗可以减少97%,零损失的模型精度,并通过99%时,容忍6%的精度下降。
2021-04-29 cs.CV cs.LG hep-ex
BWCNN: Blink to Word, a Real-Time Convolutional Neural Network Approach
University of California, Davis(加州大学戴维斯分校)
肌萎缩侧索硬化症(ALS)是一种进行性脑和脊髓神经退行性疾病,可导致运动功能瘫痪。患者保持眨眼的能力,这可以用于交流。在这里,我们提出了一个人工智能(AI)系统,使用眨眼与外界通信,运行在实时的【形】物联网(IoT)设备上。该系统使用卷积神经网络(CNN)来找到眨眼模式,该眨眼模式被定义为一系列打开和关闭状态。每个模式都被映射到一组表达患者意图的单词。为了研究准确性和延迟之间的最佳权衡,我们研究了几种卷积网络架构,如ResNet,SqueezeNet,DenseNet和InceptionV3,并评估了它们的性能。我们发现,InceptionV3架构在对特定任务进行超参数微调后,获得了最佳性能,准确率为99.20%,延迟为94 ms。这项工作展示了深度学习架构的最新进展如何适用于临床系统,改善患者的生活质量,而不管护理点如何。
2020-06-01 cs.CV cs.LG
Temporal Convolution for Real-time Keyword Spotting on Mobile Devices
Hyperconnect(超连接公司)
关键词识别(KWS)在智能设备上实现基于语音的用户交互方面发挥着关键作用。深度学习领域的最新发展使得卷积神经网络(CNN)因其出色的准确性和鲁棒性而在KWS系统中得到广泛采用。KWS系统面临的主要挑战是高准确性和低延迟之间的权衡。不幸的是,几乎没有对移动设备上KWS模型的实际延迟进行定量分析。这尤其令人担忧,因为已知传统的基于卷积的KWS方法需要大量的操作来获得足够的性能水平。在本文中,我们提出了一个时间卷积的实时的【形】KWS在移动设备上。与大多数基于2D卷积的KWS方法不同,这些方法需要一个深度架构来完全捕获低频和高频域,我们利用具有紧凑ResNet架构的时间卷积。在Google Speech Command Dataset中,我们在Google Pixel 1上实现了超过\textbf{385x}的加速,并且与最先进的模型相比,其准确性更高。此外,我们还发布了建议模型和基线模型的实现,包括用于训练模型的端到端管道,并在移动设备上对其进行评估。
2019-11-18 cs.LG cs.NE cs.SD
DSXplore: Optimizing Convolutional Neural Networks via Sliding-Channel Convolutions
University of California, Santa Barbara(加州大学圣巴巴拉分校)
作为卷积神经网络(CNN)的重要进展,深度可分离卷积(DSC)技术在保持模型精度的同时,减少了CNN的计算量和参数大小,成为最流行的技术之一。它还带来了深远的影响,以提高计算和内存密集型CNN的适用性,以广泛的应用,如移动设备,这是通常缺乏计算能力和内存。然而,以前的DSC研究主要集中在合成有限的现有DSC设计,因此,错过了探索更多潜在设计的机会,可以实现更好的精度和更高的计算/参数减少。此外,现成的卷积实现提供有限的计算方案,因此,缺乏对具有不同卷积模式的DSC的支持。为此,我们介绍了DSXplore,这是第一个用于在CNN上探索DSC的优化设计。具体而言,在算法层面,DSXplore采用了一种新的因子分解内核-滑动通道卷积(SCC),其特征在于输入通道重叠,以平衡精度性能和计算和内存成本的降低。SCC还通过引入可调节的内核参数为设计探索提供了巨大的空间。此外,在实现层面上,我们进行了优化的GPU实现定制SCC利用几个关键技术,如输入为中心的向后设计和通道循环优化。在主流CNN的不同数据集上进行的密集实验表明,DSXplore在平衡准确性和计算/参数减少方面优于标准卷积和现有DSC。
2021-01-04 cs.CV cs.LG
CrossLight: A Cross-Layer Optimized Silicon Photonic Neural Network Accelerator
Colorado State University(科罗拉多州立大学)
领域特定的神经网络加速器近年来受到越来越多的关注,因为与CPU和GPU相比,它们提高了能效和推理性能。在本文中,我们提出了一种新的跨层优化的神经网络加速器称为CrossLight,利用硅光子学。CrossLight包括器件级工程,以适应工艺变化和热串扰,电路级调整增强,以减少推理延迟,以及架构级优化,以实现更高的分辨率,更好的能效和更高的吞吐量。平均而言,与最先进的光子深度学习加速器相比,CrossLight在16位分辨率下的每比特能耗低9.5倍,每瓦性能高15.9倍。
2021-02-13 cs.AR cs.ET cs.LG
Fast Sparse 3D Convolution Network with VDB
提出一种基于NanoVDB的稀疏三维卷积网络实现,内存占用小且性能高,在高分辨率三维物体分类任务上比稠密CNN快约20倍。
2023-11-15 cs.CV cs.LG
Distributed Deep Convolutional Neural Networks for the Internet-of-Things
Politecnico di Milano(米兰理工大学)
表征物联网(IoT)单元的存储器和计算的严格约束可能会阻止基于深度学习(DL)的解决方案的执行,这通常需要大存储器和高处理负载。为了支持在物联网单元级别实时执行所考虑的DL模型,DL解决方案的设计必须考虑到所选物联网技术所暴露的内存和处理能力的限制。在本文中,我们介绍了一种设计方法,旨在分布式物联网应用上分配卷积神经网络(CNN)的执行。这种方法被形式化为一个优化问题,其中数据收集阶段和随后的决策阶段之间的延迟被最小化,在给定的限制内存和处理负载的单元级。该方法支持多个数据源以及在同一物联网系统上执行的多个CNN,从而允许设计要求自治、低决策延迟和高服务质量的基于CNN的应用程序。
2021-07-28 cs.DC cs.LG stat.ML
SHAKTI: A 2.5 Billion Parameter Small Language Model Optimized for Edge AI and Low-Resource Environments
SandLogic Technologies Pvt Ltd(沙逻辑技术私人有限公司)
本文提出25亿参数的边缘AI语言模型Shakti,兼顾高性能与低资源效率,支持本地语言,在医疗、金融等领域表现优异,性能媲美大模型且延迟低。
2025-06-20 cs.CL cs.CV cs.LG
Fast Algorithms for Convolutional Neural Networks
Nervana Systems(Nervana系统公司)
深度卷积神经网络需要GPU数天的计算时间来对大型数据集进行训练。自动驾驶汽车的行人检测需要非常低的延迟。移动电话的图像识别受到有限处理资源的限制。卷积神经网络在这些情况下的成功受到我们计算它们的速度的限制。传统的基于FFT的卷积对于大型滤波器来说是快速的,但是现有技术的卷积神经网络使用小型的3 × 3滤波器。本文利用Winograd的最小滤波算法,提出了一类新的卷积神经网络快速算法。这些算法在小块上计算最小复杂度的卷积,这使得它们在小过滤器和小批量的情况下速度更快。我们用VGG网络对我们算法的GPU实现进行基准测试,并在1到64的批量大小下显示最先进的吞吐量。
2015-11-10 cs.LG cs.NE
Optimized CNNs for Rapid 3D Point Cloud Object Recognition
Northeastern University(东北大学);University of Pennsylvania(宾夕法尼亚大学);Oregon State University(俄勒冈州立大学);Carnegie Mellon University(卡内基梅隆大学);George Washington University(乔治华盛顿大学);Georgia Institute of Technology(佐治亚理工学院);McGill University(麦吉尔大学)
本研究提出结合稀疏卷积层与$\u212c_1$正则化的优化CNN方法,通过特征中心投票机制利用3D点云稀疏性,在MVTec 3D-AD基准上,三层Vote3Deep模型精度超现有技术且速度具竞争力,有效提升实时3D目标识别效率。
2024-12-03 cs.CV cs.LG
PhotoFourier: A Photonic Joint Transform Correlator-Based Neural Network Accelerator
University of California, Los Angeles(加州大学洛杉矶分校);The George Washington University(乔治华盛顿大学)
在过去的几年里,人们做了大量的工作来解决低延迟和高吞吐量卷积神经网络推理的挑战。集成光子学具有显著加速神经网络的潜力,因为它具有低延迟的特性。结合联合变换相关器(JTC)的概念,计算上昂贵的卷积函数可以立即计算(光的飞行时间),几乎没有成本。这种“自由”卷积计算提供了所提出的基于PhotoFourier JTC的CNN加速器的理论基础。PhotoFourier解决了傅立叶域中片上光子计算带来的无数挑战,包括1D透镜和高成本光电转换。与最先进的光子神经网络加速器相比,所提出的光傅立叶加速器实现了超过28倍的能量延迟产品。
2022-11-10 cs.AR cs.ET cs.LG
Combination of Convolutional Neural Network and Gated Recurrent Unit for Energy Aware Resource Allocation
Ayandegan Institute of Higher Education(阿扬德甘高等教育学院);Islamic Azad University(伊斯兰阿扎德大学)
云计算服务模式已经经历了快速的增长,并且低效率的资源使用被认为是云数据中心高能耗的最大原因之一。旨在减少能耗的云数据中心中的资源分配已经使用虚拟机(VM)的实时迁移及其合并到少量物理机(PM)中来进行。然而,选择适当的VM进行迁移是一个重要的挑战。为了解决这个问题,可以根据用户请求的模式将VM分类为对延迟敏感或不敏感的类别,然后可以选择合适的VM进行迁移。在本文中,卷积神经网络(CNN)和门控递归单元(GRU)的组合用于Microsoft Azure数据集中的VM分类。由于该数据集中的大多数VM都被标记为对延迟不敏感,因此迁移该组中的更多VM不仅可以降低能耗,还可以减少违反服务水平协议(SLA)的情况。实证结果表明,该模型的预测准确率为95.18,明显优于其他模型。
2021-06-23 cs.DC cs.LG cs.NI
fpgaConvNet: A Toolflow for Mapping Diverse Convolutional Neural Networks on Embedded FPGAs
Imperial College London(帝国理工学院)
近年来,卷积神经网络(ConvNets)已经成为广泛的新型嵌入式人工智能系统的使能技术。在各种应用中,性能需求差异很大,从高吞吐量视频监控到自动驾驶汽车的极低延迟要求。在这种情况下,FPGA可以提供一个潜在的平台,可以根据不同的性能需求进行优化配置。然而,ConvNet模型的复杂性不断增加,使其映射到FPGA设备成为一项具有挑战性的任务。这项工作提出了fpgaConvNet,这是一个用于在FPGA上映射ConvNet的端到端框架。该框架采用了一种基于同步数据流(SDF)范式的自动化设计方法,并定义了一组SDF转换,以有效地探索建筑设计空间。通过选择性地优化吞吐量,延迟或多目标标准,所提出的工具能够有效地探索设计空间,并从高级ConvNet规范中生成硬件设计,并针对感兴趣的性能指标进行明确优化。总体而言,我们的框架产生的设计,提高了高达6.65倍的性能超过高度优化的嵌入式GPU设计,在嵌入式环境中相同的功率限制。
2017-11-23 cs.AR cs.CV cs.LG