Accurate yet efficient Deep Neural Networks (DNNs) are in high demand, especially for applications that require their execution on constrained edge devices. Finding such DNNs in a reasonable time for new applications requires automated optimization pipelines since the huge space of hyper-parameter combinations is impossible to explore extensively by hand. In this work, we propose PLiNIO, an open-source library implementing a comprehensive set of state-of-the-art DNN design automation techniques, all based on lightweight gradient-based optimization, under a unified and user-friendly interface. With experiments on several edge-relevant tasks, we show that combining the various optimizations available in PLiNIO leads to rich sets of solutions that Pareto-dominate the considered baselines in terms of accuracy vs model size. Noteworthy, PLiNIO achieves up to 94.34% memory reduction for a <1% accuracy drop compared to a baseline architecture.
DNN Training Acceleration via Exploring GPGPU Friendly Sparsity
Shanghai Jiao Tong University（上海交通大学）
深度神经网络~（DNN）的训练阶段消耗大量的处理时间和能量。利用DNN的稀疏性的压缩技术可以有效地加速DNN的推理阶段。然而，它几乎不用于训练阶段，因为训练阶段涉及使用图形处理器上的通用计算（GPGPU）的密集矩阵乘法，这支持规则和结构化的数据布局。本文首先提出了一种近似随机丢弃（Approximate Random Dropout）算法，该算法用规则的在线生成的基于行或基于块的丢弃模式代替传统的神经元和突触的随机丢弃，以消除多层感知器MLP和长短期记忆LSTM中不必要的计算和数据访问。然后，我们开发了一种基于SGD的搜索算法，该算法产生基于行或基于瓦片的丢弃模式的分布，以补偿潜在的准确性损失。此外，针对卷积神经网络CNN的训练加速问题，首先探讨了输入特征图的重要性和敏感性，然后提出了敏感性感知的丢弃方法，根据输入特征图的敏感性动态丢弃输入特征图，从而在保持较好的神经网络精度的同时，获得更大的前向和后向训练加速。为了便于DNN编程，我们构建了一个DNN训练计算框架，该框架将软件堆栈中的拟议技术统一起来。因此，GPGPU只需要支持基本运算符-矩阵乘法，并且无论DNN模型如何，都可以实现显着的性能提升。
DP-Net: Dynamic Programming Guided Deep Neural Network Compression
Tsinghua University（清华大学）；Beijing University of Technology（北京工业大学）；Case Western Reserve University（凯斯西储大学）；BNRist（（无常见中文名，保留英文））；Dept. Computer Science & Tech., Tsinghua University（清华大学计算机科学与技术系）；Beijing Engineering Research Center for IoT Software and Systems, Beijing University of Technology（北京工业大学物联网软件与系统北京市工程研究中心）；Department of Electrical Engineering and Computer Science, Case Western Reserve University（凯斯西储大学电气工程与计算机科学系）
Precision Gating: Improving Neural Network Efficiency with Dynamic Dual-Precision Activations
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）
我们提出了精确门控（PG），这是一种用于深度神经网络的端到端可训练动态双精度量化技术。PG以低精度计算大多数特征，仅以较高精度计算一小部分重要特征以保持准确性。所提出的方法适用于各种DNN架构，并显着降低了DNN执行的计算成本，几乎没有精度损失。我们的实验表明，PG在CNN上取得了优异的结果，包括静态压缩的移动友好网络，如ShuffleNet。与最先进的基于预测的量化方案相比，PG在ImageNet上实现了相同或更高的精度，但计算量减少了2.4 $\times$。PG也适用于RNN。与8位均匀量化相比，PG在Penn Tree Bank数据集上的LSTM上每字的困惑度提高了1.2%，计算成本降低了2.7 $\times$。代码可在：https://github.com/cornell-zhang/dnn-gating
Weightless Neural Networks for Efficient Edge Inference
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Federal University of Recôncavo da Bahia（巴伊亚州雷孔卡沃联邦大学）；Federal University of Rio de Janeiro（里约热内卢联邦大学）；Universidade Federal Fluminense（弗鲁米嫩塞联邦大学）；ISCTE Instituto Universitario de Lisboa（里斯本大学学院）
An Image Enhancing Pattern-based Sparsity for Real-time Inference on Mobile Devices
Northeastern University（东北大学）；College of William and Mary（威廉与玛丽学院）；Syracuse University（雪城大学）；IBM Research（IBM研究院）；Lehigh University（理海大学）；George Mason University（乔治梅森大学）；DiDi AI Labs（滴滴AI Labs）；Tsinghua University（清华大学）
Topological Generalization Bounds for Discrete-Time Stochastic Optimization Algorithms
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；INRIA（法国国家信息与自动化研究所）；Imperial College London（伦敦帝国学院）；CNRS, Ecole Normale Supérieure, PSL Research University（法国国家科学研究中心、巴黎高等师范学院、巴黎文理研究大学）
