arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2306.16111cs.LGmath.OC
收藏

最优时间变量学习中的时间正则化

Time Regularization in Optimal Time Variable Learning

Heidelberg University(海德堡大学);University of Bayreuth(拜罗伊特大学)

Evelyn Herberg, Roland Herzog, Frederik Köhne

AI总结:

本文扩展 DNN 最优时间变量学习,引入与离散动力系统时间范围相关的正则化项,并提出 ResNet 自适应剪枝方法,在保持表达能力的同时降低复杂度与训练时间。

摘要:

最近,深度神经网络(DNN)中的最优时间变量学习在 arXiv:2204.08528 中被提出。在本文中,我们通过引入一个与离散动力系统中的时间范围直接相关的正则化项来扩展这一概念。此外,我们提出了一种用于残差神经网络(ResNets)的自适应剪枝方法,该方法在不损害表达能力的情况下降低网络复杂度,同时减少训练时间。通过将所提出的概念应用于著名的 MNIST 和 Fashion MNIST 数据集上的分类任务,结果得到了说明。我们的 PyTorch 代码可在 https://github.com/frederikkoehne/time_variable_learning 获取。

英文摘要:

Recently, optimal time variable learning in deep neural networks (DNNs) was introduced in arXiv:2204.08528. In this manuscript we extend the concept by introducing a regularization term that directly relates to the time horizon in discrete dynamical systems. Furthermore, we propose an adaptive pruning approach for Residual Neural Networks (ResNets), which reduces network complexity without compromising expressiveness, while simultaneously decreasing training time. The results are illustrated by applying the proposed concepts to classification tasks on the well known MNIST and Fashion MNIST data sets. Our PyTorch code is available on https://github.com/frederikkoehne/time_variable_learning.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑