参数化机器：架构搜索的新方法
Parametric machines: a fresh approach to architecture search
摘要：
使用拓扑和功能分析的工具，我们提供了一个框架，人工神经网络，和他们的架构，可以正式描述。我们定义的概念，机器在一般的拓扑背景下，并显示如何简单的机器可以组合成更复杂的。我们探索有限和无限深度的机器，它概括了神经网络和神经常微分方程。借用功能分析和核方法的思想，我们建立完整的，规范的，无限维的机器空间，我们讨论如何找到最佳的架构和参数-在这些空间内-解决给定的计算问题。在我们的数值实验中，当训练数据集很小时，这些内核启发的网络可以胜过经典的神经网络。
英文摘要：
Using tools from topology and functional analysis, we provide a framework where artificial neural networks, and their architectures, can be formally described. We define the notion of machine in a general topological context and show how simple machines can be combined into more complex ones. We explore finite- and infinite-depth machines, which generalize neural networks and neural ordinary differential equations. Borrowing ideas from functional analysis and kernel methods, we build complete, normed, infinite-dimensional spaces of machines, and we discuss how to find optimal architectures and parameters -- within those spaces -- to solve a given computational problem. In our numerical experiments, these kernel-inspired networks can outperform classical neural networks when the training dataset is small.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
