学习函数式直推
Learning Functional Transduction
- Artificial and Natural Intelligence Toulouse Institute（图卢兹人工智能与自然智能研究所）
- Universite de Toulouse（图卢兹大学）
- Carney Institute for Brain Science（卡尼脑科学研究所）
- Brown University（布朗大学）
- Centre de Recherche Cerveau & Cognition（脑与认知研究中心）
- CNRS（法国国家科学研究中心）
机构由 AI 辅助整理，请以论文原文为准。
AI总结：
本文提出一种混合方法，通过梯度下降元学习直推回归原理，利用向量值再生核 Banach 空间理论构建高效的上下文神经逼近器，以极低计算成本在少量数据下对复杂物理系统进行快速函数关系建模。
AI中文摘要：
机器学习中的回归任务研究已分化为两种通用方法：直推方法直接从可用数据构建估计，但通常缺乏问题针对性；归纳方法可以更具针对性，但通常需要计算密集的求解搜索。在本研究中，我们提出一种混合方法，并证明可以通过梯度下降对直推回归原理进行元学习，利用向量值再生核 Banach 空间（RKBS）理论，形成高效的上下文神经逼近器。我们将该方法应用于定义在有限和无限维空间上的函数空间（函数值算子），并表明一旦训练完成，给定少量输入和输出示例对，Transducer 即可几乎瞬时地捕获无限种函数关系，并返回新的图像估计。我们展示了该元学习直推方法的优势：在仅有少量数据的情况下，以通常深度学习训练计算成本的一小部分，对受不同外部因素影响的复杂物理系统进行建模，适用于偏微分方程和气候建模应用。
英文摘要：
Research in machine learning has polarized into two general approaches for regression tasks: Transductive methods construct estimates directly from available data but are usually problem unspecific. Inductive methods can be much more specific but generally require compute-intensive solution searches. In this work, we propose a hybrid approach and show that transductive regression principles can be meta-learned through gradient descent to form efficient in-context neural approximators by leveraging the theory of vector-valued Reproducing Kernel Banach Spaces (RKBS). We apply this approach to function spaces defined over finite and infinite-dimensional spaces (function-valued operators) and show that once trained, the Transducer can almost instantaneously capture an infinity of functional relationships given a few pairs of input and output examples and return new image estimates. We demonstrate the benefit of our meta-learned transductive approach to model complex physical systems influenced by varying external factors with little data at a fraction of the usual deep learning training computational cost for partial differential equations and climate modeling applications.
