arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2403.20233stat.MLcs.LG
收藏

面向机器学习的泛函双层优化

Functional Bilevel Optimization for Machine Learning

Univ. Grenoble Alpes(格勒诺布尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LJK(让·昆廷诺实验室)

Ieva Petrulionyte, Julien Mairal, Michael Arbel

AI总结:

本文提出机器学习双层优化的泛函视角,突破内层目标强凸的假设限制,支持过参数化神经网络作为内层预测函数,设计了可扩展的高效算法,在工具变量回归和强化学习任务上验证了方法优势。

摘要:

本文针对机器学习中的双层优化问题提出了一种全新的泛函视角,该问题的内层目标在函数空间上被最小化。这类问题通常采用参数化场景下开发的方法求解,这类方法要求内层目标关于预测函数的参数是强凸的。而泛函视角不依赖这一假设,尤其支持将过参数化神经网络用作内层预测函数。我们针对泛函双层优化问题提出了可扩展的高效算法,并在工具变量回归和强化学习任务上验证了所提方法的优势。

英文摘要:

In this paper, we introduce a new functional point of view on bilevel optimization problems for machine learning, where the inner objective is minimized over a function space. These types of problems are most often solved by using methods developed in the parametric setting, where the inner objective is strongly convex with respect to the parameters of the prediction function. The functional point of view does not rely on this assumption and notably allows using over-parameterized neural networks as the inner prediction function. We propose scalable and efficient algorithms for the functional bilevel optimization problem and illustrate the benefits of our approach on instrumental regression and reinforcement learning tasks.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑