arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2407.20367math.OCcs.LG
收藏

复数空间优化的混合牛顿法

Mixed Newton Method for Optimization in Complex Spaces

MIPT(莫斯科物理技术学院);HSE University(高等经济大学);Innopolis University(因诺波利斯大学);IITP RAS(俄罗斯科学院信息传输问题研究所);ISP RAS(俄罗斯科学院系统编程研究所);FRC CSC RAS(俄罗斯科学院计算机科学与控制研究中心);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);IAI MSU(莫斯科大学信息安全与信息研究所);Yandex(Yandex公司)

Nikita Yudin, Roland Hildebrand, Sergey Bakhurin, Alexander Degtyarev, Anna Lisachenko, Ilya Kuruzov, Andrei Semenov, Mohammad Alkousa

AI总结:

本文将 Mixed Newton Method 扩展至实变量实值函数优化,证明任意正则化可保持其局部收敛性,提出特殊正则化防止收敛至复数极小值,并在训练实数与复数参数神经网络中比较了该方法的多种变体。

摘要:

本文修改并应用了近期提出的 Mixed Newton Method,该方法最初旨在最小化复变量的实值函数,本文通过将函数扩展到复数空间,将其应用于实变量的实值函数最小化。我们证明了任意正则化均能保持该方法良好的局部收敛特性,并构建了一种特殊的正则化以防止收敛至复数极小值。我们比较了该方法在训练具有实数与复数参数的神经网络时的几种变体。

英文摘要:

In this paper, we modify and apply the recently introduced Mixed Newton Method, which is originally designed for minimizing real-valued functions of complex variables, to the minimization of real-valued functions of real variables by extending the functions to complex space. We show that arbitrary regularizations preserve the favorable local convergence properties of the method, and construct a special type of regularization used to prevent convergence to complex minima. We compare several variants of the method applied to training neural networks with real and complex parameters.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑