arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2401.09651cs.LGcs.AImath.OC
收藏

面向神经符号推理与学习的凸优化与双层优化

Convex and Bilevel Optimization for Neuro-Symbolic Inference and Learning

University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)

Charles Dickens, Changyu Gao, Connor Pryor, Stephen Wright, Lise Getoor

AI总结:

本文利用凸优化和双层优化技术,为神经符号系统提出了通用的基于梯度的参数学习框架,通过NeuPSL架构实现推理的光滑原始-对偶公式及热启动对偶块坐标下降算法,使学习运行时间提升超100倍,并在8个数据集上预测性能最高提升16个百分点。

摘要:

我们利用凸优化和双层优化技术,为神经符号(NeSy)系统开发了一个通用的基于梯度的参数学习框架。我们通过NeuPSL(一种最先进的NeSy架构)来演示我们的框架。为此,我们提出了NeuPSL推理的光滑原始和对偶公式,并证明学习梯度是最优对偶变量的函数。此外,我们为该新公式开发了一种对偶块坐标下降算法,该算法能够自然地利用热启动。这使得学习运行时间比当前最佳的NeuPSL推理方法提高了100倍以上。最后,我们在涵盖一系列任务的8个数据集上进行了广泛的实证评估,并证明我们的学习框架在预测性能上比其他学习方法最高提升了16个百分点。

英文摘要:

We leverage convex and bilevel optimization techniques to develop a general gradient-based parameter learning framework for neural-symbolic (NeSy) systems. We demonstrate our framework with NeuPSL, a state-of-the-art NeSy architecture. To achieve this, we propose a smooth primal and dual formulation of NeuPSL inference and show learning gradients are functions of the optimal dual variables. Additionally, we develop a dual block coordinate descent algorithm for the new formulation that naturally exploits warm-starts. This leads to over 100x learning runtime improvements over the current best NeuPSL inference method. Finally, we provide extensive empirical evaluations across 8 datasets covering a range of tasks and demonstrate our learning framework achieves up to a 16% point prediction performance improvement over alternative learning methods.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑