arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2304.06803cs.LGmath.OCstat.ML
收藏

黑盒VI的样本平均近似

Sample Average Approximation for Black-Box VI

University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)

Javier Burroni, Justin Domke, Daniel Sheldon

AI总结:

针对黑盒VI,提出基于样本平均近似(SAA)的方法,通过将随机优化转化为确定性问题并结合拟牛顿法与线搜索,避免了随机梯度上升的步长选择难题,实验证明其比现有方法更简单且性能更快。

摘要:

我们提出了一种用于黑盒VI的新方法,绕过了随机梯度上升的困难,包括选择步长的任务。我们的方法涉及使用一系列样本平均近似(SAA)问题。SAA通过将随机优化问题转化为确定性问题来近似其解。我们使用拟牛顿法和线搜索来解决每个确定性优化问题,并提出一种启发式策略来自动化超参数选择。实验表明,我们的方法简化了VI问题,并实现了比现有方法更快的性能。

英文摘要:

We present a novel approach for black-box VI that bypasses the difficulties of stochastic gradient ascent, including the task of selecting step-sizes. Our approach involves using a sequence of sample average approximation (SAA) problems. SAA approximates the solution of stochastic optimization problems by transforming them into deterministic ones. We use quasi-Newton methods and line search to solve each deterministic optimization problem and present a heuristic policy to automate hyperparameter selection. Our experiments show that our method simplifies the VI problem and achieves faster performance than existing methods.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑