arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 1703.02629cs.LGstat.ML
收藏

无先验信息的在线学习

Online Learning Without Prior Information

Stanford University(斯坦福大学)

Ashok Cutkosky, Kwabena Boahen

摘要:

如今,绝大多数优化和在线学习算法都需要一些关于数据的先验信息(通常以梯度或最优参数值的界限的形式)。当这些信息不可用时,这些算法需要费力地手动调整各种超参数,从而激发了对可以适应没有先验信息的数据的算法的搜索。我们描述了这样的算法的性能上的新的下界的前沿,反映了取决于最佳参数值的一个术语和取决于梯度的增长率的一个术语之间的权衡。此外,我们构建了一个家庭的算法,其性能匹配任何所需的点在这个前沿,没有以前的算法达到。

英文摘要:

The vast majority of optimization and online learning algorithms today require some prior information about the data (often in the form of bounds on gradients or on the optimal parameter value). When this information is not available, these algorithms require laborious manual tuning of various hyperparameters, motivating the search for algorithms that can adapt to the data with no prior information. We describe a frontier of new lower bounds on the performance of such algorithms, reflecting a tradeoff between a term that depends on the optimal parameter value and a term that depends on the gradients' rate of growth. Further, we construct a family of algorithms whose performance matches any desired point on this frontier, which no previous algorithm reaches.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑