arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2407.00667math.OC
收藏

优化与机器学习中的梯度方向与相对不精确性

Gradient directions and relative inexactness in optimization and machine learning

Artem Vasin

AI总结:

本文研究梯度估计中与原始梯度成锐角的相对噪声对优化和机器学习的影响,通过理论定理和线性回归、逻辑回归、计算机视觉及自然语言处理实验进行验证。

摘要:

本文研究了噪声对梯度估计的影响,该噪声给出的梯度估计与原始梯度成锐角。噪声幅度采用相对模型。本文既提供了理论计算和定理,也给出了实验结果。实验选取了经典机器学习问题——线性回归、逻辑回归、计算机视觉和自然语言处理。

英文摘要:

In this paper, we investigate the influence of noise giving an estimate of the gradient having a acute angle with the original. Noise amplitude has a relative model. The work offers both theoretical calculations and theorems, as well as experimental results. Classic machine learning problems were chosen as experiments -- linear and logistic regression, computer vision and natural language processing.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑