同质深度网络中持续学习的收敛性
Convergence of Continual Learning in Homogeneous Deep Networks
AI总结：
将弱正则化持续分类建模为任务间隔集上的顺序投影，证明全局收敛一般失败，但利用非凸投影理论识别同质深度网络的局部线性收敛条件，并扩展至持续回归。
摘要：
我们将同质模型中的弱正则化持续分类刻画为任务间隔集上的顺序投影。这一结果推广了先前仅限于平稳（单任务）深度模型或持续线性模型的分析。我们证明，即使对于数据线性但参数非线性的简单模型，全局收敛通常也会失败。然而，通过利用非凸投影理论的结果，我们识别了同质深度网络的规则性性质，这些性质保证了在随机和循环任务序列下的局部线性收敛。最后，我们将分析扩展到持续回归，统一了同质模型的框架。
英文摘要：
We characterize weakly regularized continual classification in homogeneous models as sequential projections onto task margin sets. This result generalizes prior analyses restricted to either stationary (single-task) deep models or continual linear models. We show that global convergence generally fails, even for simple models linear in data but nonlinear in parameters. Nevertheless, by leveraging results from nonconvex projection theory, we identify regularity properties of homogeneous deep networks that guarantee local linear convergence under random and cyclic task sequences. Finally, we extend our analysis to continual regression, unifying the framework for homogeneous models.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
