CAGE-NAS：用于高效模型增长的认证函数下降
CAGE-NAS: Certified Functional Descent for Efficient Model Growth
- Institut Polytechnique de Paris（巴黎综合理工学院）
- Inria Saclay（法国国家信息与自动化研究所萨克雷分部）
机构由 AI 辅助整理，请以论文原文为准。
AI总结：
CAGE-NAS通过功能空间中的可容许性准则决定何时扩展神经网络，利用认证功能梯度下降和切空间正则化投影，在精确认证下生成超越99.8百分位性能的架构。
AI中文摘要：
神经网络的渐进式增长需要决定当前表示何时足以用于优化，以及何时应当扩展。CAGE-NAS 在函数空间中通过功能梯度近似上的可容许性准则来制定这一决策。只要表示能够实现经过认证的功能梯度下降步骤，架构就保持不变；当准则失败时，应用保持函数不变的扩展，并重新评估所得表示。作为主要实例，我们研究了由切空间诱导的族，使用功能梯度的正则化投影。在具有精确认证的受控设置中，CAGE-NAS 生成的架构在相同参数预算内，其保留均方根误差在所有可容许备选方案中位于第99.8个性能百分位以上，而无需在增长轨迹中枚举它们。
英文摘要：
The progressive growth of neural networks requires deciding when the current representation remains sufficient for optimization and when it should be expanded. CAGE-NAS formulates this decision in function space through an admissibility criterion on approximations of the functional gradient. As long as a representation enables a certified Functional Gradient Descent step, the architecture remains fixed; when the criterion fails, a function-preserving expansion is applied and the resulting representation is evaluated again. As the main instance, we study the family induced by the tangent space, using a regularized projection of the functional gradient. In a controlled setting with exact certification, CAGE-NAS produces architectures positioned above the 99.8th performance percentile by held-out RMSE among all admissible alternatives within the same parameter budget, without enumerating them during the growth trajectory.
