发表机构
University of Iowa（爱荷华大学）
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
我们提出一种基于双层优化的分布鲁棒学习框架，从留出数据中学习鲁棒性机制参数，在理论上保证泛化性能并提升计算效率，实验验证了其在双重分布偏移下的有效性。
AI 中文摘要
我们提出了一种分布鲁棒学习框架，其中定义鲁棒性机制的参数是从留出数据中学习得到的，而非通过大量调参获得。利用具有上层和下层极小极大问题的双层优化，我们创建了该框架的两个实例，以应对训练集中有组标签和无组标签的两种设置。理论上，我们为我们的鲁棒性机制学习范式提供了样本复杂度分析，表明其在实现与穷举网格搜索相当的泛化保证的同时，计算效率更高。实证上，我们在组内和组间测试分布偏移同时发生的具有挑战性的设置下评估了我们的框架，从而展示了我们方法的有效性和可扩展性。
英文摘要
We propose a distributionally robust learning framework where parameters defining the robustness mechanism are learned from held-out data instead of extensively tuned. Using bilevel optimization with both upper and lower level minimax problems, we create two instances of our framework to tackle setups with and without group labels in the training set. Theoretically, we provide sample complexity analysis for our robustness mechanism learning paradigm, showing that it achieves generalization guarantees comparable to exhaustive grid search while being more computationally efficient. Empirically, we evaluate our framework under a challenging setup when both intra-group and inter-group test distribution shifts occur at the same time, thereby demonstrating the efficacy and scalability of our method.
