Can we use deep learning to predict when deep learning works? Our results suggest the affirmative. We created a dataset by training 13,500 neural networks with different architectures, on different variations of spiral datasets, and using different optimization parameters. We used this dataset to train task-independent and architecture-independent generalization gap predictors for those neural networks. We extend Jiang et al. (2018) to also use DNNs and RNNs and show that they outperform the linear model, obtaining $R^2=0.965$. We also show results for architecture-independent, task-independent, and out-of-distribution generalization gap prediction tasks. Both DNNs and RNNs consistently and significantly outperform linear models, with RNNs obtaining $R^2=0.584$.
When is invariance useful in an Out-of-Distribution Generalization problem ?
Preferred Networks
分布外（OOD）泛化问题的目标是训练一个能在所有环境下泛化的预测器。该领域的流行方法使用这样的假设，即这种预测器应该是一个\textit{invariant predictor}，它捕获在不同环境中保持恒定的机制。虽然这些方法在各种案例研究中取得了实验成功，但这一假设的理论验证仍有很大的空间。本文提出了一组新的理论条件所需的不变预测，以实现OOD最优性。我们的理论不仅适用于非线性情形，而且推广了\citet{rojas2018invariant}中的必要条件。我们还从我们的理论中推导出帧间梯度对齐算法，并在MNIST衍生的基准数据集上以及在\citet{aubinlinear}提出的三个\textit{Invariance Unit Tests}中的两个上证明了其竞争力。
Adversarial robustness of sparse local Lipschitz predictors
Johns Hopkins University（约翰斯·霍普金斯大学）
本文研究了由线性预测器和非线性表示映射组成的参数函数的对抗鲁棒性。%，满足一定的稳定性条件。我们的分析依赖于\emph{sparse local Lipschitzness}（SLL），局部Lipschitz连续性的扩展，更好地捕捉稳定性和减少有效的预测局部扰动后的维数。SLL函数保留了一定程度的结构，由表示图中的稀疏模式给出，并且包括几个流行的假设类，例如分段线性模型，Lasso及其变体，以及深度前馈\relu网络。%是稀疏局部Lipschitz。我们提供了一个更严格的鲁棒性证书上的最小能量的对抗性的例子，以及更严格的数据依赖的非均匀边界上的鲁棒性泛化误差这些预测。我们将这些结果实例化为深度神经网络的情况，并提供支持我们结果的数值证据，从而对自然正则化策略提供新的见解，以提高这些模型的鲁棒性。
Pseudodata-guided Invariant Representation Learning Boosts the Out-of-Distribution Generalization in Enzymatic Kinetic Parameter Prediction
Pengcheng Laboratory, Shenzhen, China（鹏城实验室，深圳，中国）；Southern University of Science and Technology, Shenzhen, China（南方科技大学，深圳，中国）；School of Electronic and Computer Engineering, Peking University, Shenzhen, China（北京大学电子与计算机工程学院，深圳，中国）
Detecting low left ventricular ejection fraction from ECG using an interpretable and scalable predictor-driven framework
Fuwai Hospital, Chinese Academy of Medical Sciences and Peking Union Medical College（中国医学科学院阜外医院、北京协和医学院）；The Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Institute of Statistics and Big Data, Renmin University of China（中国人民大学统计与大数据研究院）；National Center for Cardiovascular Diseases（国家心血管病中心）；Function Test Center, Fuwai Hospital（阜外医院功能检测中心）
Probable Domain Generalization via Quantile Risk Minimization
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Edinburgh（爱丁堡大学）；University of Cambridge（剑桥大学）；University of Pennsylvania（宾夕法尼亚大学）
A Generalization Theory based on Independent and Task-Identically Distributed Assumption
University of Science and Technology of China（中国科学技术大学）；Beijing Jiaotong University（北京交通大学）；Chinese Academy of Sciences（中国科学院）；Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
Element AI（元素AI）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
深度学习的主要科学挑战之一是解释泛化，即，为什么社区现在训练网络以实现小的训练误差的特定方式也会导致来自同一人群的保持数据的小误差。人们普遍认识到，一些最坏情况下的理论--例如那些基于现代神经网络架构所诱导的预测器类的VC维度的理论--无法解释经验性能。大量的工作旨在缩小这一差距，主要是通过制定泛化误差，优化误差和过度风险的界限。然而，当根据经验进行评估时，大多数这些界限在数值上是空洞的。专注于泛化界限，这项工作解决了如何评估这样的界限经验的问题。Jiang et al.（2020）最近描述了一项大规模的实证研究，旨在揭示边界/度量与泛化之间的潜在因果关系。基于他们的研究，我们强调了他们提出的方法可以掩盖失败和成功的泛化措施解释泛化。我们认为，泛化措施，而不是应该在分布鲁棒性的框架内进行评估。
