Understanding the generalization of deep neural networks is one of the most important tasks in deep learning. Although much progress has been made, theoretical error bounds still often behave disparately from empirical observations. In this work, we develop margin-based generalization bounds, where the margins are normalized with optimal transport costs between independent random subsets sampled from the training distribution. In particular, the optimal transport cost can be interpreted as a generalization of variance which captures the structural properties of the learned feature space. Our bounds robustly predict the generalization error, given training data and network parameters, on large scale datasets. Theoretically, we demonstrate that the concentration and separation of features play crucial roles in generalization, supporting empirical results in the literature. The code is available at \url{https://github.com/chingyaoc/kV-Margin}.
我们推导出上界的泛化误差的学习算法的基础上，他们的\emph{algorithmic transport cost}：预期的瓦瑟斯坦距离之间的输出假设和输出假设的输入示例为条件。边界提供了一种新的方法来研究学习算法的推广，从最优传输的观点，并施加更少的限制，如亚高斯或有界的损失函数。我们进一步提供了几个上界的算法运输成本的全变差距离，相对熵（或KL发散），和VC维，从而进一步桥接最优运输理论和信息理论与统计学习理论。此外，我们还研究了损失函数的不同条件下，学习算法的泛化误差可以由不同的概率距离分布之间的上限与输出假设和/或输入数据。最后，在我们建立的框架下，我们分析了深度学习中的泛化，并得出结论，随着层数的增加，深度神经网络（DNN）中的泛化误差呈指数下降到零。我们对深度学习泛化错误的分析主要利用了DNN的层次结构和$f$ -发散的收缩特性，这可能对分析其他具有层次结构的学习模型具有独立的意义。
From Alexnet to Transformers: Measuring the Non-linearity of Deep Neural Networks with Affine Optimal Transport
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI，巴黎电信学院，巴黎理工学院）；Technical University of Munich（慕尼黑技术大学）；Helmholtz Munich（海德堡-慕尼黑研究所）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））；Noah’s Ark Lab, Paris（诺亚实验室，巴黎）；Aalto University, Finland, Dept. of Electrical Engineering and Automation（阿莱克大学，芬兰，电气工程与自动化系）；Nomagic（Nomagic公司）；Aalto University, Finland, Department of Computer Science（阿莱克大学，芬兰，计算机科学系）；University of Manchester, UK, Department of Computer Science（曼彻斯特大学，英国，计算机科学系）
School of Computer Science, Guangdong University of Technology（广东工业大学计算机科学学院）；Pazhou Laboratory (Huangpu)（黄埔实验室）；College of Science, Shantou University（汕头大学理学院）；Didi Chuxing（滴滴出行）
The Cells Out of Sample (COOS) dataset and benchmarks for measuring out-of-sample generalization of image classifiers
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Sunnybrook Research Institute（桑尼布鲁克研究所）
理解分类器是否泛化到样本外数据集是机器学习的核心问题。显微镜图像提供了一种标准化的方法来衡量图像分类器的泛化能力，因为我们可以在日益不同但受控的变化因素下对相同类别的对象进行成像。我们创建了一个包含132，209张小鼠细胞图像的公共数据集，COOS-7（Cells Out Of Sample 7-Class）。COOS-7提供了一个分类设置，其中四个测试数据集具有递增程度的协变量偏移：一些图像是训练数据的随机子集，而其他图像来自几个月后重现的实验，并由不同的仪器成像。我们使用不同的表示方法对一系列分类模型进行了基准测试，包括转移的神经网络特征、使用监督深度CNN的端到端分类以及来自自监督CNN的特征。虽然大多数分类器在与训练数据集相似的测试数据集上表现良好，但所有分类器都未能将其性能推广到具有更大协变量偏移的数据集。这些基线突出了图像数据中协变量偏移的挑战，并建立了用于提高图像分类器泛化能力的度量。
Measuring Sample Efficiency and Generalization in Reinforcement Learning Benchmarks: NeurIPS 2020 Procgen Benchmark
AIcrowd Research, AIcrowd（AIcrowd Research，AIcrowd）；Toyota Research Institute（丰田研究所）；Microsoft Research（微软研究院）；Three Thirds；Institute of Informatics, Universidade Federal do Rio Grande do Sul（南里奥格兰德联邦大学信息学研究所）；Temple University（天普大学）；AIcrowd Community（AIcrowd社区）；DiDi Labs（滴滴实验室）
FedImpro: Measuring and Improving Client Update in Federated Learning
Hong Kong Baptist University（香港浸会大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；University of Science and Technology of China（中国科学技术大学）；The University of Sydney（悉尼大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
