Data is one of the most important assets of the information age, and its societal impact is undisputed. Yet, rigorous methods of assessing the quality of data are lacking. In this paper, we propose a formal definition for the quality of a given dataset. We assess a dataset's quality by a quantity we call the expected diameter, which measures the expected disagreement between two randomly chosen hypotheses that explain it, and has recently found applications in active learning. We focus on Boolean hyperplanes, and utilize a collection of Fourier analytic, algebraic, and probabilistic methods to come up with theoretical guarantees and practical solutions for the computation of the expected diameter. We also study the behaviour of the expected diameter on algebraically structured datasets, conduct experiments that validate this notion of quality, and demonstrate the feasibility of our techniques.
What Can We Learn From The Selective Prediction And Uncertainty Estimation Performance Of 523 Imagenet Classifiers
Technion（以色列理工学院）；Amazon（亚马逊）
当部署用于风险敏感型任务时，深度神经网络必须包含不确定性估计机制。在这里，我们研究了深度架构与其各自的训练机制之间的关系，以及相应的选择性预测和不确定性估计性能。我们考虑了一些最流行的估计性能指标，包括AUROC，ECE，AURC以及覆盖率的选择性精度约束。我们提出了一个新的和全面的研究选择性预测和不确定性估计性能的523个现有的预训练的深度ImageNet分类器，可在流行的存储库。我们确定了许多以前未知的因素，影响不确定性估计，并检查不同的度量之间的关系。我们发现，基于蒸馏的训练方案始终比其他训练方案（如香草训练，更大数据集上的预训练和对抗训练）产生更好的不确定性估计。此外，我们发现一个子集的ViT模型，优于任何其他模型的不确定性估计性能。例如，我们发现ImageNet上的ViT模型在47%的覆盖率下获得了前所未有的99%的top-1选择准确率（在80%的覆盖率下获得了95%的top-1准确率），而竞争对手EfficientNet-V2-XL在任何覆盖率水平下都无法获得这些准确率约束。我们的配套论文也发表在ICLR 2023（A framework for benchmarking class-分布外检测and its application to ImageNet）上，研究了这些分类器在class-out-of-distribution设置中的性能。
Deep Learning and Mathematical Intuition: A Review of (Davies et al. 2021)
New York University（纽约大学）
Davies et al（2021）最近的一篇论文描述了如何使用深度学习（DL）技术来寻找合理的假设，这些假设导致了两个原始的数学结果：一个是纽结理论，一个是表示理论。我在这里认为，深度学习技术在数学中的应用的重要性和新颖性在本文中被大大夸大了，在科普出版社的一些报道中也被夸大了。在纽结理论的结果中，DL的作用很小，常规的统计分析可能就足够了。在表示论的结果中，深度学习的作用要大得多;然而，它与几十年来实验数学中所做的事情没有太大的不同。此外，目前还不清楚DL的独特特征，使它在这里有用，将适用于广泛的数学问题。最后，我认为，深度学习在这里“引导人类直觉”是无益的和误导的;深度学习所做的主要工作是将许多可能的假设标记为错误，并将其他一些假设标记为可能值得研究。当然，表征论的结果代表了深度学习在数学研究中的一个原创和有趣的应用，但其更大的意义是不确定的。
