We consider the fundamental question of learnability of a hypotheses class in the supervised learning setting and in the general learning setting introduced by Vladimir Vapnik. We survey classic results characterizing learnability in term of suitable notions of complexity, as well as more recent results that establish the connection between learnability and stability of a learning algorithm.
Statistical Learnability of Generalized Additive Models based on Total Variation Regularization
i.u-tokyo.ac.jp(东京大学(i.u-tokyo.ac.jp为东京大学邮箱域名));mist(东京大学信息科学技术研究院(MIST可能为信息科学技术研究院,即Information Science and Technology Research Institute的缩写));Tokyo(日本东京(但根据要求,地址类信息不应提取,此处可能因原文格式问题需修正,正确应为东京大学相关机构,原文本中“i.u-tokyo.ac.jp”为东京大学邮箱域名,故正确机构为东京大学信息科学技术研究院(假设MIST为该研究院缩写),但严格按原文“Affiliation:”后内容为空,仅“i.u-tokyo.ac.jp”为邮箱域名,无法确定机构,故原文本中无明确可提取机构,返回空数组))
National Taiwan University(国立台湾大学);University of Technology Sydney(悉尼科技大学)
近年来,量子机器学习受到了极大的关注,在开发量子算法以加速传统机器学习任务方面取得了可喜的进展。然而,在这项工作中,我们专注于研究样本复杂度的信息论上限-多少训练样本足以预测未知目标函数的未来行为。可以说,这类问题是统计学习理论中最基本的问题之一,实际设置的界限可以完全由一个简单的复杂性度量来表征。我们的主要结果是,对于学习一个未知的量子测量,上界,由脂肪粉碎维数,是线性正比于底层希尔伯特空间的维数。学习一个未知的量子态成为我们的对偶问题,作为副产品,我们可以恢复Aaronson的著名结果[Proc. R. Soc. A 463:3089-3144(2007)]。此外,其他著名的复杂性措施,如覆盖数和Rademacher复杂性推导明确。我们能够将样品复杂性的测量与量子信息科学的各个领域联系起来,例如量子态/测量层析成像,量子态鉴别和量子随机存取码,这些领域可能是独立感兴趣的。最后,在一般布洛赫球表示的帮助下,我们证明了学习量子测量/状态可以在数学上表示为神经网络。因此,经典ML算法可以有效地完成这两个量子学习任务。
Find a witness or shatter: the landscape of computable PAC learning
Centro Nacional de Inteligencia Artificial(国家人工智能中心);Instituto de Ingeniería Matemática y Computacional, Universidad Católica de Chile(智利天主教大学数学与计算工程学院);Instituto Milenio Fundamentos de los Datos(数据基础千年研究所);Institute of Fundamental Technological Research, Polish Academy of Sciences(波兰科学院基础技术研究所)
Stability, Complexity and Data-Dependent Worst-Case Generalization Bounds
INRIA, CNRS, Département d’Informatique de l’Ecole Normale Supérieure / PSL, France(法国国家信息与自动化技术研究所、国家科学研究中心、巴黎高等师范学院计算机系/巴黎社会科学实验室);Department of Computing, Imperial College London, United Kingdom(伦敦帝国理工学院计算机系、英国);School of Computation and Technology, Technical University of Munich, Germany(慕尼黑技术大学计算与技术学院、德国);Munich Center for Machine Learning, Germany(慕尼黑机器学习中心、德国)