Adversarially Robust PAC Learnability of Real-Valued Functions
Ben-Gurion University(本-古里安大学);Purdue University(普渡大学)
本文研究回归设定下测试时对抗攻击的鲁棒PAC可学习性,证明有限fat-shattering维数的函数类在可实现和不可知设定下均可学习,凸函数类可适当学习,而非凸函数类需要不适当学习,并构造了基于fat-shattering维数的对抗鲁棒样本压缩方案。
2024-05-05 cs.LG stat.ML
Learnability of high-dimensional targets by two-parameter models and gradient flow
Skoltech(斯科尔科沃科技学院)
本文证明当参数少于目标维度时,存在双参数模型可通过梯度流以高概率学习高维目标,但可学习目标集不稠密,且初等函数模型无法实现该可学习性。
2024-11-08 cs.LG stat.ML
RL with Learnable Textual Feedback: A Bilevel Approach
University of Central Florida(佛罗里达中央大学)
针对稀疏奖励导致样本效率低的问题,提出一种双层优化框架Bi-NAC,联合训练评论家生成可改善策略的文本反馈和演员利用该反馈,在MATH-500等任务上提升了样本和参数效率。
2026-05-23 cs.LG
On the Equivalence between Online and Private Learnability beyond Binary Classification
University of Michigan(密歇根大学)
Alon et al. [2019]和Bun et al. [2020]最近表明,在线可学习性和私有PAC可学习性在二进制分类中是等价的。我们研究这种等价性是否扩展到多类分类和回归。首先,我们表明,私人的可学习性意味着在这两种情况下的在线可学习性。我们的扩展涉及到研究一种新的变体的Littlestone尺寸,这取决于一个公差参数和适当的泛化的阈值函数的概念超出二进制分类。第二,我们表明,虽然在线学习能力继续意味着私人学习能力在多类分类,目前的证明技术遇到重大障碍,在回归设置。虽然回归的等价性仍然是开放的,但我们提供了非平凡的充分条件,使在线学习类也可以私下学习。
2021-10-09 cs.CR cs.LG stat.ML
DéjàQ: Open-Ended Evolution of Diverse, Learnable and Verifiable Problems
Willem Röpke AI Lab, Vrije Universiteit Brussel Belgium(维尔姆·罗普克人工智能实验室,布鲁塞尔自由大学);FLAIR, University of Oxford United Kingdom(FLAIR,牛津大学);University College London United Kingdom(伦敦大学学院)
DéjàQ通过大语言模型驱动的突变策略动态进化多样化数学问题,提升模型的可学习性和推理能力,开源代码支持其应用潜力。
2026-01-05 cs.AI cs.LG
Learning with Differential Privacy: Stability, Learnability and the Sufficiency and Necessity of ERM Principle
Carnegie Mellon University(卡内基梅隆大学)
虽然机器学习已被证明是解决许多现实问题的强大数据驱动解决方案,但由于隐私问题,其在敏感领域的使用受到限制。一种被称为 ** 差分隐私 ** 的流行方法提供了可证明的隐私保证,但在实践中经常观察到,它可能会大大妨碍学习的准确性。在Vapnik的一般学习环境下,研究了具有差分隐私约束的可学习性(问题是否可以被任何算法学习),揭示了隐私性、稳定性和可学习性之间的复杂关系。特别是,我们证明了一个问题是私人可学习的 **,当且仅当 ** 存在一个渐进最小化经验风险(AERM)的私人算法。相比之下,对于非私人学习,单独的AERM不足以实现可学习性。这个结果表明,当搜索私有学习算法时,我们可以将搜索限制在AERM算法上。鉴于此,我们提出了一个概念性的过程,总是找到一个普遍一致的算法,每当问题是学习隐私约束下。我们还提出了一个通用的和实用的算法,并表明在非常一般的条件下,它私下学习广泛的学习问题。最后,我们将一些结果扩展到更实际的$(ε,δ)$ -差分隐私,并建立了存在的相变类的问题,大约是私人学习如何小$δ$需要。
2016-04-27 cs.CR cs.LG stat.ML
Multiclass Learnability Does Not Imply Sample Compression
Stanford University(斯坦福大学)
本文证明多分类假设类中,可学习性(有限 DS 维)并不蕴含存在规模仅依赖于 DS 维的样本压缩方案,与二分类情形形成对比。
2023-09-20 cs.LG stat.ML
A Learnability Analysis on Neuro-Symbolic Learning
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院)
该研究分析混合系统中神经符号任务的可学习性,提出用导出约束满足问题的解的唯一性判定可学习性,建立可学习任务的误差界并分析通用任务的渐近误差,为可学习性判定与算法设计提供理论支撑。
2025-03-21 cs.AI cs.LG
Is Out-of-Distribution Detection Learnable?
University of Technology Sydney(悉尼科技大学);Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Hong Kong Baptist University(香港浸会大学);ETH Zurich(苏黎世联邦理工学院);University of Melbourne(墨尔本大学)
监督学习的目标是在假设训练数据和测试数据来自相同分布的情况下训练分类器。为了缓解上述假设,研究人员研究了一种更现实的设置:分布外(OOD)检测,其中测试数据可能来自训练期间未知的类(即,OOD数据)。由于面向对象数据的不可获得性和多样性,良好的泛化能力是有效的面向对象检测算法的关键。为了研究面向对象检测的泛化问题,本文研究了面向对象检测的可能近似正确(PAC)学习理论。首先,我们找到了OOD检测的可学习性的必要条件。然后,利用这个条件,我们证明了几个不可能定理的学习OOD检测在某些情况下。虽然不可能性定理是令人沮丧的,我们发现,这些不可能性定理的某些条件可能不成立,在某些实际情况下。基于这一观察,我们接下来给出了几个充分必要条件来描述OOD检测在一些实际场景中的可学习性。最后,本文还对几个典型的面向对象检测工作提供了理论支持。
2023-02-23 cs.LG stat.ML
From learnable objects to learnable random objects
University of Pennsylvania(宾夕法尼亚大学);University of Oxford(牛津大学)
本文研究基类函数可学习性如何影响其派生统计函数类的可学习性,在PAC和在线学习下改进样本复杂度界,并给出可实现学习的反例。
2025-05-26 cs.LG cs.LO math.LO
Characterizing the Multiclass Learnability of Forgiving 0-1 Loss Functions
University of Michigan(密歇根大学);The Ohio State University(俄亥俄州立大学)
本文提出了一种新的组合维度,用于刻画多类设置中宽容0-1损失函数的学习性,并展示了其在其他学习设置中的应用。
2026-03-03 cs.LG stat.ML
Differentially Private Nonparametric Regression Under a Growth Condition
MIT(麻省理工学院)
给定一个实值的假设类$\mathcal{H}$,我们调查在什么条件下有一个差分隐私算法,学习一个最佳的假设从$\mathcal{H}$给定的i.i.d.数据受二元分类的相关设置的最近结果的启发(Alon等人,2019; Bun等人,Jung等人(2020)表明,在回归的设置中,$\mathcal{H}$的在线可学习性对于私人可学习性是必要的。这里,$\mathcal{H}$的在线可学习性的特征在于其$η$ -连续脂肪粉碎维度${\rm sfat}_η(\mathcal{H})$对于所有$η> 0$的有限性。在私人可学习性的充分条件方面,Jung等人(2020)表明,如果$\lim_{η\downarrow 0} {\rm sfat}_η(\mathcal{H})$是有限的,则$\mathcal{H}$是私人可学习的,这是一个相当严格的条件。我们证明,在宽松条件$\lim \inf_{η\downarrow 0} η\cdot {\rm sfat}_η(\mathcal{H}) = 0$下,$\mathcal{H}$是可私下学习的,从而为类$\mathcal{H}$建立了第一个非参数私人可学习性保证,其中${\rm sfat}_η(\mathcal{H})$与$η\downarrow 0$发散。我们的技术涉及一种新的过滤过程,输出稳定的假设非参数函数类。
2021-11-24 cs.CR cs.LG stat.ML
Online Learning and Disambiguations of Partial Concept Classes
McGill University(麦吉尔大学);Ohio State University(俄亥俄州立大学);University of Rochester(罗切斯特大学)
本文通过构造一个可在线学习但无法扩展为可学习的全概念类的部分概念类,解决了部分概念类在线可学习性是否继承自全概念类的开放问题。
2023-03-30 cs.CC cs.LG
PAC learnability versus VC dimension: a footnote to a basic result of statistical learning
Universidade Federal de Santa Catarina(圣卡塔琳娜联邦大学);University of Ottawa(渥太华大学)
统计学习理论的一个基本结果表明,一个概念类是PAC可学习的当且仅当它是一个均匀的Glivenko-Cantelli类当且仅当该类的VC维是有限的。然而,该定理仅在类的可测性的特殊假设下有效,在这种情况下,PAC可学习性甚至变得一致。否则,有一个经典的例子,由Dudley和Durst在连续统假设下构造,并由Blumer,Eschericht,Haussler和Warrant进一步改编,VC维1的概念类既不是均匀的Glivenko-Cantelli也不是一致的PAC可学习的。我们发现,而令人惊讶的是,在一个额外的集理论的假设,这是比连续统假设(马丁公理)温和得多,PAC的可学习性是相当于有限的VC维的每一个概念类。
2011-04-12 cs.LG
PAC Learnability in the Presence of Performativity
INSAIT
本文研究了在表现性影响下二分类问题的PAC可学习性,提出了一种表现性风险最小化方法,并通过实验验证其有效性。
2026-01-19 cs.LG stat.ML
Robust Learnability of Sample-Compressible Distributions under Noisy or Adversarial Perturbations
Department of Computer Engineering, Sharif University of Technology(计算机工程系,谢赫拉扎尔大学)
本文研究受噪声或对抗性损坏样本下的分布学习,提出扰动量化框架,证明样本可压缩分布族在充要条件下仍可PAC学习,并给出高维均匀混合与高斯混合的新样本复杂度界。
2025-06-07 cs.LG stat.ML
Online Infinite-Dimensional Regression: Learning Linear Operators
University of Michigan(密歇根大学)
本文研究无限维 Hilbert 空间间线性算子的在线平方损失回归,刻画 p-Schatten 范数有界类的可学习性,并证明算子范数有界类不可学及一致收敛与可学习性的分离。
2024-01-25 cs.LG stat.ML
A Theory of Optimistically Universal Online Learnability for General Concept Classes
Purdue University(普渡大学)
该研究完整刻画了{0,1}标签下的乐观通用在线可学习概念类,解答了数据过程最小假设与对应通用算法存在性问题,并将结果拓展至不可知场景,证明两类场景的最小假设与乐观通用可学习性均等价。
2025-01-15 cs.LG stat.ML
A Characterization of List Learnability
Stanford University(斯坦福大学)
学习理论中的一个经典结果证明了二元假设类的PAC可学习性与VC维的有限性的等价性。将其扩展到多类设置是一个开放的问题,最近通过Daniely和Shalev-Shwartz之前引入的DS维度表征多类PAC可学习性的突破性结果解决了这个问题。在这项工作中,我们考虑列表PAC学习的目标是输出一个列表的$k$预测。列表学习算法已经在几种环境中开发出来,事实上,列表学习在最近的多类可学习性特征中发挥了重要作用。在这项工作中,我们问:什么时候可以$k$ -列表学习一个假设类?我们完全描述了$k$ -列表的可学习性,我们称之为$k$ -DS维的DS维的推广。推广最近的多类可学习性的表征,我们表明,假设类是$k$ -列表可学习的当且仅当$k$ -DS维是有限的。
2023-03-26 cs.DS cs.LG stat.ML
On the non-efficient PAC learnability of conjunctive queries
University of Amsterdam(阿姆斯特丹大学);Leipzig University(莱比锡大学);TU Dortmund University(多特蒙德工业大学)
本文论述了合取查询在PAC模型中不可高效学习,证明了对受限CQs类的强否定结果,并表明成员查询下CQs和UCQs可高效学习。
2023-07-26 cs.AI cs.DB cs.LG
Predictive PAC learnability: a paradigm for learning from exchangeable input data
University of Ottawa(渥太华大学)
可交换随机变量是独立同分布理论的一个重要的推广。变量,但是简单的例子表明,没有非平凡的概念或函数类PAC学习下一般可交换的数据输入$X_1,X_2,\ldots$。受Berti和Rigo关于可交换输入的Glivenko-Cantelli定理的工作的启发,我们提出了一个新的范式,足以从可交换数据中学习:预测PAC可学习性。函数类$\mathscr F$的学习规则$\mathcal L$是预测PAC,如果对于每个$\e,δ>0$和每个函数$f\in {\mathscr F}$,无论何时$\absσ\geq s(δ,\e)$,我们都有信心$1-δ$,即$f(X_{n+1})$和$f\vertσ$在$\mathcal L$下的图像之间的期望差不超过$\e$,条件是$X_1,X_2,\ldots,X_n$。因此,而不是学习的功能$f$这样,我们正在学习一个给定的精度$\e$的预测行为$f$在未来点$X_i(ω)$,$i>n$的样本path. Using德Finetti的定理,我们表明,如果一个普遍可分的功能类$\mathscr F$是分布免费PAC下i.i.d.输入,那么它是在可交换输入下可学习的无分布预测PAC,具有稍微差的样本复杂度。
2010-08-22 cs.LG
Breaking the Solver Bottleneck: Training Task Generators at the Learnable Frontier
Vmax;Goodfire AI
提出PROPEL框架,通过训练轻量级激活探针作为求解率代理,在无需重复求解器评估的情况下优化任务生成器,使生成任务集中在可学习前沿,提升数学、代码和软件工程任务的有效性。
2026-06-18 cs.AI cs.CL cs.LG
Stability Conditions for Online Learnability
Carnegie Mellon University(卡内基梅隆大学)
稳定性是量化学习算法的输出对训练数据集中的小变化(例如单个训练样本的删除或替换)的敏感性的一般概念。这种条件最近已被证明是更强大的特点,在一般的学习设置下i.i.d.一致收敛对于可学习性不是必需的,但是稳定性对于可学习性是充分和必要的。我们在这里表明,类似的稳定性条件也足以在线学习,即是否存在一个学习算法,使任何序列的例子(可能选择对抗)产生一个序列的假设,没有遗憾的限制,在事后的最佳假设。我们引入在线稳定性,稳定性条件有关的均匀留一稳定性在批量设置,这是足够的在线学习。特别是,我们表明,流行类的在线学习者,即算法属于以下类别的(正规化)领导者,镜像下降,基于梯度的方法和随机算法,如加权多数和对冲,保证没有遗憾,如果他们有这样的在线稳定性。我们提供的例子表明,存在这样的稳定性条件的算法实际上可能是必要的在线学习。对于更严格的二进制分类设置,我们建立这样的稳定性条件实际上是充分和必要的。我们还表明,在一般的学习设置,即那些与次指数覆盖的概念,没有遗憾的在线算法,有这样的稳定性条件存在的一大类在线学习的问题。
2011-08-17 cs.LG stat.ML
Physics-Aware Learnability: From Set-Theoretic Independence to Operational Constraints
Institute for Convergence Research and Education in Advanced Technology(融合研究中心暨先进技术教育研究所);Yonsei University(延世大学);Department of Quantum Information(量子信息系);Department of Statistics and Data Science(统计与数据科学系)
本文提出物理意识可学习性概念,通过引入明确的物理协议模型,解决传统可学习性定义中的逻辑脆弱性问题,并在量子数据和有限无信号模型中实现了可判定性。
2026-02-28 cs.LG quant-ph
Characterizing Online and Private Learnability under Distributional Constraints via Generalized Smoothness
GeorgiaTech(佐治亚理工学院);MIT(麻省理工学院)
本文通过广义平滑性理论,研究了在分布约束下在线学习和隐私学习的可学习性条件,并提出了通用算法和改进的界限。
2026-02-24 cs.LG stat.ML
Exploiting Class Learnability in Noisy Data
Rensselaer Polytechnic Institute(伦斯勒理工学院);Air Force Research Laboratory(美国空军研究实验室)
在许多领域,为监督式机器学习收集足够的标记训练数据需要容易访问但有噪声的来源,例如众包服务或标记的Web数据。噪声标签经常出现在通过这些方法收集的数据集中,有时会导致整个类的数据,学习分类器概括不良。对于现实世界的应用程序,我们认为完全避免在这些类上进行训练是有益的。在这项工作中,我们的目标是探索给定数据集中的类,并引导监督训练在类上花费与其可学习性成比例的时间。通过聚焦训练过程,我们的目标是提高模型在具有强信号的类上的泛化能力。为此,我们开发了一种在线算法,结合分类器和训练算法,迭代地选择训练数据的分类器的基础上,以及它似乎对每个类的推广。在各种数据集上测试我们的方法,我们表明我们的算法学习专注于模型相对于强基线具有低泛化误差的类,从而产生在可学习类上具有良好性能的分类器。
2018-11-15 cs.LG stat.ML
Machine-learnable Sets
Department of Physics, Cornell(康奈尔大学物理系);Mathematics, Independent Researcher, India(印度数学家,独立研究员)
提出大离散集的机器可学习性形式定义,基于有界复杂度布尔自编码器,实验证明Rorschach模式及近似固定元素集的可学习性,并展示迭代演化使“野”集可学习。
2026-08-27 cs.AI cs.LG
Is Nash Equilibrium Approximator Learnable?
Peking University(北京大学);Shanghai Jiao Tong University(上海交通大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);King’s College London(伦敦国王学院);University College London(伦敦大学学院)
在本文中,我们研究的函数逼近器的可学习性,近似纳什均衡(NE)的游戏从一个分布。首先,我们使用可能近似正确(PAC)学习模型提供了一个泛化范围。该界限描述了NE近似器的预期损失和经验损失之间的差距。之后,我们证明了不可知PAC学习的纳什近似。除了理论分析,我们展示了NE近似在实验中的应用。训练的NE近似器可用于热启动和加速经典NE求解器。总之,我们的结果表明,通过函数逼近NE的实用性。
2023-03-14 cs.GT cs.LG cs.MA
Private List Learnability vs. Online List Learnability
本研究探讨PAC列表学习中差分隐私与在线学习的关联,证明多类场景下二者的等价性在列表学习中不成立,引入k-单调维新维度并给出DP k-列表可学习的两个必要条件,留下充分性开放问题。
2025-06-15 cs.DS cs.LG
Learnability and Algorithm for Continual Learning
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);ByteDance(字节跳动);KDDI Research(KDDI研究所)
本文证明类增量学习(CIL)是可学习的,并基于理论提出新算法,实验验证其有效性。
2023-06-22 cs.CV cs.LG
Stability and List-Replicability for Agnostic Learners
McGill University(麦吉尔大学);Ohio State University(俄亥俄州立大学)
本文针对不可知设定下全局稳定PAC可学习性限制过强的问题,刻画了两种松弛条件下的可学习假设类,解决了相关开放问题,强化了已有结论并明确了不同松弛条件的适用范围。
2025-05-16 cs.LG
Find a witness or shatter: the landscape of computable PAC learning
Centro Nacional de Inteligencia Artificial(国家人工智能中心);Instituto de Ingeniería Matemática y Computacional, Universidad Católica de Chile(智利天主教大学数学与计算工程学院);Instituto Milenio Fundamentos de los Datos(数据基础千年研究所);Institute of Fundamental Technological Research, Polish Academy of Sciences(波兰科学院基础技术研究所)
本文通过解决最近论文中的三个开放性问题,对CPAC可学习性(PAC学习的可计算版本)进行了研究。首先,我们证明了每一个不适当的CPAC学习类包含在一个类,这是适当的CPAC学习多项式样本复杂度。这证实了Agarwal等人的猜想(COLT 2021)。其次,我们证明了存在一类可判定的假设,这是正确的CPAC学习,但只有不可计算的快速增长的样本复杂性。这解决了Sterkenburg(COLT 2022)的一个问题。最后,我们构造了一个有限Littlestone维数的可判定类,它不是不适当的CPAC可学习的,加强了Sterkenburg(2022)的最近结果,并回答了Hasrati和Ben-David(ALT 2023)提出的一个问题。加上以前的工作,我们的研究结果提供了一个完整的景观在CPAC设置的可学习性问题。
2023-02-23 cs.CC cs.LG math.LO
The Connection Between Approximation, Depth Separation and Learnability in Neural Networks
Hebrew University(希伯来大学);Weizmann Institute of Science(魏茨曼科学研究所)
最近的几项工作已经显示了深度神经网络和具有较差近似能力的假设类(如浅网络或内核类)之间的分离结果。另一方面,深度网络可以有效地表达目标函数的事实并不意味着深度神经网络可以有效地学习该目标函数。在这项工作中,我们研究了可学习性和近似能力之间的复杂联系。我们表明,目标函数的深度网络的可学习性取决于更简单的类近似目标的能力。具体来说,我们证明了一个函数在深度神经网络上通过梯度下降可学习的必要条件是能够用浅神经网络近似函数,至少在弱意义上是这样。我们还表明,一类函数可以学习一个有效的统计查询算法,当且仅当它可以近似在一个弱意义上的一些内核类。我们给出了几个函数的例子,证明深度分离,并得出结论,他们不能有效地学习,即使是一个假设类,可以有效地近似它们。
2021-07-18 cs.LG cs.NE stat.ML
Understanding Boolean Function Learnability on Deep Neural Networks: PAC Learning Meets Neurosymbolic Models
Institute of Informatics, Federal University of Rio Grande do Sul(里约格兰德杜斯阿尔加维联邦大学信息学院);Federal University of Rio Grande do Sul(里约格兰德杜斯阿尔加维联邦大学);Department of Computer Science, Rice University(里士大学计算机科学系)
本文研究深度神经网络如何学习布尔公式,发现神经学习比纯符号方法泛化更好,且小而浅的网络能有效近似组合优化相关公式,为可解释神经符号AI提供了新见解。
2025-09-16 cs.LG stat.ML
Universal Multiclass Transductive Online Learning
Department of Computer Science, Purdue University, West Lafayette, IN 47907, USA.(计算机科学系,普渡大学,西拉法叶,印第安纳州,47907,美国)
研究具有可能无界标签空间的通用转导在线分类问题,通过引入“Level-Constrained-Littlestone-Littlestone (LCLL)树”和冷漠性质来刻画可学习性,并证明可学习类的最优错误率要么有界要么对数增长。
2026-05-28 cs.LG
On characterizations of learnability with computable learners
Munich Center for Mathematical Philosophy, LMU Munich(慕尼黑大学慕尼黑数学哲学中心);CWI Amsterdam(阿姆斯特丹国家数学与计算机科学研究所)
我们研究了Agarwal等人(2020)介绍的可计算PAC(CPAC)学习。首先,我们考虑主要的开放问题,找到适当的和不适当的CPAC学习的特征。我们给出了一个密切相关的强CPAC学习概念的特征,并对Agarwal等人(2021)提出的COLT开放问题提供了否定的答案,即所有decidually可表示的VC类是否都是不正确的CPAC可学习的。其次,我们考虑(可计算)PAC学习的不可判定性。我们给出了一个简单的一般参数来展示这样的ndecidability,并开始学习的算术复杂性的研究。我们简要讨论了与Ben-David等人(2019)的不可判定性结果的关系,这激发了Agarwal等人的工作。
2022-07-18 cs.LG
Multiclass learnability and the ERM principle
The Hebrew University(希伯来大学);University of Waterloo(滑铁卢大学)
我们研究了多类预测的样本复杂性在几个学习设置。对于PAC设置,我们的分析揭示了一个令人惊讶的现象:在鲜明的对比,二元分类,我们发现,存在多类假设类,其中一些经验风险最小化(ERM学习者)具有较低的样本复杂性比其他。此外,有些课程是一些机构风险管理学习者可以学习的,而其他机构风险管理学习者将无法学习它们。我们提出了一个原则,设计良好的ERM学习者,并使用这一原则证明紧界学习{ \em对称}多类假设类的样本复杂性-类的标签名称的排列下不变。我们进一步提供了一个表征的错误和遗憾界多类学习的在线设置和强盗设置,使用新的概括Littlestone的尺寸。
2014-11-24 cs.LG
Proper Learnability and the Role of Unlabeled Data
USC(USC大学)
研究探讨了在何种假设下问题可以正确学习,并证明了在分布固定的PAC模型中,样本复杂性可大幅减少,反驳了未标记数据在PAC学习中的作用。
2025-12-09 cs.LG stat.ML
Learning Linear Utility Functions From Pairwise Comparison Queries
Washington University in St Louis(圣路易斯华盛顿大学)
该研究探讨从成对比较查询学习线性效用函数的问题,发现被动学习下仅预测样本外响应可高效实现、参数恢复难,主动学习下两类目标均能高效学习,明确了两类学习范式的可学习性差距与主动选择查询的价值。
2024-06-19 cs.AI cs.CY cs.LG
Smoothed Online Classification can be Harder than Batch Classification
University of Michigan(密歇根大学)
本文证明在标签空间无界时,平滑在线分类可能比iid批量分类更难,构造了在PAC批量可学习但平滑在线不可学习的假设类,并给出PAC可学习性足以保证平滑在线可学习的条件。
2024-05-24 cs.LG
Constrained Learning with Universally Learnable Concept Classes
该研究在完全非凸设定下,建立无穷维假设类上对偶算法解的通用PACC学习性,引入闭包-实现间隙刻画可行性,证明最优值精确学习性,明确样本阈值为$1/\u03b5$的多项式,为大假设类上对偶学习提供规范框架。
2026-08-11 cs.LG math.OC math.ST
Margin in Abstract Spaces
研究间隔学习在任意度量空间中的可学习性,发现当间隔足够大时,仅依赖三角不等式即可学习,并揭示了可学习性的阈值,同时证明并非所有间隔可学习类都能嵌入到线性空间中。
2026-06-25 cs.LG math.FA
Realizable Learning is All You Need
Yale University(耶鲁大学)
本文提出首个模型无关的三行黑盒归约框架,统一证明可实现与不可知可学习性等价,并将其推广为学习算法性质从有限假设类到可学习假设类的泛化现象。
2024-02-03 cs.LG stat.ML
A Characterization of Multiclass Learnability
Technion-IIT(以色列理工学院);Weizmann Institute(魏茨曼科学研究所);Google Research(谷歌研究院)
学习理论中的一个开创性成果通过Vapnik-Chervonenkis维度表征了二元类的PAC可学习性。自20世纪80年代后期多类PAC学习的开创性工作以来,将这种特征扩展到一般的多类设置一直是开放的。这项工作解决了这个问题:我们通过DS维度来表征多类PAC的可学习性,DS维度是Daniely和Shalev-Shwartz(2014)定义的组合维度。二元情况的经典特征归结为经验风险最小化。相比之下,我们对多类情况的描述涉及到各种算法思想;其中包括我们称之为列表PAC学习的自然设置。在列表学习设置中,我们的目标不是预测给定的未知输入的单一结果,而是提供一个简短的预测菜单。我们的第二个主要结果涉及Natarajan维度,它一直是表征多类可学习性的核心候选者。Natarajan(1988)将这一维度作为PAC学习的障碍。Natarajan维度是否表征了PAC的可学习性,这在此后的几篇论文中一直是一个悬而未决的问题。这项工作提供了一个否定的答案:我们构造了一个Natarajan维数为1的不可学习类。对于构造,我们确定概念类和拓扑之间的基本联系(即,彩色单纯复形)。我们至关重要地依赖于一个深刻的和涉及建设双曲伪流形的Januszkiewicz和Swiatkowski。有趣的是,双曲性与学习问题直接相关,这些问题虽然没有明显的障碍,但很难解决。这是机器学习与数学不同领域富有成效的联系的另一个证明…
2022-03-03 cs.LG math.ST stat.TH
Learnability Gaps of Strategic Classification
Stanford(斯坦福大学);Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院);Technion(以色列理工学院);Toyota Technological Institute of Chicago(丰田芝加哥理工学院)
本文研究策略性分类与标准学习之间的可学习性差距,证明可学习类别在完全信息、仅操纵后数据及未知操纵图等设定下均策略性可学习,并给出近乎紧的样本复杂度、遗憾和错误界。
2024-02-29 cs.GT cs.LG
Distributionally-Constrained Adversaries in Online Learning
Columbia University(哥伦比亚大学)
本文提出分布约束对抗者框架,刻画可学习分布类,并证明对线性分类器等自然函数类,无需先验知识即可同时对抗任意可学习分布类内的对抗者。
2025-06-17 cs.LG math.ST stat.ML
Learnable and Instance-Robust Predictions for Online Matching, Flows and Load Balancing
Carnegie Mellon University(卡内基梅隆大学);Zhejiang University(浙江大学)
我们提出了一个新的模型,要求他们正式学习和实例强大的预测增强算法。可学习性确保可以从合理数量的过去数据中有效地构建预测。实例鲁棒性确保预测对于问题输入中的适度变化是鲁棒的,其中变化的度量可以是特定于问题的。实例鲁棒性坚持作为变化的函数的性能的平滑降级。理想情况下,性能永远不会比最坏情况下的边界差。这也使得预测能够客观地进行比较。我们设计了在线算法,预测网络流量分配问题和限制分配最大完工时间最小化。对于这两个问题,建立了两个关键属性:高质量的预测可以从先前实例的小样本中学习,并且这些预测对于随着底层问题实例的变化而平滑降级的错误是鲁棒的。
2021-07-02 cs.DS cs.LG
Algorithmic Principles For Multiclass Learning Are Hard To Come By: Limits of Regularization and Proper Learning
University of Chicago(芝加哥大学);Northwestern University(西北大学)
该研究解决统计学习理论中三个开放问题,证明多分类学习无法简化为恰当学习,恰当学习存在亚线性误差必要条件,且正则化不是通用学习器,同时给出SRM可学习性的充分条件。
2026-11-05 cs.LG stat.ML
Strategic PAC Learnability via Geometric Definability
Weizmann Institute of Science(魏茨曼研究院);University of Waterloo(滑铁卢大学);ETH Zurich(苏黎世联邦理工学院);University of Washington(华盛顿大学)
研究个体通过成本修改特征影响分类器决策的策略学习问题,证明在简单情况下策略行为可使易学问题变为不可学,并引入几何可定义性假设以控制样本复杂度。
2026-06-12 cs.LG math.AG
Ramsey Theorems for Trees and a General 'Private Learning Implies Online Learning' Theorem
Gran Sasso Science Institute (GSSI)(格兰萨索科学研究所);Purdue University(普渡大学);Technion(以色列理工学院);Google Research(谷歌研究院)
本研究针对更一般分类场景下DP可学习性是否蕴含在线可学习性的开放问题,通过建立树的拉姆齐型定理,直接基于Littlestone树推导给出肯定答案,证明一般分类任务中DP可学习性蕴含在线可学习性。
2024-08-14 cs.CR cs.DS cs.LG
Optimal Learners for Realizable Regression: PAC Learning and Online Learning
Ben-Gurion University(本-古里安大学);Purdue University(普渡大学);Yale University(耶鲁大学);Google Research(谷歌研究院)
本文针对可实现回归,在PAC学习和在线学习两种设置下提出新的组合维度与极小极大实例最优学习器,分别刻画了可学习性、ERM可学习性及最优累积损失,并解决了STOC '22中的一个开放问题。
2024-10-02 cs.AI cs.LG stat.ML
On the Complexity of Offline Reinforcement Learning with Q*-Approximation and Partial Coverage
University of Virginia(弗吉尼亚大学)
本文通过信息论下界证明 $Q^\star$ 可实现性与贝尔曼完备性在部分覆盖下不足以实现样本高效的离线强化学习,并提出一个通用决策-估计框架来统一和改进现有结果。
2026-11-20 cs.AI cs.LG stat.ML
Teacher Geometry Shapes Learnability in Teacher-Student Networks
EPFL(洛桑联邦理工学院);University of Oxford(牛津大学);RWTH Aachen(亚琛工业大学)
本研究通过分析教师几何对可学习性的影响,发现最大化节点不相似性可提高成功率,并提出调整学习率策略以优化教师-学生网络的训练。
2026-09-10 cs.AI cs.LG cs.NE
Deep Networks Learn Deep Hierarchical Models
Hebrew University of Jerusalem(耶路撒冷希伯来大学);Google Research(谷歌研究)
深度网络通过逐层SGD学习深度层次模型,揭示了层次结构在深度学习中的基础作用。
2026-01-01 cs.AI cs.LG