随机DFA是PAC可有效学习的
Random DFAs are Efficiently PAC Learnable
摘要:
由于Dana Angluin和Lev Reyzin发现的错误,这篇论文已被撤回。
英文摘要:
This paper has been withdrawn due to an error found by Dana Angluin and Lev Reyzin.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。
Random DFAs are Efficiently PAC Learnable
Leonid Aryeh Kontorovich
由于Dana Angluin和Lev Reyzin发现的错误,这篇论文已被撤回。
This paper has been withdrawn due to an error found by Dana Angluin and Lev Reyzin.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。
继续探索
Computably Continuous Reinforcement-Learning Objectives are PAC-learnable
该研究通过证明一致连续和可计算目标分别在样本与计算复杂度下是PAC可学习的,解决了非经典强化学习目标的PAC可学习性开放问题,并验证了三个文献目标,指导了新目标的设计。
VC Classes are Adversarially Robustly Learnable, but Only Improperly
我们研究学习一个adversarially强大的预测的问题。我们发现,任何假设类$\mathcal{H}$与有限的VC维是强大的PAC学习不适当的学习规则。不适当的要求是必要的,因为我们展示了具有有限VC维的假设类$\mathcal{H}$的例子,这些假设类不能用任何适当的学习规则鲁棒地学习PAC。
Stabiliser states are efficiently PAC-learnable
波函数的指数标度是量子系统的一个基本性质,对我们处理量子信息的能力具有深远的影响。其中这些特别相关的问题是量子态层析成像。态层析成像的目标是获得量子系统的完整描述,可以在计算学习理论的框架内进行分析。在这个模型中,量子态被证明是可能近似正确(PAC)的学习与样本复杂度的量子比特的数量成线性。然而,它是明确的,在一般情况下,量子态需要一个指数量的计算来学习。在这里,使用的结果从文献中的有效的经典模拟的量子系统,我们表明,稳定状态是有效的PAC学习。我们的结果解决了Aaronson [Proc. R. Soc. A,2088,(2007)]并提出学习理论作为探索量子计算能力的工具。
Learnable: Theory vs Applications
对机器学习问题的两种不同观点:应用学习(具有业务应用的机器学习)和不可知PAC学习进行了形式化和比较。我表明,在一定条件下,PAC可学习理论提供了一种解决应用学习问题的方法。然而,该理论要求训练集如此之大,以至于学习实际上毫无用处。我建议摆脱一些关于学习的理论误解,使理论更符合实践者的需求和经验。
Predictive PAC learnability: a paradigm for learning from exchangeable input data
可交换随机变量是独立同分布理论的一个重要的推广。变量,但是简单的例子表明,没有非平凡的概念或函数类PAC学习下一般可交换的数据输入$X_1,X_2,\ldots$。受Berti和Rigo关于可交换输入的Glivenko-Cantelli定理的工作的启发,我们提出了一个新的范式,足以从可交换数据中学习:预测PAC可学习性。函数类$\mathscr F$的学习规则$\mathcal L$是预测PAC,如果对于每个$\e,δ>0$和每个函数$f\in {\mathscr F}$,无论何时$\absσ\geq s(δ,\e)$,我们都有信心$1-δ$,即$f(X_{n+1})$和$f\vertσ$在$\mathcal L$下的图像之间的期望差不超过$\e$,条件是$X_1,X_2,\ldots,X_n$。因此,而不是学习的功能$f$这样,我们正在学习一个给定的精度$\e$的预测行为$f$在未来点$X_i(ω)$,$i>n$的样本path. Using德Finetti的定理,我们表明,如果一个普遍可分的功能类$\mathscr F$是分布免费PAC下i.i.d.输入,那么它是在可交换输入下可学习的无分布预测PAC,具有稍微差的样本复杂度。
Decision trees are PAC-learnable from most product distributions: a smoothed analysis
我们考虑PAC学习决策树的问题,即,从独立的随机标记的示例学习n维超立方体上的决策树。尽管付出了巨大的努力,但没有已知的多项式时间算法用于学习多项式大小的决策树(甚至是任何超常数大小的树),即使假设示例是从{0,1}^n上的均匀分布中提取的。我们给出了一个算法,学习任意多项式大小的决策树{ \em大多数产品分布}。特别地,考虑一个随机乘积分布,其中每个比特的偏置是独立且均匀地从[.49,.51]中选择的。然后,该算法将以产品分布参数和从中提取的随机示例的高概率学习任何树。更一般地说,在平滑分析的精神,我们考虑一个任意的产品分布,其参数被指定只有一个[-c,c]精度(扰动),为任意小的正常数c。
Contextual Decision Processes with Low Bellman Rank are PAC-Learnable
本文对具有丰富观测值和函数逼近的强化学习进行了系统的探索。我们引入了一个新的模型,称为上下文决策过程,统一和概括大多数先验设置。我们的第一个贡献是一个复杂性度量,贝尔曼排名,我们表明,使易于学习的接近最佳的行为在这些过程中,自然是小的许多研究充分的强化学习设置。我们的第二个贡献是一个新的强化学习算法,从事系统的探索,学习上下文决策过程与低贝尔曼排名。我们的算法可证明学习接近最优的行为与一些样本是多项式的所有相关参数,但独立于独特的意见。该方法使用Bellman误差最小化和乐观探索,并提供了新的见解有效的探索强化学习与函数逼近。
Learning-augmented smooth integer programs with PAC-learnable oracles
本文提出了一种基于PAC可学习预言机的强化平滑整数规划框架,通过线性规划和取整处理,将传统密集领域中的可计算近似扩展到近密集领域。
Resource-bounded Dimension in Computational Learning Theory
本文主要研究计算学习理论与资源受限维度之间的关系。我们打算在概念类的可学习性/不可学习性与其相应的有效维度大小之间建立密切联系,这将允许在计算学习中使用强大的维度技术,反之亦然,通过维度将学习结果导入复杂性。首先,我们得到了一个严格的结果,在线错误绑定可学习类的维数。其次,在PAC学习的关系中,我们证明了PAC可学习概念类的多项式空间维数为零。这提供了一个关于有效维度的假设,暗示了概念类固有的不可预测性(验证此属性的类是使用任何假设都不能有效学习PAC的类)。第三,关于可由成员查询算法学习的类的空间维数,主要结果证明了可由成员查询算法学习的概念类的多项式空间维数为零。
Adversarially Robust PAC Learnability of Real-Valued Functions
本文研究回归设定下测试时对抗攻击的鲁棒PAC可学习性,证明有限fat-shattering维数的函数类在可实现和不可知设定下均可学习,凸函数类可适当学习,而非凸函数类需要不适当学习,并构造了基于fat-shattering维数的对抗鲁棒样本压缩方案。
Computable learning of natural hypothesis classes
本文探讨介于统计学习理论与 efficient PAC 之间的可计算近似正确学习,利用可计算性理论中的 on-a-cone 机制证明,在温和假设下任何可学习的自然假设类必然是可计算学习的,说明先前反例均不自然。
Find a witness or shatter: the landscape of computable PAC learning
本文通过解决最近论文中的三个开放性问题,对CPAC可学习性(PAC学习的可计算版本)进行了研究。首先,我们证明了每一个不适当的CPAC学习类包含在一个类,这是适当的CPAC学习多项式样本复杂度。这证实了Agarwal等人的猜想(COLT 2021)。其次,我们证明了存在一类可判定的假设,这是正确的CPAC学习,但只有不可计算的快速增长的样本复杂性。这解决了Sterkenburg(COLT 2022)的一个问题。最后,我们构造了一个有限Littlestone维数的可判定类,它不是不适当的CPAC可学习的,加强了Sterkenburg(2022)的最近结果,并回答了Hasrati和Ben-David(ALT 2023)提出的一个问题。加上以前的工作,我们的研究结果提供了一个完整的景观在CPAC设置的可学习性问题。
Is Nash Equilibrium Approximator Learnable?
在本文中,我们研究的函数逼近器的可学习性,近似纳什均衡(NE)的游戏从一个分布。首先,我们使用可能近似正确(PAC)学习模型提供了一个泛化范围。该界限描述了NE近似器的预期损失和经验损失之间的差距。之后,我们证明了不可知PAC学习的纳什近似。除了理论分析,我们展示了NE近似在实验中的应用。训练的NE近似器可用于热启动和加速经典NE求解器。总之,我们的结果表明,通过函数逼近NE的实用性。
From learnable objects to learnable random objects
本文研究基类函数可学习性如何影响其派生统计函数类的可学习性,在PAC和在线学习下改进样本复杂度界,并给出可实现学习的反例。
PAC Learnability in the Presence of Performativity
本文研究了在表现性影响下二分类问题的PAC可学习性,提出了一种表现性风险最小化方法,并通过实验验证其有效性。
List Sample Compression and Uniform Convergence
研究列表学习中统一收敛和样本压缩原则的适用性,发现统一收敛仍等价于可学性,但样本压缩在特定标签空间下不成立。
On the non-efficient PAC learnability of conjunctive queries
本文论述了合取查询在PAC模型中不可高效学习,证明了对受限CQs类的强否定结果,并表明成员查询下CQs和UCQs可高效学习。
What is Learnable in Valiant's Theory of the Learnable?
本文研究了Valiant学习模型中可学习的类别,发现其严格介于PAC模型和无成员查询的变体之间,并首次提出了半空间在该模型中的学习算法。
Local Regularizers Are Not Transductive Learners
针对Asilis等人提出的局部正则化能否学习所有可学习多分类问题的开放问题,本文在转导学习模型中给出否定答案,基于密码学秘密共享构造反例,并指出扩展至PAC模型的挑战,为PAC/转导分离留下可能。
PAC Learning, VC Dimension, and the Arithmetic Hierarchy
我们计算出PAC可学习的概念类的索引集是$m$ -完备的$Σ^0_3$,在所有合理形式的概念类的索引集内。考虑的所有概念类都是可计算$Π^0_1$类的可计算枚举,在某种意义上在这里是精确的。这个概念类族足以覆盖所有标准示例,并且还具有PAC可学习性等价于有限VC维的性质。
Stability and List-Replicability for Agnostic Learners
本文针对不可知设定下全局稳定PAC可学习性限制过强的问题,刻画了两种松弛条件下的可学习假设类,解决了相关开放问题,强化了已有结论并明确了不同松弛条件的适用范围。
How Many Domains Suffice for Domain Generalization? A Tight Characterization via the Domain Shattering Dimension
本文在PAC框架下引入域破碎维度,刻画了域泛化中所需随机采样域的数量,并建立了与VC维度的紧定量关系。
Probably Approximately Correct Constrained Learning
随着学习解决方案在社会、工业和医疗领域的关键应用,减少他们的行为变得至关重要。现在有充分的证据表明,如果没有明确的定制,学习可能会导致有偏见的,不安全的和有偏见的解决方案。为了解决这些问题,我们开发了一个泛化理论的约束学习的基础上可能近似正确(PAC)的学习框架。特别是,我们表明,施加的要求并没有使学习问题更难的意义上说,任何PAC学习类也PAC约束学习使用的经验风险最小化(ERM)规则的约束对应。然而,对于典型的参数化模型,这种学习器涉及求解约束非凸优化程序,即使获得可行的解决方案也是具有挑战性的。为了克服这个问题,我们证明,在温和的条件下,约束学习的经验对偶问题也是一个PAC约束的学习者,现在导致一个实际的约束学习算法的基础上解决无约束的问题。我们分析了这个解决方案的泛化特性,并用它来说明如何约束学习可以解决公平和鲁棒分类的问题。
A Characterization of Multiclass Learnability
学习理论中的一个开创性成果通过Vapnik-Chervonenkis维度表征了二元类的PAC可学习性。自20世纪80年代后期多类PAC学习的开创性工作以来,将这种特征扩展到一般的多类设置一直是开放的。这项工作解决了这个问题:我们通过DS维度来表征多类PAC的可学习性,DS维度是Daniely和Shalev-Shwartz(2014)定义的组合维度。二元情况的经典特征归结为经验风险最小化。相比之下,我们对多类情况的描述涉及到各种算法思想;其中包括我们称之为列表PAC学习的自然设置。在列表学习设置中,我们的目标不是预测给定的未知输入的单一结果,而是提供一个简短的预测菜单。我们的第二个主要结果涉及Natarajan维度,它一直是表征多类可学习性的核心候选者。Natarajan(1988)将这一维度作为PAC学习的障碍。Natarajan维度是否表征了PAC的可学习性,这在此后的几篇论文中一直是一个悬而未决的问题。这项工作提供了一个否定的答案:我们构造了一个Natarajan维数为1的不可学习类。对于构造,我们确定概念类和拓扑之间的基本联系(即,彩色单纯复形)。我们至关重要地依赖于一个深刻的和涉及建设双曲伪流形的Januszkiewicz和Swiatkowski。有趣的是,双曲性与学习问题直接相关,这些问题虽然没有明显的障碍,但很难解决。这是机器学习与数学不同领域富有成效的联系的另一个证明…
扫码添加微信好友,提出您的宝贵建议 👇
💡 备注请填写:网站反馈
发表机构由 AI 从论文文本抽取,如发现错误,欢迎反馈修正建议。