多任务学习的局部Rademacher复杂性学习保证

基于覆盖数的局部Rademacher复杂性界

Local Rademacher Complexity Bounds based on Covering Numbers

本文给出了控制局部Rademacher复杂性的一个一般性结果，它以一种优雅的形式将具有期望范数约束的复杂性与相应的具有经验范数约束的复杂性联系起来.这一结果便于实际应用，并能对满足一般熵条件的函数类给出精确的局部Rademacher复杂性界。我们证明了我们的复杂性界限的权力，通过应用它们来获得有效的泛化误差界限。

多标记学习的局部拉德马赫复杂度

Local Rademacher Complexity for Multi-label Learning

分析了基于经验风险最小化（ERM）的多标签学习算法的局部拉德马赫复杂度，并在此基础上提出了一种新的多标签学习算法.我们不是使用迹范数来正则化多标签预测器，而是在多标签学习中最小化预测器奇异值的尾和。由于利用了局部拉德马赫复杂度，该算法具有更高的泛化误差界和更快的收敛速度.与最小化所有奇异值的方法相比，集中于尾部奇异值导致更好地恢复多标签预测器的低秩结构，这在利用标签相关性方面起着重要作用。我们提出了一个新的条件奇异值阈值算法来解决由此产生的目标函数。在真实数据集上的实验验证了理论结果，并证明了算法的有效性.

通过算法相关Rademacher复杂度获得泛化保证

Generalization Guarantees via Algorithm-dependent Rademacher Complexity

本文提出基于算法相关且数据相关的经验Rademacher复杂度来刻画泛化误差，据此得到有限分形维数新界、简化随机梯度下降的维数无关泛化界证明，并恢复VC类与压缩方案的结果。

惩罚多类半监督算法的拉德马赫复杂度界

Rademacher Complexity Bounds for a Penalized Multiclass Semi-Supervised Algorithm

我们提出了拉德马赫复杂度界限的两步半监督模型训练的多类分类器。在第一步中，该算法划分部分标记的数据，然后使用标记的训练样本来识别包含$κ$主导类的密集聚类，使得它们的非主导类的比例低于固定阈值。在第二步骤中，通过最小化标记的训练集上的边际经验损失和惩罚项来训练分类器，该惩罚项测量学习者预测所识别的聚类的$κ$主导类的能力。由此产生的数据依赖的泛化误差界涉及的边缘分布的分类，在第一步中使用的聚类技术的稳定性和拉德马赫复杂度项对应于部分标记的训练数据。我们的理论结果表现出的收敛速度，在文献中提出的二进制的情况下，和不同的多类分类问题的实验结果表明，支持理论的经验证据。

基于L1范数的Rademacher复杂度的依赖数据的早停规则

A Data-dependent Early Stopping Rule using Rademacher Complexity with L1-norm

本研究提出一种基于L1范数Rademacher复杂度的分析框架，无需训练即可估计早停最优时间，可应用于线性模型及经线性探测方法适配的非线性神经网络。

Rademacher complexity and spin glasses: A link between the replica and statistical theories of learning

Statistical learning theory provides bounds of the generalization gap, using in particular the Vapnik-Chervonenkis dimension and the Rademacher complexity. An alternative approach, mainly studied in the statistical physics literature, is the study of generalization in simple synthetic-data models. Here we discuss the connections between these approaches and focus on the link between the Rademacher complexity in statistical learning and the theories of generalization for typical-case synthetic models from statistical physics, involving quantities known as Gardner capacity and ground state energ…

不可知论通过反驳学习

Agnostic Learning by Refuting

学习布尔值函数类的样本复杂度的精确特征是其Rademacher复杂度。然而，这与\emph{efficient}不可知学习的样本复杂度关系不大。我们介绍了\emph{refutation complexity}，一个自然的计算模拟的Rademacher复杂性的布尔概念类，并表明它完全表征的样本复杂性的\emph{efficient}不可知学习。非正式地，类$\mathcal{C}$的反驳复杂度是有效区分标签与$\mathcal{C}$的某个成员的评估（\emph{structure}）相关的情况和标签是i.i.d.的情况所需的示例-标签对的最小数量。Rademacher随机变量（\emph{noise}）。这种关系的容易方向被隐含在最近的框架不适当的PAC学习下限的Daniely和合作者通过连接到反驳随机约束满足问题的难度。我们的工作可以被看作是使不可知学习和反驳之间的关系隐含在他们的工作到一个明确的等价。在最近的一项独立工作中，Salil Vadhan发现了在可实现（即无噪声）情况下反驳和PAC学习之间的类似关系。

位置编码的影响：基于上下文回归的Transformer清洁与对抗Rademacher复杂性

Impact of Positional Encoding: Clean and Adversarial Rademacher Complexity for Transformers under In-Context Regression

本文分析了位置编码对Transformer在上下文回归中的泛化能力的影响，提出清洁和对抗Rademacher复杂性的理论框架，证明位置编码扩大了泛化差距，并通过实验验证了其在对抗攻击下的脆弱性。

基于移位Rademacher过程的快速PAC-Bayes推广界

Fast-rate PAC-Bayes Generalization Bounds via Shifted Rademacher Processes

Rademacher复杂性和PAC-Bayesian理论的发展在很大程度上是独立的。一个例外是Kakade，Sridharan和Tewari（2008）的PAC-Bayes定理，它是通过Rademacher复杂性理论将Gibbs分类器视为线性算子而建立的。本文的目标是扩展Rademacher复杂性和最先进的PAC-Bayesian理论之间的桥梁。我们首先证明了可以使用移位Rademacher过程（Wegkamp，2003; Lecué和Mitchell，2012; Zhivotovskiy和Hanneke，2018）来匹配Catoni的PAC-Bayes边界（Catoni，2007）的快速速率。然后，我们推导出一个新的快速PAC-Bayes界的经验风险表面上的后集中的“平坦度”。我们的分析建立了一个新的框架，推导出快速PAC-Bayes界，并产生新的见解PAC-Bayes理论。

自适应统计分析中基于Rademacher复杂度的rControlling功效和置信度方法

A Rademacher Complexity Based Method fo rControlling Power and Confidence Level in Adaptive Statistical Analysis

虽然标准的统计推断技术和机器学习泛化边界假设测试是在独立于假设的数据上运行的，但实际的数据分析和机器学习通常是迭代和自适应的过程，其中相同的保留数据通常用于测试一系列假设（或模型），这些假设（或模型）可能各自取决于先前对相同数据的测试结果。在这项工作中，我们提出了RadaBound一个严格的，有效的和实用的程序，用于控制泛化误差时，使用的多个自适应测试的保持样本。我们的解决方案是基于一个新的应用程序的Rademacher复杂性的泛化界限，适应相关的测试。我们证明了我们的方法的统计能力和实用性，通过广泛的模拟和替代方法的比较。

Rademacher复杂度和Dudley熵积分的泛化误差界的Lean形式化

Lean Formalization of Generalization Error Bound by Rademacher Complexity and Dudley's Entropy Integral

本文在Lean 4中形式化了基于Rademacher复杂度的泛化误差界，通过形式化对称化论证、有界差异分析和McDiarmid不等式，并扩展到可数假设类及可分离拓扑索引集，最后应用得到线性预测器的经验Rademacher界和Dudley熵积分界。

A Moment-Matching Approach to Testable Learning and a New Characterization of Rademacher Complexity

A remarkable recent paper by Rubinfeld and Vasilyan (2022) initiated the study of \emph{testable learning}, where the goal is to replace hard-to-verify distributional assumptions (such as Gaussianity) with efficiently testable ones and to require that the learner succeed whenever the unknown distribution passes the corresponding test. In this model, they gave an efficient algorithm for learning halfspaces under testable assumptions that are provably satisfied by Gaussians. In this paper we give a powerful new approach for developing algorithms for testable learning using tools from moment matc…

Hypothesis Set Stability and Generalization

We present a study of generalization for data-dependent hypothesis sets. We give a general learning guarantee for data-dependent hypothesis sets based on a notion of transductive Rademacher complexity. Our main result is a generalization bound for data-dependent hypothesis sets expressed in terms of a notion of hypothesis set stability and a notion of Rademacher complexity for data-dependent hypothesis sets that we introduce. This bound admits as special cases both standard Rademacher complexity bounds and algorithm-dependent uniform stability bounds. We also illustrate the use of these learni…

加权自动机的广义界

Generalization Bounds for Weighted Automata

本文研究了从有限个标记训练样本中学习加权自动机的问题。我们考虑几个一般的加权自动机家族，它们是根据三种不同的度量定义的：自动机权重的范数、自动机计算的函数的范数或相应的汉克尔矩阵的范数。我们提出了新的数据相关的泛化保证学习加权自动机表示这些家庭的Rademacher复杂性。我们进一步提出了这些Rademacher复杂性的上界，揭示了与学习加权自动机的复杂性相关的关键新数据依赖项。

ZigZag：一种新的自适应在线学习方法

ZigZag: A new approach to adaptive online learning

我们开发了一个新的家庭的算法的在线学习设置与遗憾对任何数据序列的经验Rademacher的复杂性，该序列的界限。为了发展一个关于何时可以实现这种类型的自适应遗憾界的一般理论，我们建立了与Banach空间中鞅的解耦不等式理论的联系。当假设类是一组在某个范数下有界的线性函数时，这样的后悔界是可达到的当且仅当范数满足一定的鞅解耦不等式。唐纳德·伯克霍尔德（Donald Burkholder）对解耦不等式的著名几何刻画（1984年）指出，这样的不等式成立当且仅当存在一个特殊的函数，称为伯克霍尔德函数，满足某些限制的非线性性质。我们的在线学习算法在查询这个函数方面是有效的。我们实现我们的一般理论，给出新的有效算法类，包括LP规范，Schatten p-规范，群规范，再生核希尔伯特空间。经验Rademacher复杂性遗憾界限意味着-当用于i.i.d.设置-在线到批处理转换后的过度风险的数据依赖复杂性。为了展示经验Rademacher复杂性遗憾界的力量，我们得到了改进的率与低秩专家任务和在线矩阵预测任务的在线学习的监督学习推广。除了获得严格的数据相关的遗憾界限，我们的算法享有提高效率比以前的技术的基础上Rademacher复杂性，自动工作在无限的地平线设置，是无标度的。为了获得这样的自适应方法，我们引入了新的机械，所得到的算法不是基于在线凸优化的标准工具。

限制玻尔兹曼机的Rademacher复杂性

Rademacher Complexity of the Restricted Boltzmann Machine

玻尔兹曼机作为深度信念网络和深度玻尔兹曼机的基本构造模块，在深度学习领域得到了广泛的应用，并取得了巨大的成功。然而，理论界对它的许多方面的认识还远未明晰。本文研究了渐近限制玻尔兹曼机的Rademacher复杂性和用单步对比发散（CD-1）方法实现的Rademacher复杂性。我们的研究结果揭示了一个事实，即实际的实施培训过程确实增加了限制玻尔兹曼机的Rademacher复杂性。进一步的研究方向可能是调查的VC维的CD-1程序中使用的组成功能。

基于Lipschitz增强的深度神经网络的数据依赖样本复杂度

Data-dependent Sample Complexity of Deep Neural Networks via Lipschitz Augmentation

现有的神经网络的Rademacher复杂性边界仅依赖于权重矩阵的范数控制，并且通过矩阵范数的乘积指数地依赖于深度。下限表明，当不考虑训练数据的附加属性时，这种对深度的指数依赖性是不可避免的。我们怀疑这个难题来自于这样一个事实，即这些界限只通过余量依赖于训练数据。在实践中，许多数据相关的技术，如Batchnorm，提高了泛化性能。对于前馈神经网络和RNN，我们通过考虑网络的其他数据相关属性来获得更严格的Rademacher复杂度界限：网络隐藏层的范数，以及每层相对于所有先前层的雅可比矩阵的范数。当这些经验量很小时，我们的边界在深度上是多项式的，这在实践中通常是这样的。为了获得这些界限，我们开发了一般的工具，用于增强一系列的功能，使其组成Lipschitz，然后覆盖增广功能。受我们理论的启发，我们在训练过程中直接正则化网络的雅可比矩阵，并实证证明这提高了测试性能。

基于加权Rademacher复杂度的近似推理

Approximate Inference via Weighted Rademacher Complexity

Rademacher复杂度通常用于描述假设类的可学习性，并且已知与类的大小有关。我们利用这一观察，并介绍了一种新的技术来估计任意加权集的大小，定义为集合中所有元素的权重之和。我们的技术提供了一个新的广义Rademacher复杂性的加权设置的加权集大小的上限和下限。这推广了Massart引理，一个已知的上界的Rademacher复杂性的未加权集的大小。我们表明，加权Rademacher复杂性可以通过解决随机扰动优化问题来估计，使我们能够推导出任何加权集的大小的高概率界。我们将我们的方法应用到计算Ising模型的配分函数和计算命题模型计数（#SAT）的问题。我们的实验表明，我们可以产生更严格的界限比竞争的方法在加权和未加权的设置。

度量和相似性学习的推广界

Generalization Bounds for Metric and Similarity Learning

最近，度量学习和相似性学习吸引了大量的兴趣。已经提出了许多模型和优化算法。然而，有相对较少的工作，这些方法的推广分析。在本文中，我们推导出新的推广界的度量和相似性学习。特别是，我们首先表明，推广分析减少到估计的Rademacher平均超过“总和的i.i.d.“与特定矩阵范数相关的样本块。然后，我们通过估计其特定的Rademacher复杂度，推导出具有不同矩阵范数正则化器的度量/相似性学习的泛化界。我们的分析表明，稀疏度量/相似性学习与$L^1$ -范数正则化可以导致显着更好的界限比Frobenius-范数正则化。我们的新的泛化分析发展和完善的U-统计和Rademacher复杂性分析的技术。

迈向高效的对比PAC学习

Towards Efficient Contrastive PAC Learning

本文研究线性表示对比学习的PAC可学习性，先证明一般情形难以求解，再通过半定规划松弛提出首个高效PAC学习算法，并建立基于Rademacher复杂度的泛化保证。

学习随机标签预测作为神经网络复杂度度量

Learned Random Label Predictions as a Neural Network Complexity Metric

该研究通过引入可遗忘随机标签的多头CNN架构，将学习随机标签预测用作复杂度度量分析正则化效果、挑战传统CNN认知，并提出新型正则器减少样本记忆，为神经网络复杂度研究提供新方法。

解耦并压缩的编码器用于具有Rademacher保证的分布外推理

Disentangled and Distilled Encoder for Out-of-Distribution Reasoning with Rademacher Guarantees

本文提出了解耦压缩编码器框架，通过约束优化保持解耦性，以减少模型大小用于资源受限设备的分布外推理。

Dobrushin条件下弱相依数据的学习

Learning from weakly dependent data under Dobrushin's condition

统计学习理论在很大程度上集中在独立同分布（i.i.d.）的学习和推广上。样品受涉及时间序列数据的应用的启发，在从遍历过程采样数据的设置中，关于学习和泛化的文献越来越多。这项工作还开发了复杂性措施，适当地扩展了Rademacher复杂性的概念，以限制在此设置的假设类的泛化误差和学习率。而不是时间序列数据，我们的工作是由设置数据在网络或空间域上采样，因此不适合在以前的工作框架。我们提供的学习和推广边界的数据是复杂的依赖，但他们的分布满足标准的Dobrushin的条件。事实上，我们表明，高斯和Rademacher复杂性和VC维的标准复杂性措施是足够的复杂性措施的目的，在我们的设置限制的泛化误差和学习率的假设类。此外，我们的泛化边界只降低了常数因子相比，他们的i.i.d.。类似物，并且我们的可学习性界限在训练集的大小中以对数因子退化。

关于ReLU网络与规模无关的样本复杂度

On Size-Independent Sample Complexity of ReLU Networks

本文研究ReLU神经网络的样本复杂度，提出一种改进的Rademacher复杂度界，消除了深度平方根因子，实现与网络规模无关且无显式深度依赖的泛化保证。

耦合非线性非线性降阶的基础

Foundations of Coupled Nonlinear Dimensionality Reduction

在本文中，我们介绍和分析了\emph{coupled nonlinear dimensionality reduction}的学习场景，它结合了机器学习管道的两个主要步骤：投影到流形上和随后的监督学习。首先，我们提出了新的泛化界，这种情况下，第二，我们引入了一个算法，从这些界限。泛化误差界是基于对相关假设集的经验拉德马赫复杂度的仔细分析。特别是，我们显示了一个上限的拉德马赫复杂度性是在$\widetilde O(\sqrt{Λ_{(r)}/m})$，其中$m$是样本量和$Λ_{(r)}$上界的Ky-Fan $r$ -范数的相关的内核矩阵。我们给出了Ky-Fan $r$ -范数的上下界保证，这有力地证明了我们假设集的定义。据我们所知，这些是耦合降维问题的第一个学习保证。我们的分析和学习保证进一步适用于几种特殊情况，例如使用固定内核进行监督降维，或者对内核进行无监督学习进行降维，然后使用监督学习算法。在理论分析的基础上，我们提出了一个结构风险最小化算法，该算法由低维流形和该流形上的分离函数的耦合拟合组成。

顺序重要吗：连接鲁棒性定律与鲁棒泛化

Does Order Matter : Connecting The Law of Robustness to Robust Generalization

本文通过全局和局部Rademacher复杂度，将鲁棒性定律（Lipschitz常数下界）与鲁棒泛化误差联系起来，证明了对任意数据分布，全局Lipschitz界阶不变，而局部Lipschitz界阶随扰动半径和局部浓度项变化。

基于损失梯度高斯宽度的泛化与优化保证

Loss Gradient Gaussian Width based Generalization and Optimization Guarantees

本文提出以损失梯度高斯宽度（LGGW）度量梯度复杂度，在包含 PL 条件的梯度支配条件下建立泛化与优化保证，并证明小 LGGW 下样本重用不会使经验梯度偏离总体梯度，同时用特征提取器高斯宽度界定深度网络的单样本 LGGW，为深度模型紧致界提供新途径。

神经网络的样本复杂性

Size-Independent Sample Complexity of Neural Networks

我们研究学习神经网络的样本复杂性，通过提供新的界限，其Rademacher复杂性假设范数约束的参数矩阵的每一层。与以前的工作相比，这些复杂性边界对网络深度的依赖性有所改善，并且在一些额外的假设下，完全独立于网络大小（深度和宽度）。这些结果是使用一些新的技术，这可能是独立的利益。

有限函数类的渐近序列Rademacher复杂性

Asymptotic sequential Rademacher complexity of a finite function class

对于一个有限的功能类，我们描述的顺序Rademacher复杂性的大样本极限的粘性解决方案的$G$热方程。在彭的次线性期望理论的语言中，相同的量等于多维$G$ -正态随机变量的最大顺序统计量的期望值。我们说明了这一结果，推导出的渐近顺序Rademacher复杂性的上限和下限。

平滑损失下学习的乐观率

Optimistic Rates for Learning with a Smooth Loss

对于具有H-光滑损失函数和Rademacher复杂度为Rn的假设类的经验风险最小化问题，我们建立了O（HRn^2 + Rn \sqrt{H L*}）的超额风险界，其中L* 是假设类所能达到的最佳风险.对于R_n = \sqrt{R/n}的典型假设类，这在可分离（L*=0）的情况下转化为O（RH/n）的学习率，更一般地转化为O（RH/n + \sqrt{L^* RH/n}）。我们还提供了类似的保证，在线和随机凸优化与光滑的非负目标。

学习投影梯度下降求解器迭代的复杂度界与方法

Complexity Bounds and Approaches to Learning Projected Gradient Descent Solver Iterates

针对数据稀缺挑战，研究用k邻域数据收集策略扩充训练数据，推导泛化界，以投影梯度下降求解单边盒约束二次规划为例说明，提高数据-模型-优化循环效率，实现更强大的DDDAS范式，并与GLENS联系。

最优性意味着核和分类器在统计上是有效的

Optimality Implies Kernel Sum Classifiers are Statistically Efficient

为了分析最优核和分类器的样本复杂度，我们提出了一种新的优化工具与学习理论界的组合。这与适用于所有（潜在次优）分类器的典型学习理论结果形成对比。我们的工作也证明了在以前的工作中对多内核学习的假设。作为我们分析的副产品，我们还提供了一种新形式的Rademacher复杂性的假设类只包含最佳分类。

半监督向量值学习：改进的界与算法

Semi-supervised Vector-valued Learning: Improved Bounds and Algorithms

针对向量值学习问题，结合局部Rademacher复杂度与未标记数据推导更紧的半监督超额风险界，据此提出融合拉普拉斯正则化的通用算法，实验验证其性能更优。

Rademacher复杂度的$\ell_{\infty}$向量压缩

$\ell_{\infty}$ Vector Contraction for Rademacher Complexity

我们表明，任何$\mathbb{R}^{K}$值的函数类组成的$\ell_{\infty}$ -Lipschitz函数的Rademacher复杂性是有界的最大Rademacher复杂性的限制的功能类沿每个坐标，乘以一个因素的$\tilde{O}(\sqrt{K})$。

Approximate Description Length, Covering Numbers, and VC Dimension

Recently, Daniely and Granot [arXiv:1910.05697] introduced a new notion of complexity called Approximate Description Length (ADL). They used it to derive novel generalization bounds for neural networks, that despite substantial work, were out of reach for more classical techniques such as discretization, Covering Numbers and Rademacher Complexity. In this paper we explore how ADL relates to classical notions of function complexity such as Covering Numbers and VC Dimension. We find that for functions whose range is the reals, ADL is essentially equivalent to these classical complexity measures.…

On the Rademacher Complexity of Linear Hypothesis Sets

Linear predictors form a rich class of hypotheses used in a variety of learning algorithms. We present a tight analysis of the empirical Rademacher complexity of the family of linear hypothesis classes with weight vectors bounded in $\ell_p$-norm for any $p \geq 1$. This provides a tight analysis of generalization using these hypothesis sets and helps derive sharp data-dependent learning guarantees. We give both upper and lower bounds on the Rademacher complexity of these families and show that our bounds improve upon or match existing bounds, which are known only for $1 \leq p \leq 2$.

$\left( β, \varpi \right)$ -交叉验证的稳定性和折叠次数的选择

$\left( β, \varpi \right)$-stability for cross-validation and the choice of the number of folds

本文提出了交叉验证稳定性的新概念--$\left( β, \varpi \right)$ -稳定性，并以此作为交叉验证一般理论的新视角。$\left( β, \varpi \right)$ -稳定性通过拉德马赫复杂度在数学上将交叉验证模型的泛化能力和稳定性联系起来。我们的结果从数学上揭示了交叉验证的效果：一方面，交叉验证通过验证测试集上的所有替代方案来选择具有最佳经验推广能力的模型;另一方面，交叉验证可能会导致亚抽样误差，从而损害模型选择的稳定性。此外，q \textsuperscript{th}轮中的训练误差和测试误差之间的差异，有时被称为泛化误差，可能在q上自相关。在上述思想的指导下，$\left( β, \varpi \right)$ -稳定性帮助我们推导出一类新的Rademacher界，称为单轮/卷积Rademacher界，用于在i.i.d.\非i.i.d.例对于轻尾和重尾损失，新的界限量化的交叉验证模型的一轮/平均测试误差的稳定性，在其一轮/平均训练误差，样本量$n$，折叠$K$的数量，尾部属性的损失（编码为Orlicz- $Ψ_ν$规范）和拉德马赫复杂度的模型类$Λ$。新的一类边界不仅定量地揭示了交叉验证模型的泛化能力的稳定性，它还显示了经验的最佳选择的折叠次数$K$，在一轮/平均测试误差的上限是最低的，或者，换句话说，在那里的测试误差是最稳定的。

AI Uncertainty Based on Rademacher Complexity and Shannon Entropy

In this paper from communication channel coding perspective we are able to present both a theoretical and practical discussion of AI's uncertainty, capacity and evolution for pattern classification based on the classical Rademacher complexity and Shannon entropy. First AI capacity is defined as in communication channels. It is shown qualitatively that the classical Rademacher complexity and Shannon entropy used in communication theory is closely related by their definitions, given a pattern classification problem with a complexity measured by Rademacher complexity. Secondly based on the Shanno…

使用总路径变分的深度网络的复杂性、统计风险和度量熵

Complexity, Statistical Risk, and Metric Entropy of Deep Nets Using Total Path Variation

对于任何ReLU网络，都有一种表示，其中每个节点的权重的绝对值之和正好是$1$，并且输入层变量乘以与路径权重的总变化一致的值$V$。高斯复杂性，拉德马赫复杂度，统计风险，和度量熵，所有这些都被证明是成比例的$V$的影响。除了输入$d$的数量之外，不依赖于每层的节点数量。对于具有亚高斯噪声的估计，可以获得的均方泛化误差界是$V \sqrt{L + \log d}/\sqrt{n}$阶，其中$L$是层数，$n$是样本量。

直推Rademacher复杂度及其应用

Transductive Rademacher Complexity and its Applications

我们开发了一种技术，用于推导数据相关的误差界的基础上的转导Rademacher复杂性的转导学习算法。我们的技术是基于一种新的一般错误的转导Rademacher复杂性方面，连同一种新的边界技术Rademacher平均特定的算法，在他们的“未标记的标记”表示。这种技术是相关的许多先进的基于图的转换算法，我们证明了它的有效性，通过推导误差界三个众所周知的算法。最后，我们提出了一个新的PAC-Bayesian界的基础上，我们的Rademacher界的混合物的转换算法。

大偏置诱导的稀疏激活神经网络：基于偏置广义NTK的更紧致分析

Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK

该研究针对偏置常数初始化的单隐层ReLU网络，提出偏置广义NTK框架，证明其训练全程稀疏激活且收敛速度与稠密网络相当，还得到首个依赖稀疏度的Rademacher泛化界及更紧致的核最小特征值下界。

马尔可夫数据上等变网络的泛化界

Generalization Bounds for Equivariant Networks on Markov Data

本研究针对马尔可夫数据上的等变神经网络，应用新的McDiarmid不等式推导泛化界，并利用群论计算覆盖数获得Rademacher复杂度上界，为选择低维不可约表示以提升泛化性能提供理论指导。

Uniform Generalization Bound on Time and Inverse Temperature for Gradient Descent Algorithm and its Application to Analysis of Simulated Annealing

In this paper, we propose a novel uniform generalization bound on the time and inverse temperature for stochastic gradient Langevin dynamics (SGLD) in a non-convex setting. While previous works derive their generalization bounds by uniform stability, we use Rademacher complexity to make our generalization bound independent of the time and inverse temperature. Using Rademacher complexity, we can reduce the problem to derive a generalization bound on the whole space to that on a bounded region and therefore can remove the effect of the time and inverse temperature from our generalization bound. …

改进泛化界的多任务分类假设空间

Multi-Task Classification Hypothesis Space with Improved Generalization Bounds

本文提出了一种RKHS，在一般情况下，向量值函数的目的是作为假设空间的多任务分类。它扩展了以前在文献中考虑过的类似假设空间。假设这个空间，一个改进的经验Rademacher复杂性为基础的推广界。分析本身扩展到MKL设置。建议的假设空间和一个Group-Lasso型正则化之间的连接进行了讨论。最后，实验结果，与一些基于SVM的多任务学习问题，强调的质量所得出的界限，并验证了本文的分析。

分析多模态感知对模仿学习中样本复杂度与优化景观的影响

Analyzing the Impact of Multimodal Perception on Sample Complexity and Optimization Landscapes in Imitation Learning

本文基于统计学习理论，分析了多模态感知对模仿学习样本复杂度与优化景观的影响，证明适当集成的多模态策略优于单模态策略，并从理论框架解释了PerAct和CLIPort等架构的卓越性能。

图神经网络的拉德马赫复杂度：统一表达性与几何

On the Rademacher Complexity of Graph Neural Networks: Unifying Expressivity and Geometry

该研究针对图神经网络（GNNs）泛化与表达性的权衡，采用依赖数据的经验拉德马赫复杂度，推导结合GNN表达力与输入空间几何的紧泛化界，扩展至任意GNN架构，助力GNN泛化统一理论构建。

流形正则化的分布依赖与独立复杂性分析

A Distribution Dependent and Independent Complexity Analysis of Manifold Regularization

流形正则化是半监督学习中常用的一种技术。它强制分类规则相对于数据流形是平滑的。在这里，我们基于模型的伪维数推导出样本复杂度边界，该模型将凸数据相关正则化项添加到监督学习过程中，特别是在流形正则化中。然后，我们将这些半监督方法的界限与纯监督方法进行比较，并讨论了半监督方法只能不断改进的设置，忽略对数项。通过查看流形正则化作为一个核心的方法，然后我们推导出Rademacher界限，允许分布相关的分析。最后，我们说明，这些界限可能是有用的选择一个适当的流形正则化参数的情况下，非常稀疏的标记数据。

更精确的Transformer泛化界限

Sharper Generalization Bounds for Transformer

本文基于偏移Rademacher复杂性，推导了不同Transformer架构的更精确泛化界限，通过覆盖数和矩阵秩推导出最优收敛率的泛化界限，并扩展到无界特征分布。

Uniform Risk Bounds for Learning with Dependent Data Sequences

This paper extends standard results from learning theory with independent data to sequences of dependent data. Contrary to most of the literature, we do not rely on mixing arguments or sequential measures of complexity and derive uniform risk bounds with classical proof patterns and capacity measures. In particular, we show that the standard classification risk bounds based on the VC-dimension hold in the exact same form for dependent data, and further provide Rademacher complexity-based bounds, that remain unchanged compared to the standard results for the identically and independently distri…

A Theory on AI Uncertainty Based on Rademacher Complexity and Shannon Entropy

In this paper, we present a theoretical discussion on AI deep learning neural network uncertainty investigation based on the classical Rademacher complexity and Shannon entropy. First it is shown that the classical Rademacher complexity and Shannon entropy is closely related by quantity by definitions. Secondly based on the Shannon mathematical theory on communication [3], we derive a criteria to ensure AI correctness and accuracy in classifications problems. Last but not the least based on Peter Barlette's work, we show both a relaxing condition and a stricter condition to guarantee the corre…

基于局部Rademacher复杂度的深度神经网络正则化实证研究

An Empirical Study on Regularization of Deep Neural Networks by Local Rademacher Complexity

为了提高深度神经网络（DNN）的泛化能力，对DNN进行正则化是一项重要而具有挑战性的工作。这方面的发展有利于DNN的理论基础，并促进其在人工智能的不同领域的可用性。在本文中，我们研究了Rademacher复杂性在提高DNN泛化能力方面的作用，并提出了一种新的正则化器，它植根于局部Rademacher复杂性（LRC）。虽然Rademacher复杂度是众所周知的函数类的无分布复杂度度量，有助于提高统计学习方法的泛化能力，但广泛的研究表明，LRC，其对应的限制函数类，在有限的训练样本下，收敛速度更快，泛化能力更强。我们的基于LRC的正则化器是通过估计以DNN的经验损失的最小值为中心的函数类的复杂度来开发的。在不同类型的网络结构上的实验证明了LRC正则化在提高泛化能力方面的有效性。此外，我们的方法具有最先进的结果CIFAR- $10$数据集与神经结构搜索发现的网络结构。

核相似性学习的泛化界

Generalization bound for kernel similarity learning

相似性学习已经引起了人们的极大兴趣，并且是许多科学和工业应用的重要工具。在这个框架中，我们希望推断点之间相对于任意距离函数$d$的距离（相似性）。在这里，我们将问题公式化为从特征空间$\mathcal{X}$到任意向量空间$\mathcal{Y}$的回归，其中欧几里得距离与$d$成比例。然后，我们给出了推广误差的拉德马赫复杂度界。我们发现，在高概率情况下，复杂度是由$\mathcal{X}$的半径和$\mathcal{Y}$的半径的最大值的限制。

Risk Bounds and Rademacher Complexity in Batch Reinforcement Learning

This paper considers batch Reinforcement Learning (RL) with general value function approximation. Our study investigates the minimal assumptions to reliably estimate/minimize Bellman error, and characterizes the generalization performance by (local) Rademacher complexities of general function classes, which makes initial steps in bridging the gap between statistical learning theory and batch RL. Concretely, we view the Bellman error as a surrogate loss for the optimality gap, and prove the followings: (1) In double sampling regime, the excess risk of Empirical Risk Minimizer (ERM) is bounded b…

过参数化在神经网络泛化中的作用

Towards Understanding the Role of Over-Parametrization in Generalization of Neural Networks

尽管现有的工作，以确保推广的神经网络的规模敏感的复杂性措施，如规范，利润和锐度，这些复杂性措施没有提供一个解释，为什么神经网络更好地推广过参数化。在这项工作中，我们提出了一种新的基于单位容量的复杂性度量，从而为双层ReLU网络提供了更严格的泛化范围。我们的容量界限与测试误差的行为相关，随着网络规模的增加，并且可以潜在地解释过度参数化在泛化方面的改进。我们进一步给出了Rademacher复杂度的匹配下界，该下界比之前的神经网络容量下界有所改进。