Reconcile Certified Robustness and Accuracy for DNN-based Smoothed Majority Vote Classifier
National Mobile Communications Research Laboratory, Southeast University, China（东南大学国家移动通信研究中心）；Department of Computer Science, University of Liverpool, UK（利物浦大学计算机科学系）
本文在 PAC-Bayesian 框架下为平滑多数投票分类器建立兼具认证鲁棒半径的泛化误差界，并提出低成本谱正则化器以兼顾鲁棒性与准确率。
2025-09-30 cs.AI cs.LG
Bounding the generalization error of convex combinations of classifiers: balancing the dimensionality and the margins
一个问题的边界的泛化误差的分类器f在H，其中H是一个“基地”类的功能（分类器），被认为是。这个问题经常出现在计算机学习中，其中将简单分类器组合成复杂分类器的有效算法（例如boosting和bagging）吸引了很多关注。使用Talagrand的浓度不等式的经验过程中，我们得到新的更清晰的界限综合分类器的泛化误差，考虑到经验分布的“分类余量”和“近似尺寸”的分类器和学习算法的几个实验中研究这些界限的性能。
2004-05-18 math.PR math.ST stat.TH
Generalization Error Bounds for Multiclass Sparse Linear Classifiers
Tel Aviv University（特拉维夫大学）
我们考虑高维多类分类稀疏多项式逻辑斯谛回归。与二进制分类不同，在多类设置中，可以考虑与回归系数矩阵上的不同结构假设相关的稀疏度的整个可能概念谱。我们提出了一个计算上可行的特征选择过程的基础上惩罚的最大似然与凸处罚捕获一个特定类型的稀疏在手。特别是，我们认为全球稀疏性，双行稀疏性，低秩稀疏性，并表明，与适当选择的调整参数的派生插件分类器达到最小最大的泛化误差界（误分类过度风险）内相应的类的多类稀疏线性分类器。所开发的方法是通用的，也可以适用于其他类型的稀疏性。
2023-01-15 cs.LG math.ST stat.ME
Approximation and generalization properties of the random projection classification method
该研究针对低复杂度随机投影分类器，分析其逼近能力与泛化间隙，证明其误差可收敛至贝叶斯误差，且泛化间隙上界更优，为部分分类问题提供了泛化性能提升的新思路。
2024-09-11 cs.LG math.PR stat.ML
Efficient Estimation of Generalization Error and Bias-Variance Components of Ensembles
Facebook（脸书）；Microsoft Corporation（微软公司）；Microsoft Research（微软研究院）；University of Washington（华盛顿大学）
对于许多应用，基分类器的集成是一种有效的解决方案。其参数的调整（类的数量，每个分类器要训练的数据量等）需要G，即给定系综的泛化误差。G的有效估计是本文研究的重点。其关键思想是在输入特征空间中的每个点x处通过正态分布/贝塔分布来近似基本分类器的类得分/概率的方差与训练子集施加的随机性。我们使用一个小的随机选择的基分类器的分布参数估计，并使用这些参数，G。我们给经验证据的质量的各种估计。我们还证明了它们的有用性，如在合奏的分类器的数量和用于训练，需要达到一定的值的泛化误差的数据子集的大小的设计选择。我们的方法也有很大的潜力，设计分布式集成分类器。
2017-11-15 cs.LG stat.ML
Memory Classifiers: Two-stage Classification for Robustness in Machine Learning
University of Pennsylvania（宾夕法尼亚大学）；Perelman School of Medicine（佩雷尔曼医学院）；Wharton School of Business（沃顿商学院）
机器学习模型的性能在数据的分布偏移下会显著降低。我们提出了一种新的分类方法，它可以提高鲁棒性分布偏移，通过结合专家知识的“高层次”的数据结构与标准分类。具体来说，我们引入两阶段分类器称为记忆分类器。首先，它们识别原型数据点--内存--以聚类训练数据。该步骤基于在专家指导下设计的特征;例如，对于图像数据，可以使用数字图像处理算法来提取特征。然后，在每个聚类中，我们通过深度神经网络等标准模型，基于更精细的区分特征学习局部分类器。我们建立了记忆分类器的泛化界。实验结果表明，该方法可以提高图像数据集的泛化能力，并对图像数据集的分布偏移具有较好的鲁棒性.我们展示了超越标准数据增强技术的改进。
2022-08-29 cs.AI cs.CV cs.LG
Deep Networks as Logical Circuits: Generalization and Interpretation
The University of Texas at Austin（得克萨斯大学奥斯汀分校）
深度神经网络（DNN）不仅是黑箱模型，而且我们经常将其概念化。我们对投入与产出之间的联系机制缺乏良好的解释。因此，我们发现很难用人类有意义的术语来分析（1）网络学到了什么，（2）网络是否学到了什么。我们将DNN离散分类映射分层分解为输入的中间（真/假）分类器的逻辑（AND/OR）组合。那些不能进一步分解的分类器，称为原子，是（可解释的）线性分类器。总之，我们得到了一个具有线性分类器输入的逻辑电路，它计算与DNN相同的标签。该电路在结构上不类似于网络架构，并且它可能需要少得多的参数，这取决于权重的配置。在这些情况下，我们同时获得了解释和泛化界（对于原始DNN），连接了历史上分别研究的两个方面。与压缩技术不同，我们的表示是。我们通过在简单的受控环境中研究DNN来激发这种观点的实用性，在这种环境中，尽管只使用组合信息（例如，没有边缘信息），我们仍然获得了优越的泛化边界。我们演示了如何在MNIST数据集上“打开黑盒”。我们表明，学习，内部，逻辑计算对应于语义有意义的（无标签）类别，允许DNN的描述在平原英语。我们通过解释、诊断和替换逻辑电路（即DNN）的组件来提高已经训练好的网络的泛化能力。
2020-06-26 cs.AI cs.LG stat.ML
A Statistical Model for Predicting Generalization in Few-Shot Classification
IMT Atlantique（大西洋国立高等工业技术与矿业学校）；CNRS（法国国家科学研究中心）；Sony Europe（索尼欧洲公司）；Mila（米拉研究所）
分类器的泛化误差的估计往往依赖于验证集。这样的集合在少样本学习场景中几乎不可用，这是该领域中被高度忽视的缺点。在这些场景中，通常依赖于从预训练的神经网络中提取的特征，并结合基于距离的分类器，如最近类均值。在这项工作中，我们引入了一个高斯模型的特征分布。通过对模型参数的估计，我们能够在小样本的情况下预测新分类任务的泛化误差。我们观察到，类条件密度之间的准确距离估计是准确估计泛化性能的关键。因此，我们提出了一个无偏估计这些距离，并将其集成在我们的数值分析。我们的经验表明，我们的方法优于替代品，如留一交叉验证策略。
2023-03-28 cs.AI cs.CV cs.LG
On the Generalization of Adversarially Trained Quantum Classifiers
Department of Computer Science, University of Birmingham, UK（英国伯明翰大学计算机科学系）；KCLIP Lab Centre for Intelligent Information Processing Systems (CIIPS) Department of Engineering, King’s College London, UK（伦敦国王学院工程系智能信息处理系统中心）
本文研究对抗训练量子分类器的泛化误差，建立了受扰动约束对手下的新界限，证明额外误差随样本量按1/√m缩放，并揭示嵌入维度对样本复杂度的影响，且经数值实验验证。
2025-04-24 cs.LG quant-ph
Training Well-Generalizing Classifiers for Fairness Metrics and Other Data-Dependent Constraints
Google AI（谷歌人工智能）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；Cornell University（康奈尔大学）；Kakao Mobility（Kakao出行）
分类器可以用数据相关的约束来训练，以满足公平性目标，减少流失，实现有针对性的误报率或其他策略目标。我们研究了这种约束优化问题的泛化性能，考虑到它们在训练时得到满足，在评估时约束得到满足的程度。为了提高泛化性能，我们将问题框定为两个玩家的游戏，其中一个玩家在训练数据集上优化模型参数，另一个玩家在独立的验证数据集上执行约束。我们建立在最近的工作在两个球员的约束优化表明，如果使用这种两个数据集的方法，那么约束泛化可以显着提高。正如我们实验所示，这种方法不仅在理论上，而且在实践中。
2018-09-28 cs.LG stat.ML
Small Sample Inference for Generalization Error in Classification Using the CUD Bound
University of Michigan（密歇根大学）
当使用小训练样本来构造分类器时，泛化误差的置信度度量是至关重要的。一种常见的方法是通过重采样估计泛化误差，然后假设重采样估计量遵循已知分布以形成置信集[Kohavi 1995，Martin 1996，Yang 2006]。或者，可以引导泛化误差的重新采样估计量以形成置信集。不幸的是，这些方法不能可靠地提供所需置信度的集合。差的性能似乎是由于缺乏作为学习分类器的函数的泛化误差的平滑性。这导致估计的泛化误差的非正态分布。我们构造了一个置信集的泛化误差之间的偏差的重采样估计和泛化误差的光滑上界。置信度集是通过自举这个上界形成的。在分类器的近似类可以表示为参数添加剂模型的情况下，我们提供了一个计算效率高的算法。该方法在一系列测试和模拟数据集上表现出优越的性能。
2012-06-13 cs.LG stat.ML
PAC-Bayesian Generalization Bound on Confusion Matrix for Multi-Class Classification
Aix-Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
在这项工作中，我们提出了一个PAC-Bayes界的推广风险的吉布斯分类器在多类分类框架。我们的工作的新颖性是关键使用的混淆矩阵的分类器作为错误的措施，这把我们的贡献，在工作线，旨在处理比单纯的标量标准，如误分类率更丰富的性能指标。由于最近和美丽的结果矩阵集中不等式，我们得到两个界限表明，真正的混淆风险的吉布斯分类器的上限是由其经验风险加上一项取决于在每个类中的训练样本的数量。据我们所知，这是第一个基于混淆矩阵的PAC-Bayes界。
2013-10-22 cs.LG stat.ML
Uniform convergence may be unable to explain generalization in deep learning
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
为了解释超参数化深度网络令人惊讶的良好泛化行为，最近的工作已经为深度学习开发了各种泛化范围，所有这些都基于一致收敛的基本学习理论技术。虽然众所周知，这些现有的边界中有许多在数值上很大，但通过大量的实验，我们揭示了这些边界的一个更令人关注的方面：在实践中，这些边界可以随着训练数据集的大小{ \em增加}。在我们的观察的指导下，我们提出了过参数化线性分类器和梯度下降（GD）训练的神经网络的例子，其中一致收敛可证明不能“解释泛化”-即使我们考虑到GD { \em尽可能大的范围}的隐式偏差。更准确地说，即使我们只考虑GD输出的分类器集，在我们的设置中，这些分类器的测试误差小于一些小的$ε$，我们表明，在这组分类器上应用（双侧）一致收敛只会产生大于$1-ε$的空洞的泛化保证。通过这些发现，我们对基于一致收敛的泛化界限的能力表示怀疑，以提供过度参数化深度网络泛化良好的完整解释。
2021-10-17 cs.LG stat.ML
Collaborative Learning for Deep Neural Networks
Playground Global；Google（谷歌）
我们引入了协作学习，其中同一网络的多个分类器头同时在相同的训练数据上进行训练，以提高泛化能力和对标签噪声的鲁棒性，而无需额外的推理成本。它从辅助训练、多任务学习和知识升华中获得优势。协作学习有两种重要的机制。首先，来自不同分类器头的多个视图对同一示例的共识为每个分类器提供了补充信息以及正则化，从而提高了泛化能力。其次，中间层表示（ILR）共享与反向传播重新缩放聚合来自所有头的梯度流，这不仅降低了训练计算复杂度，而且便于监督共享层。CIFAR和ImageNet数据集上的实证结果表明，以协作方式作为一个群体学习的深度神经网络显著降低了泛化误差，并提高了对标签噪声的鲁棒性。
2018-11-07 cs.CV cs.LG stat.ML
The Role of Mutual Information in Variational Classifiers
Facultad de Ingeniería, Universidad de Buenos Aires（布宜诺斯艾利斯大学工程学院）；CSC, CONICET（国家科学技术研究委员会计算机科学中心）；International Laboratory on Learning Systems (ILLS)（国际学习系统实验室）；Mila（米拉人工智能研究所）
本文从信息论角度研究变分分类器的泛化误差，推导出泛化误差可由输入特征与潜在表示之间的互信息所界定的条件，为 KL 正则化项提供理论依据，并通过 MNIST 和 CIFAR 实验验证互信息能有效反映泛化行为。
2023-04-13 cs.LG stat.ML
On the Role of Generalization in Transferability of Adversarial Examples
The Chinese University of Hong Kong（香港中文大学）
黑盒对抗攻击为看不见的神经网络（NN）设计对抗示例在过去几年中受到了极大的关注。虽然在文献中已经提出了几个成功的黑盒攻击方案，但驱动黑盒对抗示例可转移性的潜在因素仍然缺乏深入的了解。在本文中，我们的目的是证明的作用，用于生成对抗性的例子中的攻击方案的可转移性未观察到的NN分类器的替代分类器的泛化性能。要做到这一点，我们应用最大-最小对抗性的例子游戏框架，并显示的黑盒攻击方案在应用于不同的NN分类器的成功的替代NN的泛化性能的重要性。我们证明了理论上的泛化界的训练和测试样本的攻击转移率之间的差异。我们的界限表明，具有更好泛化行为的替代NN可以产生更多可转移的对抗性示例。此外，我们还证明了标准的基于算子范数的正则化方法可以提高所设计的对抗性示例的可移植性。我们通过几个数值实验来支持我们的理论结果，这些实验显示了替代网络的泛化在生成可转移的对抗性示例中的作用。我们的实证结果表明Lipschitz正则化方法在提高对抗性示例的可移植性方面的能力。
2022-06-18 cs.LG stat.ML
Discriminative Similarity for Clustering and Semi-Supervised Learning
Snap Research（Snap 研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；National University of Singapore（新加坡国立大学）；Beckman Institute, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校贝克曼研究所）
基于相似性的聚类和半监督学习方法根据数据之间的成对相似性将数据分成簇或类，而成对相似性对它们的性能至关重要。在本文中，我们提出了一种新的判别相似性学习框架，学习判别相似性的数据聚类或半监督学习。该框架从每个假设标签学习分类器，并通过最小化与假设标签相关联的学习分类器的泛化误差来搜索最优标签。核分类器在我们的框架。通过基于拉德马赫复杂度的泛化分析，将核分类器的泛化误差界表示为不同类数据的两两相似度之和，并通过核分类器的权值进行参数化.这种成对相似性作为判别相似性用于聚类和半监督学习的目的，并且具有相似形式的判别相似性也可以由用于核密度分类的积分平方误差界诱导。基于核分类器的判别相似性，我们提出了新的聚类和半监督学习方法。
2017-09-05 cs.LG stat.ML
Supervised Metric Learning with Generalization Guarantees
Laboratoire Hubert Curien（于贝尔·居里安实验室）；Universidad de Alicante（阿利坎特大学）
度量在机器学习算法中的至关重要性导致了人们对优化距离和相似性函数的兴趣越来越大，这是一个被称为度量学习的研究领域。当数据由特征向量组成时，大量的工作都集中在学习Mahalanobis距离上。较少的工作致力于从结构化对象（如字符串或树）中进行度量学习，大部分集中在优化编辑距离的概念上。我们确定了当前度量学习方法的两个重要局限性。首先，它们可以提高局部算法（如k-最近邻）的性能，但到目前为止还没有研究全局算法（如线性分类器）的度量学习。其次，度量学习方法的泛化能力问题在很大程度上被忽视了。在这篇论文中，我们提出了理论和算法的贡献，解决这些限制。我们的第一个贡献是推导出一个新的核函数，该函数是从学习的编辑概率中构建的。我们的第二个贡献是一个新的框架，学习字符串和树编辑相似性的启发，最近的理论（例如，g，t）-良好的相似性函数。使用统一的稳定性参数，我们建立了理论上的保证学习的相似性，给出了一个界限的泛化误差的线性分类器，从该相似性。在我们的第三个贡献中，我们将这些想法扩展到特征向量的度量学习，提出了一种双线性相似性学习方法，有效地优化了（e，g，t）-goodness。泛化保证我们的方法，强调我们的方法最大限度地减少了分类器的泛化误差的更严格的限制。我们的最后一个贡献是一个框架，建立一个大类现有的度量学习算法的基础上的算法鲁棒性的概念的泛化界限。
2013-07-23 cs.AI cs.LG stat.ML
Multiple-Instance Learning by Boosting Infinitely Many Shapelet-based Classifiers
Kyushu University（九州大学）；RIKEN（理化学研究所）；Keio University（庆应义塾大学）；The University of Tokyo（东京大学）
我们提出了一个新的多实例学习（MIL）的配方。在典型的MIL设置中，一个数据单元被给定为一组称为袋子的实例，目标是基于单个或多个“shapelet”（或模式）的相似性找到一个好的袋子分类器，其中袋子与shapelet的相似性是袋子中实例的最大相似性。基于单个shapelet的分类器对于某些应用来说不够强大。此外，以前的工作与多个shapestivally选择了一些实例作为shapestival没有理论保证其泛化能力。我们的配方提供了一个更丰富的类的最终分类器的基础上无限多的形状。我们提供了一个有效的算法，新的配方，除了推广界。我们的实证研究表明，我们的方法不仅是有效的MIL任务，而且Shapelet学习的时间序列分类。
2018-12-10 cs.LG stat.ML
Generalization bounds for averaged classifiers
研究了一种简单的二进制分类学习算法。我们的算法不是用假设类中的最佳假设进行预测，也就是说，最小化训练误差的假设，而是用所有假设的加权平均值进行预测，相对于其训练误差呈指数加权。我们表明，该算法的预测是更稳定的预测算法，预测最好的假设。通过允许算法放弃预测的一些例子，我们表明，它的预测时，它不弃权是非常可靠的。最后，我们表明该算法放弃的概率与该类中最佳假设的泛化误差相当。
2004-10-05 math.ST stat.TH
Entropy-SGD optimizes the prior of a PAC-Bayes bound: Generalization properties of Entropy-SGD and data-dependent priors
Vector Institute（向量研究所）
我们表明，熵SGD（Chaudhari等人，2017），当被视为一种学习算法时，优化了吉布斯（后验）分类器风险的PAC-Bayes界限，即，一个随机化的分类器获得的风险敏感扰动的权重的学习分类。熵-SGD通过优化边界的先验来工作，违反了PAC-贝叶斯定理的假设，即先验是独立于数据选择的。事实上，Entropy-SGD的可用实现在随机标签上快速获得零训练误差，并与Gibbs后验保持相同。为了得到一个有效的泛化界，我们依赖于一个结果表明，由随机梯度Langevin动力学（SGLD）获得的数据相关先验产生有效的PAC-Bayes界，提供的目标分布的SGLD是ε-差分私有的。我们观察到，MNIST和CIFAR 10的测试误差落在（经验非空）的风险范围内计算的假设下，SGLD达到平稳。特别是，熵-SGLD可以配置为产生相对紧密的泛化界，并且仍然适合真实标签，尽管这些相同的设置无法获得最先进的性能。
2019-04-19 cs.LG stat.ML
The generalization error of max-margin linear classifiers: Benign overfitting and high dimensional asymptotics in the overparametrized regime
现代机器学习分类器通常在训练集上表现出消失的分类错误。他们通过学习输入的非线性表示将数据映射到线性可分离的类来实现这一目标。受这些现象的启发，我们重新审视线性可分数据的高维最大间隔分类。我们考虑一个程式化的设置，其中数据$(y_i,{\boldsymbol x}_i)$，$i\le n$是独立同分布的。其中${\boldsymbol x}_i\sim\mathsf{N}({\boldsymbol 0},{\boldsymbol Σ})$是$p$维高斯特征向量，$y_i \in\{+1,-1\}$是其分布取决于协变量$\langle {\boldsymbol θ}_*,{\boldsymbol x}_i \rangle$的线性组合的标记。虽然高斯模型可能看起来非常简单，但可以使用普适性参数来表明在此设置中导出的结果也适用于某些非线性特征化映射的输出。我们考虑了$n,p\to\infty$与$p/n\to ψ$的比例渐近性，并导出了极限推广误差的精确表达式。我们使用这个理论来推导出两个结果的独立利益：$(i)$充分条件$({\boldsymbol Σ},{\boldsymbol θ}_*)$的“良性过拟合”，平行先前推导条件的情况下，线性回归; $(ii)$一个渐近精确的表达式的泛化误差时，最大利润率分类与随机单层神经网络产生的特征向量一起使用。
2023-03-22 math.ST stat.ML stat.TH
Multi-Purposing Domain Adaptation Discriminators for Pseudo Labeling Confidence
Washington State University（华盛顿州立大学）
通常，领域自适应使用域分类器（domain classifier）来学习域不变特征表示，使得在标记的源数据上训练的分类器将很好地推广到未标记的目标数据。源自半监督学习的一系列研究使用伪标记来直接为未标记的目标数据生成“伪标签”，并在现在标记的目标数据上训练分类器，其中基于某种置信度来选择或加权样本。在本文中，我们提出了多用途的编码，不仅有助于产生域不变的表示，但也提供伪标签的信心。
2019-07-17 cs.LG stat.ML
Max-Margin Works while Large Margin Fails: Generalization without Uniform Convergence
Stanford University（斯坦福大学）
现代机器学习的一个主要挑战是从理论上理解过参数化模型的泛化特性。许多现有的工具依赖于一致收敛（UC），这是一个属性，当它成立时，保证测试损失将接近训练损失，在一类候选模型上均匀一致。Nagarajan和Kolter（2019）表明，在某些简单的线性和神经网络设置中，任何一致收敛界都将是空洞的，留下了如何在UC失败的设置中证明泛化的问题。我们的主要贡献是证明新的推广界在两个这样的设置，一个线性，一个非线性。我们研究了Nagarajan和Kolter的线性分类设置，以及通过两层神经网络在非线性区域学习的二次地面真值函数。我们证明了一种新型的边缘界限，表明在一定的信噪比阈值以上，任何接近最大边缘分类器将实现几乎没有测试损失在这两个设置。我们的研究结果表明，接近最大的利润是重要的：虽然任何模型，实现至少$(1 - ε)$分数的最大利润推广良好，分类器实现一半的最大利润可能会失败可怕的。基于Nagarajan和Kolter的不可能性结果，在稍强的假设下，我们证明了单侧UC边界和经典的边缘边界在接近最大边缘的分类器上会失败。我们的分析提供了为什么记忆可以与泛化共存的见解：我们表明，在这个具有挑战性的制度，泛化发生，但UC失败，近最大利润分类器同时包含一些概括的组件和一些过拟合组件，记住的数据。过拟合分量的存在足以排除UC，但接近极值的裕度保证存在足够的可推广分量。
2023-03-13 cs.LG
Improved Generalization Bounds of Group Invariant / Equivariant Deep Networks via Quotient Feature Spaces
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Keio University（庆应义塾大学）；The University of Tokyo（东京大学）
许多不变（或等变）神经网络已经成功地处理不变的数据，如点云和图形。然而，神经网络的推广理论还没有得到很好的发展，因为该理论的几个基本因素，如网络大小和边缘分布，没有深入联系的不变性和等变性。在这项研究中，我们开发了一个新的泛化误差界不变和等变深度神经网络。为了描述不变性和等变性对推广的影响，我们提出了一个\textit{quotient feature space}的概念，它度量了群作用对性质的影响。我们的主要结果证明了商特征空间的体积可以描述泛化误差。此外，该界表明，不变性和等变性显着改善的领先项的界。我们将我们的结果应用于特定的不变和等变网络，例如DeepSets（Zaheer et al.（2017）），并表明它们的泛化界被$\sqrt{n!}$大大提高，其中$n!$是排列的数量。我们还讨论了不变DNN的表达能力，并表明它们可以实现最佳近似率。我们的实验结果支持了我们的理论主张。
2021-06-19 cs.LG stat.ML
Random Hyperboxes
Advanced Analytics Institute（高级分析研究所）；Faculty of Engineering and Information Technology（工程与信息技术学院）；University of Technology Sydney（悉尼科技大学）
本文提出了一种简单而强大的集成分类器，称为随机超盒，由训练集的样本和特征空间的随机子集上训练的单个超盒分类器构建。我们还显示了一个泛化误差界的建议分类的基础上的强度的个人超盒分类器，以及它们之间的相关性。建议的分类器的有效性进行了分析，使用一个精心挑选的说明性的例子，并通过20个数据集，使用统计测试方法与其他流行的单一和集成分类经验比较。实验结果表明，该方法优于其他模糊最小最大神经网络，流行的学习算法，并与其他集成方法具有竞争力。最后，我们确定了存在的问题，有关的泛化误差界的真实数据集，并告知潜在的研究方向。
2022-04-04 cs.LG stat.ML
Chromatic PAC-Bayes Bounds for Non-IID Data: Applications to Ranking and Stationary $β$-Mixing Processes
Laboratoire d’Informatique Fondamentale de Marseille（马赛基础信息学实验室）；CNRS（法国国家科学研究中心）
Pac-Bayes边界是从独立同分布（IID）数据学习的分类器的最准确的泛化边界之一，对于边缘分类器尤其如此：最近的贡献表明这些边界对于执行模型选择是多么实用（Ambroladze et al.，2007）或甚至直接指导线性分类器的学习（Germain等人，2009年）。然而，在许多实际情况下，训练数据显示出一些依赖性，并且传统的IID假设不成立。因此，从理论和实践的角度来看，这种框架的概括界限是最感兴趣的。在这项工作中，我们提出了第一个-尽我们所知- Pac-Bayes泛化边界的数据表现出相互依赖的训练分类。建立我们的结果所采取的方法是基于所谓的依赖图的分解，该依赖图将数据内的依赖关系编码为独立数据集，这要归功于图分数覆盖。我们的边界是非常普遍的，因为能够找到依赖图的分数色数的上界足以获得特定设置的新Pac-Bayes边界。我们展示了我们的研究结果如何可以用来推导出排名统计（如Auc）和分类器的界限，根据一个固定的混合过程分布的数据进行训练。在这种方式中，我们展示了我们的方法是如何让我们无条件地处理U过程的。作为旁注，我们还提供了一个Pac-Bayes泛化界，用于从静态$φ$混合分布的数据上学习的分类器。
2010-06-04 cs.LG math.ST stat.ML
Adversarially Robust Generalization Requires More Data
MIT（麻省理工学院）；Google Brain（谷歌大脑）
机器学习模型通常容易受到其输入的对抗性扰动的影响。即使是很小的扰动也会导致具有高“标准”精度的最先进的分类器产生具有高置信度的不正确预测。为了更好地理解这一现象，我们从泛化的角度研究了对抗鲁棒学习。我们表明，已经在一个简单的自然数据模型，样本的复杂性，强大的学习可以显着大于“标准”的学习。这个差距是信息理论的，并且与训练算法或模型族无关。我们补充我们的理论结果与流行的图像分类数据集上的实验，并表明，这里也存在类似的差距。我们假设，训练强大的分类器的困难源于，至少部分地，从这个固有的较大的样本复杂性。
2018-05-02 cs.LG cs.NE stat.ML
Large scale analysis of generalization error in learning using margin based classification methods
University of Georgia（佐治亚大学）；Zhongnan University of Economics and Law（中南财经政法大学）
大间隔分类器是流行的分类方法。在样本量$n$和维数$p$都限制为$\infty$且$α=n/p$为固定比率的情况下，推导了一类大间隔分类器推广误差的渐近表达式.这个系列涵盖了广泛的常用分类器，包括支持向量机，距离加权判别，和惩罚逻辑斯谛回归。我们的结果可以用来建立两类分离的相变边界。我们假设数据是从具有任意协方差结构的单个多元高斯分布生成的。我们探索了协方差阵的两种特殊选择：尖峰种群模型和具有随机第一层权重的两层神经网络。我们用于推导封闭形式表达式的方法来自统计物理学，称为复制方法。当$n,p$为几百的数量级时，我们的渐近结果已经与模拟相匹配。对于两层神经网络，我们重现最近开发的“双下降”现象的几个分类模型。我们还讨论了一些统计见解，可以从这些分析得出。
2020-07-16 cs.LG stat.CO stat.ML
Distributional Generalization: A New Kind of Generalization
Harvard University（哈佛大学）
我们引入了一个新的泛化概念--分布泛化--它粗略地说，分类器在训练和测试时的输出是接近 * 的分布 *，而不是接近它们的平均误差。例如，如果我们在CIFAR-10的训练集中将30%的狗错误地标记为猫，那么经过插值训练的ResNet实际上也会在 * 测试集 * 上将大约30%的狗错误地标记为猫，而其他类则不受影响。这种行为并没有被经典的推广所捕获，经典的推广只考虑平均误差，而不考虑误差在输入域上的分布。我们的形式化模型比这个例子更一般，它描述了分布泛化的形式，这些形式可以在问题参数方面得到预期：模型结构、训练过程、样本数量和数据分布。我们在机器学习的各个领域，包括神经网络，内核机，和决策树，这些架构提供了经验证据。因此，我们的研究结果推进我们的经验理解插值分类。
2020-10-15 cs.LG cs.NE math.ST
Efficient Decision Trees for Multi-class Support Vector Machines Using Entropy and Generalization Error Estimation
Chulalongkorn University（朱拉隆功大学）；Osaka University（大阪大学）
我们提出了新的方法，支持向量机（SVM）使用树结构的多类分类。在树的每个节点上，利用熵和泛化误差估计选择合适的二元分类器，然后根据所选分类器将样本分为正类和负类，并训练一个新的分类器用于分类阶段。所提出的方法可以在O（log2N）到O（N）之间的时间复杂度内工作，其中N是类的数量。我们使用10倍交叉验证将我们提出的方法的性能与UCI机器学习存储库上的传统技术进行了比较。实验结果表明，我们提出的方法是非常有用的问题，需要快速的分类时间或大量的类的问题，因为所提出的方法运行速度比传统的技术，但仍然提供相当的准确性。
2017-08-28 cs.LG stat.ML
Average Margin Regularization for Classifiers
University of California, Berkeley（加利福尼亚大学伯克利分校）
对抗鲁棒性已经成为一个重要的研究课题，给出了深度神经网络缺乏鲁棒性的经验证明。不幸的是，最近的理论结果表明，对抗训练在分类准确性和对抗鲁棒性之间产生了严格的权衡。在本文中，我们提出并研究了一种新的正则化方法，用于任何边缘分类器或深度神经网络。我们激励这种正则化的一个新的泛化界，表现出在分类器的准确性之间的权衡最大化其利润率和平均利润率。因此，我们将我们的方法称为平均间隔（AM）正则化，它由添加到目标的线性项组成。我们从理论上表明，对于某些分布AM正则化可以提高分类器的准确性和鲁棒性的对抗攻击。我们得出结论，使用合成和真实数据的经验表明，AM正则化可以严格提高支持向量机（SVM）的准确性和鲁棒性，相对于非正则化分类器和逆向训练分类器。
2020-03-24 cs.LG stat.ML
On the robustness of randomized classifiers to adversarial examples
Facebook AI Research（Facebook人工智能研究院）；LAMSADE, Université Paris-Dauphine（巴黎多芬大学LAMSADE实验室）；Institut LIST, CEA, Université Paris-Saclay（巴黎萨克雷大学CEA LIST研究所）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文研究了抵抗对抗攻击的鲁棒性理论。我们专注于随机分类器（输出随机变量的\emph{i.e.}分类器），并通过统计学习理论和信息论的视角对其行为进行深入分析。为此，我们引入了一个新的概念，随机分类器的鲁棒性，强制执行本地Lipschitzness使用概率度量。根据这一定义，我们做出了两个新的贡献。第一个是在设计一个新的上限的对抗性推广差距的随机分类器。更准确地说，我们设计的泛化差距和对抗差距（\emph{i.e.}之间的差距的风险和攻击下的最坏情况下的风险）的随机分类的界限。第二个贡献提出了一个简单但有效的噪声注入方法来设计强大的随机分类器。我们表明，我们的研究结果适用于广泛的机器学习模型在温和的假设。我们使用深度神经网络对标准图像数据集（即CIFAR-10和CIFAR-100）进行实验，进一步证实了我们的发现。我们训练的所有鲁棒模型都可以同时达到最先进的精度（超过CIFAR-10上的$0.82$干净精度），并享受\emph{guaranteed}鲁棒的精度范围（$0.45$对抗CIFAR-10上具有$0.5$量级的$\ell_2$对手）。
2021-02-22 cs.LG
Very Simple Classifier: a Concept Binary Classifier toInvestigate Features Based on Subsampling and Localility
University of Trento（特伦托大学）
我们提出了非常简单的分类器（VSC）的一种新的方法，旨在将子采样和局部性的概念，在定义的功能被用作一个感知器的输入。基本原理是局部性理论上保证了泛化误差的界。VSC中的每个特征都是基于随机选择的样本对构建的最大间隔分类器。VSC中的局部性是通过将特征的值乘以可以用Chebichev不等式表征的置信度来实现的。然后，该层的输出被馈送到神经元的输出层。然后，输出层的权重由正则化伪逆确定。在二元分类任务中，对9个竞争对手进行了广泛的比较。在22个固定参数的基准数据集上的测试结果表明，VSC与多层感知器（MLP）相比具有竞争力，并且优于其他竞争对手。参数空间的探索表明，VSC可以优于MLP。
2016-09-14 cs.LG stat.ML
Adversarial Quantum Machine Learning: An Information-Theoretic Generalization Analysis
University of Birmingham（伯明翰大学）
本文研究了量子分类器在有界范数白盒对抗攻击下的泛化性质，推导出了基于2-Rényi互信息和扰动大小的信息论泛化误差上界，并通过数值实验验证了理论。
2024-02-15 cs.ET cs.LG quant-ph
Robustifying Binary Classification to Adversarial Perturbation
California Institute of Technology（加州理工学院）
尽管机器学习模型在各种应用中取得了巨大的成功，但这些模型中的大多数都缺乏对输入数据中（即使是很小的）扰动的弹性。因此，增强机器学习模型的新方法似乎非常重要。为此，在本文中，我们考虑的问题，二进制分类与对抗扰动。研究最小-最大优化的解决方案（考虑存在对抗性扰动的最坏情况下的损失），我们引入了一个最大边缘分类器的泛化，该分类器考虑了对手在操纵数据时的能力。我们将该分类器称为“鲁棒最大边缘”（RM）分类器。在损失函数的一些温和的假设下，我们从理论上证明了梯度下降迭代（具有足够小的步长）在其方向上收敛到RM分类器。因此，可以研究RM分类器以计算具有对抗性扰动的二进制分类的各种性能度量（例如，泛化误差）。
2020-10-29 cs.LG math.OC
On the Current State of Research in Explaining Ensemble Performance Using Margins
Miami University（迈阿密大学）；University of Alabama（阿拉巴马大学）
经验证据表明，集成，如装袋，助推，随机和旋转森林，一般表现更好的泛化误差比个人分类器。为了解释这种性能，Schapire et al.（1998）基于训练数据的裕度开发了集成的泛化误差的上限，从中得出结论，较大的裕度应导致较低的泛化误差，其他条件相同。许多其他研究人员支持这一假设，并提出了更严格的边界上的泛化误差的基础上的利润率或利润率的功能。例如，Shen和Li（2010）提供的证据表明，投票分类器的泛化误差可以通过增加均值和减少边缘的方差来减少。在这篇文章中，我们提出了几种技术和实证检验是否在解释合奏表演的研究现状举行。我们评估所提出的方法，通过实验与真实和模拟数据集。
2019-06-07 cs.LG stat.CO stat.ML
Sparse Reject Option Classifier Using Successive Linear Programming
IIIT（国际信息技术研究所）
在本文中，我们提出了一种使用双斜坡损失$L_{dr}$学习稀疏拒绝选项分类器的方法。我们使用DC规划来找到风险最小化。该算法求解一系列线性规划来学习拒绝选项分类器。我们证明了损失$L_{dr}$是Fisher相容的。我们还证明了超额损失风险$L_d$的上界是由超额风险$L_{dr}$。我们推导出所提出的方法的泛化误差界。我们通过在几个真实世界的数据集上进行实验，证明了所提出的方法的有效性。所提出的方法不仅表现得与最先进的水平相当，而且还成功地学习稀疏分类器。
2019-03-22 cs.LG
The Role of Pseudo-labels in Self-training Linear Classifiers on High-dimensional Gaussian Mixture Data
Institute for Physics of Intelligence（智能物理研究所）；The University of Tokyo（东京大学）
研究在高维高斯混合数据上自训练线性分类器中伪标签的作用，推导分析迭代ST行为，发现其依迭代次数不同提升泛化，标签不平衡时性能欠佳，提出两种启发式方法提升其性能。
2026-08-11 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Tight Generalization Bound for AdaBoost
University of Oxford（牛津大学）
本文推导了 AdaBoost 的紧泛化界，给出其泛化误差的上界，该上界结合已有结论与新的投票分类器边距泛化界得到，匹配的下界来自已有工作。
2026-07-30 cs.LG
Scale-sensitive Psi-dimensions: the Capacity Measures for Classifiers Taking Values in R^Q
LORIA-CNRS（洛林国家信息及其应用研究所-法国国家科学研究中心）
风险的界在统计学习理论中起着至关重要的作用。他们通常涉及作为研究的VC维度或其扩展之一的模型的容量度量。在分类中，对于在{0，1}，{1，.，Q}和R.我们引入了适用于缺失情况的推广，即值为R ^Q的模型。这为我们提供了一个新的保证风险的M-SVM，似乎优于现有的。
2007-06-25 cs.LG
Generalization error for multi-class margin classification
在这篇文章中，我们研究了多类边缘分类器的泛化误差的收敛速度。特别是，我们开发了一个上界理论量化的泛化误差的各种大利润分类。该理论允许治疗一般的利润损失，凸或非凸，在存在或不存在一个主导类。三个主要结果成立。首先，对于任何固定的裕度损失，可能存在理想和实际的泛化性能之间的权衡相对于候选决策函数的类的选择，这是由近似和估计误差之间的权衡。事实上，不同的保证金损失在特定情况下会导致不同的理想或实际性能。其次，我们证明，在线性学习的问题，收敛速度可以任意快的样本量$n$取决于联合分布的输入/输出对。这超出了预期的速率$O(n^{-1})$。第三，我们建立收敛速度的几个利润分类器在功能选择的候选变量$p$允许大大超过样本量$n$，但没有比$\exp(n)$更快的数量。
2007-08-27 math.ST stat.TH
Discriminative Similarity for Data Clustering
School of Computing and Augmented Intelligence（计算与增强智能学院）；Arizona State University（亚利桑那州立大学）；Baidu Research（百度研究院）
基于相似性的聚类方法根据数据之间的成对相似性将数据划分为簇，而成对相似性是其性能的关键。在本文中，我们提出了{ \em聚类判别相似（CDS）}，一种新的方法，学习判别相似的数据聚类。CDS从每个数据分区学习无监督的基于相似性的分类器，并通过最小化与数据分区相关联的学习的分类器的泛化误差来搜索数据的最优分区。通过Rademacher复杂度的泛化分析，将基于相似度的无监督分类器的泛化误差界表示为不同类数据之间的判别相似度之和.证明了核密度分类的积分平方误差界也可以导出判别相似度。为了评估所提出的判别相似性的性能，我们提出了一种新的聚类方法，使用核作为相似性函数，CDS通过无监督核分类（CDSK），其有效性证明了实验结果。
2022-06-23 cs.LG
Suboptimal behaviour of Bayes and MDL in classification under misspecification
我们表明，贝叶斯和MDL推理的形式，往往适用于分类问题，可以 * 不一致 *。这意味着存在一个学习问题，使得对于所有数据量，MDL分类器和贝叶斯分类器相对于贝叶斯后验的泛化误差都保持远离最小可实现的泛化误差。
2004-06-10 cs.IT cs.LG math.IT
Manitest: Are classifiers really invariant?
在许多图像识别任务中，对几何变换的不变性是自动分类器非常期望的特性。然而，目前还不清楚在何种程度上最先进的分类器是不变的基本变换，如旋转和平移。这主要是由于缺乏适当测量这种不变性的一般方法。在本文中，我们提出了一个严格的和系统的方法来量化的不变性的几何变换的任何分类。我们的主要思想是把评估分类器的不变性的问题转化为沿着变换图像的流形计算测地线的问题。我们提出了Manitest方法，建立在高效的快速行军算法计算分类器的不变性。我们的新方法特别量化了数据增强对于从数据中学习不变性的重要性，以及卷积神经网络随深度增加的不变性。我们可以预见，所提出的通用工具，用于测量不变性的一大类的几何变换和任意分类器将有许多应用程序的基础上，他们的不变性的分类器进行评估和比较，并帮助提高现有的分类器的不变性。
2015-07-23 cs.CV cs.LG stat.ML
Reinforcing Medical Image Classifier to Improve Generalization on Small Datasets
Hankuk University of Foreign Studies（韩国外国语大学）
随着深度学习的发展，使用复杂的判别模型改进图像分类已经成为可能。然而，这种复杂性增加的深度模型需要大量的标记样本来泛化训练。由于训练数据有限，这种分类模型在应用于医学图像时很容易过拟合，这是医学图像分析领域的一个常见问题。本文提出并研究了一种增强型分类器，以提高在少量可用训练数据下的泛化能力。部分遵循强化学习的思想，所提出的分类器使用来自训练数据的子集的泛化反馈来更新其参数，而不是仅使用关于训练数据的传统交叉熵损失。我们评估了改进的分类器，通过将其应用于三个不同的分类问题，对标准的深度分类器配备现有的过拟合预防技术。除了分类性能的整体改善，所提出的分类器表现出显着的广义学习的特点，它可以在医学分类任务有很大的潜力。
2019-10-07 cs.CV cs.LG eess.IV
The Cells Out of Sample (COOS) dataset and benchmarks for measuring out-of-sample generalization of image classifiers
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Sunnybrook Research Institute（桑尼布鲁克研究所）
理解分类器是否泛化到样本外数据集是机器学习的核心问题。显微镜图像提供了一种标准化的方法来衡量图像分类器的泛化能力，因为我们可以在日益不同但受控的变化因素下对相同类别的对象进行成像。我们创建了一个包含132，209张小鼠细胞图像的公共数据集，COOS-7（Cells Out Of Sample 7-Class）。COOS-7提供了一个分类设置，其中四个测试数据集具有递增程度的协变量偏移：一些图像是训练数据的随机子集，而其他图像来自几个月后重现的实验，并由不同的仪器成像。我们使用不同的表示方法对一系列分类模型进行了基准测试，包括转移的神经网络特征、使用监督深度CNN的端到端分类以及来自自监督CNN的特征。虽然大多数分类器在与训练数据集相似的测试数据集上表现良好，但所有分类器都未能将其性能推广到具有更大协变量偏移的数据集。这些基线突出了图像数据中协变量偏移的挑战，并建立了用于提高图像分类器泛化能力的度量。
2020-01-06 cs.CV cs.LG stat.ML
Predicting the Accuracy of a Few-Shot Classifier
IMT Atlantique（大西洋高等电信学校）；Lab-STICC（布列塔尼电子与电信通信科学实验室）；MILA, Université de Montréal（蒙特利尔大学MILA人工智能研究所）；Université Cote d’Azur（蔚蓝海岸大学）；École Normale Supérieure de Lyon（里昂高等师范学院）
在少样本学习的背景下，由于标记样本的数量很少，无法使用验证集来测量训练的分类器的泛化能力。在本文中，我们感兴趣的是寻找替代方案来回答这个问题：我的分类器是否可以很好地推广到以前看不见的数据？我们首先分析了泛化性能变化的原因。然后，我们研究使用基于转移的解决方案的情况，并考虑三种设置：i）监督，我们只能访问一些标记的样本，ii）半监督，我们可以访问一些标记的样本和一组未标记的样本，iii）无监督，我们只能访问未标记的样本。对于每一个设置，我们提出了合理的措施，我们的经验表明，与考虑分类器的泛化能力。我们还表明，这些简单的措施可以用来预测泛化到一定的信心。我们在标准的Few-Shot视觉数据集上进行实验。
2020-07-08 cs.CV cs.LG stat.ML
On a Generalization of the Average Distance Classifier
在高维、低样本量（HDLSS）设置中，如果位置之间的差异被尺度差异掩盖，则基于欧几里德距离的简单平均距离分类器表现不佳。为了纠正这个问题，Chan和Hall（2009）提出了对平均距离分类器的修改。然而，现有的分类器不能区分时，人口在其他方面比位置和规模。在这篇文章中，我们提出了一些简单的平均距离分类器的转换来解决这个问题。即使底层种群具有相同的位置和规模，所得到的分类器也表现得很好。高维行为的建议分类理论研究。各种模拟以及真实数据集的数值实验表明，所提出的方法的实用性。
2020-01-08 stat.ME stat.ML
Spuriosity Didn't Kill the Classifier: Using Invariant Predictions to Harness Spurious Features
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Edinburgh（爱丁堡大学）；University of Cambridge（剑桥大学）
针对分布外泛化中丢弃虚假不稳定特征会损失信息的问题，提出基于条件独立假设、用稳定特征伪标签引导的SFB算法，无需测试域标签即可结合两类特征实现渐近最优预测，经实验验证有效。
2023-11-08 cs.AI cs.CV cs.LG
For self-supervised learning, Rationality implies generalization, provably
Harvard University（哈佛大学）
我们证明了一个新的上界的泛化差距的分类器，获得第一次使用自我监督学习的训练数据的表示$r$，然后拟合一个简单的（例如，线性）分类器$g$与标记相关联。具体地说，我们表明（在下面描述的假设下），如果$\mathsf{C}(g) \ll n$，这种分类器的泛化差距趋于零，其中$\mathsf{C}(g)$是一个适当定义的简单分类器$g$的复杂性的措施，和$n$是训练样本的数量。我们强调，我们的界限是独立的复杂性的表示$r$。我们不对表征学习任务进行任何结构或条件独立性假设，它可以使用稍后用于分类的相同训练数据集。相反，我们假设训练过程满足某些自然的噪声鲁棒性（添加少量标签噪声会导致性能略有下降）和合理性（获得错误的标签并不比没有标签更好）条件，这些条件在许多标准架构中广泛适用。我们证明了我们的边界对于CIFAR-10和ImageNet上许多流行的基于表示学习的分类器来说是非空的，包括Simplified，AMDIM和MoCo。
2020-10-16 cs.LG cs.NE stat.ML
Learning an MR acquisition-invariant representation using Siamese neural networks
体素分类器的推广受到MRI扫描仪之间的差异的阻碍，例如不同的采集协议和场强。为了解决这个问题，我们提出了一个暹罗神经网络（MRAI-NET），提取采集不变的特征向量。因此，这些可以由特定于任务的方法使用，例如用于组织分割的体素分类器。在模拟和真实患者数据上测试MRAI-NET。实验表明，当少量标记样本可用时，MRAI-NET优于在源或目标扫描仪数据上训练的体素分类器。
2018-10-17 cs.CV stat.ML
Generalization in multitask deep neural classifiers: a statistical physics approach
Intel AI Lab（英特尔人工智能实验室）
正确理解深度神经网络惊人的泛化能力是一个持久的难题。最近，越来越多的基于数值的理论工作为深度神经网络的学习理论提供了重要的见解。最近也有兴趣将这些分析扩展到理解多任务学习如何进一步提高深度神经网络的泛化能力。这些研究几乎只涉及回归任务，这些任务适用于现有的分析技术。我们开发了深度神经网络泛化的非线性动力学分析理论，该神经网络经过训练，使用softmax输出和交叉熵损失解决分类任务，解决单任务和多任务设置。我们通过调整无序系统的统计物理学技术来做到这一点，同时考虑到有限大小的数据集和由训练动态引起的相关输出。我们讨论了我们的理论结果相比，一套全面的数值实验的有效性。我们的分析提供了理论支持的直觉，多任务学习的性能是由任务的噪声和如何以及他们的输入功能相互对齐。高度相关的干净任务彼此受益，而不相关的干净任务可能对个人任务绩效有害。
2019-10-30 cs.LG stat.ML
Best sources forward: domain generalization through source-specific nets
Sapienza University of Rome（罗马第一大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Mapillary Research（Mapillary研究院）；Italian Institute of Technology（意大利技术研究院）；University of Trento（特伦托大学）
视觉对象分类中的一个长期存在的问题是算法在不同测试条件下的泛化能力。这个问题已经被形式化为生成训练数据（源）和测试数据（目标）的概率分布之间的协变量偏移，并且已经提出了几种领域自适应方法来解决这个问题。虽然这些方法考虑了单一来源-单一目标的情况，但有多个来源并需要适应任何可能的目标领域似乎是合理的。最后一个场景名为领域泛化（DG），是我们工作的重点。与之前从源数据中学习域不变表示的DG方法不同，我们设计了一个具有多个特定于域的分类器的深度网络，每个分类器与一个源域相关联。在测试时，我们估计目标样本属于每个源域的概率，并利用它们来最佳地融合分类器的预测。为了进一步提高模型的泛化能力，我们还引入了一个支持最终分类器的领域不可知组件。在两个公共基准上的实验证明了我们方法的强大功能。
2018-06-15 cs.CV cs.LG stat.ML
