Why is the prediction wrong? Towards underfitting case explanation via meta-classification
Université Paris-Saclay（巴黎萨克雷大学）；CEA（法国原子能和替代能源委员会）；Conservatoire National des Arts et Métiers (CNAM)（法国国立工艺学院）
在本文中，我们提出了一个探试法，提供个人的解释数据集（数据点），其中错误的预测由一个给定的分类器的元素。由于一般情况下是太困难了，在目前的工作中，我们专注于错误的数据，从一个欠拟合的模型。首先，我们将错误数据投影到手工制作的，因此人类可读的中间表示（元表示，轮廓向量）中，目的是分离分类错误的两个主要原因：分类器不够强大，或者数据点属于输入空间中类别不可分离的区域。其次，在这些轮廓向量的空间中，我们提出了一种方法来拟合元分类器（决策树），并将其输出表示为一组可解释的（人类可读的）解释规则，这导致了几个目标诊断标签：数据点或者是正确分类，或者由于模型太弱而出错，或者由于输入空间中的混合（重叠）类而出错。在几个真实数据集上的实验结果显示出超过80%的诊断标签准确度，并确认所提出的中间表示允许相对于输入空间中使用的分类器和被分类的数据集实现高度的不变性，即，我们可以利用给定的分类器学习数据集上的元分类器，并成功地预测不同数据集或分类器的诊断标签（或两者）。
2023-02-20 cs.LG
Inferring Class Label Distribution of Training Data from Classifiers: An Accuracy-Augmented Meta-Classifier Attack
KTH Royal Institute of Technology（KTH皇家理工学院）
针对机器学习（ML）模型的属性推断攻击旨在推断与模型的主要任务无关的训练数据的属性，并且迄今为止已经被公式化为二元决策问题，即，训练数据是否具有特定属性。然而，在工业和医疗保健应用中，训练数据中的标签的比例通常也被认为是敏感信息。在本文中，我们介绍了一种新的类型的属性推断攻击，不同于文献中的二元决策问题，旨在推断的类标签分布的训练数据的参数的ML分类器模型。我们提出了一种方法的基础上\emph{shadow training}和\emph{meta-classifier}训练的阴影分类器的参数与辅助数据上的分类器的准确性增强。我们评估所提出的方法与完全连接的神经网络架构的ML分类器。我们发现，所提出的\emph{meta-classifier}攻击提供了最大的相对改进的$52\%$在国家的艺术。
2022-11-08 cs.AI cs.CR cs.LG
META-DES.Oracle: Meta-learning and feature selection for ensemble selection
École de Technologie Supérieure, University of Quebec（魁北克大学高等技术学院）；Universidade Federal de Pernambuco（伯南布哥联邦大学）
动态包围圈选择（DES）的关键问题是定义一个合适的标准来计算分类器的能力。有几个标准可用于衡量基本分类器的能力水平，例如局部准确性估计和排名。然而，仅使用一个标准可能导致分类器能力的差估计。为了解决这个问题，我们提出了一种新的动态集成选择框架，使用元学习，称为META-DES。META-DES框架的一个重要方面是，可以将多个标准嵌入到系统中，编码为不同的元特征集。然而，有些DES准则并不适用于所有的分类问题。例如，当类别之间存在高度重叠时，局部准确度估计可能产生差的结果。此外，如果元分类器的性能针对相应的数据进行优化，则可以获得更高的分类精度。在本文中，我们提出了一个新的版本的META-DES框架的基础上正式定义的Oracle，称为META-DES. Oracle。Oracle是一个抽象的方法，代表了一个理想的分类器选择方案。为了提高元分类器的性能，提出了一种使用过拟合谨慎二进制粒子群优化算法（BPSO）的Meta特征选择方案。元分类器获得的输出与Oracle提供的输出之间的差异被最小化。因此，期望元分类器获得与Oracle相似的结果。使用30个分类问题进行的实验表明，基于Oracle定义的优化过程相比，以前版本的META-DES框架和其他国家的最先进的DES技术的分类精度显着提高。
2018-11-01 cs.LG stat.ML
Bayes metaclassifier and Soft-confusion-matrix classifier in the task of multi-label classification
Wroclaw University of Science and Technology（弗罗茨瓦夫科技大学）
本文的目的是比较软混淆矩阵方法和贝叶斯元分类器下的多标签分类框架。虽然这些方法在多标签分类框架下得到了成功的应用，但到目前为止还没有直接进行比较。这种比较是至关重要的，因为这两种方法是非常相似的，因为它们都是基于随机参考分类器的概念。由于这两种算法都是针对单标签问题设计的，因此将它们与多标签分类的问题转换方法相结合。本研究包括29个基准数据集和四个不同的基础分类器。算法进行了比较，在11个质量标准和结果进行了统计分析。
2019-01-25 cs.LG stat.ML
META-DES: A Dynamic Ensemble Selection Framework using Meta-Learning
University of Quebec（魁北克大学）；Universidade Federal de Pernambuco（伯南布哥联邦大学）
动态集成选择系统通过从分类器池中估计每个分类器的能力水平来工作。只选择最有能力的人来分类给定的测试样本。这是通过定义一个标准来衡量一个基本分类器的能力水平，例如，它在查询实例周围的特征空间的局部区域的准确性。然而，只使用一个基本分类器的行为的标准是不够的，以准确地估计其能力水平。在本文中，我们提出了一种新的动态集成选择框架，使用元学习。我们提出了五组不同的元特征，每一个对应于一个不同的标准来衡量一个分类器的输入样本的分类能力的水平。从训练数据中提取元特征，并将其用于训练元分类器，以预测基本分类器是否足以胜任对输入实例进行分类。在泛化阶段，从查询实例中提取元特征，并将其作为输入传递给元分类器。元分类器估计基础分类器是否足够胜任以被添加到集成。对几个小样本分类问题进行了实验，即，由于缺乏训练数据而具有高度不确定性的问题。实验结果表明，所提出的元学习框架大大提高了分类精度相比，目前国家的最先进的动态集成选择技术。
2018-09-30 cs.AI cs.LG stat.ML
META-DES.H: a dynamic ensemble selection technique using meta-learning and a dynamic weighting approach
École de technologie supérieure - Université du Québec（魁北克大学高等技术学院）；Centro de Informática - Universidade Federal de Pernambuco（伯南布哥联邦大学信息中心）
在动态包围圈选择（DES）技术中，只有最称职的分类器被选择来分类给定的查询样本。因此，DES的关键问题是如何估计池中每个分类器的能力，以选择最有能力的。为了解决这个问题，我们提出了一种新的动态集成选择框架，使用元学习，称为META-DES。该框架分为三个步骤。在第一步骤中，从训练数据生成分类器池。在第二阶段，使用训练数据计算元特征，并将其用于训练元分类器，该元分类器能够预测来自池的基本分类器是否足以胜任对输入实例进行分类。在本文中，我们提出了改进的训练和推广阶段的META-DES框架。在训练阶段，我们评估了四种不同的元分类器训练算法。对于泛化阶段，评估了三种组合方法：动态选择，其中仅选择达到一定能力水平的分类器;动态加权，其中元分类器估计池中每个分类器的能力，并且池中所有分类器的输出基于其能力水平加权;以及混合方法，其中首先选择具有最胜任的分类器的集合，之后估计所选择的分类器的权重以便在加权多数表决方案中使用。在30个分类数据集上进行了实验。实验结果表明，本文提出的变化显着提高了系统的识别精度在几个数据集。
2018-11-01 cs.AI cs.LG stat.ML
Confidence Scoring Using Whitebox Meta-models with Linear Classifier Probes
Johns Hopkins University（约翰斯·霍普金斯大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们提出了一种新的深度神经网络的信心评分机制的基础上，涉及一个基础模型和一个元模型的两个模型的范例。置信度得分是通过元模型观察基础模型在其任务中成功/失败来学习的。作为元模型的特征，我们研究了在基础模型的各个层之间插入的线性分类器探针。我们的实验表明，这种方法在过滤任务中优于各种基线，即，拒绝低置信度样本的任务。实验结果使用CIFAR-10和CIFAR-100数据集与无添加噪声。我们讨论了信心评分的重要性，以弥合实验和现实世界的应用程序之间的差距。
2019-03-14 cs.LG stat.ML
Assessing Classifier Fairness with Collider Bias
University of South Australia（南澳大学）；Simon Fraser University（西蒙菲莎大学）
随着机器学习技术在日常决策过程中的应用越来越广泛，人们开始关注算法决策的公平性。本文研究了公平性评估中产生虚假关联的碰撞者偏差问题，并给出了避免碰撞者偏差的公平性评估定理。我们认为一个真实世界的应用程序的审计培训分类的审计机构。我们提出了一个公正的评估算法，利用发达国家的定理，以减少碰撞偏见的评估。实验和仿真结果表明，该算法在评估中显著降低了碰撞者偏差，在审计训练分类器方面具有良好的应用前景。
2022-01-28 cs.AI cs.LG
MLRS-PDS: A Meta-learning recommendation of dynamic ensemble selection pipelines
École de Technologie Supérieure, Université du Québec（魁北克大学高等技术学院）
针对动态集成选择中分类器池不稳定冗余影响效率与精度的问题，提出元学习推荐系统MLRS，基于数据集元特征推荐最优池生成方案与DES方法，在288个数据集上优于传统策略。
2024-07-10 cs.LG
Meta-Learning for Classifier Selection in Image Datasets: A Feature-Driven Framework for Accuracy Prediction
McMaster University（麦克马斯特大学）；Isfahan University of Technology（伊斯法罕理工大学）；Seattle University（西雅图大学）
提出一种基于元特征的元学习框架，通过回归模型预测分类器精度，在56个图像数据集上实现超过86%的排名预测准确率，以低成本指导模型选择。
2026-09-11 cs.CV cs.LG
Toward Better Generalization in Few-Shot Learning through the Meta-Component Combination
Qiuhao Zeng
针对基于度量的元学习在少样本学习中易过拟合已见类、泛化性差的问题，提出通过正交正则化器解耦并学习多样化元组件组合成分类器的方法，在基准任务上实现更优性能。
2025-11-07 cs.AI cs.LG
Few-Shot Learning with a Strong Teacher
Nanjing University（南京大学）；Ohio State University（俄亥俄州立大学）
少样本学习（FSL）的目标是使用有限的标记样本生成分类器。许多现有的作品采取元学习方法，构建一个Few-Shot学习器，可以从Few-Shot的例子学习，以生成一个分类器。通常，通过依次对多个Few-Shot任务进行采样并优化Few-Shot学习器在为这些任务生成分类器时的性能来构建或元训练Few-Shot学习器。性能是通过所得分类器对测试进行分类的程度来衡量的（即，这些任务的示例。在本文中，我们指出了这种方法的两个潜在的弱点。首先，采样的查询示例可能不能为元训练Few-Shot学习器提供足够的监督。其次，元学习的有效性随着镜头数量的增加而急剧下降。为了解决这些问题，我们提出了一种新的元训练目标的Few-Shot学习者，这是鼓励Few-Shot学习者生成分类器，执行像强分类器。具体地说，我们将每个采样的Few-Shot任务与一个强分类器相关联，该分类器用大量标记的示例进行训练。强分类器可以看作是我们希望Few-Shot学习器生成给定的Few-Shot样本的目标分类器，我们用强分类器来监督Few-Shot学习器。我们提出了一种有效的方法来构建强分类器，使我们提出的目标很容易即插即用现有的基于元学习的FSL方法。我们验证了我们的方法，LastShot，结合许多代表性的元学习方法。在几个基准数据集上，我们的方法在各种任务上都有显著的改进。更重要的是，通过我们的方法，基于元学习的FSL方法…
2022-07-11 cs.AI cs.CV cs.LG
Recurring Concept Meta-learning for Evolving Data Streams
University of Auckland（奥克兰大学）；Telecom ParisTech（巴黎高等电信学院）
当在数据流中的分类期间检测到概念漂移时，常见的补救措施是重新训练框架的分类器。然而，如果分类器已经很好地学习了当前概念，则这会丢失有用的信息，并且该概念将在未来再次出现。一些框架保留并重用分类器，但选择适当的分类器来重用可能很耗时。这些框架很少能与最先进的集成方法相匹配。对于许多数据流任务来说，速度非常重要：对于依赖时间的应用程序，需要快速、准确的框架。我们提出了增强概念分析框架（ECPF），其目的是识别重复出现的概念并重用之前训练的分类器，从而在漂移后立即实现准确的分类。ECPF的新颖之处在于它如何使用新分类器和现有分类器之间对新数据的分类相似性，以快速识别最佳分类器进行重用。它总是训练一个新的分类器和一个重用的分类器，并保留更准确的分类器时，概念漂移发生。最后，它创建了一个重复使用的分类器的副本，所以一个非常适合重复出现的概念的分类器不会受到在不同概念上训练的影响。在我们的实验中，ECPF分类显着更准确地比一个国家的最先进的分类器重用框架（多样性池）和国家的最先进的集成技术（自适应随机森林）的合成数据集与重复出现的概念。它对真实世界数据集的分类速度比多样性池快五倍，比自适应随机森林快六倍，并且准确性不比任何一个都低。
2019-05-21 cs.LG stat.ML
Meta-learning One-class Classifiers with Eigenvalue Solvers for Supervised Anomaly Detection
NTT Communication Science Laboratories（NTT通信科学研究所）；NTT Software Innovation Center（NTT软件创新中心）
基于神经网络的异常检测方法已经显示出实现高性能。然而，它们需要为每个任务提供大量的训练数据。我们提出了一种基于神经网络的元学习方法的监督异常检测。该方法通过对不同数据集进行元训练，提高了对包含少量标记正常和异常实例的不可见任务的异常检测性能。对于元学习框架，快速适应每个任务及其有效的反向传播非常重要，因为模型是通过每个时期的适应来训练的。我们的模型使他们通过制定适应作为一个广义特征值问题，一类分类，其全局最优解，求解器是可微的。我们的实验证明，该方法在各种数据集上比现有的异常检测和少镜头学习方法（Few-Shot learning）获得了更好的性能。
2021-03-01 cs.LG stat.ML
Learning-From-Disagreement: A Model Comparison and Visual Analytics Framework
Visa Research（Visa研究院）
随着每天产生的分类模型数量的快速增长，也引入了许多模型解释和比较解决方案。例如，LIME和SHAP可以解释哪些输入特征对分类器的输出预测贡献更大。不同的数值度量（例如，准确度）可以用于容易地比较两个分类器。然而，很少有作品可以解释的贡献，一个数据特征的分类器相比，它的贡献，另一个分类器。这种比较解释有助于揭示两种分类器之间的根本差异，选择不同特征条件下的分类器，更好地集成两种分类器。为了实现这一点，我们提出了一个从分歧中学习（LFD）框架来直观地比较两个分类模型。具体来说，LFD识别来自两个比较分类器的预测不一致的数据实例，并训练一个学习器从不一致的实例中学习。由于这两个分类器的训练特征可能不可用，我们通过基于分类器的某些假设提出的一组元特征来训练分类器，以探测它们的行为。通过使用不同元特征的SHAP值解释训练的分类器，我们为比较的分类器提供了可操作的见解。此外，我们引入了多个指标，从不同的角度来分析元功能的重要性。有了这些指标，人们可以很容易地识别出两个分类器中具有最互补行为的元特征，并使用它们来更好地集成分类器。我们专注于金融服务和广告行业的二进制分类模型，以证明我们提出的框架和可视化的有效性。
2022-01-19 cs.HC cs.LG
Meta learning of bounds on the Bayes classifier error
University of Michigan（密歇根大学）；Royal Observatory of Belgium（比利时皇家天文台）
元学习使用来自基本学习器（例如分类器或估计器）的信息以及关于学习问题的信息来改进单个基本学习器的性能。例如，给定特征空间的贝叶斯出错率（如果已知的话）可以用于帮助选择分类器，以及用于基本分类器和Meta分类器的特征选择和模型选择。最近在f-发散函数估计领域的工作已经导致了简单和快速收敛的估计量的发展，这些估计量可以用于估计贝叶斯误差的各种界限。我们估计贝叶斯误差的多个界限，使用估计器，该估计器将元学习应用于缓慢收敛的插件估计器，以获得参数收敛速度。我们比较经验上的模拟数据的估计界限，然后估计更严格的边界上提取的特征，从太阳黑子连续体和磁图图像的图像补丁分析。
2015-07-03 astro-ph.SR cs.CV cs.IT
Imbalanced Regression Pipeline Recommendation
针对不平衡回归任务中重采样方法与学习模型组合难以确定最优解的问题，提出Meta-IR框架，通过训练元分类器以零样本方式为每个任务推荐最佳流水线，其链式方案表现优于独立方案、AutoML框架及42种基线配置。
2025-07-16 cs.LG
On Meta-Learning for Dynamic Ensemble Selection
École de technologie supérieure - Université du Québec（魁北克大学高等技术学院）；Centro de Informática - Universidade Federal de Pernambuco（伯南布哥联邦大学信息中心）
在本文中，我们提出了一种新的动态集成选择框架，使用元学习。该框架分为三个步骤。在第一步骤中，从训练数据生成分类器池。第二阶段主要负责元特征的提取和元分类器的训练。提出了五个不同的元特征集，每一个对应于一个不同的标准来衡量一个给定的查询样本的分类的能力水平。元特征使用训练数据来计算，并用于训练元分类器，该元分类器能够预测来自池的基本分类器是否足以胜任对输入实例进行分类。三种不同的训练方案的元分类器的训练被认为是：问题相关的，问题无关的和混合。实验结果表明，问题相关的场景提供了最好的结果。此外，问题相关场景的性能与系统的识别率密切相关。与最先进的技术的比较表明，所提出的依赖的方法优于当前的动态集成选择技术。
2018-11-01 cs.AI cs.LG stat.ML
Generating meta-learning tasks to evolve parametric loss for classification learning
近年来，人们对元学习领域的兴趣急剧上升。在现有的元学习方法中，用于训练元模型的学习任务通常是从公共数据集中收集的，这就带来了在大量训练数据的情况下难以获得足够数量的元学习任务的困难。在本文中，我们提出了一个元学习方法的基础上随机生成的元学习任务，以获得一个参数损失的分类学习基于大数据。损失由称为元损失网络（MLN）的深度神经网络表示。为了训练MLN，我们通过随机生成训练数据、验证数据和相应的真实线性分类器来构造大量的分类学习任务。我们的方法有两个优点。首先，可以容易地获得具有大量训练数据的足够的元学习任务。第二，给出了地面实况分类器，从而可以测量学习的分类器和地面实况模型之间的差异，以更精确地反映MLN的性能，而不是验证精度。基于这种差异，我们应用进化策略算法来寻找最优MLN。所得到的MLN不仅在生成的线性分类器学习任务上取得了令人满意的学习效果，而且在生成的非线性分类器学习任务和各种公共分类任务上也表现得很好。我们的MLN稳定地超过交叉熵（CE）和均方误差（MSE）在测试的准确性和推广能力。这些结果说明了使用生成的学习任务实现满意的元学习效果的可能性。
2021-11-20 cs.AI cs.LG
Shallow Bayesian Meta Learning for Real-World Few-Shot Recognition
University of Edinburgh（爱丁堡大学）；Samsung AI Centre（三星人工智能中心）；University of Chinese Academy of Sciences（中国科学院大学）
当前最先进的Few-Shot学习器在使用简单的分类器（例如最近质心分类器）之前，专注于开发用于特征表示的有效训练过程。在本文中，我们采用了一种正交方法，该方法对所使用的特征不可知，并专门关注实际分类器层的元学习。具体来说，我们介绍MetaQDA，贝叶斯元学习的经典二次判别分析的推广。这种设置有几个从业者感兴趣的好处：元学习速度快，内存效率高，不需要微调功能。它对所选择的现成功能是不可知的，因此将继续受益于功能表示的进步。从经验上讲，它导致跨域少样本学习的鲁棒性能，并且对于现实世界的应用至关重要，它导致预测中更好的不确定性校准。
2021-08-27 cs.LG
Unsupervised Ensemble Learning with Dependent Classifiers
Weizmann Institute of Science（魏茨曼科学研究所）；Yale University（耶鲁大学）；Yale University School of Medicine（耶鲁大学医学院）
在无监督集成学习中，人们从多个源或分类器获得预测，但不知道每个源的可靠性和专业知识，也没有标记数据来评估它。任务是将这些可能相互冲突的预测组合成一个准确的元学习者。迄今为止，大多数作品都假设不同来源之间存在完美的多样性，这种特性被称为条件独立性。然而，在现实场景中，这一假设往往被违反，基于它的集成学习器可能是严重的次优。我们在本文中解决的关键挑战是：\（i）如何检测，在无监督的方式，强烈违反条件独立性;和（ii）构建一个合适的元学习器。为此，我们引入了一个统计模型，允许分类器之间的依赖关系。我们的主要贡献是开发新的无监督方法来检测强依赖分类器，更好地估计其准确性，并构建一个改进的元学习器。使用人工和真实数据集，我们展示了考虑分类器依赖关系的重要性以及我们方法的竞争性能。
2016-02-23 cs.LG stat.ML
Meta-repository of screening mammography classifiers
NYU Langone Health（纽约大学朗格尼健康中心）；Jagiellonian University（雅盖隆大学）；NYU Abu Dhabi（纽约大学阿布扎比分校）；New York University（纽约大学）；Courant Institute, New York University（纽约大学库朗研究所）；NYU Grossman School of Medicine（纽约大学格罗斯曼医学院）
人工智能（AI）在改善临床诊断方面显示出希望。在乳腺癌筛查方面，最近的研究表明，人工智能有可能改善早期癌症诊断并减少不必要的检查。随着提出的模型数量及其复杂性的增加，重新实现它们变得越来越困难。为了使研究的可重复性和不同方法之间的比较，我们发布了一个元存储库，其中包含用于筛查乳腺X线照片分类的模型。这个元存储库创建了一个框架，可以在任何筛查乳腺X射线摄影数据集上评估AI模型。在成立之初，我们的元存储库包含五个最先进的模型，具有开源实现和跨平台兼容性。我们在七个国际数据集上比较了它们的表现。我们的框架具有灵活的设计，可以推广到其他医学图像分析任务。元存储库可以在www.example.com上找到。
2022-01-18 cs.CV cs.LG
A Framework of Meta Functional Learning for Regularising Knowledge Transfer
Queen Mary University of London（伦敦玛丽女王大学）；Fudan University（复旦大学）
机器学习分类器的能力在很大程度上取决于可用训练数据的规模，并且在数据稀缺的学习任务中受到模型过拟合的限制。为了解决这个问题，这项工作提出了一种新的框架Meta功能学习（MFL）的元学习的一个概括的功能模型，从数据丰富的任务，同时定期知识转移到数据稀缺的任务。MFL计算可推广到不同学习任务的函数正则化的元知识，通过该元知识，在有限的标记数据上进行函数训练可以促进学习更多的判别函数。基于这个框架，我们制定了三种变体的MFL：MFL与原型（MFL-P）学习功能的辅助原型，复合MFL（ComMFL），从功能空间和表征空间转移知识，MFL与迭代更新（MFL-IU），通过逐步学习知识转移中的功能规则化，提高知识转移规则化。此外，我们概括这些变种的知识转移正则化从二进制分类器到多类分类器。在两个少样本学习场景上的大量实验，少样本学习（FSL）和跨域少样本学习（CD-FSL），表明用于知识转移正则化的Meta函数学习可以改进FSL分类器。
2022-03-28 cs.CV cs.LG
EEG-Reptile: An Automatized Reptile-Based Meta-Learning Library for BCIs
MEG Center, Moscow State University of Psychology and Education（莫斯科心理与教育大学MEG中心）；Lomonosov Moscow State University（莫斯科罗蒙诺索夫大学）
提出EEG-Reptile自动化元学习库，利用Reptile算法提升BCI分类器性能，在零样本和少样本场景下优于传统迁移学习。
2025-01-17 cs.LG
Meta-Instance Selection. Instance Selection as a Classification Problem with Meta-Features
Silesian University of Technology（西里西亚工业大学）
本研究将实例选择转化为基于元特征的分类问题，利用最近邻图属性构建元特征空间，训练元分类器（推荐平衡随机森林），在17个数据集上达到与参考方法相当的性能，同时显著降低计算复杂度。
2025-01-20 cs.AI cs.LG
Fast Meta-Learning for Adaptive Hierarchical Classifier Design
Econometric Institute, Erasmus University Rotterdam（鹿特丹伊拉斯姆斯大学计量经济研究所）；Electrical Engineering and Computer Science, University of Michigan（密歇根大学电气工程与计算机科学学院）
我们提出了一个新的分裂标准的元学习方法，多类分类器的设计，自适应地合并到一个树结构层次的日益困难的二进制分类问题的类。分类树是从经验估计的Henze-Penrose界的成对贝叶斯误分类率，排名的二进制子问题的分类难度。建议的经验估计的贝叶斯出错率计算从最小生成树（MST）的样本从每对类。此外，提出了一种元学习技术，用于从整个数据集上的单个MST中量化每个单独类的一对剩余贝叶斯出错率。在基准数据集上的大量模拟表明，所提出的分层方法通常可以比竞争方法更快地学习，同时达到竞争的准确性。
2017-11-09 cs.AI cs.IT cs.LG
Classifying the classifier: dissecting the weight space of neural networks
Linköping University（林雪平大学）；Ulm University（乌尔姆大学）
本文对神经网络的权值进行了实证研究，将每个模型看作是一个高维空间--神经权值空间中的一个点。为了探索这个空间的复杂结构，我们从不同的训练变量（数据集，优化过程，架构等）中进行采样。的神经网络分类器，并训练大量的模型来表示的权重空间。然后，我们使用一种机器学习方法来分析和提取这个空间中的信息。最重要的是，我们训练了一些新的深度元分类器，其目标是通过识别它们在权重空间中的足迹来对训练设置的不同属性进行分类。因此，元分类器探测由超参数引起的模式，这样我们就可以量化这些模式在优化过程中被编码的数量、位置和时间。这为可解释的人工智能提供了一个新的和补充的观点，我们展示了元分类器如何通过只考虑随机选择的连续权重的一个小子集来揭示有关训练设置和优化的大量信息。为了促进对权重空间的进一步研究，我们发布了神经权重空间（NWS）数据集-来自16 K个单独训练的深度神经网络的320 K权重快照的集合。
2020-02-13 cs.CV cs.LG
Exploring Opportunistic Meta-knowledge to Reduce Search Spaces for Automated Machine Learning
University of Technology Sydney（悉尼科技大学）
已经研究了机器学习（ML）流水线组成和优化，以寻求有效且性能良好的多级ML模型，即预处理器包容性。这些过程通常需要设计和遍历复杂的配置空间，不仅包括单个ML组件及其超参数，还包括将这些组件连接在一起的更高级别的管道结构。如果该管道搜索空间笨重且过大，则优化效率和由此产生的ML模型准确性都会受到影响;避免提前对性能较差的ML组件进行昂贵的评估成为一个有吸引力的概念。因此，本文研究了根据以前的经验，是否可以在为新的ML问题（即数据集）启动管道组合/优化过程之前抢先挑选可用的分类器/回归器池。以前的经验来自分类器/回归器的准确性排名的形式，与松散的假设，从大量的但非详尽的管道评估，这种元知识被认为是“机会主义”。使用AutoWeka 4 MCPS包进行的大量实验，包括通过相对标记方法利用数据集之间的相似性的实验，表明尽管它看起来不可靠，但机会主义元知识可以改善ML结果。然而，结果也表明，分类器/回归器的剔除也不应该太严重。实际上，最好是通过一个“顶级”推荐的预测器进行搜索，而不是将希望寄托在一个以前表现最好的预测器上。
2021-05-01 cs.LG
Which is the best model for my data?
Tilburg University（蒂尔堡大学）；Eindhoven University of Technology（埃因霍温理工大学）；Universidad de Talca（塔尔卡大学）
在本文中，我们解决的问题，选择一个给定的结构化模式分类数据集的最佳模型。在这种情况下，模型可以被理解为分类器和超参数配置。所提出的元学习方法纯粹依赖于机器学习，并涉及四个主要步骤。首先，我们提出了一个简洁的集合62元功能，解决问题的信息取消时，聚合测量值涉及积极和消极的测量。其次，我们描述了两种不同的方法来生成合成数据，旨在扩大训练数据。第三，我们为每个分类问题拟合一组预定义的分类模型，同时使用网格搜索优化其超参数。我们的目标是创建一个元数据集，使每行表示一个描述特定问题的多标签实例。这些元实例的特征表示生成的数据集的统计属性，而标签将网格搜索结果编码为二进制向量，以便最佳性能的模型被正面标记。最后，我们用几个多标签分类器来解决模型选择问题，包括一个专门用于处理表格数据的卷积神经网络。仿真结果表明，我们的元学习方法可以正确预测91%的合成数据集和87%的真实数据集的最佳模型。此外，我们注意到大多数元分类器在使用我们的元特征时会产生更好的结果。总的来说，我们的建议不同于其他元学习方法，因为它在单步的中解决了算法选择和超参数调整问题。最后，我们进行了特征重要性分析，以确定哪些统计特征驱动模型选择机制。
2022-10-26 cs.LG
A Meta-heuristic Approach to Estimate and Explain Classifier Uncertainty
Loughborough University（拉夫堡大学）；Defence Medical Rehabilitation Centre（国防医疗康复中心）
针对分类器不确定性解释缺乏模型无关且易理解方法的问题，提出类别无关的元启发式复杂度度量，并通过元学习框架估计误分类风险，效果优于预测概率。
2023-04-20 cs.AI cs.LG
A Comparative Analysis of Ensemble Classifiers: Case Studies in Genomics
Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院）
使用集成方法的多个分类器的组合对于在各种困难的预测问题中取得进展越来越重要。我们通过基因组学中的两个案例研究，即遗传相互作用和蛋白质功能的预测，对几种集成方法进行了比较分析，以证明它们在真实世界数据集上的有效性，并得出有关其行为的有用结论。这些方法包括简单聚合、元学习、基于聚类的元学习和集成选择，这些方法使用在重采样数据上训练的异构分类器来提高其预测的多样性。我们在4个基因组学数据集上对这些方法进行了详细分析，并发现这些方法中最好的方法在各自领域的最新技术水平上提供了统计学上的显着改进。此外，我们建立了集成选择和元学习之间的新联系，展示了这两种不同的方法如何在集成多样性和性能之间建立平衡。
2013-09-19 cs.LG q-bio.GN stat.ML
Meta-Cal: Well-controlled Post-hoc Calibration by Ranking
KU Leuven（鲁汶大学）
在许多应用中，期望分类器不仅做出准确的预测，而且输出校准的后验概率。然而，许多现有的分类器，特别是深度神经网络分类器，往往是未校准的。事后校准是一种通过学习校准图来重新校准模型的技术。现有的方法主要集中在构建校准图与低校准误差，然而，这种质量是不够的校准是有用的。在本文中，我们介绍了两个约束条件，值得考虑在设计一个事后校准的校准图。然后，我们提出Meta-Cal，这是建立在一个基地校准和排名模型。在一些温和的假设下，给出了两个高概率界关于这些约束。在CIFAR-10、CIFAR-100和ImageNet以及一系列流行的网络架构上的实证结果表明，我们提出的方法在事后多类分类校准方面的性能明显优于当前最先进的方法。
2021-06-23 cs.LG stat.ML
A meta-learning recommender system for hyperparameter tuning: predicting when tuning improves SVM classifiers
Federal Technology University（联邦技术大学）；University of São Paulo（圣保罗大学）；Universidade Estadual Paulista（保利斯塔州立大学）；Eindhoven University of Technology（埃因霍温理工大学）
对于许多机器学习算法，预测性能受到用于训练它们的超参数值的严重影响。然而，调整这些超参数可能会带来很高的计算成本，特别是在较大的数据集上，而调整后的设置并不总是显著优于默认值。本文提出了一种基于元学习的推荐系统，以准确地识别何时使用默认值以及何时为每个新数据集调整超参数。此外，还进行了深入的分析，以了解他们在决策时考虑了哪些因素，从而提供了有用的见解。对156个数据集的不同类别的元特征、元学习者和设置进行了广泛的分析。结果表明，它是可以准确地预测时，调整将显着提高性能的诱导模型。所提出的系统减少了优化过程所花费的时间，而不会降低诱导模型的预测性能（与使用调谐超参数获得的模型相比）。我们还解释了基于线性可分性假设的元学习者的决策过程。虽然该分析集中在支持向量机的调整上，但是它也可以应用于其他算法，如用决策树执行的实验中所示。
2019-06-11 cs.LG stat.ML
Decoding Cognitive Health Using Machine Learning: A Comprehensive Evaluation for Diagnosis of Significant Memory Concern
Indian Institute of Technology Indore（印度理工学院印多尔分校）；University of Manitoba（曼尼托巴大学）；Health Sciences Centre（健康科学中心）
本研究利用ADNI2数据集的MRI扫描特征，全面评估了随机神经网络和基于超平面的分类器在诊断显著记忆担忧（SMC）中的性能，发现dRVFL、edRVFL及多种Pin-GTSVM模型表现优异，强调了特征与模型选择的重要性。
2024-05-11 cs.LG
Meta-learning Representations for Learning from Multiple Annotators
NTT Corporation（日本NTT公司）
针对多噪声标注者场景下数据不足难以训练准确分类器的问题，提出一种元学习方法，通过神经网络嵌入样本到隐空间，结合EM算法实现分类器适配与标注者能力估计，在多类数据集上验证了有效性。
2025-06-12 cs.LG stat.ML
Augmenting Novelty Search with a Surrogate Model to Engineer Meta-Diversity in Ensembles of Classifiers
Imperial College London（帝国理工学院）；Edinburgh Napier University（爱丁堡龙比亚大学）
使用神经进化结合新奇搜索来促进行为多样性，能够构建用于分类的高性能集合。然而，在搜索期间使用梯度下降来训练演进的架构在计算上可能是禁止的。在这里，我们提出了一种方法来克服这一限制，通过使用一个代理模型，估计两个神经网络架构之间的行为距离计算的稀疏项在新奇搜索。我们证明了10倍的速度比以前的工作，并显着改善了以前的报告结果的三个基准数据集从计算机视觉- CIFAR-10，CIFAR-100，和SVHN。这是由于通过使用代理来促进扩展的架构搜索空间。我们的方法代表了一个改进的范例，实现水平缩放的学习算法的多样性显式搜索相当容易处理相同的有界资源。
2022-02-08 cs.CV cs.LG cs.NE
Self-DenseMobileNet: A Robust Framework for Lung Nodule Classification using Self-ONN and Stacking-based Meta-Classifier
University of Dhaka（达卡大学）；Qatar University（卡塔尔大学）；Charles Sturt University（查尔斯斯特大学）；Vellore Institute of Technology（韦洛尔理工学院）
本研究提出 Self-DenseMobileNet 框架，结合图像增强与 Stacking 元分类器，在胸部 X 光片肺结节分类中实现 99.28% 内部准确率和 89.40% 外部泛化准确率。
2024-10-16 cs.CV cs.LG eess.IV
Meta-learning for Positive-unlabeled Classification
NTT Computer and Data Science Laboratories（NTT计算机与数据科学实验室）；NTT Communication Science Laboratories（NTT通信科学实验室）
本文提出一种PU分类元学习方法，通过相关任务适应和闭式密度比估计来估计贝叶斯最优分类器，从而在仅用少量PU数据时提升未见目标任务的分类性能。
2024-06-06 cs.LG stat.ML
MURAL: Meta-Learning Uncertainty-Aware Rewards for Outcome-Driven Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
强化学习中的探索是一个具有挑战性的问题：在最坏的情况下，智能体必须搜索可能隐藏在状态空间中任何地方的高回报状态。我们能否定义一个更容易处理的RL问题，其中代理提供了成功结果的例子？在这个问题设置中，可以通过训练分类器将状态分类为成功或失败来自动获得奖励函数。如果训练得当，这样的分类器可以提供一个形状良好的客观景观，既可以促进向良好状态的进展，又可以提供校准的探索奖励。在这项工作中，我们表明，一个不确定性感知分类器可以解决具有挑战性的强化学习问题，既鼓励探索，并提供直接指导积极的结果。我们提出了一种新的机制来获得这些校准，不确定性感知分类器的基础上摊销技术计算归一化的最大似然（NML）分布。为了使这易于处理，我们提出了一种新的方法，通过使用元学习计算NML分布。我们表明，由此产生的算法有一些有趣的连接到基于计数的探索方法和先验算法学习奖励函数，同时也提供了更有效的指导目标。我们证明，我们的算法解决了一些具有挑战性的导航和机器人操作任务，证明困难或不可能的先前的方法。
2021-07-18 cs.LG cs.RO
A Meta-Analysis of Distributionally-Robust Models
New York University（纽约大学）
在大规模数据集（如ImageNet）上训练的最先进的图像分类器已被证明容易受到一系列有意和偶然的分布偏移的影响。另一方面，最近出现了几个具有良好的分布外（OOD）鲁棒性的分类器，在目标任务上实现了高精度，同时在具有挑战性的基准测试中保持了分布内的精度。我们对广泛的公开发布的模型进行了荟萃分析，其中大部分是在过去12个月内发布的。通过这种元分析，我们根据经验确定了所有表现最好的OOD鲁棒模型的四个主要共性，所有这些都说明了视觉语言预训练的巨大潜力。
2022-06-15 cs.CV cs.LG
Decoding Concerns: Multi-label Classification of Vaccine Sentiments in Social Media
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
针对社交媒体上疫苗相关担忧多元难归类的问题，本文构建疫苗情绪多标签分类器，对比多种NLP与机器学习方法，发现GPT 3.5等大语言模型表现最优，助力公共卫生领域把握公众疫苗态度。
2023-12-17 cs.AI cs.CL cs.LG
Meta-learning on Spectral Images of Electroencephalogram of Schizophenics
精神分裂症是一种复杂的精神疾病，涉及思维模式，感知，情绪和行为的变化。精神分裂症的诊断具有挑战性，需要患者至少一个月内表现出两种或两种以上的阳性症状。延迟识别这种使人衰弱的疾病可能会妨碍患者接受急需治疗的能力。神经影像学和机器学习算法的进步可以促进精神分裂症的诊断，并帮助临床医生提供对该疾病的准确诊断。本文提出了一种利用卷积神经网络分析精神分裂症患者脑电频谱图像的方法。它还解释了我们如何使用模型不可知元学习和原型网络开发准确的分类器。这种分类器有能力根据大脑活动将精神分裂症患者与健康对照者区分开来。
2021-02-16 cs.AI cs.LG
Few-shot Image Classification: Just Use a Library of Pre-trained Feature Extractors and a Simple Classifier
Rice University（莱斯大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
最近的论文表明，迁移学习在Few-Shot图像分类中的表现优于复杂的元学习方法。我们把这个假设的逻辑结论，并建议使用高质量的，预先训练的特征提取器的合奏Few-Shot图像分类。我们的实验表明，一个库的预训练的特征提取器结合一个简单的前馈网络学习与L2正则化可以是一个很好的选择，解决跨域Few-Shot图像分类。我们的实验结果表明，这种更简单的样本效率的方法远远优于几个完善的Meta学习算法在各种Few-Shot任务。
2021-08-20 cs.AI cs.CV cs.LG
MetaSleepLearner: A Pilot Study on Fast Adaptation of Bio-signals-Based Sleep Stage Classifier to New Individual Subject Using Meta-Learning
Vidyasirimedhi Institute of Science & Technology（维迪亚西里梅迪科学技术学院）；Chulalongkorn University（朱拉隆功大学）；King Chulalongkorn Memorial Hospital（朱拉隆功国王纪念医院）；Thai Red Cross Society（泰国红十字会）；Fudan University（复旦大学）
识别基于睡眠阶段的生物信号需要熟练的临床医生耗时且繁琐的劳动。为了挑战自动睡眠阶段分类难题，已经引入了深度学习方法。然而，由于在个体生物信号中发现的许多方面的差异，在用自动系统替换临床医生时可能会遇到困难，从而导致模型对每个输入个体的性能不一致。因此，我们的目的是探索使用一种新的方法，能够帮助临床医生和减轻工作量的可行性。我们提出了转移学习框架，名为MetaSleepLearner，基于模型不可知元学习（MAML），为了将获得的睡眠分期知识从大型数据集转移到新的个体受试者。该框架被证明只需要由临床医生标记几个睡眠时期，并允许系统处理其余部分。分层相关传播（LRP）也被应用于了解我们的方法的学习过程。在所有采集的数据集中，与传统方法相比，MetaSleepLearner实现了5.4%至17.7%的改善，两种方法的平均值存在统计学差异。在适应每个主题后，模型解释的说明也证实了性能是针对合理的学习。MetaSleepLearner优于传统方法，这是由于使用健康受试者和患者的记录进行微调。这是第一项研究非传统预训练方法MAML的工作，从而有可能在睡眠阶段分类中进行人机协作，并减轻临床医生仅通过几个时期而不是整个记录来标记睡眠阶段的负担。
2020-11-10 cs.LG eess.SP q-bio.NC
Meta-Learning with Differentiable Convex Optimization
UC San Diego（加州大学圣地亚哥分校）；Amazon Web Services（亚马逊云科技）；UMass Amherst（马萨诸塞大学阿默斯特分校）；UCLA（加州大学洛杉矶分校）
许多用于少样本学习的元学习方法依赖于简单的基本学习器，例如最近邻分类器。然而，即使在Few-Shot机制中，有区别地训练的线性预测器也可以提供更好的泛化。我们建议使用这些预测器作为基础学习器来学习少样本学习的表示，并表明它们在一系列Few-Shot识别基准中提供了更好的特征大小和性能之间的权衡。我们的目标是学习特征嵌入，以及推广下的线性分类规则的新类别。为了有效地解决这个问题，我们利用线性分类器的两个属性：凸问题的最优性条件的隐式微分和优化问题的对偶公式。这使我们能够在计算开销适度增加的情况下使用具有改进泛化的高维嵌入。我们的方法名为MetaOptNet，在miniImageNet，tieredImageNet，CIFAR-FS和FC 100少样本学习基准测试中实现了最先进的性能。我们的代码可在https://github.com/kjunelee/MetaOptNet上获得。
2019-04-23 cs.CV cs.LG
Open-world Learning and Application to Product Classification
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Tsinghua University（清华大学）
经典的监督学习做出了封闭世界的假设，这意味着在测试中看到的类必须在训练中看到。然而，在动态世界中，新的或看不见的类示例可能会不断出现。在这样的环境中工作的模型必须能够拒绝看不见的类（在训练中看不到或使用）。如果为看不见的类收集了足够的数据，系统应该逐步学习接受/分类它们。这种学习模式被称为开放世界学习（OWL）。现有的OWL方法都需要某种形式的重新训练，以接受或在整个模型中包含新类。在本文中，我们提出了一个元学习方法的问题。它的主要新颖之处在于，它只需要训练一个元分类器，当它们有足够的标记数据供元分类器使用时，元分类器可以不断接受新的类，并且还可以检测/拒绝未来看不见的类。不需要重新训练元分类器或覆盖所有旧类和新类的新的整体分类器。在测试中，该方法只使用所看到的类（包括新添加的类）的示例进行分类和拒绝。实验结果证明了新方法的有效性。
2019-03-01 cs.AI cs.CL cs.LG
MMAO-Cls: Metabolic Multi-Agent Optimization for Joint Feature Selection and Classifier Tuning
Beijing, China（北京，中国）；Department of Disease Control and Prevention, The Seventh Medical Center of Chinese PLA General Hospital（疾病防控部，中国人民解放军第七医疗中心）
提出MMAO-Cls，将代谢多智能体优化器用于分类模型选择，通过混合空间编码实现特征选择与超参数调优的联合优化，在保持紧凑特征子集的同时取得有竞争力的测试性能。
2026-07-07 cs.LG cs.MA cs.NE
LimeOut: An Ensemble Approach To Improve Process Fairness
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）
人工智能和机器学习越来越多地出现在人类生活的几个方面，特别是那些与决策有关的方面。这些算法决策中的许多决策都是在没有人类监督的情况下做出的，并且是通过不透明的决策过程做出的。这引起了人们对这些进程可能偏向社会某些群体的关切，这可能导致不公平的结果，并可能侵犯人权。如何处理这些有偏见的模型是维护公众信任的主要问题之一。在本文中，我们讨论的问题的过程或程序的公平性。更确切地说，我们考虑的问题，使分类器公平，减少其依赖敏感的功能，同时增加（或至少保持）其准确性。为了实现这两个目标，我们从基于神经的方法中的“dropout”技术中汲取灵感，并提出了一个依赖于“feature dropout”来解决过程公平性的框架。我们使用“LIME澄清”来评估分类器的公平性，并确定要删除的敏感特征。这产生了一个分类器池（通过特征丢弃），其集合根据经验显示出对敏感特征的依赖性较低，并且对准确性有改善或没有影响。
2020-06-17 cs.LG stat.ML
An experimental survey and Perspective View on Meta-Learning for Automated Algorithms Selection and Parametrization
IRIT, UMR 5505 CNRS, Université Toulouse Capitole, UT1（IRIT、法国国家科学研究中心UMR 5505、图卢兹第一大学）
本文系统综述了基于元学习的算法选择与参数化方法，提出含400万模型的基准知识库，并在400个数据集上对8种分类算法下的代表性方法进行了大规模比较评估。
2025-04-08 cs.AI cs.LG
Evaluating Classifiers Without Expert Labels
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文考虑了评估一组分类器的挑战，如在KDD杯或NIST TREC等共享任务评估中所做的那样，没有专家标签。虽然专家标签为评估统计学习者提供了传统的基石，但对专家的有限或昂贵的访问是一个实际的瓶颈。相反，我们寻求的方法，估计性能的分类器，这是更可扩展的专家标签，但保留了高相关性的评估专家标签的基础上。我们考虑两种情况：1）仅使用分类器自动生成的标签（盲评估）; 2）使用通过众包获得的标签。虽然众包方法因可扩展性而受到称赞，但考虑到标签噪音的普遍存在，使用此类数据进行评估引起了严重的担忧。在盲评估方面，研究了两种广泛的策略：组合和评分和评分与组合方法通过聚集分类器标签来推断单个伪黄金标签集;然后基于该单个伪黄金标签集对分类器进行评估。另一方面，评分和组合方法：1）从分类器输出中采样多个标签集，2）在每个标签集上评估分类器，以及3）在标签集上平均分类器性能。当额外的人群标签也被收集时，我们研究了两种利用它们的替代途径：1）直接评估分类器;或2）组合和评分方法的监督。为了评估我们的技术的一般性，分类器的性能测量使用四个常见的分类指标，统计显著性检验。最后，我们根据专家的判断来衡量估计的分类器性能与实际性能之间的分数和等级相关性。对TREC 2011众包跟踪分类器的严格评估表明，可以在不依赖专家标签的情况下实现可靠的评估。
2012-12-05 cs.IR cs.LG stat.ML
Practical Aspects of Zero-Shot Learning
Warsaw University of Technology（华沙理工大学）；Systems Research Institute Polish Academy of Sciences（波兰科学院系统研究所）
零样本学习是机器学习研究的一个重要领域。当正确标记的训练数据集不可用时，应用该方法。许多zero-shot算法已经被提出并进行了实验。然而，他们似乎都不是“大赢家”。在这种情况下，有可能开发一个元分类器，它将结合各个分类器的“最佳方面”，并优于所有分类器。在这方面，这一贡献的目标是双重的。首先，针对标准基准数据集比较了多种最先进的零样本学习方法。其次，多个元分类器的建议和实验比较（对于相同的数据集）。
2022-03-29 cs.AI cs.CV cs.LG
Golyadkin's Torment: Doppelgängers and Adversarial Vulnerability
University of Alaska Anchorage（阿拉斯加安克雷奇大学）
本文定义并研究对抗性分身现象，揭示其与普通对抗样本的本质区别，提出概念熵等分析工具，并证明超敏感分类器的鲁棒性提升等价于准确率提升，为ML系统可靠性提供理论依据。
2024-10-17 cs.AI cs.CV cs.LG
Ultra Efficient Transfer Learning with Meta Update for Cross Subject EEG Classification
University at Buffalo（布法罗大学）
不同受试者的脑电（EEG）信号模式存在显著差异，这对EEG分类器提出了以下挑战：1）有效地将学习的分类器适应新的受试者; 2）在适应后保留已知受试者的知识。我们提出了一种有效的迁移学习方法，命名为Meta更新策略（MUPS-EEG），连续EEG分类在不同的主题。该模型通过Meta更新来学习有效的表示，从而加速了对新主题的适应，同时减轻了对先前主题知识的遗忘。所提出的机制源于元学习，并致力于1）找到广泛适用于不同主题的特征表示，2）最大化损失函数的灵敏度，以快速适应新的主题。该方法可以应用于所有面向深度学习的模型。在两个公共数据集上进行的大量实验证明了该模型的有效性，在适应新主题和保留所学主题知识方面都大大优于当前的艺术水平。
2021-03-01 cs.LG eess.SP stat.ML
Fair Bayes-Optimal Classifiers Under Predictive Parity
Shenzhen Research Institute of Big Data（深圳大数据研究院）；University of Pennsylvania（宾夕法尼亚大学）；University of California, Los Angeles（加州大学洛杉矶分校）
对人工智能不同影响的日益关注激发了大量关于公平机器学习的工作。现有工作主要侧重于基于独立和分离的措施（例如，人口均等、机会均等、机会均等），而预测均等等基于生育率的衡量标准则研究得少得多。本文认为预测奇偶校验，这需要均衡的成功概率给出了积极的预测之间的不同保护组。我们证明，如果不同群体的整体表现只有适度的变化，预测奇偶校验下的所有公平贝叶斯最优分类器是组明智的阈值规则。也许令人惊讶的是，这可能不成立，如果组的性能水平变化很大，在这种情况下，我们发现，受保护的群体之间的预测奇偶性可能会导致组内的不公平。然后，我们提出了一个算法，我们称之为FairBayes-DPP，旨在确保预测奇偶校验时，我们的条件得到满足。FairBayes-DPP是一种自适应阈值算法，旨在实现预测奇偶校验，同时还寻求最大化测试精度。我们提供支持的合成和经验数据进行的实验。
2022-06-03 cs.LG stat.ML
