A Semi-Supervised Self-Organizing Map for Clustering and Classification
Center of Informatics - CIn, Universidade Federal de Pernambuco（信息中心 - 伯南布哥联邦大学）
近年来，由于大量的数据集含有大量未标记数据，而只有少量标记样本，因此半监督学习受到了越来越多的关注。半监督学习算法可以处理这两种类型的数据，将它们结合起来，以获得更好的聚类和分类性能。此外，这些数据集通常具有大量的维度。本文提出了一种新的基于自组织映射（SOM）的半监督聚类和分类方法，称为半监督自组织映射（SS-SOM）。该方法可以在训练过程中根据每个模式的类标签的可用性在监督学习和无监督学习之间动态切换。我们的研究结果表明，SS-SOM优于其他半监督方法的条件下，有少量的标记样本，也取得了良好的效果时，所有的样本标记。
2019-07-01 cs.LG stat.ML
Semi-supervised Learning on Large Graphs: is Poisson Learning a Game-Changer?
Kyoto University（京都大学）
我们解释了基于图的半监督学习的泊松学习，看看它是否可以避免全局信息丢失的问题，因为基于拉普拉斯的学习方法在大型图。从我们的分析来看，泊松学习仅仅是带有阈值的拉普拉斯正则化，不能克服这个问题。
2022-03-11 cs.LG stat.ML
RSSL: Semi-supervised Learning in R
Delft University of Technology（代尔夫特理工大学）；Leiden University Medical Center（莱顿大学医学中心）
在本文中，我们介绍了R编程语言中的半监督学习研究包RSSL。我们涵盖了包的目的，它包括的方法，并评论它们的使用和实现。然后，我们使用几个代码示例展示了该软件包如何用于复制半监督学习文献中的知名结果。
2016-12-23 cs.LG stat.ML
Negative sampling in semi-supervised learning
Rice University（莱斯大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
介绍了一种简单、快速、易于调整的半监督学习（SSL）算法--半监督学习中的负采样（NS 3L）。NS 3L的动机是负抽样/对比估计的成功。我们证明，将NS 3L损失添加到最先进的SSL算法中，例如虚拟对抗训练（VAT），显着改善了vanilla VAT及其变体，具有熵最小化的VAT。通过将NS 3L损失添加到MixMatch中，MixMatch是当前最先进的半监督任务方法，我们观察到比vanilla MixMatch有显着改进。我们在CIFAR 10，CIFAR 100，SVHN和STL 10基准数据集上进行了广泛的实验。
2020-06-28 cs.LG stat.ML
Semi-Conditional Normalizing Flows for Semi-Supervised Learning
National Research University Higher School of Economics（国家研究型高等经济大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Yandex School of Data Analysis（Yandex数据分析学院）；Samsung AI Center Moscow（三星莫斯科人工智能中心）；University of Amsterdam（阿姆斯特丹大学）
提出了一种半监督学习的半条件规范化流模型。该模型使用标记和未标记的数据来学习对象和标签上的联合分布的显式模型。该模型的半条件架构允许我们有效地计算未标记对象的边缘似然的值和梯度。该模型的条件部分是基于一个建议的条件耦合层。我们证明了该模型在不同数据集上的半监督分类问题的性能。在MNIST数据集上，该模型优于基于变分自编码器的基线方法。
2020-06-22 cs.LG stat.ML
Implicitly Constrained Semi-Supervised Linear Discriminant Analysis
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）；Leiden University Medical Center（莱顿大学医学中心）
半监督学习是模式识别领域一个重要而活跃的研究课题。对于具体使用线性判别分析的分类，已经提出了几种半监督变体。使用这些方法中的任何一种都不能保证优于不考虑额外未标记数据的监督分类器。在这项工作中，我们比较了传统的期望最大化类型的半监督线性判别分析方法与基于内在约束的方法，并提出了一种新的原则性方法，半监督线性判别分析，使用所谓的隐式约束。我们探讨这些方法之间的关系，并考虑的问题，如果在什么意义上，我们可以预期的监督程序的性能改善。基于约束的方法对模型的错误指定更鲁棒，并且在未见过对象的对数似然性方面，可能优于对数据做出更多假设的替代方案。
2014-11-17 cs.LG stat.ML
Safe Semi-Supervised Learning of Sum-Product Networks
Graz University of Technology（格拉茨技术大学）；Austrian Research Institute for Artificial Intelligence（奥地利人工智能研究所）；University of Cambridge（剑桥大学）
在一些领域中，获取类注释是昂贵的，而同时未标记的数据是丰富的。虽然大多数半监督方法都对数据分布进行了限制性假设，但最近的工作已经成功地在非限制性机制中学习半监督模型。然而，到目前为止，这样的方法只提出了线性模型。在这项工作中，我们介绍了和积网络（SPN）的半监督参数学习。SPN是深度概率模型，允许在线性时间内推理网络边缘的数量。我们的方法有几个优点，因为它（1）允许生成和判别式半监督学习，（2）保证添加未标记数据可以增加，但不会降低性能（安全），（3）计算效率高，不会对数据分布进行限制性假设。我们在各种数据集上表明，与最先进的方法相比，使用SPN的安全半监督学习具有竞争力，并且可以比纯监督方法产生更好的生成性和区分性客观值。
2017-10-10 cs.LG stat.ML
An Overview of Deep Semi-Supervised Learning
Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）
深度神经网络证明了它们在广泛的监督学习任务（例如，图像分类）在大量的标记数据集合上训练时（例如，ImageNet）。然而，创建如此大的数据集需要大量的资源、时间和精力。在许多实际情况下，这些资源可能不可用，从而限制了许多深度学习方法的采用和应用。在寻找更数据有效的深度学习方法以克服对大型注释数据集的需求时，对半监督学习及其在深度神经网络中的应用的研究兴趣日益增加，以通过开发新方法或采用现有的半监督学习框架用于深度学习设置来减少所需的标记数据量。在本文中，我们对深度半监督学习进行了全面的概述，首先介绍了该领域，然后总结了深度学习中占主导地位的半监督方法。
2020-07-06 cs.LG stat.ML
The Rich Get Richer: Disparate Impact of Semi-Supervised Learning
University of California, Santa Cruz（加州大学圣克鲁兹分校）
本文揭示半监督学习对不同子群体产生差异性影响：基线准确率高的“富者”获益更多，而基线低的“贫者”可能性能下降，并提出收益比指标以促进公平性评估。
2023-08-31 cs.LG stat.ML
Projected Estimators for Robust Semi-supervised Classification
Delft University of Technology（代尔夫特理工大学）；Leiden University Medical Center（莱顿大学医学中心）；University of Copenhagen（哥本哈根大学）
为了使半监督技术在实践中安全地应用，我们至少希望方法的性能优于监督方法。我们研究这个问题的分类使用著名的二次代理损失函数。通过将监督估计投影到由未标记数据施加的一组约束上，我们发现我们可以安全地改进监督解决方案的二次损失。与半监督学习的其他方法不同，该过程不依赖于不是手头分类器固有的假设。理论上证明，在标记和未标记的训练数据上测量，这种半监督过程永远不会给出比监督替代方案更低的二次损失。据我们所知，这是第一种方法，提供了这样强大的，虽然保守，保证监督解决方案的改进。我们的方法的特点是明确使用基准数据集，以进一步了解的相似性和差异的二次损失标准中使用的理论结果和分类精度往往在实践中考虑。
2016-02-25 cs.LG stat.ML
Semi-Supervised Learning with Deep Generative Models
Google DeepMind（谷歌DeepMind）
现代数据集规模的不断增加以及获取标签信息的困难使得半监督学习成为现代数据分析中具有重要实际意义的问题之一。我们重新审视了生成模型的半监督学习方法，并开发了新的模型，允许从小的标记数据集到大的未标记数据集的有效推广。迄今为止，生成式方法要么不灵活，效率低下，要么不可扩展。我们表明，利用变分方法的最新进展的深度生成模型和近似贝叶斯推理可以用于提供显着的改进，使生成方法在半监督学习中具有很强的竞争力。
2014-10-31 cs.LG stat.ML
Muffled Semi-Supervised Learning
University of California, San Diego（加州大学圣地亚哥分校）
我们探索了一种新的半监督学习方法。这种方法与常见的方法相反，因为未标记的示例用于“隐藏”而不是增强由标记的示例提供的指导。我们提供了几个变种的基本算法和实验表明，它们可以实现显着更高的AUC比提升树，随机森林和逻辑回归时，未标记的例子。
2016-05-28 cs.LG stat.ML
Hypernetworks for Continual Semi-Supervised Learning
IIT Kanpur（印度理工学院坎普尔分校）；Duke University（杜克大学）
从顺序到达的数据中学习，可能在非独立同分布中。随着时间的推移不断变化的任务分配称为持续学习。到目前为止，持续学习的大部分工作都集中在监督学习和无监督学习上。在许多领域中，每个任务都包含标记（通常很少）和未标记（通常很多）的训练样本，这需要半监督学习方法。为了在持续学习环境中解决这个问题，我们提出了一个半监督持续学习的框架，称为连续半监督学习的元巩固（MCSSL）。我们的框架有一个超网络，它学习元分布，生成半监督辅助分类器生成对抗网络$(\textit{Semi-ACGAN})$的权重作为基础网络。我们在超网络中巩固顺序任务的知识，基础网络学习半监督学习任务。此外，我们提出了$\textit{Semi-Split CIFAR-10}$，一个新的基准连续半监督学习，通过修改$\textit{Split CIFAR-10}$数据集，其中的任务与标记和未标记的数据顺序到达。我们提出的模型在连续半监督学习设置中产生了显着的改进。我们比较了几种现有的持续学习方法的性能，提出了持续半监督学习基准的半分裂CIFAR-10数据集。
2021-10-05 cs.CV cs.LG stat.ML
Exploring Self-Supervised Regularization for Supervised and Semi-Supervised Learning
Flyreel AI Research（Flyreel人工智能研究院）
半监督学习的最新进展在克服现代机器学习算法成功的主要障碍方面显示出巨大的潜力：访问大量人类标记的训练数据。基于一致性正则化的先前算法可以利用大量未标记数据在许多半监督基准上产生令人印象深刻的结果，仅使用一小部分可用标记数据就接近强监督基线的性能。在这项工作中，我们通过引入自监督正则化作为组合来自未标记数据的语义特征表示的基础，挑战了一致性正则化的长期成功。我们进行了广泛的比较实验，以证明自监督正则化的有效性，监督和半监督图像分类SVHN，CIFAR-10和CIFAR-100基准数据集。我们提出了两个主要结果：（1）使用自监督正则化增强的模型显着改进了传统的监督分类器，而不需要未标记的数据;（2）与未标记的数据一起，我们的模型产生了半监督性能，与现有的最先进的一致性基线竞争，并且在许多情况下超过了它。最后，我们的模型具有端到端有效训练的实用性，并且不需要额外的超参数来调整训练神经网络的标准集之外的最佳性能。参考代码和数据可在https://github.com/vuptran/sesemi上获得
2019-11-21 cs.CV cs.LG stat.ML
SaaS: Speed as a Supervisor for Semi-supervised Learning
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们介绍了用于半监督学习的SaaS算法，该算法使用深度神经网络中随机梯度下降期间的学习速度来衡量未知标签的后验概率的迭代估计的质量。在监督学习中，训练速度与正确标签的百分比密切相关，因此我们将其用作未知标签的推理标准，而不试图首先推断模型参数。尽管简单，SaaS在半监督学习基准测试中取得了最先进的结果。
2018-05-02 cs.CV cs.LG stat.ML
Empirical Perspectives on One-Shot Semi-supervised Learning
US Naval Research Laboratory（美国海军研究实验室）
在新应用中采用深度神经网络的最大障碍之一是，训练网络通常需要大量手动标记的训练样本。我们根据经验研究了这样一种场景，其中可以访问大量未标记的数据，但只需要标记每个类的单个原型样本，以便训练深度网络（即，一次性半监督学习）。具体来说，我们调查了FixMatch中报道的一次性半监督学习的最新结果，以了解影响和阻碍Cifar-10一次性半监督学习的高准确性和可靠性的因素。例如，我们发现，一次半监督学习的高性能图像分类的一个障碍是在训练过程中的类精度的不均匀性。这些结果指出了解决方案，可以使一次性半监督训练方法在新应用中得到更广泛的采用。
2020-04-08 cs.CV cs.LG stat.ML
Semi-Supervised Learning with the Deep Rendering Mixture Model
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
半监督学习算法通过在学习过程中同时使用标记和未标记数据来降低获取标记训练数据的高成本。深度卷积网络（DCN）在监督任务中取得了巨大的成功，因此在半监督学习中得到了广泛的应用。在本文中，我们利用最近开发的深度渲染混合模型（DRMM），一个概率生成模型，模型潜在的滋扰变化，其推理算法产生DCN。我们开发了一个期望最大化算法的DRMM学习标记和未标记的数据。在DRMM理论的指导下，我们引入了一个新的非负约束和一个变分推断项。我们报告了MNIST和SVHN的最新性能以及CIFAR10的竞争结果。我们还深入探讨了在半监督设置中训练的DRMM如何使用合成渲染图像表示潜在的滋扰变化。总之，我们的工作为监督，无监督和半监督学习提供了一个统一的框架。
2016-12-06 cs.LG cs.NE stat.ML
Semi-Supervised learning with Density-Ratio Estimation
半监督学习是机器学习领域的一个重要研究课题，本文主要研究半监督学习的统计性质。在标准的监督学习中，只观察标记的数据。分类和回归问题被形式化为监督学习。在半监督学习中，除了标记数据之外，还获得未标记数据。因此，在半监督学习中，利用未标记的数据对于提高预测精度非常重要。这类问题被视为具有缺失数据的半参数估计问题。在判别概率模型下，一般认为未标记数据对提高估计精度没有作用。最近，有人透露，加权估计使用未标记的数据实现更好的预测精度相比，学习方法，仅使用标记的数据，特别是当判别概率模型是错误的。也就是说，当错误指定半参数模型时，在缺失数据的半参数模型下的改进是可能的。在本文中，我们应用密度比估计器来获得半监督学习中的权函数。我们的方法的好处是，所提出的估计不需要指定的概率模型的未标记数据的概率。基于统计渐近理论，我们证明了我们的方法的估计精度优于仅使用标记数据的监督学习。一些数值实验表明，我们的方法的实用性。
2012-04-18 stat.ML
Semi-Supervised Radio Signal Identification
Virginia Tech（弗吉尼亚理工大学）；Oklahoma State University（俄克拉荷马州立大学）
密集多用户环境下的无线电辐射源识别是优化频谱利用、识别和最小化干扰以及执行频谱政策的重要工具。无线电数据是现成的，很容易从天线获得，但标记和策划的数据往往是稀缺的，使监督学习策略在实践中困难和耗时。我们证明了半监督学习技术可用于将学习扩展到监督数据集之外，允许通过使用基于非监督和监督方法的稀疏信号表示来识别和回忆新的无线电信号，用于非线性特征学习和聚类方法。
2017-01-17 cs.IT cs.LG math.IT
Building One-Shot Semi-supervised (BOSS) Learning up to Fully Supervised Performance
US Naval Research Laboratory（美国海军研究实验室）
使用未标记的数据达到完全监督学习的性能并且每个类仅标记一个样本对于深度学习应用来说可能是理想的。我们首次展示了在Cifar-10和SVHN上构建一次性半监督（BOSS）学习的潜力，以达到与完全监督学习相当的测试精度。我们的方法结合了类原型提炼，类平衡和自我训练。一个好的原型选择是必不可少的，我们提出了一种技术，以获得图标的例子。此外，我们证明了类平衡方法大大提高了半监督学习的准确性，使自我训练达到完全监督学习性能的水平。严格的经验评估提供了证据，证明标记大型数据集对于训练深度神经网络是不必要的。我们在https://github.com/lnsmith54/BOSS上提供了我们的代码，以便于复制和用于未来的实际应用程序。
2021-01-26 cs.CV cs.LG cs.NE
S5CL: Unifying Fully-Supervised, Self-Supervised, and Semi-Supervised Learning Through Hierarchical Contrastive Learning
Technical University Munich（慕尼黑工业大学）；Helmholtz AI（亥姆霍兹人工智能研究院）
在计算病理学中，我们经常面临着缺乏注释和大量未标记数据的问题。处理这种情况的一种方法是半监督学习，它通常分为自我监督的借口任务和随后的模型微调。在这里，我们通过引入S5 CL将这两个阶段的训练压缩为一个，S5 CL是一个用于全监督、自监督和半监督学习的统一框架。通过为标记图像、未标记图像和伪标记图像定义三种对比度损失，S5 CL可以学习反映距离关系层次的特征表示：相似图像和增强嵌入最接近，其次是同一类的不同外观图像，而来自不同类的图像具有最大的距离。此外，S5 CL允许我们灵活地组合这些损失，以适应不同的场景。在两个公共组织病理学数据集上对我们的框架进行的评估显示，在稀疏标签的情况下，我们的框架有了很大的改进：对于H& E染色的结直肠癌数据集，与监督交叉熵损失相比，准确度提高了9%;对于来自白血病患者血涂片的单个白细胞的高度不平衡数据集，F1分数提高了6%。
2022-03-14 cs.CV stat.ML
Evaluating the fairness of fine-tuning strategies in self-supervised learning
Apple（苹果公司）
在这项工作中，我们研究如何微调影响对比自监督学习（SSL）模型的公平性。我们的研究结果表明，批量归一化（BN）统计数据起着至关重要的作用，并且仅更新预先训练的SSL骨干的BN统计数据可以提高其下游公平性（36%最差子组，25%平均子组间隙）。该过程与监督学习相比具有竞争力，同时训练的时间减少了4.4倍，并且只需要更新0.35%的参数。最后，受最近监督学习工作的启发，我们发现更新BN统计数据和训练剩余跳过连接（12.3%的参数）与完全微调的模型实现了同等效果，同时训练时间减少了1.33倍。
2021-10-01 cs.LG
Optimal and Safe Estimation for High-Dimensional Semi-Supervised Learning
我们考虑高维半监督学习中的估计问题。我们的目标是研究何时以及如何利用未标记数据来改善线性模型回归参数的估计，鉴于这类线性模型在数据分析中可能被错误指定的事实。我们首先建立了半监督环境下参数估计的极大极小下界，并证明了仅使用标记数据的监督估计不能达到这个下界。我们提出了一个最佳的半监督估计，可以达到这个下限，从而提高了监督估计，条件是可以一致地估计的平均函数与适当的速率。我们进一步提出了一个安全的半监督估计。我们认为它是安全的，因为这个估计量总是至少和监督估计量一样好。我们还将我们的想法扩展到由条件均值函数的不同误指定引起的多个半监督估计的聚集。大量的数值模拟和实际数据分析进行了说明我们的理论结果。
2023-03-18 math.ST stat.ME stat.ML
Pareto Efficient Fairness in Supervised Learning: From Extraction to Tracing
The Pennsylvania State University（宾夕法尼亚州立大学）；Microsoft Bing（微软必应）
随着算法决策系统变得越来越普遍，确保此类系统不会成为基于性别、种族、民族、宗教等的不公平歧视机制至关重要。此外，由于公平性度量和准确性之间的固有权衡，希望在不显著影响准确性的情况下学习公平性增强的模型。在本文中，我们提出了帕累托有效公平（PEF）作为一个合适的公平性概念的监督学习，可以确保整体损失和其他公平性标准之间的最佳权衡。所提出的PEF概念是定义不可知的，这意味着任何定义良好的公平性概念都可以简化为PEF概念。为了有效地找到一个PEF分类器，我们铸造的公平性增强的分类作为一个双层优化问题，并提出了一种基于梯度的方法，可以保证解决方案属于帕累托前沿与可证明的保证凸和非凸目标。我们还概括了所提出的算法解决方案，以提取和跟踪任意的解决方案，从帕累托前沿的精度和公平性措施的给定偏好。这种方法是通用的，可以推广到任何多目标优化问题，跟踪点的帕累托前沿曲线，这是有趣的本身。我们经验证明了PEF解决方案的有效性和提取的帕累托前沿在现实世界的数据集相比，国家的最先进的方法。
2021-04-04 cs.AI cs.LG stat.ML
An Information-theoretical Approach to Semi-supervised Learning under Covariate-shift
半监督学习中的一个常见假设是，标记数据、未标记数据和测试数据来自相同的分布。然而，这一假设在许多应用中并不满足。在许多情况下，数据是顺序收集的（例如，医疗保健），并且数据的分布可能随时间变化，通常表现出所谓的协变量偏移。在本文中，我们提出了一种半监督学习算法，能够解决这个问题的方法。我们的框架还恢复了一些流行的方法，包括熵最小化和伪标记。我们提供了新的信息理论为基础的泛化误差上界启发我们的新框架。我们的界限适用于一般的半监督学习和协变量偏移的情况。最后，我们数值表明，我们的方法优于以前的方法提出的半监督学习下的协变量偏移。
2022-02-24 cs.IT math.IT stat.ML
Unlabeled Data Help in Graph-Based Semi-Supervised Learning: A Bayesian Nonparametrics Perspective
在本文中，我们分析了基于图的方法，半监督学习下的流形假设。我们采用贝叶斯的角度来看，并证明，对于一个合适的选择之前构建了足够多的未标记的数据，后验合同周围的真理在一个速率，是最小最大最优的对数因子。我们的理论涵盖了回归和分类。
2021-06-13 math.ST stat.ML stat.TH
Fair Supervised Learning with A Simple Random Sampler of Sensitive Attributes
Purdue University（普渡大学）
针对监督学习的公平性问题，提出基于敏感属性简单随机采样器的神经网络公平性惩罚项，构建高效组级处理中训练框架，在基准数据集上效用与公平性更优，并给出理论误差分析。
2024-03-09 cs.LG stat.ML
Evaluating Fairness in Self-supervised and Supervised Models for Sequential Data
Nokia Bell Labs（诺基亚贝尔实验室）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
本研究探讨预训练与微调策略对序列数据模型公平性的影响，发现自监督学习在性能损失仅1%的情况下可将公平性提升高达27%，凸显其在医疗等高风险数据稀缺领域的应用潜力。
2024-01-03 cs.CY cs.LG
Task-tailored Pre-processing: Fair Downstream Supervised Learning
Booth School of Business, University of Chicago（芝加哥大学商学院）；Department of Statistics, Purdue University（普渡大学统计系）；Department of Mathematics and School of Mechanical Engineering, Purdue University（普渡大学数学系和机械工程学院）
本文提出了一种面向监督学习的任务特定预处理方法，旨在通过权衡公平性与效用，改进下游模型的公平性并保持其效用。
2026-01-17 cs.LG stat.ME stat.ML
Conditional Contrastive Learning for Improving Fairness in Self-Supervised Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
对比自监督学习（SSL）学习嵌入空间，该嵌入空间将相似的数据对映射得更近，而将不相似的数据对映射得更远。尽管它取得了成功，但有一个问题被忽视了：使用对比SSL学习的表示的公平性。如果不采取缓解措施，对比SSL技术可能会包含性别或种族等敏感信息，并对下游任务造成潜在的不公平预测。在本文中，我们提出了一个条件对比学习（CCL）的方法来提高对比SSL方法的公平性。我们的方法从敏感属性的条件分布中采样阳性和阴性对，或者从经验上讲，从同一性别或同一种族中采样阳性和阴性对。我们表明，我们的方法可证明最大化的条件互信息之间的学习表示的积极对，并减少敏感属性的影响，将其作为条件变量。在七个公平性和视觉数据集上，我们实证证明，与无监督基线相比，所提出的方法实现了最先进的下游性能，并显着提高了对比SSL模型在多个公平性指标上的公平性。
2022-06-28 cs.LG
Using Self-supervised Learning Can Improve Model Fairness
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）；University of Cambridge（剑桥大学）；Nokia Bell Labs（诺基亚贝尔实验室）
本研究提出一个包含五个阶段的SSL公平性评估框架，并在三个真实数据集上验证了SSL能在保持性能的同时显著提升模型公平性（最高提升30%），揭示了公平性差异源于不同人群间的表示差异。
2024-06-04 cs.LG
Thompson Sampling for Combinatorial Semi-bandits with Sleeping Arms and Long-Term Fairness Constraints
University of Victoria（维多利亚大学）；Southeast University（东南大学）；Harbin Institute of Technology（哈尔滨工业大学）
研究了具有长期公平性约束的组合睡眠多臂半强盗问题~（CSMAB-F）。针对该问题，采用Thompson Sampling~（TS）方法最大化总报酬，采用虚拟队列技术处理公平性约束，并设计了一种算法\emph{TS with beta priors and Bernoulli likelihoods for CSMAB-F~(TSCSF-B)}。进一步，我们证明了TSCSF-B能满足公平性约束，并且时间平均后悔的上界为$\frac{N}{2η} + O\left(\frac{\sqrt{mNT\ln T}}{T}\right)$，其中$N$是总的手臂数，$m$是每轮中能同时拉动的最大手臂数~（基数约束），$η$是公平性与奖励的权衡参数.通过放松公平性约束（即，令$η\rightarrow \infty$），该界归结为组合睡眠多臂半强盗问题TS算法的第一个与问题无关的界。最后，我们进行了数值实验，并使用一个高收视率的电影推荐应用程序，以显示所提出的算法的有效性和效率。
2020-05-14 cs.LG stat.ML
FairMixRep : Self-supervised Robust Representation Learning for Heterogeneous Data with Fairness constraints
Walmart Labs（沃尔玛实验室）；Gartner（高德纳）；University of Arkansas（阿肯色大学）
由于其复杂的特征流形，在具有数值和分类类型的混合变量的异构空间中的表示学习具有有趣的挑战。此外，无监督设置中的特征学习，没有类别标签和合适的学习损失函数，增加了问题的复杂性。此外，学习的表示和后续预测不应反映对某些敏感群体或属性的歧视行为。拟议的特征映射应保留数据中存在的最大变化，并且需要对敏感变量保持公平。我们建议，在我们的工作的第一阶段，一个有效的编码器-解码器框架来捕获混合域的信息。我们的工作的第二阶段的重点是去偏的混合空间表示，通过添加相关的公平性约束。这确保了在保持公平性的投影之前和之后的表示之间的最小信息损失。学习的最终表示的信息内容和公平性方面已经通过几个指标进行了验证，其中它显示出出色的性能。我们的工作（FairMixRep）从无监督的角度解决了混合空间公平表示学习的问题，并学习了及时，独特和新颖的研究贡献的通用表示。
2020-10-14 cs.AI cs.LG stat.ML
Fairness-Aware Data Valuation for Supervised Learning
Feedzai（Feedzai公司）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Instituto de Telecomunicações（电信研究所）
数据估值是一个ML领域，研究训练实例对给定预测任务的价值。虽然数据偏差是下游模型不公平的主要来源之一，但以前的数据评估工作并没有考虑训练实例如何影响ML模型的性能和公平性。因此，我们提出了公平感知数据评估（FADO），这是一个数据评估框架，可用于将公平性问题纳入一系列ML相关任务（例如，数据预处理、探索性数据分析、主动学习）。我们提出了一个基于熵的数据评估指标，适合于解决我们的双管齐下的目标，最大限度地提高性能和公平性，这是更有效的计算比现有的指标。然后，我们将展示如何FADO可以应用为基础的不公平缓解预处理技术。我们的方法取得了令人鼓舞的结果-与基线相比，公平性提高了40个百分点，性能损失不到1个百分点-并以数据为中心的方式促进公平性，其中对数据质量的更深入理解占据了中心地位。
2023-03-29 cs.CY cs.LG
Fairness in Supervised Learning: An Information Theoretic Approach
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
自动决策系统越来越多地用于现实世界的应用。在这些系统中，大多数情况下，决策规则是通过最小化可用历史数据的训练误差来导出的。因此，如果数据中存在与敏感属性（例如性别、种族、宗教等）相关的偏见，例如由于针对特定人口的文化/历史歧视性做法，则系统可以通过将所述偏见包括在其决策规则中来继续决策中的歧视。我们提出了一个信息理论的框架，设计公平的预测数据，其目的是防止歧视对指定的敏感属性在监督学习设置。我们使用均衡的几率作为判别标准，这要求预测应该独立于以实际标签为条件的受保护属性。为了同时确保公平性和泛化性，我们将数据压缩为辅助变量，用于预测任务。选择该辅助变量，以便从均衡赔率的意义上去除歧视性属性。通过对辅助变量应用贝叶斯决策规则来获得最终预测值。
2018-07-29 cs.AI cs.IT cs.LG
Impact of Data Processing on Fairness in Supervised Learning
Georgia Institute of Technology（佐治亚理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
我们研究了预处理和后处理对减少数据驱动决策者歧视的影响。我们首先分析了公平性和准确性之间的基本权衡在预处理方法，并提出了一种设计的预处理模块的基础上的凸优化程序，它可以添加到原来的分类器。这导致了在可实现的歧视方面的一个基本下限，考虑到结果中任何可接受的扭曲。此外，我们重新制定了现有的后处理方法在我们的准确性和公平性的措施，它允许比较后处理和预处理方法。我们表明，在一些温和的条件下，预处理优于后处理。最后，我们表明，通过适当选择的歧视措施，优化问题的前处理和后处理方法将减少到一个线性规划，因此可以有效地解决。
2021-02-03 cs.AI cs.IT cs.LG
Fairness, Semi-Supervised Learning, and More: A General Framework for Clustering with Stochastic Pairwise Constraints
Wellesley College（韦尔斯利学院）；Carnegie Mellon University（卡内基梅隆大学）；University of Maryland, College Park（马里兰大学帕克分校）
度量聚类是从组合优化和数据采掘到机器学习和运筹学等领域的基础。然而，在各种情况下，我们可能有额外的要求或知识，不同于底层的度量，关于哪些点对应该聚集在一起。为了捕捉和分析这样的情况下，我们引入了一个新的家庭的\emph{stochastic pairwise constraints}，我们纳入几个基本的聚类目标（半径/中位数/手段）。此外，我们证明了这些约束可以简洁地建模一个有趣的应用程序集合，其中包括聚类中的\emph{Individual Fairness}和半监督学习中的\emph{Must-link}约束。我们的主要结果包括一个一般的框架，产生近似算法与可证明的保证重要的聚类目标，而在同一时间产生的解决方案，尊重随机成对约束。此外，对于某些目标，我们设计改进的结果的情况下，必须链接的约束，这也是最好的可能从理论的角度来看。最后，我们提出了实验证据，验证了我们的算法的有效性。
2021-03-02 cs.DS cs.LG
Fair Sequential Selection Using Supervised Learning Models
University of Delaware（特拉华大学）；Ohio State University（俄亥俄州立大学）；Alan Turing Institute（艾伦·图灵研究所）
我们考虑一个选择问题，顺序到达的申请人申请有限数量的职位/工作。在每个时间步，决策者使用预先训练的监督学习模型接受或拒绝给定的申请人，直到所有的空缺职位都被填补。在本文中，我们讨论是否公平的概念（例如，机会均等、统计均等等）分类问题中常用的两种方法都适用于序贯选择问题。特别是，我们表明，即使有一个预先训练的模型，满足常见的公平概念，选择结果仍然可能对某些人口统计群体有偏见。这一观察结果意味着，公平的概念中使用的分类问题是不适合的选择问题，申请人竞争的职位数量有限。我们引入了一个新的公平性概念，“平等选择（ES），”适合顺序选择问题，并提出了一个后处理方法，以满足ES公平性的概念。我们还考虑了申请人有隐私问题的设置，决策者只能访问敏感属性的嘈杂版本。在这种情况下，我们可以证明，完美的ES公平性仍然可以在一定条件下实现。
2021-10-26 cs.AI cs.CY cs.LG
Equalizing Financial Impact in Supervised Learning
在计算机科学中出现的“公平分类”概念通常围绕着在受保护的群体之间均衡某些统计数据。这种方法被批评为忽视社会问题，包括错误如何不成比例地伤害某些群体。我们对Hardt，Price和Srebro [NIPS，2016]中的一个公平标准进行了修改，这使得在提供贷款等财务决策的情况下解决这个问题迈出了一小步。我们把这个新概念称为“均衡的财务影响”。"
2018-06-24 cs.LG stat.ML
Supervised Algorithmic Fairness in Distribution Shifts: A Survey
School of New Media and Communication, Tianjin University（天津大学新媒体与传播学院）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Department of Computer Science, Baylor University（贝勒大学计算机系）；Electrical Engineering and Computer Science Department, University of Arkansas（阿肯色大学电气与计算机科学系）
本文综述了分布偏移下监督公平感知机器学习的研究，系统总结了偏移类型、六类常用方法、公开数据集与评估指标，并探讨了相关领域联系、挑战与未来方向。
2024-05-05 cs.AI cs.CY cs.LG
Merit-based Fair Combinatorial Semi-Bandit with Unrestricted Feedback Delays
Sun Yat-sen University（中山大学）；The Chinese University of Hong Kong（香港中文大学）
本文研究了在无限制反馈延迟和基于功绩公平性约束下的随机组合半老虎机问题，提出了能实现次线性奖励遗憾与公平性遗憾的新算法，并通过实验验证了其有效性。
2024-07-29 cs.LG stat.ML
Improving Fairness and Privacy in Selection Problems
University of Delaware（特拉华大学）；University of Michigan（密歇根大学）；Alan Turing Institute（阿兰·图灵研究所）；University of California, Berkeley（加州大学伯克利分校）
监督学习模型已经越来越多地用于在招聘、贷款和大学录取等应用中对个人做出决策。这些模型可能会从训练数据集继承预先存在的偏差，并歧视受保护的属性（例如，种族或性别）。除了不公平之外，当模型的使用暴露了敏感的个人信息时，隐私问题也会出现。在各种隐私概念中，差分隐私是近年来比较流行的一种隐私概念。在这项工作中，我们研究了使用差分私有指数机制作为后处理步骤来提高监督学习模型的公平性和隐私性的可能性。与许多现有的作品不同，我们考虑的情况下，监督模型用于选择有限数量的申请人的可用职位的数量是有限的。这个假设非常适合各种场景，例如工作申请和大学录取。我们使用“机会均等”作为公平的概念，并表明指数机制可以使决策过程完全公平。此外，在真实世界数据集上的实验表明，指数机制可以提高隐私和公平性，与没有后处理的模型相比，准确性略有下降。
2020-12-07 cs.AI cs.LG
Homophily-aware Supervised Contrastive Counterfactual Augmented Fair Graph Neural Network
Institut de Mathématiques de Toulouse（图卢兹数学研究所）；University of the Basque Country（巴斯克大学）；IKERBASQUE（巴斯克科学基金会）；Institut Polytechnique de Paris（巴黎综合理工学院）；INRIA, Projet Regalia（法国国家信息与自动化研究所，Regalia项目）
本文提出一种改进的公平图神经网络框架，通过两阶段训练策略提升分类准确性和公平性。
2026-02-08 cs.LG
Superhuman Fairness
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
基于机器学习的决策的公平性已经成为监督机器学习方法设计中越来越重要的焦点。大多数公平性方法优化性能度量（例如，准确性、对数损失或AUC）和公平性度量（例如，人口均等，均等赔率）。这就引出了一个问题：是否指定了正确的性能-公平性权衡？相反，我们通过引入超人的公平性，将公平机器学习重新转换为一种模仿学习任务，这种公平性旨在同时在多个预测性能和公平性指标上超越人类决策。我们证明了这种方法的好处次优决策。
2023-01-31 cs.AI cs.LG
Marrying Fairness and Explainability in Supervised Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文用因果效应与SHAP揭示公平学习方法仍可能诱发歧视，提出保留非保护特征影响、消除受保护属性影响的后处理方法，以维持准确率并降低多种差异。
2023-04-21 cs.CY cs.LG
Teaching the Old Dog New Tricks: Supervised Learning with Constraints
University of Bologna（博洛尼亚大学）
在机器学习中添加约束支持有可能解决数据驱动AI系统中的突出问题，例如安全性和公平性。现有方法通常将约束优化技术应用于ML训练，通过调整模型设计来强制约束满足，或者使用约束来校正输出。在这里，我们研究了一种不同的，互补的，基于“教学”约束满足的监督ML方法通过直接使用最先进的约束求解器的策略：这使得利用几十年的研究约束优化有限的努力。在实践中，我们使用分解方案交替主步骤（负责执行约束）和学习者步骤（可以使用任何监督ML模型和训练算法）。这个过程通常会导致近似的约束满足，并且很难建立收敛特性;尽管如此，我们根据经验发现，即使是我们方法的简单设置，在具有公平约束的ML任务和具有合成约束的经典数据集上也表现良好。
2021-02-26 cs.AI cs.LG stat.ML
FairContrast: Enhancing Fairness through Contrastive learning and Customized Augmenting Methods on Tabular Data
Department of Industrial Engineering University of Central Florida（工业工程系，中央佛罗里达大学）；Department of Computer Science University of Central Florida（计算机科学系，中央佛罗里达大学）
针对表格数据对比学习表征公平性不足的问题，提出FairContrast框架，通过策略性选正样本对结合有监督与自监督对比学习，在低准确率损失下有效去偏，且公平表征可适配多种下游任务。
2025-10-02 cs.LG
Fair Graph Neural Network with Supervised Contrastive Regularization
Institut de Mathématiques de Toulouse（图卢兹数学研究所）；Université Toulouse 3（图卢兹第三大学）；University of the Basque Country UPV/EHU（巴斯克大学（UPV/EHU））；IKERBASQUE, Basque Foundation for Science（伊克尔巴斯克科学基金会）
本文提出一种结合监督对比损失与环境损失的公平图神经网络训练模型，在增强CAF框架的同时提升准确性与公平性，并在三个真实数据集上验证其优越性。
2024-04-09 cs.AI cs.LG
Holistic Survey of Privacy and Fairness in Machine Learning
University of Southern California（南加州大学）；Deakin University（迪肯大学）；University of Alabama in Huntsville（阿拉巴马大学亨茨维尔分校）；Amazon（亚马逊）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
本文全面综述了机器学习中隐私与公平的相互影响、现有架构及兼顾两者的算法，并指出同时实现这两者的研究挑战，特别关注大型语言模型。
2023-07-28 cs.LG
Bias and Fairness in Self-Supervised Acoustic Representations for Cognitive Impairment Detection
Zentrum für Künstliche Intelligenz (KIZ), Technische Hochschule Nürnberg（人工智能中心（KIZ），图林根技术大学纽伦堡分校）；Pattern Recognition Lab, Friedrich-Alexander Universität Erlangen-Nürnberg（模式识别实验室，弗赖堡-艾尔兰根-纽伦堡大学）；GITA Lab, University of Antioquia（GITA实验室，安蒂奎亚大学）
本研究分析了自监督声学表示中认知障碍检测的偏差问题，发现女性和年轻参与者表现较差，强调了在临床语音应用中需考虑公平性和亚组差异。
2026-03-03 cs.LG eess.AS
Semi-supervised Conditional GANs
Palo Alto Research Center（帕洛阿尔托研究中心）；Verizon Labs（威瑞森实验室）
我们引入了一种新的模型，用于在半监督设置中建立条件生成模型，通过适应GAN框架来有条件地生成给定属性的数据。提出的半监督GAN（SS-GAN）模型使用一对堆叠的鉴别器来分别学习数据的边缘分布和给定数据的属性的条件分布。在半监督设置中，边缘分布（通常更难学习）是从标记+未标记的数据中学习的，而条件分布纯粹是从标记数据中学习的。我们的实验结果表明，该模型的性能显着优于现有的半监督条件GAN模型。
2017-08-19 cs.LG stat.ML
Identifying, measuring, and mitigating individual unfairness for supervised learning models and application to credit risk models
Microsoft（微软）
在过去的几年里，人工智能（AI）已经引起了包括金融服务（FS）在内的各个行业的关注。人工智能通过提高生产力和改善风险管理对金融服务产生了积极影响。虽然人工智能可以提供有效的解决方案，但它有可能带来意想不到的后果。其中一个后果是与人工智能相关的不公平和随之而来的与公平相关的伤害的明显影响。这些与公平相关的损害可能涉及对个人的差别待遇;例如，不公平地拒绝向某些个人或群体提供贷款。在本文中，我们专注于识别和减轻个人不公平，并利用该领域最近发布的一些技术，特别是适用于信用裁决用例。我们还调查了实现个人公平的技术在多大程度上有效地实现了群体公平。我们在这项工作中的主要贡献是功能化的两步训练过程，其中包括学习一个公平的相似性度量从一组意义上使用一小部分的原始数据和训练一个单独的“公平”分类器使用其余的数据，其中敏感的功能被排除在外。这种两步技术的关键特征与其灵活性有关，即，在第一步骤中获得的公平度量可以在第二步骤中与任何其它单独的公平算法一起使用。此外，我们开发了第二个度量标准（与公平相似性度量标准不同）来确定模型对待相似个体的公平程度。我们使用这个指标来比较一个“公平”模型与其基线模型在各自的公平值。最后，一些实验结果相应的个人不公平缓解技术。
2022-11-11 cs.AI cs.CY cs.LG
Transferring Fairness using Multi-Task Learning with Limited Demographic Information
Johns Hopkins University（约翰斯·霍普金斯大学）
针对目标任务缺少人口统计标注的问题，本文提出多任务公平性损失，借助相关任务标签迁移公平性，并验证其可跨数据集实现交叉公平性。
2024-04-15 cs.CY cs.LG
Semi-supervised Tuning from Temporal Coherence
Alma Mater Studiorun - University of Bologna（博洛尼亚大学）
最近的工作证明了时间相干性在正则化监督训练或学习具有深度架构的不变特征方面的有用性。特别是，强制平滑的输出变化，同时呈现视频序列中的时间闭合帧，被证明是一种有效的策略。在本文中，我们证明了半监督增量调谐的时间相干性的功效。我们表明，如果暴露于未标记数据的视频序列，一个深度架构，只要以监督的方式进行温和的训练，就可以逐步提高其分类准确性。在某些情况下，半监督调优允许提高分类准确性（接近监督的）的程度有些令人惊讶。一些控制实验指出了时间相干性的基本作用。
2016-01-04 cs.LG stat.ML
