Interpretable Neural Networks based classifiers for categorical inputs
École Polytechnique Féderale de Lausanne (EPFL)（洛桑联邦理工学院）
由于神经网络在人类敏感应用中的广泛使用，其可解释性正在成为机器学习中越来越重要的主题。在这项工作中，我们介绍了一种简单的方法来解释的输出功能的神经网络分类器，作为输入的分类变量。通过利用一个神经网络分类器和一个物理能量模型之间的映射，我们表明，在这些情况下，网络的每一层，特别是logits层，可以扩展为一个项的总和，占每个输入模式的分类的贡献。例如，在第一阶，扩展仅考虑输入特征和输出之间的线性关系，而在第二阶，还考虑了输入特征之间的成对依赖关系。每个模式的贡献的分析，经过适当的规范变换，在两种情况下，该方法的有效性可以理解。
2021-02-05 cs.LG stat.ML
Unsupervised and Semi-supervised Learning with Categorical Generative Adversarial Networks
University of Freiburg（弗赖堡大学）
在本文中，我们提出了一种方法来学习一个判别分类器从未标记或部分标记的数据。我们的方法基于一个目标函数，该目标函数权衡了观察到的示例及其预测的分类类分布之间的互信息，以及分类器对对抗生成模型的鲁棒性。由此产生的算法可以被解释为生成对抗网络（GAN）框架的自然推广，或者作为正则化信息最大化（RIM）框架的扩展，以针对最佳对手进行鲁棒分类。我们根据经验评估了我们的方法-我们称之为分类生成对抗网络（或CatGAN）-在合成数据以及具有挑战性的图像分类任务上，证明了学习分类器的鲁棒性。我们进一步定性地评估了与判别分类器一起学习的对抗生成器生成的样本的保真度，并确定了CatGAN目标和判别聚类算法（如RIM）之间的联系。
2016-04-30 cs.LG stat.ML
Training speech emotion classifier without categorical annotations
Le Mans University（勒芒大学）；LIUM（勒芒大学计算机实验室）
情感表征有两种范式：范畴标注和连续空间中的维度描述。因此，情绪识别任务可以被视为分类或回归。本研究的主要目的是调查这两种表示之间的关系，并提出了一个分类管道，只使用尺寸标注。所提出的方法包含一个回归模型，该模型被训练来预测给定语音音频的维度表示中的连续值的向量。该模型的输出可以使用映射算法解释为情感类别。我们研究了三个特征提取器，三个神经网络架构和三个映射算法在两个不同语料库上的组合的性能。我们的研究表明，通过回归方法的分类的优点和局限性。
2022-10-14 cs.CL cs.HC cs.LG
CatBoost: unbiased boosting with categorical features
Yandex（扬达克斯）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本文介绍了CatBoost，一个新的梯度提升工具包背后的关键算法技术。它们的结合导致CatBoost在各种数据集的质量方面优于其他公开可用的boosting实现。CatBoost中引入的两个关键算法进步是有序提升的实现，这是经典算法的置换驱动替代方案，以及用于处理分类特征的创新算法。这两种技术都是为了对抗由梯度提升算法的所有当前现有实现中存在的特殊类型的目标泄漏引起的预测偏移而创建的。在本文中，我们提供了一个详细的分析，这个问题，并证明，所提出的算法有效地解决了它，导致优秀的实证结果。
2019-01-20 cs.LG
Injecting Categorical Labels and Syntactic Information into Biomedical NER
KU Leuven（鲁汶大学）
本研究提出向生物医学NER模型注入类别标签与词性信息的两种方法，包括蕴含式序列分类注入和联合学习注入，实验证明该方法优于基于BERT的基线模型。
2023-11-06 cs.CL cs.IR cs.LG
Tackling Algorithmic Bias in Neural-Network Classifiers using Wasserstein-2 Regularization
Artificial and Natural Intelligence Toulouse Institute (ANITI)（图卢兹人工智能与自然智能研究所）；Institut de Recherche Technologique (IRT) Saint Exupéry（圣埃克苏佩里技术研究所）
神经网络分类器在图像分析的工业和社会应用中的日益普遍的使用使得这些年来取得了令人印象深刻的进展。然而，这样的方法对算法偏差敏感，即对阳性预测的不足或过度表示或对特定图像子组中的较高预测误差敏感。然后，我们在本文中介绍了一种新的方法来缓和算法的偏见，在神经网络为基础的分类。我们的方法是神经网络架构不可知的，并可扩展到大量的图像训练集。它实际上只使用基于Wasserstein-2的正则化项来重载损失函数，对于该正则化项，我们使用基于预测分布的Gateaux导数的新模型来反向传播特定输出预测的影响。该模型在算法上是合理的，并且可以将我们的正则化损失与标准的随机梯度下降策略一起使用。它的良好行为是在参考成人人口普查，MNIST，CelebA数据集上评估的。
2021-11-12 cs.LG stat.ML
On Fairness, Diversity and Randomness in Algorithmic Decision Making
Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所 (MPI-SWS)）；University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）；Leverhulme Centre for the Future of Intelligence（李弗休姆未来智能中心）
考虑一个二元决策过程，其中单个机器学习分类器取代了大量人类。我们提出的问题，在决策过程中造成的多样性损失。我们研究了在公平感知学习的背景下使用随机分类器集合而不是单个分类器的潜在好处，并展示了各种有吸引力的特性：（i）对于若干不同的公平性度量，公平分类器的集合被保证是公平的，（ii）不公平分类器的集合仍然可以实现公平的结果，以及（iii）分类器的集合可以实现比单个分类器更好的准确性-公平性权衡。最后，我们引入了分布公平性的概念，以进一步表征随机分类器集成的潜在好处。
2017-06-30 cs.LG stat.ML
An Enhanced Projection Pursuit Tree Classifier with Visual Methods for Assessing Algorithmic Improvements
本文改进了投影追求树分类器并提出可视化方法评估其在高维数据中的性能，通过更灵活的分裂和分类分组提升多类分类效果。
2026-03-12 cs.LG stat.ML
Categorical Schrödinger Bridge Matching
本文针对离散空间中的薛定谔桥问题，提出类别型薛定谔桥匹配（CSBM）算法，并从理论上证明了离散时间迭代马尔可夫拟合的收敛性，在合成数据和图像VQ表示上验证了其有效性。
2025-08-16 cs.LG
The Pursuit of Algorithmic Fairness: On "Correcting" Algorithmic Unfairness in a Child Welfare Reunification Success Classifier
Oregon Department of Human Services (ODHS)（俄勒冈州人类服务部（ODHS））；Office of Reporting, Research, Analytics, and Implementation (ORRAI)（报告、研究、分析和实施办公室（ORRAI））
公共部门预测分析工具的算法公平性越来越成为一个需要严格探索的话题。例如，虽然与刑事累犯和入学有关的文书引起了很大的关注，但儿童福利管辖区的预测文书却受到相当少的关注。部分原因是，这类工具相对较少，而且通过算法公平性的角度进行审查的工具更少。在这项工作中，我们试图解决这两个差距。为此，提出了一种新的分类算法，用于预测俄勒冈州儿童福利的团聚成功，包括所有相关的细节与建设这样一个工具。这一工具的目的是尽量增加稳定团聚的人数，并查明可能需要额外资源和审查的不稳定团聚情况。此外，由于所得到的工具的算法公平性，如果不改变，无疑是缺乏的，用于减轻这种不公平的使用程序，以及每个困难和不可避免的选择背后的理由。这个过程，虽然类似于其他后处理组特定的阈值方法，是新颖的，在其使用的惩罚优化器和上下文必要的子采样。这些新颖的方法组成部分产生了丰富的和翔实的经验理解的权衡公平性和准确性之间的连续性。由于所开发的程序可推广到各种组级别的算法公平性定义，以及任意数量的受保护属性级别和风险阈值，该方法广泛适用于儿童福利内外。
2020-10-22 cs.LG stat.CO
Algorithmic Robustness for Learning via $(ε, γ, τ)$-Good Similarity Functions
Hubert Curien Laboratory（于贝尔·居里安实验室）；Jean Monnet University（让·莫内大学）；Laboratoire d’Informatique de Grenoble（格勒诺布尔信息学实验室）；Joseph Fourier University（约瑟夫·傅立叶大学）
度量的概念在分类、聚类或排序等机器学习问题中起着关键作用。然而，值得注意的是，有一个严重缺乏的理论保证，可以预期的泛化能力的分类器相关联的一个给定的度量。$(ε, γ, τ)$的理论框架-良好的相似性函数（Balcan等人，2008年）一直是第一次尝试之间的相似性函数的属性和线性分类器利用it. In本文中，我们扩展和完善这一理论，提供了一个新的泛化界的基础上的算法鲁棒性框架相关联的分类器。
2015-03-31 cs.LG
Algorithmic Fairness Verification with Graphical Models
National University of Singapore（新加坡国立大学）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
近年来，机器学习（ML）算法已被部署在安全关键和高风险决策中，其中算法的公平性至关重要。ML中的公平性集中在检测ML分类器引起的对某些人口统计群体的偏见，并提出算法解决方案来减轻不同公平性定义的偏见。为此，已经提出了几种公平性验证器，它们计算ML分类器预测中的偏差-基本上超出了有限数据集-给定输入特征的概率分布。在验证线性分类器的上下文中，现有的公平性验证器由于特征之间的相关性的不精确建模而受到准确性的限制，并且由于分类器作为SSAT/SMT公式的限制性公式化或通过采样而受到可扩展性的限制。在本文中，我们提出了一个有效的公平性验证，称为FVGM，编码的相关性特征之间的贝叶斯网络。与现有的验证器相比，FVGM提出了一种基于随机子集和的线性分类器验证方法。在实验中，我们表明，FVGM导致更多样化的公平性增强算法，公平性攻击和组/因果公平性指标比国家的最先进的公平性验证家庭的准确和可扩展的评估。我们还表明，FVGM有利于公平性影响函数的计算作为一个垫脚石，以检测由子集的功能引起的偏见的来源。
2022-06-01 cs.AI cs.CY cs.LG
Bivariate Causal Discovery for Categorical Data via Classification with Optimal Label Permutation
Texas A&M University（德州农工大学）
定量数据的因果发现已经被广泛研究，但对分类数据的研究较少。我们提出了一种新的因果模型的分类数据的基础上，一个新的分类模型，称为分类与最佳标签排列（COLP）。通过设计，COLP是一个简约的分类器，它产生了一个可证明可识别的因果模型。通过比较因果模型和反因果模型的似然函数的简单学习算法足以学习因果方向。通过与合成和真实数据的实验，我们证明了所提出的基于COLP的因果模型的良好性能相比，国家的最先进的方法。我们还提供了一个随附的R包COLP，其中包含拟议的因果发现算法和分类因果对的基准数据集。
2022-12-11 cs.LG stat.ME stat.ML
Improved cross-validation for classifiers that make algorithmic choices to minimise runtime without compromising output correctness
Coventry University（考文垂大学）
我们的主题是使用机器学习来改进软件，方法是做出不影响输出正确性的选择，但确实会影响产生这种输出所需的时间。我们特别关注计算机代数系统（CAS），特别是，我们的实验是选择变量排序时使用的柱形代数分解$n$维实空间相对于一组多项式的符号。在我们之前的工作中，我们探索了可以使用的不同ML模型，以及如何识别输入多项式的合适特征。在本文中，我们都重复了我们之前的实验，这些实验涉及的问题有更多的变量（因此可能的排序呈指数级增加），并检查了我们的ML分类器所针对的度量。自然的度量是计算运行时间，分类器被训练来选择最小化这一点的排序。然而，这导致了模型不能区分任何非最优排序的情况，这些排序的运行时间可能仍然会有很大的变化。在本文中，我们调查的交叉验证算法的分类器，使他们区分这些情况下，导致改进的结果的修改。
2019-11-28 cs.LG cs.SC
Factoring Multidimensional Data to Create a Sophisticated Bayes Classifier
University of Chicago（芝加哥大学）；California Institute of Technology（加州理工学院）
在本文中，我们推导出一个明确的公式计算边际似然的一个给定的因子分解的分类数据集。由于边际似然与因子分解的后验概率成比例，因此这些似然可以用于对所有可能的因子分解进行排序，并选择“最佳”方式来因子化数据集所绘制的总体分布。最好的因子分解可以用来构建贝叶斯分类器，它可以从分解出相互独立的变量集中获益。
2021-05-18 cs.LG physics.data-an stat.ML
Taking Shortcuts for Categorical VQA Using Super Neurons
Seoul National University（首尔国立大学）；EPFL（瑞士联邦理工学院）；Google Deepmind（谷歌DeepMind）
本文提出通过超级神经元提升类别视觉问答的性能，利用标量激活代替注意力向量，实现更高效的分类和更快的推理速度。
2026-03-11 cs.AI cs.CV cs.LG
Missing Data Imputation for Supervised Learning
University of California, Berkeley（加州大学伯克利分校）
在缺失数据隐藏有用信息的情况下，缺失数据插补可以帮助提高预测模型的性能。本文比较了方法填补监督分类任务缺失的分类数据。我们在两个具有缺失分类数据的机器学习基准数据集上进行实验，比较在非估算（即，独热编码）或具有不同水平的附加缺失数据扰动的估算数据。我们表明，插补方法可以提高预测精度的缺失数据扰动的存在下，这实际上可以提高预测精度，通过正则化的分类。我们在Adult数据集上实现了最先进的缺失数据扰动和k-最近邻（k-NN）插补。
2018-08-07 cs.LG stat.ML
Gaussian-Dirichlet Random Fields for Inference over High Dimensional Categorical Observations
Massachusetts Institute of Technology（麻省理工学院）；Woods Hole Oceanographic Institution（伍兹霍尔海洋研究所）
我们提出了一个生成模型的时空分布的高维分类观测。这些通常由配备有成像传感器（如相机）的机器人产生，与图像分类器配对，可能会产生数千个类别的观察结果。所提出的方法结合了使用Dirichlet分布模型稀疏共生关系的观察到的类别之间使用一个潜在的变量，和高斯过程模型的潜在变量的时空分布。本文中的实验表明，所得到的模型是能够有效地和准确地近似的时间分布的高维分类测量，如分类观察海洋中的微生物，即使在未观察到的（举行了）的位置，远离其他样本。这项工作的主要动机是使部署信息路径规划技术在高维分类领域，到目前为止，已被限制为标量或低维向量观测。
2020-03-26 cs.LG cs.RO stat.ML
An Online Learning Algorithm for a Neuro-Fuzzy Classifier with Mixed-Attribute Data
University of Technology Sydney（悉尼科技大学）；Advanced Analytics Institute（高级分析研究所）；Faculty of Engineering and Information Technology（工程与信息技术学院）
广义模糊最小最大神经网络（GFMMNN）是一种用于数据分类的有效神经模糊系统。然而，其原始学习算法的缺点之一是无法处理和学习混合属性数据。虽然分类特征编码方法可以与GFMMNN学习算法一起使用，但它们表现出许多缺点。文献中提出的其他方法不适合在线学习，因为它们需要在学习阶段可用的整个训练数据。随着流数据的数量和速度在许多应用领域中的快速变化，越来越多地要求所构建的模型能够实时学习和适应连续的数据变化，而不需要对其进行全面的重新训练或访问历史数据。提出了一种GFMMNN的扩展在线学习算法。该方法可以处理具有连续和分类特征的数据集。大量的实验证实了优越的和稳定的分类性能相比，其他相关的学习算法的GFMM模型的方法。
2020-09-30 cs.LG cs.NE stat.ML
Beyond Categorical Label Representations for Image Classification
Columbia University（哥伦比亚大学）
我们发现，我们选择的表示数据标签的方式会对训练模型的质量产生深远的影响。例如，训练图像分类器来回归音频标签而不是传统的分类概率，可以产生更可靠的分类。考虑到音频标签比简单的数字概率或文本更复杂，这个结果令人惊讶。我们假设，高维，高熵的标签表示通常更有用，因为它们提供了更强的错误信号。我们支持这一假设的证据，从各种标签表示，包括常数矩阵，频谱图，洗牌频谱图，高斯混合，均匀随机矩阵的各种维度。我们的实验表明，高维，高熵的标签实现可比的准确性文本（分类）标签的标准图像分类任务，但通过我们的标签表示学习的功能表现出更强大的鲁棒性下各种对抗攻击和更好的有效性与有限的训练数据。这些结果表明，标签表征可能发挥更重要的作用比以前认为的。该项目的网站是\url{https://www.creativemachineslab.com/label-representation.html}。
2021-04-06 cs.AI cs.CV cs.LG
Learning Certifiably Optimal Rule Lists for Categorical Data
University of California, Berkeley（加州大学伯克利分校）；Harvard University（哈佛大学）；Duke University（杜克大学）
我们提出了一个自定义的离散优化技术的设计和实现，用于在分类特征空间上构建规则列表。我们的算法产生具有最佳训练性能的规则列表，根据正则化的经验风险，具有最优性证书。通过利用算法边界，高效的数据结构和计算重用，我们实现了几个数量级的时间加速和大量减少内存消耗。我们证明了我们的方法在几秒钟内就能产生实际问题的最佳规则列表。我们的研究结果表明，这是可能的，以构建最佳的稀疏规则列表，大约是准确的COMPAS专有的风险预测工具的数据从布劳沃德县，佛罗里达州，但完全可以解释。这个框架是一个新的替代CART和其他决策树方法的可解释的建模。
2018-08-03 cs.LG stat.ML
Gradient-based adversarial attacks on categorical sequence models via traversing an embedded world
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
深度学习模型遭受一种称为对抗攻击的现象：我们可以对模型输入进行微小的更改，以欺骗特定示例的分类器。文献主要考虑对具有图像和其他结构化输入的模型的对抗攻击。然而，对分类序列的对抗攻击也可能是有害的。对分类序列形式的输入的成功攻击应该解决以下挑战：（1）目标函数的不可微性，（2）对初始序列变换的约束，以及（3）可能问题的多样性。我们使用两种黑盒对抗攻击来处理这些挑战。第一种方法采用蒙特卡罗方法，并允许在任何情况下使用，第二种方法使用模型和目标度量的连续松弛，从而允许使用最先进的方法进行对抗攻击，而无需额外的努力。货币交易、医疗欺诈和NLP数据集的结果表明，所提出的方法生成了合理的对抗序列，这些序列接近原始序列，但欺骗了机器学习模型。
2020-10-12 cs.LG stat.ML
Algorithmic Fairness Generalization under Covariate and Dependence Shifts Simultaneously
Baylor University（贝勒大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of Arkansas（阿肯色大学）；University of Florida（佛罗里达大学）
针对跨域场景下协变量与依赖两类分布偏移共存时公平分类器泛化难的问题，提出基于底层变换模型扩充合成域、学习公平不变分类器的方法，在四个基准数据集上性能超越现有最优水平。
2024-05-21 cs.AI cs.CY cs.LG
Globally Interpretable Classifiers via Boolean Formulas with Dynamic Propositions
Tampere University（坦佩雷大学）
本文提出一种基于动态命题布尔公式和Answer Set Programming的方法，从表格数据中提取简短且直接人类可理解的分类器，在七个数据集上准确率与XGBoost和随机森林相似，但克服了黑盒缺陷。
2024-06-03 cs.AI cs.LG cs.LO
Optimal Transport on Categorical Data for Counterfactuals using Compositional Data and Dirichlet Transport
Université du Québec à Montréal（魁北克大学蒙特利尔分校）；CNRS - Université de Montréal（国家科学研究中心-蒙特利尔大学）；Aix Marseille Univ, CNRS, AMSE（阿维尼翁-马赛大学，国家科学研究中心，AMSE）
针对现有最优传输反事实方法难解释、类别变量传输难的问题，提出将类别变量转为成分数据并在$\text{R}^d$概率单纯形内传输的新方法，经真实数据验证有效，为反事实公平研究提供了新路径。
2025-05-20 cs.LG stat.ME
Paradoxes in Fair Computer-Aided Decision Making
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）
计算机辅助决策--人类决策者在做出决策时得到计算分类器的帮助--正变得越来越普遍。例如，至少有九个州的法官在判决、假释或保释决定中使用算法工具来确定刑事被告的“累犯风险评分”。最近争论的一个主题是，这种算法工具是否“公平”，因为它们不歧视某些群体（例如，种族）的人。我们的主要结果表明，对于“非平凡”的计算机辅助决策，要么分类器必须是歧视性的，或者一个理性的决策者使用的分类器的输出是被迫歧视。我们进一步提供了一个完整的表征的情况下，公平的计算机辅助决策是可能的。
2018-01-31 cs.CY cs.LG
On Learning and Enforcing Latent Assessment Models using Binary Feedback from Human Auditors Regarding Black-Box Classifiers
Missouri University of Science and Technology（密苏里科技大学）
算法公平性文献提出了许多数学概念和度量，并且还指出在同时满足它们中的一些或全部的同时在它们之间进行权衡。此外，公平概念的上下文性质使得难以在不同的算法系统中自动进行偏差评估。因此，在本文中，我们提出了一种新的模型，称为潜在的评估模型（LAM）来描述由人类审计师提供的二进制反馈，假设审计师比较分类器的输出，他或她自己的内在判断，为每个输入。我们证明，个人和团体的公平性概念是保证，只要审计师的内在判断本质上满足手头的公平性概念，并相对相似的分类器的评价。我们还证明了LAM和传统的公平概念之间的关系，在三个著名的数据集，即COMPAS，德国信贷和成人人口普查收入数据集。此外，我们还推导出获得PAC学习保证所需的最小反馈样本数，以估计黑盒分类器的LAM。这些保证也通过训练标准的机器学习算法来验证，这些算法基于400名人类审计员关于COMPAS的真实二进制反馈。
2022-02-16 cs.HC cs.LG
Discriminative Ridge Machine: A Classifier for High-Dimensional Data or Imbalanced Data
Qingdao University（青岛大学）；University of Kentucky（肯塔基大学）
本文介绍了一种判别回归方法的监督分类。它估计一个表示模型，同时考虑类之间的区别，从而能够准确推导分类信息。这种新型的回归模型扩展了现有的模型，如岭，套索，组套索通过明确纳入歧视性信息。作为一个特殊的情况下，我们专注于一个二次模型，承认一个封闭形式的解析解。相应的分类器被称为判别回归机（DRM）。为了提高DRM的效率和可扩展性，本文进一步提出了三种DRM迭代算法。我们的方法和算法适用于一般类型的数据，包括图像，高维数据，不平衡的数据。我们比较DRM与目前国家的最先进的分类器。我们广泛的实验结果表明DRM的优越性能，并确认所提出的方法的有效性。
2019-12-30 cs.CV cs.LG stat.ML
Enriching Tabular Data with Contextual LLM Embeddings: A Comprehensive Ablation Study for Ensemble Classifiers
Technical University of Munich（慕尼黑工业大学）
本研究通过消融实验证明，将RoBERTa和GPT-2嵌入与集成分类器结合可提升表格数据预测性能，尤其在不平衡或小样本数据集上效果显著。
2024-11-05 cs.AI cs.LG
A general framework for implementing distances for categorical variables
Erasmus University Rotterdam（鹿特丹伊拉斯姆斯大学）；University of Naples Federico II（那不勒斯费德里科二世大学）；Democritus University of Thrace（色雷斯德谟克利特大学）
受试者在由一组变量测量的某些属性方面彼此不同的程度在许多统计方法中起着重要作用。例如，分类、聚类和数据可视化方法都需要对观测值的差异进行量化。我们可以把这种差异的量化称为距离。距离的适当定义取决于数据的性质和手头的问题。对于数值变量之间的距离，有许多定义取决于观察到的差异的大小。对于分类数据，距离的定义更复杂，因为没有直接量化观察到的差异的大小。因此，有许多建议可以用来衡量基于分类变量的差异。在本文中，我们介绍了一个通用的框架，允许一个有效的和透明的实施之间的距离观察分类变量。我们表明，现有的几个距离可以纳入框架。此外，我们的框架很自然地导致引入新的距离公式，并允许实现灵活的，案例和数据特定的距离定义。此外，在监督分类设置中，该框架可以用于构建包含响应变量和预测变量之间的关联的距离，从而提高基于距离的分类器的性能。
2023-01-04 cs.LG stat.ME stat.ML
Discovering Reliable Correlations in Categorical Data
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Monash University（莫纳什大学）；CISPA Helmholtz Center for Information Security（亥姆霍兹信息安全中心CISPA）
在许多科学任务中，我们有兴趣发现我们的数据中是否存在任何相关性。这提出了许多问题，例如如何可靠地和可解释地测量多变量属性集之间的相关性，如何这样做而不必对数据的分布或相关性的类型进行假设，以及如何有效地从数据中发现最可靠的相关属性集。在本文中，我们回答这些问题的发现任务分类数据。特别是，我们提出了一个校正的机会，一致的，和有效的估计归一化总相关性，通过它，我们获得了一个可靠的，自然解释，非参数的相关性多变量集的措施。对于发现的top-k相关集，我们推导出一个有效的算法框架的基础上紧边界函数。该框架提供了精确、近似和启发式搜索。经验评估表明，已经为小样本量的估计导致低遗憾的优化结果，而算法被证明是非常有效的大型和高维数据。通过两个案例研究，我们确认，我们的发现框架确定有趣的和有意义的相关性。
2019-08-30 cs.DB cs.IT cs.LG
Transferable Adversarial Robustness for Categorical Data via Universal Robust Embeddings
EPFL（洛桑联邦理工学院）
针对表格类别数据对抗鲁棒性的两大挑战，提出基于双层交替最小化的通用鲁棒嵌入方法，可训练鲁棒深度网络并将鲁棒性迁移至提升树等非深度分类器，在实用威胁模型下性能优于现有技术。
2023-12-13 cs.LG
Balancing Competing Objectives with Noisy Data: Score-Based Classifiers for Welfare-Aware Machine Learning
UC Berkeley（加州大学伯克利分校）；Brown University（布朗大学）
虽然现实世界的决策涉及许多相互竞争的目标，但算法决策通常使用单个目标函数进行评估。在本文中，我们研究的算法政策，明确权衡私人目标（如利润）和公共目标（如社会福利）。我们分析了一个自然类的政策，跟踪经验帕累托边界的基础上学习的分数，并专注于如何在嘈杂或数据有限的制度，这样的决定。我们的理论结果在这一类的最优策略的特点，约束的帕累托误差，由于分数的不准确性，并显示最优策略和公平约束的利润最大化政策的丰富的类之间的等价性。然后，我们在两个不同的背景下-在线内容推荐和可持续鲍鱼渔业-提出实证结果，以强调我们的方法的适用性，以广泛的实际决策。总之，这些结果揭示了使用机器学习进行影响社会福利的决策时的内在权衡。
2020-07-16 cs.LG stat.ML
Measuring the Algorithmic Efficiency of Neural Networks
OpenAI
三个因素推动了人工智能的发展：算法创新、数据和可用于训练的计算量。传统上，数学进步比计算和数据更难量化。在这项工作中，我们认为，算法的进步有一个方面，既直接测量和有趣的：减少随着时间的推移，在计算需要达到过去的能力。我们发现，在ImageNet上训练分类器达到AlexNet级别性能所需的浮点运算数量在2012年至2019年期间减少了44倍。这相当于算法效率在7年内每16个月翻一番。相比之下，摩尔定律只会带来11倍的成本改善。我们观察到硬件和算法效率的提高成倍增加，并且在有意义的范围内可以达到类似的规模，这表明一个好的人工智能进步模型应该整合两者的措施。
2020-05-08 cs.CV cs.LG stat.ML
Like trainer, like bot? Inheritance of bias in algorithmic content moderation
University of Oxford（牛津大学）；University College London（伦敦大学学院）
互联网已成为“网络公众”表达意见和进行辩论的中心媒介。冒犯性的评论和人身攻击可能会抑制这些空间的参与。自动内容审核旨在使用机器学习分类器来克服这个问题，这些分类器是在手动注释的大型文本语料库上训练的。虽然这样的系统可以帮助鼓励更多的民间辩论，但它们必须在内在规范上保持稳定的边界，并受制于提供训练数据的人类评分员的特殊规范。平台实施这些措施的一个重要目标可能是确保它们不会不适当地偏向或反对特定的犯罪规范。本文提供了一些探索性的方法，通过这些方法可以测量算法内容审核系统的规范性偏差，通过使用现有的标记为犯罪的评论数据集的案例研究。我们训练分类器标记的不同的人口子集（男性和女性）的意见，以了解这些群体之间的犯罪概念的差异可能会影响不同的测试集上的结果模型的性能。最后，我们讨论了一些道德的选择面临的算法适度系统的实施者，考虑到各种所需的水平之间的讨论参与者的观点的多样性。
2017-07-05 cs.CL cs.CY cs.LG
Categorical data as a stone guest in a data science project for predicting defective water meters
经过一年的研究，我们开发了一个基于机器学习的分类器，用于预测机械水表是否会随着时间的推移和密集使用而失效。一个循环的深度神经网络（RNN）是用从100万米收集的1500万个用水量读数外推的数据训练的。我们用于训练的数据基本上有两种类型：连续和分类。分类的是一种数据类型，可以根据某些定性属性采取有限和固定数量的可能值之一;而连续的，在这种情况下，是测量值。以米为单位的用水量（立方米）。在本文中，我们想讨论的事实是，虽然我们的RNN的预测准确率平均超过了80%，但基于连续数据的使用，这些性能并没有随着训练阶段分类信息的引入而显著提高。从一个特定的角度来看，这仍然是我们研究的一个未解决的关键问题。然而，如果我们从数据科学的角度来分析这个有争议的案例，我们就会意识到，如果没有领域专家的参与，我们就无法构建准确的机器学习解决方案，他们可以区分不同类型数据的重要性（之间的关系），每种数据都有自己的意义，有效性和含义。经过所有最初的炒作，数据科学正朝着多方面的学科发展，数据科学家/机器学习专家和领域专家的设计是共生的
2021-02-05 cs.LG
Machine Learning Based Missing Values Imputation in Categorical Datasets
The University of Agriculture at Peshawar（白沙瓦农业大学）；Jashore University of Science and Technology（杰索尔科技大学）；Chung-Ang University（中央大学）
本研究针对分类数据集缺失值填补问题，构建基于ECOC框架的集成机器学习模型，经多数据集验证其性能优于单一模型，同时指出深度学习插补的现存障碍与未来研究方向。
2024-09-12 cs.LG
A Statistical Test for Probabilistic Fairness
EPFL（洛桑联邦理工学院）；Stanford University（斯坦福大学）
算法现在通常用于做出影响人类生活的重大决策。例子包括大学入学，医疗干预或执法。虽然算法使我们能够利用隐藏在大量数据中的所有信息，但它们可能会无意中放大现有数据集中的现有偏见。这种担忧引发了人们对公平机器学习的兴趣，该学习旨在量化和减轻算法歧视。事实上，机器学习模型应该在大规模部署之前进行密集测试，以检测算法偏差。在本文中，我们使用最优传输理论的思想，提出了一个统计假设检验检测不公平的分类。利用特征空间的几何形状，测试统计量量化测试样本上支持的经验分布到使预训练分类器公平的分布流形的距离。我们开发了一个严格的假设检验机制，用于评估任何预先训练的逻辑分类器的概率公平性，我们在理论上和经验上都表明，所提出的测试是渐进正确的。此外，所提出的框架提供了可解释性，通过识别数据的最有利的扰动，使给定的分类器变得公平。
2020-12-09 cs.CY cs.LG stat.ML
Fast Clustering of Categorical Big Data
Texas Tech University（德克萨斯理工大学）
针对 K-Modes 对初始中心敏感的问题，论文提出 BK-Modes，通过迭代二分并以距离和选择待分簇来生成初始中心，实验证明其在大型分类数据上兼具质量与效率。
2025-02-15 cs.DB cs.LG
Is Algorithmic Stability Testable? A Unified Framework under Computational Constraints
Data Science Institute, University of Chicago（芝加哥大学数据科学研究所）；Department of Statistics, University of Chicago（芝加哥大学统计系）
本文提出统一框架，证明在有限数据和计算约束下，穷举搜索是检验算法稳定性的唯一普遍有效方法，从而揭示黑盒算法稳定性检验的根本限制。
2025-03-30 cs.LG math.ST stat.ML
ORES: Lowering Barriers with Participatory Machine Learning in Wikipedia
Microsoft（微软）；Wikimedia Foundation（维基媒体基金会）；University of California, San Diego（加州大学圣迭戈分校）
从基于规则的机器人到机器学习分类器，计算机系统在支持对等生产项目中的内容审核和其他策展工作的基本工作方面有着悠久的历史。从反破坏到任务路由，基本的机器预测使维基百科这样的开放知识项目能够扩展到世界上最大的百科全书，同时保持质量和一致性。然而，关于质量控制应该如何工作以及算法应该扮演什么角色的讨论通常由拥有开发和修改这些复杂算法系统的技能和资源的专家工程师领导。在本文中，我们描述了ORES：一种算法评分服务，它支持使用在不同数据集上训练的多个独立分类器对维基编辑进行实时评分。ORES包含了几个通常都由工程师执行的活动：选择或管理训练数据，构建模型以服务于预测，审核预测，以及开发接口或自动代理来执行这些预测。这个元算法系统旨在向更广泛的参与者开放维基百科中关于算法的社会技术对话。在本文中，我们讨论了ORES使社会变革的理论机制，并详细介绍了ORES部署5年来围绕ORES的参与式机器学习的案例研究。
2020-08-20 cs.CY cs.HC cs.LG
Boosting Fair Classifier Generalization through Adaptive Priority Reweighing
University of Science and Technology of China（中国科学技术大学）；Warwick Business School, University of Warwick（华威大学华威商学院）；New Jersey Institute of Technology（新泽西理工学院）；University of Oxford（牛津大学）；University of Edinburgh（爱丁堡大学）
针对现有公平分类算法泛化性差的问题，提出一种基于样本到决策边界距离的自适应优先级重加权方法，细粒度分配样本权重，在多基准及多模态模型上验证了其能有效提升公平分类器的泛化能力。
2024-05-20 cs.CY cs.LG
Revisiting (Un)Fairness in Recourse by Minimizing Worst-Case Social Burden
针对算法补救过程的公平性问题，本研究通过理论表征关联补救与分类公平性，提出基于社会负担的公平框架及MISOB算法，实证显示其可降低所有群体社会负担且不影响分类器准确性。
2025-11-18 cs.CY cs.LG
Dancing in the Shadows: Harnessing Ambiguity for Fairer Classifiers
Basque Center for Applied Mathematics (BCAM)（巴斯克应用数学中心）；University of Sussex（萨塞克斯大学）；Universidad Pública de Navarra (UPNA)（纳瓦拉公立大学）；Institute for Advanced Materials and Mathematics (INAMAT 2 )（先进材料与数学研究所）；University of the Basque Country (UPV/EHU)（巴斯克大学）；Monash University（莫纳什大学）
本文提出利用敏感属性身份不确定的实例训练分类器，以在敏感信息部分缺失的场景下提升算法公平性。
2024-06-27 cs.CY cs.LG
Accurate parameter estimation for Bayesian Network Classifiers using Hierarchical Dirichlet Processes
Monash University（莫纳什大学）
本文介绍了一种新的贝叶斯网络分类器（BNC）的概率表的参数估计方法，使用分层Dirichlet过程（HDPs）。本文的主要结果是表明，改进的参数估计允许BNC优于领先的学习方法，如随机森林的0-1损失和RMSE，尽管只是在分类数据集。随着数据资产变得越来越大，进入被大肆宣传的“大”世界，高效准确的分类需要三个主要元素：（1）具有低偏差的分类器，可以捕获大型数据集的细节;（2）可以从数据中学习而不必将其全部保存在主内存中的非核心学习器;（3）可以非常有效地分类新数据的模型。最新的贝叶斯网络分类器（BNC）满足这些要求。它们的偏差可以通过增加图中节点的父节点的数量来容易地控制。它们的结构可以通过有限的数据传递次数在核心之外学习。然而，由于偏差被降低以准确地建模分类任务，因此其参数估计的准确性也降低，因为每个参数都是从不断减少的数据量中估计的。在本文中，我们介绍了使用分层Dirichlet过程的准确BNC参数估计。我们在68个标准数据集上进行了一系列广泛的实验，并证明了我们得到的分类器在预测方面与随机森林非常有竞争力，同时保持了核心外的能力和优越的分类时间。
2018-05-08 cs.LG stat.ML
Robustness analytics to data heterogeneity in edge computing
Technical University of Denmark（丹麦技术大学）；University of Padova（帕多瓦大学）；Edge Hill University（边山大学）
联邦学习是一个框架，它联合训练一个模型\textit{with}在远程放置的集中式服务器上的完整知识，但\textit{without}访问存储在分布式机器上的数据的要求。一些工作假设从边缘设备生成的数据是从共同的总体分布中相同且独立地采样的。然而，这种理想的采样在许多情况下可能是不现实的。此外，基于内在代理的模型，如主动抽样方案，可能导致高度偏倚的抽样。因此，一个迫在眉睫的问题是，联邦学习对有偏抽样的鲁棒性如何？在这项工作\footnote{\url{https://github.com/jiaqian/robustness_of_FL}}，我们实验研究两个这样的情况。首先，我们研究了一个集中式分类器，它是从一组用具有类别异质性的数据训练的局部分类器中聚集起来的。其次，我们研究了通过边缘主动采样由数据训练的局部分类器集合聚合而成的分类器。我们在这两种情况下提出的证据表明，当适当选择本地训练迭代和通信频率时，联邦学习对数据异构性具有鲁棒性。
2021-10-24 cs.DC cs.LG
Algorithmic Probability-guided Supervised Machine Learning on Non-differentiable Spaces
Facultad de Ciencias, Universidad Nacional Autónoma de México（墨西哥国立自治大学理学院）；Oxford Immune Algorithmics（牛津免疫算法公司）；Karolinska Institutet（卡罗林斯卡学院）；Algorithmic Nature Group, LABORES（算法自然小组，LABORES）
我们展示了如何将复杂性理论引入机器学习，以帮助将当前研究中明显不同的领域结合在一起。我们表明，这种新的方法需要更少的训练数据，更具有普遍性，因为它表现出更大的弹性随机攻击。我们研究了当使用由算法复杂性参数化的损失函数执行回归或分类时离散算法空间的形状，证明了微分的性质对于实现与使用可微分编程方法（例如深度学习）获得的结果类似的结果是不必要的。在这样做时，我们使用的例子，使这两种方法进行比较（小，给定的算法复杂性估计所需的计算能力）。我们发现并报告，（i）机器学习可以成功地在一个非光滑表面上使用算法的复杂性;（ii）参数的解决方案，可以找到使用算法概率分类器，建立一个桥梁之间的基本离散理论的可计算性和基本连续的数学理论的优化方法;（iii）可以定义和进行非光滑流形中的算法导向搜索技术的公式化;（iv）可以执行用于算法搜索以导航这些离散不可微空间的开发技术和数值方法;在（a）从数据观察识别生成规则的应用中;（b）与神经网络相比，对像素攻击更有弹性的图像分类问题的解决方案;（c）在连续ODE系统问题中存在噪声的情况下从小数据集中识别方程参数，（d）通过（1）网络拓扑，（2）底层布尔函数，以及（3）引入边的数目。
2019-10-08 cs.AI cs.LG stat.ML
Intrusion Detection: Machine Learning Baseline Calculations for Image Classification
PeopleTec, Inc.（PeopleTec公司）
网络安全可以通过应用机器学习来增强，方法是将网络攻击数据重新转换为图像格式，然后应用监督计算机视觉和其他机器学习技术来检测恶意样本。探索性数据分析显示，本研究中使用的十类恶意软件之间的相关性很小，也没有什么区别。一个一般的模型比较表明，最有前途的候选人考虑轻梯度提升机，随机森林分类器，额外的树分类器。卷积网络无法提供其出色的分类能力，被简单、完全连接的架构所超越。大多数测试未能突破80%的分类准确性，并且F1得分较低，表明更复杂的方法（例如，自举、随机采样和特征选择）以最大化性能。
2021-11-03 cs.LG
Ensemble Performance Through the Lens of Linear Independence of Classifier Votes in Data Streams
Department of Computer Engineering, Bilkent University（计算机工程系，比尔肯特大学）
本文通过分析数据流中分类器投票的线性独立性，提出理论框架以优化集成大小与性能的平衡，验证了在不同集成方法下的效果。
2025-11-26 cs.LG
iFair: Learning Individually Fair Data Representations for Algorithmic Decision Making
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
在越来越多的应用程序中，人们通常基于机器学习进行评分和排名，以进行算法决策。关于如何将公平纳入这些任务的研究，首先是追求群体公平的范式：给予特别受保护的群体足够的成功率。相比之下，个人公平的替代范式受到的关注相对较少，本文提出了这一较少探索的方向。本文介绍了一种方法，概率映射到一个低等级的表示，调和个人的公平性和效用的分类器和排名在下游应用程序的用户记录。我们的个人公平概念要求在所有任务相关属性（如工作资格）方面相似的用户，并且忽略所有潜在的歧视属性（如性别），应该有相似的结果。我们通过将其应用于各种真实数据集上的分类和学习排名任务来展示我们方法的多功能性。我们的实验表明，在此设置的最佳先前的工作有很大的改进。
2019-02-06 cs.IR cs.LG stat.ML
Synthesizing explainable counterfactual policies for algorithmic recourse with program synthesis
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
能够提供反事实干预-我们必须采取的一系列行动才能产生理想的结果-对于解释如何通过黑箱机器学习模型改变不利的决定至关重要（例如，申请贷款被拒）。现有的解决办法主要侧重于制定可行的干预措施，而不解释其理由。此外，他们需要为每个用户解决单独的优化问题。在本文中，我们采取了不同的方法，学习一个程序，输出一系列可解释的反事实行为，给出用户描述和因果关系图。我们利用程序合成技术、强化学习结合蒙特卡罗树搜索进行有效探索，并利用规则学习为每个推荐操作提取解释。对合成和真实世界数据集的实验评估显示，我们的方法如何通过对黑盒分类器进行数量级更少的查询来生成有效的干预措施，并通过可解释的解释来补充它们。
2022-10-12 cs.LG
Explainable time series tweaking via irreversible and reversible temporal transformations
Stockholm University（斯德哥尔摩大学）；Aalto University（阿尔托大学）
时间序列分类在过去的十年中受到了极大的关注，通过利用各种类型的时间特征，采用了各种各样的方法来关注预测性能。然而，很少强调可解释性和可解释性。在本文中，我们制定了新的问题，可解释的时间序列调整，其中，给定一个时间序列和一个不透明的分类器，提供了一个特定的分类决策的时间序列，我们要找到的最小数量的变化进行给定的时间序列，使分类器改变其决定到另一类。我们表明，这个问题是NP-难的，并专注于两个实例的问题，我们称之为可逆和不可逆的时间序列调整。所研究的分类器是随机shapelet森林分类器。此外，我们提出了两个算法的解决方案，这两个问题，以及简单的优化，以及使用最近邻分类器的基线解决方案。在各种真实数据集上进行的广泛的实验评估表明了我们的问题制定和解决方案的实用性和有效性。
2018-09-13 cs.LG stat.ML
Improving Fairness via Federated Learning
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
最近，已经提出了许多算法来从分散数据中学习公平分类器。然而，许多理论和算法问题仍然是开放的。首先，联邦学习是否必要，即，我们是否可以简单地训练当地公平的分类人员并将其汇总？在这项工作中，我们首先提出了一个新的理论框架，我们证明了联邦学习可以严格提高模型公平性相比，这样的非联邦算法。然后，我们从理论上和经验表明，基于FedAvg的公平学习算法的性能权衡严格比集中式数据训练的公平分类器差。为了弥合这一差距，我们提出了FedFB，一个私人公平的学习算法分散的数据。关键思想是修改FedAvg协议，使其能够有效地模仿集中式公平学习。我们的实验结果表明，FedFB显著优于现有方法，有时与集中训练模型的性能相匹配。
2022-12-07 cs.LG
Building a stable classifier with the inflated argmax
Department of Statistics, University of Chicago（统计学系，芝加哥大学）；Department of Computer Science, University of Chicago（计算机科学系，芝加哥大学）
本文提出一种基于bagging和“膨胀的argmax”的多类分类算法稳定性框架，通过稳定连续分数并转换为候选标签，在无分布假设且不损失准确性的前提下，实现对任意基础分类器的稳定性保护。
2025-04-25 cs.LG math.ST stat.ML
