Fairness without Sensitive Attributes via Knowledge Sharing
The University of Queensland(昆士兰大学)
本文提出基于置信度的层次化分类器Reckoner,通过高置信度模型向低置信度模型进行知识共享,在敏感属性缺失条件下实现公平学习,并在COMPAS和New Adult数据集上同时优于现有基线。
2024-09-27 cs.LG
Causal Generative Explainers using Counterfactual Inference: A Case Study on the Morpho-MNIST Dataset
Dalhousie University(达尔豪斯大学)
本文利用因果生成学习与反事实推断,提出针对图像分类器的可解释方法,包括像素级影响分析、基于蒙特卡洛的属性重要性估计及反事实解释优化,并在 Morpho-MNIST 上验证其可解释性优于 OmnixAI。
2024-01-21 cs.LG
Interpreting Deep Models through the Lens of Data
Technische Universität Kaiserslautern(凯泽斯劳滕工业大学);DFKI GmbH(德国人工智能研究中心有限公司)
识别与分类器相关的输入数据点(即作为支持向量)最近激发了研究人员对可解释性和数据集调试的兴趣。本文提出了一种深入的分析方法,试图确定这些数据点的影响,从而产生的分类。为了量化影响的质量,我们策划了一组实验,根据从不同方法获得的影响信息对数据集进行调试和修剪。为此,我们为分类器提供了错误标记的示例,这些示例阻碍了整体性能。由于分类器是数据和模型的组合,因此,分析这些影响对于深度学习模型的可解释性也很重要。结果分析表明,一些可解释性方法可以检测错误标签比使用随机方法,然而,与这些方法的要求相反,基于训练损失的样本选择表现出优越的性能。
2020-05-19 cs.LG stat.ML
Evaluating Fairness of Machine Learning Models Under Uncertain and Incomplete Information
Google(谷歌);Rutgers University(罗格斯大学);Amazon(亚马逊);University of Washington(华盛顿大学)
公平分类器的训练和评价是一个具有挑战性的问题。这部分是由于大多数感兴趣的公平性度量依赖于数据点的敏感属性信息和标签信息。在许多情况下,不可能收集具有此类信息的大型数据集。一种常用的替代方法是在具有敏感属性信息的数据上单独训练属性分类器,然后稍后在ML流水线中使用它来评估给定分类器的偏差。虽然这种解耦有助于缓解人口稀少的问题,但它提出了几个自然的问题,例如:属性分类器应该如何训练?以及如何使用给定的属性分类器进行准确的偏差估计?在这项工作中,我们从理论和经验的角度来研究这个问题。我们首先通过实验证明,属性分类器的测试精度并不总是与其在下游模型的偏差估计中的有效性相关。为了进一步研究这一现象,我们分析了一个理想化的理论模型,并描述了最佳分类器的结构。我们的分析有令人惊讶的和反直觉的影响,在某些制度中,人们可能希望尽可能不均匀地分布在不同的子组之间的属性分类器的错误。基于我们的分析,我们开发了训练和使用属性分类器在数据稀缺制度的偏见估计的算法。我们实证证明了我们的方法对真实和模拟数据的有效性。
2021-02-16 cs.LG stat.ML
Interpreting Graph Neural Networks for NLP With Differentiable Edge Masking
University of Amsterdam(阿姆斯特丹大学);University of Edinburgh(爱丁堡大学)
图神经网络(GNN)已成为将结构归纳偏差集成到NLP模型中的流行方法。然而,很少有人解释它们,特别是理解图的哪些部分(例如语法树或共指结构)有助于预测。在这项工作中,我们引入了一种事后方法来解释GNN的预测,该方法可以识别不必要的边缘。给定一个经过训练的GNN模型,我们学习一个简单的分类器,对于每一层中的每个边缘,预测该边缘是否可以被丢弃。我们证明,这样的分类器可以训练在一个完全可区分的方式,采用随机门,并鼓励稀疏通过预期的$L_0$规范。我们使用我们的技术作为一种归因方法来分析GNN模型的两个任务-问答和语义角色标注-提供洞察这些模型中的信息流。我们表明,我们可以在不降低模型性能的情况下丢弃大部分边缘,同时我们可以分析剩余的边缘以解释模型预测。
2022-10-03 cs.CL cs.LG stat.ML
Streaming Weak Submodularity: Interpreting Neural Networks on the Fly
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Open University of Israel(以色列开放大学);Yale University(耶鲁大学)
在许多机器学习应用中,解释黑盒分类器的预测是很重要的。例如,为什么深度神经网络会将图像分配给特定的类?我们将黑盒分类器的可解释性转化为一个组合最大化问题,并提出了一个有效的流算法来解决它的基数约束。通过扩展Badanidiyuru等人的思想。[2014],我们在随机流顺序和弱子模目标函数的情况下为我们的算法提供了常数因子近似保证。这是第一个这样的理论保证这一类功能,我们还表明,没有这样的算法存在的最坏情况下流的顺序。我们的算法比Ribeiro等人[2016]的最先进的LIME框架快$10$倍地获得了Inception V3预测的类似解释。
2017-11-22 cs.IT cs.LG math.IT
Explaining in Style: Training a GAN to explain a classifier in StyleSpace
Hebrew University(希伯来大学);Google Research(谷歌研究院);MIT(麻省理工学院);Tel Aviv University(特拉维夫大学);Weizmann Institute of Science(魏茨曼科学研究所)
图像分类模型可以依赖于图像的多个不同语义属性。分类器决策的解释需要发现和可视化这些属性。在这里,我们提出了一种方法StylEx,通过训练生成模型来专门解释分类器决策的多个属性。这些属性的一个自然来源是StyleGAN的StyleSpace,它可以在图像中生成语义上有意义的维度。然而,由于标准GAN训练不依赖于分类器,因此它可能无法表示这些对分类器决策很重要的属性,并且StyleSpace的维度可能表示不相关的属性。为了克服这一点,我们提出了一个StyleGAN的训练过程,它包含了分类器模型,以学习特定于分类器的StyleSpace。然后从该空间中选择解释属性。这些可用于可视化更改每个图像的多个属性的效果,从而提供特定于图像的解释。我们将StylEx应用于多个领域,包括动物,树叶,人脸和视网膜图像。对于这些,我们展示了如何以不同的方式修改图像以改变其分类器输出。我们的研究结果表明,该方法发现的属性,以及与语义一致,生成有意义的图像特定的解释,并在用户研究中测量的人类可解释的。
2021-09-01 cs.CV cs.LG cs.NE
Interpreting weight maps in terms of cognitive or clinical neuroscience: nonsense?
University College London(伦敦大学学院);Max Planck University College London Centre for Computational Psychiatry and Ageing Research(马克斯·普朗克伦敦大学学院计算精神病学与衰老研究中心)
自从机器学习模型被应用于神经成像数据以来,研究人员已经从导出的权重图中得出了结论。特别地,两个条件之间的分类器的权重图通常被描述为条件之间的潜在信号差异的代理。然而,最近的研究表明,这种权重图不能可靠地恢复神经信号的来源,甚至导致假阳性(FP)。在这项工作中,我们使用半模拟的数据从皮层电图(ECoG)的神经信号的信噪比和稀疏性如何影响信号和权重之间的相似性。我们表明,并不是所有的情况下产生FP,它是不太可能的FP功能,在大多数情况下有一个高的权重。
2018-04-30 cs.LG stat.ML
Is rotation forest the best classifier for problems with continuous features?
University of East Anglia(东英吉利大学)
简而言之,我们的实验表明,是的,平均而言,当所有属性都是实值时,旋转森林优于最常见的替代方案。旋转森林是一种基于树的集合,它在构建每棵树之前对属性的子集进行变换。我们提出了一个实证比较的问题,只有实值特征的分类。我们评估分类器从三个家庭的算法:支持向量机;基于树的合奏;和神经网络调整与大网格搜索。我们比较分类器看不见的数据的基础上的质量的决策规则(使用分类错误)的能力,排名的情况下(面积下的接收器操作特性)和概率估计(使用负对数似然)。我们的结论是,在回答标题中提出的问题时,是的,当在三个不同的数据集上进行比较时,轮换森林平均比竞争技术更准确。此外,我们评估的影响,通过烧蚀的研究,将随机森林到轮换森林的设计功能的轮换森林。我们确定的旋转森林的可扩展性,特别是在属性的数量的主要限制。为了克服这个问题,我们开发了一个模型来预测的训练时间的算法,因此提出了一个合同版本的旋转森林的运行时间上限施加{ \em先验}。我们证明,在大的问题上,旋转森林可以更快一个数量级,而不会显着损失的准确性。我们还表明,有没有真正的好处(平均)从调整旋转森林。我们认为,没有任何领域的知识,以表明一个算法的偏好,旋转森林应该是连续属性的问题的默认算法的选择。
2020-04-25 cs.LG stat.ML
A Novel Framework based on SVDD to Classify Water Saturation from Seismic Attributes
IIT Kharagpur(印度理工学院卡拉格普尔分校)
含水饱和度是油藏工程领域的一个重要参数。因此,从地震属性中对含水饱和度进行满意的分类有利于储层描述。然而,地下属性的多样性和非线性性质使得分类任务困难。在此背景下,本文提出了一种广义支持向量数据描述(SVDD)的新的分类框架,分为两类(类高和类低)的地震属性地震阻抗,振幅包络线,地震甜度。G-度量的手段和程序执行时间被用来量化的性能所提出的框架,以及建立监督分类。记录的结果意味着,所提出的框架是优于现有的分类。目前的研究预计将有助于进一步的储层建模。
2016-12-02 cs.LG stat.ML
TaCo: Targeted Concept Erasure Prevents Non-Linear Classifiers From Detecting Protected Attributes
IRT Saint Exupéry(IRT 圣埃克苏佩里);Apple(苹果公司);IMT, Université Paul-Sabatier(保罗·萨巴蒂埃大学 IMT);IRIT, Université Paul-Sabatier(保罗·萨巴蒂埃大学 IRIT)
针对NLP模型中线性概念擦除易受非线性攻击的问题,提出TaCo方法,通过移除潜在表示中的敏感信息,有效防止非线性分类器检测受保护属性,在保持任务性能的同时显著降低敏感属性预测准确率。
2024-10-16 cs.CL stat.ML
Finding Statistically Significant Attribute Interactions
Finnish Institute of Occupational Health(芬兰职业健康研究所)
在许多数据探索任务中,识别特定于感兴趣变量的属性交互组是有意义的。例如,在属性是医学标志物并且感兴趣的变量(类变量)是指示疾病存在/不存在的二进制的数据集中,我们想要知道哪些医学标志物相对于二进制类标签相互作用。这些交互在几个实际应用中很有用,例如,在特征选择和数据匿名化中洞察数据的结构。我们提出了一种新的方法,统计显著性检验的基础上,可用于验证数据集是否已创建一个给定的因式分解类条件联合分布,其中分布参数化的分区的属性。此外,我们提供了一种方法,名为ASTRID,自动找到一个分区的属性描述的分布,产生的数据。国家的最先进的分类器被用来捕获的相互作用存在于数据中,系统地打破属性的相互作用,并观察这种打破分类器性能的影响。我们实证证明了所提出的方法的实用性,使用真实和合成数据的例子。
2017-03-16 cs.LG stat.ML
An Online Learning Algorithm for a Neuro-Fuzzy Classifier with Mixed-Attribute Data
University of Technology Sydney(悉尼科技大学);Advanced Analytics Institute(高级分析研究所);Faculty of Engineering and Information Technology(工程与信息技术学院)
广义模糊最小最大神经网络(GFMMNN)是一种用于数据分类的有效神经模糊系统。然而,其原始学习算法的缺点之一是无法处理和学习混合属性数据。虽然分类特征编码方法可以与GFMMNN学习算法一起使用,但它们表现出许多缺点。文献中提出的其他方法不适合在线学习,因为它们需要在学习阶段可用的整个训练数据。随着流数据的数量和速度在许多应用领域中的快速变化,越来越多地要求所构建的模型能够实时学习和适应连续的数据变化,而不需要对其进行全面的重新训练或访问历史数据。提出了一种GFMMNN的扩展在线学习算法。该方法可以处理具有连续和分类特征的数据集。大量的实验证实了优越的和稳定的分类性能相比,其他相关的学习算法的GFMM模型的方法。
2020-09-30 cs.LG cs.NE stat.ML
Adversarial Removal of Demographic Attributes from Text Data
Bar-Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
表示学习和对抗训练的最新进展似乎成功地从学习的表示中去除了不需要的特征。我们表明,作者的人口统计信息被编码在-并且可以从-基于文本的神经分类器学习的中间表示中恢复。这意味着,在文本数据上训练的分类器的决策对人口统计属性不是不可知的,并且可能是人口统计属性的条件。当尝试使用对抗训练来移除这些人口统计信息时,我们发现,虽然对抗组件在训练期间达到了机会级别的发展集准确度,但在第一部分的编码句子上训练的事后分类器仍然能够在相同的数据上达到更高的分类准确度。这种行为在多个任务、人口统计属性和数据集之间是一致的。我们探索了几种技术来提高对抗组件的有效性。我们的主要结论是一个警示:不要依赖对抗性训练来实现敏感特征的不变表示。
2018-09-02 cs.CL cs.LG stat.ML
Rectifying Classifier Chains for Multi-Label Classification
Heinz Nixdorf Institute(海因茨·尼克斯多夫研究所);Paderborn University(帕德博恩大学);Artificial Intelligence Center, University of Oviedo(奥维耶多大学人工智能中心)
分类器链最近被提出作为一种有吸引力的方法来处理多标签分类任务。除了几个实证研究显示其最先进的性能,特别是当被用于其集成变体,也有一些第一个结果分类链的理论属性。继续沿着这条线,我们分析了学习过程中潜在陷阱的影响,即训练和测试中使用的特征空间之间的差异:虽然真实的类标签被用作训练链上二进制模型的补充属性,但相同的模型需要在预测时依赖于这些标签的估计。我们阐明在何种情况下,属性噪音,从而创建可以影响整体的预测性能。由于我们的研究结果,我们提出了两个修改的分类器链,旨在克服这个问题。实验表明,我们的变体确实能够在原始链接过程可能失败的情况下产生更好的结果。
2019-06-07 cs.LG stat.ML
ACVAE-VC: Non-parallel many-to-many voice conversion with auxiliary classifier variational autoencoder
NTT Communication Science Laboratories, NTT Corporation(NTT株式会社NTT通信科学实验室)
本文提出了一种非并行的多对多语音转换(VC)方法,使用的条件变分自动编码器(VAE)的变体称为辅助分类器VAE(ACVAE)。所提出的方法有三个关键特征。首先,它采用全卷积架构来构建编码器和解码器网络,以便网络可以学习转换规则,这些规则捕获源和目标语音的声学特征序列中的时间依赖性。其次,它使用信息论正则化的模型训练,以确保属性类标签中的信息不会在转换过程中丢失。对于常规CVAE,编码器和解码器可以自由地忽略属性类标签输入。这可能是有问题的,因为在这种情况下,属性类标签在测试时对控制输入语音的话音特性几乎没有影响。这种情况可以通过引入辅助分类器并训练编码器和解码器来避免,使得解码器输出的属性类被分类器正确地预测。第三,它通过简单地将输入语音的频谱细节移植到其转换后的版本中,避免了在测试时产生嗡嗡声。主观评价实验表明,这种简单的方法在非并行多对多说话人身份转换任务中效果相当好。
2020-10-10 cs.LG cs.SD eess.AS
Fair Classification with Noisy Protected Attributes: A Framework with Provable Guarantees
Yale University(耶鲁大学);Huawei(华为)
我们提出了一个优化框架,学习一个公平的分类器中存在的噪声扰动的保护属性。与以前的工作相比,我们的框架可以使用非常一般的线性和线性分数公平性约束,可以处理多个非二进制保护属性,并输出一个分类器,该分类器具有可证明的准确性和公平性保证。从经验上讲,我们表明,我们的框架可以用来实现统计率或误报率的公平性保证,即使在噪声很大的情况下,在两个真实世界的数据集的准确性损失最小。
2021-02-16 cs.AI cs.CY cs.DS
Fair Classification by Direct Intervention on Operating Characteristics
University of Pennsylvania(宾夕法尼亚大学)
本文提出通过分组 ROC 凸包选择最优操作点并后处理预训练分类器,在少量干预和近 oracle 准确率损失下同时满足多种群体公平约束。
2025-09-29 cs.LG stat.ML
A simple data discretizer
Bloomberg L.P.(彭博有限合伙企业);SUNY at Buffalo(纽约州立大学布法罗分校);Birla Institute of Technology, Mesra(比尔拉理工学院梅斯拉分校)
数据离散化是机器学习过程中的一个重要步骤,因为离散属性比连续属性更容易被分类器处理。多年来,执行离散化的几种方法,如布尔推理,等频率分箱,熵已被提出,探索和实现。本文介绍了一种简单的监督离散化方法。MIL的主要目标是最大化分类器的分类精度,最小化连续属性离散化时的信息损失。建议的方法的性能进行了比较与监督离散化算法最小信息损失(MIL),使用最先进的规则归纳算法-J 48(Java实现的C4.5分类器)。所提出的方法,事实上,修改后的版本MIL。实验结果表明,修改后的方法在几种情况下表现得更好,相比原来的MIL算法和最小描述长度原则(MDLP)。
2017-10-13 cs.DB cs.LG stat.ML
Static analysis of executable files by machine learning methods
Group-IB;Bauman Moscow State Technical University(鲍曼莫斯科国立技术大学)
本文介绍了如何检测恶意可执行文件的基础上静态分析的二进制内容。分析了从可执行文件的不同区域提取数据的预处理和清洗阶段。被认为是编码的可执行文件的分类属性的方法,是如何减少特征字段的尺寸和选择特征,以有效地表示样本的二进制可执行文件,进一步训练分类器。一个集成的训练方法,以聚合从每个分类器的预测,并创建了一个集成的分类器的各种功能组的可执行文件属性,以便随后开发一个系统,用于检测恶意文件在一个非绝缘的环境。
2020-07-15 cs.CR cs.LG stat.ML
Zero Shot Recognition with Unreliable Attributes
UT Austin(德克萨斯大学奥斯汀分校)
原则上,零样本学习可以通过简单地指定类别的属性来训练识别模型。例如,使用\emph{striped}和\emph{four-legged}等通用属性的分类器,即使不提供斑马训练图像,也可以通过枚举斑马类别拥有的属性来构建斑马类别的分类器。然而,在实践中,标准的zero-shot范例受到影响,因为新图像中的属性预测很难正确。我们提出了一种新的随机森林方法来训练zero-shot模型,明确占属性预测的不可靠性。通过利用每个属性的错误趋势的统计数据,我们的方法获得了更强大的判别模型的看不见的类。我们进一步设计扩展来处理Few-Shot场景和不可靠的属性描述。在三个数据集上,我们展示了零或少量训练样本的视觉类别学习的好处,这是罕见类别或动态定义类别的关键领域。
2016-03-29 cs.CV stat.ML
Learning Privacy Preserving Encodings through Adversarial Training
University of Florida(佛罗里达大学);Washington University in St. Louis(圣路易斯华盛顿大学)
我们提出了一个框架来学习隐私保护编码的图像,抑制推理选择的私人属性,同时允许恢复其他所需的信息。我们的目标不是简单地抑制给定的固定预训练估计器,而是即使知道编码函数,估计器也无法学习准确预测私有属性。我们使用一种基于自然对抗优化的公式来实现这一点--针对私有属性的分类器训练编码函数,两者都建模为深度神经网络。我们工作的关键贡献是一种稳定和收敛的优化方法,该方法成功地学习了具有我们所需属性的编码器-保持实用性,同时抑制私有属性的推断,不仅在对抗优化中,而且在编码器固定后训练的分类器。我们采用了严格的实验协议进行验证,其中分类器进行了详尽的训练,直到饱和的固定编码器。我们评估了我们的方法在现实世界的复杂性任务--学习高维编码,抑制检测不同的场景类别-并发现它产生的编码器,在维护隐私的弹性。
2018-12-04 cs.CR cs.CV cs.LG
CheXclusion: Fairness gaps in deep chest X-ray classifiers
University of Toronto(多伦多大学);Vector Institute(向量研究所);Massachusetts Institute of Technology(麻省理工学院)
机器学习系统最近因其在临床任务上实现专家级性能的能力而受到广泛关注,特别是在医学成像中。在这里,我们研究了最先进的深度学习分类器在多大程度上被训练来从X射线图像中产生诊断标签,这些分类器在受保护的属性方面存在偏见。我们训练卷积神经网络来预测3个著名的公共胸部X射线数据集的14个诊断标签:MIMIC-CXR,Chest-Xray 8,CheXpert,以及所有这些数据集的多站点聚合。我们评估了TPR差异-真阳性率(TPR)的差异-在不同的保护属性,如患者性别,年龄,种族和保险类型作为社会经济地位的代理。我们证明了TPR差异存在于所有数据集,所有临床任务和所有亚组的最先进的分类器中。多源数据集对应于最小的差异,这表明了一种减少偏差的方法。我们发现TPR差异与亚组的疾病负担比例没有显著相关性。随着临床模型从论文转向产品,我们鼓励临床决策者在部署之前仔细审核算法差异。我们的代码可以在https://github.com/LalehSeyyed/CheXclusion上找到
2020-10-16 cs.AI cs.CV cs.LG