Long-tailed Medical Diagnosis with Relation-aware Representation Learning and Iterative Classifier Calibration
The University of Hong Kong(香港大学);University of Cambridge(剑桥大学);City University of Hong Kong(香港城市大学);The Hang Seng University of Hong Kong(香港恒生大学)
本文针对长尾医学图像分类中类别不平衡导致的有偏表示和分类器校准不足问题,提出LMD框架,通过关系感知表示学习和迭代分类器校准生成均衡虚拟特征,在三个公开数据集上显著超越现有方法。
2025-02-07 cs.AI cs.CV cs.LG
Null It Out: Guarding Protected Attributes by Iterative Nullspace Projection
Bar Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
控制神经表征中编码的各种信息的能力有各种各样的用例,特别是考虑到解释这些模型的挑战。我们提出了迭代零空间投影(INLP),一种新的方法,用于从神经表征中删除信息。我们的方法是基于线性分类器的重复训练,这些分类器预测我们要删除的某个属性,然后将表示投影到零空间上。通过这样做,分类器会忘记该目标属性,从而很难根据它线性分离数据。虽然适用于多种用途,但我们评估了我们的方法的偏见和公平性用例,并表明我们的方法能够减轻偏见在词嵌入中,以及提高多类分类设置中的公平性。
2020-04-28 cs.CL cs.LG
G-IFT: A Gated Linear Unit adapter with Iterative Fine-Tuning for Low-Resource Children's Speaker Verification
Department of Electrical and Computer Engineering(电气与计算机工程系)
针对成人语音训练的SV系统在儿童语音上因声学失配和数据受限而表现不佳的问题,提出G-IFT框架,通过在预训练模型与分类器间插入门控线性单元适配器并进行迭代优化,有效提升了知识迁移效率,在多种架构和数据集上均显著降低了等错误率。
2025-08-11 cs.LG eess.AS
Gaussian Process Meta Few-shot Classifier Learning via Linear Discriminant Laplace Approximation
Samsung AI Center(三星人工智能中心);University of Edinburgh(爱丁堡大学)
元学习Few-Shot分类是机器学习中的一个新兴问题,最近受到了极大的关注,其目标是学习一个模型,该模型可以快速适应新的任务,只有很少的标记数据。我们考虑贝叶斯高斯过程(GP)的方法,其中我们元学习的GP先验,并适应一个新的任务进行的GP预测模型从后验推理。我们采用拉普拉斯后验近似,但为了避免迭代梯度步骤,寻找MAP解决方案,我们引入了一种新的线性判别分析(LDA)插件作为MAP解决方案的替代品。在本质上,MAP解是由LDA估计近似的,但考虑到GP先验,我们采用先验范数调整来估计LDA的共享方差参数,这确保了调整后的估计与GP先验一致。这使得封闭形式的可微GP后验和预测分布成为可能,从而允许快速Meta训练。我们表现出相当大的改进,在以前的方法。
2021-12-13 cs.LG
Using Intuition from Empirical Properties to Simplify Adversarial Training Defense
New Jersey Institute of Technology(新泽西理工学院);QCRI(卡塔尔计算研究所);Hamad bin Khalifa University(哈马德·本·哈利法大学)
由于神经网络分类器对复杂分布具有惊人的良好表示能力,因此被广泛应用于自然语言处理、计算机视觉和网络安全等领域。在最近的作品中,人们注意到了对抗性例子的存在。这些对抗性的例子打破了NN分类器的基本假设,即环境是无攻击的,并且很容易误导经过充分训练的NN分类器,而不会发生明显的变化。在防御方法中,对抗性训练是一种流行的选择。然而,使用单步对抗性示例(Single-Adv)的原始对抗性训练不能防御迭代对抗性示例。虽然使用迭代对抗示例的对抗训练(Iter-Adv)可以防御迭代对抗示例,但它消耗太多的计算能力,因此不可扩展。在本文中,我们分析了Iter-Adv技术,并确定了它们的两个经验性质。基于这些属性,我们提出了改进方案,增强了Single-Adv的竞争力。通过初步评估,我们表明,所提出的方法提高了最先进的(SOTA)Single-Adv防御方法对迭代对抗示例的测试准确率高达16.93%,同时降低了28.75%的训练成本。
2019-06-27 cs.CR cs.CV cs.LG
CloudSVM : Training an SVM Classifier in Cloud Computing Systems
Isik University(伊希克大学)
在传统的方法中,分布式支持向量机(SVM)算法在预先配置的内联网/互联网环境上训练以找出最优分类器。这些方法对于大型数据集来说非常复杂和昂贵。因此,我们提出了一种方法,被称为云SVM的训练机制(CloudSVM)在云计算环境与MapReduce技术的分布式机器学习应用。因此,(i)在并行工作的分布式云存储服务器中训练SVM算法;(ii)合并每个训练的云节点中的所有支持向量;以及(iii)重复这两个步骤,直到SVM收敛到最佳分类器函数。大规模的数据集是不可能的训练使用SVM算法在一台计算机上。本研究的结果对于机器学习应用中大规模数据集的训练具有重要意义。提出了在云计算环境下使用支持向量机对分裂数据集进行迭代训练,在有限的迭代次数内收敛到全局最优分类器。
2013-01-01 cs.DC cs.LG
Performance of Machine Learning Classifiers for Anomaly Detection in Cyber Security Applications
IU International University of Applied Sciences(国际应用科学大学)
本研究在KDDCUP99和Credit Card Fraud 2013数据集上评估了多种机器学习模型在网络安全异常检测中的性能,发现XGB和MLP优于生成模型,并指出IterativeImputer不适用于大型数据集。
2025-04-26 cs.CR cs.LG
Sequential training of GANs against GAN-classifiers reveals correlated "knowledge gaps" present among independently trained GAN instances
Google Research(谷歌研究院)
本研究通过顺序训练GAN分类器与GAN,发现StyleGAN2能在不降低输出质量的情况下欺骗分类器,而DCGAN不能,揭示了不同GAN实例间相关的知识缺口及其对训练的影响。
2023-03-27 cs.CV cs.LG
Discriminative Ridge Machine: A Classifier for High-Dimensional Data or Imbalanced Data
Qingdao University(青岛大学);University of Kentucky(肯塔基大学)
本文介绍了一种判别回归方法的监督分类。它估计一个表示模型,同时考虑类之间的区别,从而能够准确推导分类信息。这种新型的回归模型扩展了现有的模型,如岭,套索,组套索通过明确纳入歧视性信息。作为一个特殊的情况下,我们专注于一个二次模型,承认一个封闭形式的解析解。相应的分类器被称为判别回归机(DRM)。为了提高DRM的效率和可扩展性,本文进一步提出了三种DRM迭代算法。我们的方法和算法适用于一般类型的数据,包括图像,高维数据,不平衡的数据。我们比较DRM与目前国家的最先进的分类器。我们广泛的实验结果表明DRM的优越性能,并确认所提出的方法的有效性。
2019-12-30 cs.CV cs.LG stat.ML
A practical approach to evaluating the adversarial distance for machine learning classifiers
Federal Institute for Occupational Safety and Health (BAuA)(联邦职业安全与健康研究所(BAuA));University of Stuttgart(斯图加特大学)
本文提出一种结合迭代对抗攻击与认证方法估计对抗距离上下界的实用评估方法,并通过可视化与消融研究验证其有效性,旨在推动更具信息量的ML分类器鲁棒性评估。
2024-09-05 cs.CV cs.LG
Development of Multistage Machine Learning Classifier using Decision Trees and Boosting Algorithms over Darknet Network Traffic
Pillai College of Engineering(皮莱工程学院);University of Mumbai(孟买大学)
本研究提出一种结合决策树与AdaBoost、Gradient Boosting等多阶段机器学习分类器,并利用信息增益等特征选择方法,有效解决了Darknet流量数据集中的类别不平衡问题,实现了对暗网活动的准确检测与分类。
2024-07-22 cs.CR cs.LG
On The Construction of Extreme Learning Machine for Online and Offline One-Class Classification - An Expanded Toolbox
Indian Institute of Technology Indore(印度理工学院印多尔分校);Microsoft ATC(微软先进技术中心)
单类分类(OCC)一直是研究人员关注的主要问题,并有效地应用于各个学科。但是,传统的基于单类分类器的方法由于其迭代过程和各种参数的调整而非常耗时。本文提出了六种基于极限学习机(ELM)和在线顺序ELM(OSELM)的OCC方法。我们提出的分类器主要分为两类:基于重建的分类器和基于边界的分类器,它们支持两种类型的学习,即,在线和离线学习。在提出的各种方法中,四种是离线方法,其余两种是在线方法。在四种离线方法中,两种方法执行随机特征映射,两种方法执行内核特征映射。基于核特征映射的方法已经用RBF核进行了测试,在线版本的单类分类器用两种类型的节点进行了测试,添加剂和RBF。众所周知,在OCC的情况下,阈值确定是一个关键因素,因此,到目前为止,已经采用了三种不同的阈值确定标准,并分析了一种阈值确定标准相对于另一种阈值确定标准的有效性。此外,这些方法在两个人工数据集上进行测试,以检查其边界构建能力,并在来自不同学科的八个基准数据集上进行测试,以评估分类器的性能。我们提出的分类器表现出更好的性能相比,十个传统的一类分类器和基于ELM的两个一类分类器。通过提出的一类分类器,我们打算扩大OCC最常用的工具箱,即DD工具箱的功能。我们所有的方法都与工具箱的所有现有功能完全兼容。
2017-01-17 cs.LG stat.ML
A Generative Model based Adversarial Security of Deep Learning and Linear Classifier Models
Simula Research laboratory(西穆拉研究实验室);TUBITAK BILGEM(土耳其科学技术研究理事会信息技术研究所);Istanbul Medipol University(伊斯坦布尔梅迪波尔大学)
近年来,机器学习算法在健康、交通和自动驾驶汽车等各个领域得到了广泛应用。随着深度学习技术的快速发展,在算法应用中考虑安全性问题显得尤为重要。虽然机器学习在算法的应用方面提供了显著的优势,但安全性问题被忽视了。由于它在现实世界中有许多应用,安全性是算法的重要组成部分。在本文中,我们提出了一种缓解对抗攻击对机器学习模型的自动编码器模型,这是一个生成的。针对机器学习模型的对抗攻击背后的主要思想是通过操纵训练模型来产生错误的结果。我们还介绍了自动编码器模型对各种攻击方法的性能,从深度神经网络到传统算法,通过使用不同的方法,如对多类逻辑回归的非目标和目标攻击,快速梯度符号方法,目标快速梯度符号方法和基本迭代法攻击MNIST数据集的神经网络。
2020-10-17 cs.AI cs.LG
Classifier-Guided Visual Correction of Noisy Labels for Image Classification Tasks
Ulm University(乌尔姆大学)
训练数据在机器学习的现代应用中起着至关重要的作用。然而,收集标记的训练数据是耗时的。因此,标签通常外包给经验不足的用户,或完全自动化。这会引入错误,从而损害有价值的训练数据,并导致次优的训练结果。因此,我们提出了一种新的方法,使用预先训练的分类器的力量,在视觉上引导用户嘈杂的标签,并让他们交互检查错误的候选人,迭代地提高训练数据集。为了系统地调查训练数据,我们提出了一个分类的标签错误分为三种不同类型,标签采集过程中的潜在陷阱的分析的基础上。对于每一种类型,我们提出的方法来检测,原因,并解决错误的候选人,因为我们提出的措施和视觉指导技术,以支持机器学习用户。我们的方法已被用于在著名的机器学习基准数据集中发现错误,我们在用户评估期间测试了其可用性。虽然最初开发的图像,本文提出的技术是独立的分类算法,也可以扩展到许多其他类型的训练数据。
2020-04-06 cs.CV cs.HC cs.LG
MCAL: Minimum Cost Human-Machine Active Labeling
University of Southern California(南加州大学);Microsoft Research(微软研究院)
如今,地面实况生成使用由基于云的注释服务注释的数据集。这些服务依赖于人工注释,这可能非常昂贵。在本文中,我们考虑混合人机标记的问题,训练分类器准确地自动标记数据集的一部分。然而,训练分类器也可能是昂贵的。我们提出了一种迭代方法,通过在每一步共同确定使用人类标记哪些样本以及使用训练的分类器标记哪些样本,来最大限度地降低总成本。我们在Fashion-MNIST、CIFAR-10、CIFAR-100和ImageNet等公知的公共数据集上验证了我们的方法。在某些情况下,我们的方法相对于人类标记整个数据集的总成本低6倍,并且总是比最便宜的竞争策略便宜。
2023-02-27 cs.CV cs.LG stat.ML
Anomaly Detection in Additive Manufacturing Processes using Supervised Classification with Imbalanced Sensor Data based on Generative Adversarial Network
Virginia Tech(弗吉尼亚理工大学);NJIT(新泽西理工学院)
监督分类方法已被广泛用于先进制造过程的质量保证,例如用于异常(缺陷)检测的增材制造(AM)。然而,由于在制造过程中异常状态(有缺陷)比正常状态(无缺陷)发生的频率低得多,因此从正常状态收集的传感器数据样本的数量通常比从异常状态收集的传感器数据样本的数量多得多。这个问题导致分类分析的训练数据不平衡,从而降低了过程中检测异常状态的性能。为异常状态生成有效的人工样本数据有利于训练集的均衡。为了实现这一目标,本文提出了一种新的数据增强方法的基础上生成对抗网络(GAN)使用增材制造过程图像传感器数据。我们的方法的新颖之处在于,一个标准的GAN和分类器的技术,以稳定的标准GAN的学习过程进行了联合优化。所生成的多样且高质量的样本为分类器提供了平衡的训练数据。GAN和分类器之间的迭代优化提供了高性能的分类器。通过聚合物和金属AM过程的公开源数据和实际案例研究,验证了所提出方法的有效性。
2022-11-25 cs.LG stat.AP
Generalizing Logic-based Explanations for Machine Learning Classifiers via Optimization
Instituto Federal de Educação, Ciência e Tecnologia do Ceará (IFCE)(巴西塞阿布罗州联邦教育、科学和技术研究所(IFCE))
本文提出两种方法,通过优化提升基于逻辑的机器学习分类器解释的正确性和覆盖范围,实验表明Twostep显著提高了解释覆盖范围。
2026-03-02 cs.LG cs.LO
Efficient Learning of Interpretable Classification Rules
National University of Singapore(新加坡国立大学)
机器学习在医疗、法律和交通等各种安全关键领域的应用中已经变得无所不在。在这些领域,机器学习提供的高风险决策要求研究人员设计可解释的模型,其中预测是人类可以理解的。在可解释的机器学习中,基于规则的分类器在通过包括输入特征的一组规则来表示决策边界方面特别有效。基于规则的分类器的可解释性通常与规则的大小有关,其中较小的规则被认为更具可解释性。为了学习这样的分类器,暴力直接方法是考虑一个优化问题,该问题试图学习具有接近最大准确度的最小分类规则。由于其组合性质,该优化问题在计算上是棘手的,因此,该问题在大型数据集中不可扩展。为此,在本文中,我们研究的准确性,可解释性和可扩展性的学习规则为基础的分类之间的三角关系。本文的贡献是一个可解释的学习框架IMLI,这是基于最大可满足性(MaxSAT)的综合分类规则表达的命题逻辑。尽管MaxSAT解决方案在过去十年中取得了进展,但基于MaxSAT的简单解决方案无法扩展。因此,我们将一个有效的增量学习技术内的MaxSAT配方,通过集成小批量学习和迭代规则学习。在我们的实验中,IMLI在预测准确性、可解释性和可扩展性之间实现了最佳平衡。作为一个应用程序,我们部署IMLI在学习流行的可解释的分类器,如决策列表和决策集。
2022-08-30 cs.AI cs.LG
Spectral Algorithms for Computing Fair Support Vector Machines
UC Berkeley(加州大学伯克利分校)
分类器和评级分数倾向于隐含地编码偏差,其可能存在于训练数据中,针对受保护的类(即,年龄、性别或种族)。因此,了解如何设计分类器和分数以防止预测中的歧视是很重要的。本文开发了计算上易于处理的算法,用于设计准确但公平的支持向量机(SVM)。我们的方法对每个受保护类的协方差矩阵施加了约束,这导致了SVM公式中的非凸二次约束。我们开发迭代算法来计算公平的线性和核SVM的,解决了一系列的松弛构造使用谱分解的非凸约束。在几个数据集上的数值实验表明,它在实现高预测精度,同时确保公平的有效性。
2017-10-16 cs.LG math.OC stat.ML