Prophit: Causal inverse classification for multiple continuously valued treatment policies
University of Iowa(爱荷华大学)
反向分类使用一个诱导分类器作为一个可查询的预言机,引导测试实例朝向一个首选的后验类标签。该过程产生的结果是一组特定于实例的特征扰动或建议,它们最佳地提高了类标签的概率。在这项工作中,我们采用因果方法来逆向分类,引出治疗策略(即,特征扰动)的因果属性引起的模型。在这样做,我们解决了一个长期存在的问题,引出多个,连续值的治疗政策,使用更新的框架和相应的一组假设,我们称之为逆分类潜在结果框架(ICPOF),以及一个新的措施,被称为个人未来估计的影响($i$ FEE)。我们还开发了近似倾向分数(APS),基于高斯过程,加权治疗,很像过去的作品中使用的逆倾向分数加权。我们证明了我们的方法对学生表现的可行性。
2018-02-14 cs.LG stat.ML
Multi-view Vector-valued Manifold Regularization for Multi-label Image Classification
Peking University(北京大学);University of Technology, Sydney(悉尼科技大学);Nanyang Technological University(南洋理工大学)
在计算机视觉中,用于分类的图像数据集自然与多个标签相关联,并由多个视图组成,因为每个图像可能包含多个对象(例如行人,自行车和树木),并通过多个视觉特征(例如颜色,纹理和形状)进行适当表征。当前可用的工具忽略标签关系或视图互补。受向量值函数成功构造矩阵值核来探索输出空间中的多标签结构的启发,我们引入多视图向量值流形正则化(MV $\mathbf{^3}$ MR)来集成多个特征。MV $\mathbf{^3}$ MR利用不同特征的互补性,在流形正则化的主题下发现不同特征所共有的紧支撑的内在局部几何。我们在两个具有挑战性但流行的数据集PASCAL VOC' 07(VOC)和MIR Flickr(MIR)上进行了广泛的实验,并验证了所提出的MV $\mathbf{^3}$ MR用于图像分类的有效性。
2019-04-08 cs.CV cs.LG stat.ML
Set-valued prediction in hierarchical classification with constrained representation complexity
Ghent University(根特大学);LMU Munich(慕尼黑大学);Poznań University of Technology(波兹南理工大学);Yahoo! Research(雅虎研究院)
集值预测是多类分类中的一个众所周知的概念。当分类器不确定测试实例的类标签时,它可以预测一组类而不是单个类。在本文中,我们专注于分层多类分类问题,其中有效集(通常)对应于层次结构的内部节点。我们认为,这是一个非常强的限制,我们提出了一个放宽通过引入的概念表示复杂性的预测集。结合概率分类器,这导致了一个具有挑战性的推理问题,需要特定的组合优化算法。我们提出了三种方法,并在基准数据集上对其进行了评估:一种基于矩阵向量乘法的朴素方法,一种重新表述为带有冲突图的背包问题的方法,以及一种递归树搜索方法。实验结果表明,最后一种方法是计算效率比其他两种方法,由于层次分解的条件类分布。
2022-03-13 cs.AI cs.LG stat.ML
Online Learning with Set-Valued Feedback
University of Michigan(密歇根大学)
该研究针对集值反馈的在线多类分类场景,证明确定性与随机化在线可学习性不等价,提出两个新组合维度分别刻画两类可学习性,并为三种实际学习场景的最小最大遗憾值建立界。
2024-06-18 cs.LG stat.ML
Calibration tests beyond classification
Uppsala University(乌普萨拉大学);Linköping University(林雪平大学)
大多数有监督的机器学习任务都受到不可约的预测误差的影响。概率预测模型通过提供表示对似然目标的信念的概率分布而不是点估计来解决这个限制。这种模型可以成为在不确定情况下进行决策的宝贵工具,前提是模型输出是有意义的和可解释的。经过校准的模型保证概率预测既不会过度自信,也不会信心不足。在机器学习文献中,已经提出并研究了用于评估分类模型的校准的不同测量和统计测试。然而,对于回归问题,研究一直集中在一个较弱的校准条件的基础上预测的分位数为实值目标。在本文中,我们提出了第一个框架,统一的校准评估和测试一般概率预测模型。它适用于任何此类模型,包括任意维度的分类和回归模型。此外,该框架概括了现有的措施,并提供了一个更直观的重新制定最近提出的框架校准多类分类。特别是,我们重新制定和推广的内核校准误差,它的估计,并使用标量值内核的假设检验,并评估校准的实值回归问题。
2022-10-21 cs.LG stat.ML
Efficient Online Set-valued Classification with Bandit Feedback
Binghamton University(宾汉姆顿大学)
针对老虎机反馈下真实标签不可见、校准数据稀疏的问题,提出BCCP框架,以无偏估计和随机梯度下降实现在线集值分类,并提供类别特定覆盖率保证。
2024-05-07 cs.LG stat.ML
Projection Valued Measure-based Quantum Machine Learning for Multi-Class Classification
Korea University(高丽大学)
近年来,量子机器学习(QML)已被积极用于各种任务,例如,分类、强化学习和对抗学习。然而,由于输入和输出的可扩展性问题,这些QML研究无法执行复杂的任务,这是目前QML中最大的障碍。因此,本文的目的是克服可扩展性的问题。出于这一挑战,我们专注于利用量子统计力学中概率振幅的性质的投影值测量(PVM)。通过利用PVM,输出维度从量子位数$q$扩展到$2^q$。我们提出了一种新的QML框架,利用PVM的多类分类。我们的框架被证明优于最先进的(SOTA)方法与各种数据集,假设不超过6个量子位使用。此外,我们的基于PVM的QML显示约$42.2\%$更好的性能比SOTA框架。
2022-11-14 cs.AI cs.LG quant-ph
Compact set-valued deep ensembling in multi-class classification
Université de Technologie de Compiègne(贡比涅技术大学);Japan Advanced Institute of Science and Technology(日本先端科学技术大学院大学)
本文提出使用紧致集成(如贝叶斯神经网络和蒙特卡洛丢弃卷积神经网络)生成概率预测,并定义代表性分布以优化统计距离,从而高效计算集值贝叶斯最优预测,解决深度集成中的训练存储负担和单值预测不鲁棒问题。
2026-10-06 cs.LG
An Analysis of Complex-Valued CNNs for RF Data-Driven Wireless Device Classification
Oregon State University(俄勒冈州立大学);Intel Corporation(英特尔公司)
最近基于深度神经网络的设备分类研究表明,复值神经网络(CVNN)比实值神经网络(RVNN)产生更高的分类准确性。尽管这种改进(直观地)归因于输入RF数据的复杂性质(即,IQ符号),但没有先前的工作更仔细地分析无线设备识别背景下的这种趋势。我们的研究使用真实的LoRa和WiFi RF数据集更深入地了解了这一趋势。我们深入了解(i)输入表示/类型和(ii)神经网络的架构层的影响。对于输入表示,我们考虑了IQ以及部分和全部的极坐标。对于架构层,我们考虑了一系列消融实验,消除部分CVNN组件。我们的结果表明,在上述各种场景中,CVNN的表现始终优于RVNN,这表明CVNN能够更好地利用通过信号的同相(I)和正交(Q)分量提供的联合信息。
2022-02-20 cs.IT cs.LG eess.SP
Emotion Transfer Using Vector-Valued Infinite Task Learning
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院 LTCI);Center of Applied Mathematics, CNRS, École Polytechnique, Institut Polytechnique de Paris(巴黎理工学院巴黎综合理工学院法国国家科学研究中心应用数学中心)
风格迁移是机器学习的一个重要问题,并有许多成功的应用。在这项工作中,我们提出了一种新的风格转移框架,建立在无限任务学习和向量值再生核希尔伯特空间。我们在情感转移中实例化了这个想法,其目标是将面部图像转换为不同的目标情感。所提出的方法提供了一种原则性的方法来获得显式控制连续的样式空间。我们证明了流行的面部情感基准的技术的效率,实现低重建成本和高的情感分类精度。
2021-02-09 cs.LG stat.ML
Functional Regularized Least Squares Classi cation with Operator-valued Kernels
INRIA Lille - Nord Europe(里尔-北欧法国国家信息与自动化研究所);Université de Bordeaux(波尔多大学);Université de Lille(里尔大学);Ecole Centrale de Lille(里尔中央理工学院);Université de Rouen(鲁昂大学)
虽然算子值核最近在各种机器学习和函数数据分析问题(如多任务学习或函数回归)中受到越来越多的关注,但很少关注对其相关特征空间的理解。在本文中,我们探讨了采用算子值核特征空间的角度分析功能性数据的潜力。然后,我们扩展了正则化最小二乘分类(RLSC)算法,以涵盖每个观测值有多个函数的情况。对一个声音识别问题的实验表明,该方法的性能优于经典的RLSC算法。
2013-01-12 cs.LG stat.ML
Fine-grained Generalization Analysis of Vector-valued Learning
Southwestern University of Finance and Economics(西南财经大学);TU Kaiserslautern(凯泽斯劳滕工业大学);University of Birmingham(伯明翰大学)
许多基本的机器学习任务可以被表述为一个向量值函数的学习问题,在这个问题中,我们一起学习多个标量值函数。虽然在经验风险最小化原则下对不同的具体算法进行了一些推广分析,但仍然缺乏在正则化框架下对向量值学习的统一分析。在本文中,我们开始的正则向量值学习算法的推广分析,提出了一个温和的依赖于输出尺寸和样本大小的快速速度的界限。我们的讨论放宽了现有的假设空间的限制性约束,损失函数的光滑性和低噪声条件的假设。为了理解优化和学习之间的相互作用,我们进一步使用我们的结果来推导向量值函数的随机梯度下降的第一个泛化界。我们将我们的一般结果应用于多类分类和多标签分类,这产生了第一界与对数依赖的输出维度的极端多标签分类与Frobenius正则化。作为一个副产品,我们推导出一个Rademacher复杂性界的损失函数类定义的一般强凸函数。
2021-04-29 cs.AI cs.LG
Least Ambiguous Set-Valued Classifiers with Bounded Error Levels
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
在大多数分类任务中,存在模糊的观察结果,因此难以正确标记。集值分类器输出一组合理的标签,而不是一个单一的标签,从而提供了一个更适当的和信息处理的标签的歧义的情况。我们引入了一个多类集值分类的框架,其中分类器保证用户定义的覆盖率或置信度(真实标签包含在集合中的概率),同时最大限度地减少模糊性(输出的预期大小)。我们首先推导出假设真实分布已知的Oracle分类器。我们表明,甲骨文分类器是从水平集的功能,定义每个类的条件概率。然后,我们开发具有良好的渐近和有限样本性质的估计。建议的估计建立在现有的单标签分类器。最优分类器有时会输出空集,但我们提供了两种解决方案来解决这个问题,适合各种实际需要。
2018-12-22 cs.LG stat.ME stat.ML
C-SURE: Shrinkage Estimator and Prototype Classifier for Complex-Valued Deep Learning
UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所);Peking University(北京大学)
James-Stein(JS)收缩估计量是一种有偏估计量,它能捕获高斯随机向量的均值,虽然它在均方误差(MSE)方面优于极大似然估计量(MLE),但在流形值数据上的推广还没有取得很大的进展。我们提出了C-SURE,一种新的Stein的无偏风险估计(SURE)的JS估计的复值数据的流形上,理论上证明了最佳的MLE。适应复值SurReal分类器的架构,我们进一步将C-SURE纳入原型卷积神经网络(CNN)分类器。我们将C-SURE与SurReal以及复值MSTAR和RadioML数据集上的实值基线进行了比较。C-SURE比SurReal更准确和鲁棒,并且对于相同的原型分类器,收缩估计器总是优于MLE。像SurReal一样,C-SURE要小得多,在MSTAR(RadioML)上的实际值基线上表现优于基线大小的1%(3%)
2020-06-22 cs.LG stat.ML
Operator-valued Kernels for Learning from Functional Response Data
Aix-Marseille Université(艾克斯-马赛大学);Ecole Centrale de Lille(里尔中央理工学院);Université de Lille(里尔大学);INSA de Rouen(鲁昂国立应用科学学院);Université de Rouen(鲁昂大学);ENS Cachan(卡尚高等师范学院)
在本文中,我们考虑属性和标签都是函数的情况下的监督分类和回归问题:数据由一组函数表示,标签也是一个函数。我们专注于使用再生核希尔伯特空间理论来学习这些功能数据。基于核的学习的基本概念和性质被扩展到包括函数值函数的估计。在这种设置中,代表定理重申,一组严格定义的无限维算子值的内核,可以有价值地应用时,数据的功能进行描述,并介绍了一个学习算法非线性函数数据分析。通过语音和音频信号处理实验说明了该方法。
2016-11-02 cs.LG stat.ML
Complex-Valued Unitary Representations as Classification Heads for Improved Uncertainty Quantification in Deep Neural Networks
University of Tartu(塔尔图大学);S Holding OÜ(3S控股公司)
本文提出一种复值酉表示作为分类头,通过改进深度神经网络的不确定性量化,显著提升了校准性能。
2026-02-17 cs.AI cs.LG
A Sequential Set Generation Method for Predicting Set-Valued Outputs
IBM Research(IBM研究);Thomas J. Watson Research Center(托马斯·J·沃森研究中心)
考虑一个通用的机器学习设置,其中输出是一组标签或序列。此输出集是无序的,其大小随输入而变化。虽然多标签分类方法似乎是一个自然的第一手段,但它们并不容易适用于集值输出,因为输出空间的增长率;并且因为传统的序列生成并不反映集的无顺序性质。在本文中,我们提出了一个统一的框架-顺序集生成(SSG)-可以处理标签和序列的输出集。SSG是一种元算法,它利用任何概率学习方法进行标签或序列预测,但采用适当的正则化,以便重复生成新的标签或序列,直到产生完整的集合。虽然SSG本质上是顺序的,但它不会惩罚集合元素的外观顺序,并且可以应用于各种集合输出问题,例如一组分类标签或序列。我们用基准和合成数据集进行了实验,并证明了SSG在基线方法上的强大性能。
2019-03-12 cs.AI cs.LG stat.ML
Classification based on invisible features and thereby finding the effect of tuberculosis vaccine on COVID-19
Technische Universität Braunschweig(布伦瑞克工业大学)
对于集群数据,具有logcosh损失函数的人工神经网络学习更大的集群,而不是两者的平均值。更重要的是,当用于集值函数的回归时,ANN将学习接近其中一个选择的值,换句话说,它以高精度学习集值函数的一个分支。本文提出了一种利用具有logcosh损失的人工神经网络在参数-结果样本集中寻找集值映射的分支并根据这些分支对样本进行分类的方法。该方法不仅可以根据这些分支对数据进行分类,而且可以对大多数聚类进行准确的预测。该方法成功地分类的数据的基础上不可见的功能。成功建立了一个神经网络,从多个输入变量中预测德国各地区冠状病毒的总病例数、对数总病例数、死亡人数、活跃病例数和其他相关数据。据推测,结核病疫苗可提供针对病毒的保护,并且由于东德在统一前接种了疫苗,因此试图通过将疫苗信息视为不可见的特征来对东德和西德地区进行分类。
2020-11-14 cs.LG q-bio.QM stat.ML
Trinary Tools for Continuously Valued Binary Classifiers
University of Wisconsin – Madison(威斯康星大学麦迪逊分校)
二元(是/否)任务的分类方法通常会产生一个连续值的分数。机器学习从业者必须执行模型选择、校准、离散化、性能评估、调优和公平性评估。这些任务涉及检查分类器结果,通常使用汇总统计和手动检查细节。在本文中,我们提供了一个交互式的可视化方法来支持这样的连续值分类器检查任务。我们的方法解决了这些任务的三个阶段:校准,工作点选择和检查。我们增强了标准视图并引入了特定于任务的视图,以便它们可以集成到多视图协调(MVC)系统中。我们建立在现有的基于比较的方法,将其扩展到连续分类器,将连续值视为三元(积极,不确定,消极),即使分类器最终不会使用3路分类。我们提供的用例演示了我们的方法如何使机器学习从业者完成关键任务。
2022-04-18 cs.AI cs.HC cs.LG
Disentangling Neural Architectures and Weights: A Case Study in Supervised Classification
Royal Holloway University of London(伦敦大学皇家霍洛威学院)
深度学习的历史表明,人类设计的特定问题网络可以大大提高一般神经模型的分类性能。然而,在大多数实际情况下,为给定任务选择最佳架构仍然是一个具有挑战性的问题。最近的结构搜索方法能够自动构建具有强大性能的神经模型,但未能充分认识到神经结构和权重之间的相互作用。这项工作研究了解开神经结构及其边缘权重的作用的问题,表明训练有素的架构可能不需要任何特定于链路的权重微调。我们比较了这种无权重网络(在我们的情况下,这些是具有{0,1}值权重的二进制网络)与随机,权重不可知,修剪和标准全连接网络的性能。为了找到最优的权重不可知网络,我们使用了一种新的和计算效率高的方法,将硬架构搜索问题转化为一个可行的优化问题。更具体地说,我们将最优的任务特定架构视为具有{0,1}值权重的二进制网络的最优配置,可以通过近似梯度下降策略找到。理论上的收敛性保证所提出的算法是通过边界的梯度近似的误差和它的实际性能进行评估,在两个现实世界的数据集。为了测量不同架构之间的结构相似性,我们使用了一种新的谱方法,使我们能够强调实值网络和无权重架构之间的内在差异。
2020-09-11 cs.CV cs.LG stat.ML
The Computational Complexity of Concise Hypersphere Classification
Royal Holloway, University of London(伦敦大学皇家霍洛威学院);TU Wien(维也纳技术大学);DePaul University(德保罗大学);University of Leeds(利兹大学)
针对二值数据超球面分类难获简洁解释的问题,首次从参数化复杂度角度研究,给出更强下界与新固定参数算法,可找到存在的精确简洁解释。
2023-12-12 cs.CC cs.DS cs.LG
Extending the Universal Approximation Theorem for a Broad Class of Hypercomplex-Valued Neural Networks
Universidade Estadual de Campinas(坎皮纳斯州立大学)
本文通过引入非退化超复代数概念,将万能逼近定理扩展至一大类超复数值神经网络,涵盖复数、四元数和tessarines等代数,为该类网络的存在性提供了理论支撑。
2022-09-06 cs.LG
Extending ROC Analysis to Uncertainty-Aware Risk Prediction with an Interval-Based AUC (iAUC)
Department of Biostatistics & Bioinformatics, Duke University(生物统计学与生物信息学系,杜克大学)
本文提出基于区间的方法AUC(iAUC),用于评估不确定性意识分类的性能,通过引入AUC_L和AUC_U指标,改进ROC分析以适应区间预测需求。
2026-10-22 cs.LG
An evidential classifier based on Dempster-Shafer theory and deep learning
Université de technologie de Compiègne(贡比涅技术大学);CNRS(法国国家科学研究中心);Shanghai University(上海大学);Institut universitaire de France(法国大学研究院)
提出了一种基于Dempster-Shafer(DS)理论和卷积神经网络(CNN)结构的集值分类器。在这个被称为证据深度学习分类器的分类器中,卷积层和池化层首先从输入数据中提取高维特征。然后将特征转换为质量函数,并在DS层中通过Dempster规则进行聚合。最后,期望效用层执行基于质量函数的集值分类。我们提出了一个端到端的学习策略,共同更新网络参数。此外,提出了一种选择部分多类行为的方法。对图像识别、信号处理和语义关系分类任务的实验表明,所提出的深度CNN、DS层和预期效用层的组合使得有可能通过将混淆模式分配给多类集来提高分类精度并做出谨慎的决策。
2021-03-25 cs.AI cs.LG