Robust conditional dimension reduction for dissimilarity data
Auburn University at Montgomery(奥本大学蒙哥马利分校);Virginia Commonwealth University(弗吉尼亚联邦大学)
针对相异度数据中的异常值问题,提出稳健条件多维缩放(rcMDS),用Fair M估计替代平方应力,并开发重加权条件SMACOF算法,实验验证其有效性。
2026-09-09 cs.LG math.OC stat.ME
Music Genre Classification using Masked Conditional Neural Networks
University of York(约克大学)
条件神经网络(CLNN)和掩蔽条件神经网络(MCLNN)利用多维时间信号的性质。CLNN捕获窗口中的帧之间的条件时间影响,并且MCLNN中的掩码在网络链路上执行遵循滤波器组样模式的系统稀疏性。该掩码诱导网络学习频带中的时频表示,从而允许网络维持频率偏移。此外,MCLNN中的掩码自动探索一系列特征组合,通常通过详尽的手动搜索完成。我们已经使用Ballroom和Homburg音乐流派数据集评估了MCLNN的性能。除了基于卷积神经网络的模型之外,MCLNN已经实现了与最先进的手工尝试相竞争的准确性。
2019-04-10 cs.LG stat.ML
Classification with Abstention Under Class-Conditional Error Constraints
Univ Rennes(雷恩大学);Ensai(国立统计与信息分析学校);CNRS(法国国家科学研究中心);CREST–UMR 9194;Columbia University(哥伦比亚大学)
本文研究在类条件误差约束下最小化弃权率的二元分类问题,刻画了分布无关的极小极大收敛速率,提出替代损失与约束优化框架,并在多个数据集上验证了其有效性。
2026-09-22 cs.LG stat.ML
Bayesian Conditional Gaussian Network Classifiers with Applications to Mass Spectra Classification
IIIA-CSIC(西班牙国家研究委员会人工智能研究所);Martin-Luther-Universität(马丁·路德大学)
基于概率图模型的分类器是非常有效的。在连续域中,最大似然通常用于评估这些分类器的预测。当数据稀缺时,这很容易导致过度拟合。在任何概率设置中,贝叶斯平均(BA)提供理论上的最佳预测,并且已知对过拟合具有鲁棒性。在这项工作中,我们引入贝叶斯条件高斯网络分类器,它有效地执行精确的贝叶斯平均参数。我们评估建议的分类器对最大似然替代品提出迄今为止在标准UCI数据集,得出的结论是,执行BA提高了质量的评估概率(条件对数似然),同时保持出错率。过度拟合更可能发生在数据项数量少而变量数量大的域中。这两个条件在生物信息学领域得到满足,其中从质谱早期诊断癌症是一项相关的任务。我们提供了一个应用程序,我们的分类框架的问题,比较它与标准的最大似然替代,在评估概率的质量的提高得到证实。
2013-08-28 cs.LG stat.ML
Conditional neural control variates for variance reduction in Bayesian inverse problems
Department of Computer Science University of Central Florida(计算机科学系佛罗里达中央大学);Department of Physics and Maryland Center for Fundamental Physics University of Maryland College Park(物理系马里兰根本物理中心马里兰大学学院公园分校)
提出条件神经控制变量方法,利用联合模型-数据样本学习摊销控制变量,通过Stein恒等式和分层耦合层架构,显著降低贝叶斯逆问题中蒙特卡洛估计的方差。
2026-06-23 cs.LG stat.ML
Dimension Reduction with Prior Information for Knowledge Discovery
Virginia Commonwealth University(弗吉尼亚联邦大学)
本文提出条件多维缩放(MDS)方法,利用已知特征进行降维,以提升估计质量并简化可视化与知识发现,通过多个实例验证其优势。
2023-12-29 cs.LG stat.ML
Fast and Flexible Multi-Task Classification Using Conditional Neural Adaptive Processes
University of Cambridge(剑桥大学);Invenia Labs(Invenia实验室);Google Research Berlin(谷歌研究院柏林);Microsoft Research(微软研究院)
本文的目标是设计图像分类系统,经过初始的多任务训练阶段,可以自动适应在测试时遇到的新任务。为此,我们引入了一种基于条件神经过程的方法来进行多任务分类设置,并与元学习和Few-Shot学习文献建立了联系。由此产生的方法,称为CNAPs,包括一个分类器,其参数由一个适应网络调制,该网络将当前任务的数据集作为输入。我们证明了CNAP在具有挑战性的元数据集基准上取得了最先进的结果,表明高质量的迁移学习。我们表明,该方法是强大的,避免过度拟合在低拍摄制度和下拟合在高拍摄制度。定时实验表明,CNAPs是计算效率在测试时,因为它不涉及基于梯度的适应。最后,我们表明,经过训练的模型可以立即部署到持续学习和主动学习中,在这种情况下,它们的性能优于现有的不利用迁移学习的方法。
2020-01-07 cs.LG stat.ML
Consistent Labeling Across Group Assignments: Variance Reduction in Conditional Average Treatment Effect Estimation
National Taiwan University(台湾大学)
本文针对CATE估计中同一实例在不同组分配下学习行为不一致的问题,提出通用方法CLAGA,通过消除不一致性显著提升现有算法的估计性能。
2025-07-06 cs.LG stat.ME stat.ML
Hyperspectral Image Classification with Deep Metric Learning and Conditional Random Field
Tianjin University(天津大学)
为了提高高光谱图像处理中的分类性能,基于空间-光谱信息融合和神经网络的利用这两种常用策略,已经开展了许多工作。然而,这两种策略通常需要比经典算法更多的训练数据,从而聚集了标记样本的短缺。在这封信中,我们提出了一种新的框架,将基于频谱的深度度量学习模型和条件随机场算法有机结合起来。深度度量学习模型由中心损失监督,以产生基于频谱的特征,这些特征在类内的欧几里得空间中聚集得更紧密。首先提出了用于图像分割任务的具有高斯边缘势的条件随机场,通过利用深度度量学习模型产生的像素之间的地理距离和特征之间的欧氏距离,对高光谱图像进行逐像素分类。所提出的框架在深度度量学习阶段由光谱像素训练,并在条件随机场阶段利用半手工空间特征。这在一定程度上解决了训练数据不足的问题。两个真实的高光谱图像的实验表明,该方法的分类精度和计算成本方面的优势。
2019-07-16 cs.CV cs.LG stat.ML
Conditional Prediction ROC Bands for Graph Classification
Center for Data Science(数据科学中心);New York University(纽约大学);University of Michigan - Ann Arbor(密歇根大学安娜堡分校);Stern School of Business(斯特恩商学院);University of California, Riverside(加州大学河滨分校)
本文提出条件预测ROC(CP-ROC)带,为图分类中的ROC曲线提供不确定性量化,并通过数据驱动的局部校准集在分布偏移下保证统计覆盖率,显著提升TGNN等模型的预测可靠性。
2024-10-20 cs.LG stat.ML
Class-Weighted Classification: Trade-offs and Robust Approaches
Carnegie Mellon University(卡内基梅隆大学)
我们解决不平衡的分类,其中一个标签可能具有较低的边际概率相对于其他标签的问题,根据正确的类加权损失。首先,我们研究了插件分类器的预期超额加权风险的收敛速度,其中插件分类器和风险的权重可能不同。这会导致不可约的错误,这些错误不会收敛到加权贝叶斯风险,这促使我们考虑稳健风险。我们定义了一个强大的风险,最大限度地减少风险超过一组权重,并显示这个问题的超额风险界限。最后,我们表明,特定的选择的权重集导致一个特殊的情况下,条件风险价值(CVaR)从随机规划,我们称之为标签条件风险价值(LCVaR)。此外,我们推广这种加权,以获得一个新的强大的风险问题,我们称之为标签异质条件风险值(LHCVaR)。最后,我们实证证明了LCVaR和LHCVaR改善类条件风险的有效性。
2020-05-26 cs.LG stat.ML
Calibrating conditional risk
Imperial College Business School(帝国理工学院商学院);Department of Statistics and Operations Research(统计与运筹学系);Imperial College London(伦敦帝国理工学院);UNC-Chapel Hill(北卡罗来纳大学教堂山分校)
本文研究了校准条件风险问题,揭示其与标准回归任务的等价性,并在分类和回归中提出理论分析与实验验证,为不确定性量化提供新视角。
2026-04-22 cs.LG stat.ML
Informative Gene Selection for Microarray Classification via Adaptive Elastic Net with Conditional Mutual Information
Virginia State University(弗吉尼亚州立大学);Henan Normal University(河南师范大学)
由于弹性网具有在弱正则化条件下获得更好性能的优点,在统计学、机器学习、生物信息学等领域引起了广泛的关注。特别地,弹性网的变型,自适应弹性网(AEN),集成了自适应分组效应。在本文中,我们的目标是开发一种新的算法:自适应弹性网与条件互信息(AEN-CMI),进一步提高AEN将条件互信息到基因选择过程。我们应用这种新算法来筛选两种癌症的重要基因:结肠癌和白血病。与支持向量机、经典弹性网和自适应弹性网等算法相比,AEN-CMI算法以最少的基因数获得了最好的分类性能。
2018-06-13 cs.IT cs.LG math.IT
Sequence Classification with Neural Conditional Random Fields
Naval Research Laboratory(海军研究实验室)
监测人类活动的传感器设备的激增产生了大量需要解释和分类的时间序列。此外,复杂的行为检测要求多传感器融合算法的个性化。条件随机场(CRF)通常用于结构化预测任务,例如自然语言处理中的词性标注。条件概率指导序列中每个标签/标记的选择,将结构化预测任务与序列分类任务合并,其中不同的模型提供相同序列的不同分类。本文的主张是,CRF模型还提供了判别模型来区分不同类型的序列,而不管如果我们校准序列的类成员估计所获得的标签的准确性。我们介绍和比较不同的神经网络为基础的线性链CRF,我们提出了两个复杂的序列分类和结构化预测任务的实验,以支持这一主张。
2016-02-05 cs.LG
Classification Accuracy Score for Conditional Generative Models
DeepMind(深度思维)
图像的深度生成模型(DGMs)现在已经足够成熟,它们可以生成近乎真实感的样本,并获得类似于Frechet Inception Distance(FID)等几何学数据分布的分数。这些结果,特别是在ImageNet这样的大规模数据集上,表明DGM正在感知有意义的空间中学习数据分布,并可用于下游任务。为了测试后一个假设,我们使用来自许多模型类的类条件生成模型-变分自编码器,自回归模型和生成对抗网络(GANs)-来推断真实数据的类标签。我们通过仅使用合成数据训练图像分类器并使用分类器来预测真实数据上的标签来执行此推断。这项任务的性能,我们称之为分类准确度得分(CAS),揭示了一些传统指标无法识别的令人惊讶的结果,并构成了我们的贡献。首先,当使用最先进的GAN(BigGAN-deep)时,与原始数据相比,Top-1和Top-5的准确度分别下降了27.9%和41.6%;来自其他模型类的条件生成模型,如矢量量化变分自编码器(VQ-VAE-2)和分层自回归模型(HAM),在此基准测试中的表现大大优于GANs。其次,CAS自动表面生成模型未能捕获数据分布的特定类,并且以前在文献中是未知的。第三,我们发现传统的GAN指标,如初始得分(IS)和FID既不能预测CAS,也不能用于评估非GAN模型。此外,为了便于更好地诊断生成模型,我们开源了所提出的度量。
2019-10-28 cs.LG stat.ML
Audited Conformal Prediction for Classification under Unknown Distribution Shift
Department of Data Sciences and Operations, University of Southern California(数据科学与运营系,南加州大学);AI Foundations, Capital One(Capital One人工智能基础);Department of Data Sciences and Operations, Thomas Lord Department of Computer Science, University of Southern California(数据科学与运营系,托马斯·劳德计算机科学系,南加州大学)
提出审计共形预测方法,利用目标群体小标注数据训练审计模型识别旧模型可能失败的输入,结合共形预测框架在保证边际覆盖的同时提高条件覆盖,并提供理论保证。
2026-06-16 cs.LG stat.ML
Models and Selection Criteria for Regression and Classification
Microsoft Research(微软研究院)
当进行回归或分类时,我们感兴趣的是给定一组输入变量X的结果或类变量Y的条件概率分布。我们考虑贝叶斯模型来完成这项任务。特别是,我们研究了一类特殊的模型,我们称之为贝叶斯回归/分类(BRC)模型,它可以分解为独立的条件(y| x)和输入(x)模型。这些模型很方便,因为条件模型(我们关心的完整模型的一部分)可以自己分析。我们研究了将任意贝叶斯模型转换为BRC模型的做法,并认为这种做法通常是不合适的,因为它忽略了可能对学习很重要的先验知识。此外,我们还研究了从数据中学习模型的贝叶斯方法。我们讨论了适用于抑制/分类的贝叶斯模型选择的两个标准:Spiegelhalter等人(1993)和Buntine(1993)描述的一个。我们使用Dawid(1984)的前提框架对比了这两个准则,并给出了这两个准则一致的充分条件。
2013-02-06 cs.LG stat.ML
Belted and Ensembled Neural Network for Linear and Nonlinear Sufficient Dimension Reduction
Department of Statistics, The Pennsylvania State University(统计学系,宾夕法尼亚州立大学)
本文提出带状集成神经网络(BENN)统一框架,通过窄带层和响应变换集成实现线性和非线性充分降维,兼顾条件分布与均值,计算高效,克服传统方法矩阵求逆瓶颈。
2025-06-20 cs.LG math.ST stat.ML
Masked Conditional Neural Networks for Audio Classification
Department of Electronic Engineering University of York(约克大学电子工程系);University of York(约克大学)
本文提出了用于时间信号识别的条件神经网络(CLNN)和掩蔽条件神经网络(MCLNN)。CLNN考虑到声音信号的时间性质,MCLNN通过二进制掩码在CLNN上扩展,以保留特征的空间局部性,并允许自动探索特征组合,类似于手工制作识别任务的最相关特征。MCLNN在GTZAN和ISMIR2004音乐数据集上实现了具有竞争力的识别精度,超过了几种最先进的基于神经网络的架构和手工制作的方法。
2019-03-23 cs.LG cs.SD eess.AS
Gaussian Conditional Random Fields for Classification
Faculty of Organizational Sciences, University of Belgrade(贝尔格莱德大学组织科学学院);Faculty of Mathematics, University of Belgrade(贝尔格莱德大学数学学院)
高斯条件随机场(Gaussian Conditional Random Fields,GCRF)是一种常用的连续输出结构化模型,它使用多个非结构化预测因子来形成其特征,同时利用输出之间的依赖结构,这是由相似性度量提供的。提出了一种用于结构化二元分类的高斯条件随机场模型。该模型适用于无向图的分类问题,难以为标准分类CRF。GCRFBC的模型表示扩展的潜变量,产生一些有吸引力的属性。由于GCRF的潜在结构,该模型变得易于处理,高效,并开放以前应用于GCRF回归模型的改进。此外,该模型允许减少噪声,如果结构直接定义在离散输出之间,则可能出现噪声。此外,提出了两种不同形式的算法:GCRFBCb(GCRGBC -贝叶斯)和GCRFBCnb(GCRFBC -非贝叶斯)。在贝叶斯GCRFBCb变体中,使用扩展的sigmoid函数局部变分逼近方法求解经验贝叶斯,而在GCRFBCnb变体中,隐变量的MAP值是学习和推理的基础。GCRFCB中的推论由一维积分的Newton-Cotes公式求解。这两个模型进行评估的合成数据和现实世界的数据。结果表明,这两种模型实现更好的预测性能比非结构化的预测。此外,计算和内存的复杂性进行了评估。详细讨论了GCRFBCb和GCRFBCnb的优缺点。
2019-01-31 cs.AI cs.LG stat.ML
Task-Prior Conditional Variational Auto-Encoder for Few-Shot Image Classification
在Few-Shot图像分类的场景中,Transductive方法总是优于归纳方法。然而,现有的Few-Shot方法包含一个潜在的条件:每个类中的样本数是相同的,这可能是不现实的。为了应对这些情况下,每个类的查询镜头是不均匀的(即不均匀的少样本学习),我们提出了一个任务先验条件变分自动编码器模型TP-VAE,条件支持镜头和任务级先验正则化的约束。我们的方法在更具挑战性的非均匀Few-Shot场景中获得了高性能。此外,我们的方法在广泛的标准Few-Shot图像分类场景中优于现有技术。其中,单发命中率提高了约3%。
2022-05-30 cs.CV cs.LG eess.IV
Advocacy Learning: Learning through Competition and Class-Conditional Representations
University of Michigan(密歇根大学)
我们介绍倡导学习,一种新的监督训练计划的注意力为基础的分类问题。倡导学习依赖于一个由两个连接的网络组成的框架:1)$N$倡导者(每个类一个),每个倡导者以注意力地图的形式输出一个参数,2)一个法官,根据这些参数预测类标签。每个倡导者产生一个类条件表示,其目标是说服法官,输入的例子属于他们的类,即使输入属于不同的类。应用于几个不同的分类任务,我们表明,倡导学习可以导致分类精度在相同的监督基线小的改进。通过一系列的后续实验,我们分析了这种类条件表征何时以及如何提高区分性能。虽然有点违反直觉,但一个框架,其中子网络被训练以竞争性地提供支持其类的证据,在许多情况下表现与标准学习方法相当。这为进一步探索监督学习中的竞争和类条件表示提供了基础。
2019-08-07 cs.CV cs.LG stat.ML
Conditional Adversarial Networks for Multi-Domain Text Classification
Carleton University(卡尔顿大学);University of Ottawa(渥太华大学)
在本文中,我们提出了条件对抗网络(CAN),这是一个探索共享特征和标签预测之间关系的框架,用于多域文本分类(MDTC)。该方法引入了一个条件域变量来同时对共享特征表示和类感知信息中的域变量进行建模,并采用熵调节来保证共享特征的可传递性。我们提供的CAN框架的理论分析,表明CAN的目标是相当于最大限度地减少共享功能和标签预测的多个联合分布之间的总分歧。因此,CAN是一个理论上合理的对抗网络,可以区分多种分布。两个MDTC基准测试结果表明,CAN优于以前的方法。进一步的实验表明,CAN具有很好的能力,推广学习到未知领域的知识。
2021-02-19 cs.CL cs.LG
Conditional Supervised Contrastive Learning for Fair Text Classification
University of Virginia(弗吉尼亚大学);UC Berkeley(加州大学伯克利分校);UCLA(加州大学洛杉矶分校);UIUC(伊利诺伊大学厄巴纳-香槟分校)
对比表示学习由于其在图像和序列数据表示学习方面的优越性能而受到广泛关注。然而,学习的表示可能会导致下游任务的性能差异,例如在毒性评论分类中代表性不足的群体的沉默增加。鉴于这一挑战,在这项工作中,我们研究了通过对比学习学习满足公平性概念的公平表示,即文本分类的均衡化几率。具体来说,我们首先从理论上分析了公平约束的学习表示和条件监督对比目标之间的联系,然后提出使用条件监督对比目标来学习文本分类的公平表示。我们在两个文本数据集上进行实验,以证明我们的方法在平衡现有文本分类基线之间的任务性能和偏见缓解之间的权衡方面的有效性。此外,我们还表明,所提出的方法是稳定的,在不同的超参数设置。
2022-10-31 cs.AI cs.CL cs.CY
Marginal Replay vs Conditional Replay for Continual Learning
ENSTA ParisTech(巴黎高等先进技术学院);INRIA(法国国家信息与自动化研究所);Thales(泰雷兹集团);Fulda University of Applied Sciences(富尔达应用科学大学)
我们提出了一种新的基于重放的连续分类学习方法,我们称之为“条件重放”,它通过从以类为条件的分布中采样来生成样本和标签。我们将条件重放与另一种基于重放的持续学习范式(我们称之为“边际重放”)进行比较,后者独立于其类生成样本,并在单独的步骤中分配标签。条件重放的主要改进是不需要推断生成样本的标签,这减少了复杂的连续分类学习任务中的错误容限。我们证明了这种方法的有效性,使用新的和标准的基准构建从MNIST和FashionMNIST数据,并比较正则化为基础的\textit{elastic weight consolidation}(EWC)的方法。
2019-07-01 cs.AI cs.LG stat.ML
Masked Conditional Neural Networks for Environmental Sound Classification
University of York(约克大学)
条件神经网络(CLNN)利用声谱图中表示的声音信号的时间序列的性质,并且其变体掩蔽条件神经网络(MCLNN)通过使用二进制掩码在网络的链路上嵌入滤波器组样稀疏性来诱导网络在频带中学习。此外,掩蔽同时自动化不同特征组合的探索,类似于手工制作用于识别任务的特征的最佳组合。我们使用Urbansound8k环境声音数据集评估了MCLNN的性能。此外,我们提出了一个手动记录的声音为铁路和公路交通,YorNoise,调查机器产生的声音具有低频成分之间的混淆率。MCLNN在没有增强的情况下取得了有竞争力的结果,并使用了12%的可训练参数,这些参数是基于Urbansound 8k上最先进的卷积神经网络的等效模型所使用的。我们使用YorNoise扩展了Urbansound8k数据集,实验表明常见的音调属性会影响分类性能。
2019-04-27 cs.LG cs.SD eess.AS
Towards Anytime Classification in Early-Exit Architectures by Enforcing Conditional Monotonicity
UvA-Bosch Delta Lab(阿姆斯特丹大学-博世三角洲实验室);University of Amsterdam(阿姆斯特丹大学);University of Cambridge(剑桥大学);Bosch Center for AI(博世人工智能中心);University of Tübingen(蒂宾根大学)
本文针对早退网络在随时计算中预测质量不随计算时间单调提升的问题,提出基于专家乘积的事后修改方法,赋予模型条件单调性,在保持平均准确率的同时实现真正的随时预测。
2023-10-29 cs.AI cs.LG stat.ML
Scalable conditional deep inverse Rosenblatt transports using tensor-trains and gradient-based dimension reduction
Monash University(莫纳什大学);University of Bath(巴斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院)
我们提出了一种新的离线-在线方法,以减轻计算负担的表征后验随机变量的统计学习。在离线阶段,所提出的方法学习的联合规律的参数随机变量和可观察的随机变量的张量列车(TT)格式。在在线阶段,所得到的保序条件传输可以实时地描述新观测数据下的后验随机变量。与现有的归一化流技术相比,该方法依赖于函数逼近,并进行了全面的性能分析。函数近似的观点也使我们能够进一步扩展的能力,运输地图在具有挑战性的问题与高维观测和高维参数。一方面,我们提出了新的算法来重新排序和/或重新参数化变量,以提高TT的近似能力。另一方面,我们将基于TT的传输图和参数重新排序/重新参数化集成到分层组合中,以进一步提高所得到的传输图的性能。我们证明了所提出的方法在常微分方程(ODE)和偏微分方程(PDE)的各种统计学习任务的效率。
2023-03-03 cs.LG stat.CO stat.ME
MAGIC-Flow: Multiscale Adaptive Conditional Flows for Generation and Interpretable Classification
MOX, Department of Mathematics Politecnico di Milano(米兰理工大学数学系MOX部门)
MAGIC-Flow提出一种条件多尺度归一化流架构,在单一框架内实现生成与分类,通过可逆双射保证精确似然计算,支持可控合成与可解释推理,在医学影像等数据有限场景下提升生成质量与分类性能。
2025-10-24 cs.CV cs.LG eess.IV
Conditional Learning of Fair Representations
Vector Institute(向量研究所);Carnegie Mellon University(卡内基梅隆大学);University of Cambridge(剑桥大学);Microsoft Research(微软研究院)
我们提出了一种新的算法,学习公平的表示,可以同时减轻两个概念的差异在不同的人口分组的分类设置。我们的算法设计的两个关键组成部分是平衡的出错率和条件对齐的表示。我们展示了这两个组成部分如何有助于确保准确性平价和均衡的假阳性和假阴性率,而不影响人口统计学平价。此外,我们还证明了在理论和两个现实世界的实验,该算法导致一个更好的效用公平的平衡数据集的权衡与现有的算法相比,学习公平表示分类。
2020-02-15 cs.AI cs.LG stat.ML
Estimation and Applications of Quantiles in Deep Binary Classification
PES University(PES大学);MLSquare;Birla Institute of Technology and Science(比特拉海科技与科学学院)
分位数回归是计量经济学和统计学中广泛使用的一种基于校验损失的推理范式。条件分位数提供了一个强大的替代经典的条件手段,也允许不确定性量化的预测,而很少的分布假设。我们考虑在二进制分类设置中的校验丢失的模拟。我们假设条件分位数是可以通过深度神经网络(DNN)学习的平滑函数。随后,我们计算了所提出的损失的Lipschitz常数,并证明了它的曲率是有界的,在一定的正则性条件下。因此,最近关于出错率和DNN架构复杂度的结果变得直接适用。我们量化的预测区间的类概率的不确定性,并制定个性化的置信度分数,可用于决定是否预测是可靠的或不得分时。通过在数据集级别聚合置信度得分,我们提供了两个额外的度量,模型置信度和留存率,以补充广泛使用的分类器摘要。我们还研究了所提出的非参数二进制分位数分类框架的鲁棒性,并演示了如何使用平滑的条件分位数获得条件分布的几个单变量汇总统计量,特别是条件均值,允许使用Shapley等解释技术来解释均值预测。最后,我们证明了一个有效的训练制度,这种损失的基础上随机梯度下降与Lipschitz自适应学习率(LALR)。
2021-02-09 cs.LG
Class-Conditional Distribution Balancing for Group Robust Classification
Dalian University of Technology(大连理工大学)
本文提出了一种基于类别条件分布平衡的鲁棒分类方法,通过样本重新加权策略消除对偏见注释的依赖,有效消除虚假相关性,提升模型在现实世界中的泛化能力。
2025-12-01 cs.CV cs.LG
Generative Adversarial Networks and Conditional Random Fields for Hyperspectral Image Classification
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所);Xiamen University(厦门大学)
在本文中,我们使用基于生成对抗网络和条件随机场(GAN-CRF)的框架来解决高光谱图像(HSI)分类任务,该框架集成了半监督深度学习和概率图形模型,并做出了三个贡献。首先,我们设计了四种类型的卷积层和转置卷积层,这些卷积层考虑了HSI的特征,以帮助从有限数量的标记HSI样本中提取区分特征。其次,我们构建了半监督GANs,通过向它们添加标签来缓解训练样本的不足,并通过对抗训练隐式地重建真实的HSI数据分布。第三,我们在随机变量之上构建密集条件随机场(CRF),这些随机变量被初始化为训练GANs的softmax预测,并以HSI为条件来细化分类图。这种半监督框架通过博弈论方法利用了判别模型和生成模型的优点。此外,尽管我们使用了来自两个最具挑战性和广泛研究的数据集的非常少量的标记训练HSI样本,但实验结果表明,频谱空间GAN-CRF(SS-GAN-CRF)模型在半监督HSI分类中达到了最高的准确性。
2019-05-12 cs.CV cs.LG eess.IV
InClass Nets: Independent Classifier Networks for Nonparametric Estimation of Conditional Independence Mixture Models and Unsupervised Classification
University of Florida(佛罗里达大学)
我们引入了一种新的基于机器学习的方法,我们称之为独立分类器网络(InClass网)技术,条件独立混合模型(CIMM)的非参数估计。我们将CIMM的估计视为多类分类问题,因为将数据集划分为不同类别自然会导致混合模型的估计。InClass网络由多个独立的分类器神经网络(NN)组成,每个网络处理CIMM的一个变量。通过使用合适的成本函数同时训练各个NN来执行CIMM对数据的拟合。神经网络逼近任意函数的能力使得我们的技术是非参数的。进一步利用NN的能力,我们允许模型的条件独立变量是单独的高维,这是我们的技术相对于现有的非机器学习方法的主要优势。我们得到了一些新的结果的非参数可识别的二元CIMM的形式的一个必要条件和一个(不同的)充分条件的二元CIMM是可识别的。我们提供了一个名为RainDancesVI的Python包,并通过几个示例验证了我们的InClass网技术。我们的方法在无监督和半监督分类问题中也有应用。
2020-08-31 cs.LG econ.EM hep-ph
Automatic Classification of Music Genre using Masked Conditional Neural Networks
University of York(约克大学)
用于声音识别的基于神经网络的体系结构通常是从其他应用领域(例如图像识别)改编的,其可能不利用信号的时频表示。条件神经网络(CLNN)及其扩展的掩蔽条件神经网络(MCLNN)被设计用于多维时间信号识别。CLNN在帧的窗口上进行训练以保持帧间关系,并且MCLNN在网络的链接上强制执行系统稀疏性,这模仿了类似滤波器组的行为。掩蔽操作诱导网络在频带中学习,这降低了网络对时频表示中的频移的敏感性。此外,掩模允许探索一系列特征组合,同时类似于手动手工制作用于识别任务的最佳特征集合。与几种手工制作的尝试相比,MCLNN在舞厅音乐数据集上取得了有竞争力的性能,并且优于基于最先进的卷积神经网络的模型。
2019-04-28 cs.LG cs.SD eess.AS
Fruit Quality and Defect Image Classification with Conditional GAN Data Augmentation
Aston University(阿斯顿大学)
当代人工智能技术允许使用计算机视觉来区分好的作物和坏的作物,为从不需要的水果中选择健康的水果提供了一个步骤,例如那些发霉或坏疽的水果。该领域最先进的工作报告了小数据集(<1000张图像)的高精度结果,这些数据集并不代表真实世界使用的人群。本研究的目标是通过数据增强来提高泛化能力,并通过模型修剪来减少过度拟合和能源使用,从而进一步实现现实世界的使用。在这项工作中,我们提出了一个机器学习管道,它结合了微调,迁移学习和基于生成模型的训练数据增强的思想,以提高水果质量图像分类。使用公开的2690个图像的数据集执行线性网络拓扑搜索以调整VGG16柠檬质量分类模型。我们发现,附加一个4096神经元完全连接层的卷积层导致图像分类的准确率为83.77%。然后,我们在2000个epoch的训练数据上训练一个条件生成对抗网络,它学会生成相对真实的图像。对在真实照片上训练的模型的梯度CAM分析表明,合成图像可以表现出可分类的特征,如形状、霉菌和坏疽。然后通过使用合成图像增强训练来实现更高的图像分类准确率88.75%,认为条件生成对抗网络有能力产生新数据以缓解数据稀缺问题。最后,通过多项式衰减进行模型修剪,我们发现条件GAN增强分类网络在压缩到原始大小的50%时可以保持81.16%的分类准确率。
2021-04-12 cs.CV cs.LG eess.IV
Conformal Prediction for Long-Tailed Classification
University of California, Berkeley(加州大学伯克利分校);University of Montpellier(蒙彼利埃大学);Inria(法国国家信息与自动化技术研究院);CNRS(法国国家科学研究中心)
本文提出了一种改进的符合预测方法,通过 prevalence-adjusted softmax 和线性插值技术,在长尾分类中平衡预测集大小和类别覆盖。
2026-02-26 cs.CV cs.LG stat.ME
CARD: Classification and Regression Diffusion Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校);McCombs School of Business(麦库姆斯商学院)
在给定其协变量$\boldsymbol x$的情况下,学习连续或分类响应变量$\boldsymbol y$的分布是统计学和机器学习中的基本问题。基于深度神经网络的监督学习算法在预测给定$\boldsymbol x$的$\boldsymbol y$的均值方面取得了很大进展,但它们经常因无法准确捕捉其预测的不确定性而受到批评。在本文中,我们介绍了分类和回归扩散(CARD)模型,它结合了去噪扩散为基础的条件生成模型和预训练的条件均值估计,以准确地预测$\boldsymbol y$给定$\boldsymbol x$的分布。我们展示了杰出的能力,CARD在条件分布预测与玩具的例子和现实世界的数据集,实验结果表明,CARD在一般优于国家的最先进的方法,包括贝叶斯神经网络的设计用于不确定性估计,特别是当条件分布的$\boldsymbol y$给定$\boldsymbol x$是多模态的。此外,我们利用生成模型输出的随机性,在分类任务的实例级别上获得更细的模型置信度评估粒度。
2022-12-06 cs.LG stat.CO stat.ME
Expert-Guided Class-Conditional Goodness-of-Fit Scores for Interpretable Classification with Informative Missingness
Department of Statistics and Operations Research, School of Mathematical Sciences, Tel Aviv University(统计与运筹学系,数学科学学院,特拉维夫大学);Israel NDC, Soreq Nuclear Research Center(以色列NDC,Soreq核研究中心)
本文提出一种专家引导的类条件模型,用于构建可解释的良好适应度特征,应用于地震监测,通过减少专家分析工作量提升透明度。
2026-10-28 cs.LG stat.AP stat.ML
Joint Flow Matching: Consistent Generative and Discriminative Inference from a Shared Flow
研究提出联合流匹配(JFM)训练框架,解决标准流匹配在条件推理上的问题,通过为变量分配相反角色产生一致联合分布,用于联合分类和生成,在条件数据集验证,有竞争力准确率且无需事后校准,能生成与分类器一致的图像。
2026-10-30 cs.LG
Conditional Autoregressors are Interpretable Classifiers
Australian National University(澳大利亚国立大学)
我们探索使用类条件自回归(CA)模型进行图像分类MNIST-10。自回归模型通过组合来自每个单独特征的概率来将概率分配给整个输入;因此CA所做的分类决策可以很容易地分解为每个输入特征的贡献。也就是说,CA本质上是局部可解释的。我们的实验表明,与标准分类器相比,天真地训练CA的准确率要差得多,但这是由于过度拟合而不是缺乏表达能力。使用来自标准分类器的知识蒸馏,可以训练学生CA以匹配教师的表现,同时仍然是可解释的。
2022-03-31 cs.LG
Surrogate Learning - An Approach for Semi-Supervised Classification
Thomson Reuters Research and Development(汤森路透研发部)
我们认为学习分类器的任务,从特征空间$\mathcal{X}$的类集$\mathcal{Y} = \{0, 1\}$,当功能可以划分成类条件独立的功能集$\mathcal{X}_1$和$\mathcal{X}_2$。我们展示了一个令人惊讶的事实,即类条件独立性可以用来表示原始的学习任务:1)学习从$\mathcal{X}_2$到$\mathcal{X}_1$的分类器; 2)学习特征集$\mathcal{X}_1$的类条件分布。这一事实可以用于半监督学习,因为前一个任务可以完全从未标记的样本中完成。我们目前的实验评估的想法在两个现实世界中的应用。
2008-09-26 cs.LG
Feature Dimensionality Reduction for Video Affect Classification: A Comparative Study
Wuhan University(武汉大学);Huazhong University of Science and Technology(华中科技大学)
情感计算已经成为人机交互领域的一个重要研究方向。然而,影响是主观的、微妙的和不确定的。因此,与我们可以提取的可能特征的数量相比,很难获得大量的标记训练样本。因此,降维在情感计算中至关重要。本文介绍了我们的初步研究降维的影响分类。介绍并比较了五种常用的降维方法。在DEAP数据集上的实验表明,没有一种方法可以普遍优于其他方法,直接使用原始特征进行分类可能并不总是一个坏的选择。
2018-08-08 cs.CV cs.HC cs.LG
Training and Inference Dynamics of PLDR-LLMs: Row-Map Collapse, Renormalization, and Predictive Reduction
本研究提出PLDR-LLM训练与推理的统一理论,通过精确恒等式、预测重整化和算子约简分析行映射动力学,实验支持有限条件预测并揭示观测者依赖性。
2026-11-04 cs.CL cs.LG
A Reductions Approach to Fair Classification
Microsoft Research(微软研究院);Yahoo! Research(雅虎研究院)
我们提出了一个系统的方法来实现公平的二元分类设置。虽然我们专注于两个著名的定量公平的定义,我们的方法包括许多其他以前研究的定义作为特殊情况。其关键思想是减少公平分类的成本敏感的分类问题,其解决方案产生一个随机的分类与最低(经验)的错误受到所需的约束序列。我们介绍了两个减少,工作的任何代表性的成本敏感的分类器和比较有利的各种数据集上的先前基线,同时克服了他们的几个缺点。
2018-07-16 cs.LG
Adversarially Robust Classification by Conditional Generative Model Inversion
University of Utah(犹他大学)
大多数对抗攻击防御方法都依赖于模糊梯度。这些方法在抵御基于梯度的攻击方面是成功的;然而,它们很容易被不使用梯度的攻击或近似并使用校正梯度的攻击所规避。存在不混淆梯度的防御方法,例如对抗训练,但这些方法通常会对攻击进行假设,例如攻击的大小。我们提出了一个分类模型,不混淆梯度,是强大的建设,而无需假设先验知识的攻击。我们的方法将分类转换为一个优化问题,在这个问题中,我们“反转”一个在未受干扰的自然图像上训练的条件生成器,以找到生成与查询图像最接近的样本的类。我们假设针对对抗攻击的脆弱性的潜在来源是前馈分类器的高到低维性质,其允许对手在输入空间中找到导致输出空间中的大变化的小扰动。另一方面,生成模型通常是低维到高维的映射。虽然该方法与Defense-GAN相关,但在我们的模型中使用条件生成模型和反演而不是前馈分类器是一个关键的区别。与Defense-GAN不同,Defense-GAN被证明可以生成容易规避的混淆梯度,我们证明了我们的方法不会混淆梯度。我们证明了我们的模型对黑盒攻击非常鲁棒,并且与自然训练的前馈分类器相比,对白盒攻击的鲁棒性有所提高。
2022-01-12 cs.CV cs.LG
Sequence-based Sleep Stage Classification using Conditional Neural Fields
Universitas Indonesia(印度尼西亚大学);Universitas Padjadjaran(帕查查兰大学)
来自多导睡眠图数据库的睡眠信号本质上是序列。然而,常用的分析和分类方法忽略了这一事实,并将睡眠信号视为非序列数据。将睡眠信号视为序列,本文比较了两种功能强大的无监督特征提取器和三种基于序列的分类器在10倍交叉验证后的准确性和计算(训练和测试)时间。比较的特征提取器是深度置信网络(DBN)和模糊C均值(FCM)聚类。而比较的基于序列的分类器是隐马尔可夫模型(HMM)、条件随机场(CRF)及其变体,即,隐藏状态CRF(HCRF)和潜在动态CRF(LDCRF);以及条件神经场(CNF)及其变体(LDCNF)。在这项研究中,我们使用了两个数据集。第一个数据集是可从互联网下载的开放(公共)多导睡眠数据集,而第二个数据集是我们的多导睡眠数据集(也可下载)。对于第一个数据集,FCM和CNF的组合以相对较短的训练时间(0.33小时)给出了最高的准确率(96.75%)。对于第二个数据集,DBN和CRF的组合给出了99.96%的准确度,但具有1.02小时的训练时间,而DBN和CNF的组合给出了略低的准确度(99.69%),但也具有更少的计算时间(0.89小时)。
2016-10-06 cs.LG cs.NE
Conditional Wasserstein GAN-based Oversampling of Tabular Data for Imbalanced Learning
类不平衡是监督学习中的一个常见问题,它影响了分类模型的预测性能。流行的对策包括对少数族裔进行过度抽样。像SMOTE这样的标准方法依赖于寻找最近邻和线性插值,这在高维复杂数据分布的情况下是有问题的。生成对抗网络(GANs)已被提出作为生成人工少数样本的替代方法,因为它们可以对复杂分布进行建模。然而,先前对基于GAN的过采样的研究并没有结合文献中关于使用GANs生成现实表格数据的最新进展。以前的研究也集中在数值变量,而分类功能是常见的许多商业应用的分类方法,如信用评分。该文提出了一种基于条件Wasserstein GAN的过采样方法,该方法能够有效地对包含数值和分类变量的表格数据集进行建模,并通过辅助分类器损失来关注下游分类任务。我们对我们的方法进行基准测试,对标准的过采样方法和七个真实世界的数据集上的不平衡基线。实证结果证明了基于GAN的过采样的竞争力。
2020-08-20 cs.LG
Conditional Bures Metric for Domain Adaptation
Pazhou Lab(琶洲实验室)
无监督领域自适应(UDA)作为面向分类的迁移中的一个重要问题,近年来受到了广泛的关注。以往的UDA方法假设不同领域的边缘分布发生了移动,而忽略了标签分布中的判别信息。这会导致实际应用中的分类性能退化。在这项工作中,我们专注于条件分布偏移问题,这是目前的条件不变模型非常关注。我们的目标是寻求一个核协方差嵌入条件分布,这仍然是尚未探索。在理论上,我们提出了条件核Bures(CKB)度量来表征条件分布差异,并在不引入隐式核特征映射的情况下导出了CKB度量的经验估计。它提供了一个可解释的方法来理解知识转移机制。建立的经验估计的相合性理论为收敛性提供了理论保证。提出了一种条件分布匹配网络来学习UDA的条件不变特征和判别特征。大量的实验和分析表明,我们提出的模型的优越性。
2021-07-31 cs.CV cs.LG
Conditional Mutual Information Constrained Deep Learning for Classification
University of Waterloo(滑铁卢大学);University of British Columbia(不列颠哥伦比亚大学)
本文提出条件互信息约束深度学习(CMIC-DL),通过在NCMI约束下最小化交叉熵并设计交替学习算法,提升分类DNN的类内集中度、类间分离度、准确率及对抗鲁棒性。
2023-09-17 cs.AI cs.LG
Noise Contrastive Estimation and Negative Sampling for Conditional Models: Consistency and Statistical Efficiency
University of Pennsylvania(宾夕法尼亚大学);Google AI Language(谷歌人工智能语言团队);Columbia University(哥伦比亚大学)
噪声对比估计(NCE)是对数线性模型的一种强大的参数估计方法,它避免了在每个训练步骤中计算配分函数或其导数,这在许多情况下是一个计算量很大的步骤。它与现在广泛用于NLP的负采样方法密切相关。本文考虑了条件模型的基于NCE的估计。条件模型在实践中经常遇到,但是在这种情况下,还没有一个严格的理论分析NCE,我们将认为有微妙的,但重要的问题时,一般NCE的条件的情况。特别是,我们分析了条件模型的NCE的两个变体:一个基于分类目标,另一个基于排名目标。我们表明,排名为基础的变体NCE提供一致的参数估计比基于分类的方法在较弱的假设下,我们分析了排名为基础的和基于分类的变体NCE的统计效率,最后,我们描述了实验合成数据和语言建模显示的有效性和权衡这两种方法。
2018-09-06 cs.CL cs.LG stat.ME
Conditional neural field for spatial dimension reduction of turbulence data: a comparison study
Sibley School of Mechanical and Aerospace Engineering, Cornell University(科尼尔大学机械与航空航天工程学院);Department of Aerospace and Mechanical Engineering, University of Notre Dame(诺特难大学航空航天与机械工程系)
本研究针对湍流数据空间降维问题,对比了三种条件机制的条件神经场与传统方法,提出域分解CNF,明确了不同场景下的最优方案,为湍流压缩重建的方法选择提供了物理感知的严谨依据。
2025-10-29 cs.LG physics.flu-dyn
Classification-based RNN machine translation using GRUs
我们报告的结果,我们的分类为基础的机器翻译模型,建立在一个循环神经网络的框架,使用门控循环单元。与试图最大化句子对句子的整体条件对数概率的其他RNN模型不同,我们的模型侧重于估计给定输入序列的下一个单词的条件概率的分类方法。人们希望这种使用GRU的简单方法可以与更复杂的RNN模型相媲美,但这种实现的成就是有限的,这种分类方法还有很大的改进空间。
2017-03-22 cs.LG cs.NE
Regularized Conditional Alignment for Multi-Domain Text Classification
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院)
针对多领域文本分类中对抗对齐易错位、标注数据不足导致判别力弱的问题,提出正则化条件对齐方法,结合半监督约束提升特征判别性与模型鲁棒性,性能超越现有最优技术。
2023-12-18 cs.CL cs.CR cs.LG