Generalized Resubstitution for Classification Error Estimation
Texas A&M University(德克萨斯农工大学)
我们提出了家庭的广义再替代分类器误差估计的基础上的经验措施。这些误差估计是计算效率高,不需要重新训练的分类器。简单的再替换误差估计对应于选择标准的经验测量。其他选择的经验措施导致支持,后验概率,高斯过程,贝叶斯误差估计,此外,我们提出支持后验概率误差估计作为一个新的家庭的广义resubstitution估计。在两类的情况下,我们证明了广义再替换估计是一致的和渐近无偏的,无论分布的功能和标签,如果相应的广义经验措施一致收敛到标准的经验措施和分类规则有一个有限的VC维。广义重替换估计量通常具有超参数,可以调整这些超参数以控制其偏差和方差,这增加了灵活性。用合成数据训练的各种分类规则的数值实验评估了几种有代表性的广义重替换误差估计的有限样本性能。此外,使用LeNet-5卷积神经网络和MNIST数据集进行的图像分类实验结果证明了这类误差估计器在计算机视觉深度学习中的潜力。
2021-10-23 cs.LG stat.ML
Plugin estimators for selective classification with out-of-distribution detection
Google Research(谷歌研究院)
针对结合分布外检测的选择性分类(SCOD)理论基础薄弱、现有方法多为启发式的问题,提出有理论依据的新型插件估计器,推广现有方法并取得有竞争力的性能。
2023-07-24 cs.LG
On the Effect of Suboptimal Estimation of Mutual Information in Feature Selection and Classification
Virginia Tech(弗吉尼亚理工大学)
本文介绍了一个新的属性的统计关联强度的估计,这有助于描述如何以及一个估计将执行的情况下,连续和离散随机变量之间的依赖关系需要排序。新的属性,称为估计响应曲线,是很容易计算,并提供了一个边缘分布不可知的方式来评估估计的性能。它克服了当前评估指标的显著缺点,包括统计功效、偏倚和一致性。我们利用估计响应曲线来测试各种措施的关联强度,满足数据处理不等式(DPI),并表明CIM估计的性能相比,毫不逊色kNN,vME,AP,和H_{MI}估计的互信息。被确定为次优的估计量,根据估计量响应曲线,表现比更优的估计量更差时,从四个不同的科学领域的真实世界的数据进行测试,所有具有不同的维度和大小。
2021-01-09 cs.LG stat.ML
A cost-reducing partial labeling estimator in text classification problem
Georgia Institute of Technology(佐治亚理工学院)
我们提出了一种新的方法来解决文本分类问题时,学习部分标签是有益的。我们没有为每个训练样本提供一组候选标签,而是将负向标签分配给模糊的训练样本,如果它们不太可能落入某些类别。我们构造了新的具有自校正性质的极大似然估计,并证明了在一定条件下,我们的估计收敛得更快。我们还讨论了应用我们的估计一个完全监督学习问题的优点。该方法在众包、自然语言处理和医学图像分析等领域具有潜在的应用价值。
2019-06-10 cs.IR cs.LG stat.ML
Optimizing Estimators of Squared Calibration Errors in Classification
German Cancer Consortium (DKTK)(德国癌症联盟(DKTK));German Cancer Research Center (DKFZ)(德国癌症研究中心(DKFZ));Goethe University Frankfurt(法兰克福大学);Inria(法国国家信息与自动化研究所);Ecole Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
本研究针对分类任务中平方校准误差估计器选型与调参缺乏指导的问题,提出基于均方误差的风险度量与训练-验证-测试流水线,将校准估计重构为回归问题以适配规范校准准则,优化并对比了传统与核岭回归类估计器的性能。
2025-02-21 cs.LG stat.ML
Learnable Adaptive Cosine Estimator (LACE) for Image Classification
University of Florida(佛罗里达大学)
在这项工作中,我们提出了一个新的损失,以提高特征的可辨别性和分类性能。受自适应余弦/相干估计器(ACE)的启发,我们提出的方法结合了人工神经网络固有的学习角度信息。我们的可学习ACE(LACE)将数据转换为一个新的“白化”空间,提高了类间的可分性和类内的紧凑性。我们比较我们的LACE替代国家的最先进的softmax为基础的和功能的正则化方法。我们的研究结果表明,该方法可以作为一个可行的替代交叉熵和角度softmax方法。我们的代码是公开的:https://github.com/GatorSense/LACE。
2021-11-23 cs.AI cs.CV cs.LG
Kernel-Based Enhanced Oversampling Method for Imbalanced Classification
Faculty of Science and Technology, BNU-HKBU United International College(北师港浸会大学科技与文学院);Guangdong Provincial Key Laboratory of Interdisciplinary Research and Application for Data Science, BNU-HKBU United International College(广东省数据科学跨学科研究与应用重点实验室(北师港浸会大学))
针对不平衡数据集的分类问题,本文提出一种结合凸组合与核加权的增强过采样方法改进SMOTE算法,在多个真实数据集上的F1、G均值和AUC指标均优于现有方法,为不平衡分类提供稳健方案。
2025-04-12 cs.LG
Naive Bayes with Correlation Factor for Text Classification Problem
Georgia Institute of Technology(佐治亚理工学院)
朴素贝叶斯估计被广泛应用于文本分类问题。然而,它在小规模训练数据集上表现不佳。我们提出了一种新的方法,基于朴素贝叶斯估计来解决这个问题。引入了一个相关因子来综合不同类之间的相关性。实验结果表明,我们的估计实现了更好的准确性相比,传统的朴素贝叶斯在现实世界中的数据。
2019-05-08 cs.IR cs.LG stat.ML
Improving Multi-class Classifier Using Likelihood Ratio Estimation with Regularization
Nagoya Institute of Technology(名古屋工业大学)
提出了一种基于似然比的泛集朴素贝叶斯分类器(UNB)\cite{Komiya:13},用于解决不平衡分类问题.然而,在UNB中使用的LR估计高估了低频数据的LR,降低了分类性能。我们以前的研究~ \cite{Kikuchi:19}提出了一个有效的LR估计器,即使在低频数据。该估计器使用正则化来抑制高估,但我们没有考虑不平衡数据。在本文中,我们集成的估计与UNB。我们的实验与不平衡的数据表明,我们提出的分类器有效地调整分类分数根据类的平衡使用正则化参数,提高了分类性能。
2022-10-28 cs.AI cs.LG
Behavior-Specific Filtering for Enhanced Pig Behavior Classification in Precision Livestock Farming
Virginia Tech(弗吉尼亚理工大学);The University of Tokyo(东京大学)
针对猪只行为分类,本文提出结合小波去噪与低通滤波器、并按活跃与非活跃行为定制的行为特定滤波方法,将准确率由91.58%提升至94.73%。
2025-07-28 cs.LG
Neighbor Enhanced Graph Convolutional Networks for Node Classification and Recommendation
Beihang University(北京航空航天大学);Yangtze University(长江大学);Alibaba Group(阿里巴巴集团);Cainiao Network(菜鸟网络);Jinan University(暨南大学);Tencent Inc.(腾讯公司)
最近提出的图卷积网络(GCN)在各种与图相关的任务(如节点分类和推荐)上取得了显着优越的性能。然而,目前对GCN模型的研究通常是递归地聚合所有邻居或随机采样的邻居子集的信息,而没有明确地识别聚合的邻居在图卷积过程中是否提供有用的信息。本文从理论上分析了邻居质量对GCN模型性能的影响,提出了邻居增强图卷积网络(Neighbor Enhanced Graph Convolutional Network,NEGCN)框架来提高现有GCN模型的性能。我们的贡献是三方面的。首先,我们在第一次提出的概念,邻居质量的节点分类和推荐任务的一般理论框架。具体而言,对于节点分类,我们提出了三个命题,从理论上分析邻居质量如何影响GCN模型的节点分类性能。其次,基于提出的三个命题,我们引入了图细化过程,包括专门设计的邻居评估方法,以提高邻居质量,从而提高节点分类和推荐任务。第三,我们在几个基准数据集上进行了广泛的节点分类和推荐实验。实验结果表明,我们提出的NEGCN框架可以显着提高性能的各种典型的GCN模型上的节点分类和推荐任务。
2022-03-30 cs.LG
Enhanced Classification Accuracy for Cardiotocogram Data with Ensemble Feature Selection and Classifier Ensemble
Prince of Songkla University(宋卡王子大学);Khon Kaen University(孔敬大学)
本文提出了基于集成学习的特征选择和分类器集成模型来提高分类精度。从集成特征选择到支持向量机集成,假设好的特征集包含与类高度相关的特征,这可以在分类精度的性能上实现。所提出的方法包括两个阶段:(i)通过应用基于集成的特征选择方法来选择可能是支持向量的特征集;以及(ii)使用所选择的特征来构建SVM集成。通过在分娩图像数据集上的实验对所提出的方法进行了评估。使用了四种特征选择技术:(i)基于相关性,(ii)基于一致性,(iii)ReliefF和(iv)信息增益。实验结果表明,将信息增益特征选择和基于相关性的特征选择与SVM集成相结合,比单一SVM分类器和集成特征选择与SVM分类器的分类精度都要高。
2020-10-27 cs.LG
Sparse-penalized deep neural networks estimator under weak dependence
CY Cergy Paris Université(CY塞尔吉-巴黎大学)
本文研究$ψ$ -弱相依过程的非参数回归和分类问题。这种弱依赖结构比混合、关联、$\ldots$等条件更一般。提出了一种稀疏深度神经网络的惩罚估计方法。在非参数回归和二元分类问题中,我们建立了稀疏惩罚深度神经网络估计的超额风险的预言不等式。这些估计的超额风险的收敛速度也来自。仿真结果表明,所提出的估计总体上比非惩罚估计工作得更好。
2023-03-02 cs.LG math.ST stat.ML
Projected Estimators for Robust Semi-supervised Classification
Delft University of Technology(代尔夫特理工大学);Leiden University Medical Center(莱顿大学医学中心);University of Copenhagen(哥本哈根大学)
为了使半监督技术在实践中安全地应用,我们至少希望方法的性能优于监督方法。我们研究这个问题的分类使用著名的二次代理损失函数。通过将监督估计投影到由未标记数据施加的一组约束上,我们发现我们可以安全地改进监督解决方案的二次损失。与半监督学习的其他方法不同,该过程不依赖于不是手头分类器固有的假设。理论上证明,在标记和未标记的训练数据上测量,这种半监督过程永远不会给出比监督替代方案更低的二次损失。据我们所知,这是第一种方法,提供了这样强大的,虽然保守,保证监督解决方案的改进。我们的方法的特点是明确使用基准数据集,以进一步了解的相似性和差异的二次损失标准中使用的理论结果和分类精度往往在实践中考虑。
2016-02-25 cs.LG stat.ML
Enhanced Doubly Robust Learning for Debiasing Post-click Conversion Rate Estimation
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Baidu Inc.(百度公司);International Center of Future Science, Jilin University(吉林大学未来科学国际中心);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University(吉林大学符号计算与知识工程教育部重点实验室)
点击后转化作为一种反映用户偏好的强信号,对构建推荐系统具有重要意义。然而,由于选择偏差,准确估计点击后转化率(CVR)是具有挑战性的,即,所观察到的点击事件通常发生在用户的优选项目上。目前,大多数现有的方法利用反事实学习来消除推荐系统的偏见。其中,双稳健(DR)估计通过将基于误差插补(EIB)的估计和逆倾向得分(IPS)估计以双稳健的方式相结合而获得了有竞争力的性能。然而,不准确的误差插补可能会导致其更高的方差比IPS估计。更糟糕的是,现有方法通常使用简单的模型不可知方法来估计填补误差,这不足以近似动态变化的模型相关目标(即,预测模型的梯度方向)。为了解决这些问题,我们首先推导出DR估计量的偏差和方差。在此基础上,提出了一种更稳健的双稳健估计(MRDR),以进一步降低其方差,同时保持其双重稳健性。此外,我们提出了一种新的双重学习方法的MRDR估计,它可以将误差填补到一般的CVR估计。此外,我们的经验验证,所提出的学习计划,可以进一步消除的高方差问题的插补学习。为了评估其有效性,进行了广泛的实验上的半合成数据集和两个真实世界的数据集。结果表明,所提出的方法比国家的最先进的方法的优越性。该代码可在https://github.com/guosyjlu/MRDR-DL上获得。
2022-01-09 cs.IR cs.LG
BoMGene: Integrating Boruta-mRMR feature selection for enhanced Gene expression classification
Can Tho University(金瓯大学)
针对高维基因表达数据的特征选择需求,提出整合Boruta与mRMR的混合特征选择方法BoMGene,在25个公开数据集上验证了其在减少特征数、加快训练的同时提升分类准确率的效果。
2025-10-01 cs.LG
Seasonal Averaged One-Dependence Estimators: A Novel Algorithm to Address Seasonal Concept Drift in High-Dimensional Stream Classification
Monash University(莫纳什大学);Seek Group(Seek集团)
流分类方法在新的标记样本到达时对连续的数据流进行分类。他们还经常需要处理概念漂移。本文重点研究流分类中的季节性漂移,这可以在许多实际应用数据源中找到。传统的河流分类方法考虑季节性漂移,包括季节性虚拟/指标变量或为每个季节建立单独的模型。但这些方法在高维分类问题或复杂的季节模式中具有很强的局限性。本文探讨了如何最好地处理季节性漂移的特定情况下的新闻文章分类(或分类/标记),其中季节性漂移是压倒性的主要类型的漂移存在于数据中,并且数据是高维的。我们引入了一种新的分类器名为季节平均单依赖估计(SAODE),它扩展了AODE分类器,包括时间作为一个超级父处理季节漂移。我们使用两个大型的真实世界文本挖掘相关数据集来评估我们的SAODE模型,每个数据集包含大约100万条记录,针对9个最先进的流和概念漂移分类模型,有和没有季节指标,以及为每个季节构建的单独模型。在五种不同的评估技术中,我们表明我们的模型始终优于其他方法,其结果具有统计学意义。
2020-06-27 cs.AI cs.LG stat.AP
Optimal Downsampling for Imbalanced Classification with Generalized Linear Models
Duke University(杜克大学);Stanford University(斯坦福大学);Yahoo(雅虎)
针对大规模高度不平衡分类的下采样问题,提出基于广义线性模型的伪极大似然估计量,推导其渐近正态性与理论保证,给出兼顾统计精度和计算效率的最优下采样率,实验验证其性能优于现有常用方法。
2024-10-11 cs.LG stat.ML
CINDES: Classification induced neural density estimator and simulator
针对神经密度估计器实现约束难满足、低维结构下收敛性不明的问题,提出易实现且具可证明自适应性的CINDES估计器,可集成到扩散模型中实现更快收敛,并经实验验证性能。
2025-10-01 cs.LG math.ST stat.ME
Doubly Robust Counterfactual Classification
Harvard Medical School(哈佛医学院);Carnegie Mellon University(卡内基梅隆大学);Harvard University(哈佛大学)
我们研究反事实分类作为一种新的工具,在假设(与事实相反)的情况下进行决策。我们提出了一个双重鲁棒的非参数估计一般的反事实分类器,在那里我们可以通过铸造的分类问题作为一个非线性的数学规划,涉及反事实,将灵活的约束。我们继续分析估计的收敛速度,并提供了一个封闭形式的表达其渐近分布。我们的分析表明,所提出的估计是强大的滋扰模型误指定,并可以达到快速的$\sqrt{n}$率与易处理的推理,即使使用非参数机器学习方法。我们通过模拟研究我们的方法的实证性能,并将其应用于累犯风险预测。
2023-01-15 cs.LG stat.ME stat.ML
Class Probability Estimation via Differential Geometric Regularization
Boston University(波士顿大学);The Mathworks Inc.(Mathworks公司)
我们从统一的几何角度研究了二分类和多分类的监督学习问题。特别是,我们提出了一种几何正则化技术,找到相应的类概率$P(y|\pmb{x})$的鲁棒估计的子流形。正则化项测量这个子流形的体积,基于过拟合产生快速局部振荡的直觉,因此估计量很大。这种技术可以应用于正则化满足两个要求的任何分类函数:首先,可以获得类概率的估计;其次,可以计算类概率估计的一阶和二阶导数。在实验中,我们将我们的正则化技术应用于标准损失函数进行分类,我们基于RBF的实现与广泛使用的正则化方法进行二进制和多类分类相比毫不逊色。
2016-02-11 cs.CG cs.LG stat.ML
MEBoost: Mixing Estimators with Boosting for Imbalanced Data Classification
United International University(联合国际大学)
类不平衡问题是机器学习和数据采掘领域中的一个具有挑战性的研究问题。几种现有的机器学习算法试图通过正确识别多数类样本而忽略少数类来最大化分类精度。然而,少数类实例的概念通常代表比多数类更高的兴趣。最近,一些成本敏感的方法,集成模型和抽样技术已被用于文献中,以分类不平衡的数据集。在本文中,我们提出了MEBoost,一个新的不平衡数据集的提升算法。MEBoost将两种不同的弱学习器与boosting混合在一起,以提高不平衡数据集的性能。MEBoost是现有技术(如SMOTEBoost,RUSBoost,Adaboost等)的替代方案。MEBoost的性能已在12个基准不平衡数据集上进行了评估,这些数据集采用了最先进的集成方法,如SMOTEBoost,RUSBoost,Easy Ensemble,EUSBoost,DataBoost。实验结果表明,MEBoost算法在处理不平衡数据集方面有明显的改进,是一种有效的、有前途的算法。Python版本的代码可以在这里找到:https://github.com/farshidrayhanuiu/
2018-01-13 cs.LG stat.ML
Convergence Rates for Empirical Estimation of Binary Classification Bounds
University of Michigan(密歇根大学);Yale University(耶鲁大学)
二进制分类问题的最佳可实现错误概率的界与许多应用相关,包括机器学习、信号处理和信息论。贝叶斯二进制分类出错率的许多界限取决于类分布对之间的信息分歧。最近,Henze-Penrose(HP)分歧已被提出用于界定分类错误概率。我们考虑的问题,经验估计的HP分歧从随机样本。我们推导出的HP-发散,这是一个多变量运行统计两个分布之间的测试的Friedman-Rafsky(FR)估计的收敛速度上的界限。FR估计是来自一个多色的欧氏最小生成树(MST),跨越合并的样本。我们得到了Henze-Penrose散度的Friedman-Rafsky估计的一个集中不等式。我们通过实验验证了我们的结果,并说明了它们在真实数据集上的应用。
2018-10-01 cs.IT cs.LG math.IT
Statistical Inference in Classification of High-dimensional Gaussian Mixture
Auburn University(奥本大学)
本文针对一般协方差下的高维二元高斯混合分类,利用副本方法分析正则化凸分类器的渐近泛化与变量选择性质,并构造去偏估计量进行假设检验。
2024-10-25 cs.LG stat.ML
SatImNet: Structured and Harmonised Training Data for Enhanced Satellite Imagery Classification
European Commission, Joint Research Centre (JRC)(欧盟委员会联合研究中心);Czech Technical University in Prague(布拉格捷克理工大学)
具有复杂建模(例如深度神经网络)的自动监督分类需要代表性训练数据集的可用性。虽然存在大量可用于此目的的数据集,但它们通常非常异构,无法互操作。在这种情况下,目前的工作有两个目标:i)描述程序的开放源训练数据管理,集成和数据检索,和ii)演示的实际使用不同的源训练数据遥感图像分类。对于前者,我们提出了SatImNet,一个开放的训练数据的集合,根据特定的规则进行结构化和协调。对于后者,设计和配置了两种基于卷积神经网络的建模方法,用于处理卫星图像分类和分割。
2020-11-03 cs.CV cs.LG
EGC2: Enhanced Graph Classification with Easy Graph Compression
Zhejiang University of Technology(浙江工业大学);Hangzhou Dianzi University(杭州电子科技大学)
图分类是网络分析中的关键问题。网络面临着潜在的安全威胁,如对抗攻击。一些防御方法可能会权衡算法的复杂性以获得鲁棒性,例如对抗性训练,而其他方法可能会权衡干净的示例性能,例如基于平滑的防御。大多数遭受高复杂性或低可转移性。为了解决这个问题,我们提出了EGC2,一个增强的图分类模型,易于图压缩。EGC2通过构造特征图和改进节点级表示的聚合来捕获不同节点的特征之间的关系。为了实现应用于图分类模型的低复杂度防御,EGC2利用基于中心的边缘重要性索引来压缩图,过滤掉输入图中的平凡结构和对抗性扰动,从而提高模型的鲁棒性。在10个基准数据集上的实验表明,所提出的特征读出和图压缩机制增强了多个基本模型的鲁棒性,从而在准确性和对各种对抗攻击的鲁棒性方面具有最先进的性能。
2023-02-05 cs.GR cs.LG
Enhanced Derivative-Free Optimization Using Adaptive Correlation-Induced Finite Difference Estimators
City University of Hong Kong(香港城市大学)
本文提出一种结合相关诱导有限差分估计与自适应批次采样策略的算法,提升无导数优化的梯度估计和样本效率,并保持与KW和SPSA相同的收敛速率,数值实验验证其优越性能。
2025-02-28 cs.LG cs.NA math.NA
Rates of Convergence for Nearest Neighbor Classification
University of California, San Diego(加州大学圣地亚哥分校)
最近邻方法是一类流行的非参数估计方法,具有一些理想的性质,例如对不同空间区域中不同距离尺度的适应性。最近邻分类的收敛速度的先前工作没有完全反映这些微妙的性质。我们分析了这些估计量在度量空间中的行为,并在最小假设下提供了有限样本,分布相关的收敛速度。作为一个副产品,我们能够在比以前已知的更广泛的数据空间中建立最近邻的普遍一致性。我们说明了我们的上限和下限,通过引入平滑类定制的最近邻分类。
2014-07-02 cs.LG math.ST stat.ML
Large Language Model in Medical Informatics: Direct Classification and Enhanced Text Representations for Automatic ICD Coding
Fraunhofer Institute for Applied Information Technology FIT(弗劳恩霍夫应用信息技术研究所FIT);University Hospital of Cologne(科隆大学医院);University of Koblenz(科布伦茨大学);University of Southern Denmark(南丹麦大学);Soochow University(苏州大学)
本文针对医疗出院摘要的ICD代码分类难题,利用LLAMA架构提出直接分类与生成增强文本表示结合MultiResCNN框架两种方法,实验证明其能显著提升分类效果。
2024-11-11 cs.IR cs.LG
Automatic explanation of the classification of Spanish legal judgments in jurisdiction-dependent law categories with tree estimators
University of Vigo(维戈大学)
本文提出结合NLP、ML与可解释AI的法律文本分类系统,通过分析树模型决策特征和阈值并以自然语言解释,在西班牙法律判决分类中准确率超90%,且解释易于理解。
2024-03-30 cs.AI cs.CL cs.LG
Probabilistic Classification by Density Estimation Using Gaussian Mixture Model and Masked Autoregressive Flow
University of Waterloo(滑铁卢大学);Drexel University(德雷塞尔大学)
本文提出利用高斯混合模型和掩码自回归流进行密度估计,以建模类别似然实现分类,优于线性判别分析,为概率分类器开辟新方向。
2023-10-16 cs.LG cs.NE stat.ML
AGGRNet: Selective Feature Extraction and Aggregation for Enhanced Medical Image Classification
Indian Institute of Technology Kanpur(印度理工学院坎普尔学院)
针对现有医学图像分类模型难以区分类间相似性与类内变异性易致误诊的问题,提出AGGRNet框架,通过选择性提取并聚合信息性与非信息性特征捕捉细粒度模式,在多数据集上达到SOTA,Kvasir数据集上最高提升5%。
2025-11-15 cs.CV cs.LG
Vision-QRWKV: Exploring Quantum-Enhanced RWKV Models for Image Classification
Neuro Industry, Inc.(神经产业公司);Boston, MA, USA(美国马萨诸塞州波士顿)
本文提出Vision-QRWKV,通过将变分量子电路集成到RWKV的通道混合组件中,首次将其应用于图像分类,并在14个基准上验证其优于经典模型,尤其在细微或嘈杂类别区分的数据集上表现突出。
2025-06-28 cs.CV cs.LG
Terrain Classification Enhanced with Uncertainty for Space Exploration Robots from Proprioceptive Data
German Research Center for Artificial Intelligence(德国人工智能研究中心);University of Bremen(不来梅大学);University of Groningen(格罗宁根大学)
本文提出一种基于不确定性量化的神经网络方法,利用本体数据实现可靠的地形分类,以提高空间探索机器人在不可预测环境中的决策可靠性。
2024-07-03 cs.LG cs.RO
Unbiased Loss Functions for Extreme Classification With Missing Labels
Aalto University(阿尔托大学);IIT, Kanpur(印度理工学院坎普尔分校)
极端多标签分类(XMC)的目标是从一个非常大的可能标签集合中用一小部分相关标签来标记一个实例。除了大量的训练实例、特征和标签所带来的计算负担之外,XMC中的问题还面临着两个统计挑战,(i)大量的“尾部标签”--那些很少出现的标签,以及(ii)丢失的标签,因为几乎不可能手动将每个相关标签分配给实例。在这项工作中,我们推导出一个无偏估计量的损失函数,分解标签的一般制定,然后推断的形式,常用的损失函数,如铰链和平方铰链损失和二进制交叉熵损失。我们表明,派生的无偏估计量,在适当的加权因子的形式,可以很容易地纳入国家的最先进的极端分类算法,从而扩展到数据集与数十万个标签。然而,根据经验,我们发现了一个稍微改变的版本,它为尾部标签提供了更多的相对权重,从而表现得更好。我们怀疑这是由于数据集中的标签不平衡,我们的理论推导估计量没有明确解决这一问题。在XMC的基准数据集上,最小化所提出的损失函数导致了对现有方法的显着改进(在某些情况下高达20%)。
2020-07-01 cs.LG stat.ML
Reference Distance Estimator
本文对一种简单的线性分类器--参考距离估计器(RDE)进行了理论研究,它将每个特征j的权重分配为P(r| j)-P(r),其中r是与目标类y相关的参考特征。分析表明,如果r在预测y方面优于随机猜测,并且与每个特征j条件独立,则RDE将具有与P(y)相同的分类性能|j)-P(y),使用黄金标准y训练的分类器。由于P(r)的估计|j)-P(r)不需要标记数据,在上述假设下,用大量未标记样本训练的RDE将接近用无限个标记样本训练的RDE。在此假设不成立的情况下,从理论上分析了在此假设下影响RDE接近完美RDE的因素,并提出了一种利用标记数据和未标记数据选择参考特征和组合来自不同参考特征的多个RDE的算法.在10个文本分类任务上的实验结果表明,该半监督学习方法在使用5,000个标记样本和1300万个未标记样本的情况下改进了监督方法,在许多任务中,其性能甚至接近于使用1300万个标记样本训练的分类器。此外,定理中的界提供了很好的分类性能的估计,可以用于新的算法设计。
2013-08-18 cs.LG stat.ML
Rethinking Softmax with Cross-Entropy: Neural Network Classifier as Mutual Information Estimator
Australian National University(澳大利亚国立大学);Pohang University of Science and Technology(浦项科技大学)
互信息被广泛应用于学习观测值的潜在表示,而其在分类神经网络中的含义仍有待更好地解释。我们表明,优化分类神经网络的参数与softmax交叉熵是等价的最大化输入和标签之间的互信息的平衡数据假设。通过在人工数据集和真实数据集上的实验,我们表明softmax交叉熵可以近似地估计互信息。当应用于图像分类时,这种关系有助于近似输入图像和标签之间的逐点互信息,而无需修改网络结构。为此,我们提出了infoCAM,信息类激活图,突出显示区域的输入图像是最相关的一个给定的标签的基础上的差异信息。激活图有助于定位输入图像中的目标对象。通过两个真实世界数据集的半监督对象定位任务的实验,我们评估了我们的信息理论方法的有效性。
2020-09-17 cs.CV cs.LG stat.ML
Emotion Classification in Response to Tactile Enhanced Multimedia using Frequency Domain Features of Brain Signals
University of Engineering and Technology, Taxila(塔克西拉工程技术大学);University of Central Florida(中佛罗里达大学)
触觉增强的多媒体是通过同步传统的多媒体剪辑,以产生热和冷空气效果,与电加热器和风扇。这个目标是给观众一个更真实和沉浸的感觉的多媒体内容。对这种增强的多媒体内容(mulsemedia)的响应通过使用人脑信号在欣赏/情感方面进行评估。我们观察和记录脑电图(EEG)数据使用市售的四通道MUSE头带。共有21名受试者自愿参加本研究进行EEG记录。我们从每个EEG通道的五个不同频带中提取频域特征。四种情绪,即:快乐,放松,悲伤,愤怒的分类使用支持向量机响应于触觉增强的多媒体。通过使用时域特征,与63:41%相比,实现了76:19%的增加的准确性。我们的研究结果表明,所选择的频域特征可以更好地适用于情绪分类mulsemedia研究。
2019-05-13 cs.HC cs.LG stat.ML
Revisiting the Role of Label Smoothing in Enhanced Text Sentiment Classification
Shanghai International Studies University(上海外国语大学)
本文通过在八个情感分类数据集和三种深度学习架构上的系统实验,揭示了标签平滑不仅能提升分类性能,还能加速模型收敛并增强不同标签样本的可区分性。
2024-02-23 cs.AI cs.CL cs.LG
KG-MTT-BERT: Knowledge Graph Enhanced BERT for Multi-Type Medical Text Classification
Alibaba Group(阿里巴巴集团)
由于电子健康记录(EHR)系统的广泛采用,医疗文本学习最近成为改善医疗保健的一个有前途的领域。医学文本的复杂性,如长度的多样性、文本类型的混合性、医学术语的大量使用等,给开发有效的深度学习模型带来了巨大的挑战。BERT在许多NLP任务中呈现了最先进的结果,例如文本分类和问答。然而,独立的BERT模型不能处理医学文本的复杂性,特别是冗长的临床笔记。在此,我们开发了一个新的模型称为KG-MTT-BERT(知识图增强多类型文本BERT)通过扩展BERT模型的长和多类型的文本与医学知识图谱的集成。我们的模型在诊断相关组(DRG)分类中的表现优于所有基线和其他最先进的模型,这需要全面的医学文本来进行准确的分类。我们还证明了我们的模型可以有效地处理多类型的文本和医学知识图谱的集成可以显着提高性能。
2022-10-08 cs.AI cs.CL cs.LG
Top K Enhanced Reinforcement Learning Attacks on Heterogeneous Graph Node Classification
School of Electrical and Electronic Engineering(电子与电气工程学院);Nanyang Technological University(南洋理工大学);Singapore Institute of Manufacturing Technology (SIMTech)(新加坡制造技术研究所)
本文提出HeteroKRLAttack,一种结合强化学习与Top-K算法的异构图黑盒逃逸攻击方法,通过缩减动作空间高效破坏节点分类,并在多个数据集上验证了其攻击有效性。
2025-09-18 cs.AI cs.LG
Unbiased Loss Functions for Multilabel Classification with Missing Labels
Aalto University(阿尔托大学)
本文考虑了二进制和多标签分类问题的设置标签丢失独立和已知的速率。标签缺失是极端多标签分类(XMC)任务中普遍存在的现象,例如将维基百科文章与数十万可能标签中的一小部分进行匹配,其中没有人工注释者可能检查所有阴性样本的有效性。由于这个原因,倾向评分精度--在已知噪声模型下对k处精度的无偏估计--已经成为XMC中的标准度量之一。很少有方法在训练阶段就考虑到这个问题,并且所有方法都限于损失函数,这些损失函数可以分解为每个单独标签的贡献之和。一个典型的训练方法是将多标签问题简化为一系列二进制或多类问题,并且已经表明,如果代理任务应该是一致的以优化召回率,则所得到的损失函数在标签上不可分解。因此,本文推导出了不同的多标号约简,包括不可分解的多标号约简的唯一无偏估计。这些估计遭受增加的方差,并可能导致不适定的优化问题,我们通过切换到凸上界解决。理论上的考虑进一步补充的实验研究表明,切换到无偏估计显着改变的偏差方差权衡,因此可能需要更强的正则化,这在某些情况下可以否定无偏估计的好处。
2021-09-23 cs.LG stat.ML
A Lightweight Medical Image Classification Framework via Self-Supervised Contrastive Learning and Quantum-Enhanced Feature Modeling
The Second Clinical Medical College, Nanjing Medical University(南京医科大学第二临床医学院)
本文提出一种结合自监督对比学习和量子增强特征建模的轻量级医学图像分类框架,通过MobileNetV2和量子电路实现高效模型,实验表明其在性能上优于传统方法。
2026-01-23 cs.CV cs.LG
Malware Classification Leveraging NLP & Machine Learning for Enhanced Accuracy
National Institute of Technology Rourkela(奈尔克拉国家理工学院)
本文提出利用NLP和机器学习技术,通过n-gram分析提升恶意软件分类的准确率,达到99.02%的高精度
2026-02-22 cs.CR cs.LG
Candidates vs. Noises Estimation for Large Multi-Class Classification Problem
Tencent AI Lab(腾讯人工智能实验室)
本文提出了一种解决类数K较大的多类分类问题的方法。该方法被称为候选人与噪声估计(CANE),选择候选类别的一个小子集,并对其余类别进行采样。我们表明,CANE总是一致的,计算效率高。此外,所得的估计具有低的统计方差接近的极大似然估计,当观察到的标签属于所选择的候选人具有高概率。在实践中,我们使用一个树结构的叶子作为类,以促进快速波束搜索的候选人选择。我们进一步应用CANE方法来估计学习大型神经语言模型的单词概率。大量的实验结果表明,CANE实现了更好的预测精度比噪声对比估计(NCE),它的变种和一些国家的最先进的树分类器,而它获得显着的加速相比,标准的O(K)方法。
2018-09-13 cs.LG stat.ML
DKEC: Domain Knowledge Enhanced Multi-Label Classification for Diagnosis Prediction
University of Virginia(弗吉尼亚大学)
针对医疗多标签分类的长尾标签分布问题,提出融合外部医疗知识构建异质图谱并结合标签级注意力的DKEC方法,在少样本类别上优于现有模型,还能让小模型达到大模型相当性能。
2024-06-19 cs.AI cs.CL cs.LG
SECRET: Semantically Enhanced Classification of Real-world Tasks
Princeton University(普林斯顿大学);Rutgers University(罗格斯大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
监督机器学习(ML)算法旨在在可用能量和存储约束下最大化分类性能。它们试图将训练数据映射到相应的标签,同时确保对不可见数据的泛化能力。然而,它们并没有在决策过程中整合标签之间基于意义的关系。另一方面,自然语言处理(NLP)算法强调语义信息的重要性。在本文中,我们将监督ML和NLP算法的互补优势综合到一种方法中,我们称之为SECRET(真实世界任务的语义增强分类)。SECRET通过将标签的语义信息与可用数据融合来执行分类:它将监督算法的特征空间与NLP算法的语义空间相结合,并基于此联合空间预测标签。实验结果表明,与传统的监督学习相比,SECRET实现了高达14.0%的准确率和13.1%的F1得分改善。此外,与集成方法相比,SECRET实现了高达12.7%的准确率和13.3%的F1得分改进。这为基于语义信息的监督分类提供了一个新的研究方向。
2020-04-17 cs.CL cs.LG stat.ML
Fast and accurate sentiment classification using an enhanced Naive Bayes model
Indian Institute of Technology (BHU)(印度理工学院(贝拿勒斯印度教大学))
我们已经探索了不同的方法来提高情感分析的朴素贝叶斯分类器的准确性。我们观察到,否定处理,字n-gram和特征选择的互信息的结果在一个显着的提高准确性的方法的组合。这意味着可以使用具有线性训练和测试时间复杂度的简单朴素贝叶斯模型来构建高度准确和快速的情感分类器。我们在流行的IMDB电影评论数据集上实现了88.80%的准确率。
2013-09-16 cs.CL cs.IR cs.LG
Using Convolutional Neural Networks for the Helicity Classification of Magnetic Fields
NTNU(挪威科技大学);Politecnico di Milano(米兰理工大学)
在星系际磁场中存在非零螺旋度是其原始起源的确凿证据,因为它们必须由打破CP不变性的过程产生。作为螺旋磁场存在的实验特征,基于电磁级联中产生的光子的波矢量的三重标量积的估计器$Q$,TeV耀变体,以前已经提出过。我们建议使用卷积神经网络将深度学习应用于螺旋度分类,并表明这种方法优于$Q$估计器。
2021-06-12 astro-ph.HE cs.AI cs.CV
Enhanced Nearest Neighbor Classification for Crowdsourcing
Purdue University(普渡大学);Binghamton University, State University of New York(纽约州立大学宾汉姆顿分校);University of California, Los Angeles(加州大学洛杉矶分校);Moody’s Analytics, Inc.(穆迪分析公司)
在机器学习中,众包是标记大量数据的经济方式。然而,所产生的标签中的噪声可能会降低应用于标记数据的任何分类方法的准确性。我们提出了一个增强的最近邻分类器(ENN)来克服这个问题。开发了两种算法来估计工人质量(这在实践中往往是未知的):一种是通过将$k$ NN分类器应用于专家数据来构建基于去噪工人标签的估计;另一种是即使没有访问专家数据也能工作的迭代算法。除了强有力的数值证据,我们提出的方法被证明可以实现与基于高质量专家数据的Oracle版本相同的遗憾。作为一个技术的副产品,分配给每个工人的样本量的下限,以达到最佳的收敛速度的遗憾。
2022-02-26 cs.HC cs.LG stat.ML
Hybrid Quantum Neural Networks for Enhanced Breast Cancer Thermographic Classification: A Novel Quantum-Classical Integration Approach
Faculty of Computing(计算学院);Universiti Teknologi Malaysia(技术大学);Faculty of Science and Technology(科学与技术学院);Universitas Muhammadiyah Sidoarjo(穆罕默德大学西多亚罗乔);Department of Information System(信息系统系);Universitas Siber Jakarta(西巴克大学)
本文提出混合量子神经网络架构,结合量子计算原理与经典卷积神经网络,提升乳腺癌分类性能,实验验证显示优于经典方法,展现量子增强优势。
2026-04-18 cs.AI cs.CV cs.LG
Leveraging Visibility Graphs for Enhanced Arrhythmia Classification with Graph Convolutional Networks
Federal University of Ouro Preto(欧鲁普雷图联邦大学)
针对心律失常分类中ECG信号图表示的挑战,本研究提出将可见性图(VG)和向量可见性图(VVG)与图卷积网络(GCNs)结合,在MIT-BIH数据集上实现无需预处理的直接分类,VG提升效率、VVG增强性能,优于基线方法但仍存在特定类别分类挑战。
2024-12-04 cs.CV cs.LG eess.SP
Unlocking NACE Classification Embeddings with OpenAI for Enhanced Analysis and Processing
针对NACE分类降维时需保留层级结构的问题,提出结合前沿模型与降维技术生成嵌入的方法,配套定制指标验证结构保留效果,可支撑可视化探索与多类下游任务,为层级数据利用提供工具。
2024-09-17 cs.LG econ.GN q-fin.EC
Leukocyte Classification using Multimodal Architecture Enhanced by Knowledge Distillation
Monash University(莫纳什大学);Inception Institute of Artificial Intelligence(Inception人工智能研究院)
近来,已经开发了许多自动白细胞(WBC)或白细胞分类技术。然而,所有这些方法仅利用单一模态显微图像,即基于血液涂片或荧光的显微图像,因此错过了从多模态图像进行更好学习的潜力。在这项工作中,我们开发了一个高效的多模式架构的基础上,第一种多模式WBC数据集的任务WBC分类。具体来说,我们提出的想法分为两个步骤:1)首先,我们只在单个网络中学习特定于模态的独立子网络; 2)我们通过从高复杂度的独立教师网络中提取知识来进一步增强独立子网络的学习能力。有了这个,我们提出的框架可以实现高性能,同时保持低复杂性的多模态数据集。我们的独特贡献是双重的- 1)我们提出了第一个用于WBC分类的多模式WBC数据集; 2)我们开发了一个高性能的多模式架构,同时也是高效和低复杂性的。
2022-08-17 cs.CV cs.LG eess.IV