Implementation of an Asymmetric Adjusted Activation Function for Class Imbalance Credit Scoring
China Development Bank(国家开发银行);Central University of Finance and Economics(中央财经大学);University of Cambridge(剑桥大学);Peking University(北京大学)
本文提出一种基于不平衡比率调整的ASIG激活函数,嵌入Sigmoid以自动调整敏感边界,防止少数类被低估,在信用评分任务中优于传统分类器,且在高不平衡比率下保持鲁棒性。
2025-01-21 cs.AI cs.LG q-fin.RM
Evaluating the stability of model explanations in instance-dependent cost-sensitive credit scoring
Ghent University(根特大学);CVAMO Core Lab(CVAMO核心实验室)
本研究评估了实例依赖成本敏感(IDCS)信用评分模型中LIME和SHAP解释的稳定性,发现IDCS虽提升成本效率,但解释稳定性显著低于传统模型,凸显成本优化与可解释性的权衡及解决该问题的紧迫性。
2025-09-01 cs.LG
Scoring Time Intervals using Non-Hierarchical Transformer For Automatic Piano Transcription
University of Rochester(罗切斯特大学)
本文提出一种基于非层次Transformer的区间评分方法,用于自动钢琴转录,通过缩放内积操作模拟注意力机制,在Maestro数据集上取得最先进性能。
2024-11-09 cs.LG cs.SD eess.AS
Sparse Feature Selection in Kernel Discriminant Analysis via Optimal Scoring
Texas A&M University(德克萨斯A&M大学)
我们考虑两组分类问题,并提出了一个基于最佳评分框架的核分类器。与以往的方法不同,我们提供了理论保证的方法的预期风险的一致性。我们还允许通过使用加权内核施加结构化稀疏性来进行特征选择。我们提出了全自动的方法来选择所有的调整参数,特别是适应核收缩的想法,脊参数选择。数值研究表明,所提出的方法相比,现有的非参数分类器的优越的分类性能。
2019-02-12 cs.LG stat.ML
Positive Feature Values Prioritized Hierarchical Redundancy Eliminated Tree Augmented Naive Bayes Classifier for Hierarchical Feature Spaces
Birkbeck, University of London(伦敦大学伯贝克学院)
分层冗余消除树增强朴素贝叶斯(HRE-TAN)分类器是一种半朴素贝叶斯模型,它学习一种分层无冗余的树状特征表示来估计数据分布。在这项工作中,我们提出了两种新类型的积极的特征值优先级分层冗余消除树增强朴素贝叶斯分类器,专注于承载积极的实例值的功能。这两种新提出的方法被应用于28个真实世界的生物信息学数据集,显示出比传统的HRE-TAN分类器更好的预测性能。
2022-04-12 cs.LG q-bio.GN
Image-based Novel Fault Detection with Deep Learning Classifiers using Hierarchical Labels
School of Computing and Augmented Intelligence, Arizona State University(亚利桑那州立大学计算与增强智能学院);OG Technology(OG科技公司)
本研究提出利用故障分类体系的分层标签和软标签技术,改进深度神经网络在在线故障检测中对未知新型故障的检测能力,并在热轧钢检测图像中验证了性能提升。
2024-03-26 cs.AI cs.LG
Prototype Based Classification from Hierarchy to Fairness
Massachusetts Institute of Technology(麻省理工学院)
人工神经网络可以表示和分类许多类型的数据,但通常是针对特定的应用程序-例如,“公平”或“分级”分类。一旦选择了一个架构,人类通常很难为新任务调整模型;例如,分层分类器无法轻松转换为屏蔽受保护字段的公平分类器。我们在这项工作中的贡献是一个新的神经网络架构,概念子空间网络(CSN),它概括了现有的专门分类器,以产生一个统一的模型,能够学习频谱的多概念关系。我们证明,CSN再现国家的最先进的结果,在公平的分类时,强制执行概念的独立性,可以转化为分层分类,甚至调和公平和层次结构在一个单一的分类。CSN的灵感来自于现有的基于原型的分类器,促进可解释性。
2022-05-27 cs.AI cs.LG
Towards Global Explanations for Credit Risk Scoring
BBVA Data & Analytics(BBVA数据分析公司);Universitat de Barcelona(巴塞罗那大学)
在本文中,我们提出了一种方法来获得全局的解释训练的黑盒分类器通过采样其决策功能,学习替代的可解释的模型。所设想的方法提供了一个统一的解决方案,以近似非线性决策边界与简单的分类器,同时保持原始的分类精度。我们使用一个私人住宅抵押贷款违约数据集作为用例来说明这种方法的可行性,以确保在预处理过程中的属性的可分解性。
2018-11-23 cs.LG stat.ML
Hierarchical Dependency Constrained Tree Augmented Naive Bayes Classifiers for Hierarchical Feature Spaces
Birkbeck, University of London(伦敦大学伯克贝克学院);University of Kent(肯特大学)
树增强朴素贝叶斯(TAN)分类器是一种概率图模型,它构造一个单亲依赖树来估计数据的分布。在这项工作中,我们提出了两个新的层次依赖的树增强朴素贝叶斯算法,即Hie-TAN和Hie-TAN-Lite。这两种方法都利用预定义的父子(泛化-专业化)之间的关系的功能作为一种类型的约束,学习树表示的依赖关系的功能,而后者进一步消除了分层冗余在分类器学习阶段。实验结果表明,Hie-TAN成功地获得了比其他几种层次依赖约束分类算法更好的预测性能,并通过消除层次冗余进一步提高了其预测性能,Hie-TAN-Lite获得了更高的准确率。
2022-02-08 cs.LG stat.ML
Speaker-Conditioned Hierarchical Modeling for Automated Speech Scoring
IIIT-Delhi(德里印度理工学院);Adobe(Adobe公司);SUNY-Buffalo(纽约州立大学布法罗分校)
自动语音评分(Automatic Speech Scoring,ASS)是一种计算机辅助的语言口语能力评估。ASS系统面临着许多挑战,如开放语法,可变发音和非结构化或半结构化内容。最近的深度学习方法在这一领域显示出了一些希望。然而,大多数这些方法都集中在从单个音频中提取特征,这使得它们缺乏建模这种复杂任务所需的特定于说话者的上下文。我们提出了一种用于非原生ASS的新型深度学习技术,称为说话者条件分层建模。在我们的技术中,我们利用了口语水平测试对候选人的多个响应进行评级的事实。我们从这些响应中提取上下文向量,并将它们作为额外的特定于说话者的上下文提供给我们的网络,以获得特定的响应。我们将我们的技术与强基线进行比较,发现这种建模将模型的平均性能提高了6.92%(最大值= 12.86%,最小值= 4.51%)。我们进一步展示了定量和定性的见解,这一额外的背景下,在解决问题的ASS的重要性。
2021-08-30 cs.CL cs.LG cs.SD
A Hierarchical Reasoning Graph Neural Network for The Automatic Scoring of Answer Transcriptions in Video Job Interviews
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
我们解决的任务,自动评分的能力的候选人的文本特征的基础上,从自动语音识别(ASR)transmitting在异步视频求职面试(AVI)。关键的挑战是如何构建问题和答案之间的依赖关系,并进行语义级的互动,为每个问答(QA)对。然而,目前对AVI的研究大多集中在如何更好地表示问题和答案上,而忽略了问题和答案之间的依赖信息和相互作用,这对QA评估至关重要。在这项工作中,我们提出了一种分层推理图神经网络(HRGNN)来自动评估问答对。具体而言,我们构建了一个句子级关系图神经网络来捕获问题和答案之间的句子依赖信息。基于这些图,我们采用语义级推理图注意力网络模型的互动状态的当前QA会话。最后,我们提出了一个门控递归单元编码器来表示最终预测的时间问答对。在CHNAT(一个真实世界的数据集)上进行的实证结果验证了我们提出的模型显着优于基于文本匹配的基准模型。烧蚀研究和10个随机种子的实验结果也表明了我们的模型的有效性和稳定性。
2020-12-22 cs.CL cs.LG
Taxonomy grounded aggregation of classifiers with different label sets
IBM Research(IBM研究院)
我们描述的问题,聚合的标签预测不同的分类器使用类分类。当设计和训练各个分类器时,这样的分类法可能还不可用或未被引用,然而将输出标签映射到分类法中是期望的,以集成在训练组成分类器中花费的努力。表示某些领域知识的分层分类法可能与各个分类器的标签集不同,但可以部分映射到各个分类器的标签集。我们提出了一种启发式的方法和一个原则性的图形模型,通过将它们接地到可用的分类来聚合标签预测。我们的模型使用分类结构作为约束来聚合标签,以找到最有可能的层次结构一致的类。我们实验验证我们提出的方法对图像和文本分类任务。
2015-12-01 cs.AI cs.LG
Just Leaf It: Accelerating Diffusion Classifiers with Hierarchical Class Pruning
German Research Center for Artificial Intelligence(德国人工智能研究中心);University of Kaiserslautern-Landau(凯撒斯劳滕-兰道大学)
本文提出层次扩散分类器(HDC),利用标签层次结构剪枝无关高层类别,仅在相关子类别内细化预测,从而在保持或提升分类准确率的同时将推理速度提升多达60%,为大规模应用提供了速度与精度可调的控制机制。
2025-03-08 cs.AI cs.CV cs.LG
Hierarchical mixture of discriminative Generalized Dirichlet classifiers
Université de Sherbrooke(谢布鲁克大学)
本文提出基于广义狄利克雷后验分布的判别式分类器及其层次混合模型,并首次推导变分上界用于参数学习,在垃圾邮件检测和颜色空间识别中验证了效果。
2024-05-02 cs.LG stat.ML
Statistical comparison of classifiers through Bayesian hierarchical modelling
Istituto Dalle Molle di studi sull’Intelligenza Artificiale (IDSIA)(达勒莫勒人工智能研究所 (IDSIA));University of Ljubljana(卢布尔雅那大学)
通常人们通过零假设显著性检验(nhst)来比较两个竞争分类器的准确性。然而,nhst测试遭受的重要缺点,这可以通过切换到贝叶斯假设检验克服。我们提出了一个贝叶斯分层模型,共同分析交叉验证结果,由两个分类器在多个数据集。它返回两个分类器的准确度实际上相等或显著不同的后验概率。分层模型的另一个优点是,通过联合分析所有数据集上获得的结果,与对给定数据集上获得的交叉验证结果进行平均的通常方法相比,它减少了估计误差。
2016-11-22 cs.LG stat.ME stat.ML
Analysis of convolutional neural network image classifiers in a hierarchical max-pooling model with additional local pooling
Technische Universität Darmstadt(达姆施塔特工业大学)
图像分类被认为是,并引入了一个分层的最大池模型与额外的局部池。这里,附加的局部池化使得分层模型能够组合图像的彼此具有可变相对距离的部分。介绍了各种卷积神经网络图像分类器,并就其收敛速度进行了比较。有限样本量的估计性能进行了分析,通过将它们应用到模拟和真实数据。
2021-05-31 cs.CV cs.LG stat.ML
Linear Classifier Combination via Multiple Potential Functions
Wroclaw University of Science and Technology(弗罗茨瓦夫科技大学)
基于分类的模型构建过程的一个重要方面是评分函数的校准。校准过程的弱点之一是它没有考虑关于特征空间中所识别的对象的相对位置的信息。为了减轻这种限制,在本文中,我们提出了一种新的概念,计算的基础上的距离的对象从决策边界和它的距离类质心的评分函数。一个重要的属性是,所提出的评分函数具有相同的性质,所有的线性基分类器,这意味着这些分类器的输出是平等地表示,并具有相同的含义。将该方法与其他集成算法进行了比较,并在多个Keel数据集上进行了实验,验证了该方法的有效性。为了讨论我们的实验结果,我们使用多分类性能指标和统计分析。
2020-10-02 cs.LG stat.ML
Hierarchical Quadratic Random Forest Classifier
Institute of Signal Processing and System Theory(信号处理与系统理论研究所);University of Stuttgart(斯图加特大学)
提出一种分层二次随机森林分类器,通过节点内惩罚型多类稀疏判别与平方特征实现二次决策边界,可输出概率和特征以独立使用或增强基于图的分类器。
2023-06-02 cs.CV cs.LG
Measuring the Novelty of Natural Language Text Using the Conjunctive Clauses of a Tsetlin Machine Text Classifier
University of Agder(阿格德尔大学)
大多数有监督的文本分类方法都假设一个封闭的世界,在训练时,所有的类都存在于数据中。这种假设可能会导致在操作过程中出现不可预测的行为,无论何时出现新的、以前看不见的类。尽管基于深度学习的方法最近已被用于新颖性检测,但由于其黑箱性质,它们的解释具有挑战性。本文讨论了\emph{interpretable}开放世界文本分类,其中训练的分类器必须处理新的类在操作过程中。为此,我们扩展了最近推出的Tsetlin机(TM)与新颖的评分机制。该机制使用TM的合取子句来衡量文本与训练数据所覆盖的类匹配的程度。我们证明,条款提供了一个简洁的可解释的描述已知的主题,我们的评分机制,使人们有可能辨别新的主题从已知的。从经验上讲,我们基于TM的方法在五个数据集中的三个数据集上优于其他七个新颖性检测方案,并且在其余数据集上表现第二和第三好,并且具有可解释的基于命题逻辑的表示的额外好处。
2020-11-17 cs.AI cs.CL cs.LG
T-SHIRT: Token-Selective Hierarchical Data Selection for Instruction Tuning
University of Maryland, College Park(马里兰大学学院公园分校)
T-SHIRT通过令牌选择性层次数据选择方法提升指令微调效率,使小规模数据集训练效果优于大规模数据集。
2025-12-01 cs.AI cs.LG
Bi-LSTM Scoring Based Similarity Measurement with Agglomerative Hierarchical Clustering (AHC) for Speaker Diarization
Columbia University(哥伦比亚大学);Recognition Technologies, Inc.(识别技术公司)
跨不同场景的大多数语音信号对于仅包含单个扬声器的明确定义的音频段是不可用的。两个说话者之间的典型对话由他们的声音重叠,相互打断或在多个句子之间停止讲话的片段组成。日记化技术的最新进展利用基于神经网络的方法来改进说话人日记化系统的多个子系统,包括提取分段嵌入特征和检测说话人在对话期间的变化。然而,为了通过聚类来识别说话人,模型依赖于PLDA等方法来生成从给定会话音频中提取的两个片段之间的相似性度量。由于这些算法忽略了会话的时间结构,它们往往会达到更高的日志化错误率(DER),从而导致在说话人和变化识别方面的误检测。因此,为了独立地和顺序地比较两个语音片段的相似性,我们提出了一个双向长短期记忆网络来估计相似性矩阵中的元素。一旦相似性矩阵的生成,凝聚层次聚类(AHC)应用于进一步确定基于阈值的说话人段。为了评估性能,使用日志化错误率(DER%)度量。与传统的基于PLDA的相似性度量机制相比,该模型在来自ICSI会议语料库的音频样本测试集上实现了34.80%的低DER,该机制实现了39.90%的DER。
2022-05-19 cs.AI cs.CL cs.CV
Shift Happens: Adjusting Classifiers
University of Tartu(塔尔图大学)
在训练概率分类器时,最小化通过适当的评分规则(例如Brier评分或对数损失(交叉熵))测量的预期损失是常见的目标。如果数据在训练后经历了类分布变化的数据集偏移,那么模型的性能通常会下降,高估了某些类的概率,而低估了其他类的概率。我们提出了无界和有界的一般调整(UGA和BGA)方法,将所有的预测(重新)均衡的平均预测和类分布。这些方法的作用不同,这取决于适当的评分规则是最小化,我们有一个理论上的保证,减少损失的测试数据,如果确切的类分布是已知的。我们还通过实验证明,当在实践中的类分布是已知的只有大约,往往仍然是减少损失取决于量的移位和精度的类分布是已知的。
2021-11-03 cs.LG
tau-FPL: Tolerance-Constrained Learning in Linear Time
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团);IBM Research – China(IBM中国研究院)
在许多机器学习应用中,学习分类器并控制假阳性率起着至关重要的作用。现有的方法要么引入先验知识依赖的标签成本或调整参数的基础上,传统的分类,缺乏一致性的方法,因为他们不严格遵守假阳性率约束。在本文中,我们提出了一种新的评分阈值方法,tau-假阳性学习(tau-FPL)来解决这个问题。我们表明,考虑到假阳性率容忍度的评分问题可以在线性时间内有效地解决,也是一个out-of-bootstrap阈值方法可以将学习到的排名函数转换成一个低假阳性分类器。理论分析和实验结果表明,所提出的tau-FPL优于现有的方法的性能。
2018-01-15 cs.AI cs.LG stat.ML
Money on the Table: Statistical information ignored by Softmax can improve classifier accuracy
University of Washington(华盛顿大学);Global Good Research(Global Good研究院)
Softmax是神经网络(NN)中使用的标准最终层,用于总结训练NN中编码的信息并返回预测。然而,Softmax只利用了训练模型中编码的类特定结构的子集,并忽略了潜在的有价值的信息:在训练期间,模型编码类响应分布的阵列$D$,其中$D_{ij}$是$j^{th}$前Softmax读出神经元对$i^{th}$类的响应的分布。给定一个测试样本,Softmax隐式地只使用这个数组$D$中对应于读出神经元对样本真实类的响应的行。利用更多的这个阵列$D$可以提高分类器的准确性,因为两个竞争类的可能性可以在$D$的其他行中编码。为了探索这种潜在的资源,我们开发了一种混合分类器(Softmax池混合,$SPH$),它使用Softmax对高分样本,但对低分样本使用对数似然方法,池的信息从全阵列$D$。我们将$SPH$应用于在矢量化MNIST数据集上训练的模型,以达到不同的准确度。仅在测试时,$SPH$仅替换训练NN中的最后Softmax层。所有训练都与Softmax相同。由于池化分类器在低得分样本上的性能优于Softmax,因此$SPH$使用完全相同的训练模型将测试集误差降低了6%至23%,而无论Softmax的基线精度如何。这种误差的减少反映了Softmax未使用的训练NN的隐藏容量。
2019-12-06 cs.LG stat.ML
BERT-CNN: a Hierarchical Patent Classifier Based on a Pre-Trained Language Model
School of Foreign Languages and Cultures, Xiamen University(厦门大学外文学院);DeepAI Tech Co., Ltd(深湃信息科技(深圳)有限公司)
自动分类是将文本文档自动分配到预定义类别的过程。一个准确的专利自动分类器对于专利发明人和专利审查员在知识产权保护、专利管理和专利信息检索等方面都是至关重要的。我们提出了BERT-CNN,一个基于预训练的语言模型的分层专利分类器,通过训练从中国国家信息中心收集的国家专利申请文件。实验结果表明,BERT-CNN的准确率达到84.3%,远远优于两个比较基线的方法,卷积神经网络和递归神经网络。我们没有将我们的模型应用于国际专利分类的第三和第四层次-“子类”和“组”。注意力机制的可视化显示BERT-CNN在表示词汇和语义方面获得了新的最先进的结果。本文证明了BERT-CNN在专利自动分类领域的实用性和有效性。
2019-11-03 cs.CL cs.LG
Explaining Classifiers Trained on Raw Hierarchical Multiple-Instance Data
Avast Software(Avast软件公司);Czech Technical University in Prague(布拉格捷克理工大学)
从原始数据输入中学习,从而限制了对特征工程的需求,是机器学习方法在各个领域中的许多成功应用的组成部分。虽然许多问题自然地转化为在标准分类器中直接可用的向量表示,但是许多数据源具有结构化数据交换格式的自然形式(例如,JSON/XML格式的安全日志)。现有的方法,如分层多实例学习(HMIL),允许从原始形式的数据中学习。然而,在原始结构化数据上训练的分类器的解释在很大程度上仍未被探索。通过将这些模型视为子集选择问题,我们演示了如何使用计算效率高的算法生成具有良好特性的可解释解释性解释。我们比较采用图神经网络的解释技术,显示了一个数量级的速度和更高质量的解释。
2022-08-04 cs.LG stat.ML
Fast Meta-Learning for Adaptive Hierarchical Classifier Design
Econometric Institute, Erasmus University Rotterdam(鹿特丹伊拉斯姆斯大学计量经济研究所);Electrical Engineering and Computer Science, University of Michigan(密歇根大学电气工程与计算机科学学院)
我们提出了一个新的分裂标准的元学习方法,多类分类器的设计,自适应地合并到一个树结构层次的日益困难的二进制分类问题的类。分类树是从经验估计的Henze-Penrose界的成对贝叶斯误分类率,排名的二进制子问题的分类难度。建议的经验估计的贝叶斯出错率计算从最小生成树(MST)的样本从每对类。此外,提出了一种元学习技术,用于从整个数据集上的单个MST中量化每个单独类的一对剩余贝叶斯出错率。在基准数据集上的大量模拟表明,所提出的分层方法通常可以比竞争方法更快地学习,同时达到竞争的准确性。
2017-11-09 cs.AI cs.IT cs.LG
Semi-Supervised Hierarchical Multi-Label Classifier Based on Local Information
Instituto Nacional de Astrofísica, Óptica y Electrónica(国家天文、光学与电子研究所)
本文提出基于局部信息的半监督层次多标签分类器 SSHMC-BLI,利用未标记实例的已标记邻居标签路径构建伪标签,在 12 个功能基因组学数据集上验证其能显著提升仅用标记数据训练的层次分类器性能。
2024-04-30 cs.LG q-bio.QM
HSFN: Hierarchical Selection for Fake News Detection building Heterogeneous Ensemble
Centro de Informática (CIn), Universidade Federal de Pernambuco (UFPE)(计算机学院(CIn),佛罗里达州立大学(UFPE));École de Technologie Supérieure (ÉTS), Université du Québec(高级技术学院(ÉTS),魁北克大学)
针对假新闻检测中集成分类器多样性不足的问题,提出HSFN,通过成对多样性、层次聚类和HierarchySelect选择高多样性且性能可靠的异构分类器池。
2025-08-29 cs.AI cs.CL cs.LG
To Each Metric Its Decoding: Post-Hoc Optimal Decision Rules of Probabilistic Hierarchical Classifiers
Soda, Inria Saclay, France(Soda,法国萨克利研究所);Fundamental Technologies, USA(Fundamental Technologies,美国)
本文提出针对目标度量对概率层次分类器输出进行事后最优解码的框架,推导了节点预测及节点子集预测场景下的最优决策规则,并通过实验证明其在欠确定场景中优于启发式方法。
2025-06-02 cs.LG stat.ML
Accurate parameter estimation for Bayesian Network Classifiers using Hierarchical Dirichlet Processes
Monash University(莫纳什大学)
本文介绍了一种新的贝叶斯网络分类器(BNC)的概率表的参数估计方法,使用分层Dirichlet过程(HDPs)。本文的主要结果是表明,改进的参数估计允许BNC优于领先的学习方法,如随机森林的0-1损失和RMSE,尽管只是在分类数据集。随着数据资产变得越来越大,进入被大肆宣传的“大”世界,高效准确的分类需要三个主要元素:(1)具有低偏差的分类器,可以捕获大型数据集的细节;(2)可以从数据中学习而不必将其全部保存在主内存中的非核心学习器;(3)可以非常有效地分类新数据的模型。最新的贝叶斯网络分类器(BNC)满足这些要求。它们的偏差可以通过增加图中节点的父节点的数量来容易地控制。它们的结构可以通过有限的数据传递次数在核心之外学习。然而,由于偏差被降低以准确地建模分类任务,因此其参数估计的准确性也降低,因为每个参数都是从不断减少的数据量中估计的。在本文中,我们介绍了使用分层Dirichlet过程的准确BNC参数估计。我们在68个标准数据集上进行了一系列广泛的实验,并证明了我们得到的分类器在预测方面与随机森林非常有竞争力,同时保持了核心外的能力和优越的分类时间。
2018-05-08 cs.LG stat.ML
Analyzing Machine Learning Models for Credit Scoring with Explainable AI and Optimizing Investment Decisions
Institute of Financial Service Analytics(金融服务分析研究所);Alfred Lerner College of Business and Economics(阿尔弗雷德·勒纳商业与经济学院);University Of Delaware(特拉华大学)
本文探讨了与可解释AI(XAI)实践相关的两个不同但相关的问题。机器学习(ML)在金融服务中越来越重要,例如预批准,信贷承销,投资以及各种前端和后端活动。机器学习可以自动检测训练数据中的非线性和相互作用,从而促进更快、更准确的信贷决策。然而,机器学习模型是不透明的,难以解释,这是建立可靠技术所需的关键要素。该研究比较了各种机器学习模型,包括单分类器(逻辑回归,决策树,LDA,QDA),异构集成(AdaBoost,随机森林)和顺序神经网络。结果表明,集成分类器和神经网络优于。此外,两种先进的事后模型不可知性解释技术- LIME和SHAP使用美国P2P借贷平台Lending Club提供的开放获取数据集来评估基于ML的信用评分模型。在这项研究中,我们还使用机器学习算法来开发新的投资模型,并探索能够最大限度地提高盈利能力同时最小化风险的投资组合策略。
2022-09-19 cs.CY cs.LG stat.ML
Efficient Parameter Estimation for Bayesian Network Classifiers using Hierarchical Linear Smoothing
Faculty of Information Technology Monash University(信息技术学院莫纳什大学)
提出一种基于对数线性回归的分层线性平滑参数估计方法,使贝叶斯网络分类器在分类数据上性能优于HDP平滑且速度快数个数量级,保持与随机森林相媲美的竞争力。
2025-05-29 cs.LG stat.ML
Bottom-up Hierarchical Classification Using Confusion-based Logit Compression
Ohio State University(俄亥俄州立大学);AFRL/RYAP(美国空军研究实验室/赖特-帕特森空军基地研究部)
在这项工作中,我们提出了一种方法来有效地计算标签后验的基本平面分类器中存在的几个验证的例子内自自底向上的【形】的分层推理框架。独立的验证集(不用于训练基本分类器)对于后验估计是优选的,以避免过拟合基本分类器,然而,小的验证集限制了可以有效使用的特征的数量。我们提出了一个简单的,但强大的,logit向量压缩方法的基础上广义logits和标签混淆的任务标签后验估计的上下文中的分层分类。在多个大小的验证集上提供了与其他压缩技术的广泛比较实验,并与相关的分层分类方法进行了比较。所提出的方法缓解了没有足够的验证实例进行可靠的后验估计的问题,同时保持强大的分层分类性能。
2021-10-05 cs.CV cs.LG
Towards Sparse Hierarchical Graph Classifiers
University of Cambridge(剑桥大学);Faculty of Computing, Union University, Belgrade(贝尔格莱德联盟大学计算学院);University of Amsterdam(阿姆斯特丹大学)
图上表示学习的最新进展,主要是利用图卷积网络,为许多基于图的基准任务带来了实质性的改进。虽然学习节点嵌入的新方法非常适合于节点分类和链接预测,但它们在图分类(预测整个图的单个标签)中的应用仍然很基本,通常使用单个全局池化步骤来聚合节点特征或手工设计的固定启发式算法来分层粗化图结构。改善这一点的一个重要步骤是可微图粗化--在图神经网络管道内以自适应的数据依赖方式减小图的大小的能力,类似于CNN内的图像下采样。然而,之前的主要池化方法在训练期间具有二次内存需求,因此无法扩展到大型图。在这里,我们结合了几个最新的进展,图神经网络设计证明,有竞争力的层次图分类结果是可能的,而不牺牲稀疏性。我们的研究结果在几个已建立的图分类基准上得到了验证,并为基于图的神经网络的未来研究指明了一个重要方向。
2018-11-03 cs.AI cs.LG cs.SI
An EMD-based Method for the Detection of Power Transformer Faults with a Hierarchical Ensemble Classifier
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
提出了一种基于经验模态分解的溶解气体分析(DGA)数据Transformer故障检测方法。基于比率的DGA参数使用其偏度进行排名。最佳的固有模式函数系数的集合,从排名的DGA参数获得。提出了一种基于XGBoost的分层分类方法,用于对特征进行分类,识别6类不同的Transformer故障。所提出的方法的性能进行了研究,公开提供的DGA数据的377 Transformers。结果表明,该方法可以产生超过90%的灵敏度和准确性检测Transformer故障,性能优越,相比传统的方法,以及现有的几个机器学习为基础的技术。
2021-10-21 cs.LG eess.SP stat.CO
HD-CNN: Hierarchical Deep Convolutional Neural Network for Large Scale Visual Recognition
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学);eBay Research Lab(eBay研究实验室);The University of Hong Kong(香港大学)
在图像分类中,不同对象类别之间的视觉可分性是高度不均匀的,并且某些类别比其他类别更难区分。这样困难的分类需要更多专门的分类器。然而,现有的深度卷积神经网络(CNN)被训练为平坦N路分类器,并且很少努力利用类别的分层结构。在本文中,我们通过将深度CNN嵌入到类别层次结构中来引入分层深度CNN(HD-CNN)。HD-CNN使用粗类别分类器分离简单类别,同时使用细类别分类器区分困难类别。在HD-CNN训练过程中,组件预训练之后是全局微调,使用粗类别一致性项正则化的多项式逻辑损失。此外,精细类别分类器和层参数压缩的条件执行使HD-CNN可扩展为大规模视觉识别。我们在CIFAR 100和大规模ImageNet 1000类基准数据集上都取得了最先进的结果。在我们的实验中,我们建立了三种不同的HD-CNN,它们分别将标准CNN的前1个误差降低了2.65%、3.1%和1.1%。
2015-05-16 cs.AI cs.CV cs.LG
Generating Hierarchical Structures for Improved Time Series Classification Using Stochastic Splitting Functions
Kırıkkale University(克勒克卡莱大学)
本文提出一种基于随机分裂函数的层次分裂聚类方法,无需先验知识即可为多类时间序列数据生成层次结构,并在46个数据集上验证其能显著提升svm和rocket的分类性能。
2023-09-21 cs.LG
Automated Segmentation of Knee MRI Using Hierarchical Classifiers and Just Enough Interaction Based Learning: Data from Osteoarthritis Initiative
Iowa Institute for Biomedical Imaging(爱荷华生物医学影像研究所);The University of Iowa(爱荷华大学);University of Pennsylvania(宾夕法尼亚大学)
我们提出了一种完全自动化的基于学习的方法,用于在骨关节炎(OA)的情况下分割膝关节软骨。该算法采用两个随机森林分类器的层次集。第一个是邻域近似森林,其输出概率图被用作第二随机森林(RF)分类器的特征集。分层方法的输出概率被用作多对象和表面的分层最优图分割(LOGISMOS)中的成本函数。在这项工作中,我们强调了一种新的后处理交互称为刚刚足够的互动(JEI),它可以快速,准确地生成一个大的训练样本。15和13名受试者的不相交集用于训练,并在另一个53个膝关节数据集的不相交集上进行测试。所有图像均使用双回波稳态(DESS)MRI序列获取,并且来自骨关节炎倡议(OAI)数据库。与传统的基于梯度的成本函数相比,使用基于学习的成本函数的分割性能显示出分割错误($p< 0.05$)的显著减少。
2019-03-10 cs.CV cs.LG
Exploring Hierarchical Classification Performance for Time Series Data: Dissimilarity Measures and Classifier Comparisons
本研究比较层次与平面分类在时间序列数据上的性能,发现使用TSD相异度与MINIROCKET时层次分类显著更优,而其他分类器下平面分类占优,强调了相异度度量选择的重要性。
2024-02-07 cs.LG
Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning
Samsung Strategy and Innovation Center(三星战略与创新中心)
预训练的Transformer模型的微调已成为解决常见NLP任务的标准方法。大多数现有的方法依赖于在这样的网络之上随机初始化的分类器。我们认为,这种微调过程是次优的,因为预训练的模型在特定的分类器标签上没有先验知识,而它可能已经学习了任务的内在文本表示。在本文中,我们介绍了一种新的评分方法,该方法将可扩展性排名任务转换为全文格式,并利用在预训练阶段调整的掩蔽语言建模头部。我们研究了常识推理任务,其中模型必须对给定前提的一组假设进行排名,重点是COPA,Swag,HellaSwag和CommonsenseQA数据集。通过利用我们的评分方法而不进行微调,我们能够产生与监督方法相当的强基线(例如,COPA上80%的测试准确度)。此外,当直接对所提出的评分函数进行微调时,我们表明我们的方法在随机重新启动时提供了更稳定的训练阶段(例如,COPA测试准确性的$\times 10$标准差降低),并且需要比标准分类器方法更少的注释数据才能达到同等性能。
2020-04-29 cs.CL cs.LG
Connecting Sphere Manifolds Hierarchically for Regularization
Samsung SAIT AI Lab(三星SAIT人工智能实验室);Samsung Advanced Institute of Technology (SAIT)(三星先进技术研究院(SAIT))
本文考虑了分层组织类的分类问题。我们强制每个类的分类器(超平面)属于一个球面流形,其中心是其超类的分类器。然后,基于它们的层次关系连接各个球面流形。我们的技术取代了神经网络的最后一层,结合了球形全连接层与分层。这种正则化可以提高广泛使用的深度神经网络架构(ResNet和DenseNet)在公开数据集(CIFAR 100,CUB 200,斯坦福狗,斯坦福汽车和Tiny-ImageNet)上的性能。
2021-06-25 cs.CV cs.LG
Diversity Enhanced Active Learning with Strictly Proper Scoring Rules
Monash University(莫纳什大学)
本文研究了文本分类中主动学习的获取函数。预期损失减少(ELR)方法侧重于分类错误减少的贝叶斯估计,最近更新了不确定性的平均客观成本(MOCU)。我们将ELR框架转换为估计(严格正确)分数的增加,如对数概率或负均方误差,我们称之为平均正确分数的贝叶斯估计(BEMPS)。我们还证明了与MOCU借用技术的收敛结果。为了让更好的实验与新的采集功能,我们开发了一个互补的批量AL算法,它鼓励多样性的向量的预期变化的分数为未标记的数据。为了实现高性能的文本分类器,我们在预训练的语言模型上结合了集成和动态验证集的构建。广泛的实验评估,然后探讨这些不同的采集功能如何执行。结果表明,使用均方误差和对数概率与BEMPS产生强大的捕获功能,始终优于其他测试。
2021-10-27 cs.AI cs.CL cs.LG
Hierarchical Specialised Ensembles for Classification of Zebrafish Phenotypes Using the Selected Image Recognition Methods
Institute of Computer Science, Warsaw University of Technology(华沙理工大学计算机科学研究所);Nencki Institute of Experimental Biology of the Polish Academy of Sciences(波兰科学院恩基实验生物学研究所);Medical University of Lublin(卢布林医科大学);Medical University of Warsaw(华沙医科大学)
研究提出三种用于斑马鱼表型分类的分层集成设置,第一阶段用四类分类器初分,“其他”类再经不同集成设计处理,用三种骨干架构比较,结果显示ConvNeXt性能最佳,专用分层集成有效,为表型识别提供新方法。
2026-07-20 cs.CV cs.LG
Prediction Scores as a Window into Classifier Behavior
LNM Institute of Information Technology(LNM信息技术学院);Centrum Wiskunde and Informatica(荷兰数学与计算机科学中心);Bosch Research(博世研究院)
大多数多类分类器通过对类进行评分并选择得分最高的类来对测试样本进行预测。分析这些预测分数有助于理解分类器的行为并评估其可靠性。我们提出了一个交互式的可视化,方便每类分析这些分数。我们的系统名为Classilist,可以将这些分数与分类正确性以及底层样本及其特征相关联。我们说明了如何这样的分析揭示了不同的分类器的不同行为。Classilist可在线使用,以及源代码、视频教程和R、RapidMiner和KNIME插件,网址为https://katehara.github.io/classilist-site/。
2017-11-18 cs.LG stat.ML
An Effective Multi-Resolution Hierarchical Granular Representation based Classifier using General Fuzzy Min-Max Neural Network
Advanced Analytics Institute, Faculty of Engineering and Information Technology, University of Technology Sydney(悉尼科技大学工程与信息技术学院高级分析研究所);Data Science Centre, Faculty of Engineering and Information Technology, University of Technology Sydney(悉尼科技大学工程与信息技术学院数据科学中心)
出于简化数据以符合人类思维和解决问题以及容忍不确定性的实际需求,信息粒正在成为不同数据抽象层次上的数据处理中的重要实体。提出了一种基于超盒模糊集的多分辨率分级粒度表示(MRHGRC)分类器构造方法。所提出的方法形成了一系列的粒度推理层次通过许多层次的抽象。我们的分类器的一个有吸引力的特点是,它可以保持相对较高的精度在一个低的粒度的基础上重用的知识从较低的抽象层次。此外,我们的方法可以显着减少数据的大小,以及处理与现实世界中的应用程序的数据的不确定性和不完整性。分类器的构造过程包括两个阶段。第一阶段是在最大的粒度级别上制定模型,而后期阶段旨在降低所构建模型的复杂性,并从更高抽象级别的数据中推导出模型。在合成数据集和真实数据集上进行的实验结果表明,与其他类型的模糊最小-最大神经网络和常见的机器学习算法相比,我们的方法在训练时间和预测性能方面是有效的。
2019-12-03 cs.LG stat.ML
Combined convolutional and recurrent neural networks for hierarchical classification of images
Northwestern University(西北大学);Allstate(好事达)
基于CNN的深度学习模型主要用于图像分类任务。这种方法假设对象类别的独立性,通常使用CNN作为特征学习器,并在其上应用平面分类器。许多设置中的对象类别具有层次关系,利用这些关系的分类器应该表现得更好。我们提出了分层分类模型,结合了CNN来提取图像的分层表示,以及RNN或序列到序列模型来捕获类的分层树。此外,我们将残差学习应用于RNN部分,以便于训练我们的复合模型并提高模型的泛化能力。在真实世界专有图像数据集上的实验结果表明,我们的分层网络比最先进的CNN表现得更好。
2019-11-18 cs.LG stat.ML
Fine-grain Inference on Out-of-Distribution Data with Hierarchical Classification
Duke University(杜克大学);Air Force Research Laboratory(美国空军研究实验室)
必须信任机器学习方法,以便在现实环境中做出适当的决策,即使面对分发外(OOD)样本也是如此。许多当前的方法只是旨在检测OOD示例,并在给出未识别的输入时提醒用户。然而,当OOD样本与训练数据显著重叠时,二进制异常检测是不可解释的或不可解释的,并且向用户提供很少的信息。我们提出了一种新的OOD检测模型,该模型在不同的粒度级别上进行预测,因为输入变得更加模糊,模型预测变得更粗糙,更保守。考虑一个动物分类器,它遇到了一个未知的鸟类和一辆汽车。这两种情况都是OOD,但是如果分类器认识到它对特定物种的不确定性太大,并且预测鸟类而不是将其检测为OOD,则用户可以获得更多的信息。此外,我们诊断分类器的性能在每个层次结构的层次结构,提高模型预测的可解释性和可解释性。我们证明了分层分类器的细粒度和粗粒度的OOD任务的有效性。
2022-09-09 cs.CV cs.LG
Set-valued prediction in hierarchical classification with constrained representation complexity
Ghent University(根特大学);LMU Munich(慕尼黑大学);Poznań University of Technology(波兹南理工大学);Yahoo! Research(雅虎研究院)
集值预测是多类分类中的一个众所周知的概念。当分类器不确定测试实例的类标签时,它可以预测一组类而不是单个类。在本文中,我们专注于分层多类分类问题,其中有效集(通常)对应于层次结构的内部节点。我们认为,这是一个非常强的限制,我们提出了一个放宽通过引入的概念表示复杂性的预测集。结合概率分类器,这导致了一个具有挑战性的推理问题,需要特定的组合优化算法。我们提出了三种方法,并在基准数据集上对其进行了评估:一种基于矩阵向量乘法的朴素方法,一种重新表述为带有冲突图的背包问题的方法,以及一种递归树搜索方法。实验结果表明,最后一种方法是计算效率比其他两种方法,由于层次分解的条件类分布。
2022-03-13 cs.AI cs.LG stat.ML
A Mirroring Theorem and its Application to a New Method of Unsupervised Hierarchical Pattern Classification
Aurora’s Engineering College(奥罗拉工程学院);Srinidhi Institute of Science and Technology(斯里尼德希科技学院)
本文在分析了现有文献的基础上,我们证明了一个重要的定理,称为镜像定理,它肯定了给定一个样本集合,其中有足够的信息,使它可以被分类为类和子类,然后(i)存在一个映射,分类和子分类这些样本(ii)存在一个分层分类器,可以通过使用镜像神经网络(MNNs)构建。结合可以近似该映射的聚类算法。因此,镜像定理的证明提供了一个理论基础的存在性和实际可行性的层次分类器,给定的地图。我们提出的镜像定理也可以被认为是Kolmogrovs定理的扩展,为无监督分类提供了一个现实的解决方案。我们开发的技术在本质上是通用的,并且已经导致了学习机器的构建,这些学习机器是(i)树状结构,(ii)模块化,(iii)每个模块运行在一个共同的算法(串联算法)上,以及(iv)自我监督。我们实际上已经建立了体系结构,开发了这样一个层次分类器的串联算法,并在一个示例问题上进行了演示。
2009-11-02 cs.LG
Global Hierarchical Neural Networks using Hierarchical Softmax
Erasmus University Rotterdam(鹿特丹伊拉斯谟大学)
本文提出利用 hierarchical softmax 构建全局分层分类器的框架,适用于类别间存在自然层次结构的分类任务,在四个文本分类数据集上显著提升了 macro-F1 和 macro-recall。
2023-08-02 cs.CL cs.LG stat.ML
Label Granularity Skew in Federated Learning with Hierarchical Image Classification
School of Computer Science and Engineering, Soongsil University(崇实大学计算机科学与工程学院);School of Computing and Augmented Intelligence, Arizona State University(亚利桑那州立大学计算与增强智能学院)
本文针对联邦分层分类中存在的标签粒度偏差问题,提出FedBDFT方法,经实验验证该方法可显著提升严重标签粒度偏差下的鲁棒性,且能更好保留未见细粒度类别的分层表示。
2026-08-11 cs.LG
Enforcing Consistency and Fairness in Multi-level Hierarchical Classification with a Mask-based Output Layer
University of New South Wales(新南威尔士大学);University of Southampton(南安普顿大学);Deakin University(迪肯大学);Mohamed Bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);Macquarie University(麦考瑞大学);Technology Innovation Institute(技术创新研究院)
针对传统多级层次分类存在预测不一致、难适配公平性等新任务的问题,提出一种模型无关的基于掩码的输出层,可强化分类体系并优化一致性、公平性等目标,在公平性和准确性上均优于现有方法。
2025-03-19 cs.LG
How Reliable Is Your Jailbreak Judge? Calibration and Adversarial Robustness of Automated ASR Scoring
Veyon Solutions
研究评估了LLM越狱攻击成功率(ASR)的自动评判器(安全分类器与LLM评判)的可靠性,发现两者存在相反缺陷,且易受攻击,建议报告评判器的精确率和召回率并校正ASR。
2026-06-26 cs.CL cs.CR cs.LG