A Distributed Approach towards Discriminative Distance Metric Learning
University of Technology, Sydney（悉尼科技大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；IBM；Microsoft Research Asia（微软亚洲研究院）
距离度量学习在发现数据中的内在关系方面是成功的。然而，大多数算法的计算要求时，问题的大小变得很大。在本文中，我们提出了一个判别式的度量学习算法，并开发了一个分布式的计划学习度量的中等大小的数据子集，并聚集的结果到一个全球性的解决方案。该技术利用了并行计算的能力。聚合距离度量学习（ADML）算法具有很好的数据规模扩展性，并可以通过分区来控制。我们从理论上分析并提供了由分布式处理引起的误差的界。我们已经进行了实验评估ADML，无论是专门设计的测试和实际的图像注释任务。这些测试表明，ADML实现了国家的最先进的性能，而成本只有大多数现有方法的一小部分。
2019-05-11 cs.DC cs.LG stat.ML
Fréchet random forests for metric space valued regression with non euclidean predictors
epoch intelligence；Univ. Bordeaux（波尔多大学）；INSERM（法国国家健康与医学研究院）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立综合理工学院）；IMB（数学与基础科学研究所）
本文提出Fréchet树和Fréchet随机森林，通过引入新的节点分裂方法和推广预测过程，支持输入输出变量在一般度量空间取值的异构数据回归，并验证了其一致性与有效性。
2024-02-16 cs.LG stat.ME stat.ML
Comparison-Based Random Forests
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
假设我们从一般度量空间中得到一组项目，但我们既不能访问数据的表示，也不能访问数据点之间的距离。相反，假设我们可以主动选择一个三元组（A，B，C），并询问一个预言家，A是更接近B还是更接近C。在本文中，我们提出了一种新的随机森林算法的回归和分类，只依赖于这样的三元组比较。在本文的理论部分，我们建立了这样的森林的相容性的充分条件。在一组全面的实验中，我们证明了所提出的随机森林是有效的分类和回归。特别是，它甚至可以与直接访问数据的度量表示的其他方法竞争。
2018-06-18 cs.LG stat.ML
Discriminative Learning of Similarity and Group Equivariant Representations
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；The University of Chicago（芝加哥大学）；Fermilab（费米实验室）
机器学习中最基本的问题之一是比较示例：给定一对对象，我们希望返回一个值，该值表示（不）相似度。相似性通常是特定于任务的，预定义的距离可能表现不佳，导致度量学习的工作。然而，能够学习相似性敏感的距离函数也需要获得手头对象的丰富的、有区别的表示。在这篇论文中，我们提出了对这两个目的的贡献。在论文的第一部分中，假设数据具有良好的表示，我们提出了一个度量学习的公式，与以前的工作相比，它更直接地尝试优化k-NN的准确性。我们还提出了扩展这个公式的度量学习kNN回归，非对称相似性学习和判别学习的汉明距离。在第二部分中，我们考虑一种情况，即我们在有限的计算预算上，即在可能度量的空间上进行优化是不可行的，但是访问标签感知距离度量仍然是可取的。我们提出了一个简单的，计算成本低的方法来估计一个动机良好的度量，只依赖于梯度估计，讨论理论和实验结果。在最后一部分，我们考虑组等变卷积神经网络（GCNN）来解决代表性问题。对称变换的等方差在GCNN中被显式编码;经典的CNN是最简单的例子。特别是，我们提出了一个SO（3）-等变神经网络架构的球形数据，完全在傅立叶空间中运行，同时也提供了一个形式主义的设计完全傅立叶神经网络是等变的任何连续紧致群的行动。
2022-08-30 cs.LG stat.ML
A discriminative approach for finding and characterizing positivity violations using decision trees
IBM-Research Haifa Labs（IBM研究海法实验室）
因果推断中的正性假设（也称为共同支持和协变量重叠）对于获得有效的因果估计是必要的。因此，确认它在给定数据集中成立是任何因果分析的重要第一步。迄今为止，大多数常见的方法都不足以发现非正性，因为它们不适用于现代高维协变量空间，或者它们无法确定违反正性的亚群。为了克服这些问题，我们建议利用决策树来检测违规行为。通过将协变量空间划分为相互排斥的区域，每个区域具有最大化的治疗组同质性，决策树可以用于自动检测违反正性的子空间。通过增加一个额外的随机森林模型的方法，我们可以量化每个子空间内的违规的鲁棒性。这个解决方案是可扩展的，并提供了一个可解释的特征的子空间中发生的违规行为。我们提供了一个可视化的分层规则，定义每个子群体，结合其中的积极违规的严重程度。我们还提供了一个交互式版本的可视化，允许更深入地了解每个子空间的属性。
2019-07-18 cs.LG stat.ML
HDI-Forest: Highest Density Interval Regression Forest
Ctrip Travel Network Technology Co., Limited.（携程旅游网络技术有限公司）
最近提出的基于质量的PI学习原理通过寻找满足指定覆盖概率要求的最优预测区间（PI），可以提取出更好地概括回归任务中预测确定性的高质量PI，并已被广泛应用于解决许多实际问题。目前，最先进的基于质量的PI估计方法是基于深度神经网络或线性模型。在本文中，我们提出了最高密度区间回归森林（HDI-Forest），一种新的基于质量的PI估计方法，而不是基于随机森林。HDI-Forest不需要额外的模型训练，并直接重用在标准随机森林模型中学习的树。HDI-Forest算法利用随机森林的特性，能够更直接、有效地优化PI质量指标。在基准数据集上的大量实验表明，HDI-Forest显著优于以前的方法，在实现相同或更好的覆盖概率的同时，将平均PI宽度减少了20%以上
2019-07-22 cs.LG stat.ML
Semi-Supervised Nonlinear Distance Metric Learning via Forests of Max-Margin Cluster Hierarchies
SUNY at Buffalo（纽约州立大学布法罗分校）
度量学习是许多数据挖掘和机器学习应用的关键问题，长期以来一直由马氏方法主导。非线性度量学习的最新进展已经证明了非马氏距离函数的潜在能力，特别是基于树的函数。我们提出了一种新的非线性度量学习方法，它使用半监督最大边缘聚类的迭代，分层变体来构建聚类层次的森林，其中每个层次都可以被解释为数据上的弱度量。通过在层次训练过程中引入随机性，并结合许多半随机弱层次度量的输出，我们可以得到一个强大而鲁棒的非线性度量模型。这种方法有两个主要贡献：第一，它是半监督的，结合了来自约束和无约束点的信息。其次，我们采取了一种宽松的方法来满足约束，允许该方法满足不同层次的约束的不同子集，而不是试图同时满足所有这些。这导致了更强大的学习算法。我们比较我们的方法，一些国家的最先进的基准$k$ -最近邻分类，大规模图像检索和半监督聚类问题，并发现我们的算法产生的结果相当或优于国家的最先进的，是显着更强大的噪声。
2014-02-23 cs.IR cs.LG stat.ML
TrueBranch: Metric Learning-based Verification of Forest Conservation Projects
ETH Zurich（苏黎世联邦理工学院）；Massachusetts Institute of Technology（麻省理工学院）
国际利益攸关方越来越多地投资于抵消碳排放，例如，通过向森林保护项目发放生态系统服务付款。发放可信支付需要对生态系统服务进行透明的监测、报告和验证（MRV）流程（例如，森林中储存的碳）。然而，目前的衡量、报告和核实程序要么太昂贵（对森林进行实地检查），要么不准确（卫星）。最近的工作提出了低成本和准确的MRV通过自动确定森林碳从无人机图像，由土地所有者收集。然而，MRV的自动化打开了土地所有者报告不真实无人机图像的可能性。为了防止不真实的报告，我们提出了TrueBranch，这是一种基于度量学习的算法，可以验证森林保护项目中无人机图像的真实性。TrueBranch旨在通过将其与公共卫星图像进行匹配来检测不真实的无人机图像。初步结果表明，名义距离度量不足以可靠地检测不真实报告的图像。TrueBranch利用度量学习来创建特征嵌入，其中真实和不真实收集的图像可以通过距离阈值轻松区分。
2020-04-21 cs.CV cs.LG cs.RO
Exponential Discriminative Metric Embedding in Deep Learning
Nankai University（南开大学）；Tianjin University（天津大学）
随着卷积神经网络（CNN）在目标识别领域取得的巨大成功，深度学习在计算机视觉领域得到了广泛的应用。深度度量学习（Deep Metric Learning，DML）将深度学习与传统的度量学习相结合，在许多领域，特别是在分类任务方面，都创造了新的记录。在本文中，我们提出了一种可复制的DML方法，称为包含和删除（IE）损失，迫使样本和其指定的类中心之间的距离远离该样本到其他类中心的平均距离，在指数特征投影空间中具有较大的余量。通过对IE损失的监督，我们可以训练CNN来增强类内紧致性和类间可分性，从而在从对象识别到人脸验证的几个公共数据集上取得了很大的改进。我们进行了比较研究，我们的算法与几个典型的DML方法在三种不同的网络容量。在三个目标识别数据集和两个人脸识别数据集上的实验表明，IE损失始终优于其他主流的DML方法，并接近最先进的结果。
2018-03-07 cs.CV cs.LG stat.ML
Medoid splits for efficient random forests in metric spaces
本文针对度量空间随机对象回归，提出基于中心点的随机森林分裂规则，替代计算昂贵的Fréchet均值，证明了渐近等价性与一致性，提升了计算效率并拓展了应用场景。
2023-06-29 stat.ME stat.ML
Generalising Random Forest Parameter Optimisation to Include Stability and Cost
Imperial College London（帝国理工学院）
随机森林是工业应用中最流行的分类和回归方法之一。为了有效，随机森林的参数必须仔细调整。这通常是通过选择最小化保留数据集上的预测误差的值来完成的。我们认为，减少错误是唯一的几个指标，必须考虑优化随机森林参数的商业应用。我们提出了一个新的度量，捕捉随机森林预测的稳定性，我们认为这是需要连续预测的情况下的关键。我们激励多标准优化的需要，表明在实际应用中，简单地选择导致最低误差的参数可以引入不必要的成本，并产生在独立运行中不稳定的预测。为了优化这种多标准的权衡，我们提出了一个新的框架，有效地找到这三个因素之间的原则性平衡使用贝叶斯优化。使用两个公开的真实世界的数据集证明了纯粹为减少误差优化森林参数的陷阱。我们表明，我们的框架导致的参数设置是显着不同的值发现的误差减少指标。
2017-07-13 cs.CY cs.LG stat.ML
A Unified Framework for Random Forest Prediction Error Estimation
University of California, Berkeley（加利福尼亚大学伯克利分校）；Pomona College（波莫纳学院）
我们引入了一个统一的框架，随机森林预测误差估计的基础上的条件预测误差分布函数的一种新的估计。我们的框架使简单的插件估计的关键预测不确定性指标，包括条件均方预测误差，条件偏差，和条件分位数，随机森林和许多变种。我们的方法是特别适合预测区间估计，我们通过模拟表明，我们提出的预测区间的竞争力，并在某些设置优于现有的方法。为了建立我们的框架的理论基础，我们证明了逐点一致的一致性更严格的版本，我们的条件预测误差分布函数的估计。这里介绍的估计器在R包forestError中实现。
2021-03-02 cs.LG stat.ML
Out-of-bag prediction balls for random forests in metric spaces
Carlos III University of Madrid（马德里卡洛斯三世大学）
本文提出在度量空间中利用袋外观测构建预测区域的方法，用于评估随机森林预测的不确定性，通过数值实验验证其稳定性与较小的半径。
2026-04-03 stat.ME
Random Forest Weighted Local Fréchet Regression with Random Objects
East China Normal University（华东师范大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出随机森林加权局部Fréchet回归范式，利用随机森林生成局部自适应核，分别实现局部常数和局部线性Fréchet回归，并建立一致性、收敛速度与渐近正态性理论，在分布函数、对称正定矩阵和球面数据等复杂响应上显著优于现有方法。
2025-02-07 cs.LG stat.ML
Explicating feature contribution using Random Forest proximity distances
Sandia National Laboratories（桑迪亚国家实验室）
在随机森林中，邻近距离是数据进入决策空间的度量表示。通过观察输入中的变化如何映射到该空间中实例的移动，我们能够确定每个特征对决策过程的独立贡献。对于二进制特征向量，这个过程是完全指定的。当输入中的这些变化使特定实例更接近组内或组外时，可以揭示每个特征的独立贡献。使用这种技术，我们能够计算每个特征在确定如何做出黑盒决策方面的贡献。这允许解释的决策过程中，审计的分类器，和事后分析的错误分类。
2018-07-17 cs.LG stat.ML
Explainable Matrix -- Visualization for Global and Local Interpretability of Random Forest Classification Ensembles
Federal Institute of São Paulo (IFSP)（圣保罗联邦学院（IFSP））；University of São Paulo (USP)（圣保罗大学（USP））；Dalhousie University（达尔豪斯大学）
在过去的几十年中，分类模型已被证明是必不可少的机器学习工具，因为它们在各个领域中具有潜力和适用性。近年来，北方的大多数研究人员一直致力于改进定量指标，尽管缺乏有关模型的决策信息，这些指标传达。这种模式最近发生了变化，除了表格和数字之外，帮助解释模型决策的策略越来越重要。作为这一趋势的一部分，可视化技术已被广泛用于支持分类模型的可解释性，其中重点关注基于规则的模型。尽管取得了这些进展，但现有的方法在视觉可扩展性方面存在限制，并且大型和复杂模型的可视化，例如由随机森林（RF）技术产生的模型，仍然是一个挑战。在本文中，我们提出了可解释矩阵（ExMatrix），一种新的可视化方法RF可解释性，可以处理大量的规则模型。它采用了一个简单而强大的矩阵式视觉隐喻，其中行是规则，列是特征，单元格是规则谓词，从而可以分析整个模型并审计分类结果。通过不同的例子证实了ExMatrix的适用性，展示了如何在实践中使用它来提高RF模型的可解释性。
2020-09-14 cs.LG stat.ML
Robust Similarity and Distance Learning via Decision Forests
Johns Hopkins University（约翰霍普金斯大学）
典型的距离，如欧几里得距离，往往无法捕捉项目之间的适当关系，随后导致低于标准的推理和预测。已经提出了许多算法用于自动学习合适的距离，其中大多数采用线性方法来学习特征空间上的全局度量。虽然这些方法提供了很好的理论属性，可解释性和计算效率的手段来实现它们，但它们的表达能力有限。那些被设计用来提高表现力的方法牺牲了线性方法的一个或多个好的特性。为了弥合这一差距，我们提出了一个高度表达的新的决策森林算法的远程学习的任务，我们称之为相似性和度量随机森林（SMERF）。我们表明，在SMRF树的建设过程是一个适当的推广标准的分类和回归树。因此，SMRF的数学驱动力通过其与回归森林的直接联系进行了研究，理论已经发展。它的能力，以近似任意的距离，并确定重要的功能是经验证明模拟数据集。最后，我们证明了它可以准确地预测网络中的链接。
2020-08-21 cs.IR cs.LG cs.SI
Learning Interpretable Characteristic Kernels via Decision Forests
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Delaware（特拉华大学）
本文提出 KMERF 方法，通过随机森林的叶节点邻近性诱导核，并证明其渐近特征性；实验表明该方法在高维双样本和独立性检验中优于现有核方法，同时具备可解释性，打破了性能与可解释性之间的权衡。
2024-10-11 cs.LG stat.ML
Case-based Explainability for Random Forest: Prototypes, Critics, Counter-factuals and Semi-factuals
BlackRock, Inc.（贝莱德集团）
针对随机森林等树模型中基于案例的可解释推理研究不足的问题，利用兼具几何与精度保持性的随机森林距离度量提取技术，研究原型、批评实例等四类XCBR方法并评估其解释能力。
2024-08-13 cs.LG q-fin.ST stat.ML
A Framework to Enhance Generalization of Deep Metric Learning methods using General Discriminative Feature Learning and Class Adversarial Neural Networks
University of Kufa（库法大学）；Ferdowsi University of Mashhad（马什哈德菲尔多西大学）；Hakim Sabzevari University（哈基姆·萨布泽瓦里大学）
度量学习算法的目标是学习一个距离函数，该函数将语义相似的数据项聚集在一起，并将不相似的数据项保持在一定距离。传统的马氏远程学习等价于求一个线性投影。相比之下，提出了深度度量学习（DML）方法，其自动从数据中提取特征并学习从输入空间到语义嵌入空间的非线性变换。近年来，提出了许多DML方法，通过提供新的采样策略或损失函数来提高学习度量的鉴别能力。当训练示例和测试示例都来自同一组类别时，这种方法非常有帮助。然而，它是不太有效的DML的许多应用，如图像检索和个人的重新识别。在这里，DML应该从观察到的类中学习一般的语义概念，并使用它们来从看不见的类别中排名或识别对象。忽略学习表示的泛化能力，只强调学习在观察类上更有区别的嵌入可能会导致过拟合问题。为了解决这个问题，我们提出了一个框架，以提高泛化能力的现有DML方法在零拍摄学习（Zero-Shot Learning，ZRL）设置一般但歧视性的表示学习，并采用类对抗神经网络。为了学习更一般的表示，我们建议在深度神经网络中使用中间层的特征图，并通过注意力机制增强它们的识别能力。此外，类对抗网络被用来执行深层模型，以寻求类不变的特征，用于DML任务。我们评估了我们的工作广泛使用的机器视觉数据集在一个可移植的设置。
2021-06-11 cs.CV cs.IR cs.LG
Banzhaf Random Forests
Ocean University of China（中国海洋大学）
随机森林是一种集成方法，它通过组合几个独立树的结果来进行预测。然而，随机森林的理论早已被它们的应用所超越。提出了一种基于合作博弈理论的随机森林算法。Banzhaf功率指数通过遍历可能的特征联盟来评估每个特征的功率。与以前使用的信息增益率的信息论，它只是选择最翔实的功能，Banzhaf功率指数可以被认为是一个度量的重要性，每个功能之间的依赖性的一组功能。更重要的是，我们已经证明了所提出的算法，命名为Banzhaf随机森林（BRF）的一致性。这种理论分析采取了一个步骤，缩小了分类问题的随机森林的理论和实践之间的差距。在多个UCI基准数据集上的实验表明，BRF与最先进的分类器相比具有竞争力，并且显著优于以前的一致性随机森林。特别是，它比以前的一致随机森林更有效。
2015-07-22 cs.CV cs.LG stat.ML
Metric Learning Driven Multi-Task Structured Output Optimization for Robust Keypoint Tracking
Zhejiang University（浙江大学）
作为计算机视觉和图形学中的一个重要且具有挑战性的问题，基于关键点的目标跟踪通常在时空统计学习框架中进行表述。然而，大多数现有的关键点跟踪器不能有效地建模和平衡以下三个方面的同时的方式：跨帧的时间模型的一致性，帧内的空间模型的一致性，和歧视性的功能建设。为了解决这个问题，我们提出了一个强大的关键点跟踪器基于时空多任务结构化输出优化驱动的判别度量学习。因此，时间模型一致性的特点是多任务结构化的关键点模型学习在几个相邻的帧，而空间模型的一致性是通过解决基于几何验证的结构化学习问题。通过度量学习实现区分性特征构造，以确保类内紧致性和类间可分性。最后，上述三个模块同时优化的联合学习计划。实验结果证明了我们的跟踪器的有效性。
2014-12-04 cs.CV cs.LG
Reliable ABC model choice via random forests
近似贝叶斯计算（ABC）方法提供了一个复杂的模型，包括模型选择的贝叶斯推断的详细方法。理论论证和模拟实验表明，然而，模型后验概率可能是不好的评估标准ABC技术。我们提出了一种新的方法的基础上的机器学习工具命名为随机森林进行选择之间的高度复杂的模型覆盖的ABC算法。因此，我们修改贝叶斯模型选择的理解和操作的方式，在我们重新措辞的推理目标作为一个分类问题，首先预测模型，最适合的数据与随机森林和推迟近似的后验概率的预测MAP的第二阶段也依赖于随机森林。与ABC模型选择的早期实现相比，ABC随机森林方法提供了几个潜在的改进：（i）它在竞争模型中通常具有更大的区分能力，（ii）它对汇总数据的统计数据的数量和选择更鲁棒，（iii）计算工作量大大减少（具有至少五十的计算效率增益），以及（iv）它包括所选模型的后验概率的近似。对随机森林的调用无疑将扩大ABC可以处理的数据集大小和模型复杂性的范围。我们通过分析对照实验以及真实的群体遗传学数据集来说明这种新方法的力量。所提出的方法在CRAN上可用的R包abcrf中实现。
2015-09-02 q-bio.PE stat.CO stat.ME
A Novel Random Forest Dissimilarity Measure for Multi-View Learning
Université de Rouen Normandie（鲁昂诺曼底大学）；École de Technologie Supérieure (ÉTS), Université du Québec（魁北克大学高等技术学院）
多视图学习是一种学习任务，其中数据由多个并发表示来描述。它的主要挑战通常是利用这些表示之间的互补性来帮助解决分类/回归任务。这是一个挑战，可以满足今天，如果有大量的数据可供学习。然而，这并不一定适用于所有现实世界的问题，其中数据有时是稀缺的（例如，与医疗环境有关的问题）。在这些情况下，一个有效的策略是使用基于实例之间的差异的中间表示。这项工作提出了新的方法来构建这些不同的表示，学习他们从数据与随机森林分类。更准确地说，提出了两种方法，修改随机森林的接近度的措施，使其适应的情况下，高维低样本量（HDLSS）的多视图分类问题。基于实例硬度测量的第二种方法比其他最先进的测量（包括原始RF接近度测量和大裕量最近邻（LMNN）度量学习测量）更精确。
2020-07-06 cs.LG stat.ML
Distributional Random Forests: Heterogeneity Adjustment and Multivariate Distributional Regression
ETH Zürich（苏黎世联邦理工学院）
随机森林（Breiman，2001）是一个成功的和广泛使用的回归和分类算法。它的吸引力和多功能性的部分原因是它在训练数据上（隐式）构建了一个核型加权函数，它也可以用于原始均值估计之外的目标。我们提出了一种新的森林结构的多变量响应的联合条件分布的基础上，独立的估计目标和数据模型。它使用了一种新的分裂准则的基础上MMD分布度量，这是适合于检测多元分布的异质性。诱导的权重定义了完整条件分布的估计，这反过来又可以用于任意和潜在的复杂目标的兴趣。该方法是非常通用和方便使用，因为我们说明了广泛的例子。代码可以作为Python和R包drf提供。
2022-10-12 cs.LG stat.ME stat.ML
Cluster Forests
受随机森林分类方法的启发，提出了一种新的聚类集成方法-聚类森林。在几何上，CF随机探测高维数据云以获得“良好的局部聚类”，然后通过谱聚类进行聚合以获得整个数据集的聚类分配。搜索良好的本地聚类是由一个集群质量测量Kappa。CF以类似于RF中的树生长的方式逐步改进每个局部聚类。在两种不同的性能指标下对几个真实数据集的实证研究表明，CF优于其竞争对手。理论分析表明，kappa测度使局部聚类以一种理想的方式增长成为可能--它是“抗噪声”的。在扰动模型下，得到了谱聚类误聚类率的封闭表达式，从而对谱聚类的某些方面有了新的认识。
2013-05-23 cs.LG stat.ME stat.ML
A network flow approach to visualising the roles of covariates in random forests
我们提出了新的平行坐标图和桑基图的应用程序来表示随机森林中的相互作用协变量的影响的层次结构。每个可视化总结了随机森林中所有树的所有路径的频率。协变量在随机森林中的作用的可视化包括：描述单个协变量对随机森林的预测准确性的贡献的标量度量的排序条形图或点图;描述改变特定协变量对随机森林的预测的影响的各种总结的线图;所有协变量对之间的相互作用的强度的度量的热图;每个响应类别的平行坐标图描绘了最能代表预测属于该类别的观测值的所有协变量值的分布。这些可视化一起促进了对随机森林中协变量作用的实质性洞察，但不传达随机森林中协变量效应层次的频率或协变量在这些层次中出现的顺序。我们的可视化解决了这些差距。我们使用适合公开数据的随机森林来展示我们的可视化，并以R包的形式提供软件实现。
2017-06-27 stat.OT
Unity Forests: Improving Interaction Modelling and Interpretability in Random Forests
Institute for Medical Information Processing, Biometry and Epidemiology, Faculty of Medicine, Ludwig Maximilian University of Munich (LMU)（慕尼黑路德维希-马克西米利安大学医学信息处理与流行病学研究所）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Institute of General Practice and Health Services Research, Department Clinical Medicine, TUM School of Medicine and Health, Technical University of Munich (TUM)（慕尼黑技术大学医学与健康学院一般医学与健康服务研究研究所）；Institute of AI and Informatics in Medicine, TUM School of Medicine and Health, Technical University of Munich (TUM)（慕尼黑技术大学医学与健康学院医学人工智能与信息学研究所）
统一森林通过优化树根分割提升交互建模和可解释性，改进了随机森林的变量重要性度量和预测性能。
2026-01-11 cs.LG stat.CO stat.ME
Learning Discriminative features using Center Loss and Reconstruction as Regularizer for Speech Emotion Recognition
Samsung Research（三星研究院）
本文提出了一种受多任务学习（MTL）启发的卷积神经网络（CNN），它基于在softmax损失和中心损失（一种强大的度量学习策略）联合监督下训练的语音特征，用于语音中的情感识别。语音特征，如频谱图和梅尔频率倒谱系数（MFCC）有助于保留语音中与情感相关的低层次特征。我们实验了几种深度神经网络（DNN）架构，这些架构将语音特征作为输入，并在softmax和中心丢失下对其进行训练，从而获得了非常适合语音情感识别（SER）的高区分度特征。我们的网络还通过同时执行重建输入语音特征的辅助任务来使用正则化效应。相关任务之间的这种表示共享使我们的网络能够更好地概括SER的原始任务。与最先进的架构相比，我们提出的一些网络包含的参数要少得多。
2019-08-31 cs.LG cs.SD eess.AS
FILM: A Fast, Interpretable, and Low-rank Metric Learning Approach for Sentence Matching
Institute of Computing Technology（计算技术研究所）；Chinese Academy of Sciences（中国科学院）；Department of Mathematics（数学系）；UC Berkeley（加州大学伯克利分校）
语义相似度检测在句子匹配中起着至关重要的作用。它要求学习自然语言的判别表示。最近，由于越来越复杂的模型架构，已经取得了令人印象深刻的进展，以及耗时的训练过程和不可解释的推理。为了缓解这个问题，我们探索了一种度量学习方法，名为FILM（快速，可解释和低秩度量学习），以有效地找到高维数据的高分辨投影。我们构造这个度量学习问题作为一个流形优化问题，并解决它的Cayley变换方法与Barzilai-Borwein步长。在实验中，我们将FILM与三重损失最小化目标应用于Quora挑战和语义文本相似性（STS）任务。实验结果表明，FILM方法具有更好的性能和最快的计算速度，这与我们对时间复杂度的理论分析是一致的。
2020-10-13 cs.AI cs.CL cs.LG
Quantile Regression using Random Forest Proximities
BlackRock, Inc.（贝莱德集团）
本文提出利用随机森林学习到的邻近度推断目标变量条件分布的新分位数回归方法，在条件分布和预测区间近似上优于QRF，且计算效率显著更高。
2024-08-05 cs.LG q-fin.ST q-fin.TR
Disentanglement for Discriminative Visual Recognition
Harvard University（哈佛大学）；Beth Israel Deaconess Medical Center（贝斯以色列女执事医疗中心）；Harvard Medical School（哈佛医学院）
最近基于深度学习的识别的成功依赖于维护与主任务标签相关的内容。然而，如何明确地消除噪声信号，以更好地推广在可控的方式仍然是一个悬而未决的问题。例如，诸如身份特定属性、姿态、光照和表情的各种因素影响面部图像的外观。解开身份特异性因素对面部表情识别（FER）有潜在的好处。本章系统地总结了任务相关/非相关语义变异和非特定潜在变异这两个影响翻译质量的因素。在本章中，这些问题被转换为深度度量学习问题或潜在空间中的对抗性极大极小博弈。对于前一种选择，一个广义的自适应（N+M）-元组集群损失函数与身份感知的硬否定挖掘和在线积极挖掘方案可以用于身份不变的FER。通过联合优化，在统一的两个全连接层分支框架中结合深度度量损耗和softmax损耗，可以获得更好的FER性能。对于后一种解决方案，可以为端到端条件对抗网络配备将输入样本分解为三个互补部分的能力。区分性表征继承了由任务的先验知识引导的期望的不变性属性，该属性与任务相关/不相关的语义和潜在变化无关。该框架在光照、化妆、伪装容忍人脸识别和人脸属性识别等一系列任务上都取得了很好的性能。本章系统地总结了目前流行的实用解纠缠方法，以实现更具区分力的视觉识别。
2020-06-14 cs.CV cs.LG eess.IV
Unsupervised Learning Discriminative MIG Detectors in Nonhomogeneous Clutter
主成分分析（PCA）是一种常用的模式分析方法，它将高维数据映射到低维空间，最大化数据方差，从而提高数据的可分性。受主成分分析原理的启发，提出了一种新的无监督学习判别矩阵信息几何检测器，并将其应用于非均匀环境中的信号检测。埃尔米特正定（HPD）矩阵可用于对样本数据进行建模，而杂波协方差矩阵则由一组二级HPD矩阵的几何平均值估计。我们定义了一个投影映射的HPD矩阵在一个高维的流形低维和更具歧视性的一个，以增加HPD矩阵的分离度，通过最大化的数据方差。学习映射可以被表述为黎曼流形中的两步极小极大优化问题，可以通过黎曼梯度下降算法来解决。关于不同的几何测量示出了三个区别性的双折射检测器，即，Log-Euclidean度量、Jensen-Bregman LogDet发散和对称化Kullback-Leibler发散。仿真结果表明，与传统的检测器和他们的国家的最先进的同类产品相比，在非均匀环境中的新的MIMO检测器的性能可以实现改善。
2022-05-08 cs.IT eess.SP math.IT
Learning Discriminative Metrics via Generative Models and Kernel Learning
University of Southern California（南加州大学）；University of Pennsylvania（宾夕法尼亚大学）
指定数据点之间的距离的距离可以以区别性方式或从生成模型中学习。在本文中，我们展示了如何通过一个内核学习框架来统一度量的生成学习和判别学习。具体来说，我们学习从参数生成模型优化的局部度量。然后，这些被用作基本内核，以构建一个全局内核，最大限度地减少一个歧视性的训练标准。我们考虑局部度量核的线性和非线性组合。我们的实证结果表明，这些组合显着提高分类任务的性能。所提出的学习算法也是非常有效的，实现了数量级的训练时间相比，以前的判别基线方法的加速。
2011-09-19 cs.AI cs.LG stat.ME
Robustness Quantification for Discriminative Models: a New Robustness Metric and its Application to Dynamic Classifier Selection
Foundations Lab for imprecise probabilities (FLip)（不精确概率基础实验室）；Ghent University（根特大学）；Statistics Dept.（统计系）；Federal University of São Carlos（萨尔瓦多·克鲁斯联邦大学）；Institute of Mathematic and Computer Sciences（数学与计算机科学学院）；University of São Paulo（圣保罗大学）
本文提出了一种适用于任何概率判别分类器和任何特征类型的新型鲁棒性度量，用于区分可靠与不可靠的预测，并应用于动态分类器选择。
2026-07-10 cs.LG stat.ML
Distance approximation using Isolation Forests
这项工作简要地探讨了近似的空间距离（或者，相似性）之间的数据点使用孤立森林方法设想离群值检测的可能性。其逻辑类似于隔离：两个点越相似或越接近，将它们分开所需的随机分裂就越多。两点之间的分离深度可以以与隔离深度相同的方式标准化，将其转换为距离度量，该距离度量在范围上是有限的，居中的，并且符合距离公理。该度量呈现了一些期望的性质，例如对变量的尺度不变或能够考虑变量之间的非线性关系，这是其他度量（例如欧几里得距离或马氏距离）所不能做到的。隔离森林方法的扩展也提出了处理分类变量和缺失值，从而产生一个更普遍和强大的度量。
2019-11-23 cs.LG stat.ML
Uncharted Forest a Technique for Exploratory Data Analysis
University of Delaware（特拉华大学）
探索性数据分析对于从高维数据集开发和理解分类模型至关重要。我们探讨了一种新的无监督树集成称为未知的森林可视化类协会，样本样本协会，类异质性，和无信息类种源研究的效用。未知森林算法可用于使用基于统计分布的变量和度量的随机选择来划分数据。在每棵树生长之后，维护到达每个终端节点的样本的计数。这些计数被存储在单个样本关联矩阵中，并且可以对每个样本进行彼此划分的似然度量。该矩阵可以很容易地被视为热图，并且概率可以通过考虑类别或集群成员的新度量来量化。我们展示了使用这种技术的优点和局限性，将其应用到两个分类数据集和三个种源研究数据集。本文中提出的两个指标也被广泛使用的指标进行了比较，从两个算法，具有基于方差的聚类机制。
2018-06-30 cs.LG stat.ME stat.ML
Distributed Deep Forest and its Application to Automatic Detection of Cash-out Fraud
Ant Financial Services Group（蚂蚁金融服务集团）；Nanjing University（南京大学）
互联网公司正面临着每天处理大规模机器学习应用的需求，并且广泛需要能够以高性能处理超大规模任务的机器学习算法的分布式实现。Deep forest是最近提出的一个深度学习框架，它使用树集合作为其构建块，并且在各种任务领域都取得了非常有竞争力的结果。然而，它还没有在非常大规模的任务中进行测试。在这项工作中，基于我们的参数服务器系统，我们开发了分布式版本的深森林。为了满足实际任务的需要，对原有的深度森林模型进行了改进，包括基于效率和有效性的MART（Multiple Additive Regression Tree）作为基本学习器，基于代价的方法处理普遍存在的类不平衡数据，基于MART的高维数据特征选择以及不同的评价指标自动确定级联级。我们在超大规模任务上测试了深森林模型，即，自动检测出现金欺诈，拥有超过1亿个训练样本。实验结果表明，从不同角度的评价指标，深度森林模型具有最好的性能，即使很少的努力，参数调整。这种模式可以阻止每天大量资金的欺诈交易。即使与最佳部署模型相比，深层森林模型也可以显著减少每天的经济损失。
2020-03-16 cs.LG stat.ML
A Siamese Deep Forest
Peter the Great St.Petersburg Polytechnic University（圣彼得堡彼得大帝理工大学）
本文提出了一种暹罗深林（SDF）。它基于Zhou和Feng提出的Deep Forest或gcForest，可以被视为gcForest的修改。它也可以被视为一种替代著名的暹罗神经网络。SDF使用由连接的向量对组成的修改的训练集。此外，它定义的类分布在深森林的树类概率的加权和，这样的权重确定，以减少相似对之间的距离，并增加它们之间的不同点。我们表明，可以通过解决一个二次优化问题的权重。SDF的目的是防止过度拟合时发生在神经网络只有有限的训练数据。数值实验验证了所提出的距离度量方法。
2017-04-27 cs.LG stat.ML
Discriminative Few-Shot Learning Based on Directional Statistics
SK T-Brain
基于度量的少样本学习方法试图通过学习嵌入来克服由于缺乏训练样本而导致的困难，从而使比较变得容易。我们提出了一种新的算法来生成类代表的Few-Shot分类任务。作为输入的学习特征的概率模型，我们考虑了一个混合的von Mises-Fisher分布，已知它在高维空间中比高斯分布更有表现力。然后，从判别分类器的角度来看，我们得到了一个更好的类代表性考虑类间的相关性，还没有解决传统的少样本学习算法。我们将我们的方法应用于\emph{mini} ImageNet和\emph{tiered} ImageNet数据集，并表明所提出的方法在Few-Shot分类任务中优于其他可比方法。
2019-06-05 cs.LG stat.ML
Unsupervised Domain Adaptation via Discriminative Manifold Propagation
Sun Yat-Sen University（中山大学）；City University of Hong Kong（香港城市大学）
无监督领域自适应在将丰富的信息从标记的源域利用到未标记的目标域方面是有效的。虽然深度学习和对抗策略在特征适应性方面取得了重大突破，但仍有两个问题需要进一步研究。首先，在目标域上硬分配的伪标签是任意的并且容易出错，并且直接应用它们可能破坏固有的数据结构。其次，深度学习的批量训练限制了全局结构的表征。本文提出了一个黎曼流形学习框架，同时实现可迁移性和可区分性。对于第一个问题，该框架通过软标签在目标域上建立概率判别准则。基于预先建立的原型，这个标准扩展到第二个问题的全球近似计划。采用流形度量对齐，以兼容嵌入空间。推导了不同对准度量的理论误差界，用于构造性制导。所提出的方法可以用来解决一系列变种的领域自适应问题，包括香草和部分设置。大量的实验已经进行了调查的方法和比较研究显示的歧视性流形学习框架的优越性。
2020-08-23 cs.CV cs.LG stat.ML
Hierarchy of discriminative power and complexity in learning quantum ensembles
University of Southern California（南加州大学）；California Institute of Technology（加州理工学院）
本文提出MMD-k度量，用于量子集合学习，揭示判别能力与统计效率的权衡，并展示其在量子机器学习中的应用。
2026-10-02 math.ST quant-ph stat.ML
Unsupervised Cross-domain Image Classification by Distance Metric Guided Feature Alignment
Imperial College London（帝国理工学院）
由于域转移的问题，学习可跨不同域推广的深度神经网络仍然是一个挑战。无监督领域自适应是一种很有前途的途径，它可以在不使用目标域中的任何标签的情况下将知识从源域转移到目标域。当代技术的重点是使用领域对抗训练来提取领域不变特征。然而，这些技术忽略了学习目标域上的潜在表示空间中的判别类边界，并且产生有限的自适应性能。为了解决这个问题，我们提出了距离度量引导的特征对齐（MetFA），以提取源域和目标域上的区分性和域不变特征。所提出的MetFA方法显式地直接学习潜在表示，而不使用领域对抗训练。我们的模型集成了类分布对齐从源域到目标域的语义知识转移。我们评估所提出的方法对胎儿超声数据集的跨设备图像分类。实验结果表明，该方法优于国家的最先进的，使模型的泛化。
2020-08-19 cs.CV cs.LG stat.ML
Generalised Mutual Information for Discriminative Clustering
Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；CHU de Québec Research Center（魁北克大学医院研究中心）；Laval University（拉瓦尔大学）；Jellysmack；AI Labs（人工智能实验室）
在过去的十年中，最近在深度聚类方面取得的成功主要涉及互信息（MI）作为训练具有越来越多规则的神经网络的无监督目标。虽然监管的质量已经在很大程度上讨论了改进，很少有人注意到MI作为集群目标的相关性。在本文中，我们首先强调如何最大化MI不会导致令人满意的集群。我们认为库尔贝克-莱布勒散度是导致这种现象的主要原因。因此，我们通过改变其核心距离来概括互信息，引入广义互信息（GEMINI）：一组用于无监督神经网络训练的度量。与MI不同，一些GEMINI在训练时不需要调节。由于数据空间中的距离或内核，其中一些度量是几何感知的。最后，我们强调GEMINIS可以自动选择相关数量的集群，在深度集群环境中很少研究集群数量先验未知的属性。
2022-10-14 cs.AI cs.IT cs.LG
