HyperAid: Denoising in hyperbolic spaces for tree-fitting and hierarchical clustering
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
由于在自然语言处理、遗传学、癌症基因组学和涉及分层聚类的无数问题领域中的许多应用,通过树度量拟合距离的问题在理论计算机科学和机器学习社区中都受到了极大的关注。尽管存在几个可证明的精确算法的树度量拟合的数据,固有地服从树度量约束,少得多的是已知的如何最好地适合树度量的数据的结构适度(或实质上)不同于树。对于这样的噪声数据,大多数可用的算法表现不佳,并且通常在代表性树中产生负的边权重。此外,目前还不知道如何选择最合适的逼近目标的噪声拟合。我们的贡献如下。首先,我们提出了一种新的方法,树度量去噪(HyperAid)在双曲空间,将原始数据转换为数据,是“更多”树一样,当评估格罗莫夫的$δ$双曲。其次,我们进行了一项消融研究,涉及近似目标的两种选择,$\ell_p$标准和Dasgupta损失。第三,我们将HyperAid与强制执行非负边权重的计划相结合。因此,HyperAid平台优于文献中所有其他现有方法,包括Neighbor Joining(NJ),TreeRep和T-REX,无论是在合成数据还是真实数据上。合成数据由边增强树和最短距离度量表示,而真实世界的数据集包括Zoo、Iris、Glass、Segmentation和SpamBase;在这些数据集上,相对于NJ的平均改进为$125.94\%$。
2022-05-19 cs.LG
TreeLoRA: Efficient Continual Learning via Layer-Wise LoRAs Guided by a Hierarchical Gradient-Similarity Tree
提出TreeLoRA方法,利用层级梯度相似性构建逐层适配器,结合bandit技术高效探索任务结构,并通过稀疏梯度更新优化参数,实现大预训练模型的高效持续学习。
2026-06-29 cs.LG
A New Hierarchical Redundancy Eliminated Tree Augmented Naive Bayes Classifier for Coping with Gene Ontology-based Features
University College London(伦敦大学学院)
树增强朴素贝叶斯分类器是一种概率图模型,可以表示一些特征依赖关系。在这项工作中,我们提出了一个分层冗余消除树增强朴素贝叶斯(HRE-TAN)算法,它考虑在分类器的学习过程中,消除分层冗余处理数据时,包含层次结构的功能。实验结果表明,HRE-TAN在以Gene Ontology术语为特征的衰老相关基因数据集上获得了比传统的树增强朴素贝叶斯分类器更好的预测性能,并增强了对不平衡类分布的鲁棒性。
2016-07-06 cs.AI cs.LG
Tree-structured Attention with Hierarchical Accumulation
Salesforce Research(Salesforce研究院);Nanyang Technological University(南洋理工大学)
类似选区树的分层结构已经被证明对于各种自然语言处理(NLP)任务是有效的。然而,很明显,像Transformer这样的基于序列的最新技术(SOTA)模型很难固有地编码这样的结构。另一方面,像Tree-LSTM这样的专用模型,虽然显式地对层次结构进行建模,但性能不如Transformer。在本文中,我们试图弥合这一差距与“分层积累”编码解析树结构到自注意在恒定的时间复杂度。我们的方法优于SOTA方法在四个IWITOS翻译任务和WMT'14英语-德语翻译任务。它还在三个文本分类任务上对Transformer和Tree-LSTM进行了改进。我们进一步证明,使用分层先验可以弥补数据短缺,我们的模型更喜欢短语级的注意力令牌级的注意力。
2020-02-19 cs.CL cs.LG
Meta-Learning with MAML on Trees
MediaTek Research(联发科研究院)
在元学习中,从以前的任务中学到的知识被转移到新的任务中,但这种转移只有在任务相关时才有效。在不相关的任务之间共享信息可能会损害性能,目前还不清楚如何在具有层次结构的任务之间转移知识。我们的研究扩展了模型不可知的元学习模型,MAML,利用层次任务关系。我们的算法TreeMAML通过几个梯度步骤使模型适应每个任务,但适应遵循分层树结构:在每一步中,梯度在任务集群中汇集,随后的步骤沿着树向下。我们还实现了一个聚类算法,生成的任务树没有以前的知识的任务结构,使我们能够利用任务之间的隐式关系。我们表明,新的算法,我们的术语TreeMAML,比MAML的任务结构时,是分层的合成实验。为了研究该方法在真实数据中的性能,我们将该方法应用于自然语言理解,利用语言系统树对语言模型进行微调。我们表明,TreeMAML提高了跨语言自然语言推理的最先进的结果。这个结果是有用的,因为世界上大多数语言都资源不足,而跨语言迁移的改进允许NLP模型的国际化。这一结果打开了在其他真实世界的层次数据集中使用该算法的窗口。
2021-03-08 cs.LG
Bayes-optimal Hierarchical Classification over Asymmetric Tree-Distance Loss
Indian Institute of Technology Kanpur(坎普尔印度理工学院);Microsoft Research(微软研究院)
层次分类是一种有监督的多类分类问题,它是在按层次结构组织的类标签集合上进行的。在这份报告中,我们研究的工作Ramaswamy等。在对称树距离损失上的分层分类。我们扩展了非对称树距离损失的层次分类算法的一致性。我们设计了一个$\mathcal{O}(nk\log{}n)$算法来寻找贝叶斯最优分类的k元树作为一个层次。我们表明,在合理的假设下,非对称损失函数,贝叶斯最优分类在这种非对称损失可以找到$\mathcal{O}(k\log{}n)$。我们利用这一洞察力,并试图扩展Ova级联算法\citet{ramaswamy2015convex}的分层分类的不对称损失。
2018-02-17 cs.AI cs.LG
Hierarchical Correlation Clustering and Tree Preserving Embedding
Chalmers University of Technology(查尔姆斯理工大学);Amirkabir University of Technology (Tehran Polytechnic)(阿米尔卡比尔理工大学(德黑兰理工大学))
提出层次相关聚类方法以处理正负成对不相似性,并结合树保留嵌入与极小极大距离扩展进行无监督表示学习,在多个数据集上验证了方法性能。
2025-02-03 cs.LG stat.ML
Hierarchical clustering with dot products recovers hidden tree structure
School of Mathematics(数学学院);University of Bristol(布里斯托尔大学);Imperial College London(伦敦帝国学院)
提出一种按最大平均点积合并簇的凝聚式聚类变体,并在通用概率图模型下证明其可恢复隐藏生成树结构,真实数据表现优于 UPGMA、Ward 与 HDBSCAN。
2024-03-01 cs.LG stat.ML
Tree Methods for Hierarchical Classification in Parallel
我们提出的方法,使高效的分层分类并行。我们的方法将一批分类分数和标签(对应于语义树中的给定节点)转换为对应于沿着树向下到每个给定节点的祖先路径中的所有节点的分数和标签,仅依赖于在硬件加速器上有效执行的张量操作。我们实现了我们的方法,并在当前的硬件加速器上测试它们,其中包含WordNet 3.0中所有英语同义词集的树,跨越20个深度级别的117,659个类。我们将一批批分数和标签转换为它们各自的祖先路径,所产生的计算可以忽略不计,并且在数据足迹上仅消耗固定的0.04GB内存。
2022-09-21 cs.AI cs.LG
Tree-SNE: Hierarchical Clustering and Visualization Using t-SNE
Yale University(耶鲁大学)
t-SNE和层次聚类是探索性数据分析的流行方法,特别是在生物学中。在加速t-SNE和获得更细粒度结构的最新进展的基础上,我们将两者结合起来创建tree-SNE,这是一种基于堆叠一维t-SNE嵌入的分层聚类和可视化算法。我们还介绍了阿尔法聚类,它建议最佳的集群分配,没有预知的集群数量,基于跨多个尺度的集群稳定性。我们证明了树SNE和阿尔法聚类对手写数字图像、血细胞质谱仪(CyTOF)数据和视网膜细胞单细胞RNA测序(scRNA-seq)数据的有效性。此外,为了证明可视化的有效性,我们使用阿尔法聚类获得无监督聚类结果的竞争力与几个图像数据集上的最新技术。软件可在https://github.com/isaacrob/treesne上获得。
2020-02-13 cs.LG stat.ML
R2D2: Recursive Transformer based on Differentiable Tree for Interpretable Hierarchical Language Modeling
Ant Financial Services Group(蚂蚁金融服务集团);Hasso Plattner Institute(哈索·普拉特纳研究所);University of Potsdam(波茨坦大学)
人类语言理解在多个粒度级别上操作(例如,单词、短语和句子),其中抽象级别增加,可以分层组合。然而,现有的具有堆叠层的深度模型没有明确地对任何类型的分层过程进行建模。本文提出了一种基于CKY型二叉树的递归Transformer模型来模拟合成过程。我们将双向语言模型预训练目标扩展到该架构,尝试预测每个单词的左和右抽象节点。为了扩大我们的方法,我们还引入了一个有效的修剪树归纳算法,使编码在一个线性数量的组成步骤。语言建模和无监督句法分析的实验结果表明了该方法的有效性。
2022-03-03 cs.CL cs.LG
Joint Hierarchical Representation Learning of Samples and Features via Informed Tree-Wasserstein Distance
Viterbi Faculty of Electrical and Computer Engineering, Technion(技术学院电子与计算机工程系);Department of Mathematics, Yale University(耶鲁大学数学系);Halicio g ˇ \check{\text{g}} lu Data Science Institute, University of California San Diego(加州大学圣地亚哥分校Halicio g ˇ \check{\text{g}} lu数据科学研究所)
本研究提出基于Tree-Wasserstein Distance的无监督方法,交替迭代联合学习样本与特征的层次表示,理论证明收敛,可集成于双曲图卷积网络提升性能,在多类任务与数据集上优于基线。
2025-10-21 cs.LG stat.ML
Bayesian Rose Trees
Gatsby Computational Neuroscience Unit(盖茨比计算神经科学单元);University College London(伦敦大学学院);University of Cambridge(剑桥大学)
层次结构在许多领域的数据中普遍存在。有许多层次聚类方法,领域专家经常使用,努力发现这种结构。然而,这些方法中的大多数将可扩展的层次结构限制为具有二进制分支结构的层次结构。这种限制虽然在计算上方便,但通常是不期望的。在本文中,我们探讨了贝叶斯层次聚类算法,可以产生任意分支结构的树,在每个节点,被称为玫瑰树。我们将这些树解释为数据集分区上的混合物,并使用计算效率高,贪婪凝聚算法来找到玫瑰树,这些玫瑰树具有较高的边际似然数据。最后,我们进行实验,证明玫瑰树是更好的数据模型比典型的二叉树返回的其他层次聚类算法。
2012-03-15 cs.LG stat.ML
Interactive Steering of Hierarchical Clustering
Tsinghua University(清华大学);Microsoft Research(微软研究院);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
层次聚类是组织大数据进行探索性数据分析的重要技术。然而,现有的一刀切的层次聚类方法往往无法满足不同用户的多样化需求。为了解决这一挑战,我们提出了一种交互式转向方法,通过利用公共知识(例如,维基百科)和用户的私人知识。我们的方法的新颖性包括:1)使用知识(知识驱动)和内在数据分布(数据驱动)自动构建层次聚类的约束,以及2)通过可视化界面(用户驱动)实现聚类的交互式转向。我们的方法首先将每个数据项映射到知识库中最相关的项。初始约束树,然后使用蚁群优化算法提取。该算法平衡了树的宽度和深度,并以高置信度覆盖数据项。在给定约束树的情况下,利用进化贝叶斯玫瑰树对数据项进行层次聚类。为了清楚地传达层次聚类的结果,一个不确定性感知的树可视化已经开发,使用户能够快速定位最不确定的子层次结构,并交互式地改善它们。定量评估和案例研究表明,所提出的方法有助于建立定制的聚类树,在一个高效和有效的方式。
2020-09-21 cs.LG stat.ML
Hierarchical Topic Mining via Joint Spherical Tree and Text Embedding
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Georgia Institute of Technology(佐治亚理工学院)
挖掘一组有意义的主题组织成一个层次结构是直观的吸引力,因为主题相关性是无处不在的海量文本语料库。为了考虑潜在的层次主题结构,层次主题模型通过将潜在的主题层次结构纳入其生成建模过程来概括平面主题模型。然而,由于其纯粹的无监督性质,学习的主题层次结构往往偏离用户的特定需求或兴趣。为了在最少用户监督的情况下指导分层主题发现过程,我们提出了一个新任务分层主题挖掘,该任务采用仅由类别名称描述的类别树,旨在从文本语料库中挖掘每个类别的一组代表性术语,以帮助用户理解他/她感兴趣的主题。我们开发了一种新型的联合树和文本嵌入方法以及一个有原则的优化过程,该过程允许在球形空间中同时对类别树结构和语料库生成过程进行建模,以有效地发现类别代表术语。我们的综合实验表明,我们的模型,命名为JoSH,挖掘一个高质量的层次主题集,效率高,有利于弱监督层次文本分类任务。
2020-07-18 cs.CL cs.IR cs.LG
Hierarchical clustering by aggregating representatives in sub-minimum-spanning-trees
University of Electronic Science and Technology of China(电子科技大学);University of Minnesota(明尼苏达大学)
层次聚类的主要挑战之一是如何适当地识别聚类树的较低级别中的代表点,这些代表点将被用作聚类树的较高级别中的根以进行进一步的聚合。然而,传统的层次聚类方法采用了一些简单的技巧来选择“代表性”点,这些点可能不够具有代表性。因此,所构造的聚类树在其较差的鲁棒性和较弱的可靠性方面不太吸引人。针对这一问题,提出了一种新的层次聚类算法,该算法在构建聚类树图的同时,通过对每个子最小生成树中倒数最近的数据点进行评分,有效地检测出代表点。在UCI数据集上的大量实验表明,该算法比其他基准测试更准确。同时,分析表明,该算法的时间复杂度为O(nlogn),空间复杂度为O(logn),表明该算法在处理海量数据时具有较好的可扩展性,同时具有较低的时间和存储开销。
2021-11-11 cs.AI cs.LG stat.ML
GAN-Tree: An Incrementally Learned Hierarchical Generative Framework for Multi-Modal Data Distributions
Indian Institute of Science(印度科学学院)
尽管生成对抗网络取得了显著的成功,但对于不同的训练集,它们的性能似乎不那么令人印象深刻,需要学习不连续的映射函数。虽然多模式先验或多发电机模型已被提出来缓解这个问题,这样的方法可能会失败,这取决于经验选择的初始模式分量。与这种自下而上的方法相反,我们提出了GAN-Tree,它遵循分层划分策略来处理这种不连续的多模态数据。GAN-Tree不需要对模式的数量做任何假设,它利用一种新的模式分裂算法将父模式有效地分裂为语义上有凝聚力的子模式,从而促进无监督聚类。此外,它还可以通过仅更新树结构的单个分支,将新的数据模式增量添加到已经训练好的GAN树中。与以前的方法相比,所提出的框架在选择称为GAN-Set的各种互斥和穷举树节点方面提供了更高的灵活性。在包括ImageNet在内的合成和自然图像数据集上进行的大量实验证明了GAN-Tree相对于现有技术的优越性。
2019-09-16 cs.CV cs.LG
Handling Collocations in Hierarchical Latent Tree Analysis for Topic Modeling
The Education University of Hong Kong(香港教育大学);The Hong Kong University of Science and Technology(香港科技大学)
主题建模是近年来机器学习中最活跃的研究领域之一。分层潜在树分析(HLTA)最近已被提出用于分层主题建模,并已显示出优于国家的最先进的方法的性能。然而,HLTA中使用的模型具有树结构,不能适当地表示共享同一个词的多词表达式的不同含义。因此,我们提出了一种方法提取和选择搭配作为HLTA的预处理步骤。在运行HLTA之前,在词袋模型中用单个标记替换选定的搭配。我们的实证评估表明,所提出的方法导致更好的性能HLTA的四个数据集测试。
2020-07-10 cs.CL cs.IR cs.LG
Forming Trees with Treeformers
University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文提出受CKY算法启发的通用编码器模块Treeformer,通过将层次结构融入Transformer,显著提升组合泛化及机器翻译、摘要和自然语言理解等下游任务性能。
2023-07-10 cs.AI cs.CL cs.LG
Navigating the Emotion Tree: Hierarchical Hyperbolic RAG for Multimodal Emotion Recognition
Great Bay University(广东东莞大亚湾大学);Tencent Youtu Lab(腾讯优图实验室)
本文提出HyperEmo-RAG,一种利用结构化情绪知识库的检索增强生成框架,通过双曲空间嵌入和证据图构建来提升多模态情绪识别的性能。
2026-05-16 cs.CV cs.LG
A Novel Document Generation Process for Topic Detection based on Hierarchical Latent Tree Models
The Hong Kong University of Science and Technology(香港科技大学)
我们提出了一种新的文档生成过程的基础上,层次潜在树模型(HLTM)从数据中学习。HLTM在底部有一层观察到的单词变量,在顶部有多层潜变量。对于每一个文档,我们首先通过逻辑采样逐层采样潜变量的值,然后根据潜变量的值绘制单词的相对频率,最后使用相对单词频率为文档生成单词。这项工作的动机是考虑到与HLTM的字数。与基于LDA的分层文档生成过程相比,新的过程以更少的参数实现了更好的模型拟合。它还生成更有意义的主题和主题层次结构。这是新的国家的最先进的分层主题检测。
2019-06-28 cs.CL cs.IR cs.LG
Sometimes I am a Tree: Data Drives Unstable Hierarchical Generalization
Harvard University(哈佛大学);MSR(微软研究院)
本文通过疑问句构成与时态屈折任务表明,训练数据的复杂度驱动层级规则、多样性促进稳定规则学习,而中等复杂度与多样性会导致种子间不稳定的泛化行为。
2025-09-29 cs.CL cs.LG
Tree Structure-Aware Graph Representation Learning via Integrated Hierarchical Aggregation and Relational Metric Learning
Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心);University of Chinese Academy of Sciences(中国科学院大学);University of Central Florida(中佛罗里达大学);Alibaba DAMO Academy, Alibaba Group(阿里巴巴达摩院)
虽然图神经网络(GNN)在学习同构图的节点表示方面表现出了优越性,但在异构图上利用GNN仍然是一个具有挑战性的问题。主要原因是GNN通过聚合邻居的信息来学习节点表示,而不管节点类型如何。一些工作提出了缓解这样的问题,利用关系或元路径的样本具有不同的类别的邻居,然后使用注意力机制学习不同的重要性为不同的类别。然而,一个限制是,不同类型的节点的学习表示应该拥有不同的特征空间,而所有上述工作仍然将节点表示投影到一个特征空间中。此外,在探索了大量的异构图之后,我们发现了一个事实,即具有相同类型的多个节点总是连接到具有另一种类型的节点,这揭示了多对一模式,即。层次树结构。但是,所有上述工作都不能保持这种树结构,因为从邻居到目标节点的精确多跳路径相关性将通过聚合而被擦除。因此,为了克服文献的局限性,我们提出了T-GNN,一种用于图表示学习的树结构感知图神经网络模型。具体来说,提出的T-GNN由两个模块组成:(1)集成的层次聚合模块和(2)关系度量学习模块。集成的分层聚合模块旨在通过将GNN与门控递归单元相结合以将树结构上的分层和顺序邻域信息集成到节点表示来保持树结构。关系度量学习模块的目的是保持异构性嵌入到一个特定类型的空间,具有不同的分布基于相似性度量的每种类型的节点。
2020-09-21 cs.LG cs.SI
Hierarchical Embedded Bayesian Additive Regression Trees
Hamilton Institute, Maynooth University(汉密尔顿研究所,梅努斯大学);Maynooth University(梅努斯大学)
本文提出 HE-BART,通过在回归树终端节点嵌入随机效应,构建无需预设随机效应结构的非参数混合效应建模方法,并在模拟与真实数据中展现更优预测及方差一致估计。
2023-04-24 cs.LG stat.ME
Scalable Hierarchical Clustering with Tree Grafting
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Microsoft Research(微软研究院);IBM(国际商业机器公司)
我们介绍Grinch,一个新的算法,大规模的,非贪婪的层次聚类与一般的连接功能,计算任意两个点集之间的相似性。Grinch的关键组件是它的旋转和移植子例程,这些子例程在新点到达时有效地重新配置层次结构,支持发现具有复杂结构的集群。Grinch的动机是一个新的概念的分离性与联动功能的聚类:我们证明,当模型是一致的地面真相聚类,Grinch保证产生一个集群树包含地面真相,独立的数据到达顺序。我们在基准和作者共指数据集(具有标准和学习的链接函数)上的实证结果表明,Grinch比其他可扩展方法更准确,并且比层次凝聚聚类快几个数量级。
2019-12-31 cs.DS cs.LG stat.ML
Tree Variational Autoencoders
ETH Zurich(苏黎世联邦理工学院)
提出树变分自编码器(TreeVAE),通过层次聚类学习树状后验分布,自适应发现最优树结构,利用叶解码器提升生成性能,在多种数据集上揭示隐藏聚类并生成新样本。
2023-11-17 cs.CV cs.LG
Dropout Regularization in Hierarchical Mixture of Experts
Bloomberg L.P.(彭博有限合伙企业);Boğaziçi University(博阿齐奇大学)
Dropout是一种非常有效的防止过拟合的方法,近年来已成为多层神经网络的常用正则化器。专家的分层混合专家模型是定义软决策树的分层选通模型,其中叶对应于专家,并且决策节点对应于在其子节点之间进行软选择的选通模型,并且因此,该模型定义输入空间的软分层划分。在这项工作中,我们提出了一个变体的辍学分层混合专家模型,是忠实于树层次结构定义的模型,而不是有一个平坦的,unitwise独立的应用辍学,因为一个有多层感知器。我们表明,在合成回归数据和MNIST和CIFAR-10数据集上,我们提出的dropout机制可以防止树上的过度拟合,具有许多级别,提高了泛化能力,并提供了更平滑的拟合。
2018-12-25 cs.LG stat.ML
An Online Hierarchical Algorithm for Extreme Clustering
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
许多现代聚类方法可以很好地扩展到大量的数据项N,但不能扩展到大量的聚类K。本文介绍了PERCH,一个新的非贪心算法的在线层次聚类,规模庞大的N和K-一个问题的设置,我们长期极端聚类。我们的算法有效地路由新的数据点的叶子的增量构建的树。出于对准确性和速度的期望,我们的方法执行树旋转,以提高子树纯度和鼓励平衡。我们证明了,在自然可分性假设下,我们的非贪心算法将产生具有完美树状图纯度的树,而不管在线数据到达顺序。我们的实验表明,PERCH构建更准确的树比其他树建设聚类算法和规模以及与N和K,实现了更高的质量聚类比最强的平聚类竞争对手在近一半的时间。
2017-04-06 cs.LG stat.ML
Estimating Staged Event Tree Models via Hierarchical Clustering on the Simplex
University of Genova(热那亚大学);IE University(IE大学);Universitat de València(瓦伦西亚大学)
本文提出利用简单集上的层次聚类估计分阶段事件树模型,通过比较不同距离和发散度度量,发现总变差与Ward.D2链接方法能提供更优的模型拟合和计算效率。
2026-03-16 cs.LG stat.ML
Hierarchical Semantic Tree Anchoring for CLIP-Based Class-Incremental Learning
School of Artificial Intelligence, Nanjing University(人工智能学院,南京大学);State Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学)
HASTEN通过层次语义树锚定方法,有效解决CLIP类增量学习中的灾难性遗忘问题,提升模型对层次化类别结构的保持能力。
2026-10-21 cs.CV cs.LG
A Fast Quartet Tree Heuristic for Hierarchical Clustering
Center for Mathematics and Computer Science (CWI)(数学与计算机科学中心(CWI));University of Amsterdam(阿姆斯特丹大学)
最小四元组树代价问题是从$n$对象上的$3{n \choose 4}$加权四元组拓扑构造最优权重树,其中最优性意味着嵌入的四元组拓扑的总权重是最优的(因此可能是最优树将所有四元组嵌入为非最优拓扑的情况)。我们提出了一个蒙特卡洛启发式,随机爬山的基础上,近似的最佳权重树,给定的四重拓扑权重。该方法反复变换树状图,涉及的所有对象作为叶子,实现单调近似的确切的单一的全局最优树。问题和解决方案的启发式已被广泛用于一般层次聚类的非树型(非同源性)数据在各个领域和跨域异构数据。我们还提出了一个大大改进的启发式,减少了一千到一万的顺序的因素的运行时间。所有这些都是作为CompLearn包的一部分实现和可用的。我们将原始版本和改进版本的性能和运行时间与UPGMA,BioNJ和NJ的性能和运行时间进行了比较,后者在SplitsTree软件包中对基因组数据进行了优化。保留字:数据和知识可视化,模式匹配-聚类-算法/相似性度量,层次聚类,全局优化,四方树,随机爬山,
2014-09-12 cs.CE cs.DS cs.LG
Semi-supervised Predictive Clustering Trees for (Hierarchical) Multi-label Classification
Jožef Stefan Institute(约热夫·斯泰凡研究所);Jožef Stefan International Postgraduate School(约热夫·斯泰凡国际研究生学院);University of Bari(巴里大学)
本文针对多标签及层次多标签分类任务,提出基于预测聚类树的半监督学习方法,并扩展为随机森林集成方法,在23个数据集上验证了其优于有监督方法,同时保持可解释性并降低时间复杂度。
2024-03-30 cs.AI cs.LG
Hierarchical $\mathcal{F}$-Clustering: Approximation and Hardness of Clustering into Trees and Bounded Diameter Graphs
研究分层$\mathcal{F}$-聚类问题,针对$\mathcal{F}$为树和有界直径图的情况,给出多项式时间近似算法,主要贡献是基于线性规划的近似框架,还证明在小集扩展假设下这两种聚类不能在常数因子内近似。
2026-07-16 cs.DS cs.LG
Unboxing Tree Ensembles for interpretability: a hierarchical visualization tool and a multivariate optimal re-built tree
Sapienza University of Rome(罗马大学)
针对树集成模型的黑箱问题,本文结合特征使用层次热图与带稀疏惩罚的 MILP 最优多变量代理树,实现对其预测行为的可解释近似。
2024-01-18 cs.LG math.OC
Progressive EM for Latent Tree Models and Hierarchical Topic Detection
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong Institute of Education(香港教育学院)
层次潜在树分析(HLTA)是最近提出的一种新的主题检测方法。它与基于LDA的方法在主题定义、主题-文档关系和学习方法上有着根本的不同。它已被证明可以发现更连贯的主题和更好的主题层次结构。然而,HLTA依赖于期望最大化(EM)算法进行参数估计,因此不足以有效地处理大型数据集。在本文中,我们提出了一种方法,大大加快HLTA使用的技术的启发,在矩方法的最新进展。实验结果表明,该方法大大提高了HLTA的效率。它是最先进的基于LDA的分层主题检测方法的效率,并发现更好的主题和主题层次。
2015-08-05 cs.CL cs.IR cs.LG
Deep Hierarchical Classification for Category Prediction in E-commerce System
Alibaba Group(阿里巴巴集团)
在电子商业系统中,类别预测是对给定文本的类别进行自动预测。与传统的类与类之间没有关系的分类不同,类别预测被认为是一个标准的层次分类问题,因为类别通常被组织成一个层次树。在本文中,我们解决层次类别预测。提出了一种深度层次分类框架,该框架将多尺度层次信息融入神经网络,并引入了一种基于类别树的表示共享策略。我们还定义了一个新的组合损失函数来惩罚分层预测损失。实验结果表明,该方法在精度上优于现有方法.
2020-05-14 cs.IR cs.LG
Hierarchical Abstract Tree for Cross-Document Retrieval-Augmented Generation
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出Ψ-RAG框架,通过迭代'合并与坍缩'过程构建分层抽象树索引,并引入多粒度检索代理,解决传统树状RAG在跨文档多跳问题中的分布适应性、结构隔离和抽象粗粒度等挑战,实验表明其在跨文档多跳问答任务中表现更优。
2026-05-01 cs.AI cs.IR cs.LG
Learning Syntax Without Planting Trees: Understanding Hierarchical Generalization in Transformers
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院);Allen Institute for AI(艾伦人工智能研究所)
本文通过合成数据集、训练目标对比、剪枝实验和贝叶斯分析,揭示语言建模目标促使 Transformer 形成层级句法泛化偏置。
2025-03-16 cs.CL cs.LG
From Isolated Conversations to Hierarchical Schemas: Dynamic Tree Memory Representation for LLMs
Center for Advanced AI, Accenture(埃森哲高级人工智能中心)
针对大语言模型长期记忆管理难题,提出采用动态树状层级记忆表示的MemTree算法,通过语义嵌入动态调整记忆结构,在多轮对话、文档问答等需结构化记忆的场景中性能优于传统扁平记忆增强方法。
2025-03-19 cs.AI cs.CL cs.LG
Interpretable Structure-aware Document Encoders with Hierarchical Attention
University of California, San Diego(加州大学圣迭戈分校);Swisscom AG(瑞士电信公司);EPFL(洛桑联邦理工学院)
我们提出了一种方法来创建文件表示,反映其内部结构。我们修改Tree-LSTM,将单词和句子等基本元素分层合并为复杂度不断增加的块。我们的结构树-LSTM在各个组件及其组合上实现了分层的注意力机制。因此,我们强调Tree-LSTM对于大于句子的文本的有用性。我们表明,结构感知编码器可以用来提高性能的文件分类。我们证明,我们的方法是弹性的变化的基本构建块,因为它表现良好的句子和词嵌入。结构树-LSTM通过利用结构线索在两个数据集上优于所有基线。我们通过可视化我们的模型如何在文档中分配注意力来展示我们的模型的可解释性。在来自医疗领域的第三个数据集上,我们的模型实现了与最先进技术竞争的性能。这一结果表明,结构树-LSTM可以利用文本结构以外的依赖关系,例如同一患者的一组报告。
2019-10-05 cs.AI cs.CL cs.LG
Erwin: A Tree-based Hierarchical Transformer for Large-scale Physical Systems
University of Amsterdam(阿姆斯特丹大学);CuspAI
针对不规则网格大规模物理系统的可扩展性挑战,提出分层Transformer模型Erwin,结合球树划分与跨球交互机制实现线性时间注意力,在多领域准确性与效率上均优于基线。
2025-06-02 cs.AI cs.CV cs.LG
Hierarchical Linkage Clustering Beyond Binary Trees and Ultrametrics
本文提出了一种新的层级聚类方法,通过构建有效层次结构并修剪二叉树,解决了传统方法在层次结构存在性、二叉限制和链接函数敏感性方面的不足。
2025-11-22 cs.LG stat.ME stat.ML
From Trees to Continuous Embeddings and Back: Hyperbolic Hierarchical Clustering
Department of Computer Science, Stanford University(斯坦福大学计算机科学系);Institute for Computational and Mathematical Engineering, Stanford University(斯坦福大学计算与数学工程研究所);Google Research, NY(谷歌研究院(纽约))
基于相似性的层次聚类(HC)是一种经典的无监督机器学习算法,传统上是用启发式算法如平均链接来解决的。最近,Dasgupta通过引入一个衡量给定树质量的全局成本函数,将HC重新定义为一个离散优化问题。在这项工作中,我们提供了第一个连续放松Dasgupta的离散优化问题,可证明的质量保证。我们的方法HypHC的关键思想是显示从离散树到连续表示的直接对应关系(通过其叶节点的双曲嵌入)和返回(通过将叶嵌入映射到树状图的解码算法),允许我们搜索离散二叉树的空间,并进行连续优化。树和双曲空间之间的类比的基础上,我们推导出一个连续的模拟的概念,最低的共同祖先,这导致连续放松达斯古普塔的离散目标。我们可以证明,在解码之后,我们的连续松弛的全局极小值产生了一个离散树,它具有Dasgupta最优树的(1 + 1)因子近似,其中1可以任意小,并控制优化挑战。我们实验评估HypHC的各种HC基准,并发现,即使是近似的解决方案,发现与梯度下降有更好的聚类质量比凝聚算法或其他基于梯度的算法。最后,我们强调了HypHC在下游分类任务中使用端到端训练的灵活性。
2020-10-01 cs.DS cs.LG stat.ML
Hierarchical Uncertainty Exploration via Feedforward Posterior Trees
Technion–Israel Institute of Technology(以色列理工学院);Electrical and Computer Engineering(电气与计算机工程学院)
本文提出一种通过单次前向传播预测树值层次摘要的新方法,用于在多个粒度级别上可视化后验分布,实现高效的不确定性量化与图像恢复,性能与扩散采样基线相当但速度提升数个数量级。
2024-05-24 cs.CV cs.LG eess.IV
Hierarchical Shrinkage: improving the accuracy and interpretability of tree-based methods
Department of Physics, UC Berkeley(加州大学伯克利分校物理系);Department of Statistics, UC Berkeley(加州大学伯克利分校统计系);EECS Department, UC Berkeley(加州大学伯克利分校电机工程与计算机科学系)
基于树的模型,如决策树和随机森林(RF)是现代机器学习实践的基石。为了减轻过拟合,树通常通过各种修改其结构的技术(例如修剪)进行正则化。我们引入分层收缩(HS),一个事后算法,不修改的树结构,而是正规化的树收缩预测对每个节点的样本意味着它的祖先。收缩量由单个正则化参数和每个祖先中的数据点数量控制。由于HS是一种事后方法,因此它非常快,与任何树生长算法兼容,并且可以与其他正则化技术协同使用。在各种真实世界数据集上的大量实验表明,HS大大提高了决策树的预测性能,即使与其他正则化技术结合使用。此外,我们发现,应用HS到RF中的每棵树通常可以提高准确性,以及通过简化和稳定其决策边界和SHAP值来提高其可解释性。我们进一步解释了HS在提高预测性能方面的成功,通过显示其等价于由与树的内部节点相关联的决策树构成的(监督)基础上的岭回归。所有的代码和模型都在Github上发布(github.com/csinva/imodels)
2022-02-02 cs.AI cs.LG stat.AP
Topic Browsing for Research Papers with Hierarchical Latent Tree Analysis
The Education University of Hong Kong(香港教育大学);The Hong Kong University of Science and Technology(香港科技大学)
学术研究者经常需要面对大量文献中的研究论文。对于刚进入某个领域的研究生来说,这个问题可能更严重,他们可能不知道从哪里开始。为了解决这个问题,我们开发了一个在线研究论文目录,其中的论文已自动分类的主题模型。该目录包含2000年至2015年两次人工智能会议的7719篇论文。而不是常用的潜在狄利克雷分配,我们使用最近提出的方法称为层次潜在树分析的主题建模。生成的主题模型包含主题的层次结构,以便用户可以从顶层到底层浏览主题。主题模型在顶层包含可管理数量的一般主题,在底层允许数千个细粒度主题。它还可以检测最近出现的主题。
2016-09-29 cs.CL cs.IR cs.LG
Deep Hierarchical Knowledge Loss for Fault Intensity Diagnosis
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)科学与工程学院);School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)人工智能学院);School of Artificial Intelligence, Xidian University(西安电子科技大学人工智能学院);School of Computer, Luoyang Institute of Science and Technology(洛阳理工学院计算机学院);Frankfurt Institute for Advanced Studies(法兰克福先进研究 institute);SAMSON AG(SAMSON公司)
本文提出深度层次知识损失框架,通过层次树损失和焦点层次树损失提升故障诊断的识别能力,实验表明在多个工业数据集上优于现有方法。
2026-04-08 cs.AI cs.CV cs.LG
Visual Exploration of Machine Learning Model Behavior with Hierarchical Surrogate Rule Sets
New York University(纽约大学);Capital One(第一资本)
模型解释的一个潜在解决方案是训练一个代理模型:一个更透明的模型,它近似于要解释的模型的行为。通常,由于分类规则或决策树的基于逻辑的表达的可理解性而使用分类规则或决策树。但是,决策树可能会生长得太深,规则集可能会变得太大,无法近似复杂的模型。与决策树上必须共享祖先节点(条件)的路径不同,规则更加灵活。然而,规则的非结构化视觉表示使得很难进行跨规则的推理。为了解决这些问题,我们提出了一个工作流程,其中包括新的算法和交互式解决方案。首先,我们提出了分层代理规则(HSR),一个算法,生成分层规则的基础上,用户定义的参数。我们还贡献了SuRE,一个可视化分析(VA)系统,集成了HSR和交互式代理规则可视化。特别是,我们提出了一种新的特征对齐树,以克服现有的规则可视化的缺点。我们评估算法的参数敏感性,时间性能,并与代理决策树比较,发现它的规模合理,在许多方面优于决策树。我们还评估了可视化和VA系统的可用性研究与24名志愿者和观察性研究与7个领域的专家。我们的调查表明,参与者可以使用特征对齐树来执行非常高的准确性,非平凡的任务。我们还讨论了许多有趣的观察,可以为未来的研究设计有效的基于规则的VA系统是有用的。
2022-01-19 cs.AI cs.HC cs.LG
Trees to Flows and Back: Unifying Decision Trees and Diffusion Models
School of Computation, Information and Technology, Technical University of Munich, Germany(慕尼黑技术大学计算、信息与技术学院,德国);Munich center for machine learning (MCML)(慕尼黑机器学习中心(MCML))
本文通过建立层次决策树与扩散过程之间的数学对应关系,统一了决策树和扩散模型,揭示了共同的优化原则'全局轨迹得分匹配',并提出了两种实用应用:treeflow在表格数据生成中表现优异,且计算速度更快;dsmtree将层次决策逻辑转移到神经网络中,在多个基准上与教师模型表现相近。
2026-05-21 cond-mat.stat-mech cs.AI cs.LG
Latent Tree Models for Hierarchical Topic Detection
The Hong Kong University of Science and Technology(香港科技大学);Ant Financial Services Group(蚂蚁金融服务集团);The Education University of Hong Kong(香港教育大学)
我们提出了一种新的分层主题检测方法,主题是通过多种方式聚类文件。具体来说,我们使用一类称为分层潜在树模型(HLTM)的图形模型来建模文档集合。HLTM底层的变量是观察到的二进制变量,表示文档中单词的存在/不存在。其他级别的变量是二进制潜变量,最低潜级别的变量表示单词同现模式,较高级别的变量表示较低级别的模式同现。每个潜在变量给出了文档的软分区,分区中的文档簇被解释为主题。在高层次的潜在变量捕获长范围的词共现模式,从而给主题更一般的主题,而那些在低层次的捕获短范围的词共现模式,并给主题更具体的主题。与基于LDA的主题模型不同,HLTM不引用文档生成过程,而是使用word变量而不是token变量。它们使用树结构来建模主题和词之间的关系,这有利于发现有意义的主题和主题层次。
2016-12-21 cs.CL cs.IR cs.LG