Hyperbolic Residual Quantization: Discrete Representations for Data with Latent Hierarchies
Amazon(亚马逊公司);KAUST(卡塔尔人工智能科技大学)
针对残差量化依赖欧几里得几何难以适配层级数据分支建模的问题,提出双曲残差量化方法,通过双曲流形嵌入与运算引入适配层级结构的归纳偏置,在层级建模与发现任务上性能最高提升20%,增强了潜在层级捕捉能力。
2025-05-18 cs.AI cs.LG
A Hierarchy of Limitations in Machine Learning
Berkman Klein Center for Internet & Society at Harvard University(哈佛大学伯克曼·克莱因互联网与社会中心)
“所有的模型都是错误的,但有些是有用的,”乔治E。P. Box(1979).机器学习一直专注于概率模型在社会系统预测中的有用性,但直到现在才开始掌握这些模型错误的方式以及这些缺陷的后果。本文试图对应用于社会时机器学习中模型的具体概念、程序和统计限制进行全面、结构化的概述。机器学习建模者自己可以使用所描述的层次结构来识别可能的故障点,并考虑如何解决这些问题,而机器学习模型的消费者可以知道在面临关于是否、在何处以及如何应用机器学习的决策时应该质疑什么。局限性从量化本身固有的承诺,到显示未建模的依赖关系如何导致交叉验证作为评估模型性能的一种方式过于乐观。
2020-02-29 cs.CY cs.LG econ.EM
Hierarchy of extreme-event predictability in turbulence revealed by machine learning
通过机器学习研究湍流中极端事件的可预测性层次结构,发现其受大尺度结构控制,且预测能力随时间变化。
2026-03-14 cs.LG math.DS nlin.CD
Hyperbolic Geometric Graph Representation Learning for Hierarchy-imbalance Node Classification
Beihang University(北京航空航天大学);Guangxi Normal University(广西师范大学);Macquarie University(麦考瑞大学);Zhongguancun Lab(中关村实验室)
本文针对图神经网络节点分类中的层级不平衡问题,提出基于双曲几何的HyperIMBA框架,通过建模全局层级结构缓解标记节点层级不均和跨层级连接模式带来的偏差,实验验证了其优越性。
2023-04-11 cs.LG cs.SI
Physics informed machine learning with Smoothed Particle Hydrodynamics: Hierarchy of reduced Lagrangian models of turbulence
UArizona(亚利桑那大学);LANL(洛斯阿拉莫斯国家实验室)
本文构建参数化约化拉格朗日湍流模型层级,将神经网络与弱可压缩SPH物理结构结合,并提出新型参数化光滑核,验证其在HIT数据上的泛化性和精度。
2023-11-08 cs.LG physics.flu-dyn
Climbing the label tree: Hierarchy-preserving contrastive learning for medical imaging
corp(公司)
本文提出保层次对比学习框架,通过层次加权对比和层级感知间隔两个即插即用目标,将标签树纳入自监督训练与评估,在医学图像基准上提升表示质量和分类体系一致性。
2025-11-05 cs.AI cs.LG q-bio.QM
Faster Support Vector Machines
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Vienna(维也纳大学)
支持向量机(SVM)的时间复杂度阻碍了在具有数百万个数据点的巨大数据集上进行训练。最近,已经开发了训练SVM的多级方法,以允许在巨大的数据集上进行时间有效的训练。虽然常规SVM在一个耗时的优化步骤中执行整个训练,但多级SVM首先建立一个类似于原始问题的大小减小的问题层次,然后训练每个层次的SVM模型,受益于前一级的解决模型。我们提出了一个更快的多级支持向量机,使用标签传播算法来构建问题的层次结构。大量的实验表明,我们的方法是数量级的速度比以前最快的算法,同时具有可比的分类质量。例如,我们的一个顺序求解器平均比并行ThunderSVM算法快15倍,同时具有相似的分类质量。
2020-01-28 cs.DM cs.DS cs.LG
Combining Machine Learning and Social Network Analysis to Reveal the Organizational Structures
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学)
在一个组织内形成等级制度是分配职责、委派责任和优化信息流动的自然方式。只有最小的公司才可能没有等级制度,也就是说,一个扁平的等级制度。然而,如果他们成长,等级制度的引入是不可避免的。大多数情况下,它的存在导致其成员的任务和职责的不同性质,位于不同的组织层次或在它的遥远的部分。另一方面,员工经常发送几十封电子邮件,每天,通过这样做,并通过从事其他活动,他们自然形成一个非正式的社会网络,节点是个人和边缘是连接他们的行动。起初,这样的社会网络似乎不同于组织网络。然而,对这种网络的分析可能导致再现公司的组织层级。这是因为,在等级制度中担任类似职位的人可能也有类似的行为和沟通方式。这项工作的关键概念是评估如何以及社会网络的措施时,结合其他功能获得的功能工程与组织社会网络的成员的分类。作为回答该研究问题的技术,采用了机器学习装置。在这里,对于分类任务,决策树,随机森林,{神经网络和支持向量机}进行了评估,以及集体分类算法,这也是本文提出的。结果表明,使用元数据建立的社会网络的沟通高度暴露的组织结构。
2020-09-15 cs.LG cs.SI
Hierarchical Text Classification Using Contrastive Learning Informed Path Guided Hierarchy
Walmart Global Tech(沃尔玛全球科技)
本文提出HTC-CLIP方法,通过对比学习同时学习层次感知的文本表示和路径引导的层次结构表示,并在推理时融合两种概率分布,在公开数据集上取得优于现有模型的宏F1提升。
2025-06-04 cs.CL cs.LG
Semantic Hierarchy Emerges in Deep Generative Representations for Scene Synthesis
Department of Information Engineering, The Chinese University of Hong Kong(香港中文大学信息工程学系)
尽管生成对抗网络(GANs)在图像合成方面取得了成功,但人们对生成模型在深度生成表示中学到了什么以及照片般逼真的图像如何能够由最近GANs中引入的逐层随机性组成缺乏足够的理解。在这项工作中,我们表明,高度结构化的语义层次出现的变化因素,从合成场景的生成表示在国家的最先进的GAN模型,如样式GAN和大GAN。通过在不同的抽象层次上探测具有广泛语义集的逐层表示,我们能够量化输出图像中发生的激活和语义之间的因果关系。这样的量化识别了由GANs学习的人类可理解的变化因素来组成场景。定性和定量结果进一步表明,由具有逐层潜在代码的GANs学习的生成表示专门用于合成不同的层次语义:早期层倾向于确定空间布局和配置,中间层控制分类对象,后期层最终呈现场景属性以及配色方案。识别这样一组可操纵的潜在变化因素有助于语义场景操纵。
2020-02-11 cs.CV cs.GR cs.LG
GL-Coarsener: A Graph representation learning framework to construct coarse grid hierarchy for AMG solvers
Sharif University of Technology(谢里夫理工大学);Sharif University of Technology - Kish International Campus(谢里夫理工大学基什国际校区)
在许多数值方案中,计算复杂性与问题大小成非线性比例。使用直接法或大多数迭代法求解线性方程组就是一个典型的例子。代数多重网格(AMG)方法是一种有效求解大型线性系方程组的数值方法。AMG方法之间的主要区别之一是如何从给定的细网格构造较粗的网格。AMG方法主要有两类:基于图和基于聚集的粗化方法。在这里,我们提出了一个基于聚合的粗化框架,利用图表示学习和聚类算法。我们的方法将机器学习的力量引入AMG研究领域,为未来的研究开辟了一个新的视角。所提出的方法使用图表示学习技术来学习从底层系数系数矩阵获得的图的潜在特征。使用这些提取的特征,我们从细网格生成一个粗网格。所提出的方法是高度并行计算能力。我们的实验表明,所提出的方法在解决大型系统的效率与其他基于聚合的方法是密切相关的,展示了高能力的图表示学习设计多重网格求解器。
2020-11-19 cs.AI cs.LG cs.NA
PHyCLIP: $\ell_1$-Product of Hyperbolic Factors Unifies Hierarchy and Compositionality in Vision-Language Representation Learning
Hokkaido University(北海道大学);CyberAgent
PHyCLIP通过$\ell_1$-Product度量结合双曲因子,统一了视觉-语言表示学习中的层次结构与组合性。
2026-03-02 cs.CV cs.LG
Hierarchy-Guided Multimodal Representation Learning for Taxonomic Inference
Brookhaven National Laboratory(布鲁克海文国家实验室);Rutgers University(罗格斯大学)
本文提出两种端到端的多模态学习方法,通过编码生物分类层级结构提升分类鲁棒性,在大规模生物多样性基准上实现超过14%的准确率提升。
2026-03-26 cs.CV cs.LG
Fast Multilevel Support Vector Machines
Clemson University(克莱姆森大学)
在大规模训练数据上求解支持向量机的不同类型的优化模型(包括参数拟合)通常是一项昂贵的计算任务。本文提出了一种多级算法框架,有效地扩展到非常大的数据集。不是在一个优化过程中求解整个训练集,而是在数据的多个粗糙度级别上获得并逐渐细化支持向量。拟议框架包括:(a)大规模数据粗略表示的层次结构的构造,以及(b)在整个该层次结构中更新超平面的局部处理。我们的多级框架大大提高了计算时间,而不会失去分类器的质量。该算法被证明为定期和加权支持向量机。平衡和不平衡分类问题的实验结果。已观察到若干不平衡数据集的质量有所改善。
2014-10-13 cs.LG stat.ML
Learning Structured Representations by Embedding Class Hierarchy with Fast Optimal Transport
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学);Okinawa Institute of Science and Technology(冲绳科学技术研究所)
针对现有CPCC正则化依赖类别均值导致多模态分布表征不佳的问题,提出基于EMD距离的OT-CPCC方法,并设计线性时间复杂度的Fast FlowTree算法,在保持性能的同时提升效率。
2025-04-20 cs.LG
On Learning Vector Representations in Hierarchical Label Spaces
Technische Universität Darmstadt(达姆施塔特工业大学);German Institute for Educational Research(德国教育研究所)
多标签分类中的一个重要问题是捕获标签模式或对这些模式有影响的底层结构。本文解决了这样一个问题,即如何利用层次结构的标签。我们提出了一种新的方法来学习向量表示的标签空间给出了一个层次的标签和标签同现模式。我们的实验结果定性地表明,所提出的方法是能够学习标签之间的重叠,利用标签层次结构以及标签同现。它突出了层次信息的重要性,以获得促进类比推理的标签空间上的相似性。我们还通过实验说明了学习表示对标签层次结构的依赖性。
2015-04-16 cs.CL cs.LG stat.ML
Deep Hierarchy Quantization Compression algorithm based on Dynamic Sampling
ShenZhen University(深圳大学);Macquarie University(麦考瑞大学)
与传统的分布式机器学习不同,联邦学习将数据存储在本地进行训练,然后将模型聚合在服务器上,解决了传统分布式机器学习中可能出现的数据安全问题。然而,在训练过程中,模型参数的传输会对网络带宽造成很大的负载。在模型参数传递过程中,绝大多数模型参数是冗余的。本文在此基础上探索所选部分模型参数的数据分布规律,提出了一种深度层次量化压缩算法,通过模型参数的层次量化,进一步压缩模型,降低数据传输带来的网络负载。并采用动态抽样策略进行客户选择,以加快模型的收敛速度。在不同公共数据集上的实验结果表明了该算法的有效性。
2022-12-30 cs.IR cs.LG
Hyperbolic Molecular Representation Learning for Drug Repositioning
University of Pittsburgh(匹兹堡大学)
学习准确的药物表示是必不可少的任务,如计算药物重新定位。药物层级是一个有价值的来源,它以树状结构编码药物之间关系的知识,其中作用于相同器官、治疗相同疾病或结合相同生物靶标的药物被分组在一起。然而,其在学习药物表征中的效用尚未被探索,并且目前描述的药物表征不能将新分子置于药物层级中。在这里,我们开发了一种半监督的药物嵌入,它包含两个信息来源:(1)从药物和药物样分子的化学结构推断的基础化学语法(无监督),以及(2)在专家制作的批准药物层次结构中编码的层次关系(监督)。我们使用变分自动编码器(VAE)框架来编码分子的化学结构,并使用从层次结构中获得的药物之间的相似性信息来诱导药物在双曲空间中的聚类。双曲空间适合于编码层次关系。我们的定性结果支持学习药物嵌入可以诱导药物之间的层次关系。我们证明,学习药物嵌入可用于药物重新定位。
2022-07-06 cs.LG q-bio.BM
Why Code, Why Now: An Information-Theoretic Perspective on the Limits of Machine Learning
本文从信息结构角度探讨机器学习的限制,提出基于信息结构的五级可学习性层次,指出任务在该层次中的位置比模型属性更预测扩展效果。
2026-04-12 cs.CL cs.LG
How Deep Neural Networks Learn Compositional Data: The Random Hierarchy Model
Institute of Physics, EPFL(洛桑联邦理工学院物理研究所);Institute of Electrical Engineering, EPFL(洛桑联邦理工学院电气工程研究所)
本文提出随机层次模型研究深度网络学习组合数据所需样本量,发现网络通过构建对等价组交换不变的内部表示来克服维度灾难,并给出了学习层次任务所需数据量的估计。
2024-07-03 cs.CV cs.LG stat.ML
Structural Hierarchy and Geometry in Molecular Representation Learning
Delft University of Technology(代尔夫特理工大学)
该研究探讨显式编码Bemis-Murcko骨架并以其监督分子嵌入的效果,对比欧氏与洛伦兹对比目标,发现骨架监督可塑造分子嵌入空间组织,且对分子属性预测有增益,效果因任务和几何类型而异。
2026-09-01 cs.LG q-bio.BM
Hangul Fonts Dataset: a Hierarchical and Compositional Dataset for Investigating Learned Representations
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University of California, Berkeley(加州大学伯克利分校);University of California, Irvine(加州大学欧文分校)
层次性和组合性是许多自然和科学数据集的共同潜在属性。确定深度网络的隐藏激活何时表示层次结构和组合性对于理解深度表示学习和在可解释性至关重要的领域中应用深度网络都很重要。然而,当前的基准机器学习数据集要么几乎没有层次结构或组合结构,要么结构未知。这个差距阻碍了对网络表示的精确分析,从而阻碍了可以学习这些属性的新方法的开发。为了解决这一差距,我们开发了一个新的基准数据集,具有已知的层次和组成结构。韩文字体数据集(HFD)由35种来自韩文书写系统(Hangul)的字体组成,每种字体都有11,172个块(音节),这些块由初始辅音、中间元音和最终辅音字形的乘积组成。所有的块可以被分组为几个几何类型,这引起了跨块的层次结构。此外,每个块都由单独的字形组成,具有旋转,平移,缩放和跨字体的自然风格变化。我们发现,与有监督的深度网络相比,浅层和深层无监督方法在HFD的表示中只显示出适度的层次和组合性证据。受监督的深度网络表示包含与字符的几何层次结构相关的结构,但数据的组成结构并不明显。因此,HFD能够识别现有方法中的缺点,这是开发新的机器学习算法以在自然变化的背景下提取分层和组成结构的关键的第一步。
2021-06-09 cs.CV cs.LG cs.NE
A machine learning approach for forecasting hierarchical time series
University of Rome Tor Vergata(罗马第二大学)
在本文中,我们提出了一个机器学习方法预测分层时间序列。在处理分层时间序列时,除了生成准确的预测外,还需要选择一种合适的方法来生成协调的预测。预测调节是调整预测以使其在整个层次结构中保持一致的过程。在文献中,一致性往往是通过使用后处理技术的基础上产生适当的时间序列预测方法的预测。相反,我们的想法是使用深度神经网络直接产生准确和协调的预测。我们利用深度神经网络的能力来提取捕获层次结构的信息。我们在训练时通过最小化定制的损失函数来进行协调。在许多实际应用中,除了时间序列数据,层次时间序列包含解释变量,有利于提高预测精度。利用这些进一步的信息,我们的方法链接到一个端到端的神经网络提供准确和协调的点预测的层次结构和解释变量的任何级别提取的时间序列特征之间的关系。在三个真实数据集上验证了该方法的有效性,其中我们的方法在分层预测中优于最先进的竞争对手。
2021-05-03 cs.LG stat.ML
Neural Field Tokenizations with Hierarchy and Spatial Locality Priors
Zuse Institute Berlin (ZIB)(柏林祖斯研究所);Cartesia AI;Technische Universität Berlin(柏林工业大学)
提出LH-NeF框架,利用层次和局部性先验学习通用连续信号的分词表示,通过前馈编码替代元学习,内存减少42倍,批大小提升133倍,在图像、3D形状和气候场上匹配或超越多种基线。
2026-09-09 cs.CV cs.LG
Background subtraction using the factored 3-way restricted Boltzmann machines
University of Michigan(密歇根大学)
本文提出了一种基于连续感觉输入的三维模型重建方法。机器人可以使用各种传感器从现实世界中获取非常大的数据。然而,感官输入通常是太嘈杂和高维数据。当机器人试图构建3D模型时,机器人使用这样的原始数据进行处理是非常困难和耗时的。因此,需要一种方法,可以从这些感官输入中提取有用的信息。为了解决这个问题,我们的方法利用对象语义层次(OSH)的概念。与以往的工作,使用这种层次结构的框架,我们提取的运动信息,而不是应用经典的计算机视觉方法使用深度信念网络技术。我们已经训练了两个大的随机点图像集(10,000),它们分别被平移和旋转,并成功地提取了几个解释平移和旋转运动的基础。基于这种平移和旋转基础,使用对象语义层次结构进行背景减除已经成为可能。
2018-02-05 cs.CV cs.LG eess.IV
Beyond Binary: Speech Representations Across the Cognitive Score Hierarchy
1 Hertie Institute for AI in Brain Health, University of Tübingen, Tübingen, Germany 2 Tübingen AI Center, University of Tübingen, Tübingen, Germany 3 Department of Psychology, Humboldt-Universität zu Berlin 4 Geriatric Center, Tübingen University Hospital, Tübingen, Germany 5 Tübingen Center for Mental Health (TüCMH), Department of Psychiatry;Psychotherapy, Tübingen University Hospital, Tübingen, Germany 6 German Center for Mental Health (DZPG), Partner Site Tübingen, Tübingen, Germany 7 Department of Neurology, University Medical Center Schleswig-Holstein;Kiel University, Kiel, Germany 8 Center for Neurology, University Hospital Tübingen;Hertie Institute for Clinical Brain Research, Tübingen, Germany 9 Pattern Recognition Lab, Friedrich-Alexander-Universität Erlangen-Nürnberg, Erlangen, Germany 10 Charit\'e--Universit\"atsmedizin, Department of Psychiatry
本研究利用5,754份德语神经心理学评估录音,比较手工声学特征与自监督学习嵌入在轻度认知障碍认知评估层级(任务、领域、全局)中的表现,发现任务约束与评估层级之间的关联。
2026-05-26 cs.CL cs.LG cs.SD
Why all roads don't lead to Rome: Representation geometry varies across the human visual cortical hierarchy
Mila - Quebec AI Institute(魁北克人工智能研究所);Computer Science, McGill University(麦吉尔大学计算机科学系);Department of Psychology, Université de Montréal(蒙特利尔大学心理学系);Department of Neurology & Neurosurgery, McGill University(麦吉尔大学神经学与神经外科系);Montreal Neurological Institute(蒙特利尔神经科学研究所);CIFAR Learning in Machines & Brains Program(CIFAR机器与大脑学习计划)
本研究采用群体几何框架分析人类视觉皮层与人工神经网络,发现无标度表征几何并非大脑普适属性,而是取决于系统的计算目标。
2025-09-16 cs.LG cs.NE q-bio.NC