Hierarchical regularization networks for sparsification based learning on noisy datasets
Tufts University（塔夫茨大学）
我们提出了一种分层学习策略，旨在为大型噪声数据集生成稀疏表示和相关模型。该层次结构如下从近似空间确定在连续更精细的尺度。为了促进模型在每个尺度上的推广，我们还引入了一种新的，基于投影的惩罚算子在多个维度上，使用置换算子将接近和排序信息。本文详细分析了重建再生核希尔伯特空间（RKHS）的逼近性质，重点是与所产生的稀疏表示相关的误差泛函的预测和行为的最优性和一致性。结果表明，该方法的性能作为一个数据减少和建模策略的合成（单变量和多变量）和真实的数据集（时间序列）。稀疏模型的测试数据集，所提出的方法产生的，也被证明是有效地重建底层的过程和维护的泛化能力。
2020-06-09 cs.LG stat.ML
Implicit Regularization in Hierarchical Tensor Factorization and Deep Convolutional Neural Networks
Tel Aviv University（特拉维夫大学）
为了解释深度学习中的隐式正则化，重点关注了矩阵和张量分解，它们对应于简化的神经网络。结果表明，这些模型表现出一个隐含的倾向，低矩阵和张量秩，分别。为了更接近实际的深度学习，本文从理论上分析了分层张量分解中的隐式正则化，这是一种等效于某些深度卷积神经网络的模型。通过动力系统的镜头，我们克服了与层次结构相关的挑战，并建立了隐式正则化低层次张量秩。这转化为对相关卷积网络局部性的隐式正则化。受我们理论的启发，我们设计了显式正则化来抑制局部性，并证明了它能够提高现代卷积网络在非局部任务上的性能，这与需要改变架构的传统智慧背道而驰。我们的工作突出了通过对神经网络的隐式正则化进行理论分析来增强神经网络的潜力。
2022-09-18 cs.AI cs.LG cs.NE
Bayesian selection for the l2-Potts model regularization parameter: 1D piecewise constant signal denoising
Univ Lyon, Ens de Lyon, Univ Claude Bernard, CNRS, Laboratoire de Physique（里昂大学，里昂高等师范学院，克洛德·贝尔纳大学，法国国家科学研究中心，物理实验室）；IRIT/INP-ENSEEIHT, University of Toulouse（图卢兹大学 IRIT/INP-ENSEEIHT）
分段常数去噪可以通过基于Potts模型的确定性优化方法或通过随机贝叶斯过程来解决。前者导致低的计算时间，但需要选择的正则化参数，其值显着影响所获得的解决方案，其自动选择仍然是一个复杂的和具有挑战性的问题。相反，完全贝叶斯形式主义将正则化参数选择封装到分层模型中，代价是高计算成本。这方面的贡献提出了一个操作策略，结合层次贝叶斯和Potts模型配方，自动调整正则化参数和保持计算效率的双重目标。建议的程序依赖于正式连接贝叶斯框架的l2-Potts功能。所提出的分段常数去噪和正则化参数调整技术的行为和性能进行了定性研究和定量评估，并显示出与完全贝叶斯分层过程相比，在精度和计算负载方面都是有利的。
2017-02-27 cs.LG stat.ML
Connecting Sphere Manifolds Hierarchically for Regularization
Samsung SAIT AI Lab（三星SAIT人工智能实验室）；Samsung Advanced Institute of Technology (SAIT)（三星先进技术研究院（SAIT））
本文考虑了分层组织类的分类问题。我们强制每个类的分类器（超平面）属于一个球面流形，其中心是其超类的分类器。然后，基于它们的层次关系连接各个球面流形。我们的技术取代了神经网络的最后一层，结合了球形全连接层与分层。这种正则化可以提高广泛使用的深度神经网络架构（ResNet和DenseNet）在公开数据集（CIFAR 100，CUB 200，斯坦福狗，斯坦福汽车和Tiny-ImageNet）上的性能。
2021-06-25 cs.CV cs.LG
Hierarchical Group Sparse Regularization for Deep Convolutional Neural Networks
Hiroshima University（广岛大学）
在深度神经网络（DNN）中，为了获得高的学习性能，参数的数量通常是巨大的。由于这个原因，它需要大量的内存和大量的计算资源，并且还会导致过拟合。众所周知，一些参数是冗余的，可以从网络中删除，而不会降低性能。许多稀疏正则化准则已经被提出来解决这个问题。在卷积神经网络（CNN）中，组稀疏正则化通常用于去除不必要的权重子集，例如滤波器或通道。当我们对作为一个组连接到神经元的权重应用组稀疏正则化时，每个卷积滤波器在正则化中不被视为目标组。在本文中，我们引入层次分组的概念来解决这个问题，我们提出了几个层次组稀疏正则化标准的CNN。我们提出的分层组稀疏正则化可以将输入神经元或输出神经元的权重视为一个组，并将卷积滤波器视为同一组中的一个组，以修剪不必要的权重子集。因此，我们可以根据网络的结构和保持高性能的通道数量来更充分地修剪权重。在实验中，我们通过在几种网络架构的公共数据集上进行密集的比较实验来研究所提出的稀疏正则化的有效性。代码可以在GitHub上找到：“https://github.com/K-Mitsuno/hierarchical-group-sparse-regularization“
2020-04-09 cs.CV cs.LG
Filter Pruning using Hierarchical Group Sparse Regularization for Deep Convolutional Neural Networks
Hiroshima University（广岛大学）
由于卷积神经网络经常用冗余参数训练，因此可以减少冗余核或滤波器以获得紧凑的网络而不降低分类精度。在本文中，我们提出了一种过滤器修剪方法使用层次组稀疏正则化。在我们以前的工作中，层次组稀疏正则化是有效的，在获得稀疏网络中，连接到不必要的通道的过滤器自动接近零。在对卷积神经网络进行层次群稀疏正则化训练后，根据随机选取的训练样本分类损失的增加情况选取不必要的滤波器，得到一个紧凑的网络。结果表明，该方法可以减少CIFAR-10的ResNet参数的50%以上，而测试样本的准确性仅下降0.3%。此外，TinyImageNet-200的ResNet参数减少了34%，精度高于基线网络。
2020-11-04 cs.CV cs.LG
Hyper-parameter optimization based on soft actor critic and hierarchical mixture regularization
Zhejiang University of Science and Technology（浙江科技大学）
超参数优化是机器学习中的一个关键问题，因为它的目标是在任何模型中实现最先进的性能。在这一领域人们已经做了大量的努力，如随机搜索、网格搜索、贝叶斯优化等。本文将超参数优化过程建模为马尔可夫决策过程，并采用强化学习对其进行处理。提出了一种新的基于软演员评判和分层混合正则化的超参数优化方法。实验表明，该方法能在较短的时间内获得较好的超参数。
2021-12-08 cs.AI cs.LG
Robustness and Regularization in Hierarchical Re-Basin
German Aerospace Center (DLR) - Institute for AI Safety and Security（德国航空航天中心（DLR）- 人工智能安全与保密研究所）
本文研究了Git Re-Basin在模型合并中的鲁棒性和正则化问题，提出了一种层次化模型合并方案，显著优于标准的MergeMany算法，并发现Re-Basin在合并模型中引入了对抗鲁棒性和扰动鲁棒性，但实验显示其性能下降比原始作者报告的更大。
2026-05-19 cs.LG
Extension of TSVM to Multi-Class and Hierarchical Text Classification Problems With General Losses
Microsoft（微软）；Microsoft Research India（微软印度研究院）；Indian Institute of Science（印度科学学院）
直推式支持向量机（TSVM）是一种著名的半监督大间隔学习方法，用于二进制文本分类。在本文中，我们将这种方法扩展到多类和层次分类问题。我们指出，具有固定的分类器权重的未标记的例子的标签的确定是一个线性规划问题。我们设计了一种有效的求解方法，该方法适用于一般的损失函数。我们证明了新方法的价值，使用大量的多类和分层分类数据集的利润损失。对于最大损失，我们的经验表明，我们的方法优于期望正则化/约束和后验正则化方法，并与使用标签约束的熵正则化方法的版本竞争。
2012-11-01 cs.LG
BEAN: Interpretable Representation Learning with Biologically-Enhanced Artificial Neuronal Assembly Regularization
George Mason University（乔治梅森大学）
深度神经网络（DNN）以从大量数据中提取有用信息而闻名。然而，在DNN中学习的表示通常很难解释，特别是在密集层中。经典DNN模型（如多层感知器（MLP））的一个关键问题是，DNN同一层中的神经元相互之间是有条件独立的，这使得协同训练和出现更高的模块性变得困难。与DNN相反，哺乳动物大脑中的生物神经元显示出大量的依赖模式。具体而言，生物神经网络通过所谓的神经元组装来编码表示：神经元组通过强突触相互作用互连并共享联合语义内容。由此产生的群体编码对人类认知和记忆过程至关重要。在这里，我们提出了一种新的生物增强人工神经元组装（BEAN）正则化模型神经元的相关性和依赖性，灵感来自神经科学的细胞组装理论。实验结果表明，BEAN能够形成可解释的神经元功能簇，从而促进稀疏，内存/计算效率的网络，而不会损失模型性能。此外，我们的少样本学习实验表明，BEAN也可以提高模型的泛化能力，当训练样本非常有限。
2021-05-05 cs.LG cs.NE stat.ML
When Rigidity Hurts: Soft Consistency Regularization for Probabilistic Hierarchical Time Series Forecasting
Georgia Institute of Technology（佐治亚理工学院）
针对概率层次时间序列预测中分布连贯性缺失及数据集不一致的问题，提出PROFHiT模型，通过分布连贯性正则化联合建模整个层次预测分布，显著提升了准确率、校准效果及缺失数据下的鲁棒性。
2023-10-19 cs.AI cs.LG
When Rigidity Hurts: Soft Consistency Regularization for Probabilistic Hierarchical Time Series Forecasting
针对概率分层时间序列预测中分布连贯性缺失及对不一致真实数据集适应性差的问题，提出全概率模型PROFHiT，通过引入Distributional Coherency正则化联合建模整个层级预测分布，显著提升了准确率、校准效果及对缺失数据的鲁棒性。
2023-10-19 cs.AI cs.LG
Deep Weight Factorization: Sparse Learning Through the Lens of Artificial Symmetries
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出深度权重分解方法，将权重分解为多个因子并施加可微L2正则化，理论上等价于非凸稀疏正则化，并通过定制初始化和学习率策略在多种架构与数据集上优于浅层分解和剪枝方法。
2025-02-07 cs.LG stat.ML
Inverse problem regularization with hierarchical variational autoencoders
Univ. Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立综合理工学院）；IMB（数学与计算机科学研究所）；Ubisoft La Forge（育碧拉福奇工作室）；Université Paris Cité（巴黎城市大学）；MAP5（数学与应用概率科学研究所）
提出用分层变分自编码器作为图像先验正则化不适定逆问题，结合PnP收敛保证与生成模型灵活性，在自然图像恢复上达到SOTA水平。
2023-09-29 cs.CV cs.LG
Variational Bayesian Dropout with a Hierarchical Prior
Wuhan University（武汉大学）；The University of Adelaide（阿德莱德大学）；Inception Institute of Artificial Intelligence（人工智能初创研究院）
变分丢弃算法（Variational dropout，VD）是高斯丢弃算法的一种推广，其目的是根据网络权值的对数一致先验知识来推断权值的后验，从而同时学习权值和丢弃率。对数一致先验不仅解释了高斯丢弃在网络训练中的正则化能力，而且还支持这种后验的推断。然而，对数均匀先验是不适当的先验（即，它的积分是无穷的），这就导致了后验推理的不适定，从而限制了VD的正则化性能。为了解决这个问题，我们提出了一个新的推广高斯辍学，称为变分贝叶斯辍学（VBD），这反过来利用一个层次的网络权重的先验，并推断一个新的联合后验。具体来说，我们实现了分层先验作为一个零均值高斯分布与方差采样从一个统一的超先验。然后，我们将这样的先验知识引入到对网络权重和分层先验知识方差的联合后验推断中，从而将网络训练和丢包率估计都转化为一个联合优化问题。更重要的是，层次先验是一个适当的先验，使后验推理是适定性的。此外，我们进一步表明，建议的VBD可以无缝地应用于网络压缩。分类和网络压缩任务的实验证明了所提出的VBD在正则化网络训练方面的优越性能。
2019-04-04 cs.LG stat.ML
Topological regularization with information filtering networks
UCL（伦敦大学学院）；London School of Economics（伦敦政治经济学院）
介绍了一种利用信息过滤网络进行拓扑正则化的方法。该方法可直接应用于协方差选择问题，为线性和非线性多变量概率分布（如椭圆和广义双曲族）的稀疏概率建模提供了一种工具。它也可以直接实现为$L_0$ -范数正则化多元共线性回归。在本文中，我详细描述了一个应用程序的稀疏建模与多元学生t。一个特定的$L_0$范数正则化的期望最大化似然最大化过程，提出了这种稀疏的学生t的情况下。从股票价格日志回报和人工生成的数据的真实数据的例子证明了这种方法的适用性，性能和潜力。
2021-10-30 cs.LG stat.ML
Blockout: Dynamic Model Selection for Hierarchical Deep Networks
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
大多数用于图像分类的深度架构--即使是那些被训练来分类大量不同类别的架构--都是用单个模型来学习共享的图像表示。然而，直觉上，相似的类别应该比差异很大的类别共享更多的信息。虽然分层深度网络通过学习相关类别子集的单独特征来解决这个问题，但当前的实现需要使用通过启发式聚类方法指定的固定架构的简化模型。相反，我们提出了Blockout，这是一种正则化和模型选择的方法，可以同时学习模型结构和参数。作为Dropout的推广，我们的方法提供了一种新颖的分层架构参数化，允许通过反向传播进行结构学习。为了证明它的实用性，我们在CIFAR和ImageNet数据集上评估了Blockout，证明了分类精度的提高、正则化性能的提高、训练速度的加快以及分层网络结构的清晰出现。
2015-12-16 cs.CV cs.LG
Efficient Structured Surrogate Loss and Regularization in Structured Prediction
Toyota Technological Institute of Technology（丰田工业大学）
本文主要研究结构化预测中的几个重要问题。在结构化预测中，标签具有丰富的内在子结构，并且损失相对于预测标签和真实标签对而变化。结构化SVM是二进制SVM的扩展，以适应这种结构化的任务。本文第一部分研究了代理损失及其有效的解决方法。为了使经验风险最小化，使用了一个替代损失作为最小化实际损失的代理，该替代损失是损失的上限。由于目标函数是根据代理损失来编写的，因此代理损失的选择很重要，并且性能取决于它。关于代理损失的另一个问题是argmax标签推理对代理损失的效率。高效的推理对于优化是必要的，因为它通常是最耗时的步骤。本文提出了一类新的代理损失，称为双准则代理损失，它是对现有代理损失的推广。首先，我们研究了一个有效的方法，松弛重新缩放配方作为一个起点，利用分解的模型。然后，我们将该算法扩展到双标准代理损失，这是非常有效的，也显示出性能的改善。本文的第二部分研究了正则化的另一个重要问题。具体来说，我们调查的问题时，结构不平衡存在于标签结构的层次分类的正则化。我们提出了一种方法来规范化的结构，以及一个新的范数，即共享Frobenius范数。它适用于除了标签结构之外还适应数据的分层分类。
2018-09-14 cs.LG stat.ML
A Mathematics Framework of Artificial Shifted Population Risk and Its Further Understanding Related to Consistency Regularization
South China University of Technology（华南理工大学）；South China Agricultural University（华南农业大学）
本文构建数据增强的数学框架，揭示偏移总体风险可分解为原始风险与一致性正则化差距项，并提出缓解早期训练负面影响的方法，实验验证其在多种场景下更优。
2025-02-15 cs.AI cs.LG
Learning Hierarchical and Topographic Dictionaries with Structured Sparsity
INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）
最近的工作在信号处理和统计集中在定义新的正则化函数，这不仅导致稀疏的解决方案，但也考虑到问题的结构。本文提出了一类在机器学习领域中引入的凸罚函数，其形式为变量组上的l_2和l_无穷范数之和.它们扩展了经典的组稀疏正则化，因为组可能重叠，从而在组设计中具有更大的灵活性。我们回顾了有效的优化方法来处理相应的逆问题，以及它们在自然图像块的字典学习问题中的应用：一方面，字典学习确实被证明对各种信号处理任务是有效的。另一方面，结构化稀疏性为字典元素之间的依赖关系建模提供了一个自然的框架。因此，我们考虑结构化稀疏正则化来学习嵌入在特定结构中的字典，例如树或二维网格。在后一种情况下，我们得到的结果是类似的字典地形独立成分分析。
2011-10-20 cs.LG
Enhancing Decision Tree based Interpretation of Deep Neural Networks through L1-Orthogonal Regularization
Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所IPA）；University of Stuttgart（斯图加特大学）；Stuttgart Media University（斯图加特媒体大学）
到目前为止，主要在关键领域引入机器学习模型的一个障碍是缺乏可解释性。在这项工作中，获得深度人工神经网络（NN）的可解释性的实用方法，使用基于决策树的可解释的代理模型。简单地将决策树拟合到训练好的NN通常会导致在准确性和保真度方面不令人满意的结果。然而，在训练过程中使用L1-正交正则化保留了NN的准确性，同时它可以通过小决策树来近似。使用不同数据集的测试证实，与其他正则化相比，L1-正交正则化产生的模型复杂度更低，同时保真度更高。
2019-10-03 cs.LG stat.ML
Artificial Neuronal Ensembles with Learned Context Dependent Gating
University of Chicago（芝加哥大学）
提出学习型上下文相关门控（LXDG）方法，通过特定网络结构和正则化项动态分配人工神经元集群，有效缓解了人工神经网络在持续学习中的灾难性遗忘问题。
2023-01-19 cs.LG
Analysis and tuning of hierarchical topic models based on Renyi entropy approach
National Research University Higher School of Economics（国立研究大学高等经济学院）；PRHLT Research Center, Universitat Politècnica de València（瓦伦西亚理工大学PRHLT研究中心）
层次主题建模是一个潜在的强大的工具，用于确定文本集合的主题结构，允许构建一个主题层次结构，表示主题抽象的层次。然而，调整参数的层次模型，包括每个层次上的主题的数量，仍然是一个具有挑战性的任务和一个悬而未决的问题。在本文中，我们提出了一个基于Renyi熵的方法部分解决上述问题。首先，我们提出了一个基于Renyi熵的层次模型的质量度量。其次，我们提出了一个实用的概念，分层主题模型调整测试数据集与人类标记。在数值实验中，我们考虑了三种不同的分层模型，即分层潜在狄利克雷分配模型（hLDA），分层柏青哥分配模型（hPAM），分层加法正则化的主题模型（hARTM）。我们证明，hLDA模型具有显着的不稳定性，而且，衍生的主题数是远离标记数据集的真实数字。对于hPAM模型，Renyi熵方法允许我们仅确定数据结构的一个级别。对于hARTM模型，所提出的方法允许我们估计两个层次级别的主题数量。
2021-01-19 cs.LG stat.ML
ArtNet: Hierarchical Clustering-Based Artificial Netlist Generator for ML and DTCO Application
ArtNet通过生成更接近目标参数的人工数据集，提升ML模型泛化能力并优化DTCO设计空间探索，实现PPA优化和设计能力提升。
2026-02-19 cs.AR cs.LG
Normalized Hierarchical SVM
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Toyota Technological Institute（丰田工业大学）
我们提出了改进的方法，使用结构化的支持向量机在一个大规模的分层分类问题，即当标签是树叶，或树叶集，在一棵树或一个DAG。我们研究了规范化正则化和余量的必要性，并展示了这样做如何显着提高性能，包括允许实现最先进的结果，其中未规范化的结构化SVM的性能不如平面模型。我们还描述了层次支持向量机的进一步扩展，突出层次支持向量机和矩阵分解模型之间的连接。
2016-03-04 cs.LG
Learning Word Representations with Hierarchical Sparse Coding
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种新的方法来学习单词表示使用层次正则化稀疏编码的启发，语言学研究的单词含义。我们展示了一种基于随机邻近方法的高效学习算法，该算法比以前的方法快得多，使得在数十亿单词标记的语料库上执行分层稀疏编码成为可能。各种基准任务的实验-词相似度排名，类比，句子完成，和情感分析-表明该方法优于或具有竞争力的最先进的方法。我们的单词表示可在\url{http://www.ark.cs.cmu.edu/dyogatam/wordvecs/}上找到。
2014-11-06 cs.CL cs.LG stat.ML
Deep Network Regularization via Bayesian Inference of Synaptic Connectivity
Cyprus University of Technology（塞浦路斯理工大学）
深度神经网络（DNN）通常需要好的正则化器来很好地泛化。目前，最先进的DNN正则化技术包括在训练算法的每次迭代中随机丢弃单元和/或连接。Dropout和DropConnect是这种正则化器的典型例子，在实践者中广泛流行。然而，这种方法的缺点在于，它们假定的随机单元/连接省略的概率是一个常数，必须基于在某个验证集中获得的性能来选择该常数。为了减轻这一负担，在本文中，我们从贝叶斯推理的角度考虑DNN正则化问题：我们在网络突触权重上施加一个稀疏诱导先验，其中稀疏性是由一组Bernoulli分布的二进制变量与其先验参数的Beta（超）先验引起的。通过这种方式，我们最终允许在DNN突触连接上进行边缘化以生成输出，从而产生一种有效的、无复杂性的网络正则化方案。我们通过一个有效的黑盒变分推理方案进行贝叶斯推理的层次模型。通过使用基准数据集进行广泛的实验评估，我们展示了我们的方法比现有方法的优势。
2018-03-04 cs.LG stat.ML
Hospital Readmission Prediction - Applying Hierarchical Sparsity Norms for Interpretable Models
State University of New York at Buffalo（纽约州立大学布法罗分校）
再入院率已成为衡量医疗质量的关键指标之一。可接受的再入院已被确定为降低成本和改善医疗服务的主要目标之一。然而，大多数用于理解再入院的数据驱动的研究已经产生了具有中等性能的黑盒分类和预测模型，这使得它们不能在医院的决策支持系统中有效地使用。在本文中，我们提出了一个应用程序的结构稀疏诱导规范预测再入院风险的患者的基础上，他们的病史和人口统计。大多数现有的研究都集中在医院利用率，测试结果等，为每次住院分配再入院标签。然而，我们专注于根据病史为患者分配再入院风险标签。我们的重点是解释模型，以提高再入院问题的理解。为了实现这一点，我们利用域诱导的层次结构可用于疾病代码的分类算法的功能。我们使用基于树的稀疏诱导正则化策略，明确使用域层次结构。由此产生的模型不仅优于标准的正则化过程，而且是高度稀疏和可解释的。我们分析了模型，并确定了几个重要的因素，有再入院风险的影响。其中一些因素符合现有的信念，例如，住院期间手术并发症和感染的影响。其他因素，如精神障碍和药物滥用对重新入院的影响，为一些预先存在但未经证实的假设提供了经验证据。分析还揭示了以前未发现的联系，例如缺乏住房和营养不良等社会经济因素的影响。
2018-04-03 cs.LG stat.ML
Hierarchical Shrinkage: improving the accuracy and interpretability of tree-based methods
Department of Physics, UC Berkeley（加州大学伯克利分校物理系）；Department of Statistics, UC Berkeley（加州大学伯克利分校统计系）；EECS Department, UC Berkeley（加州大学伯克利分校电机工程与计算机科学系）
基于树的模型，如决策树和随机森林（RF）是现代机器学习实践的基石。为了减轻过拟合，树通常通过各种修改其结构的技术（例如修剪）进行正则化。我们引入分层收缩（HS），一个事后算法，不修改的树结构，而是正规化的树收缩预测对每个节点的样本意味着它的祖先。收缩量由单个正则化参数和每个祖先中的数据点数量控制。由于HS是一种事后方法，因此它非常快，与任何树生长算法兼容，并且可以与其他正则化技术协同使用。在各种真实世界数据集上的大量实验表明，HS大大提高了决策树的预测性能，即使与其他正则化技术结合使用。此外，我们发现，应用HS到RF中的每棵树通常可以提高准确性，以及通过简化和稳定其决策边界和SHAP值来提高其可解释性。我们进一步解释了HS在提高预测性能方面的成功，通过显示其等价于由与树的内部节点相关联的决策树构成的（监督）基础上的岭回归。所有的代码和模型都在Github上发布（github.com/csinva/imodels）
2022-02-02 cs.AI cs.LG stat.AP
Probabilistic Forecast Reconciliation with Kullback-Leibler Divergence Regularization
AI Lab Lenovo Research（联想研究院AI实验室）；School of Statistics and Mathematics Central University of Finance and Economics（中央财经大学统计与数学学院）；School of Economics and Management Beihang University（北京航空航天大学经济管理学院）
针对概率预测协调中准确性与一致性权衡问题，提出一种将预测与协调步骤融合的深度学习框架，通过引入Kullback-Leibler散度正则化项实现灵活软化协调，在三个分层时间序列数据集上验证了其优越性。
2023-11-21 cs.AI cs.LG
RegMixMatch: Optimizing Mixup Utilization in Semi-Supervised Learning
Beijing Jiaotong University（北京交通大学）；Communication University of China（中国传媒大学）
针对Mixup损害人工标签纯度及阈值策略限制未标记样本效用的问题，提出RegMixMatch框架，通过半监督RegMixup和类感知Mixup技术优化高、低置信度样本的Mixup使用，提升SSL性能。
2025-04-17 cs.CV cs.LG stat.ML
The Bayesian Reflex: A Predictive Coding Engine for Artificial Intelligence
Indian Statistical Institute（印度统计研究所）
该研究提出贝叶斯反射计算框架，结合预测编码三大支柱，利用近期算法突破实现可扩展的类脑持续学习、感知与决策，通过多领域应用为自适应AI提供蓝图。
2026-08-04 cs.AI cs.LG
Convex Hierarchical Clustering for Graph-Structured Data
Stanford University（斯坦福大学）
凸聚类是一个最近稳定的替代层次聚类。它制定了逐步合并集群的恢复作为一个正规化的凸问题。虽然凸聚类最初是为了处理数据点之间的欧氏距离而设计的，但在越来越多的应用中，数据直接由相似性矩阵或加权图来表征。在本文中，我们扩展了强大的层次聚类方法，这些更广泛的类的相似性。在定义了一个适当的凸目标之后，这种适应的关键在于我们能够提供：（a）正则化路径的有效恢复和（b）使用我们方法的经验证明。我们通过一个近端对偶算法解决第一个挑战，为此我们描述了一组实验的理论效率和经验性能。最后，我们强调了我们的方法的潜力，通过展示其应用到几个现实生活中的数据集，从而提供了一个自然的扩展到当前的凸聚类的应用范围。
2019-12-11 cs.LG stat.AP stat.ML
Deep Learning with Label Noise: A Hierarchical Approach
Meta AI；Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Research（微软研究院）
深度神经网络容易受到标签噪声的影响。现有的提高鲁棒性的方法，如元学习和正则化，通常需要对网络架构进行重大更改或仔细调整优化过程。在这项工作中，我们提出了一种简单的分层方法，在训练深度学习模型时引入了标签层次结构。我们的方法不需要改变网络架构或优化过程。我们通过广泛的模拟和真实数据集以及各种标签噪声类型来研究我们的分层网络。我们的分层方法改进了具有标签噪声的常规深度神经网络的学习。将我们的分层方法与预训练模型相结合，在现实世界的噪声数据集中实现了最先进的性能。
2022-05-28 cs.CV cs.LG
Reducing Catastrophic Forgetting in Modular Neural Networks by Dynamic Information Balancing
University of Nottingham（诺丁汉大学）
终身学习是实现强大的自主人工智能体的一个非常重要的步骤。神经网络是深度学习的主要引擎，深度学习是制定自适应人工智能系统的当前最先进技术。然而，当神经网络受到持续学习的挑战时，会遭受灾难性遗忘。我们研究如何利用模块化拓扑结构的神经网络，以动态平衡不同模块之间的信息负载路由输入的基础上，在每个模块中的信息内容，使信息干扰最小化。我们的动态信息平衡（DIB）技术采用了强化学习技术，以指导不同的输入路由的基础上，从每个模块中的信息负载的测量的奖励信号。我们的实证结果表明，DIB结合弹性权重合并（EWC）正则化在不同的任务公式和数据集上优于具有类似容量和EWC正则化的模型。
2019-12-10 cs.LG cs.NE stat.ML
Exploring hyperelastic material model discovery for human brain cortex: multivariate analysis vs. artificial neural network approaches
University of Georgia（佐治亚大学）；Binghamton University（宾汉姆顿大学）
本研究比较人工神经网络与多元回归在人脑皮层超弹性本构模型发现中的表现，证明神经网络可自动识别模型但需优化超参数，而传统回归可简化模型且保持精度。
2023-10-16 cs.LG
Learning Rates for Multi-task Regularization Networks
Sun Yat-sen University（中山大学）
多任务学习是机器学习面向人工智能和大数据时代的重要发展趋势。尽管人们对各种单任务机器学习算法的学习率估计进行了大量的研究，但对多任务机器学习的并行研究却很少。基于向量值再生核Hilbert空间和矩阵值再生核理论，对多任务学习的学习率估计进行了数学分析.对于典型的多任务正则化网络，得到了同时依赖于样本数据数和任务数的显式学习率。这表明多任务学习算法的泛化能力确实会随着任务数量的增加而受到影响。
2021-09-28 cs.LG math.FA
Variational Hierarchical Mixtures for Probabilistic Learning of Inverse Dynamics
Aalto University（阿尔托大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Technical University of Darmstadt（达姆施塔特工业大学）
本文提出一种结合概率核机器与可扩展自动机优势的概率层次建模范式，基于贝叶斯非参数原理构建可自适应数据复杂度的层次无限局部回归模型，并推导两种变分推断技术，在大型逆动力学数据集及真实控制场景中验证其高效性与优势。
2023-09-10 cs.AI cs.LG cs.RO
Chaining Meets Chain Rule: Multilevel Entropic Regularization and Training of Neural Nets
Princeton University（普林斯顿大学）；EPFL（洛桑联邦理工学院）
我们推导出的神经网络的泛化和过度风险的界限，使用一个家庭的复杂性措施的基础上，一个多级相对熵。通过引入神经网络的生成层次覆盖的概念并通过使用Asadi等人在NeurIPS'18中引入的链接互信息的技术来获得边界。由此产生的界限依赖于算法，并利用神经网络的多级结构。这反过来又导致了一个经验风险最小化问题的多级熵正则化。最小化问题的解决，通过引入一个多尺度的推广著名的吉布斯后验分布，证明派生的分布达到唯一的最小值。这导致了一种新的具有性能保证的神经网络训练过程，它利用了相对熵的链式规则，而不是导数的链式规则（如反向传播）。为了获得后者的有效实现，我们进一步开发了一个多层次的Metropolis算法模拟多尺度吉布斯分布，与实验的两层神经网络的MNIST数据集。
2019-06-26 cs.IT cs.LG math.IT
Decontextualized learning for interpretable hierarchical representations of visual patterns
Max Planck Institute of Animal Behavior（马克斯·普朗克动物行为研究所）；University of Konstanz（康斯坦茨大学）；Centro de Investigaciones Científicas de las Huastecas Aguazarca, A.C.（华斯特卡斯阿瓜扎尔卡科学研究中心）；University of Würzburg（维尔茨堡大学）；Texas A&M University（得克萨斯农工大学）；Texas State University San Marcos（得克萨斯州立大学圣马科斯分校）
除了用于分类和目标检测任务的判别模型之外，深度卷积神经网络在利用自然成像数据的基础研究中的应用受到了一定的限制;特别是在需要一组可解释的特征用于下游分析的情况下，这是许多科学研究的关键要求。我们提出了一种算法和训练范式，专门设计来解决这个问题：去语境化的层次表示学习（DHRL）。通过将生成模型链接过程与梯形网络架构和潜在空间正则化相结合进行推理，DHRL解决了小数据集的局限性，并鼓励分层组织的特征。除了提供一个易于处理的路径，使用变异推理分析复杂的层次模式，这种方法是生成的，可以直接结合经验和理论的方法。为了突出DHRL的可扩展性和实用性，我们证明了这种方法在应用程序中的一个问题，从进化生物学。
2020-08-31 cs.CV cs.LG q-bio.QM
Active Hierarchical Exploration with Stable Subgoal Representation Learning
Tsinghua University（清华大学）；Nanjing University（南京大学）
目标条件分层强化学习（GCHRL）为解决长时间任务提供了一种很有前途的方法。最近，它的成功已经扩展到更一般的设置，同时学习分层策略和子目标表示。虽然GCHRL具有优越的探索能力，通过分解任务，通过子目标，现有的GCHRL方法的斗争在时间上扩展的任务稀疏的外部奖励，因为高层次的策略学习依赖于外部奖励。由于高级策略在在线学习的表示空间中选择子目标，子目标空间的动态变化严重阻碍了有效的高级探索。在本文中，我们提出了一种新的正则化，有助于稳定和有效的子目标表示学习。建立在稳定的代表性，我们设计的措施的新颖性和潜力的子目标，并制定一个积极的分层探索策略，寻找新的有前途的子目标和国家没有内在的奖励。实验结果表明，我们的方法显着优于国家的最先进的基线在连续控制任务稀疏奖励。
2022-03-05 cs.AI cs.LG
Simultaneously Reconciled Quantile Forecasting of Hierarchically Related Time Series
UT Austin（德克萨斯大学奥斯汀分校）；IntuitAI（Intuit人工智能部门）
许多现实生活中的应用涉及同时预测多个时间序列，这些时间序列通过聚合或分解操作在层次上相关。例如，商业组织通常希望同时预测商店、城市和州级别的库存，以用于资源规划目的。在这种应用中，重要的是，预测除了相当准确之外，还相互一致。尽管经济学家和数据科学家一直在追求预测这种分层时间序列，但目前最先进的模型使用强有力的假设，例如，所有预测均为无偏估计，噪声分布为高斯分布。此外，最先进的模型还没有利用现代非线性模型的力量，特别是基于深度学习的模型。在本文中，我们建议使用一个灵活的非线性模型，优化分位数回归损失加上适当的正则化条款，以保持跨层次的预测的一致性。本文介绍的理论框架可以应用于具有潜在可微损失函数的任何预测模型。我们所提出的方法的最优性的证明。一系列数据集的模拟研究突出了我们方法的有效性。
2021-02-25 cs.LG
Graph-based Time Series Clustering for End-to-End Hierarchical Forecasting
The Swiss AI Lab IDSIA（瑞士人工智能实验室IDSIA）；Università della Svizzera italiana（瑞士意大利语大学）；Imperial College London（帝国理工学院）；Politecnico di Milano（米兰理工大学）
本文提出基于图的统一关系与层次归纳偏置的深度预测方法，通过可训练图池化学习层次结构并引入可微分协调阶段，实验优于现有方法。
2024-08-21 cs.AI cs.LG
CHNNet: An Artificial Neural Network With Connected Hidden Neurons
BRAC University（布拉克大学）
针对传统人工神经网络缺乏层内神经元连接、限制层内信息整合的问题，本文提出隐层神经元互联的CHNNet，理论上其收敛速度快于传统前馈神经网络，且该结论得到实验验证。
2025-11-14 cs.LG cs.NE
Hierarchical Attention Generates Better Proofs
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shanghai Qi Zhi Institute（上海启智研究院）；IIIS, Tsinghua University（清华大学智能技术学院长）
本文提出Hierarchical Attention正则化方法，通过建立五级层次结构对齐LLMs注意力机制与数学推理结构，在miniF2F和ProofNet上分别提升证明成功率2.05%和1.69%，并显著降低证明复杂度。
2025-04-27 cs.AI cs.CL cs.LG
Multi-dimensional signal approximation with sparse structured priors using split Bregman iterations
CEA（法国原子能委员会）；Université Paris-Sud（巴黎南大学）；Mensia Technologies S.A.（Mensia科技公司）；PSL, Université Paris-Dauphine（巴黎文理研究大学-巴黎多菲纳大学）
本文讨论了结构约束的多维信号稀疏分解到过完备的向量族，称为字典。本文的贡献有三个方面。首先，一个通用的时空正则化项的设计和使用与标准的$\ell_1$正则化项，以执行稀疏分解保持信号的时空结构。其次，提出了一种基于分裂Bregman方法的优化算法来处理相关的优化问题，并分析了其收敛性。我们有充分依据的方法产生相同的精度，在国家的最先进的其他算法，在收敛速度方面有显着的收益。最后，通过对人工问题和实际问题的实证分析，验证了该方法的通用性和有效性。在人工问题上，所提出的正则化包含总变分最小化并恢复预期的分解。在实际的脑电脑电波分解问题上，该方法在P300诱发电位检测方面优于同类方法，使用结构化的空间先验来指导分解。
2016-09-29 cs.CV cs.DS cs.LG
Believe The HiPe: Hierarchical Perturbation for Fast, Robust, and Model-Agnostic Saliency Mapping
University of St Andrews（圣安德鲁斯大学）
随着深度学习模型被用于越来越复杂和高风险的任务，理解人工智能（AI）系统的预测变得越来越重要。显着映射-一种流行的视觉属性方法-是一个重要的工具，但现有的配方是有限的，无论是计算成本或架构的限制。因此，我们提出了分层扰动，一个非常快速和完全模型无关的方法来解释模型预测与强大的显着图。使用标准的基准测试和数据集，我们证明了我们的显着性图与现有的模型不可知方法生成的显着性图相比具有竞争力或更高的质量，并且计算速度快20倍以上。
2022-04-11 cs.AI cs.CV cs.LG
Predicting conditional probability distributions of redshifts of Active Galactic Nuclei using Hierarchical Correlation Reconstruction
Jagiellonian University（雅盖隆大学）
虽然一般关注于值的预测，但真实数据通常仅允许预测条件概率分布，其能力受条件熵$H(Y|X)$的限制。如果另外估计不确定性，我们可以将预测值视为拉普拉斯分布的高斯中心-理想化，其可以远离真实数据的复杂条件分布。本文应用分层相关重构（HCR）方法来廉价地预测相当复杂的条件概率分布（例如多峰）：通过多个矩参数的独立MSE估计，这允许重构条件分布。为此目的使用线性回归，我们得到可解释的模型：用系数描述特征对条件矩的贡献。本文在原有方法的基础上进行了扩展，特别是采用典型相关分析（CCA）进行特征优化和l1“lasso”正则化，重点研究了基于Fourth Fermi-LAT Data Release 2（4LAC）数据集的活动星系核（AGN）红移预测的实际问题。
2022-06-13 astro-ph.GA astro-ph.HE cs.LG
SHINE-Mapping: Large-Scale 3D Mapping Using Sparse Hierarchical Implicit Neural Representations
University of Bonn（波恩大学）；University of Oxford（牛津大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉玛尔机器学习与人工智能研究所）
大规模环境的精确映射是大多数户外自主系统的重要组成部分。传统映射方法的挑战包括内存消耗和映射精度之间的平衡。本文讨论了实现大规模的三维重建使用隐式表示从三维激光雷达测量的问题。我们通过基于八叉树的层次结构学习和存储隐式特征，这种结构是稀疏和可扩展的。隐式特征可以通过一个浅层神经网络转换为符号距离值。我们利用二进制交叉熵损失来优化局部特征，并将3D测量作为监督。基于我们的隐式表示，我们设计了一个带有正则化的增量映射系统来解决持续学习中的遗忘问题。我们的实验表明，我们的3D重建是更准确，完整，和内存效率比目前国家的最先进的3D映射方法。
2023-02-20 cs.CV cs.LG cs.RO
