Learning high-dimensional probability distributions using tree tensor networks
Centrale Nantes（南特中央理工学院）；Laboratoire de Mathématiques Jean Leray（让·勒雷数学实验室）；CNRS（法国国家科学研究中心）；Naval Group（海军集团）；Airbus Central Research & Technology（空客中央研究与技术中心）
我们考虑由独立同分布估计高维概率分布的问题。使用基于树的张量格式的函数的模型类的分布的样本，与维度划分树相关联的张量网络的特定情况。该分布被假定为允许相对于乘积测度的密度，对于处理离散随机变量的情况，该密度可能是离散的。在讨论了基于树的张量格式的经典模型类的表示之后，我们提出了基于经验风险最小化的学习算法，使用$L^2$对比。这些算法利用格式的多线性参数化，将非线性最小化问题转换为一系列具有线性模型的经验风险最小化问题。基于树的张量格式中的张量的适当参数化允许获得具有正交基的线性模型，使得每个问题允许解的显式表达和交叉验证风险估计。风险的这些估计使得能够进行模型选择，例如当利用表示的系数中的稀疏性时。提供了一种适应张量格式（维度树和基于树的秩）的策略，该策略允许发现和利用高维概率分布的一些特定结构，例如独立性或条件独立性。我们举例说明了所提出的算法的经典概率模型（如高斯分布，图形模型，马尔可夫链）的近似性能。
2021-05-20 cs.LG cs.NA math.NA
Discretization-free Multicalibration through Loss Minimization over Tree Ensembles
Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）；J.P. Morgan Chase AI Research（摩根大通AI研究）
本文提出一种免离散化的多校准方法，通过树集成上的经验风险最小化实现，并证明在损失饱和条件下有效，实验显示其性能匹配或优于现有方法。
2025-05-23 cs.LG
Pseudonorm Approachability and Applications to Regret Minimization
Google Research（谷歌研究院）
布莱克威尔著名的可接近性理论为各种学习问题提供了一个通用框架，包括后悔最小化。然而，Blackwell的证明和隐式算法使用$\ell_2$（欧几里德）距离测量可接近性。我们认为，在许多应用中，如遗憾最小化，它是更有用的研究下的其他距离度量，最常见的$\ell_\infty$度量的可接近性。但是，为$\ell_\infty$可接近性设计的算法的时间和空间复杂度取决于向量支付空间的维数，这通常是非常大的。因此，我们提出了一个框架转换高维$\ell_\infty$的可接近性问题，低维的可接近性问题，从而解决这些问题。我们首先表明，平均支付和可接近集之间的$\ell_\infty$ -距离可以等价地定义为一个低维平均向量支付和一个新的凸集之间的伪距离，我们定义。接下来，我们开发了伪范可逼近性的算法理论，类似于之前关于$\ell_2$和其他规范的可逼近性的工作，表明它可以通过单位伪范球的Fenchel对偶给出的凸集上的在线线性优化（OLO）来实现。然后，我们用它来显示，模温和的规范化假设，存在一个$\ell_\infty$ -可逼近算法，其收敛性是独立的原始向量支付的维度。我们进一步表明，该算法承认多项式时间的复杂性，假设原来的$\ell_\infty$距离可以有效地计算。我们还给出了一个$\ell_\infty$ -逼近算法，其收敛性是对数在这方面使用的FTRL算法与最大熵正则化。
2023-02-03 cs.LG
Positive-Unlabeled Learning using Random Forests via Recursive Greedy Risk Minimization
The University of Queensland（昆士兰大学）；RIKEN（理化学研究所）
从正的和未标记的数据中学习的需求，或PU学习，出现在许多应用中，并引起了越来越多的兴趣。虽然已知随机森林在具有正数据和负数据的许多任务上表现良好，但最近的PU算法通常基于深度神经网络，并且基于树的PU学习的潜力未被充分开发。在本文中，我们提出了新的随机森林算法的PU学习。我们的方法的关键是一个新的解释决策树算法的积极和消极的数据为\emph{recursive greedy risk minimization algorithms}。我们将这种观点扩展到PU设置，以开发新的决策树学习算法，直接最大限度地减少PU数据的估计预期风险。这使我们能够开发一个有效的PU随机森林算法，PU额外的树。我们的方法具有三个理想的属性：它是强大的损失函数的选择，在这个意义上，各种损失函数导致相同的决策树;它需要很少的超参数调整相比，基于PU学习的神经网络;它支持一个功能的重要性，直接衡量一个功能的风险最小化的贡献。我们的算法在几个数据集上表现出强大的性能。我们的代码可在\url{https://github.com/puetpaper/PUExtraTrees}上找到。
2022-10-16 cs.LG stat.ML
Unique Sharp Local Minimum in $\ell_1$-minimization Complete Dictionary Learning
University of California, Berkeley（加利福尼亚大学伯克利分校）；Citadel Securities（城堡证券）
我们研究了通过$\ell_1$ -最小化从一组信号中全局恢复字典的问题。我们假设信号是以独立同分布的形式产生的。来自完整参考字典$D^*\in \mathbb R^{K\times K}$的$K$原子的随机线性组合，其中线性组合系数来自伯努利型模型或精确稀疏模型。首先，我们得到了一个充分必要的规范条件的参考字典$D^*$是一个尖锐的局部极小的预期$\ell_1$目标函数。我们的结果大大扩展了Wu和Yu（2015）的结果，并允许组合系数为非负。其次，我们得到了一个明确的范围内的参考字典的目标值是最小的区域。第三，我们证明了参考字典是唯一的尖锐的局部最小值，从而建立了$\ell_1$ -最小化字典学习的第一个已知的全局性质。出于理论结果，我们引入了一个扰动为基础的测试，以确定是否字典是一个尖锐的局部最小的目标函数。此外，我们还提出了一种新的基于块坐标下降的字典学习算法，称为DL-BCD，它保证具有单调收敛性。仿真研究表明，DL-BCD具有竞争力的性能恢复率相比，许多国家的最先进的字典学习算法。
2019-02-22 cs.LG stat.ML
QISTA-Net: DNN Architecture to Solve $\ell_q$-norm Minimization Problem and Image Compressed Sensing
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）
本文将非凸$q\in(0,1)$-范数极小化问题转化为一个由一个凸子问题和一个非凸子问题组成的两步问题，并提出了一种求解$\left(\ell_q\right)$ -问题的新的迭代算法QISTA（$\ell_q$-ISTA）.通过利用深度学习加速优化算法，以及利用网络中所有先前层的动量的加速策略，我们提出了一种基于学习的方法，称为QISTA-Net-s，来解决稀疏信号重构问题。广泛的实验比较表明，QISTA-Net-s产生更好的重建质量比最先进的$\ell_1$ -范数优化（加学习）算法，即使原始稀疏信号是嘈杂的。另一方面，基于QISTA的网络架构，考虑到卷积层的使用，我们提出了用于解决图像CS问题的QISTA-Net-n，其重建性能仍然优于大多数最先进的自然图像重建方法。QISTA-Net-n是在展开QISTA并添加卷积运算符作为字典的基础上设计的。这使得QISTA-Net-s可解释。我们提供了完整的实验结果，QISTA-Net-s和QISTA-Net-n贡献更好的重建性能比竞争。
2020-10-22 cs.CV cs.LG eess.IV
PROMPT: Parallel Iterative Algorithm for $\ell_{p}$ norm linear regression via Majorization Minimization with an application to semi-supervised graph learning
在本文中，我们考虑的问题，$\ell_{p}$范数线性回归，它有几个应用，如稀疏恢复，数据聚类，和半监督学习。这个问题，即使凸，不享有一个封闭的形式的解决方案。现有技术的算法是迭代的，但存在收敛问题，即，它们或者在p>3时发散，或者收敛到最优解对算法的初始化敏感。而且，这些算法不能推广到$p$的每个可能值。本文基于优化最小化原理，提出了一种求解$\ell_{P}$范数回归问题的迭代算法：并行迭代AlgOrithM（PROMPT），并证明了该算法是单调的，且对$p$的任意值都收敛于问题的最优解.该算法还可以快速更新回归变量的每个元素，这有助于有效地处理大规模数据，这是数据爆炸时代的常见情况。随后，我们表明，该算法也可以应用于基于图的半监督学习问题。我们通过数值模拟表明，该算法收敛到最优解的任何随机初始化，也比最先进的算法在收敛速度方面表现得更好。我们还评估了所提出的算法的性能，使用模拟和真实数据的基于图的半监督学习问题。
2021-10-23 cs.LG eess.SP
Sharpness-Aware Minimization in Genetic Programming
Michigan State University（密歇根州立大学）
本研究将锐度感知最小化（SAM）适配于树遗传编程（TGP），通过扰动程序树输入输出估计锐度作为优化准则，实验证实其可减小树规模、降低冗余且不损害精英解的泛化能力。
2024-05-17 cs.LG cs.NE
Tree-Guided Identify-Then-Exploit: A Unified Framework of Best Arm Identification and Regret Minimization for Dueling Bandits
State Key Lab of CAD&CG（计算机辅助设计与图形学国家重点实验室）
针对Condorcet赢家假设下的N臂随机决斗式赌博机，提出树引导的识别-然后-利用（TG-ITE）统一框架，通过共享树引导识别方法在O(N)次比较内找到高置信度候选，并针对不同目标设计利用策略，首次同时实现最佳臂识别O(N)样本复杂度、弱遗憾O(N)和强遗憾O(N log T)保证，并消除现有方法中O(log N)的次优差距。
2026-06-01 cs.LG stat.ML
Minor First, Major Last: A Depth-Induced Implicit Bias of Sharpness-Aware Minimization
Graduate School of AI, KAIST（韩国成均馆大学人工智能研究生院）；Mobilint, Inc.（Mobilint公司）
该研究探讨了在训练线性可分二分类问题时，sharpness-aware minimization (SAM) 的隐式偏见，发现对于深度L=2的情况，SAM的行为与深度L=1时不同，展示了sequential feature amplification现象。
2026-05-18 cs.AI cs.LG
Low-Rank Approximation of Weighted Tree Automata
Aix-Marseille University（艾克斯-马赛大学）；Lancaster University（兰卡斯特大学）；University of Edinburgh（爱丁堡大学）
我们描述了一种技术，以尽量减少加权树自动机（WTA），一个强大的形式主义，包括概率上下文无关文法（PCFG）和潜在变量PCFG。我们的方法依赖于由WTA定义的底层汉克尔矩阵的奇异值分解。我们的主要理论结果是一个有效的算法计算SVD的无限Hankel矩阵隐式表示为WTA。我们提供了一个分析的近似误差引起的最小化，我们评估我们的方法在现实世界中的数据来源于新闻专线树库。我们表明，该模型实现了较低的困惑比以前的方法PCFG最小化，也是更稳定，由于没有局部最优。
2015-12-24 cs.FL cs.LG
Invariant Risk Minimization Is A Total Variation Model
Jinan University（暨南大学）
该研究揭示不变风险最小化（IRM）的数学本质是基于$L^2$范数的全变分模型，提出基于TV-$\text{ell}_1$的新型IRM框架，拓展了可用函数类别，在多基准场景下取得有竞争力的分布外泛化性能。
2024-05-17 cs.LG
Individualized and Global Feature Attributions for Gradient Boosted Trees in the Presence of $\ell_2$ Regularization
University of Chicago（芝加哥大学）
虽然$\ell_2$正则化被广泛用于训练梯度提升树，但用于树的流行个性化特征属性方法（例如Saabas和TreeSHAP）忽略了训练过程。我们提出了预测分解属性（PreDecomp），这是一种新的个性化特征属性，用于梯度提升树，当它们用$\ell_2$正则化训练时。理论分析表明，PreDecomp算法与样本数据上的标签之间的内积实质上是一棵树的总增益，并且在特征独立的总体情况下，它可以忠实地恢复加性模型。受PreDecomp和总增益之间的联系的启发，我们还提出了TreeInner，这是一个由任何个性化特征属性和每个树的样本外数据标签之间的内积定义的去偏全局特征属性家族。在模拟数据集和基因组ChIP数据集上的数值实验表明，TreeInner具有最先进的特征选择性能。代码再现实验可在https://github.com/nalzok/TreeInner上获得。
2022-11-08 cs.LG stat.ML
Solving Pasur Using GPU-Accelerated Counterfactual Regret Minimization
本文提出一种CUDA加速的计算框架，通过反事实遗憾最小化（CFR）求解复杂纸牌游戏Pasur的近似纳什均衡，利用博弈树分解与逐轮反向训练策略降低内存与计算开销，并训练树模型预测策略及通过大规模自对弈评估牌组公平价值。
2025-08-06 cs.AI cs.GT cs.LG
On $\ell_p$-norm Robustness of Ensemble Stumps and Trees
Tsinghua University（清华大学）；UCLA（加利福尼亚大学洛杉矶分校）；MIT（麻省理工学院）
近年来的研究表明，树和树的集成模型容易受到小的输入扰动的影响，因此对这些模型的鲁棒性验证和防御成为一个重要的研究问题。然而，由于决策树的结构，其中每个节点纯粹基于一个特征值进行决策，所有以前的工作只考虑$\ell_\infty$范数扰动。为了研究相对于一般$\ell_p$范数扰动的鲁棒性，必须考虑不同特征上的扰动之间的相关性，这是以前的算法没有处理的。在本文中，我们研究的问题，鲁棒性验证和认证防御方面的一般$\ell_p$范数扰动的集成决策树和树。对于集成树桩的鲁棒性验证，我们证明了完整的验证是NP-完全的$p\in(0, \infty)$，而多项式时间的算法存在的$p=0$或$\infty$。对于$p\in(0, \infty)$，我们开发了一个有效的动态规划为基础的算法的声音验证合奏树桩。对于集成树，我们将以前的多级鲁棒性验证算法推广到$\ell_p$范数。我们证明了第一个认证的防御方法，训练集成树桩和树的$\ell_p$规范扰动，并验证其有效性经验上的真实数据集。
2020-09-29 cs.LG stat.ML
Minimization of Gini impurity via connections with the k-means problem
PUC-Rio（里约热内卢天主教大学）
基尼不纯性是决策树/随机森林构造中选择属性的一种度量。本文讨论了加权Gini不纯最小的划分问题与$k$ -均值聚类问题之间的联系。基于这些联系，我们表明，计算分区的最小加权基尼是一个NP完全问题，我们还讨论了如何获得新的算法与可证明的近似基尼最小化问题。
2018-09-28 cs.CC cs.DS cs.LG
The Universal $\ell^p$-Metric on Merge Trees
University at Albany, State University of New York (SUNY)（纽约州立大学奥尔巴尼分校）
适应Bjerkevik和Lesnick给出的多参数持久性模块的定义，我们引入了一个$\ell^p$型扩展的交织距离合并树。我们证明了我们的距离是一个度量，并且它上界了相关条形码之间的$p$ -Wasserstein距离。对于每一个$p\in[1,\infty]$，我们证明了这个距离对于细胞子级过滤是稳定的，并且它是通用的（即，最大）距离满足该稳定性属性。在$p=\infty$的情况下，这给出了合并树上交织距离的通用性的新证明。
2022-03-21 cs.CG cs.LG math.AT
