Asymptotically free sketched ridge ensembles: Risks, cross-validation, and tuning
本文利用随机矩阵理论证明了广义交叉验证在估计素描岭回归集成预测风险时的一致性，提出风险分解与扩展估计方法，并证明仅调素描大小即可全局优化风险，同时提出集成技巧以高效估计未素描岭回归风险。
2024-03-19 math.ST stat.ML stat.TH
BLOKS: Scaling Kernel Solvers with Sketched Block Preconditioning
Università degli Studi di Genova（热那亚大学）；CNRS（法国国家科学研究中心）；Istituto di Matematica Applicata e Tecnologie Informatiche “E. Magenes”, CNR（意大利国家研究委员会应用数学与信息技术研究所）；Università degli Studi Milano–Bicocca（米兰比可卡大学）；Istituto Italiano di Tecnologia（意大利技术研究院）
针对核岭回归精确求解器难以扩展至大规模数据的问题，提出结合块雅可比近似与草图技术的BLOKS预处理子，实现了内存高效的GPU加速求解器，在标准大规模数据集上性能优于或相当于现有最先进方法。
2026-10-12 cs.LG stat.ML
Structured Learning via Logistic Regression
NICTA（澳大利亚国家信息与通信技术研究院）；The Australian National University（澳大利亚国立大学）
结构化学习的一种成功方法是将学习目标写为线性参数和推理消息的联合函数，并在每个参数的更新之间进行调整。本文观察到，如果通过增加熵项来“平滑”推理问题，则对于固定消息，学习目标减少为相对于参数的传统（非结构化）逻辑回归问题。在这些逻辑回归问题中，每个训练样本都有一个由当前消息集确定的偏差项。基于这一认识，结构化能量函数可以从线性因子扩展到任何函数类，其中存在“预言”以最小化逻辑损失。
2014-07-03 cs.LG stat.ML
Ordinal Regression as Structured Classification
University of Bristol（布里斯托大学）
本文扩展了有序回归模型类的结构化解释的问题，通过应用一种新的治疗编码标签。这样做的净效果是将潜在的问题从有序回归任务转换为我们用条件随机场解决的（结构化）分类任务，从而实现一个连贯的概率模型，其中所有模型参数都是联合学习的。重要的是，我们表明，虽然我们已经铸造有序回归分类，我们的方法仍然属于有序回归本体的分解方法的类。这是一个重要的环节，因为我们的经验是，机器学习在医疗保健方面的许多应用完全忽略了标签排序的重要性质，因此这些方法在这个本体中应该被认为是幼稚的。我们还表明，我们的模型是灵活的，无论是在它如何适应数据流形，并在可供从业者执行的操作。我们的实证评估表明，所提出的方法压倒性地产生优越的，往往是统计上显着的结果超过基线方法对40个流行的有序回归模型，并表明，所提出的模型显着优于合成和真实数据集的基线。我们的实现，以及用于重现这项工作结果的脚本，将在公共GitHub存储库中提供。
2019-05-31 cs.LG stat.ML
Spatio-Temporal Structured Sparse Regression with Hierarchical Gaussian Process Priors
University of Sheffield（谢菲尔德大学）；University of Oxford（牛津大学）
本文介绍了一种新的稀疏时空结构的高斯过程回归的在线和离线贝叶斯推断框架。这是第一个框架，它给出了感兴趣的稀疏信号的分量之间的相互依赖性的时间演化表示。一个分层的高斯过程描述了这样的结构和相互依赖性表示通过先验分布的协方差阵。该推断基于期望传播法，并给出了后验分布的理论推导。的推理框架进行了全面评估合成，真实的视频和脑电图（EEG）数据的时空演变模式需要重建高精度。与乘子交替方向法、时空稀疏贝叶斯学习法和单层高斯过程模型相比，该方法的F测度提高了15%。此外，所提出的算法所需的内存是小于在一级高斯过程模型。这种结构化的稀疏回归框架具有广泛的适用性，源定位和目标检测问题与稀疏信号。
2018-07-15 cs.LG stat.ML
Nash: Neural Adaptive Shrinkage for Structured High-Dimensional Regression
Departments of Statistics and Human Genetics（统计学与人类遗传学系）
本文提出Nash框架，通过神经网络整合协变量特定的侧信息，实现高维稀疏回归，提升模型适应性和准确性。
2026-05-17 cs.LG stat.ML
Stochastic Collapsed Variational Inference for Structured Gaussian Process Regression Network
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；UC Berkeley（加州大学伯克利分校）
本文提出了一个有效的变分推理框架，推导出一个家庭的结构化高斯过程回归网络（SGPRN）模型。其关键思想是在隐函数中引入辅助诱导变量，并将诱导变量和超参数的分布共同视为变分参数。然后，我们提出了结构化变量分布和边际化潜变量，这使得一个易于处理的变分下界的可分解性，并导致随机优化。我们的推理方法是能够建模的输出不共享一个共同的输入集的计算复杂性的输入和输出的大小无关的数据，从而很容易地处理数据集缺失值。我们说明了我们的方法在合成数据和真实数据集上的性能，并表明我们的模型在缺失数据上通常提供比最先进的更好的插补结果。我们还提供了一种可视化方法，用于在心电图数据中跨输出的时变相关性，这些估计值为理解神经种群动态提供了见解。
2021-11-17 cs.LG stat.ML
Semi-Structured Distributional Regression -- Extending Structured Additive Models by Arbitrary Deep Neural Networks and Data Modalities
RWTH Aachen（亚琛工业大学）；LMU Munich（慕尼黑大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）
将加性模型和神经网络相结合，可以扩大统计回归的范围，同时通过可解释的结构化加性预测器扩展基于深度学习的方法。然而，现有的尝试将两种建模方法结合起来，仅限于非常特定的组合，更重要的是，涉及可识别性问题。因此，可解释性和稳定的估计通常会丢失。我们提出了一个通用框架，将结构化回归模型和深度神经网络结合到一个统一的网络架构中。为了克服不同模型部分之间固有的可识别性问题，我们构建了一个正交化单元，将深度神经网络投影到统计模型预测器的正交补中。这使得能够正确估计结构化模型部分，从而实现可解释性。我们证明了该框架的数值实验的有效性，并说明其特殊的优点，在基准和现实世界中的应用。
2022-07-09 cs.LG stat.ME stat.ML
Structured Sparse Regression via Greedy Hard-Thresholding
Microsoft Research（微软研究院）；Technicolor R & I（汤姆逊研发中心）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
一些学习应用程序需要解决高维回归问题，其中相关特征属于少量（重叠）组。对于非常大的数据集和标准稀疏性约束下，硬阈值方法已被证明是非常有效的，但这种方法需要NP硬投影时，处理重叠的群体。在本文中，我们表明，这种NP难预测不仅可以避免呼吁子模块优化，但这样的方法来与强有力的理论保证，即使在存在条件不佳的数据（即当两个功能有相关性$\geq 0.99$），现有的分析无法处理。这些方法表现出一个有趣的计算精度的权衡，并可以扩展到显着困难的问题，如稀疏重叠组。真实和合成数据上的实验验证了我们的主张，并表明所提出的方法比其他贪婪和凸松弛技术学习组结构稀疏的速度快几个数量级。
2016-05-27 cs.LG stat.ML
Sketch In, Sketch Out: Accelerating both Learning and Inference for Structured Prediction with Kernels
Télécom Paris（巴黎电信学院）；CentraleSupélec（中央理工-高等电力学院）；University of Milan（米兰大学）
本文提出用草图化近似同时处理输入和输出核，以加速代理核方法在结构化预测中的训练与推理，并证明其理论风险界和实际可扩展性。
2024-05-06 cs.LG stat.ML
Semi-supervised learning for structured regression on partially observed attributed graphs
Temple University（天普大学）；University of Belgrade, Faculty of Organizational Sciences（贝尔格莱德大学组织科学学院）
条件概率图模型为具有复杂相关模式的时空数据集的结构化回归提供了一个强大的框架。然而，在现实生活中的应用中，很大一部分的观察往往是失踪，这可能会严重限制这些模型的代表性的权力。本文提出了一种边缘化高斯条件随机场（m-GCRF）结构回归模型，用于处理部分观测时间属性图中的缺失标签。该方法旨在使用标记和未标记的部分进行学习，并有效地预测图中的未来值。该方法甚至能够从历史上从未观察到响应变量的节点学习，这给许多可以处理缺失数据的最先进模型带来了问题。所提出的模型的特点是各种缺失机制的500合成图。新方法的好处也证明了一个具有挑战性的应用程序，预测降水的基础上，在一个时间图，跨越整个美国大陆的气候变量的部分观测。我们还表明，该方法可以通过积极减少气象站的数量来优化气候应用中的数据汇集的成本。在这些真实世界和合成数据集上的实验中，我们表明，所提出的模型始终比替代的半监督结构化模型更准确，以及使用插补来处理缺失值或完全忽略它们的模型。
2018-03-28 cs.LG stat.ML
Large-scale magnetic field maps using structured kernel interpolation for Gaussian process regression
Delft University of Technology（代尔夫特理工大学）
本文提出将带导数的结构化核插值（D-SKI）引入标量势磁场模型，以线性复杂度实现大规模室内磁场地图的高效构建，在精度和速度上均优于现有方法。
2023-10-25 cs.LG stat.ML
Factorized Structured Regression for Large-Scale Varying Coefficient Models
LMU Munich（慕尼黑大学）；RWTH Aachen（亚琛工业大学）；Helmholtz Zentrum Munich（慕尼黑亥姆霍兹中心）；Flatiron Institute（熨斗研究院）；University of St.Gallen（圣加仑大学）
推荐系统（RS）渗透到我们日常数字生活的许多方面。建议大规模工作，最先进的RS允许对数千个交互进行建模，并促进高度个性化的建议。从概念上讲，许多RS可以被视为统计回归模型的实例，这些模型包含复杂的特征效应和潜在的非高斯结果。然而，这种结构化的回归模型，包括时间感知的变系数模型，在其适用性方面受限于分类效应和包含大量的相互作用。在这里，我们提出了可扩展的变系数模型的因子化结构回归（FaStR）。FaStR通过在基于神经网络的模型实现中结合结构化加法回归和因子分解方法，克服了大规模数据的一般回归模型的局限性。这种融合为在以前不可行的数据设置中估计统计模型提供了一个可扩展的框架。实证结果证实，我们的方法的不同系数的估计是与国家的最先进的回归技术，而缩放显着更好，也与其他时间感知RS的预测性能方面的竞争力。我们说明了FaStR的性能和可解释性的大规模行为研究与智能手机用户数据。
2022-05-25 cs.LG stat.CO stat.ML
Further results on structured regression for multi-scale networks
University of Niš（尼什大学）；University of Kragujevac（克拉古耶瓦茨大学）；Temple University（天普大学）
高斯条件随机场（Gaussian Conditional Random Fields，GCRF）作为一种结构化回归模型，其设计目的是以牺牲执行时间为代价，同时考虑对象的相似性和非结构化预测器的输出，以达到比非结构化预测器更高的回归精度。与大多数结构模型一样，GCRF模型不能很好地扩展大型网络。其中一种方法是在因子图上执行计算（如果可能的话），而不是在整个图上执行计算，这在计算上更有效。图的克罗内克积似乎是图分解的自然选择。然而，这个想法是不直接适用于GCRF，因为表征的克罗内克积的图，GCRF是基于，从其因子图的谱的拉普拉斯谱一直是一个悬而未决的问题。在本文中，我们应用新的估计的拉普拉斯特征值和特征向量，并实现了高的预测精度的模型，而模型的计算复杂性，相比于原来的GCRF模型，从$O(n_{1}^{3}n_{2}^{3})$改善到$O(n_{1}^{3} + n_{2}^{3})$。此外，我们还研究了具有非Kronecker图的GCRF模型，其中该模型包括寻找初始图的最近Kronecker积。虽然所提出的模型更复杂，但它们也实现了较高的预测精度，同时与原始GCRF模型相比，执行时间仍然要好得多。所提出的模型的有效性的特点是三种类型的随机网络，其中所提出的模型始终比以前提出的多尺度网络GCRF模型更准确[杰西玻璃和佐兰奥布拉多维奇。多尺度网络上的结构化回归。IEEE Intellig…
2019-09-02 cs.LG stat.ML
A Structured Prediction Approach for Label Ranking
LTCI（电信与信息处理实验室）；Télécom ParisTech（巴黎高等电信学院）；Université Paris-Saclay（巴黎萨克雷大学）
我们建议将标签排序问题作为结构化输出回归任务来解决。我们采用了最小二乘代理损失的方法，解决了监督学习问题的两个步骤：在一个精心选择的特征空间和前图像步骤的回归步骤。我们使用特定的特征映射/嵌入对数据进行排名，将任何排名/排列转换为矢量表示。这些嵌入都是为我们的方法量身定制的，无论是通过产生相合估计量，还是通过解决通常是结构化预测中的瓶颈的前像问题。我们还提出了部分排名的情况下，他们的自然扩展，并证明了他们的效率在现实世界的数据集。
2018-07-06 cs.LG stat.ML
Structured Point Cloud Data Analysis via Regularized Tensor Regression for Process Modeling and Optimization
Arizona State University（亚利桑那州立大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Salento（萨伦托大学）
先进的3D测量技术，如坐标测量机（CMM）和激光3D扫描仪，促进了大量点云数据的收集，有利于过程监测，控制和优化。然而，由于点云的高维性和结构复杂性，其建模和分析仍然是一个挑战。在本文中，我们利用多线性代数技术，并提出了一套张量回归方法来模拟点云的变化模式，并将它们连接到过程变量。所提出的方法的性能进行了评估，通过模拟和车削工艺优化的实际案例研究。
2018-12-01 cs.CV cs.LG stat.ML
Graph-Structured Multi-task Regression and an Efficient Optimization Method for General Fused Lasso
我们考虑学习结构化多任务回归的问题，其中输出由通过图形相关的多个响应组成，并且相关的响应变量以稀疏但协同的方式依赖于共同的输入。以前的方法，如l1/l2正则化多任务回归假设所有的输出变量都与输入同等相关，尽管在许多现实世界的问题中，输出是以复杂的方式相关的。在本文中，我们提出了图引导融合套索（GFlasso）的结构化多任务回归，利用图结构的输出变量。我们引入了一种新的基于融合惩罚的惩罚函数，以鼓励高度相关的输出共享一组共同的相关输入。此外，我们提出了一种简单而有效的近似梯度方法来优化GFlasso，该方法也可以应用于任何具有凸光滑损失和任意图结构上定义的一般融合惩罚的优化问题。通过利用非光滑“融合惩罚”的结构，我们的方法实现了比标准的一阶方法，次梯度方法更快的收敛速度，并且比广泛采用的二阶锥规划和二次规划公式具有更大的可扩展性。此外，我们还分析了GFlasso模型的一致性。实验结果不仅证明了GFlasso优于标准套索，而且还显示了我们的近似梯度方法的效率和可扩展性。
2010-05-20 cs.LG math.OC stat.ML
deepregression: a Flexible Neural Network Framework for Semi-Structured Deep Distributional Regression
LMU Munich（慕尼黑大学）；Helmholtz AI（亥姆霍兹人工智能研究所）；ETH Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）；Helmholtz Zentrum Munich（慕尼黑亥姆霍兹中心）；Flatiron Institute（弗莱提荣研究所）
在本文中，我们描述了半结构化深度分布回归的实现，这是一个基于加性回归模型和深度网络组合的学习条件分布的灵活框架。我们的实现包括（1）基于深度学习库\pkg{TensorFlow}的模块化神经网络构建系统，用于融合各种统计和深度学习方法，（2）允许不同子网络的可解释组合的正交化单元，以及（3）建立此类模型所需的预处理步骤。该软件包允许通过公式界面以用户友好的方式定义模型，该公式界面受到\pkg{mgcv}等经典统计模型框架的启发。该软件包的模块化设计和功能为复杂统计模型的可扩展估计以及深度学习和统计方法的组合提供了独特的资源。这允许最先进的预测性能，同时保留经典统计模型不可或缺的可解释性。
2022-03-10 cs.LG stat.CO stat.ML
Learning Output Embeddings in Structured Prediction
LTCI, Télécom Paris, IP Paris（LTCI，巴黎电信，巴黎理工学院）；INRIA - Département d’Informatique de l’ENS, PSL（法国国家信息与自动化研究所 - 巴黎高等师范学院计算机系，巴黎文理研究大学）；INRAE, MIAT, Université de Toulouse（法国国家农业食品与环境研究院，图卢兹大学）；Department of Computer Science, Aalto University（阿尔托大学计算机科学系）
结构化预测的一种强大而灵活的方法在于通过输出核将待预测的结构化对象嵌入到可能无限维的特征空间中，然后在该输出空间中解决回归问题。通过求解前像问题来计算原始空间中的预测。在这种方法中，与目标损失相关联的嵌入在学习阶段之前被定义。在这项工作中，我们建议共同学习输出嵌入和回归函数到新的特征空间的有限近似。为此，我们利用了输出的先验信息以及未利用的无监督输出数据，这两者在结构化预测问题中经常可用。我们证明了由此产生的结构化预测器是一个相合估计量，并推导出超额风险界。此外，新的结构化预测工具享有一个显着较小的计算复杂度比以前的输出核方法。在各种结构化预测问题上进行的经验测试表明，该方法是通用的，能够处理大型数据集。
2020-11-02 cs.LG stat.ML
Structured Kernel Regression VAE: A Computationally Efficient Surrogate for GP-VAEs in ICA
Hong Kong Polytechnic University（香港理工大学）
为解决GP-VAE在独立成分分析中计算成本高的问题，提出SKR-VAE模型，通过避免核矩阵求逆在保持性能的同时显著提升计算效率。
2025-08-13 cs.LG stat.ML
Harmless interpolation in regression and classification with structured features
Georgia Tech（佐治亚理工学院）；Michigan State University（密歇根州立大学）
过度参数化的神经网络倾向于完美地拟合有噪声的训练数据，但在测试数据上推广得很好。受这一经验观察的启发，最近的工作试图在更简单的线性模型中理解这种良性过拟合或无害插值的现象。以前的理论工作批判性地假设数据特征是统计独立的，或者输入数据是高维的;这排除了结构化特征映射的一般非参数设置。在本文中，我们提出了一个通用的和灵活的框架上界回归和分类风险的再生核希尔伯特空间。一个关键的贡献是，我们的框架描述了精确的充分条件下发生无害的插值数据克矩阵。我们的结果恢复了先前的独立特征结果（分析简单得多），但它们进一步表明，无害的插值可以发生在更一般的设置中，例如有界正交系统的特征。此外，我们的研究结果表明，分类和回归性能之间的渐近分离的方式，以前只显示高斯特征。
2022-02-21 cs.LG math.ST stat.ML
Bayesian Semi-structured Subspace Inference
HTWG Konstanz（康斯坦茨应用科学大学）；LMU Munich and MCML（慕尼黑大学和慕尼黑机器学习中心）；UZH and ZHAW Zürich（苏黎世大学和苏黎世应用科学大学）
针对半结构回归模型缺乏认知不确定性建模的问题，提出结构化全参数与非结构化子空间联合后验采样的贝叶斯子空间推断方法，可恢复结构化后验并逼近MCMC，且预测性能具有竞争力。
2024-01-23 cs.LG stat.ML
A Generalized Kernel Approach to Structured Output Learning
Université d’Aix-Marseille（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧分所）；Université de Lille（里尔大学）；INRIA（法国国家信息与自动化研究所）
我们从回归的角度研究结构化输出学习问题。首先，我们提供了一个一般的配方的内核依赖估计（KDE）的问题，使用运营商值的内核。我们表明，这个问题的一些现有的配方是我们的框架的特殊情况。然后，我们提出了一个基于协方差的算子值内核，使我们能够考虑到内核特征空间的结构。该内核在输出空间上操作，并对输出之间的交互进行编码，而不参考输入空间。为了解决这个问题，我们引入了一个基于条件协方差算子的KDE方法的变体，除了输出之间的相关性之外，还考虑了输入变量的影响。最后，我们评估我们的KDE方法使用协方差和条件协方差内核对两个结构化输出问题的性能，并将其与最先进的基于内核的结构化输出回归方法进行比较。
2015-07-15 cs.LG stat.ML
$\texttt{findr}$: Transparent and Fair Credit Risk Decisions through Semi-Structured Regressions
University of Edinburgh（爱丁堡大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）
该研究提出半结构化框架findr，结合逻辑回归的可解释性与神经模型的预测能力，通过Wasserstein惩罚缓解信用风险决策的群体差异，相关诊断工具可辅助评估解释可靠性。
2026-08-26 cs.AI cs.LG q-fin.RM
Dependent relevance determination for smooth and structured sparse regression
在许多问题设置中，参数向量不仅是稀疏的，而且以非零系数倾向于聚集在一起的方式依赖。我们将这种依赖形式称为“区域稀疏性”。经典的稀疏回归方法，如套索和自动相关性确定（ARD），它们将参数建模为先验独立的，因此不利用这种依赖关系。在这里，我们介绍了一个分层模型的光滑，区域稀疏的权重向量和张量在线性回归设置。我们的方法代表了一个层次的相关性确定框架的扩展，在那里我们添加了一个转换后的高斯过程模型回归权重的先验方差之间的依赖关系。我们将其与傅立叶系数的先验方差的结构化模型相结合，从而消除了不必要的高频。由此产生的先验知识鼓励权重同时在两个不同的基中是区域稀疏的。我们发展了拉普拉斯近似和蒙特卡罗马尔可夫链（MCMC）采样，以提供有效的推断后验。此外，一个两阶段的凸松弛的拉普拉斯近似的方法也提供放松不可避免的非凸优化过程中。最后，我们显示了实质性的改进，从大脑成像的模拟和真实数据集的可比方法。
2019-01-24 stat.ML
Scalable Multi-Task Gaussian Process Tensor Regression for Normative Modeling of Structured Variation in Neuroimaging Data
RadboudUMC（拉德堡德大学医学中心）；Donders Institute（唐德斯研究所）；University of Oxford（牛津大学）；King’s College London（伦敦国王学院）
大多数大脑疾病在其基础生物学方面是非常异质的，开发分析方法来模拟这种异质性是一个重大挑战。一种有希望的方法是使用概率回归方法来估计使用（f）MRI数据的脑功能的规范模型，然后使用这些来映射临床人群中个体之间的变化（例如，经由异常检测）。为了充分捕捉个体差异，对不同大脑区域和个体之间的相关模式进行统计建模至关重要。然而，这对于神经成像数据来说是非常具有挑战性的，因为多个轴之间的高维和高度结构化的相关模式。在这里，我们提出了一个通用的和灵活的多任务学习框架来解决这个问题。我们的模型在贝叶斯混合效应模型中使用张量变量高斯过程，并利用Kronecker代数和低秩近似来有效地扩展到全脑水平的多路神经成像数据。在一个公开的临床fMRI数据集上，我们证明了我们的计算负担得起的方法大大提高了检测灵敏度，超过了一个质量单变量规范模型和一个分类器，与我们的方法不同，它可以完全访问临床标签。
2018-11-30 cs.LG stat.AP stat.ML
A Framework and Benchmark for Deep Batch Active Learning for Regression
University of Stuttgart（斯图加特大学）；NEC Laboratories Europe GmbH（NEC欧洲实验室有限公司）
提出深度批量主动学习回归框架，结合草图化神经正切核与聚类方法，在15个数据集基准上超越SOTA且开箱即用。
2023-08-01 cs.LG cs.NE stat.ML
Smoothing Proximal Gradient Method for General Structured Sparse Learning
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）；Tepper School of Business, Carnegie Mellon University（卡内基梅隆大学泰珀商学院）
我们研究的问题，学习高维回归模型正则化的结构稀疏诱导惩罚编码的输入或输出侧的先验结构信息。我们考虑两种广泛采用的惩罚类型作为我们的激励示例：1）基于l1/l2混合范数惩罚的重叠组套索惩罚，以及2）图引导融合惩罚。对于这两种类型的惩罚，由于其不可分离性，开发一个有效的优化方法仍然是一个具有挑战性的问题。在本文中，我们提出了一个通用的优化方法，称为平滑邻近梯度方法，它可以解决结构稀疏回归问题的光滑凸损失和广泛的结构稀疏诱导惩罚。我们的方法是基于Nesterov的一般平滑技术。它实现了比标准的一阶方法，次梯度方法更快的收敛速度，并且比最广泛使用的邻域点方法更具可扩展性。数值结果表明，所提出的方法的效率和可扩展性。
2012-02-14 cs.LG stat.ML
Generalized Nonnegative Structured Kruskal Tensor Regression
本文提出广义非负结构化Kruskal张量回归（NS-KTR）框架，通过模式特定混合正则化和非负约束增强可解释性与性能，适配线性/逻辑回归，用ADMM算法估计参数，实验证明其在合成信号和高光谱数据上优于传统方法。
2025-09-24 eess.SP stat.AP stat.ML
Stability of Multi-Task Kernel Regression Algorithms
Aix-Marseille University（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
在具有算子核的再生Hilbert空间中研究了非线性多任务回归的稳定性。这样的内核，也称为多任务内核适用于具有非标量输出的学习问题，如多任务学习和结构化输出预测。我们证明了多任务核回归算法在无限维输出空间的一般情况下是一致稳定的。然后，我们推导出在温和的假设下的核广义界的算法，我们证明了它们的一致性，甚至与非Hilbert-Schmidt算子值的内核。我们演示了如何将结果应用于各种多任务核回归方法，如向量值SVR和函数岭回归。
2013-06-17 cs.LG stat.ML
Smoothing proximal gradient method for general structured sparse regression
Carnegie Mellon University（卡内基梅隆大学）
我们研究的问题估计高维回归模型正则化的结构化稀疏诱导惩罚编码的输入或输出变量的先验结构信息。我们考虑两种广泛采用的这类惩罚作为激励的例子：（1）一般的群套索惩罚，从群套索惩罚推广;（2）图引导的融合套索惩罚，从融合套索惩罚推广。对于这两种类型的惩罚，由于其不可分离性和非光滑性，开发一个有效的优化方法仍然是一个具有挑战性的问题。在本文中，我们提出了一种通用的优化方法，平滑邻近梯度（SPG）方法，它可以解决结构稀疏回归问题的任何光滑凸损失下的结构稀疏诱导罚款的广泛频谱。我们的方法结合了一个有效的近端梯度方法的平滑技术。它的收敛速度明显快于标准的一阶方法，次梯度方法，并且比最广泛使用的邻域点方法更具可扩展性。我们的方法的效率和可扩展性的模拟实验和真实的遗传数据集上证明。
2012-06-29 cs.LG math.OC stat.AP
Scalable Estimation for Structured Additive Distributional Regression
最近，拟合概率模型在许多领域已经获得了重要性，但估计这样的分布模型与非常大的数据集是一项艰巨的任务。特别是，使用相当复杂的模型很容易导致与内存相关的效率问题，即使在高性能计算机上也无法进行估计。因此，我们提出了一种新的后拟合算法，它是基于随机梯度下降的思想，可以处理几乎任何数量的数据在传统的笔记本电脑。该算法执行变量和平滑参数的自动选择，并且其性能在大多数情况下优于或至少等同于结构化加法分布回归的其他实现，例如，梯度提升，同时保持低计算时间。性能评估使用广泛的模拟研究和一个非常具有挑战性和独特的例子，闪电计数预测奥地利。使用了一个非常大的数据集，其中包含超过900万个观测值和80个协变量，因此预测模型不能用标准的分布回归方法来估计，而是用我们的新方法来估计。
2023-01-13 stat.CO stat.ML
Learning Differentiable Surrogate Losses for Structured Prediction
Télécom Paris（巴黎电信学院）；IP Paris（巴黎理工学院）
本文提出一种通过对比学习直接从输出数据中学习由神经网络参数化的结构化损失函数的新框架，该可微损失支持代理回归训练和基于梯度下降的解码预测，在图预测任务上达到或超越预定义核方法。
2024-11-18 cs.LG stat.ML
Counterfactual Distribution Regression for Structured Inference
Royal Holloway University London（伦敦大学皇家霍洛威学院）；University College London（伦敦大学学院）；Gatsby Computational Neuroscience Unit（盖茨比计算神经科学组）
我们考虑的问题，其中系统接收外部\emph{perturbations}不时。例如，该系统可以是训练网络，其中特定线路在没有警告的情况下反复中断，从而对乘客行为产生影响。目标是预测系统在特定兴趣点的行为变化，例如受影响铁路车站周围的乘客流量。我们假设可用的数据提供了系统在其“自然状态”下运行的记录（例如，没有中断的训练网络）和关于发生扰动的情况的数据。推理问题是如何与特定的协变量，如位置和时间的扰动有关的信息，可以概括为预测新的扰动的影响。我们从映射的角度来处理这个问题，从没有中断的系统行为的反事实分布到被中断的系统的分布。为此设置开发了\emph{distribution regression}的变体。
2019-08-20 cs.LG stat.AP stat.ME
Manifold Structured Prediction
INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure - PSL Research University（巴黎高等师范学院-巴黎文理研究大学）；University College London（伦敦大学学院）；Istituto Italiano di Tecnologia（意大利技术研究院）；Massachusetts Institute of Technology（麻省理工学院）；Universitá degli Studi di Genova（热那亚大学）
结构化预测提供了一个通用的框架来处理有监督的问题，其中输出具有丰富的语义结构。虽然经典的方法考虑有限的，虽然潜在的巨大的，输出空间，在本文中，我们讨论如何结构化预测可以扩展到一个连续的场景。具体来说，我们研究了一种结构化的预测方法，多值回归。我们描述了一类问题，所考虑的方法是统计上一致的，并研究如何几何优化可以用来计算相应的估计。在模拟和真实数据上的有希望的实验结果完成了我们的研究。
2018-06-26 cs.LG stat.ML
A General Theory for Structured Prediction with Smooth Convex Surrogates
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
在这项工作中，我们提供了一个结构化预测的理论框架，概括了现有的理论的替代方法的二进制和多类分类的基础上估计条件概率与光滑凸代理（如逻辑回归）。该理论依赖于一个自然的表征的任务损失的结构特性，并允许获得统计保证，许多广泛使用的方法的背景下，多标签，排名，有序回归和图形匹配。特别是，我们刻画了一个合适的Bregman发散与链接函数组成的一个给定的任务损失的光滑凸代理兼容。这允许导出紧边界的校准函数，并获得新的结果对现有的代理框架结构化预测，如条件随机场和二次代理。
2019-02-13 cs.AI cs.LG stat.ML
Kernel Regression in Structured Non-IID Settings: Theory and Implications for Denoising Score Learning
Institute of Data Science, The University of Hong Kong（数据科学研究所，香港大学）；Computer Sciences Department, University of Wisconsin-Madison（计算机科学系，威斯康星大学麦迪逊分校）；Institute of Data Science and School of Computing & Data Science, The University of Hong Kong（数据科学研究所和计算与数据科学学院，香港大学）；School of Computing & Data Science and Institute of Data Science, The University of Hong Kong（计算与数据科学学院和数据科学研究所，香港大学）
本研究首次系统分析非独立同分布数据下核岭回归的泛化性能，提出分块分解方法推导依赖数据的过量风险界，并应用于去噪分数学习，提供采样指导与泛化保证。
2025-10-17 cs.AI cs.LG stat.ML
Regularizers for Structured Sparsity
研究了在稀疏模式结构的附加条件下学习稀疏线性回归向量的问题。这个问题与机器学习、统计学和信号处理有关。众所周知，线性回归可以受益于基础回归向量是稀疏的知识。选择这个向量的非零分量的组合问题可以通过用像$\ell_1$范数这样的凸罚函数正则化平方误差来“放松”。然而，在许多应用中，关于回归向量的结构及其稀疏模式的附加条件是可用的。将该信息引入到学习方法中可以导致估计误差的显著减小。在本文中，我们提出了一个家庭的凸罚函数，编码的先验知识的结构所形成的向量的绝对值的回归系数。该族包含$\ell_1$范数，并且足够灵活以包括具有实际和理论重要性的稀疏模式的不同模型。我们建立了这些罚函数的基本性质，并讨论了一些例子，他们可以明确计算。此外，我们提出了一个收敛的优化算法求解正则化最小二乘与这些惩罚函数。数值模拟突出了结构稀疏性的好处，我们的方法比Lasso方法和其他相关方法提供的优势。
2011-03-30 stat.ML
A structured regression approach for evaluating model performance across intersectional subgroups
University of Maryland（马里兰大学）；Oregon State University（俄勒冈州立大学）；Microsoft Research（微软研究院）
针对交叉子群体样本量小导致AI公平性分解评估受限的问题，提出结构化回归方法，可对小子群体生成可靠性能估计，搭配推断策略与拟合优度检验，实验验证其准确性优于标准方法。
2024-05-14 cs.CY cs.LG stat.AP
Efficient Algorithm for Extremely Large Multi-task Regression with Massive Structured Sparsity
我们开发了一种高度可扩展的优化方法，称为“分层组阈值”，用于解决多任务回归模型的输入和输出空间上具有复杂的结构稀疏约束。尽管最近出现了几种有效的优化算法来处理复杂的稀疏诱导正则化器，但在实际的高维问题中，需要强制执行的（数百万个）稀疏模式仍然是一个公开的挑战，因为所有现有的算法必须在每次迭代中穷尽地处理所有这样的模式，这在计算上是禁止的。我们提出的算法解决了可扩展性问题，同时和系统地筛选出多组系数。我们采用层次树表示的组约束，以加快的过程中去除不相关的约束，利用组稀疏性之间的包含关系，从而避免在每个优化步骤中处理所有的约束，并需要优化操作只有少数优秀的系数。在我们的实验中，我们证明了我们的方法在模拟数据集上的效率，并在检测与基因表达性状相关的遗传变异的应用中。
2012-08-15 q-bio.QM stat.ML
Tree-guided group lasso for multi-response regression with structured sparsity, with an application to eQTL mapping
我们考虑的问题估计稀疏的多响应回归函数，与应用表达数量性状位点（eQTL）定位，其目标是发现影响基因表达水平的遗传变异。特别是，我们调查的收缩技术能够捕捉到一个给定的层次结构的响应，如层次聚类树与叶节点的响应和内部节点的集群相关的响应在多个粒度，我们试图利用这种结构来恢复协变量相关的每个层次定义的集群的响应。我们提出了一个树引导组套索，或树套索，估计多响应回归下，采用一种新的惩罚函数从树构造的结构稀疏。我们描述了一个系统的加权方案，重叠的组中的树罚，使每个回归系数被惩罚在一个平衡的方式，尽管不均匀的多重性的组成员的回归系数，由于组之间的重叠。为了有效的优化，我们采用了一个平滑的近端梯度方法，最初开发的一般类的结构稀疏诱导处罚。使用模拟和酵母数据集，我们证明了我们的方法在预测误差和恢复真实稀疏模式方面表现出优越的性能，与其他学习多变量响应回归的方法相比。
2012-09-28 q-bio.GN q-bio.QM stat.AP
Energy Trees: Regression and Classification With Structured and Mixed-Type Covariates
针对现有复杂数据处理工具仅支持单一类型变量的问题，提出基于能量统计拓展条件推断树的Energy Trees模型，可处理多类结构化协变量，在变量选择、抗过拟合及预测任务中表现优异，已实现为R包etree。
2023-06-15 stat.AP stat.CO stat.ME
Scaling Multidimensional Inference for Structured Gaussian Processes
精确高斯过程（GP）回归对于数据大小N具有O（N^3）的运行时间，使得它对于大N是难以处理的。许多改进GP尺度的算法都是用低秩矩阵来逼近协方差。其他工作已经利用了特定协方差函数中固有的结构，包括具有隐含马尔可夫结构的GP和等间隔输入（两者都使O（N）运行时间）。然而，这些GP的进步还没有扩展到多维输入设置，尽管多维应用程序的优势。本文介绍和测试新的结构化GP多维输入的扩展。我们提出了新的方法添加剂GP，经典的回拟合方法和贝叶斯框架之间的一种新的连接。为了实现最佳的精度和复杂性的权衡，我们扩展了这个模型的投影寻踪回归的一个新的变种。我们的主要结果--投影寻踪高斯过程回归--在保持高精度的同时显示了数量级的加速。自然的第二步和第三步包括非高斯观测和高维等间距网格方法。我们引入新的技术来解决这两个必要的方向。我们在几个数据集上彻底说明了这三个进步的力量，以更低的成本实现了与幼稚全GP接近的性能。
2012-09-21 stat.ML
Continuation of Nesterov's Smoothing for Regression with Structured Sparsity in High-Dimensional Neuroimaging
预测模型可用于高维脑图像，以诊断临床状况。通过结构化稀疏性的空间正则化在这种情况下提供了新的视角，并降低了模型过拟合的风险，同时通过强制解决方案遵守特定领域的约束来提供可解释的神经成像签名。总变分（TV）在将预测区域从背景中分割出来的同时，增强了解决方案的空间平滑性。我们考虑最小化光滑凸损失，非光滑凸惩罚（其邻近算子是已知的）和广泛的可能的复杂，非光滑凸结构的处罚，如电视或重叠组拉索的总和的问题。现有的求解器要么是有限的功能，他们可以最小化或在他们的实际能力，以扩展到高维成像数据。Nesterov的平滑技术可以用来最小化大量的非光滑凸结构的惩罚，但合理的精度需要一个小的平滑参数，这减慢了收敛速度。为了受益于Nesterov的平滑技术的多功能性，我们提出了一个一阶连续算法，CONESTA，它自动生成一个序列的平滑参数减少。所生成的序列保持最佳收敛速度朝向任何全局期望的精度。我们的主要贡献是：提出了一种对偶间隙的表达式来探测当前距离全局最优解的距离，以适应平滑参数和收敛速度。我们提供了一个收敛速度，这是一个经典的近端梯度平滑方法的改进。我们在模拟和高维结构神经成像数据上证明，CONESTA在收敛速度和精度方面明显优于许多最先进的求解器。
2018-04-22 stat.ML
Structured Sparse Modelling with Hierarchical GP
本文提出了一种新的具有时空结构的稀疏线性回归贝叶斯模型。它结合了结构假设的基础上，一个分层的高斯过程之前的尖峰和板系数。我们设计了一个基于期望传播的推理算法，并在真实数据上对模型进行了评估。
2017-04-27 stat.ML
Blitzkriging: Kronecker-structured Stochastic Gaussian Processes
我们提出了Blitzkriging，一种新的方法来快速推断高斯过程，适用于回归，优化和分类。非常大的数据集上的高斯过程的最先进的（随机）推理在“诱导输入”的数量上按立方缩放，引入变量以分解模型。Blitzkriging与数据共享最先进的缩放，但将诱导点数量的缩放减少到近似线性。此外，与其他方法相比，Blitzkriging：不强制数据符合任何特定的结构（包括网格状）;减少对诱导点位置的易出错优化的依赖;并且能够从数据中学习丰富的（协方差）结构。我们展示了我们的方法在回归，时间序列预测和信号插值实验中对真实数据的好处。
2015-10-31 stat.ML
Hierarchical Gaussian Processes for Survey Weighting: Local Equivalent Weights in Structured Populations
Columbia University（哥伦比亚大学）
本研究提出基于分层高斯过程（HGP）回归的调查加权框架，构造结构化总体的局部等价权重，模拟及实际应用显示其在非参数结构下预测误差更低，拓展了调查加权的非参数建模方法。
2026-10-22 stat.ME stat.ML
Scaling Laws in Linear Regression: Compute, Parameters, and Data
UC Berkeley（伯克利大学）；Harvard University（哈佛大学）；Google DeepMind（谷歌DeepMind）；Princeton University（普林斯顿大学）
本文在无限维线性回归中分析单遍 SGD 的缩放定律，证明在高斯先验和幂律协方差谱下，可约测试误差随参数 M 与数据 N 呈多项式下降，且隐式正则化消除了方差项的负面影响。
2025-06-10 cs.AI cs.LG math.ST
Neural Mixture Distributional Regression
LMU Munich（慕尼黑大学）
我们提出了神经混合分布回归（NMDR），一个整体框架来估计由灵活的添加剂预测定义的复杂的有限混合分布回归。我们的框架能够在高维环境中处理大量潜在不同分布的混合物，允许高效和可扩展的优化，并可应用于将结构化回归模型与深度神经网络相结合的最新概念。虽然许多现有的混合模型方法解决了优化这些模型的挑战，并在特定的模型假设下提供了收敛结果，但我们的方法是无约束的，而是利用了深度学习中成熟的优化器。通过大量的数值实验和高维深度学习应用程序，我们提供的证据表明，所提出的方法是有竞争力的现有方法，并在更复杂的情况下工作得很好。
2020-10-14 cs.LG stat.CO stat.ML
Multiple Augmented Reduced Rank Regression for Pan-Cancer Analysis
本文提出多重增强降秩回归（maRRR），用于整合多个队列的高维数据，同时学习协变量驱动与辅助结构化变异，在泛癌基因表达分析中提升了预测与插补性能。
2023-08-30 q-bio.QM stat.ME stat.ML
Multiple Output Regression with Latent Noise
在高维数据中，由同时影响多个目标变量的观测和未观测因素引起的结构化噪声通过掩盖通常较弱的信号而对建模提出了严峻的挑战。因此，（1）解释多输出回归中的结构噪声是至关重要的。此外，（2）需要对回归权重的相关结构进行假设。我们注意到，两者都可以在潜变量模型中以自然的方式制定，其中感兴趣的信号和噪声都是通过相同的潜因子介导的。在这种假设下，信号模型通过鼓励对相关目标的类似影响，从噪声模型中借用强度。我们引入了一个超参数的\emph{latent signal-to-noise ratio}，这是重要的建模弱信号，和一个有序的无限维收缩前，解决了旋转不可识别的降秩回归模型。代谢物，基因表达，功能磁共振成像测量，和宏观经济时间序列数据的模拟和预测实验表明，我们的模型等于或超过国家的最先进的性能，特别是，优于假设独立的噪声和信号模型的标准方法。
2016-02-03 stat.ML
Learning Interpretable Text Signals for Structured Responses
University of York（约克大学）
提出联合非负矩阵分解和二项回归模型，从文本重建和评分预测中学习文档-主题表示，实现可解释的文本-响应建模。
2026-06-25 stat.AP stat.ML
Information Theoretic Limits for Linear Prediction with Graph-Structured Sparsity
Krannert School of Management（克兰纳特管理学院）；Purdue University（普渡大学）；Department of Computer Science（计算机科学系）
我们分析了在有噪线性预测设置中进行稀疏向量恢复所需的样本数量。该模型包括线性回归和分类等问题。我们专注于结构化图模型。特别地，我们证明了Hegde等人提出的加权图模型的足够数量的样本也是必要的。我们使用的Fano的不平等，以及构造合奏作为我们的主要工具，在建立信息论的下限。
2017-05-06 cs.IT cs.LG math.IT
Fast rates in structured prediction
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure - PSL Research University（巴黎高等师范学院 - PSL研究大学）
离散监督学习问题（如分类）通常通过引入类似于回归的连续代理问题来解决。通过替代误差来界定估计值和解之间的原始误差，可以使离散问题具有连续情况下已经显示的收敛速度。然而，当前的方法没有利用这样的事实，即当连续问题预测连续值时，离散问题本质上是预测离散输出。在本文中，我们解决这个问题的一般结构化预测问题，开辟了“超快”的速度，即收敛速度的超额风险快于$n^{-1}$，其中$n$是观察的数量，甚至指数率与最强的假设。我们首先说明它的预测最近的邻居的基础上，广义率已知的二进制分类的结构化预测的框架内的任何离散问题。然后，我们考虑内核岭回归，我们在$n^{-1/4}$中提高已知的速率到任意快的速率，这取决于表征问题硬度的参数，从而允许在平滑假设下绕过维数灾难。
2021-07-15 cs.AI cs.LG math.ST
