Factorized Structured Regression for Large-Scale Varying Coefficient Models
LMU Munich(慕尼黑大学);RWTH Aachen(亚琛工业大学);Helmholtz Zentrum Munich(慕尼黑亥姆霍兹中心);Flatiron Institute(熨斗研究院);University of St.Gallen(圣加仑大学)
推荐系统(RS)渗透到我们日常数字生活的许多方面。建议大规模工作,最先进的RS允许对数千个交互进行建模,并促进高度个性化的建议。从概念上讲,许多RS可以被视为统计回归模型的实例,这些模型包含复杂的特征效应和潜在的非高斯结果。然而,这种结构化的回归模型,包括时间感知的变系数模型,在其适用性方面受限于分类效应和包含大量的相互作用。在这里,我们提出了可扩展的变系数模型的因子化结构回归(FaStR)。FaStR通过在基于神经网络的模型实现中结合结构化加法回归和因子分解方法,克服了大规模数据的一般回归模型的局限性。这种融合为在以前不可行的数据设置中估计统计模型提供了一个可扩展的框架。实证结果证实,我们的方法的不同系数的估计是与国家的最先进的回归技术,而缩放显着更好,也与其他时间感知RS的预测性能方面的竞争力。我们说明了FaStR的性能和可解释性的大规模行为研究与智能手机用户数据。
2022-05-25 cs.LG stat.CO stat.ML
Structured Sparse Regression via Greedy Hard-Thresholding
Microsoft Research(微软研究院);Technicolor R & I(汤姆逊研发中心);University of Texas at Austin(德克萨斯大学奥斯汀分校)
一些学习应用程序需要解决高维回归问题,其中相关特征属于少量(重叠)组。对于非常大的数据集和标准稀疏性约束下,硬阈值方法已被证明是非常有效的,但这种方法需要NP硬投影时,处理重叠的群体。在本文中,我们表明,这种NP难预测不仅可以避免呼吁子模块优化,但这样的方法来与强有力的理论保证,即使在存在条件不佳的数据(即当两个功能有相关性$\geq 0.99$),现有的分析无法处理。这些方法表现出一个有趣的计算精度的权衡,并可以扩展到显着困难的问题,如稀疏重叠组。真实和合成数据上的实验验证了我们的主张,并表明所提出的方法比其他贪婪和凸松弛技术学习组结构稀疏的速度快几个数量级。
2016-05-27 cs.LG stat.ML
Deep Sketched Output Kernel Regression for Structured Prediction
LTCI, Télécom Paris(电信巴黎理工学院 LTCI 实验室);IP Paris(巴黎理工学院);University of Milan(米兰大学)
本文提出深度草图输出核回归,用随机近似核协方差算子的特征函数构造有限维输出子空间,使神经网络可借助核诱导损失和梯度下降完成结构化预测。
2024-06-13 cs.LG stat.ML
Semi-supervised learning for structured regression on partially observed attributed graphs
Temple University(天普大学);University of Belgrade, Faculty of Organizational Sciences(贝尔格莱德大学组织科学学院)
条件概率图模型为具有复杂相关模式的时空数据集的结构化回归提供了一个强大的框架。然而,在现实生活中的应用中,很大一部分的观察往往是失踪,这可能会严重限制这些模型的代表性的权力。本文提出了一种边缘化高斯条件随机场(m-GCRF)结构回归模型,用于处理部分观测时间属性图中的缺失标签。该方法旨在使用标记和未标记的部分进行学习,并有效地预测图中的未来值。该方法甚至能够从历史上从未观察到响应变量的节点学习,这给许多可以处理缺失数据的最先进模型带来了问题。所提出的模型的特点是各种缺失机制的500合成图。新方法的好处也证明了一个具有挑战性的应用程序,预测降水的基础上,在一个时间图,跨越整个美国大陆的气候变量的部分观测。我们还表明,该方法可以通过积极减少气象站的数量来优化气候应用中的数据汇集的成本。在这些真实世界和合成数据集上的实验中,我们表明,所提出的模型始终比替代的半监督结构化模型更准确,以及使用插补来处理缺失值或完全忽略它们的模型。
2018-03-28 cs.LG stat.ML
Large-scale magnetic field maps using structured kernel interpolation for Gaussian process regression
Delft University of Technology(代尔夫特理工大学)
本文提出将带导数的结构化核插值(D-SKI)引入标量势磁场模型,以线性复杂度实现大规模室内磁场地图的高效构建,在精度和速度上均优于现有方法。
2023-10-25 cs.LG stat.ML
Structured Point Cloud Data Analysis via Regularized Tensor Regression for Process Modeling and Optimization
Arizona State University(亚利桑那州立大学);Georgia Institute of Technology(佐治亚理工学院);University of Salento(萨伦托大学)
先进的3D测量技术,如坐标测量机(CMM)和激光3D扫描仪,促进了大量点云数据的收集,有利于过程监测,控制和优化。然而,由于点云的高维性和结构复杂性,其建模和分析仍然是一个挑战。在本文中,我们利用多线性代数技术,并提出了一套张量回归方法来模拟点云的变化模式,并将它们连接到过程变量。所提出的方法的性能进行了评估,通过模拟和车削工艺优化的实际案例研究。
2018-12-01 cs.CV cs.LG stat.ML
Semi-supervised structured output prediction by local linear regression and sub-gradient descent
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Vanderbilt University(范德堡大学);Suning Commerce R&D Center USA, Inc(苏宁美国研发中心);Beijing Jiaotong University(北京交通大学);New York University Abu Dhabi(纽约大学阿布扎比分校);National Time Service Center, Chinese Academy of Sciences(中国科学院国家授时中心);Graduate University of Chinese Academy of Sciences(中国科学院研究生院)
提出了一种基于局部线性回归的半监督结构化输出预测方法。现有的半监督结构化输出预测方法针对数据集中的所有数据点学习一个全局预测器,忽略了数据集局部分布的差异及其对结构化输出预测的影响。为了解决这个问题,我们提出了共同学习缺失的结构化输出和不同数据点邻域的局部预测。使用局部线性回归策略,在每个数据点的邻域中,我们建议通过最小化预测器的复杂性和结构化预测损失的上界来学习局部线性预测器。最小化问题是解决子梯度下降算法。我们在两个基准数据集上进行了实验,结果表明了所提出的方法的优点。
2016-08-16 cs.LG
A Structured Prediction Approach for Label Ranking
LTCI(电信与信息处理实验室);Télécom ParisTech(巴黎高等电信学院);Université Paris-Saclay(巴黎萨克雷大学)
我们建议将标签排序问题作为结构化输出回归任务来解决。我们采用了最小二乘代理损失的方法,解决了监督学习问题的两个步骤:在一个精心选择的特征空间和前图像步骤的回归步骤。我们使用特定的特征映射/嵌入对数据进行排名,将任何排名/排列转换为矢量表示。这些嵌入都是为我们的方法量身定制的,无论是通过产生相合估计量,还是通过解决通常是结构化预测中的瓶颈的前像问题。我们还提出了部分排名的情况下,他们的自然扩展,并证明了他们的效率在现实世界的数据集。
2018-07-06 cs.LG stat.ML
Graph-Structured Multi-task Regression and an Efficient Optimization Method for General Fused Lasso
我们考虑学习结构化多任务回归的问题,其中输出由通过图形相关的多个响应组成,并且相关的响应变量以稀疏但协同的方式依赖于共同的输入。以前的方法,如l1/l2正则化多任务回归假设所有的输出变量都与输入同等相关,尽管在许多现实世界的问题中,输出是以复杂的方式相关的。在本文中,我们提出了图引导融合套索(GFlasso)的结构化多任务回归,利用图结构的输出变量。我们引入了一种新的基于融合惩罚的惩罚函数,以鼓励高度相关的输出共享一组共同的相关输入。此外,我们提出了一种简单而有效的近似梯度方法来优化GFlasso,该方法也可以应用于任何具有凸光滑损失和任意图结构上定义的一般融合惩罚的优化问题。通过利用非光滑“融合惩罚”的结构,我们的方法实现了比标准的一阶方法,次梯度方法更快的收敛速度,并且比广泛采用的二阶锥规划和二次规划公式具有更大的可扩展性。此外,我们还分析了GFlasso模型的一致性。实验结果不仅证明了GFlasso优于标准套索,而且还显示了我们的近似梯度方法的效率和可扩展性。
2010-05-20 cs.LG math.OC stat.ML
Measuring and Reducing Model Update Regression in Structured Prediction for NLP
The Chinese University of Hong Kong(香港中文大学);Amazon AWS AI Labs(亚马逊AWS人工智能实验室);University of Cambridge(剑桥大学)
深度学习的最新进展使得基于机器学习的NLP模型在广泛的应用中得到快速采用。尽管准确性不断提高,向后兼容性也是工业应用的一个重要方面,但它很少受到研究关注。向后兼容性要求新模型不会在其前身正确处理的情况下回归。本文研究了结构化预测任务中的模型更新回归。我们选择句法依存句法分析和会话语义解析作为NLP中结构化预测任务的典型例子。首先,我们测量和分析模型更新回归在不同的模型更新设置。接下来,我们探索和基准现有的技术,减少模型更新回归,包括模型集成和知识蒸馏。我们进一步提出了一个简单而有效的方法,向后一致重新排序(BCR),考虑到结构化预测的特点。实验结果表明,BCR比模型集成和知识蒸馏方法能更好地抑制模型更新回归。
2022-10-08 cs.AI cs.CL cs.LG
deepregression: a Flexible Neural Network Framework for Semi-Structured Deep Distributional Regression
LMU Munich(慕尼黑大学);Helmholtz AI(亥姆霍兹人工智能研究所);ETH Zurich(苏黎世联邦理工学院);University of Zurich(苏黎世大学);Humboldt-Universität zu Berlin(柏林洪堡大学);Helmholtz Zentrum Munich(慕尼黑亥姆霍兹中心);Flatiron Institute(弗莱提荣研究所)
在本文中,我们描述了半结构化深度分布回归的实现,这是一个基于加性回归模型和深度网络组合的学习条件分布的灵活框架。我们的实现包括(1)基于深度学习库\pkg{TensorFlow}的模块化神经网络构建系统,用于融合各种统计和深度学习方法,(2)允许不同子网络的可解释组合的正交化单元,以及(3)建立此类模型所需的预处理步骤。该软件包允许通过公式界面以用户友好的方式定义模型,该公式界面受到\pkg{mgcv}等经典统计模型框架的启发。该软件包的模块化设计和功能为复杂统计模型的可扩展估计以及深度学习和统计方法的组合提供了独特的资源。这允许最先进的预测性能,同时保留经典统计模型不可或缺的可解释性。
2022-03-10 cs.LG stat.CO stat.ML
Harmless interpolation in regression and classification with structured features
Georgia Tech(佐治亚理工学院);Michigan State University(密歇根州立大学)
过度参数化的神经网络倾向于完美地拟合有噪声的训练数据,但在测试数据上推广得很好。受这一经验观察的启发,最近的工作试图在更简单的线性模型中理解这种良性过拟合或无害插值的现象。以前的理论工作批判性地假设数据特征是统计独立的,或者输入数据是高维的;这排除了结构化特征映射的一般非参数设置。在本文中,我们提出了一个通用的和灵活的框架上界回归和分类风险的再生核希尔伯特空间。一个关键的贡献是,我们的框架描述了精确的充分条件下发生无害的插值数据克矩阵。我们的结果恢复了先前的独立特征结果(分析简单得多),但它们进一步表明,无害的插值可以发生在更一般的设置中,例如有界正交系统的特征。此外,我们的研究结果表明,分类和回归性能之间的渐近分离的方式,以前只显示高斯特征。
2022-02-21 cs.LG math.ST stat.ML
$\texttt{findr}$: Transparent and Fair Credit Risk Decisions through Semi-Structured Regressions
University of Edinburgh(爱丁堡大学);Humboldt-Universität zu Berlin(柏林洪堡大学)
该研究提出半结构化框架findr,结合逻辑回归的可解释性与神经模型的预测能力,通过Wasserstein惩罚缓解信用风险决策的群体差异,相关诊断工具可辅助评估解释可靠性。
2026-08-26 cs.AI cs.LG q-fin.RM
Constrained Structured Regression with Convolutional Neural Networks
UC Berkeley(加州大学伯克利分校)
卷积神经网络(CNN)最近已经成为计算机视觉中的主导模型。如果提供足够的训练数据,它们几乎可以预测任何视觉量。在离散设置中,例如分类,CNN不仅能够预测标签,而且通常以输出空间上的概率分布的形式预测置信度。在连续回归任务中,通常缺乏这样的概率估计。我们提出了一个回归框架,它模拟神经网络的输出分布。这种输出分布允许我们根据一组物理或建模约束来推断最可能的标签。这些约束捕捉了不同输入和输出变量之间复杂的相互作用,并补充了CNN的输出。然而,它们可能并不适用于所有地方。我们的设置还允许学习约束保持的信心,以约束满意度分布的形式。我们评估我们的方法上的问题的内在图像分解,并表明,约束结构化回归显着增加了国家的最先进的。
2015-11-23 cs.CV cs.LG
Linear Regression on Manifold Structured Data: the Impact of Extrinsic Geometry on Solutions
University of Texas at Austin(德克萨斯大学奥斯汀分校);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Oden Institute for Computational Engineering and Sciences(奥登计算工程与科学研究所)
该研究针对流形结构数据的线性回归问题,分析了数据流形外在几何(曲率或高阶非线性项)对回归解唯一性的影响,明确了流形几何在保障分布外推理时回归模型稳定性的作用。
2023-07-22 cs.LG math.DG
Scalable Multi-Task Gaussian Process Tensor Regression for Normative Modeling of Structured Variation in Neuroimaging Data
RadboudUMC(拉德堡德大学医学中心);Donders Institute(唐德斯研究所);University of Oxford(牛津大学);King’s College London(伦敦国王学院)
大多数大脑疾病在其基础生物学方面是非常异质的,开发分析方法来模拟这种异质性是一个重大挑战。一种有希望的方法是使用概率回归方法来估计使用(f)MRI数据的脑功能的规范模型,然后使用这些来映射临床人群中个体之间的变化(例如,经由异常检测)。为了充分捕捉个体差异,对不同大脑区域和个体之间的相关模式进行统计建模至关重要。然而,这对于神经成像数据来说是非常具有挑战性的,因为多个轴之间的高维和高度结构化的相关模式。在这里,我们提出了一个通用的和灵活的多任务学习框架来解决这个问题。我们的模型在贝叶斯混合效应模型中使用张量变量高斯过程,并利用Kronecker代数和低秩近似来有效地扩展到全脑水平的多路神经成像数据。在一个公开的临床fMRI数据集上,我们证明了我们的计算负担得起的方法大大提高了检测灵敏度,超过了一个质量单变量规范模型和一个分类器,与我们的方法不同,它可以完全访问临床标签。
2018-11-30 cs.LG stat.AP stat.ML
Smoothing proximal gradient method for general structured sparse regression
Carnegie Mellon University(卡内基梅隆大学)
我们研究的问题估计高维回归模型正则化的结构化稀疏诱导惩罚编码的输入或输出变量的先验结构信息。我们考虑两种广泛采用的这类惩罚作为激励的例子:(1)一般的群套索惩罚,从群套索惩罚推广;(2)图引导的融合套索惩罚,从融合套索惩罚推广。对于这两种类型的惩罚,由于其不可分离性和非光滑性,开发一个有效的优化方法仍然是一个具有挑战性的问题。在本文中,我们提出了一种通用的优化方法,平滑邻近梯度(SPG)方法,它可以解决结构稀疏回归问题的任何光滑凸损失下的结构稀疏诱导罚款的广泛频谱。我们的方法结合了一个有效的近端梯度方法的平滑技术。它的收敛速度明显快于标准的一阶方法,次梯度方法,并且比最广泛使用的邻域点方法更具可扩展性。我们的方法的效率和可扩展性的模拟实验和真实的遗传数据集上证明。
2012-06-29 cs.LG math.OC stat.AP
Structured Kernel Regression VAE: A Computationally Efficient Surrogate for GP-VAEs in ICA
Hong Kong Polytechnic University(香港理工大学)
为解决GP-VAE在独立成分分析中计算成本高的问题,提出SKR-VAE模型,通过避免核矩阵求逆在保持性能的同时显著提升计算效率。
2025-08-13 cs.LG stat.ML
LASER: Language Model Regression for Semi-Structured Workflow Resource and Runtime Estimation
University of California, Santa Barbara(加州大学圣芭芭拉分校)
本文提出LASER框架,通过微调LLM实现多目标资源和运行时间回归,采用科学计数法和约束解码提升预测精度与效率,验证表明其在大规模芯片设计任务和GHARuntime基准上优于人类专家和现有表格型ML方法。
2026-05-13 cs.AI cs.LG
Bayesian Semi-structured Subspace Inference
HTWG Konstanz(康斯坦茨应用科学大学);LMU Munich and MCML(慕尼黑大学和慕尼黑机器学习中心);UZH and ZHAW Zürich(苏黎世大学和苏黎世应用科学大学)
针对半结构回归模型缺乏认知不确定性建模的问题,提出结构化全参数与非结构化子空间联合后验采样的贝叶斯子空间推断方法,可恢复结构化后验并逼近MCMC,且预测性能具有竞争力。
2024-01-23 cs.LG stat.ML
Smoothing Proximal Gradient Method for General Structured Sparse Learning
School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院);Tepper School of Business, Carnegie Mellon University(卡内基梅隆大学泰珀商学院)
我们研究的问题,学习高维回归模型正则化的结构稀疏诱导惩罚编码的输入或输出侧的先验结构信息。我们考虑两种广泛采用的惩罚类型作为我们的激励示例:1)基于l1/l2混合范数惩罚的重叠组套索惩罚,以及2)图引导融合惩罚。对于这两种类型的惩罚,由于其不可分离性,开发一个有效的优化方法仍然是一个具有挑战性的问题。在本文中,我们提出了一个通用的优化方法,称为平滑邻近梯度方法,它可以解决结构稀疏回归问题的光滑凸损失和广泛的结构稀疏诱导惩罚。我们的方法是基于Nesterov的一般平滑技术。它实现了比标准的一阶方法,次梯度方法更快的收敛速度,并且比最广泛使用的邻域点方法更具可扩展性。数值结果表明,所提出的方法的效率和可扩展性。
2012-02-14 cs.LG stat.ML
Counterfactual Distribution Regression for Structured Inference
Royal Holloway University London(伦敦大学皇家霍洛威学院);University College London(伦敦大学学院);Gatsby Computational Neuroscience Unit(盖茨比计算神经科学组)
我们考虑的问题,其中系统接收外部\emph{perturbations}不时。例如,该系统可以是训练网络,其中特定线路在没有警告的情况下反复中断,从而对乘客行为产生影响。目标是预测系统在特定兴趣点的行为变化,例如受影响铁路车站周围的乘客流量。我们假设可用的数据提供了系统在其“自然状态”下运行的记录(例如,没有中断的训练网络)和关于发生扰动的情况的数据。推理问题是如何与特定的协变量,如位置和时间的扰动有关的信息,可以概括为预测新的扰动的影响。我们从映射的角度来处理这个问题,从没有中断的系统行为的反事实分布到被中断的系统的分布。为此设置开发了\emph{distribution regression}的变体。
2019-08-20 cs.LG stat.AP stat.ME
Prevention of Overfitting on Mesh-Structured Data Regressions with a Modified Laplace Operator
Independent Researcher(独立研究者)
提出利用修正拉普拉斯算子检测并预防网格数据回归中的过拟合,通过最小化模型熵实现超参数优化,并采用交错网格导数作为替代测试指标。
2025-07-09 cs.LG
A structured regression approach for evaluating model performance across intersectional subgroups
University of Maryland(马里兰大学);Oregon State University(俄勒冈州立大学);Microsoft Research(微软研究院)
针对交叉子群体样本量小导致AI公平性分解评估受限的问题,提出结构化回归方法,可对小子群体生成可靠性能估计,搭配推断策略与拟合优度检验,实验验证其准确性优于标准方法。
2024-05-14 cs.CY cs.LG stat.AP
A General Theory for Structured Prediction with Smooth Convex Surrogates
INRIA(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
在这项工作中,我们提供了一个结构化预测的理论框架,概括了现有的理论的替代方法的二进制和多类分类的基础上估计条件概率与光滑凸代理(如逻辑回归)。该理论依赖于一个自然的表征的任务损失的结构特性,并允许获得统计保证,许多广泛使用的方法的背景下,多标签,排名,有序回归和图形匹配。特别是,我们刻画了一个合适的Bregman发散与链接函数组成的一个给定的任务损失的光滑凸代理兼容。这允许导出紧边界的校准函数,并获得新的结果对现有的代理框架结构化预测,如条件随机场和二次代理。
2019-02-13 cs.AI cs.LG stat.ML
Kernel Regression in Structured Non-IID Settings: Theory and Implications for Denoising Score Learning
Institute of Data Science, The University of Hong Kong(数据科学研究所,香港大学);Computer Sciences Department, University of Wisconsin-Madison(计算机科学系,威斯康星大学麦迪逊分校);Institute of Data Science and School of Computing & Data Science, The University of Hong Kong(数据科学研究所和计算与数据科学学院,香港大学);School of Computing & Data Science and Institute of Data Science, The University of Hong Kong(计算与数据科学学院和数据科学研究所,香港大学)
本研究首次系统分析非独立同分布数据下核岭回归的泛化性能,提出分块分解方法推导依赖数据的过量风险界,并应用于去噪分数学习,提供采样指导与泛化保证。
2025-10-17 cs.AI cs.LG stat.ML
Stability of Multi-Task Kernel Regression Algorithms
Aix-Marseille University(艾克斯-马赛大学);CNRS(法国国家科学研究中心)
在具有算子核的再生Hilbert空间中研究了非线性多任务回归的稳定性。这样的内核,也称为多任务内核适用于具有非标量输出的学习问题,如多任务学习和结构化输出预测。我们证明了多任务核回归算法在无限维输出空间的一般情况下是一致稳定的。然后,我们推导出在温和的假设下的核广义界的算法,我们证明了它们的一致性,甚至与非Hilbert-Schmidt算子值的内核。我们演示了如何将结果应用于各种多任务核回归方法,如向量值SVR和函数岭回归。
2013-06-17 cs.LG stat.ML
Direct Estimation of Spinal Cobb Angles by Structured Multi-Output Regression
The University of Western Ontario(西安大略大学);Shandong University(山东大学);London Health Sciences Center(伦敦健康科学中心)
Cobb角作为脊柱曲度的定量评价指标,在脊柱侧凸的诊断和治疗中具有重要意义。这些角度的常规测量由于密集的人工干预而遭受巨大的可变性和低可靠性。然而,由于存在高度的模糊性和可变性的椎骨周围的边界,这是具有挑战性的自动获得Cobb角。在本文中,我们制定了从脊柱X射线作为一个多输出回归任务的Cobb角的估计。我们提出了结构化支持向量回归(S^2VR),在一个单一的框架中联合估计Cobb角和X射线脊柱的标志。所提出的S^2VR可以忠实地处理输入图像和定量输出之间的非线性关系,同时明确地捕捉输出的内在相关性。我们引入流形正则化来利用输出空间的几何形状。我们提出在S2VR中通过核目标对齐来学习核,以增强其区分能力。在439例脊柱侧凸患者的脊柱X射线数据集上对该方法进行了评估,该方法与人类专家手动获得的地面真实值的相关系数达到92.76%,优于两种基线方法。我们的方法实现了高精度的Cobb角的直接估计,这表明它在临床应用中具有很大的潜力。
2020-12-23 cs.CV cs.LG
A Deep Learning Model for Structured Outputs with High-order Interaction
National Research Council of Canada(加拿大国家研究委员会);NEC Labs America(NEC美国实验室)
许多现实世界的应用程序都与结构化数据相关联,其中不仅输入而且输出都有相互作用。然而,典型的分类和回归模型往往缺乏同时探索输入和输出中高阶交互作用的能力。在本文中,我们提出了一个深度学习模型,旨在生成从结构化输入到结构化输出的强大的非线性函数映射。更具体地说,我们建议整合高阶隐藏单元,指导判别式预训练和高阶自动编码器。我们用三个数据集对模型进行了评估,并在竞争性方法中获得了最先进的性能。我们目前的工作重点是结构化输出回归,这是一个较少探索的领域,尽管该模型可以扩展到处理结构化标签分类。
2015-04-29 cs.LG cs.NE
Analysis of Network Lasso for Semi-Supervised Regression
Aalto University(阿尔托大学)
我们将网络Lasso应用于涉及网络结构化数据的半监督回归问题。这种方法非常自然地适用于高度可扩展的学习算法,其形式是通过代表数据网络结构的经验图传递消息。通过使用一个简单的非参数回归模型,这是由聚类假设的动机,我们提供了一个网络Lasso的估计误差的分析。该分析揭示了保证网络Lasso准确的网络结构和可用训练数据的条件。值得注意的是,网络Lasso的准确性与经验图上存在足够大的网络流有关。因此,我们的分析揭示了网络Lasso和最大流问题之间的联系。
2018-12-27 cs.LG stat.ML
Conformal Graph Prediction with Z-Gromov-Wasserstein Distances
本文提出一种基于Z-格罗莫夫瓦瑟斯坦距离的图值输出符合性预测框架,通过融合格罗莫夫-瓦瑟斯坦方法实现图结构的置换不变比较,并引入Score Conformalized Quantile Regression方法以适应复杂输出空间。
2026-07-20 cs.LG stat.ML
Sublinear Time Numerical Linear Algebra for Structured Matrices
Carnegie Mellon University(卡内基梅隆大学)
我们展示了如何解决一些问题的数值线性代数,如最小二乘回归,$\ell_p$ -回归任何$p \geq 1$,低秩近似,和内核回归,在时间$T(A) \poly(\log(nd))$,其中对于一个给定的输入矩阵$A \in \mathbb{R}^{n \times d}$,$T(A)$是计算$A\cdot y$为任意向量$y \in \mathbb{R}^d$所需的时间。由于$T(A) \leq O(\nnz(A))$,其中$\nnz(A)$表示$A$的非零条目的数量,时间并不差,直到多对数因子,因为所有最近的进展,这样的问题,运行在输入稀疏时间。然而,对于许多应用程序,$T(A)$可以比$\nnz(A)$小得多,产生显著的次线性时间算法。例如,在过约束$(1+ε)$ -近似多项式插值问题中,$A$是范德蒙矩阵,$T(A) = O(n \log n)$ ;在这种情况下,我们的运行时间是$n \cdot \poly(\log n) + \poly(d/ε)$,我们恢复\cite{avron2013sketching}的结果作为特殊情况。对于过约束自回归,这是动力系统中出现的一个常见问题,$T(A) = O(n \log n)$,我们立即获得$n \cdot \poly(\log n) + \poly(d/ε)$时间。对于核自回归,我们显着提高了一般核的运行时间的先前算法。对于多项式核和…
2019-12-12 cs.LG stat.ML
Neural Network Models for Contextual Regression
Department of Statistics, Chulalongkorn University(朱拉隆功大学统计系)
本文提出了一种用于上下文回归的神经网络模型,通过将上下文特征确定主动子模型和拟合模型的算法分离,实现了结构化且可解释的架构,参数更少。数学上证明该架构足以用标准神经网络组件表示上下文线性回归模型,并通过数值实验表明所提模型在参数数量相当的情况下,具有更低的均方误差和更稳定的性能。
2026-05-19 cs.LG stat.ML
Structured learning of rigid-body dynamics: A survey and unified view from a robotics perspective
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);RWTH Aachen University(亚琛工业大学)
机械系统动力学的精确模型对于基于模型的控制和强化学习通常是至关重要的。完全数据驱动的动态模型有望简化建模和分析过程,但需要大量的数据进行训练,并且通常不能很好地推广到状态空间中看不见的部分。将数据驱动的建模与先前的分析知识相结合是一种有吸引力的替代方案,因为将结构知识纳入回归模型可以提高模型的数据效率和物理完整性。在这篇文章中,我们调查了将刚体力学与数据驱动建模技术相结合的监督回归模型。我们分析了不同的潜在功能(如动能或耗散力)和运营商(如微分算子和投影矩阵)的刚体力学的共同描述。基于这种分析,我们提供了一个统一的视图数据驱动的回归模型,如神经网络和高斯过程,与分析模型先验的组合。此外,我们审查和讨论的关键技术,如自动微分设计结构化的模型。
2021-04-16 cs.LG cs.RO
Information Theoretic Limits for Linear Prediction with Graph-Structured Sparsity
Krannert School of Management(克兰纳特管理学院);Purdue University(普渡大学);Department of Computer Science(计算机科学系)
我们分析了在有噪线性预测设置中进行稀疏向量恢复所需的样本数量。该模型包括线性回归和分类等问题。我们专注于结构化图模型。特别地,我们证明了Hegde等人提出的加权图模型的足够数量的样本也是必要的。我们使用的Fano的不平等,以及构造合奏作为我们的主要工具,在建立信息论的下限。
2017-05-06 cs.IT cs.LG math.IT
Fast rates in structured prediction
INRIA(法国国家信息与自动化研究所);École Normale Supérieure - PSL Research University(巴黎高等师范学院 - PSL研究大学)
离散监督学习问题(如分类)通常通过引入类似于回归的连续代理问题来解决。通过替代误差来界定估计值和解之间的原始误差,可以使离散问题具有连续情况下已经显示的收敛速度。然而,当前的方法没有利用这样的事实,即当连续问题预测连续值时,离散问题本质上是预测离散输出。在本文中,我们解决这个问题的一般结构化预测问题,开辟了“超快”的速度,即收敛速度的超额风险快于$n^{-1}$,其中$n$是观察的数量,甚至指数率与最强的假设。我们首先说明它的预测最近的邻居的基础上,广义率已知的二进制分类的结构化预测的框架内的任何离散问题。然后,我们考虑内核岭回归,我们在$n^{-1/4}$中提高已知的速率到任意快的速率,这取决于表征问题硬度的参数,从而允许在平滑假设下绕过维数灾难。
2021-07-15 cs.AI cs.LG math.ST
Spectral Manifold Harmonization for Graph Imbalanced Regression
University of Notre Dame(诺丁汉大学);Carnegie Mellon University(卡内基梅隆大学)
针对图结构数据不平衡回归问题,提出谱流形调和方法(SMH),通过生成保留拓扑特性且聚焦特定目标分布的合成图样本,克服传统方法忽略图拓扑或特定领域范围的缺陷,在化学与药物发现基准上显著提升目标领域预测性能。
2025-07-11 cs.LG q-bio.MN
Refined Mechanism Design for Approximately Structured Priors via Active Regression
Purdue University(普渡大学)
本文针对高维未知先验下的收益最大化机制设计难题,结合主题模型近似与随机化线性代数主动回归,提出鲁棒机制设计方法,首次建立两者联系,放宽假设并提升实用性。
2023-10-11 cs.DS cs.GT cs.IR
Structured Neuron Pruning in Deep Neural Networks Using Multi-Armed Bandits
School of Science, Engineering and Environment, University of Salford(科学、工程与环境学院,萨尔福德大学)
提出基于多臂赌博机算法的结构化剪枝框架,通过将每个神经元视为臂并评估移除奖励,在表格分类、回归及深度网络任务上验证了UCB1和汤普森采样等策略的有效性。
2026-05-29 cs.AI cs.LG
A Generalization of Convolutional Neural Networks to Graph-Structured Data
Carnegie Mellon University(卡内基梅隆大学)
本文介绍了卷积神经网络(CNN)的推广,从低维网格数据,如图像,图形结构的数据。我们提出了一种新的空间卷积,利用随机游动来揭示输入中的关系,类似于标准卷积使用网格上像素的空间邻域的方式。卷积具有直观的解释,高效且可扩展,还可以用于具有不同图形结构的数据。此外,通过学习底层图,这种泛化可以应用于许多标准的回归或分类问题。我们经验性地证明了所提出的CNN在MNIST上的性能,并在Merck分子活性数据集上挑战了最先进的CNN。
2017-04-26 cs.AI cs.CV cs.LG
GraphMDN: Leveraging graph structure and deep learning to solve inverse problems
Massachusetts Institute of Technology(麻省理工学院);Vectra AI(维特拉人工智能公司)
最近引入的图神经网络(GNN)及其在过去几年中的日益普及,使得深度学习算法能够应用于非欧几里德的图结构数据。GNN在一系列令人印象深刻的基于图的机器学习问题上取得了最先进的结果。然而,尽管GNN的发展速度很快,但其大部分工作都集中在图分类和嵌入技术上,在很大程度上忽略了图数据的回归任务。在本文中,我们开发了一个图混合密度网络(GraphMDN),它结合了图神经网络与混合密度网络(MDN)的输出。通过结合这些技术,GraphMDN具有自然能够将图结构化信息纳入神经架构的优势,以及对多模态回归目标建模的能力。因此,GraphMDN被设计为在回归任务中表现出色,其中数据是图形结构的,并且目标统计数据更好地由密度的混合而不是奇异值(所谓的“逆问题”)表示。为了证明这一点,我们将现有的GNN架构(称为Semantic GCN(SemGCN))扩展到GraphMDN结构,并显示Human3.6M姿态估计任务的结果。扩展模型始终优于GCN和MDN架构本身,具有相当数量的参数。
2020-10-26 cs.AI cs.LG
Fast Tensor Completion via Approximate Richardson Iteration
MIT(麻省理工学院);Google Research(谷歌研究)
本研究提出一种基于近似 Richardson 迭代的提升方法,通过将结构化 TD 回归算法作为黑盒子程序解决 TC 回归问题中代数结构丢失的难题,实现了次线性时间复杂度,在真实张量 CP 补全上比直接方法快 100 倍。
2025-08-12 cs.DS cs.LG math.ST
SINDyG: Sparse Identification of Nonlinear Dynamical Systems from Graph-Structured Data, with Applications to Stuart-Landau Oscillator Networks
Data Science and Analytics Institute, University of Oklahoma, Norman, OK, USA.(数据科学与分析研究所,俄克拉荷马大学,诺曼,OK,美国。);Analytics Institute, University of Oklahoma, Norman, OK, USA. School of Computer Science, University of Oklahoma, Norman, OK, USA.(分析研究所,俄克拉荷马大学,诺曼,OK,美国。计算机科学学院,俄克拉荷马大学,诺曼,OK,美国。)
本文提出SINDyG方法,通过整合网络结构到稀疏回归中,提升非线性动力系统建模的准确性和解释性,应用于神经元动力学研究。
2025-08-13 cs.CE cs.LG cs.SY
Geometry-Aware R-Structured Kolmogorov-Arnold Networks
Imperial College London(帝国理工学院)
提出GRS-KAN混合架构,将R函数集成到KAN中,通过可微逻辑运算编码几何约束,在回归任务中相比标准KAN测试RMSE降低高达67%,并提升可解释性。
2026-07-03 cs.LG cs.NA math.NA