A selective review of sufficient dimension reduction for multivariate response regression
本文综述了多元响应的充分降维估计。广泛的SDR方法的特点是逆回归SDR估计或正向回归SDR估计。逆回归族包括混合边际估计、投影回归估计和基于距离的估计。普通最小二乘，偏最小二乘，半参数SDR估计，另一方面，讨论作为估计从正向回归家庭。
2022-02-02 stat.CO stat.ME stat.ML
Multivariate functional group sparse regression: functional predictor selection
在本文中，我们提出了方法的功能预测选择和光滑的功能系数估计同时在标量函数回归问题下的高维多元函数数据设置。特别是，我们开发了两种方法的功能组稀疏回归下的一般希尔伯特空间的无限维。我们证明了算法的收敛性和一致性的估计和选择（预言性质）在无限维Hilbert空间。仿真研究表明，该方法在函数系数的选择和估计方面都是有效的。功能磁共振成像（fMRI）的应用揭示了人类大脑中与ADHD和智商相关的区域。
2021-07-08 math.ST q-bio.NC stat.AP
DP-GP-LVM: A Bayesian Non-Parametric Model for Learning Multivariate Dependency Structures
University of Bath（巴斯大学）；University of Bristol（布里斯托尔大学）
我们提出了一个非参数贝叶斯潜变量模型，能够在多变量环境中学习跨维度的依赖结构。我们的方法是基于灵活的高斯过程先验的生成映射和可互换的狄利克雷过程先验学习的结构。引入狄利克雷过程作为一个特定的结构先验，使我们的模型，以规避与以前的高斯过程潜变量模型的问题。推导出一个有效的变分边界上的边际对数似然模型进行推理。
2018-07-12 cs.LG stat.ML
High Dimensional Multivariate Regression and Precision Matrix Estimation via Nonconvex Optimization
在稀疏性约束下，我们提出了一个联合多元回归和精度矩阵估计在高维制度的非凸估计。提出了一种基于硬阈值的梯度下降算法来求解非凸估计量，该算法在统计误差范围内线性收敛到真回归系数和精度矩阵。与现有的方法相比，沿着这条研究路线，这几乎没有理论保证，该算法不仅是计算上更有效的可证明的收敛保证，但也达到了最佳的有限样本统计率的对数因子。在合成数据集和真实数据集上进行的彻底实验支持了我们的理论。
2016-06-02 stat.ML
Machine Learning for Multi-Output Regression: When should a holistic multivariate approach be preferred over separate univariate ones?
TU Dortmund University（多特蒙德工业大学）
基于树的集成，如随机森林，是统计学习方法中的现代经典。特别是，它们用于预测单变量响应。在多个输出的情况下，问题出现了，我们是否单独拟合单变量模型或直接遵循多变量方法。对于后者，存在几种可能性，例如基于多输出回归的修改的分裂或停止规则。在这项工作中，我们比较了这些方法在广泛的模拟，以帮助回答的主要问题时，使用多元集成技术。
2022-01-14 cs.LG stat.ML
Multivariate regression modeling in integrative analysis via sparse regularization
本文提出一种基于稀疏正则化的整合分析多元回归建模方法，利用交替方向乘子法实现变量与组选择，并通过模拟和污水处理微生物数据验证其优于单一数据集分析。
2023-04-15 stat.ME stat.ML
SMART: A Flexible Approach to Regression using Spline-Based Multivariate Adaptive Regression Trees
Northwestern University（西北大学）
针对决策树连续关系建模方差高、MARS不连续性建模效果差的问题，提出结合决策树与MARS的SMART方法，在相关场景下性能优于现有最优方法并提供开源实现。
2024-10-08 cs.LG stat.ML
Calibrated Multivariate Regression with Application to Neural Semantic Basis Discovery
Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
提出了一种校正多元回归方法CMR，用于拟合高维多元回归模型。与现有的方法相比，CMR校准正则化的每个回归任务的噪声水平，使它同时获得改进的有限样本性能和调谐不敏感性。从理论上给出了CMR在参数估计中达到最优收敛速度的充分条件。在计算上，我们提出了一个有效的平滑近端梯度算法的最坏情况下的数值收敛速度$\cO(1/ε)$，其中$ε$是一个预先指定的精度的目标函数值。我们进行了彻底的数值模拟，以说明CMR始终优于其他高维多元回归方法。我们还应用CMR来解决大脑活动预测问题，并发现它与人类专家创建的手工模型一样具有竞争力。实现所提出的方法的R包\texttt{camel}可在综合R存档网络\url{http://cran.r-project.org/web/packages/camel/}上获得。
2016-07-28 cs.LG stat.ML
Multivariate Bayesian Last Layer for Regression with Uncertainty Quantification and Decomposition
Université Paris Saclay（巴黎萨克雷大学）；CEA LIST（法国原子能和替代能源委员会LIST研究所）；CEA（法国原子能和替代能源委员会）
本文提出了一种多变量回归中的贝叶斯最后层模型，通过EM算法实现参数学习，能够分离不确定性并增强神经网络的不确定性感知能力。
2026-01-30 cs.LG stat.ML
Multivariate Regression with Gross Errors on Manifold-valued Data
Bioinformatics Institute, A*STAR（新加坡科技研究局生物信息学研究所）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）；Singapore Institute for Neurotechnology, National University of Singapore（新加坡国立大学新加坡神经技术研究所）
我们考虑流形值输出的多元回归问题，即对于一个多元观测，其输出响应位于一个流形上。此外，我们提出了一个新的回归模型来处理存在严重损坏的流形值的响应，在实际情况中经常遇到的瓶颈问题。我们的模型首先通过流形上的测地线曲线对严重损坏的响应进行校正，然后对校正后的数据进行多元线性回归。这导致流形上的非凸和非光滑优化问题。为此，我们提出了一个专用的方法命名为PALMR，通过利用和扩展的近端交替线性化最小化技术。在理论上，我们研究了它的收敛性，证明了它在较弱的条件下收敛到一个临界点。从经验上讲，我们测试我们的模型合成和真实的扩散张量成像数据，并表明，我们的模型优于其他多元回归模型时，流形值的响应包含粗差，是有效的识别粗差。
2017-09-11 cs.CV math.OC stat.ML
Multivariate Online Linear Regression for Hierarchical Forecasting
Sorbonne University（索邦大学）；Paris Cité University（巴黎城市大学）；CNRS（法国国家科学研究中心）；LOPF；LPSM
本文提出MultiVAW方法，将Vovk-Azoury-Warmuth算法推广至多元在线线性回归，证明其对数遗憾界，并应用于在线分层预测以放宽现有算法的分析假设。
2024-02-22 cs.LG math.OC stat.ML
Multivariate regression and fit function uncertainty
本文描述了一种多元多项式回归方法，其中输入参数的不确定性用高斯分布来近似，该高斯分布直接从训练样本中推导出用于大加权和的中心极限定理。估计的不确定性可以传播到最优拟合函数中，作为统计自助法的替代方法。这种不确定性可以进一步传播到损失函数中，如数量，使用它可以计算预期的损失函数，并允许选择具有统计意义的最佳多项式次数。结合简单的相空间分裂方法，即使使用低次多项式或常数，也可以对训练数据的大多数特征进行建模。
2013-10-03 stat.CO stat.ML
Detecting non-causal artifacts in multivariate linear regression models
我们考虑线性模型，其中$d$潜在原因$X_1,...,X_d$与一个目标量$Y$相关，并提出了一种方法来推断该关联是否是因果关系，或者它是否是由过拟合或隐藏的共同原因引起的伪影。我们采用的想法，在前一种情况下，回归系数的向量具有相对于$X$的协方差阵$Σ_{XX}$的“通用”方向。使用ICA为基础的模型的混杂，我们表明，混杂和过拟合产量回归向量，主要集中在空间的低特征值的$Σ_{XX}$。
2018-03-02 cs.LG stat.ML
PAC-Bayes Bounds for Multivariate Linear Regression and Linear Autoencoders
Kent State University（肯特州立大学）；Auburn University（阿伯丁大学）
本文提出多变量线性回归和线性自编码器的PAC-Bayes界，通过理论分析提升计算效率，并验证其在推荐系统中的有效性。
2025-12-15 cs.LG stat.ML
COVID-19 mortality analysis from soft-data multivariate curve regression and machine learning
提出了一种基于周期曲线对数回归和多元时间序列空间残差相关分析的多目标时空预测方法。具体而言，平均二次损失函数最小化的框架内的三角回归。而在我们随后的空间残差相关分析中，最大化的可能性使我们能够计算贝叶斯多变量时间序列软数据框架中的后验模式。所提出的方法适用于分析自2020年3月8日至2020年5月13日影响西班牙社区的第一波COVID-19死亡率。基于随机k折交叉验证、自举置信区间和概率密度估计，与机器学习（ML）回归进行了实证比较研究。该实证分析还研究了ML回归模型在硬数据和软数据框架中的性能。结果可以外推到其他计数，国家和后COVID-19波。
2021-03-27 cs.LG stat.AP stat.ME
Parametric Modelling of Multivariate Count Data Using Probabilistic Graphical Models
CIRAD（法国农业研究与国际合作组织）；Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Laboratoire Jean Kuntzmann（让·库茨曼实验室）
多变量计数数据定义为从总体内的抽样中发布的不同类别的项目的数量，其中个体被分组到类别中。多变量计数数据的分析是许多建模问题中经常出现的关键问题，特别是在生物学和生态学（其中数据可以表示与多类型分支过程相关的儿童计数），社会学和计量经济学领域。我们专注于I）识别同时出现的类别，或者相反，相互排斥的类别。这是通过以下方式实现的：识别变量之间的条件独立关系; II）构建与这些关系一致的简约参数模型; III）表征和检验协变量对计数的联合分布的影响。为了实现这些目标，我们提出了一种基于图形概率模型的方法，更具体地说，部分有向无环图。
2013-12-16 cs.LG stat.ME stat.ML
Robustified Multivariate Regression and Classification Using Distributionally Robust Optimization under the Wasserstein Metric
Boston University（波士顿大学）
当协变量和响应/标签都可能被离群值污染时，我们为多元线性回归（MLR）和多类逻辑斯谛回归（MLG）开发了分布鲁棒优化（DRO）公式。DRO框架使用概率模糊集，其被定义为在Wasserstein度量的意义上接近训练集的经验分布的分布球。我们放松的DRO制定成一个正则化的学习问题，其正则化是一个规范的系数矩阵。我们为模型的解决方案建立样本外性能保证，提供关于正则化器在控制预测误差中的作用的见解。实验结果表明，我们的方法将MLR的预测误差提高了7% - 37%，将MLG的鲁棒性指标提高了100%。
2020-06-10 cs.LG stat.ML
Ultrametric Wavelet Regression of Multivariate Time Series: Application to Colombian Conflict Analysis
我们首先追求的层次结构如何提供了一个很好的适应工具的变化分析的研究。然后，使用时间序列约束的层次聚类，我们开发了一种新的小波回归方法的实用方面。这提供了一种新的方式来链接多变量时间序列数据集与外部信号的层次关系。本报告通篇使用了1990年至2004年哥伦比亚冲突期间的暴力数据。最后，我们提出了一些建议，进一步研究社会暴力和市场力量之间的关系，即哥伦比亚冲突和美国毒品市场之间的关系。
2009-02-16 stat.AP stat.ML
Sharp Threshold for Multivariate Multi-Response Linear Regression via Block Regularized Lasso
Syracuse University（雪城大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了一个多变量多响应（MVMR）线性回归问题，该问题包含多个具有不同分布设计矩阵的线性回归模型，以及不同的回归和输出向量。目标是使用$l_1/l_2$正则化Lasso恢复所有回归向量的支持并集。我们的充分和必要条件的样本复杂性\emph{as a sharp threshold}，以保证成功恢复的支持联盟。也就是说，如果样本大小高于阈值，则$l_1/l_2$ -正则化Lasso正确地恢复支持并集;如果样本大小低于阈值，则$l_1/l_2$ -正则化Lasso无法恢复支持并集。特别是，该阈值精确地捕获了回归向量的稀疏性和设计矩阵的统计特性对样本复杂性的影响。因此，阈值函数还捕获了使用多任务Lasso的联合支持联合恢复优于使用单任务Lasso的单独支持恢复的优点。
2013-07-30 cs.LG stat.ML
Multivariate Gaussian and Student$-t$ Process Regression for Multi-output Prediction
向量值函数的高斯过程模型已被证明是有用的多输出预测。该模型的现有方法是将矩阵变量高斯分布重新表示为多元正态分布。虽然它在许多情况下是有效的，但重新公式化并不总是可行的，并且难以应用于其他分布，因为不是所有的矩阵变量分布都可以转换为相应的多变量分布，例如矩阵变量Student $-t$分布的情况。在本文中，我们提出了一个统一的框架，它不仅用于引入一个新的多元学生$-t$过程回归模型（MV-TPR）的多输出预测，但也重新制定的多元高斯过程回归（MV-GPR），克服了现有方法的一些局限性。MV-GPR和MV-TPR在这个统一的框架下都具有边缘似然和预测分布的封闭形式表达式，因此可以采用与常规GPR中使用的相同的优化方法。通过几个模拟和真实数据的例子说明了所提出的方法的实用性。特别是，我们通过经验验证MV-TPR对于所考虑的数据集具有优越性，包括空气质量预测和自行车租金预测。最后，所提出的方法被证明是在股票市场上产生有利可图的投资策略。
2019-01-06 stat.ML
Bayesian nonparametric multivariate convex regression
在经济学、运筹学和强化学习等许多应用中，经常需要估计受凸性约束的多元回归函数f。例如，在顺序决策过程中，在最优后续决策下的状态值可以已知为凸或凹。我们提出了一种新的贝叶斯非参数多元方法的基础上表征未知的回归函数的最大值的随机收集的未知超平面。该规范在凸函数空间上诱导了具有Kullback-Leibler意义上的大支持的先验，同时也导致了强后验一致性。虽然我们假设f定义在R^p上，但我们证明了当f实际上是一个d维线性子空间映射到R时，该模型在经验L2范数下的收敛速度为log（n）^{-1} n^{-1/（d+2）}.我们设计了一个有效的可逆跳MCMC算法的后验计算，并通过应用价值函数逼近的方法来证明。
2011-09-01 math.OC stat.ME stat.ML
A Cluster Elastic Net for Multivariate Regression
当响应变量具有聚类结构时，提出了一种多元回归系数的估计方法。所提出的方法包括融合惩罚，以缩小拟合值的差异，从同一集群中的响应，和L1惩罚同时变量选择和估计。当响应变量的分组结构已知或未知时，可以使用该方法。当聚类结构未知时，该方法将同时估计响应和回归系数的聚类。理论结果的惩罚最小二乘的情况下，包括渐近结果允许p >> n。我们将我们的方法扩展到响应为二项式变量的设置。我们提出了一个坐标下降算法的正常和二项似然，它可以很容易地扩展到其他广义线性模型（GLM）设置。从商业运作和基因组学的模拟和数据的例子来显示最小二乘法和二项式方法的优点。
2018-03-27 stat.ML
Multivariate Probabilistic Regression with Natural Gradient Boosting
STOR-i Centre for Doctoral Training（STOR-i博士培训中心）；Lancaster University（兰卡斯特大学）；Stanford University（斯坦福大学）
许多单目标回归问题需要估计不确定性以及点预测。概率回归算法非常适合这些任务。然而，当预测目标是多变量的并且需要联合测量不确定性时，选择就更加有限。例如，在预测2D速度矢量时，联合不确定性将量化平面中任何矢量的概率，这将比x和y分量上的两个单独的不确定性更有表现力。为了实现联合概率回归，我们提出了一种自然梯度提升（NGBoost）方法的基础上非参数化建模的条件参数的多元预测分布。我们的方法是强大的，开箱即用，无需大量的调整，是模块化的假设的目标分布，并执行竞争力相比，现有的方法。我们证明了这些索赔的模拟和预测二维海洋速度数据的案例研究。我们的方法的实现可以在https://github.com/stanfordmlgroup/ngboost上获得。
2021-06-07 cs.LG stat.CO stat.ML
Multivariate Deep Evidential Regression
German Aerospace Center (DLR)（德国航空航天中心）；Institute for Simulation Intelligence（模拟智能研究所）
在机器学习系统中，由于它们越来越多地部署在安全关键领域，因此非常需要有原则的不确定性推理。一种新的方法与不确定性感知的神经网络（NN），基于学习证据分布任意和认知的不确定性，显示承诺传统的确定性方法和典型的贝叶斯NN，但在这些网络的理论和实现仍然存在一些重要的差距。我们讨论了三个问题，提出了解决方案，以提取任意和认知的不确定性，基于回归的神经网络。该方法通过将证据先验放置在原始高斯似然函数上并训练NN来推断证据分布的超参数来获得一种技术。这样做可以同时提取两个不确定性，而无需对单变量回归任务的分布外数据进行采样或利用。我们详细描述了突出的问题，提供了一个可能的解决方案，并推广了多变量情况下的深度证据回归技术。
2022-02-24 cs.LG cs.NE stat.ML
Multivariate Functional Regression via Nested Reduced-Rank Regularization
本文提出了一种嵌套降秩回归（NRRR）方法，用于拟合具有多元函数响应和预测因子的回归模型，以实现定制的降维并便于解释/可视化所得到的函数模型。我们的方法是基于一个两级的低秩结构上的功能回归表面。一个全球低秩结构识别一小组潜在的主要功能反应和预测驱动的潜在回归关联。然后，局部低秩结构控制主要功能反应和预测因子之间关联的复杂性和平滑性。通过基扩展方法，函数问题归结为一个有趣的集成矩阵近似任务，其中集成低秩矩阵的块或子矩阵共享一些公共的行空间和/或列空间。提出了一种保证收敛的迭代算法。我们建立的一致性NRRR，并通过非渐近分析表明，它可以实现至少一个可比的误差率的降秩回归。仿真研究证明了NRRR的有效性。我们将NRRR应用于电力需求问题，将每日电力消耗的轨迹与每日温度的轨迹联系起来。
2020-03-10 stat.ME stat.ML
Sparse Approximate Solutions to Max-Plus Equations with Application to Multivariate Convex Regression
National Technical University of Athens（雅典国家技术大学）；University of Pennsylvania（宾夕法尼亚大学）
在这项工作中，我们研究的问题，找到近似，最小支撑集，解决矩阵最大-加方程，我们称之为稀疏近似解。我们展示了如何可以有效地获得这样的解决方案，并在多项式时间的任何$\ell_p$近似误差。基于这些结果，我们提出了一种新的方法，凸多元函数的分段线性拟合，最优性保证的模型参数和近似最小数量的仿射区域。
2020-12-21 cs.LG math.OC math.RA
Conditional Sparse Coding and Grouped Multivariate Regression
Carnegie Mellon University（卡内基梅隆大学）；University of Chicago（芝加哥大学）
我们研究的问题，多元回归的数据是自然分组，回归矩阵是估计为每组。我们提出了一种方法，在该方法中，低秩参数矩阵的字典估计跨组，和字典元素的稀疏线性组合估计在每个组内形成一个模型。我们将该方法称为条件稀疏编码，因为它是以协变量向量X为条件的响应向量Y的编码过程。这种方法捕获跨组的共享信息，同时适应每个组内的结构。它利用了在计算机视觉和计算神经科学中成功开发的稀疏编码背后的相同直觉。我们提出了一种算法的条件稀疏编码，分析其理论性质的预测精度，并提出了模拟和脑成像实验的结果，比较新技术，以减少秩回归。
2012-06-27 cs.LG stat.ML
Distributional Random Forests: Heterogeneity Adjustment and Multivariate Distributional Regression
ETH Zürich（苏黎世联邦理工学院）
随机森林（Breiman，2001）是一个成功的和广泛使用的回归和分类算法。它的吸引力和多功能性的部分原因是它在训练数据上（隐式）构建了一个核型加权函数，它也可以用于原始均值估计之外的目标。我们提出了一种新的森林结构的多变量响应的联合条件分布的基础上，独立的估计目标和数据模型。它使用了一种新的分裂准则的基础上MMD分布度量，这是适合于检测多元分布的异质性。诱导的权重定义了完整条件分布的估计，这反过来又可以用于任意和潜在的复杂目标的兴趣。该方法是非常通用和方便使用，因为我们说明了广泛的例子。代码可以作为Python和R包drf提供。
2022-10-12 cs.LG stat.ME stat.ML
Calibrated Multivariate Regression with Localized PIT Mappings
National University of Singapore（新加坡国立大学）；University of Brasília（巴西利亚大学）；University of New South Wales（新南威尔士大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出一种新颖的后验校准方法，通过构建边际概率积分变换向量与观测空间的局部映射，解决潜在不规范模型的多元校准问题，适用于连续、离散和混合响应。
2024-09-17 stat.ME stat.ML
Scalable High-Dimensional Multivariate Linear Regression for Feature-Distributed Data
Booth School of Business（布斯商学院）；University of Chicago（芝加哥大学）
针对特征分布式数据的高维多变量线性回归需求，提出通信复杂度不依赖特征维度的两阶段松弛贪心算法TSRGA，可生成低秩系数估计，经仿真验证收敛快，在金融10-K报告数据场景中有效。
2024-03-11 cs.DC cs.LG stat.ML
Adversarial Examples in Deep Learning for Multivariate Time Series Regression
University of Missouri（密苏里大学）
多元时间序列（MTS）回归任务在许多现实世界的数据采掘应用中很常见，包括金融、网络安全、能源、医疗保健、统计学等。由于深度学习（DL）算法在包括图像识别和计算机视觉在内的各个领域取得了巨大成功，研究人员开始采用这些技术来解决MTS数据采掘问题，其中许多问题针对安全关键型和成本关键型应用。不幸的是，DL算法以其对对抗性示例的敏感性而闻名，这也使得用于MTS预测的DL回归模型也容易受到这些攻击。据我们所知，以前的工作没有探索过DL MTS回归模型对对抗性时间序列示例的脆弱性，这是一个重要的步骤，特别是当这些模型的预测用于安全关键型和成本关键型应用时。在这项工作中，我们利用图像分类领域现有的对抗攻击生成技术，并为三种最先进的深度学习回归模型制作对抗性多变量时间序列示例，特别是卷积神经网络（CNN），长短期记忆（LSTM）和门控递归单元（GRU）。我们使用Google股票和家庭功耗数据集来评估我们的研究。结果表明，所有评估的DL回归模型都容易受到对抗攻击的攻击，并且具有可转移性，从而在能源和金融等安全关键和成本关键领域可能导致灾难性后果。
2020-09-24 cs.LG stat.ML
Scalable Matrix-valued Kernel Learning for High-dimensional Nonlinear Multivariate Regression and Granger Causality
IBM Research（IBM研究院）；Istituto Italiano di Tecnologia（意大利理工学院）
本文提出了一个通用的矩阵值多核学习框架，用于高维非线性多元回归问题。这个框架允许一个广泛的混合范数正则化，包括那些诱导稀疏性，被施加在向量值再生核希尔伯特空间的字典。我们开发了一个高度可扩展的和eigendecomposition免费的算法，编排两个不精确的求解器，同时学习可分离矩阵值内核的输入和输出组件。作为我们的框架启用的一个关键应用程序，我们展示了高维因果推理任务如何自然地转换为稀疏函数估计问题，从而导致一类图形格兰杰因果关系技术的新的非线性扩展。我们的算法的发展和广泛的实证研究的补充，理论分析方面的Rademacher推广的界限。
2014-08-09 cs.LG stat.ML
Non-parametric Clustering of Multivariate Populations with Arbitrary Sizes
我们提出了一个聚类过程，分组K人口到具有相同的依赖结构的子组。该方法适用于配对总体，并可用于面板数据。它依赖于从K种群估计的K密度Copula的正交投影系数之间的差异。每个集群，然后由人口具有显着相似的依赖结构。Ngounou-Bakam和Pommeret（2022）最近的检验统计量用于自动构建此类聚类。该过程是数据驱动的，并取决于渐近水平的测试。我们说明了我们的聚类算法，通过数值研究，并通过两个真正的数据集：一个小组的金融数据集和保险数据集的损失和分配损失调整费用。
2022-11-11 stat.AP stat.ME stat.ML
Considerations Across Three Cultures: Parametric Regressions, Interpretable Algorithms, and Complex Algorithms
我们考虑扩展利奥Breiman的论文从“统计建模：两种文化”，包括分叉的算法建模，专注于参数回归，可解释的算法，和复杂的（可能解释的）算法。
2021-04-14 stat.AP stat.ML
Scalable Matrix-valued Kernel Learning for High-dimensional Nonlinear Multivariate Regression and Granger Causality
IBM Research（IBM研究院）；Italian Institute of Technology（意大利理工学院）
本文提出了一个通用的矩阵值多核学习框架，用于高维非线性多元回归问题。这个框架允许一个广泛的混合范数正则化，包括那些诱导稀疏性，被施加在向量值再生核希尔伯特空间的字典。我们开发了一个高度可扩展的和eigendecomposition免费的算法，编排两个不精确的求解器，同时学习可分离矩阵值内核的输入和输出组件。作为我们的框架启用的一个关键应用程序，我们展示了如何高维的因果推断任务可以自然地铸造稀疏函数估计问题，导致一类图形格兰杰因果关系技术的新的非线性扩展。我们的算法的发展和广泛的实证研究的补充Rademacher泛化界方面的理论分析。
2013-03-08 cs.LG stat.ML
Multivariate Regression with Grossly Corrupted Observations: A Robust Approach and its Applications
Bioinformatics Institute, A*STAR（新加坡科技研究局生物信息研究所）；Institute of Psychology, Chinese Academy of Sciences（中国科学院心理研究所）；School of Computing, National University of Singapore（新加坡国立大学计算学院）
本文研究了多元线性回归问题，其中部分观测值严重损坏或丢失，并且这种损坏的大小和位置先验未知。为了解决这个问题，我们提出了一种新的方法，明确考虑误差源以及其稀疏性。我们的方法的一个有趣的特性在于它允许单个回归输出元素或任务拥有其独特的噪声水平的能力。此外，尽管使用非光滑优化问题，我们的方法仍然保证收敛到其最优解。合成数据上的实验表明，我们的方法相比，现有的多元回归模型的竞争力。此外，经验上，我们的方法已经验证了非常有前途的结果，在两个示例性的现实世界的应用：第一个关注的预测\textit{Big-Five}个性的基础上，在社交网络网站（SNS）的用户行为，而第二个是3D人类手部姿势估计从深度图像。我们的方法和比较方法的实施以及所涉及的数据集都是公开的，以支持开源和可复制的研究计划。
2017-01-11 cs.CV cs.LG stat.ML
Bayesian Multivariate Density-Density Regression
本文提出一种基于切片Wasserstein距离和广义贝叶斯框架的可扩展多元密度-密度回归方法，利用MALA进行后验推断，并证明了后验一致性，在模拟和单细胞数据上展现出优于传统方法的预测性能。
2025-09-22 stat.AP stat.CO stat.ME
