Optimally tackling covariate shift in RKHS-based nonparametric regression
University of Chicago（芝加哥大学）；UC Berkeley（加州大学伯克利分校）
本文研究 RKHS 非参数回归中的协变量偏移，证明有界似然比下 KRR 的 minimax 最优性，并对无界但二阶矩有限情形提出截断重加权 KRR。
2023-06-06 cs.LG math.ST stat.ML
Gaussian Process Regression constrained by Boundary Value Problems
Sandia National Laboratories（桑迪亚国家实验室）
我们开发了一个框架，高斯过程回归约束的边值问题。该框架可以应用于推断一个适定的边值问题的解决方案与一个已知的二阶微分算子和边界条件，但只有分散的观测源项。在回归中也可以使用解的分散观测值。该框架结合了协同克里金与高斯过程的线性变换，并使用了由边界值问题的特征函数中的谱展开给出的核。因此，它受益于协方差矩阵的降秩属性。我们证明，所得到的框架产生更准确和稳定的解决方案的推理相比，物理知情的高斯过程回归没有边界条件的约束。
2020-12-22 cs.LG cs.NA math.NA
Predicting Regression Probability Distributions with Imperfect Data Through Optimal Transformations
Stanford University（斯坦福大学）；Google, Inc.（谷歌公司）
回归分析的目标是在给定其他（预测）变量x的联合值向量的情况下预测数值结果变量y的值。通常，特定的x向量不指定y的可重复值，而是指定可能的y值的概率分布，p（y| x）。这个分布有一个位置，规模和形状，所有这些都取决于x，并且需要在给定x的情况下推断y的可能值。回归方法通常假设训练数据y值是从一些良好的拟合p（y）得到的完美数值实现|x）。通常，实际的训练数据y值是离散的、截断的和/或任意删失的。本文提出了一种基于最优变换策略的回归方法，用于估计p（y）的位置、尺度和形状|x）作为x的一般函数，在可能存在这种不完美的训练数据的情况下。此外，验证诊断，以确定解决方案的质量。
2020-01-27 cs.LG stat.ML
Interaction-Transformation Evolutionary Algorithm for Symbolic Regression
Federal University of ABC（ABC联邦大学）
交互转换（IT）是符号回归的一种新表示，它将搜索空间限制为更简单但表达性更强的函数形式。这种表示的优点是创建了一个更平滑的搜索空间，不像遗传编程中使用的常用表示--表达式树所生成的空间。本文介绍了一种进化算法，能够进化的人口IT表达式只支持的变异算子。结果表明，这种表示是能够找到更好的近似真实世界的数据集相比，传统的方法和最先进的遗传编程算法。
2020-09-20 cs.LG cs.NE stat.ML
Nonparametric Regression on Low-Dimensional Manifolds using Deep ReLU Networks : Function Approximation and Statistical Recovery
Georgia Tech（佐治亚理工学院）
现实世界的数据往往表现出低维的几何结构，可以看作是一个低维流形附近的样本。本文使用深度ReLU网络研究了低维流形上Hölder函数的非参数回归。假设$n$训练数据从$\mathcal{H}^{s,α}$中的Hölder函数采样，该函数支持在等距嵌入$\mathbb{R}^D$中的$d$维黎曼流形上，具有亚高斯噪声。深度ReLU网络架构被设计为从训练数据估计底层函数。证明了经验估计量的均方误差以$n^{-\frac{2(s+α)}{2(s+α) + d}}\log^3 n$的阶收敛。这一结果表明，深度ReLU网络根据数据内在维度$d$产生快速收敛速度，该维度通常远小于环境维度$D$。因此，它证明了深度ReLU网络对数据的低维几何结构的适应性，并部分解释了深度ReLU网络在处理具有低维几何结构的高维数据方面的能力。
2022-02-22 cs.LG stat.ML
Deep and interpretable regression models for ordinal outcomes
University of Zurich（苏黎世大学）；Zurich University of Applied Sciences（苏黎世应用科学大学）；Konstanz University of Applied Sciences（康斯坦茨应用科学大学）
具有自然顺序的结果通常发生在预测任务中，并且通常可用的输入数据是复杂数据的混合，如图像和表格预测器。深度学习（DL）模型是图像分类任务的最新技术，但通常将有序结果视为无序且缺乏可解释性。相比之下，经典的有序回归模型考虑结果的顺序，并产生可解释的预测效应，但仅限于表格数据。我们提出了有序神经网络转换模型（ONTRAMs），它将DL与经典的有序回归方法相结合。ONTRAM是转换模型的特殊情况，并且通过使用联合训练的神经网络将转换函数附加地分解为图像和表格数据的项来权衡灵活性和可解释性。根据定义，最灵活的ONTRAM的性能相当于使用交叉熵训练的标准多类DL模型，同时在面对有序结果时训练速度更快。最后，我们讨论了如何在两个公开的数据集上解释表格和图像数据的模型组件。
2021-04-20 cs.LG stat.ML
Robust Linear Regression: Gradient-descent, Early-stopping, and Beyond
Facebook AI Research（脸书人工智能研究院）
在这项工作中，我们研究了对抗性攻击的鲁棒性，早期停止策略的梯度下降（GD）方法的线性回归。更准确地说，我们表明，早期停止GD是最佳的鲁棒性（绝对常数）对欧几里德范数对抗攻击。然而，我们表明，这种策略可以任意次优的情况下，一般的马氏攻击。这一观察结果与最近发现的分类~ \cite{Vardi2022GradientMP}的情况下，表明GD可证明收敛到非鲁棒模型是兼容的。为了缓解这个问题，我们建议改为应用GD方案对适应攻击的数据进行变换。这种数据转换相当于应用依赖于特征的学习率，我们证明了这种修改后的GD能够处理任何Mahalanobis攻击，以及在某些条件下更一般的攻击。不幸的是，对于一般攻击来说，选择这样的适应性变换可能很难。为了拯救，我们设计了一个简单易行的估计，其对抗风险在人口制度中的乘法常数1.1124内是最佳的，并且适用于任何规范。
2023-01-31 cs.LG stat.ML
FineMorphs: Affine-diffeomorphic sequences for regression
The Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出FineMorphs回归模型，通过最优控制联合优化仿射变换与微分同胚序列，在UCI数据集上取得优于现有方法和密集神经网络的效果。
2023-05-26 cs.LG stat.ML
Conditional Rank-Rank Regression via Deep Conditional Transformation Models
Nankai University（南开大学）
本文提出通过深度条件转换模型改进的条件秩秩回归，用于分析代际流动性，提升了在非线性和离散结果中的表现，并通过实证研究验证了其有效性。
2026-03-07 cs.LG stat.ME stat.ML
The Power and Limitation of Pretraining-Finetuning for Linear Regression under Covariate Shift
Johns Hopkins University（约翰斯·霍普金斯大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Harvard University（哈佛大学）
我们研究线性回归下的协变量偏移，其中的边际分布在输入协变量不同的源域和目标域，而给定的输入协变量的条件分布的输出是类似的跨两个域。我们研究了一种迁移学习方法，该方法对源数据进行预训练，并根据目标数据进行微调（均由在线SGD进行）。我们建立尖锐的实例依赖于这种方法的过度风险的上限和下限。我们的界限表明，对于一大类线性回归实例，使用$O(N^2)$源数据（以及稀缺或无目标数据）的迁移学习与使用$N$目标数据的监督学习一样有效。此外，我们还表明，即使只有少量的目标数据，微调也可以大大减少预训练所需的源数据量。我们的理论揭示了预训练的有效性和局限性，以及微调处理协变量偏移问题的好处。
2022-08-03 cs.LG math.OC stat.ML
Spectrally Transformed Kernel Regression
Carnegie Mellon University（卡内基梅隆大学）
本研究重新探讨谱变换核回归（STKR），提出可利用无标记数据的通用可扩展STKR估计器，证明其通用性，给出归纳场景下的可扩展实现，并推导两种场景的统计保证，深化对无标记数据利用的理解。
2024-02-01 cs.LG stat.ML
A Fast and Easy Regression Technique for k-NN Classification Without Using Negative Pairs
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本文提出了一种廉价的方法来学习一个有效的相异度函数用于$k$ -最近邻（$k$ -NN）分类。与通过单个变换将查询（未标记）对象和标记对象映射到新坐标的Mahalanobis度量学习方法不同，我们的方法学习标记对象到特征空间中的新点的变换，而查询对象保持在其原始坐标中。该方法与现有的距离度量学习方法相比具有几个优点：（i）在大型文档和图像数据集的实验中，它实现了比最先进的度量学习方法更好或至少可与之媲美的$k$ -NN分类精度。(ii)可以通过解决标准岭回归问题来有效地学习转换。对于文档和图像数据集，训练通常比测试的最快度量学习方法快两个数量级以上。这种加速也是由于所提出的方法消除了对“负”对象对的优化，即，类标签不同的对象。(iii)该公式在减少数据集中度方面具有理论上的合理性。
2020-08-28 cs.LG stat.ML
Optimal Algorithms in Linear Regression under Covariate Shift: On the Importance of Precondition
Peking University（北京大学）；Huazhong University of Science and Technology（华中科技大学）
本文针对协变量偏移下的高维线性回归问题，通过贝叶斯克拉美-罗不等式推导泛化下界，提出基于源最优估计器线性变换的极小极大最优算法，并明确SGD类算法达到最优的目标类条件。
2025-02-13 cs.LG stat.ML
AER: Auto-Encoder with Regression for Time Series Anomaly Detection
MIT（麻省理工学院）；IRD（法国国家可持续发展研究所）
时间序列数据的异常检测在各种工业领域越来越普遍，这些工业领域监控指标以防止潜在的事故和经济损失。然而，标记数据的缺乏和异常的模糊定义可能会使这些工作复杂化。最近的无监督机器学习方法在使用单时间戳预测或时间序列重建来解决这个问题方面取得了显着进展。虽然传统上被认为是分开的，这些方法并不相互排斥，可以提供互补的异常检测的观点。本文首先强调了基于预测和基于重建的方法与可视化的时间序列信号和异常分数的成功和局限性。然后，我们提出了AER（带回归的自动编码器），这是一个联合模型，它结合了一个普通的自动编码器和一个LSTM回归器，以结合成功并解决每种方法的局限性。我们的模型可以产生双向预测，同时通过优化联合目标函数来重建原始时间序列。此外，我们提出了几种方法相结合的预测和重建误差，通过一系列的消融研究。最后，我们比较了两种基于预测的方法和三种基于重建的方法对来自NASA，Yahoo，Numenta和UCR的12个著名的单变量时间序列数据集的AER架构的性能。结果表明，AER在所有数据集上的平均F1得分最高（与ARIMA相比提高了23.5%），同时保持了与其vanilla自动编码器和回归器组件相似的运行时间。我们的模型可以在Orion中使用，Orion是一个用于时间序列异常检测的开源基准测试工具。
2022-12-27 cs.LG stat.ML
A First-Order Algorithmic Framework for Wasserstein Distributionally Robust Logistic Regression
The Chinese University of Hong Kong（香港中文大学）
基于Wasserstein距离的分布鲁棒优化（DRO）最近受到了广泛关注，因为它能够提供各种学习模型的鲁棒性解释。此外，在学习环境中出现的许多DRO问题承认精确的凸重构，因此可以通过现成的求解器来解决。然而，使用这样的求解器严重限制了DRO在大规模学习问题中的适用性，因为它们通常依赖于通用的邻域点算法。另一方面，有很少的作品，试图开发快速的迭代法来解决这些DRO问题，通常具有复杂的结构。在本文中，我们采取了第一步解决上述困难，通过开发一个一阶算法框架来解决一类基于Wasserstein距离的分布鲁棒逻辑斯谛回归（DRLR）问题。具体来说，我们提出了一种新的线性化近端ADMM解决DRLR问题，其目标是凸的，但由一个光滑项加上两个不可分离的非光滑项。我们证明了该方法具有次线性收敛速度。此外，我们进行了三个不同的实验，以显示其在合成和真实世界的数据集上的卓越性能。特别是，我们的方法可以实现相同的精度，比标准的现成求解器快800倍以上。
2019-10-28 cs.LG math.OC stat.ML
Efficient Algorithm for Extremely Large Multi-task Regression with Massive Structured Sparsity
我们开发了一种高度可扩展的优化方法，称为“分层组阈值”，用于解决多任务回归模型的输入和输出空间上具有复杂的结构稀疏约束。尽管最近出现了几种有效的优化算法来处理复杂的稀疏诱导正则化器，但在实际的高维问题中，需要强制执行的（数百万个）稀疏模式仍然是一个公开的挑战，因为所有现有的算法必须在每次迭代中穷尽地处理所有这样的模式，这在计算上是禁止的。我们提出的算法解决了可扩展性问题，同时和系统地筛选出多组系数。我们采用层次树表示的组约束，以加快的过程中去除不相关的约束，利用组稀疏性之间的包含关系，从而避免在每个优化步骤中处理所有的约束，并需要优化操作只有少数优秀的系数。在我们的实验中，我们证明了我们的方法在模拟数据集上的效率，并在检测与基因表达性状相关的遗传变异的应用中。
2012-08-15 q-bio.QM stat.ML
Transformation Forests
具有连续目标的监督学习问题的回归模型通常被理解为给定预测器的目标的条件均值的模型。这个概念很简单，因此吸引了解释和可视化。然而，从这些模型中无法获得关于整个潜在条件分布的信息。对回归模型作为条件分布的模型的更一般的理解允许从这样的模型进行更广泛的推断，例如预测区间的计算。几种随机森林类型算法旨在估计条件分布，最突出的是分位数回归森林（Meinshausen，2006年，JMLR）。我们提出了一种新的方法的基础上，其特征在于其转换功能的分布的参数家庭。一个专用的新的“转换树”算法能够检测分布的变化。基于这些转换树，我们引入“转换森林”作为条件分布函数的自适应局部似然估计。由此产生的模型是完全参数化的，但非常一般，并允许广泛的推理程序，如基于模型的引导，以一种简单的方式应用。
2018-01-08 stat.ME stat.ML
Semi-parametric Order-based Generalized Multivariate Regression
在本文中，我们考虑一个广义多元回归问题，其中的响应是预测变量线性变换的单调函数。我们提出了一个半参数算法的基础上的顺序的响应是不变的变换函数的函数形式。我们证明了我们的算法，它最大限度地提高了响应的秩相关性和线性变换的预测，是一个真正的系数矩阵的相合估计量。我们还确定了收敛速度，并表明平方估计误差衰减率为$o(1/\sqrt{n})$。然后，我们提出了一个贪婪算法，最大限度地提高我们的模型的高度非光滑的目标函数，并通过广泛的模拟检查其性能。最后，我们比较了我们的算法与传统的多元回归算法在合成和真实数据。
2016-02-19 math.ST stat.ML stat.TH
Beyond Additivity: Sparse Isotonic Shapley Regression toward Nonlinear Explainability
SISR通过统一非线性转换估计与稀疏性追求，解决Shapley值在非线性可解释性中的局限，提升高维数据下的归因稳定性与稀疏性。
2026-03-08 cs.AI cs.LG stat.ML
Monte Carlo inference for semiparametric Bayesian regression
本文提出一种简单高效的蒙特卡洛推断策略，通过贝叶斯自助法实现未知数据变换与回归模型参数的联合后验推断，在多重模型误设下保持一致性，适用于多种数据类型，并在多种模型中验证了其有效性与高效性。
2024-07-29 math.ST stat.CO stat.ME
Empowering Graph Representation Learning with Test-Time Graph Transformation
Michigan State University（密歇根州立大学）；Snap Inc.（Snap公司）
作为图上表示学习的有力工具，图神经网络（GNN）促进了从药物发现到推荐系统的各种应用。然而，GNN的有效性受到与数据质量相关的问题的极大挑战，例如分布偏移，异常特征和对抗攻击。最近的努力已经从建模的角度来解决这些问题，这需要改变模型架构或重新训练模型参数的额外成本。在这项工作中，我们提供了一个以数据为中心的视图来解决这些问题，并提出了一个名为GTrans的图转换框架，该框架在测试时适应和细化图数据，以实现更好的性能。我们提供的框架设计的理论分析，并讨论为什么适应图形数据比适应模型更好。大量的实验已经证明了GTrans在三个不同的场景下的有效性，八个基准数据集，其中次优数据。值得注意的是，GTrans在大多数情况下表现最好，在三个实验设置中比最佳基线提高了2.8%，8.2%和3.8%。代码发布于https://github.com/ChandlerBang/GTrans。
2023-02-26 cs.AI cs.LG stat.ML
Deep Hurdle Networks for Zero-Inflated Multi-Target Regression: Application to Multiple Species Abundance Estimation
Department of Computer Science, Cornell University, USA（康奈尔大学计算机科学系，美国）；School of Computer Science and Informatics, Cardiff University, UK（卡迪夫大学计算机科学与信息学院，英国）；Gulf of Maine Research Institute, USA（缅因湾研究所，美国）；Department of Ecology, Evolution, and Natural Resources, Rutgers University, USA（罗格斯大学生态、进化与自然资源系，美国）
计算可持续性的一个关键问题是了解物种随时间的分布。这个问题引起了具有挑战性的大规模预测问题，因为（i）数百个物种必须同时建模和（ii）调查数据通常是膨胀的零，由于缺乏物种的大量网站。同时解决这两个问题的问题，我们称之为零膨胀多目标回归问题，以前的统计学和机器学习方法还没有解决。在本文中，我们提出了一种新的零膨胀多目标回归问题的深度模型。为此，我们首先将多个响应变量的联合分布建模为多变量probit模型，然后将阳性结果与多变量对数正态分布相结合。通过惩罚两个分布的协方差矩阵之间的差异，建立了两个分布之间的联系。整个模型是一个端到端的学习框架，我们为我们的模型提供了一个有效的学习算法，可以完全在GPU上实现。我们表明，我们的模型优于现有的最先进的基线上两个具有挑战性的现实世界的物种分布数据集有关鸟类和鱼类种群。
2020-10-30 cs.AI cs.LG stat.ML
A Multi-Scale Tensor Network Architecture for Classification and Regression
University of Central Florida（中佛罗里达大学）；Flatiron Institute（弗莱德森研究所）
我们提出了一种使用张量网络进行监督学习的算法，通过一系列小波变换对数据进行粗粒度预处理。我们将这些变换表示为一组与多尺度纠缠重正化（MERA）张量网络中的张量网络层相同的张量网络层，并通过基于作用于粗粒度数据的矩阵乘积状态（MPS）张量网络的模型执行监督学习和回归任务。由于整个模型由张量收缩组成（除了初始的非线性特征映射），我们可以通过层自适应地细粒度优化MPS模型，而基本上没有性能损失。MPS本身使用基于密度矩阵重整化群（DMRG）算法的自适应算法进行训练。我们通过对音频数据执行分类任务和对温度时间序列数据执行回归任务来测试我们的方法，研究训练精度对粗粒度层数量的依赖性，并展示如何通过网络进行细粒度处理来初始化模型，以访问更细的尺度特征。
2020-01-22 cs.LG quant-ph stat.ML
Automated Problem Identification: Regression vs Classification via Evolutionary Deep Networks
University of Cape Town（开普敦大学）；African Institute for Mathematical Sciences（非洲数学科学研究所）；South African Astronomical Observatory（南非天文台）
回归还是分类？这可能是在处理新的监督学习问题时面临的最基本的问题。我们提出了一种进化深度学习（EDL）算法，该算法通过高精度地识别问题类型来自动解决这个问题，并提出了一个深度架构。通常，在执行机器学习算法之前需要大量的人类洞察力和准备。例如，当创建深度神经网络时，必须提前选择参数的数量，此外，许多这些选择是基于数据的预先存在的知识（例如使用分类交叉熵）做出的。损失函数。人类能够研究数据集并决定它是否代表分类或回归问题，从而做出将应用于神经网络执行的决策。我们提出了自动问题识别（API）算法，该算法使用TensorFlow的进化算法接口来操作深度神经网络，以决定数据集是代表分类还是回归问题。我们在16个不同的分类、回归和情感分析数据集上测试API，这些数据集包含多达10，000个特征和多达17，000个唯一目标值。API在识别问题类型方面达到了$96.3\%$的平均准确度，而无需对回归或分类问题的一般特征进行硬编码。例如，API成功地识别了1000个目标值的分类问题。此外，该算法推荐使用哪个损失函数，并且还推荐神经网络架构。因此，我们的工作是迈向全自动机器学习的一步。
2017-07-03 cs.AI cs.LG cs.NE
Online Constraint Tightening in Stochastic Model Predictive Control: A Regression Approach
Technical University of Munich（慕尼黑工业大学）
本文针对随机模型预测控制中机会约束收紧参数依赖已知噪声分布且难以紧致满足的问题，提出基于 GP 二分类回归的在线数据驱动学习方法，可高概率近似最小收紧量并降低平均控制成本。
2023-10-04 cs.LG cs.SY eess.SY
Automatically Composing Representation Transformations as a Means for Generalization
University of California, Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
一般来说，聪明的学习者应该泛化到比以前遇到的更复杂的任务，但是机器学习中的两种常见范式--要么为每个任务训练一个单独的学习者，要么为所有任务训练一个学习者--都很难进行这种泛化，因为它们没有利用任务分布的组成结构。本文介绍了组成的问题图作为一个广泛适用的形式主义，涉及不同的复杂性的问题与共享的子问题的任务。我们提出了组合泛化问题来衡量旧知识如何容易被重用，从而建立在。作为解决组合泛化的第一步，我们引入了组合递归学习器，这是一个域通用框架，用于学习组合表示变换的算法过程，产生一个学习器，该学习器通过与以前看到的问题进行类比来推理执行什么计算。我们在一个符号和一个高维域上表明，我们的组合方法可以推广到比学习者以前遇到的更复杂的问题，而基线没有明确的组合。
2019-05-08 cs.AI cs.LG cs.NE
Convex Nonparanormal Regression
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Google Research（谷歌研究院）
量化预测中的不确定性，或者更一般地说，估计后验条件分布，是机器学习和统计学中的核心挑战。我们介绍了凸非超常回归（CNR），有条件的nonparanormal方法来处理这个任务。CNR涉及通过高斯上的预定义非线性变换的丰富字典定义的后验的凸优化。它可以拟合任意条件分布，包括多峰和非对称后验。对于特殊但功能强大的情况下，分段线性字典，我们提供了一个封闭形式的后验均值，可用于逐点预测。最后，我们证明了CNR的优势，传统的竞争对手使用合成和真实世界的数据。
2021-04-04 cs.LG eess.SP stat.ML
A Variational Analysis of Kernel Learning with Learnable Linear Transformations
Cambridge University, Department of Pure Mathematics and Mathematical Statistics（剑桥大学数学系）；Northwestern University, Department of Statistics and Data Science（西北大学统计与数据科学系）
本文对引入可学习线性变换 $U$ 的核岭回归推广问题进行变分分析，研究其数学性质，重点关注多尺度与多指标数据场景下变换 $U$ 的作用。
2026-08-13 cs.LG math.CA math.FA
Simultaneous Transformation and Rounding (STAR) Models for Integer-Valued Data
我们提出了一个简单而强大的框架来建模整数值数据，如计数，分数和四舍五入的数据。数据生成过程由同时变换和舍入（STAR）定义，这是一个连续值过程，它产生一个灵活的整数值分布族，能够对零通货膨胀、有界或删失数据以及过度或欠分散进行建模。变换被建模为未知的，以获得更大的分布灵活性，而舍入操作确保了一致的整数值数据生成过程。一个有效的MCMC算法的后验推理，并提供了一个机制，成功的贝叶斯模型和算法的适应连续数据的整数值的数据设置。使用STAR框架，我们为整数值数据设计了一个新的贝叶斯加性回归树（BART）模型，该模型对合成数据和大型医疗保健利用数据集都具有令人印象深刻的预测分布准确性。对于可解释的基于回归的推理，我们开发了一个STAR加性模型，它比现有的整数值模型提供了更大的灵活性和可扩展性。STAR加性模型被应用于研究亚马逊河海豚最近的下降。
2019-09-03 stat.AP stat.CO stat.ME
