Robust Finite Mixture Regression for Heterogeneous Targets
Tsinghua University（清华大学）；University of Connecticut（康涅狄格大学）；University of Michigan（密歇根大学）；Cornell University（康奈尔大学）
有限混合回归（FMR）是指从训练数据集中学习多个回归模型的混合建模方案。他们每个人都负责一个子集。FMR是处理样本异质性的有效方案，其中单个回归模型不足以捕获给定特征的观测样本的条件分布的复杂性。本文提出了一种FMR模型，该模型能够发现样本聚类，同时对多个不完全混合类型目标进行联合建模;实现任务和聚类组件之间的共享特征选择;检测异常任务或任务间的聚类结构，并容纳离群样本。我们提供了一个高维的学习框架下，我们的模型的非渐近预言机的性能界限。所提出的模型进行评估的合成和现实世界的数据集。结果表明，我们的模型可以达到最先进的性能。
2020-10-12 cs.LG stat.ML
Fair Regression under Sample Selection Bias
University of Arkansas（阿肯色大学）；University of Illinois（伊利诺伊大学）
近年来，公平回归的研究主要集中在发展新的公平概念和近似方法，因为目标变量甚至敏感属性在回归设置中是连续的。然而，所有以前的公平回归研究假设训练数据和测试数据是从相同的分布。由于训练数据和测试数据之间的样本选择偏差，这一假设在现实世界中经常被违反。在本文中，我们开发了一个框架下的样本选择偏差的公平回归时，从训练数据的一组样本的因变量值丢失作为另一个隐藏的过程的结果。我们的框架采用了经典的Heckman模型的偏差校正和拉格朗日对偶，以实现公平的回归的基础上，各种公平的概念。Heckman模型描述了样本选择过程，并使用称为逆米尔斯比（IMR）的衍生变量来校正样本选择偏差。我们使用公平不等式和等式约束来描述各种公平概念，并应用拉格朗日对偶理论将原问题转化为对偶凸优化问题。对于两个流行的公平性概念，平均差和均方误差差，我们推导出明确的公式，无需迭代优化，和皮尔逊相关，我们推导出它的条件，实现强对偶。我们在三个真实世界的数据集上进行了实验，实验结果证明了该方法在效用和公平性指标方面的有效性。
2021-10-08 cs.AI cs.CY cs.LG
An analysis of the cost of hyper-parameter selection via split-sample validation, with applications to penalized regression
University of Washington（华盛顿大学）
在回归设置中，给定一组超参数，模型估计过程从训练数据构建模型。使模型泛化误差最小化的最优超参数通常是未知的。在实践中，它们通常使用分裂样本验证来估计。到目前为止，有一个悬而未决的问题，关于所选择的模型的泛化误差如何随着要估计的超参数的数量而增长。为了回答这个问题，我们建立有限样本预言不等式选择基于一个单一的训练/测试分裂和交叉验证的基础上。我们表明，如果模型估计过程是顺利参数化的超参数，调整超参数所产生的误差收缩在近一个参数率。因此，对于具有固定数量的超参数的半参数和非参数模型估计过程，这种额外的误差可以忽略不计。对于参数模型估计过程，添加超参数大致相当于向模型本身添加参数。此外，我们专门这些想法的惩罚回归问题的多个惩罚参数。我们建立的拟合模型是Lipschitz的惩罚参数，因此我们的预言不等式适用。这一结果鼓励了具有许多惩罚参数的正则化方法的发展。
2019-03-28 cs.LG stat.ML
The Sample Complexity of Meta Sparse Regression
Purdue University（普渡大学）
本文研究了稀疏线性回归中的元学习问题。我们假设学习者可以访问几个类似的任务。学习者的目标是将先前任务中的知识转移到类似但新颖的任务中。对于p参数，支持集k的大小，和l个任务的样本，我们表明，T \in O（（k log（p）/l）任务是足够的，以恢复所有任务的共同支持。利用恢复的支持度，我们可以大大降低估计新任务参数的样本复杂度，即，l \in O（1）关于T和p .我们还证明了我们的利率是minimax最优的。元学习与经典的多任务学习的一个关键区别在于，元学习只关注新任务参数的恢复，而多任务学习估计所有任务的参数，这要求l随T增长。相反，我们的高效元学习估计器允许l相对于T是恒定的（即，少样本学习）。
2020-06-21 cs.LG stat.ML
Learning under Target Shift: Optimal Density Ratio Estimation and Importance-Weighted Regression
School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）
针对连续输出目标偏移问题，提出RKHS谱正则化密度比估计方法，达到极小极大最优速率，并分析其在重要性加权回归中的误差传播，建立有限样本理论。
2026-09-15 cs.LG stat.ML
Improving Sample and Feature Selection with Principal Covariates Regression
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of Cambridge（剑桥大学）
在自动化数据分析的背景下，从大量候选者中选择最相关的特征和样本是一项经常发生的任务，在自动化数据分析中，它可以用于提高模型的计算性能，并且通常还可以提高模型的可移植性。在这里，我们专注于两个流行的子选择方案已被应用到这一目的：CUR分解，这是基于一个低秩近似的特征矩阵和法拉第点采样，这依赖于迭代识别的最多样化的样本和鉴别功能。我们修改这些无监督的方法，将监督组件遵循相同的精神作为主协变量回归（PCovR）方法。我们表明，将目标信息提供的选择，在监督任务中表现更好，我们证明与岭回归，核岭回归和稀疏核回归。我们还表明，结合简单的监督学习模型的各个方面可以提高更复杂模型的准确性，例如前馈神经网络。我们提出的调整，以尽量减少影响，任何子选择时，执行无监督的任务可能会产生。我们证明了与使用PCov-CUR和PCov-FPS选择化学和材料科学的应用程序，通常减少了两个因素的功能和样本的数量，需要达到给定的回归精度水平的显着改善。
2020-12-22 cs.LG physics.chem-ph
Finite-sample and asymptotic analysis of generalization ability with an application to penalized regression
University of Sydney（悉尼大学）
本文从泛化能力角度研究极值估计器性能，推导了泛化误差上界，并探讨了交叉验证中K值对偏差方差权衡的影响，证明了正则化回归估计在高维数据下的L2一致性。
2016-09-13 cs.LG econ.GN math.ST
Sample complexity and effective dimension for regression on manifolds
School of Electrical and Computer Engineering（电气与计算机工程学院）；Georgia Institute of Technology（佐治亚理工学院）
本文利用再生核Hilbert空间方法研究了流形上的回归问题。流形模型出现在各种各样的现代机器学习问题中，我们的目标是帮助理解利用流形结构的各种隐式和显式降维方法的有效性。我们的第一个关键贡献是建立一个新的非渐近版本的外尔定律从微分几何。由此，我们能够证明流形上的某些光滑函数空间实际上是有限维的，其复杂性根据流形维度而不是任何环境数据维度进行缩放。最后，我们表明，给定（潜在的噪声）函数值均匀随机在一个流形上，一个内核回归估计（来自流形的谱分解）产生最小最优的误差范围，由有效尺寸控制。
2020-10-16 cs.LG math.ST stat.ML
Sample-Optimal Private Regression in Polynomial Time
ETH Zürich（苏黎世联邦理工学院）
针对复杂协变量的最小二乘回归，提出首个多项式时间样本最优的隐私保护算法，兼具鲁棒性并达到理论下界。
2025-03-31 cs.DS cs.IT cs.LG
Active Regression via Linear-Sample Sparsification
Northwestern University（西北大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
该研究提出基于线性样本稀疏化的主动回归方法，将主动线性回归的标签样本复杂度从O(d log d)降至O(d)，还拓展至归纳场景及非线性稀疏傅里叶变换场景，提升了多类曲线拟合的样本效率。
2026-08-17 cs.DS cs.LG
The Exact Sample Complexity Gain from Invariances for Kernel Regression
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；TU Munich（慕尼黑工业大学）
本文从理论角度研究了核回归中利用不变性提升样本复杂性的机制，推导了在紧致流形上核岭回归的最小最大最优速率，并揭示了群作用对样本复杂性的影响。
2023-11-06 cs.LG
Fast Algorithms for Segmented Regression
MIT（麻省理工学院）；University of Southern California（南加州大学）
我们研究固定设计分段回归问题：给定分段线性函数$f$的噪声样本，我们希望恢复$f$达到期望的均方误差精度。以前的严格的方法，这个问题依赖于动态规划（DP），而样本效率，有运行时间的样本大小的平方。作为我们的主要贡献，我们提供了新的样本近线性时间算法的问题，而不是最小最大最优的，实现了显着更好的采样时间权衡大型数据集相比，DP方法。我们的实验评估表明，与DP方法相比，我们的算法提供了一个收敛速度，只有关闭的$2$到$4$的一个因素，同时实现三个数量级的加速。
2016-07-14 cs.DS cs.LG math.ST
The Interplay Between Interpolation and Aggregation in Regression: Optimal Sample Complexity
Department of Computer Science, Aarhus University（奥胡斯大学计算机科学系）；Department of Statistics, University of Oxford（牛津大学统计学系）
本文从理论上研究回归中插值与聚合的相互作用，证明γ-图维度刻画了广泛自然聚合过程的可学习性，并发现通过中位数聚合三个插值假设的简单过程在所有聚合过程中最优，且严格强于恰当学习。
2026-07-28 cs.LG
Pool-Based Unsupervised Active Learning for Regression Using Iterative Representativeness-Diversity Maximization (iRDM)
Huazhong University of Science and Technology（华中科技大学）
主动学习（AL）选择最有益的未标记样本进行标记，因此可以从相同数量的标记样本训练更好的机器学习模型。大多数现有的回归主动学习（ALR）方法都是有监督的，这意味着采样过程必须使用一些标签信息或现有的回归模型。本文考虑完全无监督的ALR，即，如何在不知道任何真实标签信息的情况下选择要标记的样品。我们提出了一种新的无监督ALR方法，迭代代表性多样性最大化（iRDM），以最佳平衡的代表性和多样性的选择样本。在不同领域的12个数据集上的实验证明了该方法的有效性。我们的iRDM可以应用于线性回归和核回归，当标记样本数量较少时，它甚至显着优于监督ALR。
2020-03-31 cs.LG stat.ML
A new strategy for finite-sample valid prediction of future insurance claims in the regression setting
Department of Mathematical Sciences, The University of Texas at Dallas（德克萨斯大学达拉斯分校数学科学系）
本文提出一种新策略，将无监督iid设定中的预测方法转换为回归设定，从而在有限样本下获得有效的未来保险索赔预测区间。
2026-01-29 cs.LG stat.AP
Ordinal Regression via Binary Preference vs Simple Regression: Statistical and Experimental Perspectives
Microsoft Research Asia（微软亚洲研究院）；Tsinghua University（清华大学）
锚定参考样本有序回归（ORARS）已被提出用于自动预测输入刺激的主观平均意见得分（MOS）。ORARS通过将测试样本与每个预先评分的锚定参考样本配对来解决MOS预测问题。然后，使用经过训练的二元分类器来预测哪个样本（测试或锚）在统计上更好。然后使用二元偏好决策的后验来预测测试样本的MOS。在本文中，严格的框架，分析和实验表明，ORARS是优于简单的回归。本文的主要贡献是：1）通过仿真实验证明了传统回归方法可以转化为多重偏好检验，从而得到更好的结果; 2）将ORARS方法推广到其他回归问题，并验证了其有效性; 3）为ORARS方法的正确应用提供了必要条件。
2022-07-06 cs.LG
Correcting the bias in least squares regression with volume-rescaled sampling
University of California, Santa Cruz（加州大学圣克鲁兹分校）；Columbia University（哥伦比亚大学）
考虑线性回归，其中示例由$R^d\times R$上的未知分布生成。在没有对噪声的任何假设的情况下，任何i.i.d.样品通常相对于R.T.是有偏差的。在整个分布上的最小二乘最优。然而，我们表明，如果一个i.i.d.任何大小k的样本被某个小的附加样本扩充，则组合样本的解变得无偏。当额外的样本由d个点组成时，我们会显示这一点，这些点根据输入分布联合绘制，该输入分布由点所跨越的平方体积重新缩放。此外，我们提出的算法，从这个体积重新缩放的分布时，数据分布是唯一通过一个i.i.d样本已知的样本。
2018-10-04 cs.LG stat.ML
Active Learning for Regression Using Greedy Sampling
Huazhong University of Science and Technology（华中科技大学）；University of Technology, Sydney（悉尼科技大学）
回归问题在现实世界的应用程序中普遍存在。为了建立具有良好泛化能力的回归模型，通常需要大量的标记样本。然而，很多时候，收集大量未标记的样品相对容易，但标记它们耗时或昂贵。回归的主动学习（ALR）是一种通过选择最有益的样本来标记而不是随机选择来减少标记样本数量的方法。本文提出了两种新的基于贪婪采样（GS）的ALR方法。第一种方法（GSy）选择新样本以增加输出空间中的多样性，第二种方法（iGS）选择新样本以增加输入和输出空间中的多样性。在来自不同领域的12个UCI和CMU StatLib数据集上进行了广泛的实验，并对15个基于EEG的驾驶员困倦估计进行了实验，验证了它们的有效性和鲁棒性。
2018-08-08 cs.AI cs.LG stat.ML
A Theoretical Analysis of the Test Error of Finite-Rank Kernel Ridge Regression
University of Basel（巴塞尔大学）；McMaster University（麦克马斯特大学）；Vector Institute（向量研究所）；UniDistance Suisse（瑞士远程大学）
针对现有通用核回归统计学习保证用于有限秩核时界偏宽松的问题，推导了有限秩核岭回归测试误差的精确非渐近上下界，新界更紧且对任意正则化参数均有效。
2023-10-03 cs.LG stat.ML
Finite Sample Bounds for Non-Parametric Regression: Optimal Sample Efficiency and Space Complexity
本文提出了一种基于有限维表示的参数方法，实现了非参数回归在样本效率和空间复杂性上的最优性能。
2026-03-09 cs.LG
Learning from Summarized Data: Gaussian Process Regression with Sample Quasi-Likelihood
Yuta Shikuri（独立研究者）
针对仅能获取汇总数据（含代表性特征、统计量和计数）的场景，本研究提出基于样本拟似然的高斯过程回归方法，分析近似误差并验证其在空间建模中的有效性。
2025-08-24 cs.LG stat.ML
A Log-Linear Time Sequential Optimal Calibration Algorithm for Quantized Isotonic L2 Regression
我们研究了在一个量化的保序L2回归设置的估计的顺序校准。我们首先表明，最佳校准量化估计可以从传统的保序L2回归解决方案。我们修改了传统的PAVA算法创建校准的量化保序回归问题的批量和顺序优化。我们的算法可以更新的最佳量化单调映射到目前为止观察到的样本在线性空间和对数时间每新的无序样本。
2022-06-01 cs.LG math.OC stat.ML
Universum Learning for SVM Regression
Robert Bosch LLC（罗伯特·博世有限责任公司）；University of Minnesota（明尼苏达大学）
本文将Universum学习[18，19]的思想扩展到回归问题。我们提出了新的Universum-SVM制定的回归问题，采用了先验知识的形式，额外的数据样本。这些额外的数据样本或Universum属于与训练样本相同的应用领域，但它们遵循不同的分布。几个实证比较来说明所提出的方法的实用性。
2016-05-27 cs.LG
Diagonalized Attention for Individualized Regression: Latent-Row Localization and Prediction
University of Hong Kong（香港大学）；Renmin University of China（中国人民大学）
本文提出对角化注意力机制，用于矩阵值数据中样本特定行的定位与个体化回归，理论保证恢复潜在行，实验验证预测与定位性能。
2026-09-21 cs.LG stat.ML
Unsupervised Pool-Based Active Learning for Linear Regression
Huazhong University of Science and Technology（华中科技大学）
在许多现实的机器学习应用场景中, 获取大量未标注的数据是很容易的, 但标注过程需要花费大量的时间和经济成本.因此，期望能够选择最优样本来标记，使得可以从最小量的标记数据训练好的机器学习模型。 目前, 主动学习(Active learning)已广泛应用于解决这种场景下的问题.然而，现有的大多数AL方法都是有监督的：它们从少量的标记样本中训练初始模型，基于该模型查询新的样本，然后迭代地更新模型。很少有人考虑完全无监督的AL问题，即，从零开始，如何在根本不知道任何标签信息的情况下最优地选择非常前几个样本来标记。 这种场景下, 主动学习问题变得更加困难, 因为无法利用任何标签信息.本文研究了线性回归问题的无监督基于池的自动分类算法。本文提出了一种新的自动分类方法，该方法同时考虑了自动分类中的信息性、代表性和多样性这三个基本标准。在来自不同应用领域的14个数据集上，使用三种不同的线性回归模型（岭回归、LASSO和线性支持向量回归）进行了大量的实验，证明了所提出方法的有效性。
2020-01-14 cs.LG stat.ML
Feature Weighting Improves Pool-Based Sequential Active Learning for Regression
Ministry of Education Key Laboratory of Image Processing and Intelligent Control（教育部图像处理与智能控制重点实验室）；Hubei Key Laboratory of Brain-inspired Intelligent Systems（湖北省脑启发智能系统重点实验室）；School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）
本文提出基于池的顺序主动学习方法，通过特征加权优化样本选择，提升回归模型的准确性，实验表明该方法在单任务和多任务回归中均有效。
2026-04-02 cs.LG
Memory-Sample Tradeoffs for Linear Regression with Small Error
Stanford University（斯坦福大学）
我们考虑的问题进行线性回归流的$d$维的例子，并表明，任何算法，使用次二次量的内存表现出更慢的收敛速度比可以实现没有内存约束。具体地，考虑标记的示例$(a_1,b_1), (a_2,b_2)\ldots,$的序列，其中$a_i$独立于$d$维各向同性高斯绘制，并且其中，对于具有$\|x\|_2 = 1$的固定$x \in \mathbb{R}^d$和具有从间隔$[-2^{-d/5},2^{-d/5}].$均匀绘制的独立噪声$η_i$的$b_i = \langle a_i, x\rangle + η_i,$我们表明，具有最多$d^2/4$位存储器的任何算法需要至少$Ω(d \log \log \frac{1}ε)$样本来将$x$近似为$\ell_2$错误$ε$，概率为成功至少$2/3$，对于$ε$足够小作为$d$的函数。相反，对于这样的$ε$，可以使用$d$示例将$x$恢复为具有概率$1-o(1)$的错误$ε$，具有存储器$O\left(d^2 \log(1/ε)\right)$。这代表了具有超线性记忆的回归的第一个非平凡下限，并且可能为连续优化的强记忆/样本权衡打开大门。
2020-10-10 cs.LG stat.ML
Maximum Correntropy Criterion Regression models with tending-to-zero scale parameters
Anhui University（安徽大学）
在统计学习的框架下，最大相关熵准则回归（MCCR）模型在尺度参数取定值或趋于无穷大时得到了很好的研究。研究尺度参数趋于零的MCCR模型。当样本量$n$趋于无穷大时，MCCR模型的最优学习率在渐近意义下为${\mathcal{O}}(n^{-1})$.在有限样本情况下，比较了MCCR、Huber和最小二乘回归模型的稳健性。最后给出了这三种方法在实际数据上的应用。
2021-10-25 cs.LG stat.ML
Generalized Kernel Ridge Regression for Causal Inference with Missing-at-Random Sample Selection
MIT（麻省理工学院）
我提出了核岭回归估计的非参数剂量反应曲线和半参数处理效应的设置中，分析师有机会获得一个选定的样本，而不是一个随机样本，只有选择观察，观察的结果。我假设选择与随机一样好，条件是治疗和一组足够丰富的观察到的协变量，其中允许协变量引起治疗或由治疗引起-随机缺失（MAR）的扩展。我提出了估计的手段，增量和分布的反事实的结果与封闭形式的解决方案，在核矩阵运算，允许治疗和协变量是离散的或连续的，低，高，或无限维。对于连续治疗的情况下，我证明了一致的一致性与有限的采样率。对于离散处理的情况下，我证明根-n的一致性，高斯近似，和半参数效率。
2021-11-09 cs.LG econ.EM math.ST
Distributed Learning with Dependent Samples
研究强混合序列下分布核岭回归的学习率分析。利用最近发展起来的积分算子方法和Banach值强混合序列的经典协方差不等式，我们成功地导出了分布核岭回归的最优学习率.作为一个副产品，我们还推出了一个充分条件的混合性质，以保证最佳的学习率的核岭回归。我们的结果扩展了i.i.d.分布式学习的适用范围样本至非i.i.d.序列的
2021-11-04 cs.DC cs.LG stat.ML
Finite-Sample Distribution Theory and Efficient Large-Scale Inference for Online Quantile Regression
University of Chicago（芝加哥大学）；Rice University（莱斯大学）；University of Miami（迈阿密大学）
本文提出基于常数学习率SSGD的在线分位数回归推断方法，证明有限样本高斯近似，提出后缀平均化解决偏差，避免协方差估计，实现高效且覆盖率理想的推断。
2026-10-06 cs.LG math.ST stat.ME
Estimating Regression Predictive Distributions with Sample Networks
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）；University of Toronto（多伦多大学）
估计深度神经网络预测中的不确定性对于许多现实应用至关重要。一种常见的建模不确定性的方法是选择一个参数分布，并使用最大似然估计来拟合数据。选择的参数形式可能与数据生成分布拟合不佳，导致不可靠的不确定性估计。在这项工作中，我们提出了SampleNet，一个灵活的和可扩展的架构建模的不确定性，避免指定一个参数形式的输出分布。SampleNets通过定义一个经验分布来做到这一点，该分布使用的样本是用能量分数学习的，并用Sinkhorn Divergence正则化。SampleNets被证明能够很好地拟合广泛的分布，并在大规模的真实回归任务中优于基线。
2022-11-24 cs.CV cs.LG
Gaussian Process Regression for Out-of-Sample Extension
Tel Aviv University（特拉维夫大学）
流形学习方法对于高维数据分析是非常有用的。许多现有的方法产生一个低维的表示，试图描述原始数据的内在几何结构。通常，该过程在计算上是昂贵的，并且所产生的嵌入限于训练数据。在许多现实生活场景中，产生嵌入未见过样本的能力是必不可少的。在本文中，我们提出了一个贝叶斯非参数方法的样本外扩展。该方法基于高斯过程回归，不依赖于流形学习算法。此外，该方法自然地提供了对未参与训练过程的新到达的数据点的异常程度的测量。我们推导出所提出的方法和Nystrom扩展之间的数学联系，并表明后者是前者的特殊情况。我们提出了广泛的实验结果，证明所提出的方法的性能，并将其与其他现有的样本外扩展方法。
2016-06-05 cs.CV cs.LG
A semi-supervised learning using over-parameterized regression
Faculty of Education, Mie University（三重大学教育学部）
本文针对回归问题中的半监督学习，提出基于SVD特征提取与降维的SVD回归方法，利用最小范数最小二乘处理过参数化高斯核模型，实验表明其在多个数据集上优于岭回归，并验证了无标签样本信息融入核函数的有效性。
2024-11-19 cs.LG stat.ME
Backdoor Attack and Defense for Deep Regression
Pennsylvania State University（宾夕法尼亚州立大学）；Anomalee Inc.（Anomalee 公司）；Imperial College（帝国理工学院）
我们演示了对用于回归的深度神经网络的后门攻击。基于训练集数据投毒来定位后门攻击，其中错误标记的样本被正确标记的样本包围。我们演示了如何这样的本地化是必要的攻击成功。我们还研究了使用基于梯度的发现本地错误最大化的后门防御的性能。局部误差最大化与显着（插值）错误，并接近许多训练样本，是可疑的。该方法还用于首先通过主动（深度）学习来准确地训练深度回归，该主动（深度）学习利用能够为样本提供实值监督（回归目标）的“oracle”。这种预言机，包括使用有限差分或蒙特卡罗近似的PDE或PDE的传统数值求解器，与深度回归相比，计算成本要高得多。
2021-09-06 cs.CR cs.LG
High-low level support vector regression prediction approach (HL-SVR) for data modeling with input parameters of unequal sample sizes
Dalian University of Technology（大连理工大学）；Huaqiao University（华侨大学）
支持向量回归机（SVR）被广泛用于降低计算机仿真的高计算成本。SVR假设输入参数具有相等的样本量，但在工程实践中经常遇到不相等的样本量。针对这一问题，提出了一种新的基于支持向量回归的预测方法，即高低层支持向量回归方法（HL-SVR），用于不等样本输入参数的数据建模。该方法由大样本输入参数的低层支持向量回归模型和小样本输入参数的高层支持向量回归模型组成。对于小样本输入参数的每个训练点，基于其对应的大样本输入参数及其感兴趣的响应建立一个低层SVR模型。高级SVR模型是基于从低级SVR模型获得的响应和较小样本量的输入参数来构建的。数值算例验证了HL-SVR的性能。实验结果表明，HL-SVR比传统的SVR能产生更准确的预测结果。将该方法应用于牙种植体的应力分析，其结构参数具有大量样本，但种植体材料只能从几种钛及其合金中选择。所提出的方法的预测性能是远远优于传统的SVR。该方法可用于输入参数不等的工程系统的设计、优化和分析。
2019-05-31 cs.LG eess.SP stat.AP
Finite-Sample Inference for Sparsely Permuted Linear Regression
Graduate School of Arts；Sciences, The University of Tokyo.；Sciences, The University of Tokyo. \ Center for Advanced Intelligence Project.
本文提出了一种针对稀疏排列线性回归的有限样本推断方法，通过局部化步骤和条件蒙特卡洛检验，实现排列和回归系数的有效推断，并通过模拟和实际数据验证其有效性与实用性。
2026-01-22 cs.LG math.ST stat.ME
No Universal Signal Predicts Sample-Level LLM Regression under Version Updates
University of Ottawa（渥太华大学）；Vector Institute（向量研究所）
本文研究如何用推理时信号预测LLM版本更新导致的样本级退化，对比单模型与跨版本信号，发现信号有效性具任务依赖性且无通用最优信号，部分跨版本信号可支持选择性回退，从业者可据此选择信号。
2026-08-17 cs.AI cs.CL cs.LG
AdaTrans: Feature-wise and Sample-wise Adaptive Transfer Learning for High-dimensional Regression
Pennsylvania State University（宾夕法尼亚州立大学）；Xiamen University（厦门大学）
本文提出AdaTrans自适应迁移学习方法，通过融合惩罚和自适应权重在高维回归中检测特征级或样本级可迁移结构，实现选择性信息融合并达到接近oracle的收敛速率。
2024-11-25 cs.LG math.ST stat.ME
Streaming Active Learning for Regression Problems Using Regression via Classification
Hitachi, Ltd.（日立制作所）
针对回归任务流式主动学习研究不足的问题，本文提出用regression-via-classification框架将回归转分类，直接复用分类流式主动学习方法，在四个真实数据集上实现了相同标注成本下更高的回归精度。
2023-12-15 cs.LG
Improving pronunciation assessment via ordinal regression with anchored reference samples
Microsoft（微软）
句子水平的语音评价是计算机辅助语言学习（CALL）的重要内容。传统的语音发音评估，基于良好的发音（GOP）算法，在评估语音话语有一些弱点：1）音素GOP分数不能很容易地转换成一个简单的平均值的句子分数进行有效的评估; 2）在GOP评分没有很好地利用排序信息提供一个强大的评估，并与人类的评价者的评价很好地相关。在本文中，我们提出了两个新的统计特征，平均GOP（aGOP）和混淆GOP（cGOP），并使用它们来训练一个二元分类器在有序回归与锚定参考样本（ORARS）。在Microsoft mTutor ESL Dataset上进行测试时，与传统的基于GOP的方法相比，Pearson相关系数相对提高了26.9%。性能达到人类同等水平或优于人类评分员。
2020-10-26 cs.LG cs.SD eess.AS
Deep Metric Learning-Based Semi-Supervised Regression With Alternate Learning
Faculty of Electrical Engineering
本文介绍了一种新的基于深度度量学习的半监督回归（DML-S2 R）方法，用于参数估计问题。所提出的DML-S2 R方法旨在缓解标记样本量不足的问题，而无需收集具有目标值的任何额外样本。为此，它由两个主要步骤组成：i）使用稀缺的标记数据进行成对相似性建模; ii）使用丰富的未标记数据进行基于三元组的度量学习。第一步的目标是通过使用少量的标记样本来对成对样本相似性进行建模。这是通过用连体神经网络（SNN）估计标记样本的目标值差异来实现的。第二步的目标是学习一个基于三元组的度量空间（其中相似的样本彼此接近，不相似的样本彼此远离）时，标记的样本的数量是不够的。这是通过将第一步的SNN用于基于三元组的深度度量学习来实现的，该深度度量学习不仅利用了标记的样本，还利用了未标记的样本。对于DML-S2 R的端到端训练，我们研究了两个步骤的交替学习策略。由于这种策略，每一步中的编码信息成为另一步学习阶段的指导。实验结果证实了DML-S2 R与最先进的半监督回归方法相比的成功。所提出的方法的代码可在https://git.tu-berlin.de/rsim/DML-S2R上公开获得。
2022-07-12 cs.CV cs.LG
DAPLSR: Data Augmentation Partial Least Squares Regression Model via Manifold Optimization
School of Computer Science and Technology, Zhengzhou University of Light Industry（郑州轻工业大学计算机与通信工程学院）
针对PLSR在类别不均衡数据上表现不佳的问题，提出DAPLSR模型，结合SMOTE和VDM进行数据增强，并采用流形优化提升求解精度，实验证明其分类性能显著优于现有方法。
2025-04-23 cs.IR cs.LG
A Simple Approximation to the Distribution of the Ridge Regression Estimator
Cornell University（康奈尔大学）
本文提出一种适用于存在异方差和自相关的低维数据的岭回归估计量有限样本分布的高斯近似方法，并基于此提出两种正则化参数选择策略以优化预测风险。
2026-08-04 cs.LG econ.EM math.ST
RankSim: Ranking Similarity Regularization for Deep Imbalanced Regression
Simon Fraser University（西蒙弗雷泽大学）；Borealis AI（Borealis人工智能研究院）
数据不平衡，其中多个数据样本来自小比例的标签，对训练深度神经网络提出了挑战。与分类不同，在回归中，标签是连续的，可能是无限的，并形成自然的排序。回归的这些独特特征需要新的技术来利用标签空间关系中编码的附加信息。本文提出了用于深度不平衡回归的RankSim（ranking similarity）正则化器，它编码了一种归纳偏差，即在标签空间中更接近的样本在特征空间中也应该更接近。与最近的基于分布平滑的方法相比，RankSim捕获了附近和远处的关系：对于给定的数据样本，RankSim鼓励其标签空间中的邻居的排序列表与其特征空间中的邻居的排序列表相匹配。RankSim是对传统不平衡学习技术的补充，包括重新加权，两阶段训练和分布平滑，并提升了三个不平衡回归基准的最新性能：IMDB-WIKI-BLOG，STS-B-BLOG。
2022-06-24 cs.AI cs.CV cs.LG
