Detecting Adversarial Examples in Learning-Enabled Cyber-Physical Systems using Variational Autoencoder for Regression
Vanderbilt University（范德堡大学）
学习使能组件（LEC）被广泛应用于信息物理系统（CPS），因为它们可以处理环境的不确定性和可变性，并提高自主性水平。然而，已经表明，诸如深度神经网络（DNN）之类的LEC并不健壮，并且对抗性示例可能导致模型做出错误的预测。本文考虑了在CPS中用于回归的LEC中有效检测对抗性示例的问题。所提出的方法是基于归纳共形预测，并使用基于变分自编码器的回归模型。该架构允许考虑输入和神经网络预测两者，以检测对抗性的，更一般地，分布外的示例。我们使用在自动驾驶汽车的开源模拟器中实现的高级紧急制动系统来演示该方法，其中DNN用于估计到障碍物的距离。仿真结果表明，该方法可以有效地检测敌对的例子，具有很短的检测延迟。
2020-03-21 cs.LG stat.ML
Differentially-Private Logistic Regression for Detecting Multiple-SNP Association in GWAS Databases
Carnegie Mellon University（卡内基梅隆大学）；Institute of Science and Technology Austria（奥地利科学技术研究所）
在霍默等人发表了对全基因组关联研究（GWAS）数据的攻击之后，已经对开发用于以隐私保护方式发布GWAS数据的方法给予了相当大的关注。在这里，我们开发了一种端到端的差分私有方法，用于解决具有凸罚函数的回归问题，并通过交叉验证选择罚参数。特别是，我们专注于惩罚逻辑斯谛回归与弹性网络正则化，一种广泛用于GWAS分析，以确定致病基因的方法。我们展示了如何将弹性网络正则化惩罚逻辑斯谛回归的差分私有程序应用于GWAS数据的分析并评估我们的方法的性能。
2014-07-30 cs.LG stat.AP stat.ML
Detecting Errors in a Numerical Response via any Regression Model
University of California（加利福尼亚大学）；Cleanlab；Carnegie Mellon University（卡内基梅隆大学）
针对数值响应数据中的噪声错误，提出基于协变量条件真实性分数的过滤方法，在5个真实数据集上实现更优的精确率与召回率。
2024-03-13 cs.LG stat.ML
Detecting Dark Patterns in User Interfaces Using Logistic Regression and Bag-of-Words Representation
University of Portsmouth（朴茨茅斯大学）；Jigawa State Polytechnic for ICT（吉加瓦州信息与通信技术理工学院）；Beihang University（北京航空航天大学）；Shehu Shagari College of Education Sokoto（索科托谢胡·沙加里教育学院）
本文提出一种基于逻辑回归和词袋表示的暗模式检测方法，通过提取文本特征并训练模型，实验证明其在识别用户界面欺骗性设计上具备高预测性能与鲁棒性。
2024-12-09 cs.HC cs.LG
Detecting Distributed Denial of Service Attacks Using Logistic Regression and SVM Methods
East West University（东西大学）
本文使用逻辑回归和SVM两种机器学习方法对标准网络数据集中的DDoS攻击进行检测与分类，两者均取得98.65%的最高分类准确率，并比较了准确率、精确率和召回率。
2024-11-21 cs.CR cs.LG
Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions
Tianjin University（天津大学）
多模态回归是一项基础性工作，它将不同来源的信息进行整合，以提高后续应用的性能。然而，现有的方法主要集中在提高性能，往往忽略了不同情况下的预测的信心。在这项研究中，我们致力于可信的多峰回归，这是成本敏感的领域的关键。为此，我们引入了一种新的混合正逆伽马分布（MoNIG）算法，该算法有效地估计原则上的不确定性，以适应不同模态的整合，并产生一个值得信赖的回归结果。我们的模型可以动态地知道每个模态的不确定性，并且对于损坏的模态也是鲁棒的。此外，建议MoNIG确保明确表示（特定模态/全球）的认知和任意的不确定性，分别。在合成数据和不同真实数据上的实验结果证明了我们的方法在各种多模态回归任务上的有效性和可信度（例如，超导性的温度预测、CT切片的相对位置预测以及多模态情感分析）。
2021-11-11 cs.AI cs.LG
CYPUR-NN: Crop Yield Prediction Using Regression and Neural Networks
Nitte Meenakshi Institute of Technology（尼特·米纳克希理工学院）
我们最近的研究使用水稻产量的历史数据和相关条件，包括湿度，发光和温度。将回归模型和神经网络相结合，可以对水稻产量进行非常满意的预测。模拟结果表明，我们的模型可以预测水稻产量与高精度，同时检测可能存在的疾病，是不为人所知的眼睛。利用回归和神经网络进行作物产量预测（CYPUR-NN）是在这里开发的一个系统，该系统将有助于农业学家和农民从图片或通过网络界面输入值来预测产量。CYPUR-NN已经在库存图像上进行了测试，实验结果是有希望的。
2020-11-26 cs.AI cs.CV cs.LG
Fast, Provable Algorithms for Isotonic Regression in all $\ell_{p}$-norms
Yale University（耶鲁大学）；Georgia Tech（佐治亚理工学院）
给定有向无环图$G,$和顶点上的一组值$y$，$y$的保序回归是一个向量$x$，它遵循$G,$所描述的偏序，并针对指定的范数最小化$||x-y||,$。本文给出了在严格性能保证下计算所有加权$\ell_{p}$ -范数的保序回归的改进算法。我们的算法是相当实用的，他们的变种可以实现在实践中运行速度快。
2015-11-11 cs.DS cs.LG math.ST
Learning for Detecting Norm Violation in Online Communities
Artificial Intelligence Research Institute, IIIA-CSIC（人工智能研究所（IIIA-CSIC））
本文提出基于逻辑模型树的机器学习框架，用于检测在线社区规范违反，并利用维基百科编辑数据训练模型，重点识别故意破坏行为。
2021-04-30 cs.LG cs.SI
Robust Capped lp-Norm Support Vector Ordinal Regression
Northwestern Polytechnical University（西北工业大学）；China Telecom Corp Ltd（中国电信股份有限公司）
针对支持向量序数回归在含异常值训练数据上性能下降的问题，提出带帽 $\ell_{p}$-范数损失及CSVOR模型，通过权重矩阵识别并抑制轻重异常值，并设计具有收敛保证的重加权优化算法，实验表明其尤其在异常场景下优于现有方法。
2024-04-25 cs.LG
$L_1$-norm Regularized Indefinite Kernel Logistic Regression
School of Statistics and Data Science, Qufu Normal University（统计与数据科学学院，曲阜师范大学）；Dongfang College, ShanDong University of Finance and Economics（东方学院，山东财经大学）
核逻辑斯谛回归（KLR）是一种功能强大的分类方法，广泛应用于不同的领域。在许多现实世界的场景中，不定核比正定核捕获更多的特定于域的结构信息。提出了一种新的$L_1$ -范数正则化不定核逻辑斯谛回归（RIKLR）模型，该模型通过引入$L_1$ -范数惩罚函数来扩展已有的IKLR框架.这种正则化的引入增强了可解释性和推广性，同时将非光滑性和非凸性引入优化领域。为了解决这些挑战，理论上接地和计算效率的近端线性化算法的开发。在多个基准数据集上的实验结果表明，该方法在准确性和稀疏性方面都具有优异的性能。
2025-10-30 cs.LG stat.ML
Detecting Label Noise via Leave-One-Out Cross-Validation
University of California, Merced（加州大学默塞德分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们提出了一个简单的算法，用于识别和纠正实值噪声标签的混合使用高斯过程回归的干净和损坏的样本点。采用异方差噪声模型，其中具有独立方差的加性高斯噪声项与每个和所有观察到的标签相关联。利用最大似然估计对噪声模型进行优化，在留一交叉验证中，通过后验标准差抑制了GPR模型的预测误差。针对非负约束下的极大似然估计问题，提出了一种乘性更新方案。虽然我们提供了某些特殊情况下的收敛性证明，乘法方案的经验证明单调收敛行为，在几乎所有的数值实验。我们表明，所提出的方法可以精确定位损坏的样本点，并在合成和真实世界的科学数据集上训练时，得到更好的回归模型。
2021-03-28 cs.LG math.OC stat.ML
Efficient Symmetric Norm Regression via Linear Sketching
University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Columbia University（哥伦比亚大学）
我们提供了有效的算法过约束线性回归问题的大小$n \times d$时的损失函数是一个对称的范数（符号翻转和坐标置换下的范数不变）。一类重要的对称范数是Orlicz范数，其中对于函数$G$和向量$y \in \mathbb{R}^n$，相应的Orlicz范数$\|y\|_G$被定义为唯一值$α$，使得$\sum_{i=1}^n G(|y_i|/α) = 1$。当损失函数是一个Orlicz规范，我们的算法产生一个$(1 + \varepsilon)$ -近似解任意小常数$\varepsilon > 0$在输入稀疏时间，提高了以前最有名的算法，产生一个$d \cdot \mathrm{polylog} n$ -近似解。当损失函数是一个一般的对称范数，我们的算法产生一个$\sqrt{d} \cdot \mathrm{polylog} n \cdot \mathrm{mmc}(\ell)$近似的解决方案，在输入稀疏时间，其中$\mathrm{mmc}(\ell)$是一个数量相关的对称范数考虑。据我们所知，这是第一个输入稀疏时间算法与可证明的保证一般类对称范数回归问题。我们的研究结果揭示了解决线性回归的普遍素描问题，该技术可能是独立的兴趣，更广泛的数值线性代数问题。
2019-10-07 cs.DS cs.LG
Theoretical and Experimental Analyses of Tensor-Based Regression and Classification
Tokyo Institute of Technology（东京工业大学）；The Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Tokyo（东京大学）
我们从理论和实验上研究基于张量的回归和分类。我们的重点是各种张量范数的正则化，包括重叠迹范数，潜在迹范数和缩放潜在迹范数。我们首先给出了使用交替方向乘法器的双重优化方法，当训练样本的数量适中时，该方法计算效率高。然后，我们从理论上推导出每个张量范数的超额风险界，并澄清它们的行为。最后，我们使用模拟和真实数据进行了大量的实验，并证明了基于张量的学习方法优于基于向量和矩阵的学习方法。
2015-09-06 cs.LG stat.ML
Concordance based Survival Cobra with regression type weak learners
IIT Guwahati（印度理工学院古瓦哈提分校）
在本文中，我们通过组合回归策略预测条件生存函数。我们把弱学习者看作不同的随机生存树。我们建议在右删失设置中最大化一致性以找到最佳参数。我们探讨了两种方法，一种常见的生存眼镜蛇和一种新的加权预测的基础上的一致性指数。我们提出的公式使用两种不同的规范，比如说，最大范数和Frobenius范数，从测试数据集中的查询点找到一个接近的预测集。我们通过三个不同的现实生活中的数据集实现来说明我们的算法。
2022-10-11 cs.AI cs.LG q-bio.QM
Detecting Urban PM$_{2.5}$ Hotspots with Mobile Sensing and Gaussian Process Regression
Eidgenössische Technische Hochschule Zürich（瑞士联邦理工学院苏黎世分校）；University of Cambridge（剑桥大学）
针对移动感知PM₂.₅数据识别热点时面临的空间采样不均等挑战，提出含数据归一化、高斯过程回归等四步骤的方法，在基加利生成200米分辨率污染地图并识别热点，在北京模拟数据中验证了准确性，可助力城市空气质量监测。
2025-09-21 cs.LG stat.AP
An $O(n\log(n))$ Algorithm for Projecting Onto the Ordered Weighted $\ell_1$ Norm Ball
University of California, Los Angeles（加州大学洛杉矶分校）
有序加权$\ell_1$（OWL）范数是回归的离散收缩和聚类算法（OSCAR）范数的新推广。该范数具有理想的统计特性，可用于同时执行聚类和回归。在本文中，我们展示了如何计算投影的$n$维向量到OWL范数球的$O(n\log(n))$操作。此外，我们说明了我们的算法的合成回归测试的性能。
2015-06-26 cs.LG math.OC
Local Polynomial Lp-norm Regression
Dept. of Computer Science, Mathematics, Physics and Statistics, University of British Columbia（计算机科学、数学、物理与统计学系，不列颠哥伦比亚大学）；Dept. of Statistical Sciences, University of Toronto（统计学系，多伦多大学）
针对非高斯噪声下局部最小二乘估计失效的问题，提出局部多项式 Lp-范数回归方法，通过加权 Lp-范数估计进行局部拟合，并引入从残差估计参数 p 的新方法，在一维及二维数据中均表现优越。
2025-04-25 cs.LG stat.ML stat.OT
Approximation bounds for norm constrained neural networks with applications to regression and GANs
Wuhan University（武汉大学）；The Hong Kong University of Science and Technology（香港科技大学）
研究了权值具有范数约束的ReLU神经网络的逼近能力。我们证明了这些网络的光滑函数类的逼近误差的上界和下界。下界是通过神经网络的Rademacher复杂性导出的，这可能是独立的兴趣。我们应用这些近似界来分析使用范数约束神经网络的回归和GANs的分布估计的收敛性。特别是，我们得到了过参数化神经网络的收敛速度。研究还表明，当神经网络是一个适当选择的范数约束神经网络时，GANs可以达到最优的学习概率分布率。
2023-03-30 cs.LG cs.NA math.NA
l1-norm Penalized Orthogonal Forward Regression
University of Reading（雷丁大学）；University of Southampton（南安普顿大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）；CSIRO Mathematics and Information Sciences（联邦科学与工业研究组织数学与信息科学研究所）；Charles Sturt University（查尔斯特大学）
基于留一均方误差（LOOMSE）的概念，提出了一种l1-范数惩罚正交前向回归（l1-POFR）算法。首先，在构造的正交空间中定义一个新的l1范数惩罚代价函数，每个正交基对应一个可调的正则化参数。其次，由于正交计算，LOOMSE可以解析计算，而无需实际分裂的数据集，而且最优正则化参数的最小LOOMSE的封闭形式推导。第三，提出了一个正则化参数的下界，它可以用于鲁棒LOOMSE估计通过自适应检测和删除回归到一个无效的集合，使算法的计算成本显着降低。包括说明性的例子来证明这种新的l1-POFR方法的有效性。
2015-09-04 cs.LG stat.ML
Reproducing Kernel Banach Spaces with the l1 Norm II: Error Analysis for Regularized Least Square Regression
Arizona State University（亚利桑那州立大学）；Sun Yat-sen University（中山大学）
估计正则化学习方案的学习率的典型方法是通过采样误差、假设误差和正则化误差之和来限制近似误差。使用满足线性表示定理的再生核空间带来了自动从和中丢弃假设误差的优点。按照这个方向，我们说明了如何再生核Banach空间与l1范数可以应用于提高学习率估计的l1正则化在机器学习。
2011-01-27 cs.LG math.FA stat.ML
Sketching for Kronecker Product Regression and P-splines
Northeast Normal University（东北师范大学）；Carnegie Mellon University（卡内基梅隆大学）
TensorSketch是Pagh'13中引入的一种不经意的线性草图，后来在Pham，Pagh'13中用于多项式内核的SVM。在Avron，Nguyen，Woodruff'14中表明，TensorSketch提供了子空间嵌入，因此可以用于典型相关分析，低秩近似和多项式内核的主成分回归。我们将TensorSketch置于多项式内核的背景之外，并在底层设计矩阵是较小矩阵的Kronecker乘积的应用中展示其实用性。这使我们能够解决Kronecker乘积回归和非负Kronecker乘积回归，以及正则化样条回归。我们的主要技术成果是将TensorSketch扩展到其他规范。也就是说，TensorSketch仅为Kronecker乘积回归提供关于$2$范数的输入稀疏时间。我们展示了如何解决克罗内克产品回归方面的$1$ -范数在时间次线性计算克罗内克产品所需的时间，以及更一般的$p$ -范数。
2017-12-27 cs.DS cs.LG stat.ML
Subspace Embedding and Linear Regression with Orlicz Norm
Columbia University（哥伦比亚大学）
我们考虑的情况下，当损失是一个Orlicz范数的经典线性回归问题的推广。Orlicz范数由非负凸函数$G:\mathbb{R}_+\rightarrow\mathbb{R}_+$参数化，其中$G(0)=0$：向量$x\in\mathbb{R}^n$的Orlicz范数定义为$ \|x\|_G=\inf\left\{α>0\large\mid\sum_{i=1}^n G(|x_i|/α)\leq 1\right\}. $我们考虑函数$G(\cdot)$次二次增长的情况。我们的主要结果是基于一个新的不经意嵌入，它嵌入一个给定的矩阵$A\in\mathbb{R}^{n\times d}$的列空间与Orlicz范数到一个低维空间与$\ell_2$范数。具体来说，我们将展示如何有效地找到一个嵌入矩阵$S\in\mathbb{R}^{m\times n},m<n$，使$\forall x\in\mathbb{R}^{d},Ω(1/(d\log n)) \cdot \|Ax\|_G\leq \|SAx\|_2\leq O(d^2\log n) \cdot \|Ax\|_G.$通过应用这种子空间嵌入技术，我们显示了一个近似算法的回归问题$\min_{x\in\mathbb{R}^d} \|Ax-b\|_G$，一个$O(d\log^2 n)$的因素。作为我们的技术的进一步应用，我们还展示了如何使用它们…
2018-06-17 cs.DS cs.LG
Distribution Free Uncertainty for the Minimum Norm Solution of Over-parameterized Linear Regression
Tel Aviv University（特拉维夫大学）
学习理论的一个基本原则是，在预测规则的复杂性和它的泛化能力之间存在一个权衡。现代的机器学习模型并不遵循这种范式：即使与训练集完美拟合，它们也会产生准确的预测。我们研究过参数化线性回归模型，重点是最小范数解：这是具有最小范数的解，可以完美拟合训练集。我们利用最近提出的预测归一化最大似然（pNML）的学习者，这是最小-最大遗憾的解决方案的分布自由设置。我们推导出这个最小-最大遗憾，这是与预测的不确定性的上限。我们发现，如果测试样本主要是在一个子空间中的特征向量与大的特征值的经验相关矩阵的训练数据，该模型的推广，尽管其过参数化的性质。我们展示了使用pNML遗憾作为合成数据上的逐点可学习性度量，并成功地观察到UCI数据集上的过参数化模型的双下降现象。
2021-06-17 cs.LG stat.ML
Hierarchical Bayesian Regression for Multi-Site Normative Modeling of Neuroimaging Data
Radboud University（拉德堡德大学）；Radboud University Medical Centre（拉德堡德大学医学中心）；University of Oslo（奥斯陆大学）；Oslo University Hospital（奥斯陆大学医院）；King’s College London（伦敦国王学院）
临床神经影像学最近见证了数据可用性的爆炸性增长，这使得研究临床队列中的异质性成为人们关注的焦点。规范建模是实现这一目标的一个新兴统计工具。然而，其应用在技术上仍然具有挑战性，这是由于在适当地处理干扰变化方面的困难，例如由于图像采集设备的可变性。在这里，在一个完全概率的框架，我们提出了一个应用程序的层次贝叶斯回归（HBR）多站点规范建模。我们的实验结果证实了HBR的优越性，在获得更准确的规范范围的大型多站点神经影像学数据相比，广泛使用的方法。这提供了以下可能性：i）在大型多站点数据上学习结构和功能大脑测量的规范范围; ii）在本地小数据上重新校准和重用学习的模型;因此，HBR关闭了将规范建模应用为精神障碍诊断和预后的医学工具的技术循环。
2020-05-25 cs.LG stat.AP stat.ML
Estimating regression errors without ground truth values
University of Helsinki（赫尔辛基大学）
回归分析是一种标准的监督机器学习方法，用于根据一组预测变量对结果变量进行建模。在大多数现实世界的应用中，我们不知道在训练数据之外预测的结果变量的真实值，即，真值是未知的。因此，由于过度拟合和概念漂移等现象，无法直接观察模型的估计何时可能是错误的。在本文中，我们提出了一个有效的框架估计的推广误差的回归函数，适用于任何家庭的回归函数时，真值是未知的。我们提出了一个理论推导的框架和经验评估其优势和局限性。我们发现，它执行鲁棒性，是有用的检测概念漂移数据集在几个现实世界的领域。
2019-10-09 cs.LG stat.ML
Active Linear Regression for $\ell_p$ Norms and Beyond
UMass Amherst（马萨诸塞大学阿默斯特分校）；NYU（纽约大学）；CMU（卡内基梅隆大学）
我们研究了线性回归的主动抽样算法，其目的是只查询一个目标向量$b\in\mathbb R^n$的几个条目，并输出一个接近极小值的$\min_{x\in\mathbb R^d} \|Ax-b\|$，设计矩阵$A\in\mathbb R^{n \times d}$和损失$\|\cdot\|$。对于任何$0<p<\infty$的$p$范数回归，我们给出了一个基于Lewis权重采样的算法，该算法仅使用$\tilde O(d/ε^2)$查询来输出$(1+ε)$近似解，$b$用于$p\in(0,1)$，$\tilde{O}(d/ε)$查询用于$1<p<2$，以及$\tilde{O}(d^{p/2}/ε^p)$查询用于$2<p<\infty$。对于$0<p<2$，我们的边界是最佳的对数因子，解决了这个范围内的查询复杂性。对于$2<p<\infty$，我们对$d$的依赖性是最优的，而我们对$ε$的依赖性最多偏离$ε$，达到对数因子。我们的结果解决了[CD 21]的一个悬而未决的问题，他给出了$1$范数的接近最优的界限，但需要$d^2/ε^2$样本进行$\ell_p$回归与$1<p<2$，并且没有给出$2<p<\infty$或$0<p<1$的界限。我们还给出了$O(d^{\max\{1,p/2\}}\log^2n)$对$p$次多项式增长损失函数的第一全灵敏度界，改进了[TMF 20]的一个结果.通过…
2022-09-26 cs.DS cs.LG stat.ML
PROMPT: Parallel Iterative Algorithm for $\ell_{p}$ norm linear regression via Majorization Minimization with an application to semi-supervised graph learning
在本文中，我们考虑的问题，$\ell_{p}$范数线性回归，它有几个应用，如稀疏恢复，数据聚类，和半监督学习。这个问题，即使凸，不享有一个封闭的形式的解决方案。现有技术的算法是迭代的，但存在收敛问题，即，它们或者在p>3时发散，或者收敛到最优解对算法的初始化敏感。而且，这些算法不能推广到$p$的每个可能值。本文基于优化最小化原理，提出了一种求解$\ell_{P}$范数回归问题的迭代算法：并行迭代AlgOrithM（PROMPT），并证明了该算法是单调的，且对$p$的任意值都收敛于问题的最优解.该算法还可以快速更新回归变量的每个元素，这有助于有效地处理大规模数据，这是数据爆炸时代的常见情况。随后，我们表明，该算法也可以应用于基于图的半监督学习问题。我们通过数值模拟表明，该算法收敛到最优解的任何随机初始化，也比最先进的算法在收敛速度方面表现得更好。我们还评估了所提出的算法的性能，使用模拟和真实数据的基于图的半监督学习问题。
2021-10-23 cs.LG eess.SP
Quantum Algorithms and Lower Bounds for Linear Regression with Norm Constraints
QuSoft（量子软件联盟）；CWI（荷兰国家数学与计算机科学研究所）；University of Amsterdam（阿姆斯特丹大学）
Lasso和Ridge是机器学习和统计学中的重要最小化问题。它们是具有平方损失的线性回归的版本，其中系数的向量$θ\in\mathbb{R}^d$被约束在$\ell_1$ -范数（对于Lasso）或$\ell_2$ -范数（对于Ridge）中。我们研究了量子算法的复杂性，寻找这些最小化问题的$\varepsilon$ -极小。我们表明，对于拉索，我们可以得到一个二次量子加速$d$方面，通过加快弗兰克-沃尔夫算法的每次迭代的成本，而脊最好的量子算法是线性的$d$，是最好的经典算法。作为Lasso的量子下界的一个副产品，我们还证明了Lasso的第一个经典下界，它紧到多项式因子。
2022-07-19 cs.CC cs.DS cs.LG
A Computational Transition for Detecting Multivariate Shuffled Linear Regression by Low-Degree Polynomials
Peking University（北京大学）
研究多变量洗牌线性回归中低次多项式算法的性能转变，揭示在不同维度和噪声水平下算法区分能力的变化。
2026-01-26 cs.LG math.PR math.ST
Interpolating Predictors in High-Dimensional Factor Regression
Cornell University（康奈尔大学）
本文研究了高维回归模型中最小范数插值预测风险的有限样本性质。如果有效秩的协方差阵$Σ$的$p$回归功能是远远大于样本量$n$，我们表明，最小范数插值预测是不可取的，因为它的风险接近的风险平凡预测响应0。然而，令人惊讶的是，我们详细的有限样本分析显示，当回归响应和特征是{ \it联合}低维时，这种行为并不存在，遵循广泛使用的因子回归模型。在这个流行的模型类中，当$Σ$的有效秩小于$n$时，同时仍然允许$p \gg n$，超额风险的偏差和方差项都可以被控制，并且最小范数插值预测器的风险接近最优基准。此外，通过对偏差项的详细分析，我们展示了我们的超额风险上限接近于零的模型类，而最近的工作arXiv：1906.11300中相应的上限发散。此外，我们表明，最小范数插值预测因子回归模型下分析，尽管是模型不可知的，没有调整参数，可以有类似的风险，基于主成分回归和岭回归的预测，并可以提高基于LASSO的预测，在高维制度。
2021-03-20 cs.LG math.ST stat.ML
Kernel Ridge Regression over Hölder Classes: Function and Derivative Losses
该研究针对Hölder-Zygmund类的非参数回归，证明了设定错误的核岭回归可达到极小极大L2速率，同时发现其在Hölder-Zygmund范数下的正则化恰当性会随样本量增大失效。
2026-11-03 cs.LG math.ST stat.ML
