Statistical inference for function-on-function linear regression
函数对函数线性回归对于理解响应和预测变量(均为函数)之间的关系非常重要。在这篇文章中,我们提出了一个再生核希尔伯特空间的方法来函数的函数线性回归通过惩罚最小二乘,正则化的薄板样条光滑惩罚。研究了系数函数估计的极小极大最优收敛速度。我们推导出Bahadur表示,这使我们能够提出统计推断的方法,使用自举和收敛的Banach值随机变量的超规范。我们说明我们的方法,并验证我们的理论结果,通过模拟数据实验和真实数据的例子。
2021-09-28 math.ST stat.TH
From Halfspace M-depth to Multiple-output Expectile Regression
尽管在计量经济学、风险管理和极值理论等领域对Newey和Powell(1987)的期望值概念重新产生了兴趣,但不幸的是,期望回归--或者更一般地说,M分位数回归--仍然局限于单输出问题。为了改善这一点,我们引入超平面值的多元M-分位数,表现出很强的优势,例如在等方差方面,在文献中的各种点值的多元M-分位数。像他们的竞争对手一样,我们的多元M分位数本质上是方向性的,并且在考虑所有方向时提供中心区域。这些区域定义了一个新的统计深度,半空间M-深度,其最深点,在预期的情况下,是均值向量。值得注意的是,半空间M-深度也可以通过在著名的Tukey(1975)半空间深度中用M-分位数离群度代替标准分位数离群度来获得,这支持了我们的多元M-分位数概念是自然概念的主张。我们彻底调查拟议的多元M-分位数,半空间M-深度,和相应的区域的属性。由于我们最初的动机是定义多输出期望回归方法,我们进一步专注于期望的情况。我们特别表明,预期的深度比Tukey深度更平滑,并且具有有趣的单调性特性,对于计算目的来说非常有前途。不同于他们的分位数类似物,建议的多元预期也满足多元风险措施的一致性公理。最后,我们表明,我们的多元预期确实允许执行多输出预期回归,这是说明了模拟和真实数据。
2019-05-29 math.ST stat.TH
Exact Recovery Thresholds for Weighted Data Selection in Vector-Valued Linear Regression
该研究解决了COLT 2025开放问题中向量值线性回归加权数据选择的阈值问题,确定了精确恢复全数据损失的最小样本预算及多个加权选择分布取值,给出了中间单元的取值范围并验证相关推测,同时纠正了预印本中的错误论断。
2026-10-05 cs.LG math.ST stat.TH
Generalized regression operator estimation for continuous time functional data processes with missing at random response
在本文中,我们感兴趣的非参数核估计的广义回归函数,包括条件累积分布和条件分位数函数,基于不完全样本$(X_t, Y_t, ζ_t)_{t\in \mathbb{ R}^+}$副本的连续时间平稳遍历过程$(X, Y, ζ)$。预测器$X$在某个无限维空间中赋值,而实值过程$Y$在$ζ= 1$时被观察到,并且在$ζ= 0$时缺失。建立了估计量的逐点相合性和一致相合性(含率),以及一个中心极限定理。还提供了条件偏差和渐近二次误差。本文还讨论了广义回归函数的渐近和自举置信区间。第一个模拟研究进行比较的离散时间的连续时间的估计。第二个模拟也进行了讨论的最佳采样网格在连续时间的情况下的选择。最后,值得注意的是,我们的结果是在遍历假设下陈述的,没有假设任何经典的混合条件。
2021-10-15 math.ST stat.ME stat.TH
Nonparametric Regression with Measurement Error in Banach Spaces
University of Mississippi Medical Center(密西西比大学医学中心);Millsaps College(米尔斯普斯学院)
本文提出一个不依赖内积结构的统一框架,用于Banach空间值预测变量的非参数回归,处理测量误差,建立大样本理论,并扩展至误差变量和部分污染模型。
2026-09-15 math.ST stat.ME stat.TH
Robust Statistical Inference for Large-dimensional Matrix-valued Time Series via Iterative Huber Regression
针对维数发散且误差可能厚尾的矩阵因子模型,本文提出基于迭代 Huber 回归的稳健估计与因子数识别方法,并通过模拟及中美两类数据集验证其有效性。
2023-06-05 stat.ME
Shrinkage linear regression for symbolic interval-valued variables
本文提出一种基于Ridge Regression、Lasso和Elastic Net的符号区间值变量收缩线性回归方法,改进了现有中心法及中心和范围法,在三个真实数据集上验证了其更优的预测性能。
2024-01-10 stat.ME
Single Index Fréchet Regression
本文提出单指标 Fréchet 回归,用投影方向参数弥补 Fréchet 回归缺乏线性参数的不足,推导参数估计的渐近分布以支持假设检验,并通过模拟和 ADNI 静息态 fMRI 数据验证方法。
2023-07-11 math.ST stat.ME stat.TH
Kernel Embedding for Operator-Valued Measures and Its Application to Quantum Tomography
本文通过张量化的Bochner积分将正算子值测度嵌入再生核希尔伯特空间与量子态空间的张量积中,提出量子协方差嵌入,并应用于量子态层析成像,实现无需基依赖稀疏约束的最优密度估计。
2026-05-24 math.ST quant-ph stat.TH
Error Bounds for Learning with Vector-Valued Random Features
California Institute of Technology(加州理工学院)
本文对向量值随机特征岭回归提出直接风险泛函分析,避免随机矩阵公式,在无限维设置下证明模型误设时的强相合性及设定正确时的极小极大最优收敛速率,复杂度与蒙特卡洛直觉一致。
2023-11-15 cs.LG math.ST stat.ML
Generalized Multi-Linear Models for Sufficient Dimension Reduction on Tensor Valued Predictors
本文针对张量值预测变量,基于二次指数族建模条件分布,提出广义多线性充分降维方法,并证明其理论性质与高效计算,在模拟和真实数据中表现优越。
2025-02-27 stat.ME
Estimating Derivatives of Function-Valued Parameters in a Class of Moment Condition Models
我们开发了一个通用的方法来估计的衍生物的函数值参数$θ_o(u)$,确定为每个值的$u$作为解决方案的时刻条件。这个设置特别涵盖了条件分布的许多有趣的模型,例如分位数回归或分布回归。利用$θ_o(u)$解决了矩条件,我们从隐函数定理得到了其导数的显式表达式,并通过适当的样本模拟来估计该表达式的分量,这需要使用(局部线性)光滑。然后,我们的估计可以用于各种目的,包括估计的条件密度函数,分位数部分效应,和结构拍卖模型在经济学。
2016-10-28 stat.ME
Robust Geodesic Regression
Seoul National University(首尔大学)
研究了黎曼流形上数据的稳健回归问题。测地线回归是将线性回归推广到具有流形值因变量和一个或多个实值自变量的设置。现有的测地线回归工作使用平方和误差来找到解决方案,但在经典的欧几里德的情况下,最小二乘法是高度敏感的离群值。在本文中,我们使用M-型估计,包括$L_1$,Huber和Tukey双权估计,进行稳健测地回归,并描述如何计算后两者的调整参数。我们还表明,在紧凑的对称空间,所有的M型估计是极大似然估计,并认为整体的优越性的$L_1$估计的$L_2$和Huber估计的高维流形和Tukey biwight估计紧凑的高维流形。数值例子的结果,包括真实的神经影像数据的分析,证明了所提出的方法有前途的经验性质。
2022-01-25 cs.LG stat.ME stat.ML
Robust Error Bounds for Vector-Valued Kernel Ridge Regression
Automatic Control Laboratory, EPFL(洛桑联邦理工学院自动控制实验室)
本文针对向量值核岭回归,在输出受有界噪声干扰且算子属于再生核希尔伯特空间的假设下,推导了估计量与真实值间逐点确定性误差界,并通过数值模拟验证。研究填补了非线性向量值算子学习理论空白,对系统辨识有重要意义。
2026-09-18 math.ST stat.TH
Lasso Estimation of an Interval-Valued Multiple Regression Model
近年来,人们提出了一种考虑了区间的宽度和展度之间所有交叉关系的多元区间值线性回归模型。将一个带不等式约束的二次最优化问题转化为一个线性互补问题,用Lemke算法求解,实现了回归参数的最小二乘估计,由于某些交叉关系的不相关性,提出了一种替代估计方法--最小绝对收缩选择算子(LASSO)。提供了一个比较研究,显示拟议的估计之间的差异。
2016-02-07 math.ST stat.TH
Fenton-Wilkinson Order Statistics and German Tanks: A Case Study of an Orienteering Relay Race
有序回归介于离散值分类和连续值回归之间。有序目标变量可以与排序的随机变量相关联。这些随机变量被称为顺序统计量,它们与有序回归密切相关。然而,使用顺序统计量进行有序回归预测的挑战是找到合适的父分布。在这项工作中,我们提供了一个真实世界的定向越野接力赛的案例研究,将其视为一个随机过程。对于这个过程中,我们表明,准确的顺序统计有序回归预测的最终团队排名,或地方,可以通过假设一个对数正态分布的个人腿时间。此外,我们应用芬顿-威尔金森近似中间转换时间旁边的估计队的总人数在臭名昭著的德国坦克问题。这项工作的目的是,在某种程度上,引发兴趣,在有序回归问题的适用性研究顺序统计量。
2019-12-10 cs.LG stat.ML
Conformal Graph Prediction with Z-Gromov-Wasserstein Distances
本文提出一种基于Z-格罗莫夫瓦瑟斯坦距离的图值输出符合性预测框架,通过融合格罗莫夫-瓦瑟斯坦方法实现图结构的置换不变比较,并引入Score Conformalized Quantile Regression方法以适应复杂输出空间。
2026-07-20 cs.LG stat.ML
Getting more from your regression model: A free lunch?
我们考虑一个简单的方法来近似的详细信息的条件分布的实值响应变量,给定值的协变量,只使用标准回归模型的输出。我们验证这种方法通过评估其性能的背景下,分位数回归,当应用于线性,梯度提升树集成和随机森林模型的输出。我们发现,它比较有利的标准方法估计分位数回归函数,特别是对于通常选择的尾部概率,并具有很强的竞争力的分位数回归森林模型,在大量的基准数据集。
2022-03-20 stat.ME
Additive regression with general imperfect variables
本文研究了一类可加模型,其中响应变量为Hilbert空间值,预测变量为多元欧氏,且两者都可能是不完全观测的。考虑希尔伯特空间值的响应允许覆盖欧几里得,成分,功能和密度值变量。通过处理不完美的响应,我们可以覆盖函数变量的值在一个黎曼流形和情况下,只有一个随机样本从一个密度值的响应是可用的。这种处理也可以应用于半参数回归。处理不完美的预测,使我们能够涵盖各种主成分和奇异成分得分从希尔伯特空间值变量。对于含有这类变量的可加模型的估计,我们使用光滑后拟合方法。我们提供完整的非渐近和渐近性质的回归估计,并通过几个模拟研究和实际数据的应用,目前其广泛的应用。
2022-12-12 math.ST stat.TH
Quantile Regression with Interval Data
研究了观测值为集值时分位数和分位数回归参数的识别问题。我们定义了随机集的分位数的识别集的方式,扩展了规则随机变量的分位数的定义。然后,我们给出了尖锐的特点,这套扩展的概念,从随机集理论。对于分位数回归参数,我们证明了识别集的特征在于一个系统的条件矩不等式。这一特征扩展了正则随机变量的参数分位数回归。估计和推理理论的连续情况下,离散的情况下,非参数条件分位数,参数分位数回归。提出了一种集线性规划的快速算法。蒙特卡罗实验支持我们的理论性质。
2020-04-09 stat.ME
Functional linear regression with truncated signatures
我们把自己放在一个功能回归设置,并提出了一种新的方法回归向量值函数协变量的实际输出。该方法基于签名的概念,签名是函数作为其迭代积分的无穷级数的表示。签名关键取决于截断参数的估计提供,连同理论保证。对模拟和真实世界数据集的实证研究表明,所产生的方法与传统的函数线性模型具有竞争力,特别是当函数协变量在高维空间中取值时。
2022-06-16 stat.ME
Goodness-of-fit tests for parametric regression models with circular response
本文提出了一种用于评估具有圆形响应和$\mathbb{R}^d$值协变量的参数回归模型的检验方法,并分析了独立和空间相关数据。检验统计量基于比较(非平滑或平滑)参数圆形估计量和非参数圆形估计量的圆形距离。适当设计的引导程序校准测试在实践中也提出。有限样本性能的测试在不同的情况下,独立和空间相关的样本,通过模拟分析。
2020-08-31 stat.ME
Binary Regression and Classification with Covariates in Metric Spaces
受 logistic regression 启发,本文为无向量结构的度量空间数据提出了一种新的二元回归模型与分类器,推导了估计误差与 excess risk 的 minimax 上下界,证明了其最优性,并通过模拟和 task-related fMRI 数据验证了方法的有效性。
2024-02-14 stat.ME
Direct Bayesian Regression for Distribution-valued Covariates
本文提出一种直接利用重复测量作为协变量的分布值回归方法,避免密度估计,具有变换不变性,并基于高斯过程先验实现闭式贝叶斯推断,理论上达到最优误差界,实证优于需中间密度估计的方法。
2024-04-18 math.ST stat.ME stat.TH
Calibration tests beyond classification
Uppsala University(乌普萨拉大学);Linköping University(林雪平大学)
大多数有监督的机器学习任务都受到不可约的预测误差的影响。概率预测模型通过提供表示对似然目标的信念的概率分布而不是点估计来解决这个限制。这种模型可以成为在不确定情况下进行决策的宝贵工具,前提是模型输出是有意义的和可解释的。经过校准的模型保证概率预测既不会过度自信,也不会信心不足。在机器学习文献中,已经提出并研究了用于评估分类模型的校准的不同测量和统计测试。然而,对于回归问题,研究一直集中在一个较弱的校准条件的基础上预测的分位数为实值目标。在本文中,我们提出了第一个框架,统一的校准评估和测试一般概率预测模型。它适用于任何此类模型,包括任意维度的分类和回归模型。此外,该框架概括了现有的措施,并提供了一个更直观的重新制定最近提出的框架校准多类分类。特别是,我们重新制定和推广的内核校准误差,它的估计,并使用标量值内核的假设检验,并评估校准的实值回归问题。
2022-10-21 cs.LG stat.ML
Convergence rates of vector-valued local polynomial regression
用局部多项式回归估计函数及其导数的非参数估计是自20世纪70年代后期以来文献中研究的一个课题。给定一组$\mathcal{C}^k$光滑函数的噪声样本,我们执行局部多项式拟合,并且通过取其$m$阶导数,我们获得对$m$阶函数导数的估计。对于一个$k$倍光滑函数$f:\mathbb{R}^d \to \mathbb{R}$,这个问题的已知最优收敛速度是$n^{-\frac{k-m}{2k + d}}$ .然而,在现代应用中,经常出现这样的情况,即我们必须估计一个操作到$\mathbb{R}^D$的函数,因为$D \gg d$非常大。在这项工作中,我们证明了这些相同的收敛速度也可以实现本地多项式回归的情况下,一个高维的目标,给出一些假设的噪声分布。这一结果是一个扩展到斯通的开创性工作,从1980年到政权的高维目标域。此外,我们揭示了故障概率$\varepsilon$和实现最佳速率所需的样本数之间的连接。
2021-07-14 math.ST stat.TH
Metric space valued Fréchet regression
Budapest University of Technology and Economics(布达佩斯技术与经济大学);Université Paris-Saclay, CNRS, Univ Evry, Laboratoire de Mathématiques et Modélisation d’Evry(巴黎萨克雷大学,法国国家科学研究中心,埃夫里大学,埃夫里数学与建模实验室);Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189, CRIStAL(里尔大学,法国国家信息与自动化研究所,法国国家科学研究中心,里尔中央理工学院,CRIStAL实验室);LPSM of Sorbonne University(索邦大学LPSM)
本文提出适用于任意分离度量空间的弗雷歇均值估计器,以及适用于巴纳赫空间的条件弗雷歇均值估计器,均证明了其通用一致性。
2026-02-05 math.ST stat.ML stat.TH
Total Variation Regularized Fréchet Regression for Metric-Space Valued Data
在数据应用中,越来越多地遇到使用标量预测器(例如时间)索引的非欧几里德数据,而针对此类随机对象的统计方法学和理论尚未得到很好的发展。为了解决这一领域对新方法的需求,我们开发了一种用于非参数Fréchet回归的全变差正则化技术,它是指回归设置,其中位于度量空间中的响应与标量预测因子配对,目标是条件Fréchet均值。具体来说,我们试图近似一个未知的度量空间值函数的估计,最小化最小二乘的Fréchet版本,并在同一时间有小的总变差,适当地定义为度量空间值的对象。我们表明,由此产生的估计是由一个分段常数函数表示,并建立了极小极大收敛速度的度量数据对象,居住在Hadamard空间的估计。我们说明了模拟和真实数据,包括度量空间的对称正定矩阵的仿射不变的距离,概率分布与瓦瑟斯坦距离,和系统发育树的Billera-Holmes-Vogtmann度量的方法的数值性能。
2021-08-22 math.ST stat.ME stat.TH
Large Deviations Theorems in Nonparametric Regression on Functional Data
在本文中,我们证明了大偏差原则的Nadaraya-Watson估计的实值变量回归函数的协变量。在适当的条件下,我们证明了具有良好速率函数的点态一致大偏差定理。
2011-06-10 math.ST stat.TH
Linear Regression Using Principal Components from General Hilbert-Space-Valued Covariates
Clemson University(克莱姆森大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出AS-PCA框架,用于一般分离希尔伯特空间中随机元素的主成分分析,通过数据自适应子空间投影实现多维功能对象的处理,并构建了希尔伯特空间主成分回归模型HS-PCR,具有根n一致性及渐近正态性。
2026-03-22 math.ST stat.ME stat.TH
Matrix-Variate Regressions and Envelope Models
现代技术通常生成具有复杂结构的数据,其中响应变量和解释变量都是矩阵值。现有的方法在文献中能够处理矩阵值的预测,但相当有限的矩阵值的响应。在这篇文章中,我们研究这类数据的矩阵变量回归,其中每个实验单元上的响应Y是随机矩阵,预测变量X可以是标量、向量或矩阵,根据条件分布Y被视为非随机的|X.我们提出了矩阵变量回归模型,然后开发这些模型的包络扩展。在包络框架下,可以消除冗余的变化,估计和参数的数量可以显着减少时,矩阵变量维数是大的,可能会导致显着的效率增益。所提出的方法适用于高维环境。
2017-07-30 math.ST stat.ME stat.TH
Reduced Rank Multivariate Kernel Ridge Regression
在多元回归中,也称为机器学习中的多任务学习,目标是基于噪声观测恢复向量值函数。向量值函数通常被假定为低秩。虽然多元线性回归在文献中得到了广泛的研究,但对多元非线性回归的理论研究还很缺乏。本文研究了由\cite{mukherjee2011reduced}提出的降秩多元核岭回归。我们证明了函数预测器的一致性,并提供了收敛速度。提出了一种基于核范数松弛的算法。数值算例表明,与单变量核岭回归相比,其均方预测误差较小。
2020-05-04 math.ST stat.ME stat.TH
Nonlinear global Fréchet regression for random objects via weak conditional expectation
针对对象值预测变量的对象值响应回归,提出基于弱条件Fréchet均值和RKHS嵌入的全局非线性Fréchet回归模型,统一并扩展了现有方法。
2023-10-11 math.ST stat.ME stat.TH
IV regression with distribution-valued outcomes
University of Michigan(密歇根大学);CESifo
提出IV Fréchet回归(IVFR),一种针对结果为整个分布的工具变量方法,通过2-Wasserstein空间中的IV回归扩展全局Fréchet回归以处理内生协变量,并证明投影减少估计误差、保证有效拟合分布,且估计量弱收敛到高斯过程。
2026-05-27 econ.EM math.ST stat.ME
Dimension Reduction for Fréchet Regression
随着数据采集技术的快速发展,在新的统计应用中经常会遇到不在欧氏空间中的复杂数据对象。Fréchet回归模型(Peterson & Müller 2019)为具有度量空间值响应的回归分析提供了一个有前途的框架。本文提出了一种灵活的充分降维(SDR)方法,用于Fréchet回归,以达到两个目的:减轻高维预测因子引起的维数灾难和为Fréchet回归提供一种直观的检验工具。我们的方法足够灵活,可以将任何现有的欧氏(X,Y)SDR方法转换为欧氏X和度量空间值Y的SDR方法。基本思想是首先使用一类函数将度量空间值随机对象$Y$映射到实值随机变量$f(Y)$,然后对变换后的数据执行经典SDR。如果函数的类足够丰富,那么我们保证可以发现Fréchet SDR空间。我们证明了这样一个类,我们称之为合奏,可以产生一个通用的内核。我们建立了所提出的方法的一致性和渐近收敛速度。所提出的方法的有限样本性能的几个常见的度量空间,包括Wasserstein空间,对称正定矩阵的空间,和球的模拟研究。我们通过探索各国的人类死亡率分布数据和研究血肿密度的分布来说明我们方法的数据可视化方面。
2022-12-06 math.ST stat.ME stat.ML
Inference for best linear approximations to set identified functions
本文给出了已知位于带内的函数的最佳线性逼近的推理方法。它扩展了部分识别文献,通过允许定义频带的上下函数是任何函数,包括携带指数的函数,该指数可以参数化或非参数化估计。通过最佳线性逼近的支撑函数刻画了最佳线性逼近参数的识别域,并建立了最佳线性逼近参数的极限理论。我们证明了支撑函数近似收敛于高斯过程,并建立贝叶斯自助的有效性。本文将文献中的典型例子:区间值结果数据的均值回归和区间值回归数据的均值回归作为特例进行了嵌套。由于边界可能带有指数,因此本文涵盖了均值回归之外的问题;该框架非常通用。应用程序包括分位数和分布回归与区间值数据,样本选择问题,以及平均值,分位数和分布处理效果。此外,该框架可以说明文书的可得性。按照Mulligan和Rubinstein(2008年)的思路进行了一项应用,研究女性劳动力参与情况。
2012-12-21 math.ST stat.TH
Regression Discontinuity Design with Distribution-Valued Outcomes
Department of Economics University of Michigan(密歇根大学经济学系)
本文提出R3D方法,将断点回归设计扩展至结果为分布的设定,通过局部多项式回归和局部Fréchet回归估计局部平均分位数处理效应,并应用于研究美国州长党派控制对州内收入分布的影响。
2025-04-04 cs.LG econ.EM math.ST
Local Fréchet regression with circular predictors
本文提出了一种针对圆周预测变量的局部弗雷歇回归方法,通过严格证明估计量的偏差和随机偏差上限,拓展了弗雷歇回归在非欧几里得协变量分析中的应用范围。
2026-02-24 math.ST stat.TH
Nonparametric Bayesian Regression on Manifolds via Brownian Motion
本文提出了一个新的框架,流形值回归,并建立了它的一致性以及它的收缩率。它假设预测变量的值在区间$[0,1]$内,响应变量的值在紧致黎曼流形$M$内。此设置对于建模动态场景或形状变形等应用程序非常有用,其中视觉场景或变形对象可以通过流形建模。所提出的框架是非参数的,并使用热核(及其相关的布朗运动)流形上的平均过程。它直接推广了高斯核(作为加性噪声的自然模型)在向量值回归问题中的使用。为了避免显式依赖于热核的估计,我们遵循贝叶斯设置,其中$M$上的布朗运动在连续函数$C([0,1], M)$的空间上诱导先验分布。对于离散化布朗运动的情况下,我们建立的$L_{q}$距离的任何$1 \leq q < \infty$的后验分布的一致性。最重要的是,我们建立了任何固定$ε>0$的$O(n^{-1/4+ε})$阶收缩率,其中$n$是观测数。对于连续的布朗运动,我们建立了弱相合性。
2015-07-24 math.ST stat.AP stat.TH
Variable Selection for Additive Global Fréchet Regression
Department of Statistics, The Pennsylvania State University(宾夕法尼亚州立大学统计学系);Department of Statistics, University of Florida(佛罗里达大学统计学系)
针对一般度量空间响应的Fréchet回归问题,提出基于RKHS的加性回归模型,通过平方距离转换和Elastic Net及SCAD惩罚实现变量选择,具备强预言机性质,为非欧几里得数据分析提供了理论基础。
2025-09-17 math.ST stat.ME stat.TH
The Optimality of Polynomial Regression for Agnostic Learning under Gaussian Marginals
University of Wisconsin Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加州大学圣地亚哥分校)
研究了高斯分布下的不可知学习问题。我们开发了一种方法,通过使用LP对偶寻找硬家庭的例子,为广泛的一类问题。对于布尔值的概念类,我们表明,$L^1$ -回归算法基本上是最好的可能,因此,不可知学习的概念类的计算难度是密切相关的多项式的程度近似任何函数从类中的$L^1$ -范数。使用这种特性以及其他分析工具,我们获得了最佳SQ下界不可知学习线性阈值函数和第一个非平凡的SQ下界多项式阈值函数和半空间的交集。我们还开发了一个类似的理论不可知学习实值函数,并作为一个应用程序证明不可知学习ReLU和sigmoids的近最优SQ下界。
2021-02-08 cs.DS cs.LG math.ST