Wasserstein regularization for sparse multi-task regression
INRIA(法国国家信息与自动化研究所);Google(谷歌);CREST / ENSAE(法国经济统计与计量研究中心/法国国家统计与经济管理学院)
我们专注于在本文中的高维回归问题,其中每个回归可以关联到一个物理空间中的位置,或更一般地说,一个通用的几何空间。这类问题通常使用稀疏先验,它使用一小部分回归量来提升模型。为了增加统计功效,提出了所谓的多任务技术,其包括同时估计几个相关模型。结合稀疏性假设,它导致模型强制执行跨模型共享的主动回归量,例如由于L1 / Lq范数。我们认为,在本文中,这些技术未能利用与回归相关的空间信息。事实上,虽然稀疏先验强制只使用一小部分变量,但考虑到在实际数据中观察到的空间变异性,这些回归变量在所有任务中重叠的假设过于简单化。在本文中,我们提出了一个凸正则化多任务回归编码一个更灵活的几何。我们的正则化是基于不平衡的最优运输(OT)理论,并可以考虑到先验几何知识的回归变量,而不一定需要重叠的支持。我们推导出一个有效的算法的基础上,定期制定的OT,迭代通过应用Sinkhorn的算法随着坐标下降迭代。我们的模型的性能表现在常规网格与合成和真实的数据集,以及复杂的三角形几何形状的皮层与神经成像中的应用。
2019-01-08 cs.LG stat.ML
Divide and Conquer Kernel Ridge Regression: A Distributed Algorithm with Minimax Optimal Rates
UC Berkeley(加州大学伯克利分校)
我们建立了最佳的收敛速度的分解为基础的可扩展的方法,核岭回归。该方法描述简单:它随机将大小为N的数据集划分为m个相等大小的子集,为每个子集计算独立的核岭回归估计,然后将局部解平均为全局预测器。与对所有N个样本执行核岭回归的标准方法相比,这种划分导致计算时间大幅减少。我们的两个主要定理建立,尽管计算速度加快,统计最优性被保留:只要m不是太大,分区为基础的估计达到统计最小最大率在所有估计使用N个样本的集合。作为具体的例子,我们的理论保证,处理器的数量m可能会增长接近线性有限秩内核和高斯内核和多项式N为索伯列夫空间,这反过来又允许计算成本大幅降低。最后,我们对模拟数据和音乐预测任务进行了实验,补充了我们的理论结果,展示了我们的方法在计算和统计方面的优势。
2014-04-29 cs.LG math.ST stat.ML
Efficient Truncated Linear Regression with Unknown Noise Variance
MIT(麻省理工学院);UC Berkeley(加州大学伯克利分校)
截断线性回归是统计学中的经典挑战,其中标签$y = w^T x + \varepsilon$及其对应的特征向量$x \in \mathbb{R}^k$仅在标签落入某个子集$S \subseteq \mathbb{R}$中时才被观察到;否则$(x, y)$对的存在被隐藏而无法观察到。自~ \citet{tobin1958estimation,amemiya1973regression}的早期工作以来,截断观测值的线性回归在其一般形式上仍然是一个挑战。当误差的分布是正态分布且方差已知时,最近的工作~ \citet{daskalakis2019truncatedregression}提供了线性模型$w$的计算和统计上有效的估计。在本文中,我们提供了第一个计算和统计上有效的估计截断线性回归的噪声方差是未知的,估计线性模型和噪声的方差。我们的估计是基于一个有效的实施投影随机梯度下降的负对数似然截断样本。重要的是,我们证明了我们的估计误差是渐近正态的,我们用它来提供明确的置信区域为我们的估计。
2022-08-25 cs.LG stat.ME
$L_0$ Feature Selection via Monte Carlo Tree Search in High-Dimensional Financial Regression
LAMSADE, Université Paris Dauphine-PSL, CNRS(LAMSADE,巴黎多芬大学-PSL,法国国家科学研究中心)
本研究针对高维金融回归的特征选择问题,提出基于蒙特卡洛树搜索与GNRPA的框架,在纳斯达克100指数周度收益解释任务上,其样本外$R^2$优于Lasso,为金融领域稀疏解释性特征选择提供了实用替代方案。
2026-10-12 cs.LG q-fin.CP q-fin.ST
Risk and parameter convergence of logistic regression
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
当应用于逻辑回归任务时,梯度下降输出迭代,该迭代被偏置以遵循由数据定义的唯一射线。该射线的方向是数据的最大线性可分离子集的最大裕度预测值;梯度下降迭代以速率$\mathcal{O}(\ln\ln t / \ln t)$在方向上收敛到该射线。射线一般不会穿过原点,其偏移量是剩余数据上风险的有界全局最优值;梯度下降以$\mathcal{O}((\ln t)^2 / \sqrt{t})$的速率恢复该偏移量。
2019-06-08 cs.LG math.OC stat.ML
Efficient Benchmarking Is Just Feature Selection and Multiple Regression
Cohere;University of Bristol(布里斯托大学)
将高效基准测试重新定义为带特征选择的多元回归问题,使用核岭回归预测和mRMR特征选择算法,在降低计算成本的同时提高预测精度和排名相关性。
2026-10-26 cs.AI cs.CL cs.LG
Efficient Algorithms for Outlier-Robust Regression
UT Austin(德克萨斯大学奥斯汀分校);Princeton University(普林斯顿大学);Institute for Advanced Study(高等研究院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们给出了第一个多项式时间算法,用于执行线性或多项式回归,以适应示例和标签中的对抗性损坏。给定一个足够大的(多项式大小)训练集,假设D在输入空间上的边缘分布是\emph{certifiably hypercontractive},我们的算法输出一个线性函数,其平方误差接近于关于D的最佳拟合线性函数的平方误差。这个自然属性是由许多良好的研究分布,如高斯分布,强对数凹分布和均匀分布的超立方体等。我们还给出了一个简单的统计下限表明,一些分布的假设是必要的,在这种情况下取得成功。这些结果是第一次他们的同类和不知道甚至是信息理论上可能之前,我们的工作。我们的方法是基于平方和(SoS)的方法,并受到最近的应用程序的参数恢复问题的方法在无监督学习的启发。我们的算法可以被看作是一个自然的凸松弛以下概念上简单的非凸优化问题:找到一个线性函数和一个大的子集的输入损坏的样本,使最小二乘损失的子集的功能是最小化所有可能的大子集。
2020-06-04 cs.AI cs.DS cs.LG
Comparing the Moore-Penrose Pseudoinverse and Gradient Descent for Solving Linear Regression Problems: A Performance Analysis
University of Pittsburgh(匹兹堡大学)
本文比较了求解线性回归问题的Moore-Penrose伪逆与梯度下降法,分析了两者在计算时间、数值稳定性和预测准确性方面的表现,为选择直接精确解或迭代近似解提供实用指导。
2025-05-29 cs.LG
Sample complexity and effective dimension for regression on manifolds
School of Electrical and Computer Engineering(电气与计算机工程学院);Georgia Institute of Technology(佐治亚理工学院)
本文利用再生核Hilbert空间方法研究了流形上的回归问题。流形模型出现在各种各样的现代机器学习问题中,我们的目标是帮助理解利用流形结构的各种隐式和显式降维方法的有效性。我们的第一个关键贡献是建立一个新的非渐近版本的外尔定律从微分几何。由此,我们能够证明流形上的某些光滑函数空间实际上是有限维的,其复杂性根据流形维度而不是任何环境数据维度进行缩放。最后,我们表明,给定(潜在的噪声)函数值均匀随机在一个流形上,一个内核回归估计(来自流形的谱分解)产生最小最优的误差范围,由有效尺寸控制。
2020-10-16 cs.LG math.ST stat.ML
Conditional Uncorrelation and Efficient Non-approximate Subset Selection in Sparse Regression
Xi’an Jiaotong University(西安交通大学);State Key Laboratory of Management and Control for Complex Systems(复杂系统管理与控制国家重点实验室)
给定$m$ $d$ -维响应变量和$n$ $d$ -维预测变量,稀疏回归为线性近似$1\leq k \leq d-1$的每个响应变量找到最多$k$预测变量.稀疏回归中的关键问题是子集选择,这通常具有很高的计算代价。近年来,提出了许多改进的近似子集选择方法。然而,非近似的子集选择方法却很少受到关注,而这对于数据分析中的许多问题是非常必要的。本文从相关性的角度考虑稀疏回归问题,给出了条件不相关性的计算公式。在此基础上,提出了一种有效的非近似子集选择方法,该方法不需要计算回归方程中的任何系数。通过该方法,稀疏回归中每个候选子集的计算复杂性从$O(\frac{1}{6}{k^3}+mk^2+mkd)$降低到$O(\frac{1}{6}{k^3}+\frac{1}{2}mk^2)$。由于维数$d$一般为观测或实验的个数且足够大,因此该方法可以大大提高非近似子集选择的效率。
2020-11-24 cs.LG stat.ML
Sparse Bayesian Learning via Stepwise Regression
Cornell University(康奈尔大学)
稀疏贝叶斯学习(SBL)是一个强大的框架,用于在概率模型中实现稀疏性。在这里,我们提出了一个坐标上升算法SBL称为相关匹配追踪(RMP),并表明,由于其噪声方差参数为零,RMP表现出惊人的连接逐步回归。此外,我们得到新的保证逐步回归算法,这也揭示了RMP。我们对前向回归的保证改进了具有噪声的正交匹配追踪的确定性和概率结果。我们对确定系统的后向回归的分析最终在子集选择问题的最优解的残差上有界,如果满足,则保证结果的最优性。据我们所知,这个界限是第一个可以在多项式时间内计算的,并且主要取决于矩阵的最小奇异值。我们报告使用各种特征选择算法的数值实验。值得注意的是,RMP及其限制性变体都是有效的,并保持了相关特征的强大性能。
2021-06-11 cs.IT cs.LG math.IT
Distributional Adaptive Soft Regression Trees
随机森林是一种与许多问题相关的集成方法,例如回归或分类。它们由于其良好的预测性能而受欢迎(与,例如,决策树)仅需要超参数的最小调整。它们是在训练过程中通过聚合多元回归树构建的,通常使用硬分裂规则递归计算。最近回归森林已被纳入到分布回归的框架中,这是一种当今流行的回归方法,旨在估计完整的条件分布,而不是像经典方法那样仅将输出变量的平均值与输入特征相关联。本文提出了一种新的类型的分布回归树使用多元软分裂规则。软分裂的一个很大的优点是,光滑的高维函数可以估计只有一棵树,而函数的复杂性是自适应控制的信息准则。此外,寻找最佳的分裂变量是过时的。我们通过广泛的模拟研究表明,该算法具有优良的性能,优于各种基准方法,特别是在存在复杂的非线性特征相互作用。最后,我们说明了我们的方法的有用性与太阳活动的概率预测的一个例子。
2022-10-19 stat.CO stat.ME stat.ML
Subset-of-Data Variational Inference for Deep Gaussian-Processes Regression
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校);RIKEN Center for AI Project(理化学研究所人工智能项目中心)
深度高斯过程(DGP)是高斯过程的多层灵活扩展,但其训练仍然具有挑战性。稀疏近似简化了训练,但通常需要对大量诱导输入及其跨层位置进行优化。在本文中,我们通过将位置设置为固定的数据子集并从变分分布中对诱导输入进行采样来简化训练。这减少了可训练的参数和计算成本,而没有显着的性能下降,我们的回归问题的经验结果表明。我们的修改简化和稳定DGP训练,同时使其适合设置诱导输入的采样方案。
2021-07-17 cs.LG stat.ML
Best subset selection, persistence in high-dimensional statistical learning and optimization under $l_1$ constraint
设$(Y,X_1,...,X_m)$为随机向量。期望基于$(X_1,...,X_m)$来预测$Y$。预测方法的例子是回归,分类使用逻辑回归或分离超平面,等等。我们考虑最佳子集选择的问题,并研究它的上下文中$m=n^α$,$α>1$,其中$n$是观察的数量。我们调查的程序是基于经验风险最小化。它示出,在常见的情况下,我们的目标应该是找到最好的子集之间的大小是顺序$o(n/\log(n))$。它还表明,在某种"渐近意义“,当假设一定的稀疏性条件,有没有损失,让$m$远大于$n$,例如,$m=n^α, α>1$。这与从尺寸小于$n$的“最佳”子集开始并且不管$α$的值如何相比。然后,我们研究的条件下,经验风险最小化受$l_1$约束产生近最佳子集。这些结果推广了Greenshtein和Ritov最近的一些结果。最后,我们提出了一个高维模拟研究的“升压型”的分类过程。
2007-02-23 math.ST stat.TH
Fast Gaussian Process Regression for Big Data
Chennai Mathematical Institute(金奈数学研究所);Indian Statistical Institute(印度统计研究所)
高斯过程广泛用于回归任务。高斯过程应用于回归任务的一个已知限制是解的计算需要执行矩阵求逆。该解决方案还需要在存储器中存储大型矩阵。这些因素限制了高斯过程回归在中小规模数据集上的应用。我们提出了一种算法,结合使用的方式类似的引导获得的数据的子集开发的模型的估计。样本量是该算法的关键参数。在详细的实验研究的基础上,为算法参数的合理选择提供了指导。已经提出了各种技术来将高斯过程扩展到大规模回归任务。最合适的选择取决于问题的上下文。所提出的方法是最适合的问题,其中添加剂模型工作良好,响应依赖于少量的功能。这种问题的极小极大收敛速度是有吸引力的,我们可以用一小部分数据建立有效的模型。随机变分高斯过程和稀疏高斯过程也是这类问题的合适选择。这些方法基于理论考虑选择数据的子集。该算法使用装袋和随机抽样。作为本研究的一部分进行的实验结果表明,在这项工作中提出的算法可以作为有效的这些方法。模型堆叠可用于将用所提出的方法开发的模型与来自用于大规模回归的其他方法(例如梯度提升树)的模型相结合。这可以产生性能增益。
2017-08-19 cs.LG stat.ML
Regularization Strategies for Quantile Regression
Google Research(谷歌研究院)
我们研究了不同的方法来正则化分位数回归时预测的一个子集的分位数或完整的逆CDF。我们表明,即使只预测一个特定的分位数时,最大限度地减少预期的弹球损失的连续分布的分位数是一个很好的正则化。对于预测多个分位数,我们建议通过使用将分位数视为单调输入特征的深度网格网络来实现非交叉分位数的经典目标,并且我们讨论了为什么其他特征的单调性是分位数回归的适当正则化器。我们表明,晶格模型使正则化的预测分布的位置-规模的家庭。最后,我们建议应用速率约束来改进特定兴趣子集上的分位数预测的校准,并提高公平性度量。我们展示了我们的贡献模拟,基准数据集,和真正的分位数回归问题。
2021-02-09 cs.LG stat.ME stat.ML
NeuRecover: Regression-Controlled Repair of Deep Neural Networks with Training History
Fujitsu Limited(富士通有限公司);National Institute of Informatics(国立信息学研究所)
鉴于对包括安全关键型应用在内的实际应用的需求日益增长,提高深度神经网络(DNN)质量的系统技术至关重要。关键的挑战来自于更新DNN的可控性。为了纠正某些行为而进行的再培训通常会对其他行为产生破坏性影响,导致回归,即,更新后的DNN在原始DNN正确处理输入的情况下失败。这个问题是至关重要的,当工程师需要调查的安全或信任的密集保证活动的失败。DNN的基于搜索的修复技术有可能通过仅对DNN内部的“负责参数”进行本地化更新来解决这一挑战。然而,潜力还没有被探索,以实现足够的可控性,以抑制回归DNN修复任务。在本文中,我们提出了一种新的DNN修复方法,该方法利用训练历史来判断哪些DNN参数应该改变或不应该改变以抑制回归。我们将该方法实现到一个名为NeuRecover的工具中,并使用三个数据集对其进行评估。我们的方法优于现有的方法,实现往往不到四分之一,甚至在某些情况下,十分之一,回归的数量。我们的方法是特别有效的,当维修要求是严格的,以修复特定的故障类型。在这种情况下,我们的方法显示出稳定的低回归率(<2%),在许多情况下,这是再训练引起的回归的十分之一。
2022-03-04 cs.LG cs.NE cs.SE
Controlled abstention neural networks for identifying skillful predictions for regression problems
Colorado State University(科罗拉多州立大学);University of Minnesota(明尼苏达大学)
地球系统极其复杂,而且在本质上往往是混乱的,这使得预测变得非常具有挑战性:我们不能指望总是做出完美的预测。相反,我们寻找系统的特定状态,这些状态导致比其他状态更可预测的行为,通常被称为“机会预测”。当这些机会不存在时,科学家需要能够说“我不知道”的预测系统。“我们引入了一种新的损失函数,称为“预测损失”,它允许神经网络识别回归问题的机会预测。预防损失的工作原理是在网络的预测中加入不确定性,以识别更有信心的样本,并对不太有信心的样本弃权(说“我不知道”)。该控制器通过PID控制器设计出最佳的控制量,或放弃用户自定义的控制量。与许多在训练后将不确定性附加到神经网络预测的方法不同,在训练期间应用修正损失以优先从更自信的样本中学习。反射损失建立在标准计算机科学方法上。虽然标准方法本身是一种简单而强大的工具,可以将不确定性纳入回归问题,但我们证明,对于这里探讨的合成气候用例,反射损失优于这种更标准的方法。所提出的损失函数的实现在大多数为回归设计的网络架构中是直接的,因为它只需要修改输出层和损失函数。
2021-04-16 cs.LG physics.ao-ph
Distributed Sketching on Data Partitions for OLS Regression
School of Computer Science, University of Oklahoma(俄克拉荷马大学计算机科学学院)
研究OLS回归的分布式草图绘制,通过在分区子集上进行草图绘制降低计算成本,在固定设计设置下刻画平均OLS估计器的确切超额损失,结果表明子集协方差差异小时该损失与全数据集草图绘制的损失相当。
2026-11-05 cs.LG
A Consistent and Scalable Algorithm for Best Subset Selection in Single Index Models
University of Science and Technology of China(中国科学技术大学);Sun Yat-Sen University(孙中山大学);National University of Singapore(新加坡国立大学);Yale University(耶鲁大学)
本文针对高维单指标模型中最佳子集选择的计算难处理性问题,提出一种可证明可扩展的算法,通过广义信息准则自动确定支撑集大小,并直接证明了子集选择一致性和oracle性质,仿真显示其计算高效且能精确恢复最佳子集。
2025-08-17 cs.LG stat.CO stat.ME
Subsampling for Ridge Regression via Regularized Volume Sampling
Department of Computer Science University of California Santa Cruz(加州大学圣克鲁兹分校计算机科学系)
给定$n$向量$\mathbf{x}_i\in \mathbb{R}^d$,我们想要拟合噪声标签$y_i\in\mathbb{R}$的线性回归模型。岭估计是解决这个问题的经典方法。然而,当标签昂贵时,我们被迫仅选择向量$\mathbf{x}_i$的一个小子集,我们为其获得标签$y_i$。我们提出了一个新的程序选择的子集的向量,这样的脊估计从该子集中获得的均方预测误差在整个数据集的$n$标记的向量提供了强有力的统计保证。所需标签的数量与问题的统计维度成比例,该问题的统计维度通常比$d$小得多。我们的方法是一个扩展的联合二次抽样程序称为体积采样。第二个主要贡献是,我们加快了批量采样的速度,使其基本上与杠杆分数一样有效,杠杆分数是主要的i.i.d.。本次任务的抽样程序。最后,我们从理论上和实验上表明,体积采样有一个明显的优势,任何独立同分布。标签价格昂贵时的抽样。
2018-02-23 cs.LG
Efficient Optimization for Sparse Gaussian Process Regression
University of Toronto(多伦多大学);TTI-Chicago(芝加哥丰田技术研究所);Adobe Research(Adobe研究院)
我们提出了一个有效的优化算法,选择一个子集的训练数据,以诱导稀疏高斯过程回归。该算法使用单个目标(边际似然或变分自由能)来估计诱导集和超参数。该算法的空间复杂度和时间复杂度与训练集大小成线性关系,可应用于离散或连续域上的大型回归问题。实证评估表明,国家的最先进的性能在离散的情况下,在连续的情况下,竞争的结果。
2013-11-11 cs.LG
A variational Bayes approach to inference for low-dimensional parameters in high-dimensional linear regression
Sorbonne Université(索邦大学);Imperial College London(帝国理工学院伦敦分校)
针对高维线性回归的低维参数推断问题,提出一种结合平均场近似的可扩展变分贝叶斯方法,兼具计算优势与准确推断能力,且理论与数值表现均具竞争力。
2026-08-12 cs.LG math.ST stat.ML
Transfer Learning of CATE with Kernel Ridge Regression
Columbia University(哥伦比亚大学);Purdue University(普渡大学);Peking University Health Science Center(北京大学医学部);Beijing International Center for Mathematical Research, Peking University(北京大学北京国际数学研究中心)
该研究针对CATE迁移学习中重叠不足问题,提出基于KRR的重叠自适应方法,经理论推导和数值实验证实其在有限样本下效率更高、适应性更强,且在真实数据集上表现优越。
2026-08-04 cs.LG stat.ME stat.ML
Important Molecular Descriptors Selection Using Self Tuned Reweighted Sampling Method for Prediction of Antituberculosis Activity
Mangalore University(曼加洛尔大学)
本文提出了一种新的描述子选择方法--自调整加权抽样法(STRS),用于选择磺胺类药物数据的重要描述子的最佳组合。描述符被定义为在多元线性回归模型如偏最小二乘(PLS)中具有大绝对系数的描述符。在这项研究中,PLS模型的回归系数的绝对值被用来作为一个指标来评估每个描述符的重要性,然后,基于每个描述符的重要性水平,STRS顺序选择N个子集的描述符从N个蒙特卡罗(MC)抽样运行在迭代和竞争的方式。在每次抽样中,首先随机选择固定比例(例如80%)的样本,以建立回归模型。然后,基于回归系数,采用基于快速递减函数(RDF)的强制描述子选择和基于自调整采样(STS)的竞争描述子选择两步过程来选择重要的特征向量。在运行循环之后,获得多个描述符子集,并计算用描述符子集建立的PLS模型的交叉验证均方根误差(RMSECV)。具有最低RMSECV的描述符子集被认为是最佳描述符子集。通过磺胺衍生物数据集对算法的性能进行了评估。结果表明,STRS的一个很好的特点,它通常可以找到一个最佳组合的一些重要的描述符,这是解释生物的利益。此外,我们的研究表明,更好的预测是由STRS相比,全描述集PLS建模,蒙特卡罗无信息变量消除(MC-UVE)。
2014-02-21 cs.LG stat.AP stat.ML
Dimensionality Reduction for Tukey Regression
IBM Research - Almaden(IBM阿尔马登研究中心);Carnegie Mellon University(卡内基梅隆大学)
给出了过约束Tukey回归问题的第一种降维方法。Tukey损失函数$\|y\|_M = \sum_i M(y_i)$对于小于规定阈值$τ$的残留误差$y_i$具有$M(y_i) \approx |y_i|^p$,但是对于误差$|y_i| > τ$ $M(y_i)$变为常数。我们的结果依赖于一个新的结构结果,证明建设性的,表明任何$d$维子空间$L \subset \mathbb{R}^n$,有一个固定的有界大小的坐标子集包含,对于每个$y \in L$,所有的大坐标,相对于Tukey损失函数,$y$。我们的方法减少了一个给定的Tukey回归问题到一个较小的加权版本,其解决方案是一个可证明的良好的近似解的原始问题。我们的减少是快速,简单,易于实现,我们给出的实证结果证明其实用性,使用现有的启发式求解器的小版本。我们还给出了指数时间算法,可证明良好的解决方案,和硬度的结果表明,在最坏的情况下,显着的加速是不可能的。
2019-05-14 cs.DS cs.LG
Unbiased estimates for linear regression via volume sampling
University of California Santa Cruz(加州大学圣克鲁兹分校)
给定列多于行的满秩矩阵$X$,考虑基于列的采样子集(大小至少为行数)的伪逆来估计伪逆$X^+$的任务。我们表明,这是可能的,如果列的子集选择成比例的平方卷所选择的子矩阵(即,体积采样)的行跨越。得到的估计量是无偏的,令人惊讶的是,估计量的协方差也有一个封闭的形式:它等于一个特定的因子乘以$X^{+\top}X^+$。伪逆在解决线性最小二乘问题中起着重要的作用,我们试图为$X$的每一列预测一个标签。我们假设标签是昂贵的,并且我们仅为从$X$中采样的列的小子集提供标签。使用我们的方法,我们表明,子问题的解决方案的权重向量是一个无偏估计的最佳解决方案的基础上,所有列标签的整个问题。我们相信,这些新的公式建立了线性最小二乘和体积采样之间的基本联系。我们使用我们的方法来获得一个算法的体积采样,这是比国家的最先进的,并获得所有标记列的估计最小二乘解的总损失的界限。
2018-06-05 cs.LG
$p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets
TU Dortmund University(多特蒙德工业大学);Dortmund Data Science Center(多特蒙德数据科学中心)
本文研究了$p$ -广义概率单位回归模型,它是一个二元响应的广义线性模型。它扩展了标准的概率单位模型,用$p$-$p\in[1, \infty)$的广义正态分布替换其链接函数,标准正态cdf。$p$ -广义正态分布\citep{Sub23}在统计建模中具有特殊意义,因为它们更灵活地拟合数据。它们的尾部行为可以通过选择参数$p$来控制,该参数影响模型对离群值的敏感性。特殊情况包括拉普拉斯分布、高斯分布和均匀分布。我们进一步展示了如何最大似然估计$p$ -广义概率回归可以有效地近似到$(1+\varepsilon)$的大数据的一个因素,通过结合草图技术与重要性子采样,以获得一个小的数据摘要称为coreset。
2022-03-25 cs.DS cs.LG stat.ML
Hybrid(Penalized Regression and MLP) Models for Outcome Prediction in HDLSS Health Data
Department of Mechanical Engineering, Indian Institute of Technology Bombay(机械工程系,印度理工学院班加罗尔)
本文提出了一种结合惩罚回归和MLP的混合模型,用于预测HDLSS健康数据中的糖尿病状态,实验显示其在AUC和平衡准确性上优于传统基线模型。
2025-12-02 cs.LG
On Computationally Tractable Selection of Experiments in Measurement-Constrained Regression Models
Machine Learning Department, School of Computer Science(计算机科学学院机器学习系);Carnegie Mellon University(卡内基梅隆大学)
我们推导出计算上易于处理的方法来选择一个小的子集的实验设置从一个大的池给定的设计点。主要关注线性回归模型,而该技术也扩展到广义线性模型和Delta方法(线性回归模型的估计函数)。该算法是基于一个连续松弛的,否则棘手的组合优化问题,采样或贪婪的程序作为后处理步骤。正式的近似保证,这两种算法建立,合成和真实世界的数据上的数值结果证实了所提出的方法的有效性。
2017-12-20 cs.LG math.ST stat.ML
Selecting Subsets of Source Data for Transfer Learning with Applications in Metal Additive Manufacturing
Simon Fraser University(西蒙菲莎大学)
本文针对金属增材制造中数据不足问题,提出基于空间与模型距离度量的Pareto前沿源数据子集选择方法,并将其集成到决策树回归和微调人工神经网络中,实验证明该方法能用更少源数据实现更好或相当的迁移学习性能。
2024-01-16 cs.AI cs.LG
Robust High Dimensional Sparse Regression and Matching Pursuit
我们认为高维稀疏回归,并制定战略,能够处理任意-可能的,严重的或协调-在协方差矩阵$X$的错误。这些可能来自损坏的数据,持续的实验错误,或恶意的受访者在调查/推荐系统等非随机误差变量的问题是出了名的难以处理,正如我们所证明的,这个问题是特别明显的高维设置的主要目标是{ \em支持恢复}的稀疏回归。我们开发的算法支持稀疏回归恢复,当一些数字$n_1$出$n+n_1$总协变量/响应对{ \it任意(可能恶意)损坏}。我们感兴趣的是了解我们可以容忍多少离群值$n_1$,同时确定正确的支持。据我们所知,无论是标准的离群值拒绝技术,也不是最近开发的强大的回归算法(只关注损坏的响应变量),也不是最近的算法处理随机噪声或擦除,可以提供支持恢复的保证。也许令人惊讶的是,我们还表明,自然蛮力算法,搜索所有子集的$n$协变量/响应对,所有子集的可能的支持坐标,以尽量减少回归误差,是非常差的,无法正确地识别支持,甚至$n_1 = O(n/k)$损坏点,其中$k$是稀疏。即使在我们考虑的基本设置中也是如此,其中所有真实的测量和噪声都是独立的和亚高斯的。在这种情况下,我们提供了一个简单的算法--计算量不比OMP大--它提供了更强的性能保证,可以恢复多达$n_1 = O(n/(\sqrt{k} \log p))$损坏点的支持,其中$p$是要恢复的信号的维度。
2013-01-12 cs.IT cs.LG math.IT
Diffusion-2BC: Hybrid Diffusion and Regression Training for Offline Behavior Cloning in Autonomous Driving
Federal University of Santa Catarina(圣卡塔琳娜联邦大学)
本文提出Diffusion-2BC,结合扩散去噪与辅助回归损失,提升自动驾驶离线行为克隆的闭环可靠性,同时保持多模态预测,在Claw和CARLA任务中显著降低误差并延长行驶距离。
2026-10-09 cs.LG cs.RO
Selection of training populations (and other subset selection problems) with an accelerated genetic algorithm (STPGA: An R-package for selection of training populations with a genetic algorithm)
Michigan State University(密歇根州立大学)
最优子集选择是一个重要的任务,有许多算法为它设计,并有许多应用领域。STPGA包含一种特殊的遗传算法,该算法补充了禁忌记忆属性(跟踪先前尝试的解决方案及其多次迭代的适应度),并对解决方案编码的适应度进行回归,用于形成理想的估计解决方案(前瞻性),以搜索通用最优子集选择问题的解决方案。我已经初步开发了用于选择基因组预测或关联问题的训练群体的特定问题的程序,因此我讨论了最优实验设计背后的理论,以解释STPGA中的默认优化标准,并说明程序在这方面的用途。尽管如此,我还是选择了一些其他的应用领域:基于核比对的监督和非监督变量选择,有设计标准的监督变量选择,回归的有影响力的观察识别,解决混合整数二次优化问题,平衡育种群体中的增益和近亲繁殖。其中一些说明涉及新的统计方法。
2017-02-26 cs.LG q-bio.GN q-bio.QM
Convex and Nonconvex Sublinear Regression with Application to Data-driven Learning of Reach Sets
University of California, Santa Cruz(加州大学圣克鲁兹分校)
我们考虑从有限数据中估计一个紧集,通过次线性回归近似该集的支持函数。支撑函数唯一地刻画了直到凸化闭包的紧集,并且是次线性的(凸的以及一次正齐次的)。相反,任何次线性函数都是紧集的支撑函数。我们利用这个属性来转录的任务学习一个紧凑的集,学习其支持功能。我们提出了两个算法进行次线性回归,一个通过凸和另一个通过非凸规划。凸规划方法涉及求解二次规划(QP)。非凸规划方法涉及训练输入次线性神经网络。我们说明了所提出的方法,通过数值例子学习的控制动力学的集值输入不确定性的轨迹数据的到达集。
2023-03-23 cs.AI cs.LG cs.SY