Estimating Task Completion Times for Network Rollouts using Statistical Models within Partitioning-based Regression Methods
Ericsson(爱立信)
本文提出了一种基于数据和机器学习的电信网络部署规划问题的预测解决方案。里程碑式的完成时间估计对于网络部署规划至关重要;准确的估计可以更好地利用工作人员并优化材料和物流成本。使用里程碑完成时间的历史数据,模型需要结合领域知识,处理噪音,但项目经理可以解释。本文提出了基于分区的回归模型,将数据驱动的统计模型在每个分区内,作为一个解决方案的问题。基准测试实验表明,该方法获得竞争力更好的性能,在一个小部分的模型复杂度的最佳替代方法的基础上梯度提升。实验结果也表明,该方法是有效的短期和长期的预测。所提出的想法是适用于任何情况下,需要时间序列回归噪声和属性数据。
2022-11-30 cs.AI cs.LG stat.ML
Estimating Continuous Treatment Effects with Two-Stage Kernel Ridge Regression
Department of IEOR, Columbia University(哥伦比亚大学工业工程与运营研究系);Department of IEOR and Data Science Institute, Columbia University(哥伦比亚大学工业工程与数据科学研究所)
针对连续治疗的效果函数估计问题,提出两阶段核岭回归方法,通过第一阶段建模响应与治疗和协变量的关系,第二阶段构造伪结果校正分布偏移,无需估计条件治疗密度即可达到最优学习界,并实现数据驱动的模型选择。
2026-11-17 cs.LG stat.ME stat.ML
Estimating the minimizer and the minimum value of a regression function under passive design
该研究提出被动设计下光滑强凸回归函数极小点与最小值的估计方法,极小点估计结合正则化局部多项式梯度估计与投影梯度下降,最小值估计采用两阶段策略,证明了算法达到极小极大最优收敛速率。
2023-10-08 math.ST stat.ML stat.TH
Barely Biased Learning for Gaussian Process Regression
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院)
最近的工作在可扩展的近似高斯过程回归讨论了偏置方差计算权衡时,估计对数边际似然。我们提出了一种方法,自适应地选择计算量估计时使用的对数边际似然,使目标函数的偏差是保证很小。虽然简单的原则上,我们目前的实现方法是没有竞争力的计算与现有的近似。
2021-09-20 cs.LG stat.ML
A Bayesian Regression Approach for Estimating the Impact of COVID-19 on Consumer Behavior in the Restaurant Industry
University of Mumbai(孟买大学);Birla Institute of Technology, Mesra(比尔拉理工学院,梅斯拉)
本研究针对COVID-19对餐饮业的冲击问题,构建结合哈密顿蒙特卡洛的贝叶斯回归分析框架,估计不同类型餐厅的消费者行为变化点,为从业者和政策制定者提供决策参考。
2024-04-03 cs.LG stat.AP stat.ML
Distributed linear regression by averaging
在处理大型数据集时,通常会出现分布式统计学习问题。在这种设置中,数据集在机器上进行分区,这些机器在本地计算,并传递短消息。沟通往往是瓶颈。本文研究了数据并行下统计线性模型中参数的一步加权平均和迭代加权平均。我们在每台机器上进行线性回归,将结果发送到中央服务器,并对参数进行加权平均。可选地,我们可以进行迭代,发送回加权平均值并以其为中心进行局部岭回归。与对完整数据进行线性回归相比,这种方法如何工作?在这里,我们研究的性能损失估计,测试误差,和置信区间长度在高维,其中参数的数量是可比的训练数据的大小。我们发现一步加权平均的性能损失,并给出迭代平均的结果。我们还发现,不同的问题受到不同的分布式框架。估计误差和置信区间长度增加了很多,而预测误差增加少得多。我们依靠随机矩阵理论,在那里我们开发了一个新的微积分确定性等价物作为更广泛的兴趣的工具,最近的结果。
2022-10-22 math.ST stat.CO stat.ME
Developing a machine learning framework for estimating soil moisture with VNIR hyperspectral data
Institute of Photogrammetry and Remote Sensing, Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院摄影测量与遥感研究所)
在本文中,我们探讨了潜在的估计土壤水分含量的基础上,VNIR高光谱数据结合长波红外数据。从多传感器现场活动的测量代表的基准数据集,其中包含测量的高光谱,长波红外,和土壤水分数据进行草地网站。我们介绍了一个回归框架,包括三个步骤的特征选择,预处理和精心选择的回归模型。后者主要是有监督的机器学习模型。一个例外是结合了无监督学习和监督学习的自组织映射。我们分析了不同的预处理方法对回归结果的影响。在所有回归模型中,没有预处理的极端随机树模型提供了最好的估计性能。我们的研究结果揭示了各自的回归框架与VNIR高光谱数据相结合,估计土壤水分在现实世界条件下测量的潜力。总之,本文的研究结果为不同研究方向的进一步改进提供了依据。
2018-07-12 cs.CV cs.LG stat.ML
Mean Absolute Percentage Error for regression models
在本文中,我们研究了使用平均绝对百分比误差(MAPE)作为回归模型质量度量的后果。证明了最优MAPE模型的存在性,并证明了基于MAPE的经验风险最小化的普适性。我们还表明,在MAPE下找到最佳模型相当于进行加权平均绝对误差(MAE)回归,并且我们将这种加权策略应用于核回归。MAPE核回归的行为示出了模拟数据。
2017-07-10 stat.ML
Estimating and Evaluating Regression Predictive Uncertainty in Deep Object Detectors
Institute for Aerospace Studies(航空航天研究所);University of Toronto(多伦多大学)
预测性不确定性估计是在安全关键任务中可靠部署深部物体探测器的重要下一步。在这项工作中,我们专注于估计预测分布的限界框回归输出方差网络。我们表明,在目标检测的背景下,负对数似然(NLL)的训练方差网络可以导致高熵预测分布,无论输出均值的正确性如何。我们建议使用能量分数作为非局部适当的评分规则,并发现当用于训练时,能量分数导致比NLL更好的校准和更低的熵预测分布。我们还解决了广泛使用的非适当的评分指标,以评估预测分布的深度对象检测器提出了一种替代的评估方法,建立在适当的评分规则。使用建议的评估工具,我们表明,虽然方差网络可以用来产生高质量的预测分布,ad-hoc方法用于种子对象检测器在训练过程中选择回归目标不提供足够广泛的数据支持可靠的方差学习。我们希望我们的工作有助于转移概率目标检测中的评估,以更好地与其他机器学习领域中的预测不确定性评估保持一致。所有模型、评估和数据集的代码可在www.example.com上获得。
2021-03-12 cs.CV stat.ML
Hinge-Wasserstein: Estimating Multimodal Aleatoric Uncertainty in Regression Tasks
Husqvarna Group(富世华集团);Zenseact(Zenseact公司)
针对图像回归任务中传统损失函数概率分布估计差、过度自信的问题,提出改进Wasserstein损失的hinge-Wasserstein方法,可更好估计多模态偶然不确定性,在地平线检测等任务上效果显著。
2024-06-21 cs.LG stat.ML
Using the Mean Absolute Percentage Error for Regression Models
Viadeo
在本文中,我们研究了使用平均绝对百分比误差(MAPE)作为回归模型质量度量的后果。我们证明了在MAPE下找到最佳模型等价于进行加权平均绝对误差(MAE)回归。我们表明,普遍一致的经验风险最小化仍然可能使用MAPE,而不是MAE。
2015-06-12 cs.LG stat.ML
Efficient Algorithms for Estimating the Parameters of Mixed Linear Regression Models
Splunk(斯邦克);University of Southern California(南加州大学)
混合线性回归(MLR)模型是用于使用线性模型的混合来对非线性分布进行建模的最典型的统计工具之一。当MLR模型中的加性噪声为高斯噪声时,EM算法是MLR参数极大似然估计的一种常用算法。然而,当噪声是非高斯的,期望最大化算法的步骤可能没有封闭形式的更新规则,这使得期望最大化算法不切实际。本文研究了加性噪声为非高斯分布时MLR模型参数的极大似然估计。特别是,我们考虑的情况下,噪声具有拉普拉斯分布,我们首先表明,与高斯的情况下,所得到的子问题的期望最大化算法在这种情况下不具有封闭形式的更新规则,从而防止我们使用EM在这种情况下。针对这一问题,提出了一种基于交替方向乘子法(ADMM)和期望最大化算法思想相结合的新算法。数值实验表明,在非高斯噪声情况下,该方法在统计精度和计算时间上均优于期望最大化算法。
2021-05-12 cs.LG math.OC stat.ME
Ridge Regression with Frequent Directions: Statistical and Optimization Perspectives
University of Warwick(华威大学)
尽管频繁方向(\acrshort{fd})在理论和实践上都有令人印象深刻的表现,但它在大规模回归问题中并没有得到广泛的应用。先前的工作表明,随机化草图(i)在估计数据的协方差矩阵方面比\acrshort{fd}表现更差;(ii)在估计草图岭回归的偏倚和/或方差时产生高误差。本文给出了基于\acrshort{fd}的概略岭回归模型的偏差和方差的第一常数因子相对误差界。我们补充这些统计结果表明,\acrshort{fd}可用于优化设置,通过迭代方案,产生高精度的解决方案。这改进了随机化方法,这些方法需要在每次迭代时都需要一个新的草图,以加快收敛速度。在这两种设置中,我们还表明使用\emph{Robust Frequent Directions}进一步增强了性能。
2020-11-06 cs.DS cs.LG stat.ML
Graph-Valued Regression
无向图形模型在图$G$中编码随机向量$Y$的依赖性结构。在许多应用中,在给定另一个随机向量$X$作为输入的情况下对$Y$建模是有意义的。我们把估计以$X=x$为条件的$Y$的图$G(x)$的问题称为“图值回归”。在本文中,我们提出了一种半参数方法来估计$G(x)$,该方法在$X$空间上建立一棵树,就像在CART(分类和回归树)中一样,但在树的每个叶子上估计一个图。我们称这种方法为“图优化的CART”或Go-CART。我们研究了基于二元划分树的Go-CART的理论性质,建立了关于风险最小化和树划分一致性的预言不等式。我们还演示了Go-CART在气象数据集上的应用,展示了图值回归如何为分析复杂数据提供有用的工具。
2010-06-21 stat.ME stat.ML
Estimating the Density Ratio between Distributions with High Discrepancy using Multinomial Logistic Regression
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院);MIT(麻省理工学院);Amazon(亚马逊公司);University of Edinburgh(爱丁堡大学)
针对高分离度分布下二分类密度比估计因分布偏移效果差的问题,提出基于多分类逻辑回归的估计方法,通过辅助密度桥接分布,在多任务上性能优于现有方法。
2023-05-01 cs.LG stat.ML
Determining input variable ranges in Industry 4.0: A heuristic for estimating the domain of a real-valued function or trained regression model given an output range
Vicomtech;Dominion Solutions
工业过程控制系统试图将输出变量保持在目标值周围的给定容差内。PID控制系统在工业中已被广泛用于控制输入变量,以达到这一目标。然而,这种基于传递函数的方法不能扩展到复杂的过程,其中输入数据可能是非数字的、高维的、稀疏的等。在这种情况下,仍然需要确定产生给定范围内的输出的输入数据的子空间。本文提出了一种非随机启发式方法来确定给定输出范围的数学函数或训练回归模型的输入值。所提出的方法创建具有指示输出是否在给定目标范围内的类标签的输入组合的合成训练数据集合。然后,使用决策树分类器来确定感兴趣的输入数据的子空间。这种方法比传统的控制器更通用,因为输出的目标范围不必以参考值为中心,并且它可以应用于给定输出变量的回归模型,该模型可以具有分类变量作为输入,并且可以是高维的,稀疏的。所提出的启发式验证与一个真实的用例,其中的层压工厂的质量建立,以确定合适的子空间的生产变量值的概念证明。
2019-04-03 cs.LG stat.ML
Combining Linear Non-Gaussian Acyclic Model with Logistic Regression Model for Estimating Causal Structure from Mixed Continuous and Discrete Data
RIKEN AIP Center(理化学研究所人工智能项目中心);Shiga University(滋贺大学)
从观测数据中估计因果模型是数据分析中的一项重要任务。对于连续值数据,Shimizu等人提出了一种线性非循环非高斯模型来理解数据生成过程,并表明当数据数量足够大时,他们的模型是可识别的。然而,连续变量和离散变量共存于同一问题中的情况在实践中很常见。大多数现有的因果发现方法或者忽略离散数据并应用连续值算法,或者将所有连续数据离散化,然后应用离散贝叶斯网络方法。这些方法在忽略离散数据或离散化引入近似误差时,可能会丢失重要信息。在本文中,我们定义了一个新的混合因果模型,它包括连续和离散变量。该模型假设:(1)连续变量的值是其父变量加上非高斯噪声的线性函数,以及(2)每个离散变量是逻辑变量,其分布参数取决于其父变量的值。此外,我们推导出BIC评分函数的模型选择。新算法可以从连续和离散数据中学习因果结构,而不需要离散化。我们通过全面的模拟经验证明了我们的方法的力量。
2018-02-16 cs.AI cs.LG stat.ML
RieszBoost: Gradient Boosting for Riesz Regression
UC Berkeley(加州大学伯克利分校)
本文提出RieszBoost,一种无需显式解析形式的梯度提升算法,用于直接估计Riesz表示子,在表格数据上为因果量估计提供了灵活、非参数且稳健的替代方法,模拟研究表明其性能与间接估计方法相当或更优。
2025-02-04 cs.LG stat.ME stat.ML
Improving KernelSHAP: Practical Shapley Value Estimation via Linear Regression
University of Washington(华盛顿大学)
合作博弈论中的Shapley值概念已经成为解释ML模型的流行技术,但有效地估计这些值仍然具有挑战性,特别是在模型不可知的环境中。在这里,我们重新审视通过线性回归估计Shapley值的想法,以理解和改进这种方法。通过分析原始KernelSHAP以及新提出的无偏版本,我们开发了检测其收敛性和计算不确定性估计的技术。我们还发现,原来的版本会导致一个可忽略不计的偏差增加,以换取显着降低方差,我们提出了一个方差减少技术,进一步加快收敛的两个估计。最后,我们开发了一个版本的KernelSHAP随机合作游戏,产生快速的新估计的两个全球性的解释方法。
2021-04-23 cs.LG stat.ML
Statistical Inference for High-Dimensional Linear Regression with Blockwise Missing Data
本文针对具有块状缺失协变量和部分观测响应变量的高维线性回归模型,提出基于无偏估计方程和块状插补的高效估计器,并利用创新的投影估计方程技术构建渐近正态的去偏估计器,从而实现有效的置信区间和统计检验,在数值研究和阿尔茨海默病数据分析中优于现有方法。
2023-06-28 math.ST stat.ME stat.ML
Directed Time Series Regression for Control
Stanford University(斯坦福大学)
提出定向时间序列回归方法,结合最小二乘回归与经验优化的优点,用于确定性等价模型预测控制中的时间序列模型参数估计,在随机倒立摆平衡问题中显著提升控制器性能。
2012-06-26 cs.LG cs.SY eess.SY