Spectral Experts for Estimating Mixtures of Linear Regressions
Stanford University（斯坦福大学）
判别潜变量模型通常使用EM或基于梯度的优化来学习，这会受到局部最优的影响。在本文中，我们开发了一个新的计算效率和可证明的一致性估计的混合线性回归，一个简单的例子，一个判别潜在变量模型。我们的方法依赖于低秩线性回归来恢复对称张量，可以使用张量幂方法将其分解为参数。我们证明了我们的估计的收敛速度，并提供了一个实证评估，说明其相对于局部优化（EM）的优势。
2013-06-17 cs.LG stat.ML
Gaussian Process Model for Estimating Piecewise Continuous Regression Functions
Florida State University（佛罗里达州立大学）
本文提出了一种估计分段连续回归函数的高斯过程模型。在回归分析的科学和工程应用中，基本的回归函数是分段连续的，因为对于数据的不同区域，数据遵循不同的连续回归模型，区域之间可能不连续。然而，许多传统的GP回归方法不是为分段回归分析设计的。提出了一种新的GP建模方法，用于估计未知的分段连续回归函数。新的GP模型寻求在每个测试位置处的未知回归函数的局部GP估计，使用与测试位置相邻的局部数据。为了适应来自不同区域的局部数据的可能性，局部数据被局部线性边界划分为两侧，并且仅属于与测试位置相同侧的局部数据用于回归估计。当输入区域由光滑边界限定时，这种局部分割效果非常好，因此光滑边界的局部线性近似效果很好。我们估计的局部线性边界与其他超参数的GP模型，使用极大似然方法。它的计算时间与本地GP的时间一样低。使用各种模拟的分段回归函数，所提出的方法优于传统的GP建模方法的数值性能。
2021-04-13 cs.LG stat.ME stat.ML
Estimating nonlinear regression errors without doing regression
提出了一种不进行回归而估计非线性回归误差及其分布的方法。假设建模函数的连续性，方差以从数据中提取的条件概率给出。对于N个数据点，计算需求为N2。将预测的残余误差与从线性模型假设导出的残余误差进行比较提供了非线性的信号。该方法成功地说明了由Ikeda和Lorenz地图与噪声增强所产生的数据。作为一个副产品，这些地图的嵌入尺寸也被提取。
2014-04-11 nlin.CD q-fin.ST stat.ML
Barely Biased Learning for Gaussian Process Regression
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）
最近的工作在可扩展的近似高斯过程回归讨论了偏置方差计算权衡时，估计对数边际似然。我们提出了一种方法，自适应地选择计算量估计时使用的对数边际似然，使目标函数的偏差是保证很小。虽然简单的原则上，我们目前的实现方法是没有竞争力的计算与现有的近似。
2021-09-20 cs.LG stat.ML
Minimax Optimal Convergence Rates for Estimating Ground Truth from Crowdsourced Labels
众包已经成为许多现实世界机器学习应用中标签收集的主要手段。从众包工作者提供的噪声标签中推断真实标签的经典方法是Dawid-Skene估计。本文证明了Dawid-Skene估计的投影期望最大化算法的收敛速度。显示指数的收敛速度被证明是最佳的，通过一个下界参数。我们的工作解决了长期存在的问题，是否Dawid-Skene估计有良好的理论保证，除了在实践中观察到的良好性能。此外，与多数表决的比较研究说明了Dawid-Skene估计的优点和缺陷。
2016-05-30 math.ST stat.ML stat.TH
Hinge-Wasserstein: Estimating Multimodal Aleatoric Uncertainty in Regression Tasks
Husqvarna Group（富世华集团）；Zenseact（Zenseact公司）
针对图像回归任务中传统损失函数概率分布估计差、过度自信的问题，提出改进Wasserstein损失的hinge-Wasserstein方法，可更好估计多模态偶然不确定性，在地平线检测等任务上效果显著。
2024-06-21 cs.LG stat.ML
Estimating Individual Treatment Effects using Non-Parametric Regression Models: a Review
University College London（伦敦大学学院）
在卫生、经济和社会科学等学科中，大量的观测数据越来越多，研究人员对因果问题而不是预测感兴趣。在本文中，我们研究的问题，估计异质性处理效应使用非参数回归为基础的方法，从一个实证研究，旨在调查参与学校供餐计划对健康指标的影响。首先，我们介绍了与观察或非完全随机化数据进行因果推断相关的设置和问题，以及如何在统计学习工具的帮助下解决这些问题。然后，我们回顾并开发了一个统一的分类现有的国家的最先进的框架，允许个人处理效应估计通过非参数回归模型。在简要概述了模型选择的问题后，我们说明了一些方法在三个不同的模拟研究中的性能。最后，我们通过对学校供餐计划数据的实证分析，展示了一些方法的使用。
2021-11-23 cs.LG stat.ME stat.ML
Estimating Task Completion Times for Network Rollouts using Statistical Models within Partitioning-based Regression Methods
Ericsson（爱立信）
本文提出了一种基于数据和机器学习的电信网络部署规划问题的预测解决方案。里程碑式的完成时间估计对于网络部署规划至关重要;准确的估计可以更好地利用工作人员并优化材料和物流成本。使用里程碑完成时间的历史数据，模型需要结合领域知识，处理噪音，但项目经理可以解释。本文提出了基于分区的回归模型，将数据驱动的统计模型在每个分区内，作为一个解决方案的问题。基准测试实验表明，该方法获得竞争力更好的性能，在一个小部分的模型复杂度的最佳替代方法的基础上梯度提升。实验结果也表明，该方法是有效的短期和长期的预测。所提出的想法是适用于任何情况下，需要时间序列回归噪声和属性数据。
2022-11-30 cs.AI cs.LG stat.ML
Inject Machine Learning into Significance Test for Misspecified Linear Models
Shanghai University of Finance and Economics（上海财经大学）；Tsinghua University（清华大学）
由于线性回归具有很强的可解释性，在社会科学中得到了广泛的应用，在传统的统计推断中，显著性检验通过线性回归提供了模型或系数的显著性水平。然而，线性回归方法依赖于地面真值函数的线性假设，这在实践中不一定成立。因此，即使对于简单的非线性情况，线性回归也可能无法报告正确的显著性水平。在本文中，我们提出了一个简单而有效的线性和非线性情况下的线性逼近的无偏方法。首先，我们应用机器学习方法来拟合训练集上的地面真值函数并计算其线性近似。之后，我们通过添加基于验证集的调整来获得估计量。我们证明了我们的估计量的浓度不等式和渐近性质，从而导致相应的显著性检验。实验结果表明，我们的估计显着优于线性回归的非线性地面真值函数，表明我们的估计可能是一个更好的工具的显着性测试。
2020-06-04 cs.LG stat.ML
Estimating Continuous Treatment Effects with Two-Stage Kernel Ridge Regression
Department of IEOR, Columbia University（哥伦比亚大学工业工程与运营研究系）；Department of IEOR and Data Science Institute, Columbia University（哥伦比亚大学工业工程与数据科学研究所）
针对连续治疗的效果函数估计问题，提出两阶段核岭回归方法，通过第一阶段建模响应与治疗和协变量的关系，第二阶段构造伪结果校正分布偏移，无需估计条件治疗密度即可达到最优学习界，并实现数据驱动的模型选择。
2026-05-28 cs.LG stat.ME stat.ML
Estimating the Density Ratio between Distributions with High Discrepancy using Multinomial Logistic Regression
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；MIT（麻省理工学院）；Amazon（亚马逊公司）；University of Edinburgh（爱丁堡大学）
针对高分离度分布下二分类密度比估计因分布偏移效果差的问题，提出基于多分类逻辑回归的估计方法，通过辅助密度桥接分布，在多任务上性能优于现有方法。
2023-05-01 cs.LG stat.ML
A Bayesian Regression Approach for Estimating the Impact of COVID-19 on Consumer Behavior in the Restaurant Industry
University of Mumbai（孟买大学）；Birla Institute of Technology, Mesra（比尔拉理工学院，梅斯拉）
本研究针对COVID-19对餐饮业的冲击问题，构建结合哈密顿蒙特卡洛的贝叶斯回归分析框架，估计不同类型餐厅的消费者行为变化点，为从业者和政策制定者提供决策参考。
2024-04-03 cs.LG stat.AP stat.ML
Estimating the Coefficients of a Mixture of Two Linear Regressions by Expectation Maximization
本文给出了两个对称混合线性回归的期望最大化（EM）估计系数的收敛保证。特别是，我们表明，经验EM迭代收敛到目标参数向量的参数率，算法初始化在一个无界锥。特别地，如果初始猜测与目标参数向量具有足够大的余弦角，则期望最大化算法的样本分割版本以高概率收敛到真实系数向量。有趣的是，我们的分析借用的工具中使用的问题，估计中心的对称混合的两个高斯EM。我们还表明，人口EM算子的两个回归的混合物是反收缩的目标参数向量，如果输入向量和目标参数向量之间的余弦角太小，从而建立我们的圆锥条件的必要性。最后，我们给出了支持这一理论观察的经验证据，这表明基于样本的期望最大化算法在相应地绘制初始猜测时表现不佳。我们的模拟研究还表明，期望最大化算法即使在模型错误指定（即，当协变量和误差分布违反模型假设时）。
2018-10-16 stat.ML
Error Correcting Algorithms for Sparsely Correlated Regressors
Data Engines Corporation（数据引擎公司）；Swoop（Swoop公司）
机器的自主性和适应性要求它们能够测量自己的误差。我们认为这种方法的优点和局限性时，机器必须测量的回归任务中的错误。当机器没有正确预测的基础事实时，它如何测量回归子组件的误差？应用于回归器的误差信号的压缩感知方法可以在没有任何地面实况的情况下恢复其精度误差。它允许某些回归变量是\emph{strongly correlated}，只要不是太多的回归变量如此相关。然而，它的解决方案并不是唯一的-这是地面真值推理解决方案的一个属性。添加$\ell_1$ --最小化作为条件，可以在可能进行纠错的设置中恢复正确的解决方案。我们简要地讨论了回归的地面真值推理的数学分类的相似性。
2019-06-17 cs.LG stat.ML
Determining input variable ranges in Industry 4.0: A heuristic for estimating the domain of a real-valued function or trained regression model given an output range
Vicomtech；Dominion Solutions
工业过程控制系统试图将输出变量保持在目标值周围的给定容差内。PID控制系统在工业中已被广泛用于控制输入变量，以达到这一目标。然而，这种基于传递函数的方法不能扩展到复杂的过程，其中输入数据可能是非数字的、高维的、稀疏的等。在这种情况下，仍然需要确定产生给定范围内的输出的输入数据的子空间。本文提出了一种非随机启发式方法来确定给定输出范围的数学函数或训练回归模型的输入值。所提出的方法创建具有指示输出是否在给定目标范围内的类标签的输入组合的合成训练数据集合。然后，使用决策树分类器来确定感兴趣的输入数据的子空间。这种方法比传统的控制器更通用，因为输出的目标范围不必以参考值为中心，并且它可以应用于给定输出变量的回归模型，该模型可以具有分类变量作为输入，并且可以是高维的，稀疏的。所提出的启发式验证与一个真实的用例，其中的层压工厂的质量建立，以确定合适的子空间的生产变量值的概念证明。
2019-04-03 cs.LG stat.ML
Improving KernelSHAP: Practical Shapley Value Estimation via Linear Regression
University of Washington（华盛顿大学）
合作博弈论中的Shapley值概念已经成为解释ML模型的流行技术，但有效地估计这些值仍然具有挑战性，特别是在模型不可知的环境中。在这里，我们重新审视通过线性回归估计Shapley值的想法，以理解和改进这种方法。通过分析原始KernelSHAP以及新提出的无偏版本，我们开发了检测其收敛性和计算不确定性估计的技术。我们还发现，原来的版本会导致一个可忽略不计的偏差增加，以换取显着降低方差，我们提出了一个方差减少技术，进一步加快收敛的两个估计。最后，我们开发了一个版本的KernelSHAP随机合作游戏，产生快速的新估计的两个全球性的解释方法。
2021-04-23 cs.LG stat.ML
Harmless label noise and informative soft-labels in supervised classification
University of Queensland（昆士兰大学）
手动标记训练示例是监督学习中的常见做法。当标签任务具有非平凡难度时，提供的标签可能不等于地面真实标签，并且标签噪声被引入训练数据集中。如果由多个专家进行手动注释，则相同的训练示例可以由不同的专家给予不同的类分配，这指示标签噪声。在基于模型的分类框架中，一个简单但关键的观察结果是，当使用类别成员的后验概率对手动标签进行采样时，噪声标签在统计信息方面与地面实况标签一样有价值。这个过程的一个放松是一个随机效应模型，用于使用类成员资格的近似后验概率的组的不完美标记。然后可以导出使用噪声标签的逻辑斯谛回归与使用地面实况标签的逻辑斯谛回归相比的相对效率。主要发现是，当标签噪声和分类难度正相关时，逻辑斯谛回归可以对标签噪声具有鲁棒性。特别是，当分类难度是标签错误的唯一来源时，与单组地面真实标签相比，多组噪声标签可以为分类规则的估计提供更多的信息。
2021-04-07 cs.LG stat.ML
Ridge Regression with Frequent Directions: Statistical and Optimization Perspectives
University of Warwick（华威大学）
尽管频繁方向（\acrshort{fd}）在理论和实践上都有令人印象深刻的表现，但它在大规模回归问题中并没有得到广泛的应用。先前的工作表明，随机化草图（i）在估计数据的协方差矩阵方面比\acrshort{fd}表现更差;（ii）在估计草图岭回归的偏倚和/或方差时产生高误差。本文给出了基于\acrshort{fd}的概略岭回归模型的偏差和方差的第一常数因子相对误差界。我们补充这些统计结果表明，\acrshort{fd}可用于优化设置，通过迭代方案，产生高精度的解决方案。这改进了随机化方法，这些方法需要在每次迭代时都需要一个新的草图，以加快收敛速度。在这两种设置中，我们还表明使用\emph{Robust Frequent Directions}进一步增强了性能。
2020-11-06 cs.DS cs.LG stat.ML
Combining Linear Non-Gaussian Acyclic Model with Logistic Regression Model for Estimating Causal Structure from Mixed Continuous and Discrete Data
RIKEN AIP Center（理化学研究所人工智能项目中心）；Shiga University（滋贺大学）
从观测数据中估计因果模型是数据分析中的一项重要任务。对于连续值数据，Shimizu等人提出了一种线性非循环非高斯模型来理解数据生成过程，并表明当数据数量足够大时，他们的模型是可识别的。然而，连续变量和离散变量共存于同一问题中的情况在实践中很常见。大多数现有的因果发现方法或者忽略离散数据并应用连续值算法，或者将所有连续数据离散化，然后应用离散贝叶斯网络方法。这些方法在忽略离散数据或离散化引入近似误差时，可能会丢失重要信息。在本文中，我们定义了一个新的混合因果模型，它包括连续和离散变量。该模型假设：（1）连续变量的值是其父变量加上非高斯噪声的线性函数，以及（2）每个离散变量是逻辑变量，其分布参数取决于其父变量的值。此外，我们推导出BIC评分函数的模型选择。新算法可以从连续和离散数据中学习因果结构，而不需要离散化。我们通过全面的模拟经验证明了我们的方法的力量。
2018-02-16 cs.AI cs.LG stat.ML
RieszBoost: Gradient Boosting for Riesz Regression
UC Berkeley（加州大学伯克利分校）
本文提出RieszBoost，一种无需显式解析形式的梯度提升算法，用于直接估计Riesz表示子，在表格数据上为因果量估计提供了灵活、非参数且稳健的替代方法，模拟研究表明其性能与间接估计方法相当或更优。
2025-02-04 cs.LG stat.ME stat.ML
Efficient Algorithms for Estimating the Parameters of Mixed Linear Regression Models
Splunk（斯邦克）；University of Southern California（南加州大学）
混合线性回归（MLR）模型是用于使用线性模型的混合来对非线性分布进行建模的最典型的统计工具之一。当MLR模型中的加性噪声为高斯噪声时，EM算法是MLR参数极大似然估计的一种常用算法。然而，当噪声是非高斯的，期望最大化算法的步骤可能没有封闭形式的更新规则，这使得期望最大化算法不切实际。本文研究了加性噪声为非高斯分布时MLR模型参数的极大似然估计。特别是，我们考虑的情况下，噪声具有拉普拉斯分布，我们首先表明，与高斯的情况下，所得到的子问题的期望最大化算法在这种情况下不具有封闭形式的更新规则，从而防止我们使用EM在这种情况下。针对这一问题，提出了一种基于交替方向乘子法（ADMM）和期望最大化算法思想相结合的新算法。数值实验表明，在非高斯噪声情况下，该方法在统计精度和计算时间上均优于期望最大化算法。
2021-05-12 cs.LG math.OC stat.ME
Estimating the minimizer and the minimum value of a regression function under passive design
该研究提出被动设计下光滑强凸回归函数极小点与最小值的估计方法，极小点估计结合正则化局部多项式梯度估计与投影梯度下降，最小值估计采用两阶段策略，证明了算法达到极小极大最优收敛速率。
2023-10-08 math.ST stat.ML stat.TH
Estimating and Evaluating Regression Predictive Uncertainty in Deep Object Detectors
Institute for Aerospace Studies（航空航天研究所）；University of Toronto（多伦多大学）
预测性不确定性估计是在安全关键任务中可靠部署深部物体探测器的重要下一步。在这项工作中，我们专注于估计预测分布的限界框回归输出方差网络。我们表明，在目标检测的背景下，负对数似然（NLL）的训练方差网络可以导致高熵预测分布，无论输出均值的正确性如何。我们建议使用能量分数作为非局部适当的评分规则，并发现当用于训练时，能量分数导致比NLL更好的校准和更低的熵预测分布。我们还解决了广泛使用的非适当的评分指标，以评估预测分布的深度对象检测器提出了一种替代的评估方法，建立在适当的评分规则。使用建议的评估工具，我们表明，虽然方差网络可以用来产生高质量的预测分布，ad-hoc方法用于种子对象检测器在训练过程中选择回归目标不提供足够广泛的数据支持可靠的方差学习。我们希望我们的工作有助于转移概率目标检测中的评估，以更好地与其他机器学习领域中的预测不确定性评估保持一致。所有模型、评估和数据集的代码可在www.example.com上获得。
2021-03-12 cs.CV stat.ML
Graph-Valued Regression
无向图形模型在图$G$中编码随机向量$Y$的依赖性结构。在许多应用中，在给定另一个随机向量$X$作为输入的情况下对$Y$建模是有意义的。我们把估计以$X=x$为条件的$Y$的图$G(x)$的问题称为“图值回归”。在本文中，我们提出了一种半参数方法来估计$G(x)$，该方法在$X$空间上建立一棵树，就像在CART（分类和回归树）中一样，但在树的每个叶子上估计一个图。我们称这种方法为“图优化的CART”或Go-CART。我们研究了基于二元划分树的Go-CART的理论性质，建立了关于风险最小化和树划分一致性的预言不等式。我们还演示了Go-CART在气象数据集上的应用，展示了图值回归如何为分析复杂数据提供有用的工具。
2010-06-21 stat.ME stat.ML
