Trimmed Maximum Likelihood Estimation for Robust Learning in Generalized Linear Models
Google Research(谷歌研究院)
研究了对抗性腐败下广义线性模型的学习问题。我们分析了一个经典的启发式称为迭代修剪最大似然估计,这是已知的是有效的标签腐败在实践中。在标签损坏的情况下,我们证明了这个简单的估计在广泛的广义线性模型,包括高斯回归,泊松回归和二项式回归上实现了极大极小近似最优风险。最后,我们将估计量扩展到更具挑战性的标签和协变量腐败设置,并证明了其鲁棒性和最优性。
2022-10-23 cs.LG stat.ML
$p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets
TU Dortmund University(多特蒙德工业大学);Dortmund Data Science Center(多特蒙德数据科学中心)
本文研究了$p$ -广义概率单位回归模型,它是一个二元响应的广义线性模型。它扩展了标准的概率单位模型,用$p$-$p\in[1, \infty)$的广义正态分布替换其链接函数,标准正态cdf。$p$ -广义正态分布\citep{Sub23}在统计建模中具有特殊意义,因为它们更灵活地拟合数据。它们的尾部行为可以通过选择参数$p$来控制,该参数影响模型对离群值的敏感性。特殊情况包括拉普拉斯分布、高斯分布和均匀分布。我们进一步展示了如何最大似然估计$p$ -广义概率回归可以有效地近似到$(1+\varepsilon)$的大数据的一个因素,通过结合草图技术与重要性子采样,以获得一个小的数据摘要称为coreset。
2022-03-25 cs.DS cs.LG stat.ML
A Novel Approach in Solving Stochastic Generalized Linear Regression via Nonconvex Programming
本文提出一种基于非凸规划、聚类和分位数估计的随机广义线性回归求解方法,在F1、精确率和召回率上比普通逻辑回归提升1至2个百分点。
2024-01-16 math.OC stat.ML
Optimal Online Generalized Linear Regression with Stochastic Noise and Its Application to Heteroscedastic Bandits
University of California, Los Angeles(加州大学洛杉矶分校)
我们研究了随机环境下的在线广义线性回归问题,其中标签是从一个广义线性模型中产生的,该模型可能带有无界的加性噪声。我们提供了一个尖锐的分析,经典的跟随正则化领导(FTRL)算法,以应付标签噪声。更具体地,对于$σ$ -亚高斯标签噪声,我们的分析提供了$O(σ^2 d \log T) + o(\log T)$的遗憾上界,其中$d$是输入向量的维度,$T$是总轮数。我们还证明了随机在线线性回归的一个$Ω(σ^2d\log(T/d))$下界,这表明我们的上界是接近最优的。此外,我们将我们的分析扩展到更精确的伯恩斯坦噪声条件。作为应用,我们研究了带异方差噪声的广义线性bandits,并提出了一种基于FTRL的算法来获得第一个方差感知后悔界。
2023-03-27 cs.LG math.OC stat.ML
Sparse Linear Regression via Generalized Orthogonal Least-Squares
University of Texas at Austin(德克萨斯大学奥斯汀分校)
稀疏线性回归需要找到欠定线性方程组的稀疏解,可以正式表示为$l_0$约束最小二乘问题。正交最小二乘(OLS)算法顺序地选择特征(即,系数矩阵的列)来粗略地找到近似稀疏解。在本文中,一个推广的正交最小二乘依赖于最优解的组件之间的递归关系,选择L功能在每一步,并解决由此产生的超定方程组提出。仿真结果表明,广义OLS算法是计算效率和实现性能优于现有的贪婪算法广泛使用的文献。
2016-07-28 cs.IT cs.LG math.IT
Asymptotic confidence sets for the jump curve in bivariate regression problems
本文基于两个单侧核估计的旋转差,构造了光滑图像函数中单个边缘的均匀和逐点渐近置信集。利用M-估计的方法,我们证明了边缘函数的位置、斜率和高度的估计的一致性,并对对比度过程进行了统一的线性化。然后,均匀置信带依赖于分数过程的高斯近似以及高斯过程上确界的反集中结果,而逐点置信带基于渐近正态性。有限样本性能的逐点建议的方法进行了研究,在模拟研究。最后给出了一个实际图像处理的例子。
2019-03-23 math.ST stat.TH
Generalized Ridge Regression: Applications to Nonorthogonal Linear Regression Models
本文研究广义岭回归在缓解多元线性回归多重共线性中的应用,推导了估计方差、变异系数、相关系数、方差膨胀因子和条件数的表达式,并用两个数值例子验证结果。
2025-04-08 stat.ME
Generalized Ridge Regression: Biased Estimation for Multiple Linear Regression Models
本文针对多元线性回归中回归变量非正交导致普通最小二乘估计不佳的问题,系统研究了广义岭回归的估计、均方误差、拟合优度及自助法推断。
2024-07-02 stat.ME
PLS Generalized Linear Regression and Kernel Multilogit Algorithm (KMA) for Microarray Data Classification
本文将Bastien等人(2005)提出的偏最小二乘广义线性回归(PLSGLR)与逻辑斯谛回归和线性判别分析相结合,得到偏最小二乘广义线性回归-逻辑斯谛回归模型(PLSGLR-log)和偏最小二乘广义线性回归-线性判别分析模型(PLSGLRDA)。这两种分类方法,然后与经典的方法,如k-近邻(KNN),线性判别分析(LDA),偏最小二乘判别分析(PLSDA),岭偏最小二乘(RPLS),和支持向量机(SVM)进行比较。此外,我们实现了Dalmau等人的核多对数算法(KMA)。(2015)并将其性能与其他分类器进行了比较。结果表明,对于未经预处理和预处理的数据,KMA具有最低的分类错误率。
2019-06-19 stat.CO stat.ME
Generalized Orthogonal Components Regression for High Dimensional Generalized Linear Models
在这里,我们提出了一个算法,称为广义正交成分回归(GOCRE),探讨一个分类的结果和一组大量的变量之间的关系。一组正交分量被依次构造以解释分类结果的变化,并且一起构建广义线性模型(GLM)。该算法可以被认为是偏最小二乘(PLS)的GLM的扩展,但克服了现有的基于迭代重加权最小二乘(IRLS)的扩展的几个问题。首先,现有的扩展在每次迭代时构造不同的组件集,因此不能提供收敛的组件集。其次,现有的扩展是计算密集型的,因为重复构建一套完整的组件。第三,虽然他们追求回归系数的收敛,但得到的回归系数仍然可能发散,特别是在建立逻辑斯谛回归模型时。相反,GOCRE在收敛构造时顺序地建立每个正交分量,并且同时对这些正交分量进行回归以拟合GLM。仿真研究和实际数据的例子都证明了新方法的性能。
2013-04-17 stat.CO stat.ME
Sparse principal component regression for generalized linear models
主成分回归(PCR)是一种广泛使用的两阶段程序:主成分分析(PCA),然后是回归,其中所选择的主成分被视为模型中的新解释变量。请注意,PCA仅基于解释变量,因此不使用响应变量的信息选择主成分。在本文中,我们提出了一个一阶段的程序PCR的框架下,广义线性模型。基本损失函数基于回归损失和PCA损失的组合。回归参数的估计得到的基本损失函数的最小值与稀疏惩罚。我们称之为广义线性模型的稀疏主成分回归(SPCR-glm)。同时考虑两个损失函数,SPCR-glm使我们能够获得与响应变量相关的稀疏主成分载荷。然而,损失函数的组合可能会导致参数识别问题,但由于稀疏惩罚,避免了这个潜在的问题。因此,稀疏惩罚在该方法中起两个作用。参数估计过程中提出了使用各种更新算法与坐标下降算法。我们将SPCR-glm应用于两个真实数据集,医生访问数据和小鼠染色体品系数据。SPCR-glm提供了更容易解释的主成分(PC)得分和PC图上比通常的PCA更清晰的分类。
2016-10-13 stat.ME stat.ML
Sibling Regression for Generalized Linear Models
University of Massachusetts(马萨诸塞大学);Mount Holyoke College(曼荷莲学院)
实地观察是许多科学研究的基础,特别是在生态和社会科学方面。尽管努力以标准化的方式进行这类调查,但观测可能容易出现系统性测量误差。如有可能,消除观测过程中引入的系统变异性,可大大增加这一数据的价值。现有的用于校正这种误差的非参数技术假设线性加性噪声模型。当应用于广义线性模型(GLM)时,这会导致有偏估计。我们提出了一种基于残差函数的方法来解决这个限制。然后,我们证明了其有效性的合成数据,并表明它减少了系统的检测变化蛾调查。
2021-07-07 cs.LG stat.ME
Parametric bootstrapping in a generalized extreme value regression model for binary response
当我们研究代表罕见事件的二元响应变量$Y$和潜在预测变量$\mathbf{X}$之间的关系时,广义极值(GEV)回归往往更适合。特别地,我们使用GEV分布的分位数函数作为链接函数。Bootstrapping将准确性的度量(偏倚、方差、置信区间、预测误差、假设检验)分配给样本估计值。该技术允许使用随机抽样方法估计几乎任何统计量的抽样分布。Bootstrapping通过从近似分布中采样时测量估计量的属性来估计估计量的属性。本文首先对广义极值回归模型进行拟合,然后用参数Bootstrap方法检验假设,估计广义极值回归模型参数的置信区间,并给出一个实际数据应用。
2021-05-02 stat.AP stat.ME
Generalized High-Dimensional Trace Regression via Nuclear Norm Regularization
本文研究了回归系数矩阵接近低秩的广义迹回归,推广了回归系数向量稀疏性的概念。具体地,给定矩阵协变量$X$,概率密度函数$f(Y\vert X)=c(Y)\exp{(ϕ^{-1}\left[-Yη^* + b(η^*)\right])}$,其中$η^*=tr({Θ^*}^TX)$。该模型可容纳各种类型的响应,并包含许多重要的问题设置,例如降秩回归,矩阵回归,可容纳一组回归量,矩阵完成等。我们通过最小化经验负对数似然加上核范数惩罚来估计$Θ^*$。我们首先建立了一个一般的理论,然后对于每个特定的问题,我们推导出明确的统计率的估计。它们都匹配线性迹回归中的极小极大率,直到对数因子。数值研究证实了我们建立的速率,并证明了广义迹回归的优势,线性迹回归时的响应是二分的。我们还展示了将核范数正则化用于动态股票收益预测和图像分类的好处。
2017-10-23 stat.ME
A penalized logistic generalized regression estimator
Reed College(里德学院);Bucknell University(巴克内尔大学);Genospace
本文在模型辅助框架下提出一种惩罚逻辑广义回归估计量,结合Lasso或Ridge惩罚控制辅助变量影响,经模拟和实例验证可提高稀疏模型下估计效率,适用于含多辅助变量的复杂调查数据场景。
2026-09-01 stat.ME
Generalized Method of Moments Estimator Based On Semiparametric Quantile Regression Imputation
在这篇文章中,我们考虑一种插补方法来处理基于半参数分位数回归估计的缺失响应值。在所提出的方法中,缺失的响应值生成使用估计的条件分位数回归函数在给定的协变量值。我们采用广义矩量法估计的参数定义通过一个一般的估计方程。我们证明了所提出的估计,它结合了半参数分位数回归插补和广义矩方法,具有竞争优势,对一些最广泛使用的参数和非参数插补估计。证明了估计量的相合性和渐近正态性,并给出了方差估计。有限的模拟研究和实证研究的结果,显示所提出的方法的充分性。
2014-04-11 math.ST stat.TH
Conditional Density Estimation via Weighted Logistic Regressions
与条件均值作为简单的点估计相比,条件密度函数更能描述具有多峰、非对称或异方差的分布。本文通过讨论非齐次Poisson过程模型的广义密度与似然函数之间的关系,提出了一种新的参数条件密度估计方法.最大似然估计可以通过加权逻辑斯谛回归获得,并且通过组合逐块交替最大化方案和局部病例对照抽样可以显著地放松计算。我们还提供了模拟研究的说明。
2020-10-21 stat.ME stat.ML
Generalized Minimum Distance Estimators in Linear Regression with Dependent Errors
本文讨论了具有相依误差的强混合线性回归模型的最小距离估计方法。利用最小距离估计方法对回归参数进行了估计,并讨论了估计量的渐近分布性质。仿真研究比较了最小距离估计与其他著名的估计性能。这个模拟研究显示了最小距离估计优于另一种估计。用于模拟研究的KoulMde(R软件包)可在线获得。详情见第4节。
2017-01-05 math.ST stat.TH
An efficient algorithm for structured sparse quantile regression
分位数回归结合促进结构化(或组)稀疏性的惩罚进行研究。在参数向量上使用混合$\ell_{1,\infty}$ -范数对传统的分位数回归问题施加结构稀疏性。一个算法推导出计算相应的最小化问题的分段线性解路径。最后给出了算法的Matlab实现,并对算法的应用进行了研究。
2013-02-25 stat.ME
Generalized random forest for extreme quantile regression
本文提出一种结合极值理论与广义随机森林的极端分位数回归方法,用协变量相关参数近似块最大值条件分布,并在模拟和气象数据上验证其有效性。
2025-08-20 stat.ME
Robust estimators in a generalized partly linear regression model under monotony constraints
本文考虑观测服从保序广义部分线性模型的情形。在该模型下,响应的平均值通过链接函数建模,线性地在一些协变量上,非参数地在单变量回归量上,以这样的方式,非参数分量被假定为单调函数。定义了单调非参数分量和回归参数的一类与线性分量相关的稳健估计。鲁棒估计是基于样条的方法结合得分函数的界限大值的偏差。作为应用,我们考虑保序部分线性log-Gamma回归模型.通过Monte Carlo研究,我们研究了所提出的估计的性能下的部分线性log-Gamma回归模型的非参数分量增加。
2018-11-29 math.ST stat.TH
Elastic Net Regularization Paths for All Generalized Linear Models
Lasso和弹性网是监督学习中常用的正则化回归模型。Friedman,Hastie,and Tibshirani(2010)介绍了一种计算效率高的算法,用于计算普通最小二乘回归、逻辑斯谛回归和多项逻辑斯谛回归的弹性网正则化路径,而Simon,Friedman,Hastie,and Tibshirani(2011)将这项工作扩展到右删失数据的Cox模型。我们进一步扩展了弹性网正则化回归的范围到所有的广义线性模型家族,Cox模型(开始,停止)数据和地层,和一个简化版本的放松套索。我们还讨论了方便的效用函数来衡量这些拟合模型的性能。
2021-03-05 stat.CO stat.ME
A minimax optimal approach to high-dimensional double sparse linear regression
针对高维双稀疏线性回归问题,提出动态更新阈值的IHT-style迭代硬阈值流程,证明其极小极大最优性,设计自适应方案应对未知稀疏度与噪声,实现更优估计与支撑集恢复效果。
2024-12-09 math.ST stat.TH
Testing equivalence to binary generalized linear models with application to logistic regression
ERGO Group AG(ERGO集团)
研究如何测试观测数据与二元广义线性模型的等价性,核心方法是用最小距离法构建检验统计量,用于协变量均为分类变量的情况,通过渐近近似或自助法算临界值,在真实数据集上应用并经模拟研究有限样本性能。
2026-07-17 stat.ME
Generalized Linear Models with Linear Constraints for Microbiome Compositional Data
受微生物组成分数据回归分析的启发,本文考虑了具有成分协变量的广义线性回归分析,其中对回归系数施加一组线性约束以解释数据的成分性质并实现亚成分一致性。为了有效地估计回归系数,提出了一种基于广义加速邻近梯度法的惩罚似然估计方法。一个去偏的程序,以获得渐近无偏和正态分布的估计,这导致有效的置信区间的回归系数。仿真结果表明,在适当的线性约束条件下,置信区间的覆盖概率是正确的,估计的方差较小。这些方法通过微生物组研究来说明,以鉴定与炎症性肠病(IBD)相关的细菌物种,并使用粪便微生物组预测IBD。
2018-01-10 stat.ME
Generalized regression operator estimation for continuous time functional data processes with missing at random response
在本文中,我们感兴趣的非参数核估计的广义回归函数,包括条件累积分布和条件分位数函数,基于不完全样本$(X_t, Y_t, ζ_t)_{t\in \mathbb{ R}^+}$副本的连续时间平稳遍历过程$(X, Y, ζ)$。预测器$X$在某个无限维空间中赋值,而实值过程$Y$在$ζ= 1$时被观察到,并且在$ζ= 0$时缺失。建立了估计量的逐点相合性和一致相合性(含率),以及一个中心极限定理。还提供了条件偏差和渐近二次误差。本文还讨论了广义回归函数的渐近和自举置信区间。第一个模拟研究进行比较的离散时间的连续时间的估计。第二个模拟也进行了讨论的最佳采样网格在连续时间的情况下的选择。最后,值得注意的是,我们的结果是在遍历假设下陈述的,没有假设任何经典的混合条件。
2021-10-15 math.ST stat.ME stat.TH
Generalized ridge estimator and model selection criterion in multivariate linear regression
在多元线性回归中,基于广义岭估计在平方风险和Kullback-Leibler风险下优于极大似然估计,提出了新的模型选择准则.我们的模型选择标准有以下最喜欢的属性:一致性,无偏性,一致最小方差。在渐近结构$\frac{p}{n}\to c$下证明了一致性,其中$n$是样本量,$p$是响应变量的参数维数。特别是,我们提出的估计类占主导地位的平方风险下的最大似然估计,即使模型不包括真正的模型。实验结果表明,我们的模型选择标准的风险是小于的最大似然估计的基础上,我们提出的标准指定的真实模型在一定条件下。
2016-04-07 math.ST stat.TH
Quantile regression with generalized multiquadric loss function
School of Big Data and Statistics, Anhui University(安徽大学大数据与统计学院)
本文提出基于广义多二次损失函数的分位数回归方法,通过构造平滑损失函数解决非可导问题,利用梯度下降法实现高效估计,并通过理论分析和模拟验证其有效性。
2025-12-13 stat.AP stat.ME
Laplace Power-expected-posterior priors for generalized linear models with applications to logistic regression
功率-期望-后验(PEP)方法借鉴了功率先验、期望-后验先验和单位信息先验的思想,提供了一种构造客观先验的系统方法。其基本思想是使用假想的训练样本将无信息先验更新为最小信息先验。在这项工作中,我们开发了一种新的定义PEP先验的广义线性模型,依赖于拉普拉斯展开的可能性的假想训练样本。这种方法具有各种计算,实践和理论上的优势,比以前的建议无信息先验的广义线性模型。我们特别强调逻辑斯谛回归模型,其中样本分离对替代方法提出了特别的挑战。我们调查的渐近和有限样本的程序,表明这是渐近和内在的一致性,它的性能至少是有竞争力的,在某些情况下,优于文献中的替代方法。
2021-12-05 math.ST stat.AP stat.CO
Generalized Rank Regression
Shanghai University of Finance and Economics(上海财经大学);Shanghai Jiao Tong University(上海交通大学);Purdue University(普渡大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
提出广义秩回归(GRR),通过非单调得分函数扩展经典秩方法,利用非渐近Bahadur表示和两阶段次梯度下降算法实现高效估计与统计推断。
2026-05-22 stat.ME
Generalized Score Matching for Regression
许多概率模型有一个棘手的归一化常数可以扩展到包含协变量。由于这些模型的精确似然评估是困难的,甚至是不可能的,分数匹配,提出了避免显式计算的归一化常数。在文献中,分数匹配到目前为止只发展为模型中的观察是独立和同分布(IID)。然而,IID假设在回归型模型的传统固定设计设置中不成立。为了处理这些协变量依赖模型的估计,本文提出了一种新的得分匹配方法,独立的,但不一定同分布的数据下的一般框架下的连续和离散的响应,其中包括一个新的广义得分匹配方法计数响应回归。我们证明了我们提出的分数匹配估计是一致的,渐近正常的温和的正则性条件下。仿真研究和实际数据的例子支持的理论结果。此外,我们的模拟结果表明,相比于近似极大似然估计,广义分数匹配产生的估计值在应用于博士论文数据时具有显著较小的偏差。
2022-03-18 math.ST stat.ME stat.TH
Confidence Corridors for Multivariate Generalized Quantile Regression
研究了多元非参数广义分位数回归函数的置信走廊构造问题。这种结构是基于一个合适的非参数估计和真正的功能感兴趣的一系列的近似步骤,包括Bahadur表示,一个新的强逼近定理和指数尾不等式高斯随机场之间的最大偏差的渐近结果。作为一个副产品,我们还获得了经典均值回归中的回归函数的置信走廊。针对渐近置信走廊覆盖概率误差缓慢减小导致小样本量覆盖率过低的问题,基于Bahadur表示的首项设计了一个简单的Bootstrap过程.这两个程序的有限样本性质进行了研究,通过模拟研究,它表明,自举程序大大优于渐近带的覆盖精度。最后,自助信任走廊被用来研究国家支持工作示范,这是一个随机的就业促进计划在20世纪70年代推出的有效性。本文有补充材料。
2015-02-02 math.ST stat.ME stat.TH
Asymptotic normality of the time-domain generalized least squares estimator for linear regression models
在线性模型中,当误差相关的结构已知时,广义最小二乘(GLS)估计是适用的。当它是未知的,这种结构必须近似和估计的方式,可能会导致错误的规格。不正确指定的GLS(IGLS)估计量的大样本分析需要仔细的渐近操作。当在频域中进行估计时,在所谓的Grenander假设下,IGLS估计量的渐近正态性已被证明适用于广泛的一类误差相关模型。在相同的假设下,时域IGLS估计量的渐近正态性结果仅适用于有限类误差结构。我们证明了对于一般的相依模型,时域IGLS估计是渐近正态的。
2019-02-09 math.ST stat.ME stat.TH
Robust model selection in generalized linear models
本文将Mueller和Welsh(2005; JASA)提出的线性回归模型的稳健模型选择方法推广到广义线性模型(包括Logistic和其他二元回归模型、Poisson回归和Gamma回归模型)。与Mueller和Welsh(2005)一样,我们将样本拟合的鲁棒惩罚度量与样本外预测能力的鲁棒度量相结合,该样本外预测能力使用后分层m-out-of-n bootstrap进行估计。一个关键的想法是,该方法可以用来比较不同的估计(鲁棒和非鲁棒)以及不同的模型。即使专门回到线性回归模型,本文提出的方法改进了Mueller和Welsh(2005)。特别是,我们使用了一个新的偏差调整自助估计,避免了需要中心的解释变量,并包括在每个模型中的截距。我们还使用了比Mueller和Welsh(2005)更复杂的参数来建立基本单调性条件。
2007-11-15 stat.ME
Probability Weighted Clustered Coefficients Regression Models in Complex Survey Sampling
针对复杂抽样调查中不同领域关系存在差异导致现有方法失效的问题,提出基于成对惩罚的统一框架,利用交替方向乘子法求解以研究分组协变量效应,并在理论和数值实验中验证了其在群体识别和估计效率上的优越性。
2024-09-23 stat.ME
Non-asymptotic Properties of Generalized Mondrian Forests in Statistical Learning
本文在 Mondrian 森林基础上提出广义统计学习框架,涵盖最小二乘、ℓ1、分位数回归及分类,在温和假设下给出遗憾/风险上界并证明一致性。
2025-02-27 math.ST stat.TH
Generalized functional linear regression models with a mixture of complex function-valued and scalar-valued covariates prone to measurement error
针对广义函数型线性回归中混合函数型与标量协变量的测量误差,提出SIMEX和回归校准方法,并应用于美国成年人身体活动与热量摄入对2型糖尿病影响的研究。
2023-05-12 stat.ME
Generalized Reduced-Rank Regression with Homogeneity Pursuit
本文在广义线性模型下统一研究同质性、低秩和稀疏性假设,提出正则化极大似然估计方法,证明统计一致性,并通过模拟和树种数据验证其有效性。
2025-01-25 stat.ME
Kernel Mean Embedding of Instance-wise Predictions in Multiple Instance Regression
Imperial College London(帝国理工学院)
在本文中,我们提出了一个扩展现有的算法(实例MIR),解决多实例回归(MIR)问题,也被称为分布回归。当数据是一组行李时,MIR设置出现,其中每个行李由对应于相同且唯一的实值标签的多个实例组成。MIR算法的目标是找到一个从一个看不见的包的实例到它的目标值的映射。instance-MIR算法单独处理所有实例,并将每个实例映射到一个标签。然后将最终的袋子标签作为该给定袋子的预测的平均值或中值。虽然它在概念上很简单,但采用单个统计数据来总结每个袋子中标签的分布是一个局限性。尽管存在这种性能瓶颈,实例MIR算法已被证明是有竞争力的,当与当前最先进的方法相比。我们通过计算每个袋子的预测标签分布的内核均值嵌入来解决上述问题,并从这些嵌入中学习袋子标签的回归量。我们在五个真实世界的数据集上测试了我们的算法(instance-kme-MIR),并在所有数据集上获得了比基线instance-MIR更好的结果,同时在其中两个数据集上获得了最先进的结果。
2019-08-18 cs.LG stat.ML
Towards Understanding Epoch-wise Double descent in Two-layer Linear Neural Networks
Linköping University(林雪平大学)
本文研究两层线性神经网络中的逐轮双下降,推导梯度流并识别除输入方差外,输入-输出协方差矩阵奇异值作为新影响因素,向深度模型理论分析迈进一步。
2024-09-19 cs.LG stat.ML
Explainable Ordinal Factorization Model: Deciphering the Effects of Attributes by Piece-wise Linear Approximation
Xi’an Jiaotong University(西安交通大学);City University of Hong Kong(香港城市大学)
有序回归预测的对象的标签,表现出自然的顺序,这是很重要的许多管理问题,如信用评分和临床诊断。在这些问题中,解释属性如何影响预测的能力对用户至关重要。然而,大多数,如果不是全部,现有的有序回归模型简化了这样的解释的形式,常数系数的主要和个别属性的相互作用的影响。这样的解释不能表征属性在不同价值尺度上的贡献。为了解决这个问题,我们提出了一个新的可解释有序回归模型,即可解释有序因子分解模型(XOFM)。XOFM使用分段线性函数来近似各个属性及其相互作用的实际贡献。此外,XOFM引入了一种新的顺序变换过程,为每个对象分配属于多个相关类的概率,而不是固定边界来区分类。XOFM是基于因子分解机来处理潜在的稀疏性问题,作为离散化的属性尺度。基准数据集和基线模型的综合实验表明,所提出的XOFM具有优越的可解释性,并导致最先进的预测精度。
2019-11-14 cs.LG stat.ML
An example of prediction which complies with Demographic Parity and equalizes group-wise risks in the context of regression
Université Paris-Saclay(巴黎-萨克雷大学);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);ENSAE(法国国立统计与经济管理学院);Institut Polytechnique de Paris(巴黎理工学院)
令$(X, S, Y) \in \mathbb{R}^p \times \{1, 2\} \times \mathbb{R}$是遵循具有特征向量$X$、敏感属性$S$和目标变量$Y$的某个联合分布$\mathbb{P}$的三元组。不产生差异处理的贝叶斯最优预测$f^*$被定义为$f^*(x) = \mathbb{E}[Y | X = x]$。我们提供了一个非平凡的预测$x \to f(x)$的例子,它满足两个常见的组公平性概念:人口统计奇偶性\begin{align} (f(X) | S = 1) &\stackrel{d}{=} (f(X) | S = 2) \end{align}和平等的组风险\begin{align} \mathbb{E}[(f^*(X) - f(X))^2 | S = 1] = \mathbb{E}[(f^*(X) - f(X))^2 | S = 2]. \end{align}据我们所知,这是第一个明确的建设一个非常数预测满足上述。我们讨论了这一结果更好地理解数学概念的算法公平性的几个影响。
2020-11-13 cs.AI cs.LG stat.ML
Can bin-wise scaling improve consistency and adaptivity of prediction uncertainty for machine learning regression ?
Institut de Chimie Physique(物理化学研究所);CNRS(法国国家科学研究中心);Université Paris-Saclay(巴黎萨克雷大学)
本文探索了BVS方法的多种改进方案,通过替代损失函数和基于输入特征(X)的分箱方案提升预测不确定性的自适应性,并在原子化能预测基准数据集上验证了其性能。
2023-10-24 cs.LG physics.chem-ph physics.data-an
Bias Correction for Regularized Regression and its Application in Learning with Streaming Data
Middle Tennessee State University(中田纳西州立大学)
提出了一种降低岭回归和正则化核网络偏差的方法。当应用到一个单一的数据集的新算法具有可比的学习性能与原来的。当应用于增量学习与块明智的流数据的新算法是更有效的,由于偏见减少。理论分析和仿真研究都用来验证这些新算法的有效性。
2016-03-15 cs.LG stat.ML
On b-bit min-wise hashing for large-scale regression and classification with sparse data
大规模回归问题中的变量数$p$和观测数$n$都可能很大,并且在数百万或更多的数量级,正变得越来越常见。通常,数据是稀疏的:设计矩阵中只有百分之一的条目是非零的。然而,通常计算上唯一可行的方法是执行降维以获得具有少得多的列的新设计矩阵,然后使用该压缩数据。$b$位最小散列(Li和Konig,2011)是用于稀疏矩阵的有前景的降维方案,其产生一组随机特征,使得对所得设计矩阵的回归近似于具有相似性核的核回归。在这项工作中,我们推导出这种回归的预测误差的界限。对于线性和逻辑模型,我们表明,平均预测误差渐近消失,只要$q \|β^*\|_2^2 /n \rightarrow 0$,其中$q$是在每行的设计矩阵和$β^*$的非零条目的平均数是线性预测的系数。我们还表明,普通的最小二乘或岭回归应用于减少的数据,实际上可以让我们适应更灵活的模型。我们获得非渐近预测误差界的相互作用模型和模型,其中一个未知的行归一化必须应用,以便在预测的信号是线性的。
2018-02-26 math.ST stat.ML stat.TH
Fast Generalized Matrix Regression with Applications in Machine Learning
Shenzhen Research Institute of Big Data(深圳大数据研究院);Stevens Institute of Technology(斯蒂文斯理工学院);Peking University(北京大学);Hong Kong University of Science and Technology(香港科技大学)
快速矩阵算法已成为大数据时代机器学习的基本工具。广义矩阵回归问题广泛应用于CUR分解、核矩阵逼近、流奇异值分解等矩阵逼近中,本文提出了一种快速广义矩阵回归算法(Fast GMR),该算法利用草图技术有效地解决了GMR问题。给定误差参数$0<ε<1$,快速GMR算法可以实现$(1+ε)$相对误差,对于大组GMR问题,草图尺寸为$\cO(ε^{-1/2})$阶。本文将快速GMR算法应用于对称正定矩阵逼近和单遍奇异值分解,取得了比传统算法更好的性能。我们的实证研究也验证了我们提出的算法的有效性和效率。
2019-12-27 cs.LG stat.ML
Training L1-Regularized Models with Orthant-Wise Passive Descent Algorithms
Tencent AI Lab(腾讯人工智能实验室)
$L_1$正则化模型广泛用于稀疏回归或分类任务。在本文中,我们提出了正交明智的被动下降算法(OPDA)优化$L_1$正则化模型,作为一个改进的替代邻近算法,这是目前的标准工具,优化模型。OPDA使用一个随机方差缩减梯度(SVRG)来初始化下降方向,然后应用一种新的对齐算子来鼓励每个元素在一次迭代更新后保持相同的符号,从而使参数保持与以前相同的正体。它还显式地抑制每个元素的大小以施加稀疏性。拟牛顿更新可以用来合并曲率信息并加快速度。证明了OPDA在一般光滑强凸损失函数上的线性收敛速度。通过对$L_1$ -正则化逻辑回归和卷积神经网络进行实验,我们表明OPDA优于最先进的随机邻近算法,这意味着在训练稀疏模型方面有广泛的应用。
2018-02-22 cs.LG stat.ML
Exact block-wise optimization in group lasso and sparse group lasso for linear regression
组套索是一种惩罚回归方法,用于回归问题,其中协变量被划分为组以促进组水平的稀疏性。现有的方法用于找到组套索估计要么使用梯度投影方法来更新整个系数向量同时在每一步,或更新一组系数的时间使用不精确的线搜索,以近似的最佳值为该组系数时,所有其他组的系数是固定的。我们提出了一种新的计算方法的组套索在线性回归的情况下,单线搜索(SLS)算法,它通过计算精确的最佳值为每个组(当所有其他系数是固定的)与一个单变量线搜索。我们进行模拟表明,SLS算法往往比现有的计算方法更有效。我们还通过符号单线搜索(SSLS)算法将SLS算法推广到稀疏群套索问题,并给出了支持这两种算法的理论结果。
2010-11-11 stat.ML
Learning Under Moral Hazard with Instrumental Regression and Generalized Method of Moments
本文研究了多任务委托-代理合同设计问题,利用工具回归和广义矩估计法估计有效合同,并给出了最优合同形状的统一性特征。
2026-04-27 cs.LG stat.ML
Least Angle Regression in Tangent Space and LASSO for Generalized Linear Models
Hokkaido University(北海道大学)
提出了广义线性模型的稀疏估计方法,在统计模型流形的切空间上运行最小角度回归(LARS)和最小绝对收缩选择算子(LASSO)。本研究近似统计模型,随后使用精确计算。LARS算法是一种有效的正态线性模型参数估计和变量选择算法。LARS算法描述在欧几里德几何的相关性作为度量的参数空间。由于LARS算法只适用于欧氏空间,我们将统计模型的流形变换到原点的切空间。在广义线性回归中,这种转换允许我们对广义线性模型运行原始LARS算法。所提出的方法是有效的,表现良好。实际数据分析表明,所提出的方法输出类似的结果的$l_1$正则化极大似然估计的上述模型。数值实验表明,我们的方法工作得很好,他们可能是优于$l_1$ -正则化的推广,参数估计,模型选择。
2020-07-17 cs.LG stat.ML
Generalized Bayesian Additive Regression Trees Models: Beyond Conditional Conjugacy
University of Texas at Austin(德克萨斯大学奥斯汀分校)
贝叶斯加法回归树近年来由于其将机器学习技术与原则性不确定性量化相结合的能力而受到越来越多的关注。然而,用于拟合BART模型的贝叶斯后拟合算法将其应用限制在一小类存在条件共轭的模型上。在这篇文章中,我们通过引入一个非常简单的、无调整参数的、可逆跳马尔可夫链蒙特卡罗算法,大大扩展了BART对任意\emph{generalized BART}模型的适用范围。我们的算法只需要用户能够计算的可能性和(可选)其梯度和费舍尔信息。潜在的应用是非常广泛的,我们考虑的例子在生存分析,结构异方差回归,伽玛形状回归。
2022-02-20 cs.LG stat.ME stat.ML
AdapDISCOM: An Adaptive Sparse Regression Method for High-Dimensional Multimodal Data With Block-Wise Missingness and Measurement Errors
Institut national de la recherche scientifique (INRS)(国家科学研究研究所);Université du Québec à Chicoutimi (UQAC)(魁北克大学希库蒂米分校);McGill University(麦吉尔大学);The Neuro (Montreal Neurological Institute-Hospital)(蒙特利尔神经学研究所/医院);Douglas Hospital Research Centre(道格拉斯医院研究中心)
AdapDISCOM通过自适应稀疏回归方法,有效应对高维多模态数据中的块状缺失和测量误差问题,提升预测性能和生物标志物选择的可靠性。
2026-02-04 stat.ME stat.ML
A Generalized Meta-loss function for regression and classification using privileged information
Pakistan Institute of Engineering and Applied Sciences (PIEAS)(巴基斯坦工程与应用科学学院(PIEAS))
使用特权信息的学习(LUPI)是一种强大的异质特征空间机器学习框架,其允许机器学习模型从在训练期间可用的高度信息化或特权特征学习,仅使用在训练和测试期间都可用的输入空间特征来生成测试预测。LUPI可以显著提高各种机器学习问题的预测性能。然而,现有的使用特权信息的学习的大余量和神经网络实现主要是针对分类任务而设计的。在这项工作中,我们提出了一个简单而有效的配方,使我们能够通过自定义损失函数使用特权信息进行回归。除了回归,我们的配方允许一般应用LUPI的分类和其他相关的问题。我们已经验证了我们的方法的正确性,适用性和有效性的回归和分类问题在不同的合成和现实世界的问题。为了测试所提出的模型在现实世界中的问题的有用性,我们已经评估了我们的方法对蛋白质结合亲和力预测的问题。所提出的基于LUPI回归的模型已被证明优于当前最先进的预测器。
2019-03-25 cs.LG stat.ML
Multi-task Learning for Gaussian Graphical Regressions with High Dimensional Covariates
高斯图回归是一种强有力的方法,它可以对协变量的高斯图模型的精度矩阵进行回归,允许响应变量和协变量的数量远远超过样本量。模型拟合通常通过单独的节点式套索回归进行,忽略这些回归中的网络诱导结构。因此,错误率很高,特别是当节点数量很大时。我们提出了一个多任务学习估计拟合高斯图形回归模型,我们设计了一个跨任务组稀疏惩罚和任务内元素稀疏惩罚,分别管理活动协变量的稀疏性及其对图形的影响。对于计算,我们考虑一个有效的增广拉格朗日算法,它解决了子问题的半光滑牛顿法。对于理论,我们证明了基于多任务学习的估计的错误率比单独的节点式套索估计的错误率有很大的改善,因为跨任务惩罚借用了跨任务的信息。为了解决任务纠缠在一个复杂的相关结构的主要挑战,我们建立了一个新的尾部概率界相关的重尾(次指数)变量与任意相关结构,一个有用的理论结果本身。最后,我们的方法的效用是通过模拟以及应用到与脑癌患者的基因共表达网络研究证明。
2022-05-21 stat.ME stat.ML