A weakly informative default prior distribution for logistic and other regression models
我们提出了一个新的先验分布的经典（nonhierarchical）逻辑斯谛回归模型，构造的第一次缩放所有非二进制变量的均值为0和标准差为0.5，然后放置独立的学生$t$先验分布的系数。作为默认选择，我们推荐中心为0、标度为2.5的柯西分布，在最简单的设置中，它是通过假设逻辑斯谛回归中有一半额外成功和一半额外失败而获得的分布的长尾版本。在数据集语料库上的交叉验证表明，柯西类的先验分布优于高斯和拉普拉斯先验的现有实现。我们建议将此先验分布作为常规应用的默认选择。它的优点是总是给出答案，即使在逻辑斯谛回归中存在完全分离（这是一个常见的问题，即使样本量很大，预测因子的数量很小），并且还自动将更多的收缩应用于高阶相互作用。这在常规数据分析以及自动化程序（如缺失数据插补的链式方程）中非常有用。通过将近似期望最大化算法结合到通常的迭代加权最小二乘法中，我们实现了一个过程来拟合R中的广义线性模型与$t$先验分布。我们说明了几个应用程序，包括一系列的逻辑斯谛回归预测投票偏好，一个小的生物测定实验，和一个公共卫生数据集的插补模型。
2009-01-26 stat.AP
A generalized Bayesian approach for high-dimensional robust regression with serially correlated errors and predictors
本文提出基于缩放伪Huber损失的广义贝叶斯方法，用于高维稳健回归，在序列相关误差和预测变量下实现无需调节参数选择的正式统计推断，并通过适当先验保证稀疏高维设置中参数估计和变量选择的理论性质与稳健性能。
2025-03-12 math.ST stat.CO stat.ME
Considering parallel tempering and comparing post-treatment procedures in Bayesian Profile Regression Models for a survival outcome and correlated exposures
Autorité de Sûreté Nucléaire et de Radioprotection (ASNR)（核安全与辐射防护局）；PSE-SANTE/SESANE/LEPID；Université Paris Cité（巴黎西岱大学）；CNRS, Inserm, P-MIM, BioSTM（法国国家科学研究中心、INSERM、P-MIM、BioSTM）
本文提出改进MCMC算法以避免后验分布局部模式并减少计算时间，通过模拟研究比较不同后处理程序的性能，应用于辐射流行病学中的生存结果分析。
2025-12-29 stat.AP stat.ME
Nonconvex Sparse Logistic Regression with Weakly Convex Regularization
Tsinghua University（清华大学）
在这项工作中，我们提出了适合稀疏逻辑回归模型的弱凸正则化非凸优化问题。这个想法是基于这样的发现，即作为$\ell_0$伪范数的近似的弱凸函数能够比常用的$\ell_1$范数更好地诱导稀疏性。对于一类弱凸稀疏诱导函数，证明了相应稀疏Logistic回归问题的非凸性，并研究了其局部最优性条件和排除平凡解的正则化参数的选择.尽管非凸性，基于近似梯度下降的方法来解决一般弱凸稀疏逻辑回归，并从理论上研究其收敛性。然后将一般框架应用于一个具体的弱凸函数，并给出了局部最优性的一个充分必要条件。在这种情况下，作为一个迭代的坚定收缩算法的解决方案的方法实例化，其有效性在数值实验中证明了随机生成的和真实的数据集。
2017-08-07 cs.LG stat.ML
Graph-based regularization for regression problems with alignment and highly-correlated designs
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Chicago（芝加哥大学）
高维线性回归和机器学习的稀疏模型在过去的二十年里受到了极大的关注。模型选择，或确定哪些特征或协变量是最好的解释变量，对于学习模型的可解释性至关重要。目前的许多文献假设协变量只是轻度相关。然而，在许多现代应用中，协变量是高度相关的，并且不表现出关键属性（例如限制特征值条件，限制等距属性或其他相关假设）。这项工作考虑了一个高维的回归设置，其中一个图形控制协变量之间的相关性和回归系数之间的相似性-这意味着协变量和回归系数之间存在\emph{alignment}。使用关于特征之间的相关性强度的边信息，我们形成一个具有对应于成对协方差的边权重的图。该图用于定义图总变差正则化器，该正则化器促进相关特征的相似权重。这项工作显示了如何提出的基于图的正则化收益率均方误差保证了广泛的协方差图结构。这些保证对于许多特定的协方差图是最佳的，包括块图和格图。我们提出的方法优于其他方法的高相关性设计在各种实验的合成数据和真实的生化数据。
2019-10-13 cs.LG stat.ML
Bayesian Bivariate Conway-Maxwell-Poisson Regression Model for Correlated Count Data in Sports
本文提出用于体育相关计数数据的贝叶斯二元 Conway-Maxwell-Poisson 回归模型，通过随机效应刻画主客场得分相关性，模拟与 COVID-19 前后棒球、足球数据分析表明其拟合与估计优于标准 Poisson 和 Negative Binomial 模型。
2024-09-25 stat.AP stat.ME
Correlated random features for fast semi-supervised learning
ETH Zürich（苏黎世联邦理工学院）
本文提出了相关Nystrom视图（XNV），一个快速的半监督算法的回归和分类。该算法借鉴了两个主要思想。首先，它生成两个视图组成的计算成本低廉的随机功能。其次，XNV应用多视图回归，使用典型相关分析（CCA）对未标记的数据进行回归，使回归偏向有用的特征。已经表明，如果视图包含准确的估计量，CCA回归可以在偏差增加最小的情况下大大减少方差。最近的理论和实证工作表明，随机功能的回归非常接近核回归，这意味着随机视图可以预期包含准确的估计，随机视图是合理的。我们表明，XNV始终优于最先进的半监督学习算法：大大提高了预测性能，降低了各种真实世界数据集上的性能变化，同时还减少了运行时间的数量级。
2013-11-05 cs.LG stat.ML
Solving weakly supervised regression problem using low-rank manifold regularization
Sobolev Institute of Mathematics（索博列夫数学研究所）；Novosibirsk State University（新西伯利亚国立大学）；RWTH Aachen（亚琛工业大学）
我们解决了一个弱监督回归问题。在“弱”下，我们理解对于一些训练点，标签是已知的，对于一些未知的，对于其他由于随机噪声或其他原因（如缺乏资源）而不确定的。求解过程需要优化某个目标函数（损失函数），它结合了流形正则化和低秩矩阵分解技术。这些低秩近似使我们能够加快所有矩阵计算并减少存储需求。这对于大型数据集尤其重要。包围聚类用于获得共关联矩阵，我们认为这是相似性矩阵。这些技术的使用使我们能够提高解决方案的质量和稳定性。在数值部分，我们使用Monte-Carlo建模将建议的方法应用于人工和真实数据集。
2021-04-13 cs.LG cs.NA math.NA
Regression shrinkage and grouping of highly correlated predictors with HORSES
在具有高度相关的预测因子的高维数据分析中，识别变量的同质子组可能具有挑战性。我们提出了一种新的方法，称为带收缩和相等选择的回归的Hynomonal算子，简称HORSES，它同时选择正相关的变量并将它们识别为预测聚类。这是通过一个约束最小二乘问题与正则化，包括一个线性组合的L_1罚款的系数和另一个L_1罚款的系数的两两差异。惩罚函数的这种指定鼓励将正相关的预测器与稀疏解决方案相结合进行分组。我们构造了一个有效的算法来实现HORSES过程。我们通过仿真表明，该方法优于其他变量选择方法的预测误差和简约。该技术被证明在两个数据集，一个小的数据集从阿巴拉契亚的土壤分析，和一个高维数据集从近红外（NIR）光谱研究，显示方法的灵活性。
2013-02-01 stat.ML
Weakly-correlated synapses promote dimension reduction in deep neural networks
Sun Yat-sen University（中山大学）
通过控制突触和神经相关性，深度学习在提高分类性能方面取得了经验性成功。突触相关性如何影响神经相关性以产生解开的隐藏表征仍然是难以捉摸的。在这里，我们提出了一个简化的降维模型，考虑到突触之间的成对相关性，揭示突触相关性如何影响降维的机制。我们的理论确定的突触相关缩放形式只需要数学的自洽性，二进制和连续突触。该理论还预测，弱相关的突触与正交的突触相比，会促进维度的降低。此外，这些突触减缓了沿网络深度的去相关过程。这两个计算的角色解释所提出的平均场方程。理论预测与数值模拟非常一致，并且通过使用Hebbian规则的深度学习也捕获了关键特征。
2020-06-20 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Is Ordered Weighted $\ell_1$ Regularized Regression Robust to Adversarial Perturbation? A Case Study on OSCAR
IBM Research（IBM研究院）
许多最先进的机器学习模型，如深度神经网络，最近被证明容易受到对抗性扰动的影响，特别是在分类任务中。受对抗性机器学习的启发，本文研究了具有强相关协变量的稀疏回归模型对对抗性测量噪声的鲁棒性。具体来说，我们考虑家庭的有序加权$\ell_1$（OWL）正则化回归方法和研究的情况下，OSCAR（八角形收缩聚类算法回归）在对抗设置。在一个范数有界的威胁模型下，我们制定的过程中找到一个最大的破坏性噪音OWL-正则化回归作为一个优化问题，并说明了步骤，找到这样的噪音的情况下，OSCAR。实验结果表明，在我们的对抗性设置下，对强相关特征进行分组的回归性能可能会严重下降，即使噪声预算明显小于地面实况信号。
2018-10-03 cs.LG stat.ML
Trees-Based Models for Correlated Data
本文提出了一种新的基于树的回归方法，如简单回归树，随机森林和梯度提升，在涉及相关数据的设置。我们展示了在实现标准的基于树的回归模型时出现的问题，这些模型忽略了相关性结构。我们的新方法明确地考虑到相关结构的分裂准则，停止规则和叶中的拟合值，这引起了一些重大的修改标准的方法。我们的新方法的优越性基于树的模型，不占的相关性是支持模拟实验和真实数据分析。
2021-08-06 stat.ME stat.ML
Swapping Variables for High-Dimensional Sparse Regression with Correlated Measurements
我们考虑高维稀疏线性回归问题，使用少量的线性测量，被噪声污染的稀疏向量的准确估计。众所周知，当测量矩阵包含高度相关的列时，标准的计算上易处理的稀疏回归算法-如Lasso，正交匹配追踪（OMP）及其扩展-性能很差。为了解决这个缺点，我们开发了一个简单的贪婪算法，称为SWAP，迭代交换变量，直到收敛。SWAP在处理具有高相关性的度量矩阵时非常有效。事实上，我们证明了SWAP输出真正的支持，在稀疏向量的非零元素的位置，在一个相对温和的条件下的测量矩阵。此外，我们表明，SWAP可以用来提高任何稀疏回归算法的性能。我们经验证明SWAP的优势，通过比较它与几个国家的最先进的稀疏回归算法。
2014-02-22 cs.IT math.IT math.ST
Ridge interpolators in correlated factor regression models -- exact risk analysis
本文利用随机对偶理论精确分析相关因子回归模型中岭插值器的超额预测风险与双下降现象，证明最优岭正则化可平滑风险，但在高过参数化比率下作用有限。
2024-06-13 cs.IT cs.LG math.IT
Local Fréchet functional regression in manifolds from time-correlated bivariate curve data
organization= 1 University of Granada 2 University of M\'alaga , country= Spain
本文在可分离希尔伯特空间中推导了响应和回归变量的最小二乘局部线性Fréchet曲线预测器，并提出了基于加权Fréchet均值的流形内蕴局部线性Fréchet曲线预测器，证明了其渐近最优性。
2026-08-12 cs.LG math.ST stat.ML
Risk and cross validation in ridge regression with correlated samples
Department of Physics, Harvard University（哈佛大学物理系）；Center for Brain Science, Harvard University（哈佛大学脑科学中心）；Society of Fellows, Harvard University（哈佛大学 fellows 会）；John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保罗森工程与应用科学学院）；Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University（哈佛大学自然与人工智能研究学院）
利用随机矩阵理论和自由概率，研究了数据点具有任意相关性时岭回归的渐近风险，并提出了修正的广义交叉验证估计器CorrGCV，同时扩展到测试点与训练集相关的情况。
2026-06-02 cond-mat.dis-nn cs.LG stat.ML
A Multivariate Regression Approach to Association Analysis of Quantitative Trait Network
许多复杂的疾病综合征，如哮喘，包括大量的高度相关的，而不是独立的，临床表型，提出了一个新的技术挑战，在确定同时与相关性状相关的遗传变异。在这项研究中，我们提出了一个新的统计框架，称为图形引导融合套索（GFlasso），以原则性的方式解决这个问题。我们的方法明确表示的依赖结构之间的数量性状作为一个网络，并利用这个性状网络编码结构化的正则化在一个多元回归模型的基因型和性状，使遗传标记，共同影响亚组的高度相关的性状可以检测到高灵敏度和特异性。虽然大多数传统的方法独立地检查每个表型，然后将结果结合起来，但我们的方法在一个单一的统计方法中共同分析所有性状，并借用相关表型之间的信息来发现共同干扰相关triats子集而不是单个性状的遗传标记。使用基于HapMap联盟数据和哮喘数据集的模拟数据集，我们比较了我们的方法与单标记分析的性能，以及其他稀疏回归方法，如岭回归和套索，不使用任何结构信息的性状。我们的研究结果表明，有一个显着的优势，在检测真正的因果SNPs时，我们将相关模式的性状，使用我们提出的方法。
2008-11-13 q-bio.GN q-bio.MN q-bio.QM
Independently Interpretable Lasso: A New Regularizer for Sparse Regression with Uncorrelated Variables
稀疏正则化（如$\ell_1$正则化）是一种非常强大且广泛用于高维学习问题的策略。稀疏正则化的有效性已经在实践和理论上得到了一些研究的支持。然而，稀疏正则化的最大问题之一是其性能对特征之间的相关性非常敏感。常规的$\ell_1$正则化方法由于选择变量之间存在相关性，不仅会导致其泛化误差变差，而且会导致可解释性变差。在本文中，我们提出了一种新的正则化方法，“独立解释的套索”（IILasso）。我们提出的正则化抑制选择相关变量，因此每个活动变量独立地影响模型中的目标变量。因此，我们可以直观地解释回归系数，并通过避免过拟合来提高性能。分析了IILasso算法的理论性质，证明了该算法具有更好的符号恢复能力，并达到了几乎极小极大的最优收敛速度。合成和真实数据分析也表明了IILAasso的有效性。
2018-02-22 stat.ML
Handling correlated and repeated measurements with the smoothed multivariate square-root Lasso
Université Paris Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Univ. Montpellier（蒙彼利埃大学）；CNRS（法国国家科学研究中心）
稀疏促进范数是高维回归中常用的范数。这种Lasso型估计的一个局限性是，最佳正则化参数取决于未知的噪声水平。诸如伴随Lasso的估计器通过联合估计噪声水平和回归系数来解决这种依赖性。此外，在许多应用中，数据是通过对多个测量值取平均值来获得的：这降低了噪声方差，但它显著减少了样本量，并阻止了精细的噪声建模。在这项工作中，我们提出了一个伴随估计，可以应付复杂的噪声结构，通过使用非平均测量。由此产生的优化问题是凸的，并服从，由于平滑理论，最先进的优化技术，利用稀疏的解决方案。在玩具数据集、逼真的模拟数据和真实的神经成像数据上证明了实际益处。
2020-09-03 cs.LG math.OC stat.AP
