A Wasserstein Minimax Framework for Mixed Linear Regression
MIT（麻省理工学院）；Weizmann Institute of Science（魏茨曼科学研究所）
多模态分布通常用于在统计学习任务中对聚类数据建模。本文研究混合线性回归（MLR）问题。我们提出了一个最佳的基于运输的框架MLR问题，Wasserstein混合线性回归（WMLR），它最小化学习和目标混合回归模型之间的瓦瑟斯坦距离。通过基于模型的对偶分析，WMLR将底层的MLR任务减少为非凸-凹极大极小优化问题，该问题可以通过梯度下降上升（GDA）算法证明求解以找到极大极小平稳点。在混合两个线性回归模型的特殊情况下，我们证明了WMLR具有全局收敛性和推广保证。我们证明了WMLR的样本复杂度与数据的维数成线性增长。最后，我们讨论了WMLR在联邦学习任务中的应用，其中训练样本由网络中的多个代理收集。与期望最大化算法不同，WMLR直接扩展到分布式、联邦学习设置。我们通过几个数值实验来支持我们的理论结果，这些实验突出了我们的框架处理混合模型联邦学习设置的能力。
2021-06-16 cs.LG math.OC stat.ML
Sufficient reductions in regression with mixed predictors
大多数数据集包括对连续变量和分类变量的测量。在回归和分类统计文献中，对高维混合预测变量的建模受到了有限的关注。本文研究了基于高维混合连续二元预测的一般回归问题。目的是找到混合预测变量向量的低维函数，该函数包含响应的混合预测变量中的所有建模信息，可以是连续的或分类的。我们提出的方法确定足够的减少逆转回归和建模的混合预测条件的响应。我们推导出最大似然估计的充分减少，渐近测试的尺寸，和正则化的估计，同时实现变量（特征）的选择和降维（特征提取）。我们研究所提出的方法的性能，并通过仿真和实际数据的例子与其他方法进行比较。
2021-10-25 math.ST stat.TH
A Convex Program for Mixed Linear Regression with a Recovery Guarantee for Well-Separated Data
我们介绍了一个凸的混合线性回归的方法在$d$功能。这种方法是一种基于L1最小化的二阶锥规划，它为每个数据点在$\mathbb{R}^{d}$中分配一个估计回归系数。然后，可以使用例如$k$均值对这些估计进行聚类。对于两个或两个以上的混合物类的问题，我们证明了凸计划完全恢复所有的混合物成分在无噪声设置的技术条件下，包括一个良好的分离假设的数据。在这些假设下，如果每个类至少具有$d$独立测量，则恢复是可能的。我们还探讨了一个迭代重新加权最小二乘实现这种方法的真实和合成数据。
2017-12-21 math.OC stat.ML
Imbalanced Mixed Linear Regression
Weizmann Institute of Science（魏茨曼科学研究所）
考虑混合线性回归（MLR）问题，其中每个观测样本都属于$K$未知线性模型中的一个.在实际应用中，$K$组分的比例往往不平衡。不幸的是，大多数MLR方法在这样的设置中不能很好地执行。出于这种实际的挑战，在这项工作中，我们提出了混合IRLS，一种新的，简单，快速的算法MLR具有良好的性能，平衡和不平衡的混合物。与同时恢复$K$模型的流行方法相反，Mix-IRLS使用鲁棒回归工具顺序地进行恢复。从经验上讲，Mix-IRLS在其他方法失败的广泛环境中取得了成功。这些包括不平衡的混合物，小样本量，离群值的存在，以及未知数量的模型$K$。此外，Mix-IRLS在几个真实世界的数据集上优于竞争方法，在某些情况下，表现更好。我们补充我们的经验结果得出的恢复保证混合IRLS，这突出了它的优势不平衡的混合物。
2023-01-29 cs.LG math.OC stat.ME
Best subset selection in linear regression via bi-objective mixed integer linear programming
研究了在给定n个观测值的线性回归中p个特征的最佳子集的选择问题。这个问题自然包含两个目标函数，包括最小化偏差量和最小化预测因子的数量。现有的方法将问题转化为一个单目标优化问题。我们解释了现有方法的主要弱点，并克服其缺点，我们提出了一个双目标混合整数线性规划方法。计算研究表明，所提出的方法的有效性。
2018-04-21 stat.ME
Estimation, Confidence Intervals, and Large-Scale Hypotheses Testing for High-Dimensional Mixed Linear Regression
研究了高维混合线性回归模型，其中输出变量来自两个线性回归模型之一，且混合比例未知，随机协变量的协方差结构未知.基于一个高维的期望最大化算法，我们提出了一个迭代过程来估计两个回归向量，并建立其收敛速度。基于迭代估计，我们进一步构造了去偏估计，并证明了它们的渐近正态性。对于单个坐标，构造以去偏估计量为中心的置信区间。此外，提出了一个大规模的多重检验程序来检验的回归系数，并示出控制的错误发现率（FDR）渐近。仿真研究进行了检查所提出的方法的数值性能和现有的方法相比，其优越性。所提出的方法进一步说明，通过分析的数据集的多重图像细胞仪，其中调查的细胞表型，包括20个表位或标记物的组合的表达水平之间的相互作用网络。
2020-11-06 stat.ME stat.ML
Using latent representations to link disjoint longitudinal data for mixed-effects regression
Institute of Medical Biometry and Statistics (IMBI), Medical Faculty and Medical Center – University of Freiburg, Germany（医学生物统计学研究所（IMBI）、医学 faculty 和医疗中心——弗赖堡大学，德国）；Freiburg Center for Data Analysis, Modeling and AI – University of Freiburg, Germany（弗赖堡数据分析、建模和人工智能中心——弗赖堡大学，德国）；Department of Mathematical Stochastics, Mathematical Institute – University of Freiburg, Germany（数学随机过程系、数学研究所——弗赖堡大学，德国）；Department of Neuropediatrics and Muscle Disorders, Medical Faculty and Medical Center – University of Freiburg, Germany（神经发育学与肌肉疾病系、医学 faculty 和医疗中心——弗赖堡大学，德国）；Bonn Center for Mathematical Life Sciences – University of Bonn, Germany（波恩数学生命科学中心——波恩大学，德国）；Life and Medical Sciences (LIMES) Institute – University of Bonn, Germany（生命科学与医学科学（LIMES）研究所——波恩大学，德国）；CIBSS, Centre for Integrative Biological Signalling Studies – University of Freiburg, Germany（整合生物信号研究中心（CIBSS）——弗赖堡大学，德国）
本文提出利用变分自编码器将不同测量工具的不连续纵向数据映射到共享潜在空间，并结合混合效应回归与新型统计检验方法，在罕见病小样本条件下量化治疗切换效应，以脊髓性肌萎缩症为例验证了方法的有效性。
2025-11-05 cs.AI cs.LG stat.ML
Recycled Two-Stage Estimation in Nonlinear Mixed Effects Regression Models
我们考虑一种重新抽样方案，用于估计混合效应非线性回归模型中的总体参数，例如用于临床药代动力学。我们提供了一个估计过程，{ \it recles}，通过随机加权，相关的两阶段参数估计，以构建各种估计的抽样分布的相合估计。我们建立了渐近一致性和渐近正态性的重采样估计，并证明了适用性的{ \it回收}的方法在一个小的模拟研究，并通过例子。
2019-02-03 math.ST stat.TH
Convergence of Parameter Estimates for Regularized Mixed Linear Regression Models
Boston University（波士顿大学）
我们考虑{ \em混合线性回归（MLR）}，其中训练数据是从不同的线性模型（或聚类）的混合中生成的，并且我们寻求识别相应的系数向量。我们介绍了一个{ \em混合的并行编程（MIP）}制定的MLR受到正则化约束的系数向量。我们建立，随着训练样本的数量越来越大，MIP解决方案收敛到真正的系数向量在没有噪声的情况下。在稍强的假设下，我们还建立了MIP识别训练样本生成的聚类。在特殊情况下，训练数据来自一个单一的集群，我们建立相应的MIP产生一个解决方案，收敛到真正的系数向量，即使训练数据受到干扰（鞅差）噪声。我们提供了一个反例表明，在噪声的存在下，MIP可能无法产生真正的系数向量为一个以上的集群。我们还提供了数值结果测试MIP解决方案在合成的例子与噪声。
2019-09-09 cs.LG math.OC math.ST
Unveiling the Cycloid Trajectory of EM Iterations in Mixed Linear Regression
Purdue University（普渡大学）
本文研究了两分量混合线性回归中EM算法的迭代轨迹与收敛速度，利用Bessel函数给出更新闭式表达式，发现无噪声设置下迭代轨迹位于摆线上，从而理论估计超线性收敛指数并改进有限样本误差界。
2024-06-04 cs.LG math.ST stat.ML
Agnostic Smoothed Online Regression with Adversarial Responses
University of Michigan（密歇根大学）
针对对抗性响应的平滑在线回归，提出Hedge-Cover算法，实现次线性遗憾并匹配下界，解决开放问题，并量化噪声影响。
2026-09-29 cs.LG math.ST stat.ML
Meta-learning for mixed linear regression
University of Washington（华盛顿大学）；Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
在现代监督学习中，存在大量的任务，但其中许多任务只与少量的标记数据相关联。这些包括来自医学图像处理和机器人交互的数据。尽管每个任务都不能孤立地进行有意义的训练，但人们试图通过利用一些相似之处，从过去的经验中跨任务进行元学习。我们研究一个基本的问题：什么时候小数据的丰富任务可以弥补大数据任务的不足？我们专注于一个典型的情况下，每个任务是从混合物的$k$线性回归，并确定充分的条件，这样一个优雅的交换举行，只有小数据任务所需的例子的总数规模类似于当大数据任务可用。为此，我们引入了一种新的光谱方法，并表明，我们可以有效地利用小数据任务的帮助下，$\tildeΩ(k^{3/2})$中等数据任务的$\tildeΩ(k^{1/2})$的例子。
2020-02-20 cs.LG stat.ML
Alternating Minimization for Mixed Linear Regression
混合线性回归涉及从未标记的线性测量中恢复两个（或更多）未知向量;也就是说，每个样本来自其中一个向量，但我们不知道是哪一个。这是一个经典的问题，自然和经验最流行的方法，其解决方案一直是期望最大化算法。与其他设置一样，这很容易出现糟糕的局部最小值;然而，每次迭代都非常快（在猜测标签和使用这些标签求解之间交替）。在本文中，我们提供了一个新的EM初始化过程，基于找到适当的矩阵的两个特征向量。然后，我们表明，与此，一个重新采样的版本的期望最大化算法可证明收敛到正确的向量，自然假设下的采样分布，并与近最佳的（不可改进的）样本的复杂性。这不仅提供了EM的性能的第一表征，而且与标准（随机初始化）EM和用于该问题的其他方法相比，还提供了低得多的样本复杂度。
2014-02-07 stat.ML
Efficient Algorithms for Estimating the Parameters of Mixed Linear Regression Models
Splunk（斯邦克）；University of Southern California（南加州大学）
混合线性回归（MLR）模型是用于使用线性模型的混合来对非线性分布进行建模的最典型的统计工具之一。当MLR模型中的加性噪声为高斯噪声时，EM算法是MLR参数极大似然估计的一种常用算法。然而，当噪声是非高斯的，期望最大化算法的步骤可能没有封闭形式的更新规则，这使得期望最大化算法不切实际。本文研究了加性噪声为非高斯分布时MLR模型参数的极大似然估计。特别是，我们考虑的情况下，噪声具有拉普拉斯分布，我们首先表明，与高斯的情况下，所得到的子问题的期望最大化算法在这种情况下不具有封闭形式的更新规则，从而防止我们使用EM在这种情况下。针对这一问题，提出了一种基于交替方向乘子法（ADMM）和期望最大化算法思想相结合的新算法。数值实验表明，在非高斯噪声情况下，该方法在统计精度和计算时间上均优于期望最大化算法。
2021-05-12 cs.LG math.OC stat.ME
Extension to mixed models of the Supervised Component-based Generalised Linear Regression
我们解决了多元广义线性混合模型（GLMM）的基于组件的正则化。一组随机响应Y由GLMM建模，使用一组解释变量X、一组附加协变量T和用于引入统计单元之间的相关性的随机效应。假设X中的变量很多且冗余，因此回归需要正则化。相比之下，T中的变量被假设为很少，并且被选择为不需要正则化。进行正则化，建立适当数量的正交分量，这些正交分量既有助于模型Y，又捕获X中的相关结构信息。为了估计模型，我们建议在Schall算法的适应范围内最大化特定于基于监督的广义线性回归（SCGLR）的标准。SCGLR的扩展测试模拟和真实数据，并比较岭和拉索为基础的regulationations。
2019-08-09 stat.ME
Nonlinear quantile mixed models
在回归应用中，观测值之间存在的非线性和相关性不仅在最小二乘回归等传统设置中带来了计算挑战，而且（尤其是）在目标函数为非光滑时（如分位数回归）也带来了计算挑战。在本文中，我们开发的非线性条件分位数函数的建模和估计的方法时，数据聚集在两个水平的嵌套设计。这项工作代表了Geraci和Bottai的线性分位数混合模型的扩展（2014，统计和计算）。我们开发了一种新的算法，这是一个混合的平滑算法的分位数回归和二阶拉普拉斯近似的非线性混合模型。为了评估所提出的方法，我们提出了一个模拟研究和两个应用程序，一个在药代动力学和一个相关的农业生长曲线建模。
2019-06-07 stat.ME
Reduced Rank Regression for Mixed Predictor and Response Variables
本文提出广义混合降秩回归（GMR$^3$），处理混合类型的预测与响应变量，采用最优缩放和主化-最小化算法进行最大似然估计，并通过模拟和欧洲晴雨表数据验证其性能。
2025-01-22 stat.CO stat.ME
A robust mixed-effects quantile regression model using generalized Laplace mixtures to handle outliers and skewness
Syneos Health；University of the Free State（自由州大学）；KU Leuven（荷语鲁汶大学）；University of Stellenbosch（斯坦陵布什大学）
本文提出一种基于受污染广义非对称拉普拉斯混合的贝叶斯混合效应分位数回归模型，以稳健处理离群值和偏态，并在HIV病毒载量衰减数据中验证其优于传统方法。
2025-06-20 stat.ME
Functional Linear Regression with Mixed Predictors
我们研究了一个功能性线性回归模型，该模型处理功能性反应，并允许功能性协变量和高维向量协变量。该模型是灵活的，嵌套在文献中的几个功能回归模型作为特殊情况。基于再生核希尔伯特空间（RKHS）理论，提出了一种能适应离散样本点上函数变量观测值的惩罚最小二乘估计。除了传统的光滑惩罚，一组拉索型惩罚进一步施加诱导稀疏的高维向量预测。我们推导出有限样本的理论保证，并表明我们的估计量的超额预测风险是最小最大最优的。此外，我们的分析揭示了一个有趣的相变现象，最优超额风险的光滑性和稀疏性的功能回归系数共同决定。设计了一种新的基于迭代坐标下降的高效优化算法，以同时处理光滑性和组惩罚。仿真研究和实际数据的应用说明了所提出的方法相比，在文献中的最先进的方法有前途的性能。
2022-08-23 math.ST stat.ME stat.TH
Global Convergence of Online Identification for Mixed Linear Regression
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
本文针对混合线性回归提出两种基于EM原理的在线辨识算法，在不依赖i.i.d.假设下证明其全局收敛，并验证聚类性能渐近达到参数已知时的水平。
2023-11-30 cs.LG cs.SY eess.SY
Detecting Outliers in High-dimensional Data with Mixed Variable Types using Conditional Gaussian Regression Models
近年来，由于新出现的技术和大量的高维数据，离群点检测得到了越来越多的关注。离群值检测可以帮助从业者识别不需要的噪声和/或定位感兴趣的异常观察。为了解决这个问题，我们开发了一种新的离群值检测方法，用于可能是高维的离散和连续变量数据集。我们利用家庭的可分解的图形模型，以模拟变量之间的关系，并使用它来形成一个确切的似然比检验的观察，被认为是离群值。我们表明，我们的方法优于国家的最先进的隔离森林算法对一个真实的数据示例。
2021-05-19 math.ST stat.CO stat.TH
Predictive Quantile Regression with Mixed Roots and Increasing Dimensions: The ALQR Approach
本文提出用于预测分位数回归的自适应套索方法（ALQR），允许预测变量具有混合根与不同信号强度且数量随样本量增加，研究了其渐近性质，并在股票收益预测与Monte Carlo实验中验证了其优越性。
2022-12-04 econ.EM stat.ME
Maximum softly-penalized likelihood for mixed effects logistic regression
已知在具有混合效应的逻辑斯谛回归中的极大似然估计经常导致在参数空间的边界上的估计。此类估计值包括固定效应的无限值和奇异或无限方差分量，可能会对数值估计过程和推断造成严重破坏。我们在对数似然函数或其近似值中引入了适当缩放的加性惩罚，该函数通过不含随机效应的模型的Jeffreys不变先验惩罚固定效应，并通过负Huber损失函数的组合惩罚方差分量。由此产生的最大惩罚似然估计位于内部的参数空间。适当的惩罚尺度保证惩罚足够软，以保持极大似然估计所期望的最佳渐近性质，即一致性，渐近正态性和Cramér-Rao效率。我们选择的惩罚和比例因子在模型参数（如对比度）的线性变换下保持了固定效应估计值的等方差。最大软惩罚似然竞争的方法相比，两个真实数据的例子，并通过全面的模拟研究，说明其优越的有限样本性能。
2023-02-02 stat.ME
Testing for similarity of multivariate mixed outcomes using generalised joint regression models with application to efficacy-toxicity responses
本文针对临床试验中多元混合结局的组间相似性检验问题，提出基于高斯 copula 的广义联合回归方法，可处理连续、二元、分类及有序等多种尺度结局，并通过模拟和疗效-毒性案例验证其有效性。
2024-01-11 stat.ME
Sharp Structure-Agnostic Lower Bounds for General Linear Functional Estimation
Stanford University（斯坦福大学）
本文提出了一般线性函数估计的锐利结构无关下界，证明了双重鲁棒估计器的统计最优性，并区分了双重鲁棒性和一阶去偏在不同情形下的最优性。
2026-01-05 cs.LG econ.EM math.ST
Mixed effects models for extreme value index regression
本文将混合效应模型引入极值指数回归，通过跨子群借用强度改进小样本子群的极值估计，并以理论分析、数值实验和加密货币市场股票风险评估验证其有效性。
2024-10-19 stat.ME
MIP-BOOST: Efficient and Effective $L_0$ Feature Selection for Linear Regression
数学规划的最新进展使混合最优化成为在回归问题中选择特征的流行正则化方法的一个有竞争力的替代方案。这种方法无疑具有基本的吸引力和多功能性，但也提出了重要的挑战。在这里，我们提出了MIP-BOOST，一个标准的混合编程特征选择的修订版，减少了调整关键稀疏边界参数的计算负担，并提高了性能的特征共线性和信号的性质和强度不同的存在。最终的结果是一个更有效的和有效的$L_0$功能选择方法的实际规模和复杂性的应用程序，严格的交叉验证调整和精确优化相关的混合并行程序的基础上。通过三个独立但协同的建议，实现了在现实场景中的计算可行性和改进的性能。
2019-09-30 stat.ME
A Goodness-of-Fit Test for Mixed-Effects Logistic Regression
University of California, San Francisco（加州大学旧金山分校）
本文提出一种针对混合效应逻辑回归模型的拟合优度检验方法，通过分组Wald检验检测固定效应的不规范性，适用于稀疏聚类数据，且在小样本情况下表现良好。
2026-04-21 stat.AP stat.ME
Minimization of Akaike's Information Criterion in Linear Regression Analysis via Mixed Integer Nonlinear Program
赤池信息准则（Akaike's Information Criterion，AIC）是一种衡量给定数据集的统计模型质量的标准。我们可以通过AIC的最小化来确定特定数据集的最佳统计模型。由于我们需要通过AIC的最小化来指数地评估模型的许多候选者，因此最小化是不合理的。相反，逐步方法，这是局部搜索算法，通常用于找到一个更好的统计模型，虽然它可能不是最好的。我们提出了一个分支定界搜索算法，用于Miyashiro和Takano（2015）的AIC最小化的混合整数非线性规划公式。更具体地说，我们提出的方法来找到下限和上界，和分支规则，这个最小化。然后，我们将它们与SCIP相结合，SCIP是一个数学优化软件和分支定界框架。我们表明，所提出的方法可以提供最好的统计模型的基础上AIC的小型或中型的基准数据集在UCI机器学习知识库。此外，我们表明，这种方法找到了高质量的解决方案，为大型基准数据集。
2016-06-24 math.OC stat.CO
Confidence Sets for a level set in linear regression
回归建模是统计学的主要工具，有大量关于回归函数估计的文献。近年来人们认识到，在回归分析中，最终目标可能是估计回归函数的水平集，而不是估计回归函数本身。已发表的工作估计水平集迄今主要集中在非参数回归，特别是点估计。本文考虑了线性回归水平集置信集的构造问题。特别是，$1-α$水平的上限，下限和双侧置信集的正态误差线性回归构建。结果表明，这些置信集可以很容易地从相应的$1-α$水平的同时置信带构造。本文还指出，该构造方法同样适用于均值响应通过单调连接函数依赖于线性预测量的其它参数回归模型，包括广义线性模型、线性混合模型和广义线性混合模型。因此，本文提出的方法具有广泛的适用性。最后给出了实例说明该方法。
2022-07-26 stat.ME
Improved confidence intervals for nonlinear mixed-effects and nonparametric regression models
本文针对非线性混合效应模型提出基于随机效应的条件推断框架，给出偏差校正的随机效应预测子与置信区间，并推广至部分随机效应无数据关联的情形，显著提升了条件覆盖率。
2024-01-27 math.ST stat.ME stat.TH
Quasi-Likelihood Analysis for Stochastic Regression Models with Nonsynchronous Observations
研究了含有随机微分方程的参数化随机回归模型的非同步采样问题。构造了一个拟似然函数，证明了当非同步数据的采样频率变大时，拟极大似然估计与Bayes型估计是相合的，且渐近混合正态.
2012-12-20 math.ST stat.TH
Combining Mixed Effects Hidden Markov Models with Latent Alternating Recurrent Event Processes to Model Diurnal Active-Rest Cycles
从可穿戴设备和智能手机收集的数据可以揭示个人的行为模式和昼夜节律。手机使用可以被建模为处于活动使用状态和空闲状态之间的交替事件过程。马尔可夫链和交替循环事件模型通常用于模拟这些情况下的状态转换，并且可以使用随机效应的合并来引入昼夜效应。虽然状态标签可以在建模动态之前导出，但这种方法忽略了可以影响状态成员关系的信息回归协变量。相反，我们提出了一个交替的经常性事件比例风险（PH）回归模型的潜在状态之间的转换。我们提出了一个期望最大化（EM）算法的潜在状态标签和估计回归参数。我们表明，我们的E-步简化的隐马尔可夫模型（HMM）的前向-后向算法，使我们能够恢复一个HMM与逻辑斯谛回归转移概率。此外，我们表明，PH建模的离散时间转换隐含惩罚的逻辑斯谛回归的可能性和结果收缩估计的相对风险。我们推导出模型参数估计值的渐近分布，并通过模拟以及在一项数字表型研究中将我们的方法与竞争方法进行比较，该研究在一组患有情绪障碍的青少年中使用智能手机。
2022-12-12 stat.ME
Agnostic PAC Learning of k-juntas Using L2-Polynomial Regression
Indiana University（印第安纳大学）；Purdue University（普渡大学）
许多传统的学习算法依赖于损失函数而不是自然的0-1损失，以获得计算效率和理论上的易处理性。其中包括基于绝对损失（L1回归）和平方损失（L2回归）的方法。第一个被证明是一个\textit{agnostic} PAC学习者的各种重要的概念类，如\textit{juntas}，和\textit{half-spaces}。另一方面，第二个是优选的，因为它的计算效率，这是线性的样本大小。然而，PAC的可学习性仍然是未知的，因为只有在分布限制下才能证明保证。二语回归是否是一个0-1损失的不可知论PAC学习者的问题自1993年以来一直是开放的，但必须回答。本文解决了布尔立方体上的junta类的这个问题--使用L2多项式回归证明k-junta的不可知PAC学习。此外，我们提出了一种新的PAC学习算法的基础上的布尔傅立叶展开具有较低的计算复杂性。基于傅立叶的算法，例如Linial等人（1993），已经在分布限制下使用，例如均匀分布。我们表明，通过适当的改变，可以应用这些算法在不可知的设置没有任何分布的假设。我们证明我们的结果连接PAC学习与0-1损失的最小均方估计（MMSE）问题。我们推导出一个优雅的上界0-1损失的MMSE错误，并表明，该符号的MMSE是一个PAC学习包含它的任何概念类。
2023-03-08 cs.CC cs.IT cs.LG
Additive quantile regression for clustered data with an application to children's physical activity
加法模型是灵活的回归工具，可以处理线性和非线性项。后者通常通过平滑样条来建模。加性混合模型扩展了加性模型，以在根据聚类设计对数据进行采样时包括随机项（例如，纵向）。当重复测量可用时，这些模型可用于研究人类的生长，某些疾病机制和能量消耗等现象。本文提出了一种新的分位数回归的可加混合模型。我们的方法的动机是应用到身体活动的基础上，超过50万加速度计测量的儿童在英国千年队列研究的数据集。在模拟研究中，我们评估了现有的替代方案所提出的方法。
2019-06-07 stat.ME
Expectation Maximization (EM) Converges for General Agnostic Mixtures
Department of Computer Science
本文研究了在无偏设置下拟合k个参数函数的问题，提出并分析了梯度EM算法，证明其在适当初始化和分离条件下的指数收敛性。
2026-04-07 cs.IT cs.LG math.IT
The Optimality of Polynomial Regression for Agnostic Learning under Gaussian Marginals
University of Wisconsin Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加州大学圣地亚哥分校）
研究了高斯分布下的不可知学习问题。我们开发了一种方法，通过使用LP对偶寻找硬家庭的例子，为广泛的一类问题。对于布尔值的概念类，我们表明，$L^1$ -回归算法基本上是最好的可能，因此，不可知学习的概念类的计算难度是密切相关的多项式的程度近似任何函数从类中的$L^1$ -范数。使用这种特性以及其他分析工具，我们获得了最佳SQ下界不可知学习线性阈值函数和第一个非平凡的SQ下界多项式阈值函数和半空间的交集。我们还开发了一个类似的理论不可知学习实值函数，并作为一个应用程序证明不可知学习ReLU和sigmoids的近最优SQ下界。
2021-02-08 cs.DS cs.LG math.ST
Model Agnostic Explainable Selective Regression via Uncertainty Estimation
Scoula Normale Superiore（比萨高等师范学校）；University Southampton（南安普顿大学）；Alexandra Institute（亚历山德拉研究所）
本文提出一种模型无关的非参数不确定性估计方法用于选择性回归，在69个数据集上优于现有方法，并利用可解释AI分析驱动因素，开源了实现代码。
2023-11-15 cs.LG stat.ML
An Agnostic View on the Cost of Overfitting in (Kernel) Ridge Regression
University of Chicago（芝加哥大学）；UC Berkeley（加州大学伯克利分校）；Generally Intelligent（通用智能公司）；TTI-Chicago（芝加哥丰田技术研究所）；Hebrew University（希伯来大学）
本文从不可知视角研究了含噪核岭回归中的过拟合代价，通过高斯普适性假设和任务特征结构的风险估计，对良性、温和及灾难性过拟合提供了更精细的刻画。
2024-03-22 cs.LG stat.ML
Target-agnostic Source-free Domain Adaptation for Regression Tasks
City University of Hong Kong（香港城市大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出TASFAR，一种面向回归任务的目标无关无源域适应方法，利用预测置信度估计目标标签分布来校准源模型，在四个回归任务上平均减少22%误差，性能显著优于现有无源UDA方法。
2023-12-01 cs.AI cs.LG stat.ML
Agnostic Sample Compression Schemes for Regression
Ben-Gurion University（本-古里安大学）；Purdue University（普渡大学）
本文首次为不可知回归问题构造了有界样本压缩方案，针对不同 $\ell_p$ 损失给出了近似或精确压缩，并推广了相关负面结果，提出了开放性问题。
2024-02-03 cs.IT cs.LG math.IT
Practical Contextual Bandits with Regression Oracles
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）；University of Southern California（南加州大学）
上下文强盗的一个主要挑战是设计通用的算法，既实用又有理论依据。我们提出了一种新的技术，具有经验和计算优势的可实现性为基础的方法结合了不可知方法的灵活性。我们的算法利用回归预言的价值函数类，一个更现实和合理的预言比分类预言通常假设的不可知方法的政策的可用性。我们的方法将UCB和LinUCB推广到更有表现力的可能模型类，并在某些分布假设下实现了低遗憾。在一个广泛的实证评估，基于可实现性和不可知的基线相比，我们发现，我们的方法通常给出可比或优越的结果。
2018-03-03 cs.LG stat.ML
Statistical Agnostic Regression: a machine learning method to validate regression models
Data Science and Computational Intelligence Institute, University of Granada（数据科学与计算智能研究所，格拉纳达大学）；Dpt. Psychiatry, University of Cambridge（精神病学系，剑桥大学）
本文提出统计不可知回归（SAR），通过集中不等式和最坏情况分析评估机器学习线性回归模型的统计显著性，无需经典假设即可进行类似多元F检验的方差分析。
2024-11-09 cs.LG math.ST stat.CO
Stable Prediction with Model Misspecification and Agnostic Distribution Shift
Zhejiang University（浙江大学）；Tsinghua University（清华大学）；Stanford University（斯坦福大学）
对于许多机器学习算法，需要两个主要假设来保证性能。一个是测试数据与训练数据来自相同的分布，另一个是模型被正确指定。然而，在实际应用中，我们通常对测试数据和底层真实模型的先验知识很少。在模型误设定下，训练数据和测试数据之间的不可知分布偏移会导致参数估计的不准确性和对未知测试数据预测的不稳定性。为了解决这些问题，我们提出了一种新的去相关加权回归（DWR）算法，该算法联合优化变量去相关正则化器和加权回归模型。变量去相关正则化器估计每个样本的权重，使得变量在加权的训练数据上去相关。然后，将这些权重用于加权回归，以提高对各变量影响的估计精度，从而有助于提高预测在未知测试数据中的稳定性。大量的实验清楚地表明，我们的DWR算法可以显着提高参数估计的准确性和预测的稳定性与模型误设定和不可知的分布偏移。
2020-01-31 cs.LG stat.ML
Dimension Agnostic Testing of Survey Data Credibility through the Lens of Regression
Équipe Scool, Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189- CRIStAL（Lille大学Scool团队，Inria，CNRS，Centrale Lille，UMR 9189-CRIStAL）；Indian Statistical Institute Kolkata, India（印度统计研究所，印度）
针对高维分布距离检验样本复杂度随维度指数增长的问题，提出面向回归任务的模型特定可信度度量与验证算法，在不重建回归模型的情况下实现维度无关的样本复杂度，并给出理论证明与数值验证。
2025-08-28 cs.LG stat.ML
Mixed Regression via Approximate Message Passing
University of Cambridge（剑桥大学）
本文针对矩阵广义线性模型中的混合回归问题提出近似消息传递（AMP）算法，并通过状态演化刻画其高维极限性能，推导最优去噪函数，在混合线性回归和最大仿射回归等任务中显著优于现有估计器。
2023-08-15 cs.IT cs.LG math.IT
metabeta -- A fast neural model for Bayesian mixed-effects regression
Human-Centered AI, Helmholtz Munich, Germany（以人为中心的人工智能，慕尼黑海德堡研究所）
metabeta是一种快速的神经网络模型，用于贝叶斯混合效应回归，通过预训练时间优化计算，实现高效且稳定的性能。
2026-02-04 cs.LG stat.ML
DMIDAS: Deep Mixed Data Sampling Regression for Long Multi-Horizon Time Series Forecasting
Carnegie Mellon University（卡内基梅隆大学）
神经预测在大规模系统的准确性方面有了显着的提高，但预测极长的时间范围仍然是一项具有挑战性的任务。两个常见的问题是预测的波动性和它们的计算复杂性;我们通过将平滑正则化和混合数据采样技术结合到性能良好的基于多层感知器的架构（NBEATS）来解决它们。我们验证了我们提出的方法，DMIDAS，在高频医疗保健和电价数据上具有较长的预测范围（约1000个时间戳），我们将预测精度提高了5%，比最先进的模型，减少了近70%的NBEATS参数数量。
2021-06-07 cs.LG stat.ML
Agnostic Proper Learning of Halfspaces under Gaussian Marginals
UW Madison（威斯康星大学麦迪逊分校）；UC San-Diego（加州大学圣地亚哥分校）
研究了高斯分布下半空间的不可知学习问题。我们的主要结果是{ \em第一正确}学习算法，这个问题的样本复杂性和计算复杂性定性匹配的最有名的不正确的不可知学习。在此基础上，我们还得到了不可知学习齐次半空间的第一个适当的多项式时间近似方案（PTAS）。我们的技术自然地扩展到相对于其他非线性激活的不可知学习线性模型，特别是产生了ReLU回归的第一个正确的不可知算法。
2021-02-10 cs.DS cs.LG math.ST
Uncertainty in Model-Agnostic Meta-Learning using Variational Inference
University of Adelaide（阿德莱德大学）；University of Liverpool（利物浦大学）
我们引入了一个新的，严格制定贝叶斯元学习算法，学习概率分布的模型参数先验少样本学习。该算法采用基于梯度的变分推理来推断模型参数对新任务的后验。我们的算法可以应用于任何模型架构，并可以实现在各种机器学习范例，包括回归和分类。我们表明，用我们提出的元学习算法训练的模型校准得很好，很准确，在两个Few-Shot分类基准（Omniglot和Mini-ImageNet）上具有最先进的校准和分类结果，并且在多模态任务分布回归中具有竞争力。
2019-10-30 cs.LG stat.ML
Symbolic Regression using Mixed-Integer Nonlinear Optimization
IBM Research AI（IBM研究院人工智能部门）；University of Minnesota（明尼苏达大学）；IBM Research - Almaden（IBM阿尔马登研究院）
符号回归（Symbolic Regression，SR）问题的目标是找到一个没有预先指定形式的回归函数，但是可以由一系列运算符组成的任何函数，这是机器学习中的一个难题，无论是理论上还是计算上。基于遗传编程的方法在非常大的函数空间上进行搜索，是解决SR问题最常用的方法。在过去的十年中提出的另一种数学规划方法是将最优符号表达式表示为最小化某个目标的连续和离散变量上的非线性方程组的解，并通过混合整数非线性规划问题的全局求解器来求解该系统。基于后一种方法的算法通常非常慢。我们提出了一个混合算法，结合了混合整数非线性优化与显式枚举，并采用了从维数分析的约束。我们表明，我们的算法是有竞争力的，对于一些合成数据集，一个国家的最先进的SR软件和最近的物理启发的方法称为AI费曼。
2020-06-11 cs.LG stat.ML
Price of Quality: Sufficient Conditions for Sparse Recovery using Mixed-Quality Data
Operations Research Center（运筹优化中心）
研究混合质量数据下的稀疏恢复，提出质量价格概念，分析信息论和算法恢复条件，揭示信息论与算法阈值对数据质量变化的适应差异。
2026-05-11 cs.IT cs.LG math.IT
Causally Regularized Learning with Agnostic Data Selection Bias
Tsinghua University（清华大学）；Tencent（腾讯）
以往的大多数机器学习算法都是基于独立同分布提出的。假说.然而，这一理想假设在实际应用中往往被违背，在训练和测试过程之间可能会出现选择偏差。此外，在许多情况下，测试数据在训练过程中甚至是不可用的，这使得传统的方法如迁移学习由于需要测试分布的先验而不可行。因此，如何解决鲁棒模型学习中的不可知选择偏差问题，无论是在理论研究还是实际应用中都具有重要意义。在假设变量之间的因果关系是跨域鲁棒的前提下，将因果技术引入预测建模，提出了一种新的因果正则化逻辑回归（CRLR）算法，该算法通过联合优化全局混杂因子平衡和加权逻辑回归来实现。全局混杂因素平衡有助于识别因果特征，其对结果的因果影响在各个领域都是稳定的，然后对这些因果特征进行逻辑回归，构建一个针对不可知偏倚的稳健预测模型。为了验证我们的CRLR算法的有效性，我们进行了全面的实验合成和真实世界的数据集。实验结果清楚地表明，我们的CRLR算法优于国家的最先进的方法，我们的方法的可解释性可以充分描绘的特征可视化。
2018-08-19 cs.CV cs.MM stat.ML
Probabilistic Formulations of Regression with Mixed Guidance
University of California Davis（加利福尼亚大学戴维斯分校）
回归问题假设每个实例都用实值进行注释（标记），这种注释形式我们称为\emph{strong guidance}。为了使这些注释准确，它们必须是精确实验或测量的结果。然而，在某些情况下，额外的\emph{weak guidance}可能由不精确的测量、领域专家或甚至众包给出。目前的回归公式无法使用这两种类型的指导。我们提出了一个回归框架，也可以结合弱指导的基础上相对排序，边界，邻居和相似性关系。考虑学习从肖像图像中预测年龄，这些新类型的指导允许较弱形式的指导，例如说明一个人20多岁或两个人年龄相似。这些类型的注释可能比强指导更容易生成。我们介绍了这些形式的弱指导的概率公式，并表明，由此产生的优化问题是凸的。我们的实验结果显示了这些配方在几个数据集上的好处。
2018-04-01 cs.LG stat.ML
