Regression by clustering using Metropolis-Hastings
Universidad de los Andes（安第斯大学）；Quantil
健康保险市场的高质量风险调整削弱了保险公司为吸引低成本投保人而采取低效率行为的激励。我们提出了一种新的方法的基础上，马尔可夫链蒙特卡罗方法，以提高风险调整聚类诊断代码到最佳的健康支出预测的风险群体。我们测试的性能，我们的方法对常见的替代品使用面板数据从50万注册的哥伦比亚医疗保健系统。结果表明，我们的方法优于常见的替代方案，并表明它有潜力改善慢性病患者获得优质医疗服务的机会。
2019-09-13 cs.LG stat.AP stat.ME
Multi-Task Learning Regression via Convex Clustering
针对分组融合正则化会跨聚类迁移信息的问题，提出引入质心参数、分离回归与聚类参数的多任务回归方法，并通过模拟和真实数据验证其精度提升。
2023-04-26 stat.ME stat.ML
Robust model-based clustering via mixtures of multivariate pseudo-Voigt distributions
University of British Columbia-Okanagan（不列颠哥伦比亚大学奥肯那根分校）
该研究提出多元伪沃伊特分布混合模型，用于鲁棒基于模型聚类与异常值检测，经模拟与真实数据验证，在重尾数据上的聚类及异常值检测性能优于现有模型。
2026-08-31 stat.ME stat.ML
Identifying heterogeneous transgenerational DNA methylation sites via clustering in beta regression
本文通过聚类方法探讨了跨代DNA甲基化模式（DNA甲基化从一代传递到下一代）。Beta回归用于在种群水平上模拟从父母到他们的后代的传播模式。为了实现这一目标，提出了一种期望最大化算法的参数估计以及BIC标准，以确定集群的数量。将该方法应用于41个母亲-父亲-婴儿三联体的4063个CpG位点组成的DNA甲基化数据，我们确定了一组CpG位点，其中DNA甲基化传递由父亲主导，而在大量的CpG位点中，DNA甲基化主要由母亲传递给后代。
2016-02-09 q-bio.QM stat.AP
Robust EM algorithm for model-based curve clustering
Information Sciences and Systems Laboratory (LSIS), UMR CNRS 7296（信息科学与系统实验室（LSIS），法国国家科学研究中心 UMR 7296）；University of the South Toulon-Var (USTV)（南土伦瓦尔大学（USTV））
基于模型的聚类方法关注依赖于有限混合模型的探索性数据分析的范例，以自动地找到支配观察到的数据的潜在结构。它们是聚类分析中最流行和最成功的方法之一。混合物密度估计通常通过使用期望最大化（EM）算法来最大化所收集的数据的对数似然来执行。然而，众所周知，期望最大化算法初始化是至关重要的。此外，标准的期望最大化算法要求聚类的数量是先验已知的。在[31，12]中已经提供了一些解决方案，用于使用多变量数据的高斯混合模型进行基于模型的聚类。在本文中，我们专注于基于模型的曲线聚类方法，当数据是曲线，而不是向量数据，基于回归混合。我们提出了一种新的鲁棒的期望最大化算法的聚类曲线。我们将[31]中针对高斯混合模型提出的基于模型的聚类方法扩展到回归混合的曲线聚类的情况，包括多项式回归混合以及样条或B-样条回归混合。我们的方法既处理了初始化的问题，也处理了EM学习过程中选择最佳集群数量的问题，而不是采用双重方案。这是通过优化惩罚对数似然准则来实现的。仿真研究证实了所提出的算法的鲁棒性方面的潜在好处的初始化和资金的实际数量的集群。
2013-12-25 cs.LG stat.ME stat.ML
Nonparametric contaminated Gaussian mixture of regressions
University of Pretoria（比勒陀利亚大学）；University of California, Riverside（加州大学河滨分校）
本文提出半参数和非参数污染高斯回归混合模型，通过EM和ECM算法实现鲁棒估计，用于观测聚类和异常值检测。
2026-01-10 stat.ME
Sparse Variational Contaminated Noise Gaussian Process Regression with Applications in Geomagnetic Perturbations Forecasting
University of Michigan（密歇根大学）
针对复杂协方差数据中的异方差与离群噪声，本文提出污染正态似然的稀疏变分高斯过程回归，并在地磁扰动预测中以更短预测区间达到与神经网络基线相当的覆盖率和准确率。
2024-07-02 cs.LG stat.AP stat.ME
Contaminated Gibbs-type priors
吉布斯型先验被广泛用作几种贝叶斯非参数模型的关键成分。由于其灵活性和数学上的易处理性，它们在物种抽样问题、聚类和混合建模中成为主要的先验知识。我们引入了一个新的家庭的过程，扩展吉布斯型的一个，包括在模型中的污染物成分占异常（离群值）的存在下，或过量的观察频率之一。我们首先调查诱导随机分区，相关的预测分布，我们的集群数量的渐近行为的特征。我们得到的所有结果都是封闭的形式，易于解释，作为一个值得注意的例子，我们专注于污染版本的Pitman-Yor过程。最后，我们指出了我们的建设在不同的应用问题的优势：我们展示了如何污染成分有助于执行离群值检测的天文聚类问题，并提高预测推理的物种相关的数据集，表现出大量的物种频率1。
2021-08-26 math.ST stat.ME stat.TH
Robust Model-Based Clustering of Voting Records
我们探索发现极端的投票模式在美国国会投票记录的可能性，从污染的正态分布的混合物的想法。提出了基于污染正态分布的潜在性状混合模型。我们假设低维连续潜变量来自污染的正态分布，因此，在聚类时会拾取观察到的二进制数据中的极端模式。我们特别考虑这种模型用于分析投票记录。该模型适用于美国国会投票数据集的16个问题。注意，这种方法是文献中第一个处理具有可能极端模式的二进制数据的混合模型。
2018-05-10 stat.AP stat.ME
Optimal estimation in functional linear regression for sparse noise-contaminated data
在本文中，我们提出了一种新的方法来适应功能线性回归，其中的响应和预测是一个共同的变量，如时间的函数。我们考虑的情况下，响应和预测过程都稀疏采样的随机时间点和污染的随机误差。此外，对于预测器和响应函数的测量，允许随机时间不同。上述情况经常发生在纵向数据设置中。为了估计协方差和互协方差函数，我们使用再生核希尔伯特空间上的正则化方法。互协方差函数的估计被用于获得回归系数函数的估计以及函数奇异分量。我们推导了所提出的互协方差、回归系数和奇异分量函数估计的收敛速度。进一步证明了在某些正则条件下，系数函数的估计量存在极小极大最优率。我们进行了模拟研究，并证明了所提出的方法的优点，通过比较它与其他一些现有的方法在文献中。我们举例说明了一个著名的多中心艾滋病队列研究的应用程序的方法。
2017-11-13 stat.ME
High-Dimensional Regression with Gaussian Mixtures and Partially-Latent Response Variables
INRIA Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯分所）
在这项工作中，我们解决的问题，近似高维数据的低维表示。我们做出以下贡献。我们提出了一种逆回归方法，它交换了输入和响应的角色，使得低维变量成为回归变量，并且易于处理。我们引入了一种混合的局部线性概率映射模型，该模型从估计逆回归的参数开始，然后推断感兴趣的高维回归问题的正向参数的封闭形式的解决方案。此外，我们引入了一个部分潜在的范例，使向量值的响应变量是由观察到的和潜在的条目，从而能够处理数据污染的实验文物，不能解释与噪声模型。所提出的概率公式可以被看作是一个潜在的变量回归增强。我们设计的期望最大化（EM）程序的基础上的数据增强战略，有利于最大似然搜索的模型参数。我们提出了两个增强方案，我们详细描述了相关的EM推理程序，可以被看作是一些EM回归，降维，因子分析算法的概括。所提出的框架与合成和真实数据进行了验证。我们提供的实验证据表明，我们的方法优于几个现有的回归技术。
2013-12-20 cs.LG stat.ML
Mixtures of Contaminated Matrix Variate Normal Distributions
三向数据分析在文献中变得越来越普遍，特别是在聚类和分类领域。真实数据，包括真实的三向数据，经常被潜在的离群观测所污染。它们的检测，以及开发强大的模型不敏感的存在，是特别重要的，因为这类数据的实际问题，他们的有效可视化。本文讨论了污染矩阵变量的正态分布，并将其应用于混合模型的聚类分析中。所提出的模型的一个关键优点是能够自动检测潜在的离群矩阵计算其\textit{a posteriori}概率是一个“好”或“坏”点。这种检测目前是不可用的使用现有的矩阵变量的方法。采用期望条件最大化算法进行参数估计，并用模拟数据和实际数据进行了说明。
2020-05-08 stat.ME
Modeling Bounded Count Environmental Data Using a Contaminated Beta-Binomial Regression Model
针对有界计数环境数据中极端值影响贝塔-二项式（BB）模型性能的问题，提出污染贝塔-二项式（cBB）分布及回归模型，保留BB特性同时适应极端值，提升推断准确性。
2025-04-18 stat.ME
Estimation in exponential family Regression based on linked data contaminated by mismatch error
识别多个文件中的匹配记录可能是一项具有挑战性且容易出错的任务。链接错误可能会严重影响后续基于结果链接文件的统计分析。最近的几篇论文从“断样本问题”和“置换数据”的角度研究了后连锁线性回归分析，其中响应变量在一个文件中，协变量在第二个文件中。在本文中，我们提出了一个扩展这条线的研究指数的家庭反应的假设一个小到中等数量的错配。提出了一种基于观测特定的偏移来考虑潜在的失配和$\ell_1$惩罚的方法，并讨论了其统计特性。我们还提出了充分条件，如果回归参数是已知的，协变量和响应之间的正确对应关系的恢复。所提出的方法相比，既定的基线，即Lahiri-Larsen和钱伯斯的方法，理论和经验的基础上合成和真实的数据。结果表明，这些方法可以实现实质性的改进，即使只有有限的信息的链接过程。
2020-10-26 stat.ME
UCSL : A Machine Learning Expectation-Maximization framework for Unsupervised Clustering driven by Supervised Learning
Université Paris-Saclay（巴黎萨克雷大学）；CEA（法国原子能和替代能源委员会）；Neurospin（神经自旋中心）；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI实验室）
子类型发现在于寻找数据集的可解释且一致的子部分，这些子部分也与特定的监督任务相关。从数学的角度来看，这可以被定义为由监督学习驱动的聚类任务，以便根据监督预测揭示子组。在本文中，我们提出了一个通用的期望最大化集成框架UCSL（无监督聚类驱动的监督学习）。我们的方法是通用的，它可以集成任何聚类方法，可以由二进制分类和回归驱动。我们建议通过合并多个线性估计量来构建一个非线性模型，每个聚类一个。每个超平面都被估计，以便它正确地区分-或预测-只有一个集群。我们使用SVC或逻辑斯谛回归进行分类，使用SVR进行回归。此外，为了在更合适的空间内进行聚类分析，我们还提出了一种降维算法，该算法将数据投影到与监督任务相关的正交空间上。我们使用合成和实验数据集分析我们的算法的鲁棒性和泛化能力。特别是，我们验证了它的能力，以确定合适的一致的亚型进行精神疾病聚类分析与已知的地面真理标签。在平衡精度方面，所提出的方法相对于先前最先进技术的增益约为+1.9点。最后，我们在https://github.com/neurospin-projects/2021_rlouiset_ucsl上的scikit-learn兼容Python包中提供代码和示例
2021-07-05 cs.AI cs.CV cs.LG
A robust contaminated discrete Weibull regression model for outlier-prone count data
Cytel Inc.（Cytel公司）；University of the Free State（自由邦大学）；University of Pretoria（比勒陀利亚大学）；KU Leuven（荷语鲁汶大学）；Stellenbosch University（斯泰伦博斯大学）
提出污染离散威布尔(cDW)模型，通过混合重尾子分布处理计数数据中的异常值，保留中位数回归链接，在住院时长数据中有效捕获极端值并提高预测精度。
2026-06-25 stat.ME
Parsimonious mixtures of multivariate contaminated normal distributions
多元污染正态分布的混合开发基于模型的聚类。除了经典的正常的混合物的参数，我们的污染的混合物，对于每个集群，一个参数控制温和的离群值的比例和一个指定的污染程度。至关重要的是，这些参数不必事先指定，为我们的方法增加了灵活性。通过分量协方差阵的特征分解引入了简约性，并给出了所有成员可识别的充分条件。一个期望条件最大化算法概述了参数估计和各种实施问题进行了讨论。使用一个大规模的模拟研究，所提出的方法的行为进行了研究和比较，以及建立有限的混合物。这个新的家庭的模型的性能也说明了人工和真实的数据。
2016-05-19 stat.CO stat.ME
Clustering functional data with measurement errors: a simulation-based approach
针对受测量误差污染的函数型数据聚类易出错的问题，提出一种基于重复测量估计误差分布、结合真实函数条件分布模拟数据的聚类方法，经模拟和儿童肥胖研究验证性能更优。
2024-06-17 stat.AP stat.ME
Robust artificial neural networks and outlier detection. Technical report
Deakin University（迪肯大学）；University of Ballarat（巴拉瑞特大学）
大的离群值会破坏线性和非线性回归模型。稳健的回归方法允许人们在构建模型时过滤掉离群值。通过用最小二乘准则代替传统的最小二乘准则，其中一半的数据被视为潜在的离群值，可以将精确的回归模型拟合到强污染数据。高崩溃方法在线性回归中已经非常成熟，但直到最近才开始应用于非线性回归。在这项工作中，我们研究了使用最小修剪平方标准将人工神经网络拟合到受污染数据的问题。我们引入了一个惩罚的最小修剪平方标准，防止不必要的删除有效数据。人工神经网络的训练导致具有挑战性的非光滑全局最优化问题。我们比较了几种无导数最优化方法在解决它的效率，并表明我们的方法正确识别异常值时，人工神经网络用于非线性回归。
2011-10-02 cs.CV cs.NA cs.NE
Multiscale clustering of nonparametric regression curves
在广泛的现代应用中，我们观察到大量的时间序列，而不仅仅是一个单一的。人们常常很自然地认为，在所观察到的时间序列中存在某种群结构。当每个时间序列由非参数回归方程建模时，可以特别地假设所观察到的时间序列可以被划分为少数组，这些组的成员共享相同的非参数回归函数。我们开发了一个无带宽的聚类方法来估计未知的组结构的数据。更准确地说，我们构造了未知组及其未知数的多尺度估计，这些估计不需要经典的带宽或平滑参数。在本文的理论部分，我们分析了我们的估计的统计性质。我们的理论结果是在一般条件下得出的，该条件允许数据在时间序列方向上和跨不同的时间序列都是依赖的。本文的技术分析是由模拟研究和实际数据应用的补充。
2019-03-04 math.ST stat.ME stat.TH
Scalable Interpretable Learning for Multi-Response Error-in-Variables Regression
包含噪声或缺失观测值的损坏数据集在各种当代应用中普遍存在，例如经济学，金融学和生物信息学。尽管最近在高维多响应回归的方法和算法方面取得了进展，但如何在污染协变量下实现可扩展和可解释的估计尚不清楚。在本文中，我们提出了一种新的方法称为凸条件序贯稀疏学习（COSS）的误差在变量的多响应回归下添加测量误差和随机缺失数据。它结合了最近发展的序贯稀疏因子回归和最近的半正定矩阵投影的优势，从而在大规模关联分析中享有逐步凸性和可扩展性。提供了全面的理论保证，我们通过数值研究证明了所提出的方法的有效性。
2020-05-11 math.ST stat.AP stat.ME
Correlated variables in regression: clustering and sparse estimation
考虑变量强相关的高维线性模型中的估计问题。我们建议首先对变量进行聚类，然后进行后续的稀疏估计，例如聚类代表的Lasso或基于聚类结构的Lasso组。关于第一步，我们提出了一种新的和自下而上的凝聚聚类算法的基础上典型的相关性，我们发现，它找到了一个最佳的解决方案，是统计上一致的。我们还提出了一些理论论据，典型相关的聚类导致一个更好的设计矩阵，确保可识别性和一个预言不等式组拉索的相容常数。此外，我们讨论的情况下，集群的代表和使用Lasso作为后续估计导致改进的结果预测和检测的变量。我们补充了各种实证结果的理论分析。
2012-09-26 math.ST stat.ME stat.TH
Group-Average and Convex Clustering for Partially Heterogeneous Linear Regression
本文引入子群最小二乘和凸聚类方法，推导出一种在精准营销和精准医疗领域具有潜在应用价值的部分异质线性回归。利用子群最小二乘法可以一致地估计齐次参数和非齐次参数的子群平均值，而不需要对非齐次参数作稀疏性假设。通过凸聚类可以对异质参数进行一致性聚类。与现有的回归聚类方法不同，我们的聚类过程是一个标准的均值聚类，尽管所研究的模型是一种回归类型，相应的算法只涉及低维参数。因此，即使样本量很大，也是简单和稳定的。通过仿真研究和对汽车销售数据的分析，进一步说明了该方法的优越性。
2017-11-01 stat.ME
Simultaneous semi-parametric estimation of clustering and regression
研究了具有固定组效应的回归模型的参数估计，当组变量缺失而组相关变量可用时。这个问题涉及聚类以基于组相关变量推断缺失的组变量，以及回归以在给定组和最终附加变量的目标变量上构建模型。因此，这个问题可以用公式表示为目标和组相关变量的联合分布建模。该联合模型的常用参数估计策略是两步方法，首先学习组变量（聚类步骤），然后插入其估计量以拟合回归模型（回归步骤）。然而，这种方法是次优的（特别是提供有偏的回归估计），因为它没有利用目标变量进行聚类。因此，我们要求同时估计方法的聚类和回归，在半参数框架。数值实验说明了我们的主张，考虑广泛的分布和回归模型的好处。我们的新方法的相关性说明了处理与高血压预防相关的问题的真实数据。
2020-12-28 stat.ME
A unified framework for model-based clustering, linear regression and multiple cluster structure detection
描述了一个处理线性回归和聚类问题的一般框架。它包括随机协变量的高斯聚类线性回归分析和通过变量选择的高斯混合模型的聚类分析。它还承认一种新的方法，用于检测多个聚类可能相关的子向量的变量，定义为条件独立的高斯混合模型的产品的模型的基础上。给出了该模型可辨识的必要条件。所描述的方法的有用性和有效性，说明使用模拟和真实的数据集。
2015-10-12 stat.ME
A Simple Correction Procedure for High-Dimensional Generalized Linear Models with Measurement Error
本文研究了协变量受测量误差污染的高维广义线性模型。众所周知，在传统的低维环境中，如果误差未被合并，则来自变量误差回归模型的估计值会有偏差。这种模型最近变得感兴趣时，正则化的惩罚被添加到估计过程。不幸的是，纠正错误的测量可能会增加不必要的计算困难的优化，这是一个新的工具集，为从业者成功地使用模型。我们研究了一个通用的程序，利用最近提出的输入正则化优化算法的高维变量误差模型，我们实现连续，二进制和计数响应类型。至关重要的是，我们的方法允许在存在污染协变量的情况下使用现成的线性回归方法。我们将我们的校正应用于基因微阵列数据，并说明它导致假阳性的数量大大减少，同时仍然保留了大多数真阳性。
2020-01-02 stat.CO stat.ME
Generalized Bayesian Clustering with Regression for Unaligned Longitudinal Binary Data
Texas A&M University（德克萨斯农工大学）；University of Colorado Anschutz（科罗拉多大学安舒茨分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对未对齐纵向二元数据，提出带回归的广义贝叶斯聚类模型，结合轨迹相似性与回归损失，用切片沃尔什斯坦因距离实现无对齐比较，以狄利克雷过程定义聚类参数先验，解决单一生成模型的设定或效率问题。
2026-09-02 stat.AP stat.CO stat.ME
Piecewise regression mixture for simultaneous functional data clustering and optimal segmentation
Aix Marseille Université（艾克斯-马赛大学）；Université de Toulon（土伦大学）
本文介绍了一种新的混合模型为基础的方法，同时聚类和最佳分割的功能数据，这是曲线政权的变化。所提出的模型包括在一个有限的混合分段多项式回归模型。每个分段多项式回归模型与聚类相关联，并且在每个聚类内，每个分段多项式分量与状态（即，段）。我们推导出两种方法来学习模型参数。前者是一种估计方法，包括通过一个专用的期望最大化（EM）算法最大限度地提高数据的似然性。然后通过最大化后验聚类概率，在收敛时得到K个聚类中曲线的模糊划分。然而，后者是一种分类方法，并通过专用的分类期望最大化（CEM）算法优化特定的分类可能性标准。采用动态规划法进行最优曲线分割。在分类方法中，曲线聚类和最优分割都是在CEM学习过程中同时进行的。我们证明了分类方法是概率版本，它推广了Hébrail等人（2010）提出的确定性K-means算法。所提出的方法进行评估，使用模拟曲线和现实世界的曲线。与包括回归混合模型和分段回归的K-means算法在内的替代方案的比较表明了该方法的有效性。
2014-04-30 cs.LG math.ST stat.ME
Robust penalized least squares of depth trimmed residuals regression for high-dimensional data
Michigan State University（密歇根州立大学）
针对高维数据中异常值易使惩罚回归崩溃的问题，提出基于深度截断残差最小平方和的稳健惩罚回归方法，实验证明其在估计和预测精度上优于现有方法。
2023-09-04 cs.LG stat.ME stat.ML
Model-based clustering using a new mixture of circular regressions
University of Pretoria（比勒陀利亚大学）
本文提出了一种基于圆形回归混合的模型聚类方法，用于处理多模态圆形响应变量和混合协变量的数据，通过最大似然估计和模拟研究验证了其有效性。
2026-01-08 stat.CO stat.ME
Adaptive Huber Regression
大数据很容易被离群值污染，或者包含具有重尾分布的变量，这使得许多传统方法无法胜任。为了解决这个问题，我们提出了自适应Huber回归鲁棒估计和推理。关键的观察结果是，稳健化参数应适应于样本量、维度和矩，以在偏倚和稳健性之间进行最佳权衡。我们的理论框架处理重尾分布与有界的$(1+δ)$次矩的任何$δ> 0$。我们建立了一个尖锐的相变，在低维和高维回归参数的鲁棒估计：当$δ\geq 1$，估计承认一个次高斯型偏差界没有次高斯假设的数据，而只有一个较慢的速度是可用的制度$0<δ< 1$。此外，这种过渡是平滑和最佳的。此外，我们扩展的方法，允许重尾预测和观测噪声。仿真研究进一步支持了该理论。在对表现出重尾性的癌细胞系的遗传研究中，所提出的方法显示出更鲁棒性和预测性。
2018-10-10 math.ST stat.ME stat.TH
Cellwise and Casewise Robust Multivariate Regression with Inference
KU Leuven（荷语鲁汶大学）
本文提出cellMR估计器，同时处理案例和单元异常值、缺失数据和高维性，引入cellBoot推断方法，提供稳健的置信区间。
2026-10-20 math.ST stat.ME stat.TH
Extrapolation Estimation for Parametric Regression with Normal Measurement Error
对于协变量含有正态测量误差的一般参数回归模型，本文提出了一种经典模拟外推算法的加速版本来估计回归函数中的未知参数。通过将条件期望直接应用于目标函数，所提出的算法成功地消除了模拟步骤，通过生成一个估计方程，无论是立即使用或外推，从而显着减少了计算时间。讨论了估计量的大样本性质，包括相合性和渐近正态性。潜在的广泛应用所提出的估计程序的例子，模拟研究，以及一个真实的数据分析。
2021-07-10 stat.ME
CR-Lasso: Robust cellwise regularized sparse regression
针对逐单元异常值污染下的稀疏回归问题，提出 CR-Lasso，通过联合最小化回归损失与逐单元偏离度量实现稳健特征选择，并在模拟比较和骨密度真实数据中验证其竞争力。
2024-03-01 stat.CO stat.ME
Model-based clustering with Hidden Markov Model regression for time series with regime changes
Paris Nord University（巴黎第十三大学）；IFSTTAR（法国交通与安全科学技术研究所）；Heudiasyc Lab（Heudiasyc实验室）
本文介绍了一种新的基于模型的聚类方法聚类时间序列，目前的政权变化。它由隐藏的马尔可夫链控制的多项式回归的混合物组成。每个簇的潜在隐藏过程在时间上连续激活几个多项式机制。参数估计通过专用期望最大化（EM）算法采用极大似然法进行。所提出的方法进行评估，使用模拟时间序列和现实世界的时间序列从铁路诊断应用程序发出。与现有的时间序列聚类方法，包括高斯混合的标准EM，$K$均值聚类，标准混合回归模型和混合隐马尔可夫模型的比较，证明了该方法的有效性。
2013-12-25 cs.LG stat.ME stat.ML
Provable Training Set Debugging for Linear Regression
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Cambridge（剑桥大学）
我们调查的问题，惩罚$M$估计，启发应用程序在机器学习调试。从两个池中收集数据，一个包含可能被污染的标签的数据，另一个已知仅包含干净标记的点。我们首先制定了一个通用的统计算法，用于识别错误点，并提供严格的理论保证的假设下，数据遵循线性模型。然后，我们提出了两个案例研究来说明我们的一般理论的结果和我们的估计干净与缺陷点的依赖。我们进一步提出了一个算法，调整我们的Lasso算法的参数选择，并提供相应的理论保证。最后，我们考虑一个两个人的“游戏”之间的错误发生器和调试器，调试器可以增加污染的数据集与干净的标记版本的点在原始数据池。我们建立了一个理论上的结果，显示了一个充分条件下，错误生成器总是可以欺骗调试器。尽管如此，我们提供的实证结果表明，这种情况可能不会发生在实践中，使自然增强策略结合我们的Lasso调试算法成功。
2021-08-10 cs.LG stat.ME stat.ML
Penalized Weighted Least Squares for Outlier Detection and Robust Regression
为了对含有异常值的数据进行回归分析，已经提出了许多同时进行异常值检测和稳健回归的方法，本文提出的方法也是如此。这种新方法被称为“惩罚加权最小二乘”（PWLS）。通过为每个观察分配单独的权重并在权重向量的对数变换上引入套索类型的惩罚，PWLS能够同时执行离群值检测和鲁棒回归。一个贝叶斯的PWLS的观点，它表明，PWLS可以被看作是一个例子的M-估计。提出了两种选择PWLS调谐参数的方法。PWLS的性能通过仿真和实际应用证明。
2016-03-24 stat.ME
Dimension Reduction via Supervised Clustering of Regression Coefficients: A Review
降维方法的发展和使用在现代统计文献中很普遍。本文回顾了一类降维技术，其目的是同时选择相关的预测，并找到集群内共享的响应的共同影响。已证明此类方法相对于OLS估计值和套索[Tibshirani，1996]具有优越的性能，尤其是当预测因子存在多重共线性时。它们的应用，其中包括遗传学，流行病学和功能磁共振成像研究，也进行了讨论。
2022-02-17 stat.ME
Regression on imperfect class labels derived by unsupervised clustering
Aalborg University Hospital（奥尔堡大学医院）；Aalborg University（奥尔堡大学）
在许多应用中，通过无监督聚类识别的类标签回归的结果是自定义的。然而，通常忽略由学习算法引起的类别标签的错误分类，这潜在地导致估计的效果参数的严重偏差。由于其普遍性，我们建议纠正的情况下，使用模拟和外推法。从高斯混合模型的模拟数据的性能说明。最后，我们将我们的方法应用于一项研究，该研究回归了来自多发性骨髓瘤患者骨髓样本基因表达数据的无监督聚类的类标签上的总生存期。
2019-08-16 cs.LG stat.ME stat.ML
SMIXS: Novel efficient algorithm for non-parametric mixture regression-based clustering
University of Ljubljana（卢布尔雅那大学）；Slovenian Environment Agency（斯洛文尼亚环境署）；Tampere University（坦佩雷大学）
我们研究了一种新的基于非参数回归的聚类算法用于纵向数据分析。该算法结合自然三次样条函数和高斯混合模型（GMM），可以产生平滑的聚类均值，很好地描述了底层数据。然而，该算法也存在一些缺点：参数估计过程计算复杂度高，方差估计量数值不稳定。因此，为了进一步提高该方法的可用性，我们采用了一些方法来降低其计算复杂性，我们开发了一种新的，更稳定的方差估计，我们开发了一个新的平滑参数估计过程。我们表明，开发的算法，SMIXS，在合成数据集上的聚类和回归性能优于GMM。我们展示了计算速度的影响，我们正式证明在新的框架。最后，我们进行了一个案例研究，通过使用SMIXS集群垂直大气测量，以确定不同的天气制度。
2022-09-19 cs.AI stat.ME
On Computationally-Scalable Spatio-Temporal Regression Clustering of Precipitation Threshold Excesses
针对系统性缺失协变量情况下基于回归的极值分析，提出了一种基于数据驱动的时空回归的阈值过度聚类方法。结果表明，在系统缺失的协变量的存在下，阈值过度的行为变得非平稳和非齐次。所提出的方法描述了这种复杂的行为由一组本地平稳广义帕累托分布（GPD）模型，其中的参数表示为回归模型，和一个潜在的时空切换过程。利用模型参数有界变化的时间序列分析非参数有限元方法（FEM-BV），解决了时空切换过程。所提出的FEM-BV-GPD方法超越了标准潜在类模型（如混合模型和隐马尔可夫模型）中的强先验假设。此外，它还提供了底层依赖结构的实用描述。该框架的性能表现在瑞士的历史降水量数据，并与相同的数据通过标准方法获得的结果进行比较。
2021-04-01 stat.ME
Bayesian profile regression for clustering analysis involving a longitudinal response and explanatory variables
鉴定具有共同功能的共调控基因是现代基因组学的一个关键问题。贝叶斯轮廓回归是一种半监督混合建模方法，它利用响应来指导对相关聚类的推断。以前的应用程序的配置文件回归考虑了单变量连续，分类，计数的结果。在这项工作中，我们扩展贝叶斯轮廓回归的情况下，结果是纵向（或多变量连续），并提供PReMiuMlongi，更新版本的PReMiuM，R包配置文件回归。我们考虑多元正态和高斯过程回归响应模型，并提供了四个模拟研究的原则应用程序的证明。该模型适用于芽殖酵母的数据，以确定在酿酒酵母细胞周期的基因组共调节。我们确定了4个不同的基因组与特定模式的基因表达轨迹，随着绑定的转录因子，可能参与其共同调控过程。
2021-11-08 stat.AP stat.ME
KOO Method-based Consistent Clustering for Group-wise Linear Regression with Graph Structure
本文针对具有图结构的分组线性回归，提出基于KOO方法的JTT聚类方法，通过推导模型选择准则实现高维框架下的一致聚类，方法简单且优于network Lasso。
2025-09-14 stat.ME
Unimodal clustering using isotonic regression: ISO-SPLIT
许多聚类算法的一个局限性是需要为每个应用程序甚至每个数据集调整可调参数。一些技术需要对聚类数目的\emph{a priori}估计，而基于密度的技术通常需要尺度参数。其他参数方法，如混合建模，对潜在的聚类分布做出假设。在这里，我们介绍了一种非参数聚类方法，不涉及可调参数，只假设集群是单峰的，在这个意义上说，他们有一个最大密度点时，投影到任何线，集群是彼此分开的一个分离的超平面相对较低的密度。该技术使用保序回归的Hartigan倾斜统计量的非参数变体作为每次迭代时重复的内核操作。我们将该方法与k-means++，DBSCAN和高斯混合方法进行了比较，并在模拟中显示，在许多情况下，它的性能优于这些标准方法。该算法适用于低维数据集与大量的观察，并由“尖峰排序”的问题，在神经电记录的动机。源代码免费提供。
2016-05-18 stat.ME
Spatial Clustering Regression of Count Value Data via Bayesian Mixture of Finite Mixtures
本文提出贝叶斯有限混合之混合空间聚类回归模型，利用 Markov 随机场先验识别 Poisson 回归系数的空间同质性，并辅以理论、MCMC 算法、模拟和佐治亚州数据验证。
2023-06-04 stat.AP stat.CO stat.ME
Spatially Clustered Regression
空间回归或地理加权回归模型已被广泛采用，以捕捉辅助信息对一个区域的响应变量的影响。与此相反，响应和辅助变量之间的关系，预计在许多应用中表现出复杂的空间模式。本文提出了一种新的空间回归方法，称为空间聚类回归，估计可能聚集的空间模式的关系。我们结合了基于K-均值的聚类公式和惩罚函数的空间过程称为波茨模型，以鼓励在相邻位置的类似聚类。我们提供了一个简单的迭代算法来适应所提出的方法，可扩展的大型空间数据集。通过仿真研究，该方法显示出其优越的性能，现有的方法，即使在真实的结构不允许空间聚类。最后，所提出的方法应用于犯罪事件数据在东京，并产生可解释的结果的空间模式。R代码可在https://github.com/sshonosuke/SCR上获得。
2021-04-28 stat.ME
Nonparametric Variable Selection, Clustering and Prediction for High-Dimensional Regression
由于相对较小的样本量和大量协变量之间存在复杂的相互作用模式，因此在高维回归设置中开发用于可靠推断和预测响应的简约模型通常具有挑战性。我们提出了一个有效的，非参数的框架，同时变量选择，聚类和预测在高通量回归设置连续或离散的结果，称为VariScan。VariScan模型利用Poisson-Dirichlet过程（PDP）引起的稀疏性将协变量分组为低维潜在聚类，这些聚类由样本之间具有相似模式的协变量组成。数据被允许直接选择一个合适的集群分配方案，选择PDP和他们的特殊情况下，狄利克雷过程。随后，潜在的集群被用来建立一个非线性预测模型的响应，使用自适应混合的线性和非线性元素，从而实现模型的简约性和灵活性之间的平衡。我们研究的VariScan程序，区分分配模式的PDP和Dirichlet过程的数量和相对大小的集群方面的理论属性。附加的理论结果保证了基于模型的聚类过程的高精度，并建立了模型选择和预测的一致性。通过模拟研究和基准数据集的分析，我们证明了VariScan的聚类机制的可靠性，并表明该技术相比有利，往往优于，现有的方法在特定主题的响应的预测精度。
2016-04-14 stat.ME
Measurement Errors as Bad Leverage Points
变量中的误差是线性回归中一个长期存在的困难问题;进展部分取决于新的识别假设。我把测量误差描述为坏杠杆点，并假设不到一半的样本观测值受到严重污染，在这种情况下，一个高故障鲁棒估计器可能能够隔离和降低权重或丢弃有问题的数据。在简单和多元回归的模拟中，eiv影响25%的数据，R-squared是平庸的，某些高崩溃估计量有小偏差和可靠的置信区间。
2020-03-16 econ.EM stat.AP stat.ME
Robust location estimators in regression models with covariates and responses missing at random
本文讨论了一般回归模型中响应变量和部分协变量均存在缺失数据时的稳健边际估计问题。目标是通过$M-$函数给出的边缘位置参数。为了得到稳健的Fisher-相合估计量，考虑适当定义的边缘分布函数估计量.这些估计量通过假设随机缺失条件避免了缺失值引起的偏倚。三种方法被认为是估计的边缘分布函数，它允许获得的$M-$的位置感兴趣：众所周知的逆概率加权，卷积为基础的方法，利用回归模型和增强的逆概率加权程序，防止误指定。在不同的缺失模型下，包括干净样本和污染样本，通过数值研究比较了稳健估计和经典估计。我们说明了非线性模型下的估计行为。一个真实的数据集进行了分析。
2020-05-07 stat.ME
Functional regression clustering with multiple functional gene expressions
基因表达数据通常在不同实验条件下的时间序列实验中收集。随着时间的推移，可能有基因具有非常不同的基因表达谱，但在实验条件下以相同的方式调整其基因表达模式。我们的目标是开发一种方法，发现这些时间基因表达谱之间的关系是彼此相似的基因簇，即使个别时间基因表达谱不同。我们提出了一个$K$ -手段类型的算法，其中每个集群是由一个功能上的功能回归模型，其中，除其他外，允许多个功能的解释变量定义。我们通过大量的模拟验证了这种新方法，然后将其应用于识别基因组，其昼夜表达模式以类似的方式受到季节的干扰。我们的聚类富含具有相似生物学功能的基因，包括一个富含光合相关功能和多聚核糖体的聚类，这表明我们的方法提供了有用的和新颖的生物学见解。
2021-12-01 stat.ME
Functional Lagged Regression with Sparse Noisy Observations
函数（滞后）时间序列回归模型涉及标量响应时间序列对由一系列随机函数组成的回归量时间序列的回归。在实践中，潜在的回归曲线时间序列并不总是直接可访问的，而是仅在离散测量位置处观察（采样）的潜在过程。在本文中，我们考虑了所谓的稀疏观测场景，其中只有相对较少的测量位置已被观察到，每个曲线可能不同。测量结果可能进一步受到附加测量误差的污染。被认为是一种谱的方法来估计模型的动态。利用核平滑方法从稀疏观测值中估计回归量时间序列的谱密度以及回归量与响应时间序列之间的互谱密度。滞后回归模型的脉冲响应回归系数然后通过岭回归（Tikhonov正则化）或PCA回归（谱截断）来估计。然后通过预测恢复潜在功能时间序列，条件是所有观察到的观察数据。我们的方法的性能和实施说明通过模拟研究和气象数据的分析。
2020-03-31 stat.ME
Robust variable screening for regression using factor profiling
可靠独立筛选是一种用于超高维回归分析中变量选择的快速方法。不幸的是，它的性能大大恶化的预测之间的依赖性增加。为了解决这个问题，因子轮廓确定独立筛选（FPSIS）模型的预测变量的相关结构，假设它可以表示为几个潜在的因素。然后可以通过将数据投影到这些因子所跨越的子空间的正交补上来分析相关性。然而，这两种方法都不能处理数据中存在的离群值。因此，我们提出了一个强大的筛选方法，它使用最小二乘法来估计潜在的因素和因素轮廓变量。然后，通过使用回归MM估计量对因子轮廓变量进行变量筛选。研究了模型中不同类型的异常值及其在变量筛选中的作用。仿真研究和实际数据分析表明，所提出的鲁棒方法在干净数据上具有良好的性能，在污染数据上优于两种非鲁棒方法。
2018-11-14 stat.ME
A Score Based Test for Functional Linear Concurrent Regression
我们提出了一种新的方法来测试的原假设的协变量的响应没有影响的背景下，功能线性并发回归。我们建立了一个等价的随机效应公式的功能回归模型下，我们的测试问题减少到零方差分量的随机效应的测试。为此，我们使用了一个单侧分数测试方法，这是经典的分数测试的扩展。我们提供了理论上的理由，为什么我们的测试程序有正确的水平（渐近）在零使用标准假设。使用数值模拟，我们表明，我们的测试方法具有所需的第一类错误率，并提供更高的功率相比，目前存在于文献中的自举F测试。研究表明，即使在数据稀疏且协变量受到噪声污染的情况下，我们的模型和测试程序也能表现出良好的性能。所提出的测试方法的应用程序上的步态研究和膳食钙吸收数据证明。
2019-12-12 stat.AP stat.ME
Bayesian low-rank latent-cluster regression for mixed health outcomes
University of Central Florida（中佛罗里达大学）
本文提出一种贝叶斯潜变量聚类降维回归模型，用于处理高维健康和监测研究中的多重相关结果和潜在异质性，通过低秩系数矩阵实现聚类、降维和可解释性。
2026-05-12 stat.CO stat.ME
