Piece-wise linear isotonic regression
Turku School of Economics, University of Turku（图尔库经济学院，图尔库大学）；Miguel Hernández University of Elche（埃尔切米格尔·埃尔南德斯大学）；Surrey Business School, University of Surrey（萨里商学院，萨里大学）
本文提出分段线性平滑框架，解决传统单调回归无法提供边际属性的问题，通过双层优化方法在凸非凸情况下提升估计精度。
2026-05-16 stat.ME
Robust Clustering in Regression Analysis via the Contaminated Gaussian Cluster-Weighted Model
高斯聚类加权模型（CWM）是具有随机协变量的回归模型的混合，允许对由响应变量和协变量组成的随机向量进行灵活聚类。在每个混合分量中，它对协变量和给定协变量的响应都采用高斯分布。为了鲁棒的方法相对于可能的椭圆重尾偏离正态性，由于存在非典型的观察，污染高斯CWM在这里介绍。除了高斯CWM的参数之外，我们的污染CWM的每个混合成分都有一个控制离群值比例的参数，一个控制杠杆点比例的参数，一个指定相对于响应变量的污染程度，一个指定相对于协变量的污染程度。至关重要的是，这些参数不必事先指定，从而为我们的方法增加了灵活性。此外，一旦模型被估计并且观察被分配到组，则可以直接获得典型点、离群值、好杠杆点和坏杠杆点的更精细的组内分类-稳健回归分析中的首要概念。与其他基于混合的污染模型的关系进行了分析，提供了可识别的条件，期望条件最大化算法概述了参数估计，并讨论了各种实施和操作问题。通过蒙特卡罗实验评价了回归系数估计的性质，并与高斯CWM的估计进行了比较。还根据实际数据集进行了敏感性研究。
2014-09-21 math.ST stat.CO stat.ME
Identifying heterogeneous transgenerational DNA methylation sites via clustering in beta regression
本文通过聚类方法探讨了跨代DNA甲基化模式（DNA甲基化从一代传递到下一代）。Beta回归用于在种群水平上模拟从父母到他们的后代的传播模式。为了实现这一目标，提出了一种期望最大化算法的参数估计以及BIC标准，以确定集群的数量。将该方法应用于41个母亲-父亲-婴儿三联体的4063个CpG位点组成的DNA甲基化数据，我们确定了一组CpG位点，其中DNA甲基化传递由父亲主导，而在大量的CpG位点中，DNA甲基化主要由母亲传递给后代。
2016-02-09 q-bio.QM stat.AP
The Why and How of Convex Clustering
School of Statistics, University of Minnesota（明尼苏达大学统计学院）；Division of Computational Health Sciences, University of Minnesota（明尼苏达大学计算健康科学部）
本文综述了凸聚类方法，探讨其基于凸优化的无虚假局部极小值、全局极小化器稳定等特性，并提供了理论直觉、实用指导、算法计算成本及广泛应用的灵活性。
2025-09-18 stat.ME stat.ML
Sparse Convex Clustering
New York University School of Medicine（纽约大学医学院）；Merck Research Laboratories（默克研究实验室）；University of Miami School of Business Administration（迈阿密大学工商管理学院）；New Jersey Institute of Technology（新泽西理工学院）
凸聚类是k-均值聚类和层次聚类的一种凸松弛算法，它很好地解决了传统非凸聚类方法的不稳定性问题。虽然它的计算和统计特性最近已被研究，凸聚类的性能尚未在高维聚类的情况下，其中的数据包含大量的功能和他们中的许多人进行没有信息的聚类结构进行了研究。在本文中，我们证明了凸聚类的性能可能会扭曲时，无信息的功能，包括在聚类。为了克服它，我们引入了一种新的聚类方法，称为稀疏凸聚类，同时聚类观察和进行特征选择。其核心思想是用正则化的形式来表示凸聚类，并在聚类中心处引入自适应的组套索惩罚项。为了最佳地平衡聚类拟合和稀疏性之间的权衡，开发了基于聚类稳定性的调整标准。在理论上，我们提供了一个无偏估计量的自由度的建议稀疏凸聚类方法。最后，稀疏凸聚类的有效性进行了检查，通过各种数值实验和实际数据的应用。
2017-02-10 cs.LG stat.ME stat.ML
An Efficient Smoothing Proximal Gradient Algorithm for Convex Clustering
University of Miami（迈阿密大学）
聚类分析将数据组织成合理的分组，是理解和学习的基本模式之一。广泛使用的K-means和层次聚类方法可能由于局部最小值而显着次优。最近引入的凸聚类方法将聚类问题转化为凸优化问题，并保证了全局最优解。然而，现有的基于交替方向乘子法（ADMM）或交替最小化算法（AMA）的凸聚类算法需要大量的计算和存储空间，限制了它们的应用。在本文中，我们开发了一个非常有效的平滑近似梯度算法（SSTRA）的凸聚类。我们的Sphera比ADMM或AMA为基础的凸聚类算法快一到两个数量级。Sundra所需的内存空间比ADMM和AMA所需的内存空间少至少一个数量级。计算机模拟和实际数据分析表明，该算法优于几个著名的聚类算法，包括K-均值和层次聚类。该算法的高效性和优越性将有助于凸聚类的广泛应用。
2020-06-22 cs.LG stat.ME stat.ML
Bayesian sparse convex clustering via global-local shrinkage priors
NTT Advanced Technology Corporation（NTT先进技术公司）；The University of Electro-Communications（电气通信大学）
稀疏凸聚类是在凸聚类框架下对观测值进行聚类的同时进行变量选择。虽然加权$L_1$范数通常用于稀疏凸聚类中的正则化项，但如果样本量不足，则其使用增加了对数据的依赖性并降低了估计精度。针对这些问题，本文提出了一种基于贝叶斯套索和全局-局部收缩先验的贝叶斯稀疏凸聚类方法。我们引入吉布斯抽样算法，我们的方法使用的比例混合正态分布。仿真研究和实际数据分析表明了所提出方法的有效性。
2020-05-26 cs.LG stat.ME stat.ML
Integrative Generalized Convex Clustering Optimization and Feature Selection for Mixed Multi-View Data
在混合多视图数据中，在同一组样本上测量多组不同的特征。通过整合所有可用的数据源，我们试图发现可能隐藏在一个单一的数据视图的个人主义集群分析的样本之间的共同的组结构。虽然这种综合聚类的几种技术已被探索，我们提出并开发了一个凸形式化，将继承强大的统计，数学和经验性质的日益流行的凸聚类方法。具体来说，我们的综合广义凸聚类优化（iGecco）方法采用不同的凸距离，损失，或分歧的每个不同的数据视图与联合凸融合惩罚，导致共同的群体。此外，当每个数据源都是高维的时，集成混合多视图数据通常具有挑战性。为了在这种情况下进行特征选择，我们开发了一种自适应的移位组套索惩罚，通过将其缩小到特定的损失中心来选择特征。我们所谓的iGecco+方法从每个数据视图中选择最适合确定组的特征，通常会导致改进的综合聚类。为了适应我们的模型，我们开发了一种新型的广义多块ADMM算法，使用子问题近似，更有效地适合我们的大数据集模型。通过文本挖掘和基因组学的一系列数值实验和真实数据示例，我们表明iGecco+对于高维混合多视图数据具有优异的经验性能。
2019-12-11 stat.ME stat.ML
Model-based clustering with Hidden Markov Model regression for time series with regime changes
Paris Nord University（巴黎第十三大学）；IFSTTAR（法国交通与安全科学技术研究所）；Heudiasyc Lab（Heudiasyc实验室）
本文介绍了一种新的基于模型的聚类方法聚类时间序列，目前的政权变化。它由隐藏的马尔可夫链控制的多项式回归的混合物组成。每个簇的潜在隐藏过程在时间上连续激活几个多项式机制。参数估计通过专用期望最大化（EM）算法采用极大似然法进行。所提出的方法进行评估，使用模拟时间序列和现实世界的时间序列从铁路诊断应用程序发出。与现有的时间序列聚类方法，包括高斯混合的标准EM，$K$均值聚类，标准混合回归模型和混合隐马尔可夫模型的比较，证明了该方法的有效性。
2013-12-25 cs.LG stat.ME stat.ML
Group-Average and Convex Clustering for Partially Heterogeneous Linear Regression
本文引入子群最小二乘和凸聚类方法，推导出一种在精准营销和精准医疗领域具有潜在应用价值的部分异质线性回归。利用子群最小二乘法可以一致地估计齐次参数和非齐次参数的子群平均值，而不需要对非齐次参数作稀疏性假设。通过凸聚类可以对异质参数进行一致性聚类。与现有的回归聚类方法不同，我们的聚类过程是一个标准的均值聚类，尽管所研究的模型是一种回归类型，相应的算法只涉及低维参数。因此，即使样本量很大，也是简单和稳定的。通过仿真研究和对汽车销售数据的分析，进一步说明了该方法的优越性。
2017-11-01 stat.ME
Simultaneous semi-parametric estimation of clustering and regression
研究了具有固定组效应的回归模型的参数估计，当组变量缺失而组相关变量可用时。这个问题涉及聚类以基于组相关变量推断缺失的组变量，以及回归以在给定组和最终附加变量的目标变量上构建模型。因此，这个问题可以用公式表示为目标和组相关变量的联合分布建模。该联合模型的常用参数估计策略是两步方法，首先学习组变量（聚类步骤），然后插入其估计量以拟合回归模型（回归步骤）。然而，这种方法是次优的（特别是提供有偏的回归估计），因为它没有利用目标变量进行聚类。因此，我们要求同时估计方法的聚类和回归，在半参数框架。数值实验说明了我们的主张，考虑广泛的分布和回归模型的好处。我们的新方法的相关性说明了处理与高血压预防相关的问题的真实数据。
2020-12-28 stat.ME
A unified framework for model-based clustering, linear regression and multiple cluster structure detection
描述了一个处理线性回归和聚类问题的一般框架。它包括随机协变量的高斯聚类线性回归分析和通过变量选择的高斯混合模型的聚类分析。它还承认一种新的方法，用于检测多个聚类可能相关的子向量的变量，定义为条件独立的高斯混合模型的产品的模型的基础上。给出了该模型可辨识的必要条件。所描述的方法的有用性和有效性，说明使用模拟和真实的数据集。
2015-10-12 stat.ME
Statistical Properties of Convex Clustering
本文研究了凸聚类的统计性质。我们建立了凸聚类是密切相关的单链接层次聚类和$k$ -均值聚类。此外，我们推导出的凸聚类，产生一个非平凡的解决方案的调整参数的范围。我们还提供了一个无偏估计的自由度，并提供了一个有限的样本约束的凸聚类的预测误差。我们比较了凸聚类和一些传统的聚类方法在模拟研究。
2015-09-13 math.ST stat.ME stat.TH
Regression on imperfect class labels derived by unsupervised clustering
Aalborg University Hospital（奥尔堡大学医院）；Aalborg University（奥尔堡大学）
在许多应用中，通过无监督聚类识别的类标签回归的结果是自定义的。然而，通常忽略由学习算法引起的类别标签的错误分类，这潜在地导致估计的效果参数的严重偏差。由于其普遍性，我们建议纠正的情况下，使用模拟和外推法。从高斯混合模型的模拟数据的性能说明。最后，我们将我们的方法应用于一项研究，该研究回归了来自多发性骨髓瘤患者骨髓样本基因表达数据的无监督聚类的类标签上的总生存期。
2019-08-16 cs.LG stat.ME stat.ML
Convex Support Vector Regression
受凸性或非凸性约束的非参数回归在经济学、金融学、运筹学、机器学习和统计学中越来越受欢迎。然而，传统的基于最小二乘损失函数的凸回归往往存在过拟合和野值问题。本文提出通过引入凸支持向量回归（CSVR）方法来解决这两个问题，该方法有效地结合了凸回归和支持向量回归的关键元素。数值实验表明，CSVR的预测精度和鲁棒性的表现，毫不逊色于其他国家的最先进的方法。
2022-09-26 stat.ME
Convex Covariate Clustering for Classification
聚类，像协变量选择分类，是压缩和解释数据的重要步骤。然而，协变量的聚类通常是独立于分类步骤执行的，这可能导致不期望的聚类结果，损害可解释性和压缩率。因此，我们提出了一种方法，可以聚类协变量，同时考虑到样本的类标签信息。我们制定的问题作为一个凸优化问题，它使用的协变量之间的先验相似性信息，并从类标记的样本的信息。与普通的凸聚类一样[Chi和Lange，2015]，所提出的方法提供了一个独特的全局最小值，使其对初始化不敏感。为了解决凸问题，我们提出了一个专门的交替方向的乘法器（ADMM），它的规模高达几千个变量。此外，为了避免计算昂贵的交叉验证，我们提出了一个模型选择标准的基础上近似的边缘似然。合成和真实数据上的实验证实了所提出的聚类方法和选择标准的有效性。
2020-04-07 stat.CO stat.ME stat.ML
Supervised Convex Clustering
聚类长期以来一直是一种流行的无监督学习方法，用于识别相似对象的组，并在许多应用中从未标记的数据中发现模式。然而，由于其无监督的性质，对估计的聚类进行有意义的解释往往具有挑战性。同时，在许多现实世界的场景中，有一些嘈杂的监督辅助变量，例如，主观诊断意见，这与未标记数据的观测异质性有关。通过利用来自监督辅助变量和未标记数据的信息，我们试图发现可能被完全无监督分析隐藏的更科学的可解释的群体结构。在这项工作中，我们提出并开发了一种新的统计模式发现方法，称为监督凸聚类（SCC），它从两个信息源中借用力量，并通过联合凸融合惩罚来指导寻找更可解释的模式。我们开发了几个扩展SCC整合不同类型的监督辅助变量，调整额外的协变量，并找到biclusters。我们通过模拟和阿尔茨海默病基因组学的案例研究证明了SCC的实际优势。具体来说，我们发现了新的候选基因以及阿尔茨海默病的新亚型，这可能会导致更好地理解导致老年人认知能力下降异质性的潜在遗传机制。
2020-05-25 stat.ME stat.ML
Resistant convex clustering: How does the fusion penalty enhance resistantance?
针对带平方误差损失的凸聚类易受异常值影响的问题，提出抗扰凸聚类方法，理论证明其在超半数观测为异常值时才失效，融合惩罚可增强抗扰性，数值实验验证了其性能优势。
2024-10-09 stat.ME
Dynamic Visualization and Fast Computation for Convex Clustering via Algorithmic Regularization
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
凸聚类是一种很有前途的新方法，聚类的经典问题，结合了强大的性能，在实证研究和严格的理论基础。尽管有这些优点，凸聚类还没有被广泛采用，由于其计算密集的性质和缺乏令人信服的可视化。为了解决这些障碍，我们引入了正则化，这是一种创新技术，用于使用迭代一步近似方案获得正则化路径的高质量估计。我们证明我们的方法与一个新的理论结果，保证全局收敛的近似路径下容易检查的非数据依赖的假设下的精确解。将算法正则化应用到凸聚类中，产生了用于计算聚类解路径的凸聚类算法CARP（Convex Clustering via Acromic Regularization Paths）。在基因组学和文本分析的示例数据集上，CARP提供了比现有方法快100倍的速度，同时获得了比标准方法更精细的近似网格。此外，CARP能够改进聚类解决方案的可视化：CARP返回的精细解决方案网格可用于构建基于凸聚类的树状图，并形成基于现代Web技术的动态路径可视化的基础。我们的方法在开源R包clustRviz中实现，可在https://github.com/DataSlingers/clustRviz上获得。
2019-07-08 cs.LG stat.CO stat.ME
Dimension Reduction via Supervised Clustering of Regression Coefficients: A Review
降维方法的发展和使用在现代统计文献中很普遍。本文回顾了一类降维技术，其目的是同时选择相关的预测，并找到集群内共享的响应的共同影响。已证明此类方法相对于OLS估计值和套索[Tibshirani，1996]具有优越的性能，尤其是当预测因子存在多重共线性时。它们的应用，其中包括遗传学，流行病学和功能磁共振成像研究，也进行了讨论。
2022-02-17 stat.ME
Simultaneous Grouping and Denoising via Sparse Convex Wavelet Clustering
University of Florida Informatics Institute（佛罗里达大学信息学研究所）；Rice University（莱斯大学）
聚类是数据科学和信号处理中普遍存在的问题。在我们观察噪声信号的许多应用中，通常的做法是首先对数据进行降噪，可能使用小波降噪，然后应用聚类算法。在本文中，我们开发了一种稀疏凸小波聚类方法，同时去噪和发现群体。我们的方法利用凸融合的罚款，以实现凝聚和组稀疏的罚款去噪，通过稀疏在小波域。与通常的去噪然后聚类的做法相反，我们的方法是一个统一的，凸的方法，同时执行。我们的方法产生去噪（小波稀疏）聚类质心，既提高了可解释性和数据压缩。我们证明了我们的方法在合成的例子和NMR光谱的应用。
2021-03-04 cs.LG eess.SP stat.ME
Provable Convex Co-clustering of Tensors
聚类分析是复杂异构数据模式发现的基本工具。流行的聚类方法主要集中在向量或矩阵变量数据，不适用于一般阶张量，这在现代科学和商业应用中经常出现。此外，由于其非凸公式的性质，现有的张量聚类解决方案的统计保证和计算效率之间存在差距。在这项工作中，我们通过开发一个可证明的张量共聚类凸公式来弥合这一差距。我们的凸共聚类（CoCo）估计享有稳定性保证，其计算和存储成本是多项式的数据的大小。我们进一步建立了一个非渐近误差界的CoCo估计，这揭示了一个令人惊讶的“祝福的维度”的现象，不存在于向量或矩阵变量聚类分析。我们的理论研究结果得到了广泛的模拟研究的支持。最后，我们将CoCo估计应用于一家大型在线公司的广告点击张量数据的聚类分析。我们的聚类结果提供了有意义的商业见解，以提高广告效果。
2020-10-23 stat.AP stat.CO stat.ME
Clustered Gaussian Graphical Model via Symmetric Convex Clustering
Rice University（莱斯大学）；Baylor College of Medicine（贝勒医学院）
神经元功能分组的知识可以揭示神经回路的结构，并且在许多类型的神经影像学研究中是有价值的。然而，通过受控实验准确确定哪些神经元执行类似的神经学任务既劳动密集型又大规模昂贵。因此，以数据驱动的方式将具有相似连接性配置文件的神经元聚类为功能一致的组是非常有趣的。在这项工作中，我们提出了聚类高斯图形模型（GGM）和一个新的对称凸聚类惩罚在一个统一的凸优化框架推断神经元之间的功能集群从神经活动数据。采用可并行化的多块交替方向乘子法（ADMM）算法求解相应的凸优化问题。此外，我们建立的ADMM算法的收敛保证。在合成数据和真实世界神经科学数据上的实验结果证明了我们方法的有效性。
2019-05-30 cs.LG stat.ME stat.ML
On Computationally-Scalable Spatio-Temporal Regression Clustering of Precipitation Threshold Excesses
针对系统性缺失协变量情况下基于回归的极值分析，提出了一种基于数据驱动的时空回归的阈值过度聚类方法。结果表明，在系统缺失的协变量的存在下，阈值过度的行为变得非平稳和非齐次。所提出的方法描述了这种复杂的行为由一组本地平稳广义帕累托分布（GPD）模型，其中的参数表示为回归模型，和一个潜在的时空切换过程。利用模型参数有界变化的时间序列分析非参数有限元方法（FEM-BV），解决了时空切换过程。所提出的FEM-BV-GPD方法超越了标准潜在类模型（如混合模型和隐马尔可夫模型）中的强先验假设。此外，它还提供了底层依赖结构的实用描述。该框架的性能表现在瑞士的历史降水量数据，并与相同的数据通过标准方法获得的结果进行比较。
2021-04-01 stat.ME
Multi-task learning via robust regularized clustering with non-convex group penalties
Graduate School of Mathematics, Kyushu University（九州大学大学院数理学府）；Faculty of Mathematics, Kyushu University（九州大学数理学部）
针对多任务学习中忽略异常任务的问题，提出MTLRRC方法，结合鲁棒正则化聚类与非凸组惩罚，实现鲁棒任务聚类与异常检测，并通过模拟和实际数据验证其有效性。
2024-05-27 cs.LG stat.ME stat.ML
Bayesian nonparametric multivariate convex regression
在经济学、运筹学和强化学习等许多应用中，经常需要估计受凸性约束的多元回归函数f。例如，在顺序决策过程中，在最优后续决策下的状态值可以已知为凸或凹。我们提出了一种新的贝叶斯非参数多元方法的基础上表征未知的回归函数的最大值的随机收集的未知超平面。该规范在凸函数空间上诱导了具有Kullback-Leibler意义上的大支持的先验，同时也导致了强后验一致性。虽然我们假设f定义在R^p上，但我们证明了当f实际上是一个d维线性子空间映射到R时，该模型在经验L2范数下的收敛速度为log（n）^{-1} n^{-1/（d+2）}.我们设计了一个有效的可逆跳MCMC算法的后验计算，并通过应用价值函数逼近的方法来证明。
2011-09-01 math.OC stat.ME stat.ML
pyStoNED: A Python Package for Convex Regression and Frontier Estimation
形状约束非参数回归是计量经济学、统计学、运筹学、机器学习和相关领域中一个不断发展的领域。在生产率和效率分析领域，最近发展的多元凸回归和相关技术，如凸分位数回归和凸期望回归，弥补了传统的确定性非参数和随机参数方法之间的长期差距。不幸的是，沉重的计算负担和缺乏强大的，可靠的，完全开放的计算包已经减缓了这些先进的估计技术的扩散到经验的做法。Python包pyStoNED的目的是通过为多变量凸回归、凸分位数回归、凸期望回归、保序回归、数据的随机非参数化以及相关方法提供免费可用且用户友好的工具来解决这一挑战。本文介绍了pyStoNED软件包的教程，并说明了其应用，重点是前沿成本和生产函数的估计。
2021-09-27 stat.AP stat.CO stat.ME
Multivariate convex regression with adaptive partitioning
我们提出了一种新的，非参数方法的多元回归受凸或凸约束的响应函数。凸性约束在经济学、统计学、运筹学、金融工程和优化中很常见，但目前还没有一种多变量方法可以计算超过几百个观测值。我们介绍了凸自适应分区（CAP），它创建一个全局凸回归模型从局部线性估计适合自适应选择的协变量分区。CAP计算效率高，与当前方法形成鲜明对比。最流行的方法是最小二乘估计，其计算复杂度为$\mathcal{O}(n^3)$。我们证明了CAP的计算复杂度为$\mathcal{O}(n \log(n)\log(\log(n)))$，并给出了一致性结果。将CAP应用于价值函数逼近，对具有大量标的资产的美式一篮子期权进行定价。
2011-11-13 stat.ME
KOO Method-based Consistent Clustering for Group-wise Linear Regression with Graph Structure
本文针对具有图结构的分组线性回归，提出基于KOO方法的JTT聚类方法，通过推导模型选择准则实现高维框架下的一致聚类，方法简单且优于network Lasso。
2025-09-14 stat.ME
Orthogonality conditions for convex regression
针对凸回归中识别正交性条件未知的问题，基于拉格朗日对偶理论建立样本正交性条件，并提出混合工具变量条件函数方法以减轻内生性影响。
2025-06-26 econ.EM stat.ME
Ensemble Methods for Convex Regression with Applications to Geometric Programming Based Circuit Design
Duke University（杜克大学）
本文提出集成方法（如bagging、smearing和随机划分）来改进分段线性凸回归的稳定性，并应用于基于几何规划的电路设计中的器件建模和约束近似。
2012-06-18 cs.LG cs.NA math.NA
SMIXS: Novel efficient algorithm for non-parametric mixture regression-based clustering
University of Ljubljana（卢布尔雅那大学）；Slovenian Environment Agency（斯洛文尼亚环境署）；Tampere University（坦佩雷大学）
我们研究了一种新的基于非参数回归的聚类算法用于纵向数据分析。该算法结合自然三次样条函数和高斯混合模型（GMM），可以产生平滑的聚类均值，很好地描述了底层数据。然而，该算法也存在一些缺点：参数估计过程计算复杂度高，方差估计量数值不稳定。因此，为了进一步提高该方法的可用性，我们采用了一些方法来降低其计算复杂性，我们开发了一种新的，更稳定的方差估计，我们开发了一个新的平滑参数估计过程。我们表明，开发的算法，SMIXS，在合成数据集上的聚类和回归性能优于GMM。我们展示了计算速度的影响，我们正式证明在新的框架。最后，我们进行了一个案例研究，通过使用SMIXS集群垂直大气测量，以确定不同的天气制度。
2022-09-19 cs.AI stat.ME
Non-crossing convex quantile regression
Aalto University School of Business（阿尔托大学商学院）；Department of Environment and Geography, University of York（约克大学环境与地理系）
针对凸分位数回归中的分位数交叉问题，本文提出惩罚凸分位数回归方法，在避免交叉的同时保持分位数性质，蒙特卡洛实验验证其优越性。
2022-04-04 stat.AP stat.ME
Bayesian profile regression for clustering analysis involving a longitudinal response and explanatory variables
鉴定具有共同功能的共调控基因是现代基因组学的一个关键问题。贝叶斯轮廓回归是一种半监督混合建模方法，它利用响应来指导对相关聚类的推断。以前的应用程序的配置文件回归考虑了单变量连续，分类，计数的结果。在这项工作中，我们扩展贝叶斯轮廓回归的情况下，结果是纵向（或多变量连续），并提供PReMiuMlongi，更新版本的PReMiuM，R包配置文件回归。我们考虑多元正态和高斯过程回归响应模型，并提供了四个模拟研究的原则应用程序的证明。该模型适用于芽殖酵母的数据，以确定在酿酒酵母细胞周期的基因组共调节。我们确定了4个不同的基因组与特定模式的基因表达轨迹，随着绑定的转录因子，可能参与其共同调控过程。
2021-11-08 stat.AP stat.ME
Unimodal clustering using isotonic regression: ISO-SPLIT
许多聚类算法的一个局限性是需要为每个应用程序甚至每个数据集调整可调参数。一些技术需要对聚类数目的\emph{a priori}估计，而基于密度的技术通常需要尺度参数。其他参数方法，如混合建模，对潜在的聚类分布做出假设。在这里，我们介绍了一种非参数聚类方法，不涉及可调参数，只假设集群是单峰的，在这个意义上说，他们有一个最大密度点时，投影到任何线，集群是彼此分开的一个分离的超平面相对较低的密度。该技术使用保序回归的Hartigan倾斜统计量的非参数变体作为每次迭代时重复的内核操作。我们将该方法与k-means++，DBSCAN和高斯混合方法进行了比较，并在模拟中显示，在许多情况下，它的性能优于这些标准方法。该算法适用于低维数据集与大量的观察，并由“尖峰排序”的问题，在神经电记录的动机。源代码免费提供。
2016-05-18 stat.ME
Piecewise regression mixture for simultaneous functional data clustering and optimal segmentation
Aix Marseille Université（艾克斯-马赛大学）；Université de Toulon（土伦大学）
本文介绍了一种新的混合模型为基础的方法，同时聚类和最佳分割的功能数据，这是曲线政权的变化。所提出的模型包括在一个有限的混合分段多项式回归模型。每个分段多项式回归模型与聚类相关联，并且在每个聚类内，每个分段多项式分量与状态（即，段）。我们推导出两种方法来学习模型参数。前者是一种估计方法，包括通过一个专用的期望最大化（EM）算法最大限度地提高数据的似然性。然后通过最大化后验聚类概率，在收敛时得到K个聚类中曲线的模糊划分。然而，后者是一种分类方法，并通过专用的分类期望最大化（CEM）算法优化特定的分类可能性标准。采用动态规划法进行最优曲线分割。在分类方法中，曲线聚类和最优分割都是在CEM学习过程中同时进行的。我们证明了分类方法是概率版本，它推广了Hébrail等人（2010）提出的确定性K-means算法。所提出的方法进行评估，使用模拟曲线和现实世界的曲线。与包括回归混合模型和分段回归的K-means算法在内的替代方案的比较表明了该方法的有效性。
2014-04-30 cs.LG math.ST stat.ME
Rank-one Convexification for Sparse Regression
University of California, Berkeley（加州大学伯克利分校）；University of Pittsburgh（匹兹堡大学）
稀疏回归模型由于其易于解释性和出色的样本外性能而日益流行。然而，稀疏回归的精确模型与$\ell_0$约束限制的支持的估计是一个具有挑战性的（\NP硬）非凸优化问题。在本文中，我们得到了新的强凸松弛稀疏回归。这些松弛是基于理想的（凸包）配方秩一二次项与指标变量。新的松弛可以制定为半定优化问题在一个扩展的空间，更强大和更一般的比国家的最先进的配方，包括透视重构和配方与反向休伯罚款和极小极大凹罚函数。此外，建议的秩一加强可以被解释为一个\textit{non-separable, non-convex, unbiased}稀疏诱导正则化，它动态地调整其惩罚根据误差函数的形状，而不会引起偏见的稀疏解决方案。在我们的基准数据集的计算实验中，提出的二次曲线公式在几秒钟内解决，并导致非凸$\ell_0$ -问题的接近最优的解决方案（0.4\%的最优性差距）。此外，从统计的角度来看，所得到的估计也优于其他凸方法，实现了高预测精度和良好的可解释性。
2020-10-18 cs.LG math.OC stat.ME
Convex Clustering Redefined: Robust Learning with the Median of Means Estimator
Indian Statistical Institute, Kolkata（印度统计研究院，科希马）；Department of Statistics and Data Science, University of Texas at Austin（德克萨斯大学奥斯汀分校统计与数据科学系）；Electronics and Communication Sciences, Indian Statistical Institute, Kolkata（印度统计研究院，科希马电子与通信科学）；Department of Statistics, University of Oxford（牛津大学统计系）；Department of Statistics, University of Michigan（密歇根大学统计系）
针对凸聚类处理高维数据、噪声异常值及依赖簇数先验的问题，提出结合均值中位数估计器的鲁棒方法，无需簇数先验且抗异常值，理论证明弱一致性，实验显示性能优于现有方法。
2025-11-12 cs.LG math.ST stat.CO
Generalized Bayesian Clustering with Regression for Unaligned Longitudinal Binary Data
Texas A&M University（德克萨斯农工大学）；University of Colorado Anschutz（科罗拉多大学安舒茨分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对未对齐纵向二元数据，提出带回归的广义贝叶斯聚类模型，结合轨迹相似性与回归损失，用切片沃尔什斯坦因距离实现无对齐比较，以狄利克雷过程定义聚类参数先验，解决单一生成模型的设定或效率问题。
2026-09-02 stat.AP stat.CO stat.ME
Spatially Clustered Regression
空间回归或地理加权回归模型已被广泛采用，以捕捉辅助信息对一个区域的响应变量的影响。与此相反，响应和辅助变量之间的关系，预计在许多应用中表现出复杂的空间模式。本文提出了一种新的空间回归方法，称为空间聚类回归，估计可能聚集的空间模式的关系。我们结合了基于K-均值的聚类公式和惩罚函数的空间过程称为波茨模型，以鼓励在相邻位置的类似聚类。我们提供了一个简单的迭代算法来适应所提出的方法，可扩展的大型空间数据集。通过仿真研究，该方法显示出其优越的性能，现有的方法，即使在真实的结构不允许空间聚类。最后，所提出的方法应用于犯罪事件数据在东京，并产生可解释的结果的空间模式。R代码可在https://github.com/sshonosuke/SCR上获得。
2021-04-28 stat.ME
Nonparametric Variable Selection, Clustering and Prediction for High-Dimensional Regression
由于相对较小的样本量和大量协变量之间存在复杂的相互作用模式，因此在高维回归设置中开发用于可靠推断和预测响应的简约模型通常具有挑战性。我们提出了一个有效的，非参数的框架，同时变量选择，聚类和预测在高通量回归设置连续或离散的结果，称为VariScan。VariScan模型利用Poisson-Dirichlet过程（PDP）引起的稀疏性将协变量分组为低维潜在聚类，这些聚类由样本之间具有相似模式的协变量组成。数据被允许直接选择一个合适的集群分配方案，选择PDP和他们的特殊情况下，狄利克雷过程。随后，潜在的集群被用来建立一个非线性预测模型的响应，使用自适应混合的线性和非线性元素，从而实现模型的简约性和灵活性之间的平衡。我们研究的VariScan程序，区分分配模式的PDP和Dirichlet过程的数量和相对大小的集群方面的理论属性。附加的理论结果保证了基于模型的聚类过程的高精度，并建立了模型选择和预测的一致性。通过模拟研究和基准数据集的分析，我们证明了VariScan的聚类机制的可靠性，并表明该技术相比有利，往往优于，现有的方法在特定主题的响应的预测精度。
2016-04-14 stat.ME
Model-based clustering using a new mixture of circular regressions
University of Pretoria（比勒陀利亚大学）
本文提出了一种基于圆形回归混合的模型聚类方法，用于处理多模态圆形响应变量和混合协变量的数据，通过最大似然估计和模拟研究验证了其有效性。
2026-01-08 stat.CO stat.ME
Multiscale clustering of nonparametric regression curves
在广泛的现代应用中，我们观察到大量的时间序列，而不仅仅是一个单一的。人们常常很自然地认为，在所观察到的时间序列中存在某种群结构。当每个时间序列由非参数回归方程建模时，可以特别地假设所观察到的时间序列可以被划分为少数组，这些组的成员共享相同的非参数回归函数。我们开发了一个无带宽的聚类方法来估计未知的组结构的数据。更准确地说，我们构造了未知组及其未知数的多尺度估计，这些估计不需要经典的带宽或平滑参数。在本文的理论部分，我们分析了我们的估计的统计性质。我们的理论结果是在一般条件下得出的，该条件允许数据在时间序列方向上和跨不同的时间序列都是依赖的。本文的技术分析是由模拟研究和实际数据应用的补充。
2019-03-04 math.ST stat.ME stat.TH
Functional regression clustering with multiple functional gene expressions
基因表达数据通常在不同实验条件下的时间序列实验中收集。随着时间的推移，可能有基因具有非常不同的基因表达谱，但在实验条件下以相同的方式调整其基因表达模式。我们的目标是开发一种方法，发现这些时间基因表达谱之间的关系是彼此相似的基因簇，即使个别时间基因表达谱不同。我们提出了一个$K$ -手段类型的算法，其中每个集群是由一个功能上的功能回归模型，其中，除其他外，允许多个功能的解释变量定义。我们通过大量的模拟验证了这种新方法，然后将其应用于识别基因组，其昼夜表达模式以类似的方式受到季节的干扰。我们的聚类富含具有相似生物学功能的基因，包括一个富含光合相关功能和多聚核糖体的聚类，这表明我们的方法提供了有用的和新颖的生物学见解。
2021-12-01 stat.ME
On Univariate Convex Regression
当（a）某一阶导数在目标点处为零，且（b）真实的回归函数是局部仿射函数时，我们得到了一维凸回归函数的最小二乘估计的局部收敛速度.在每种情况下，我们得到的极限分布的LSE及其衍生物。点态极限分布依赖于具有多项式漂移的双边布朗运动的积分的“反函数”在0处的二阶和三阶导数。我们还研究了最小二乘估计的不一致性及其导数在协变量空间域边界处的无界性。提出了凸回归函数的argmin的一个估计，并导出了它的渐近分布。此外，我们提出了一些新的结果的凸LSE，可能是独立的兴趣的特征。
2016-11-16 math.ST stat.ME stat.TH
Constrained convex clustering for interpretable spatial domain detection in spot-based spatial transcriptomics
School of Statistics, University of Minnesota（明尼苏达大学统计学院）
本文提出DUET方法，用于空间转录组学中同时识别空间域和估计细胞类型比例，提升数据解释性和生物学意义。
2026-09-29 stat.AP stat.ME
Variable selection in convex quantile regression: L1-norm or L0-norm regularization?
维数灾难是非参数估计中公认的挑战。本文提出了一种新的L0-范数正则化方法，用于凸分位数和期望回归的子集变量选择。我们展示了如何使用混合整数规划来解决实践中提出的L0范数正则化方法，并建立了一个链接到常用的L1范数正则化方法。利用蒙特卡罗方法比较了L0-惩罚凸分位数和期望回归方法与L1-范数正则化方法在有限样本下的性能。该方法进一步应用于衡量OECD国家的可持续发展绩效，并实证分析了变量降维的准确性。仿真和应用结果表明，在多维空间中，L0范数正则化方法比L1范数正则化方法能更有效地解决维数灾难问题.
2021-07-07 stat.AP stat.ME
Correlated variables in regression: clustering and sparse estimation
考虑变量强相关的高维线性模型中的估计问题。我们建议首先对变量进行聚类，然后进行后续的稀疏估计，例如聚类代表的Lasso或基于聚类结构的Lasso组。关于第一步，我们提出了一种新的和自下而上的凝聚聚类算法的基础上典型的相关性，我们发现，它找到了一个最佳的解决方案，是统计上一致的。我们还提出了一些理论论据，典型相关的聚类导致一个更好的设计矩阵，确保可识别性和一个预言不等式组拉索的相容常数。此外，我们讨论的情况下，集群的代表和使用Lasso作为后续估计导致改进的结果预测和检测的变量。我们补充了各种实证结果的理论分析。
2012-09-26 math.ST stat.ME stat.TH
Overfitting Reduction in Convex Regression
本文针对凸回归中随样本量增加而产生不一致估计和边界次梯度过大的过拟合问题，提出两种通过限制次梯度的新估计量，并从理论和芬兰电力企业应用上证明其能一致收敛并提升预测能力。
2024-10-16 econ.EM stat.AP stat.ME
Convex Reparameterization and Self-Concordant Algorithms for Multivariate Regression with Covariance Estimation
School of Statistics, University of Minnesota Twin Cities（明尼苏达大学双城分校统计学院）；Department of Applied Mathematics & Statistics, Stony Brook University（石溪大学应用数学与统计系）
该研究提出结合协方差估计的多元回归的凸重参数化方法，证明其缩放高斯损失为标准自协调，推导两种算法，模拟及蛋白质表达应用显示其预测误差相近且稠密精度矩阵时速度显著提升。
2026-08-20 stat.CO stat.ME
A Computational Framework for Multivariate Convex Regression and its Variants
研究了多元凸回归函数的非参数最小二乘估计。作为具有$O(n^2)$线性约束（$n$是样本量）的二次规划的解给出的LSE对于大型问题是难以计算的。利用问题的具体结构，我们提出了一个可扩展的算法框架的基础上增广拉格朗日方法来计算LSE。我们开发了一种新的方法来获得光滑的凸逼近拟合（分段仿射）凸LSE和提供正式的边界上的质量近似。当样本的数量不是太大相比，预测的维度，我们提出了一个正则化计划- Lipschitz凸回归-我们约束的次梯度的范数，并研究所获得的LSE的收敛速度。我们的算法框架是简单和灵活的，可以很容易地适应处理变量：非减/非增凸/凹（有或没有Lipschitz界）函数的估计。我们进行数值研究，说明所提出的算法的可扩展性。
2015-09-28 math.OC stat.CO stat.ME
Convex clustering via $\ell_1$ fusion penalization
我们研究了凸聚类框架的大样本行为，该框架在聚类中心上的~ $\ell_1$融合约束下最小化聚类平方和内的样本。这种最近提出的方法已经越来越受欢迎，然而，它的渐近性质仍然是未知的。我们的分析是基于一种新的表示的样本聚类过程作为一个序列的集群分裂确定的一系列最大化问题。我们使用这种表示提供了一个简单而直观的制定人口聚类过程。然后，我们证明了抽样程序一致地估计其人口模拟，并得出相应的收敛速度。证明进行了仔细的同时分析的M-估计问题，其基数一起增长的样本量的集合。基于从渐近研究中获得的新观点，我们提出了一个关键的后处理修改的原始聚类框架。我们表明，无论是理论上和经验上，所得到的方法可以成功地用于估计人口中的集群的数量。使用模拟数据，我们比较了所提出的方法与现有的集群数量和模态评估方法，并获得了令人鼓舞的结果。我们还证明了我们的聚类方法在单细胞病毒学研究中检测细胞亚群的适用性。
2016-12-28 math.ST stat.ME stat.TH
Selective inference after convex clustering with $\ell_1$ penalization
Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；Institut universitaire de France (IUF)（法兰西学院）；INSA（国立应用科学学院）
本文针对带 $\ell_1$ 惩罚的凸聚类提出基于多面体条件高斯向量的选择性推断方法，给出一维及多维情形下具有统计保证的检验程序，并实现于 R 包 poclin。
2025-11-09 math.ST stat.ME stat.TH
Spatial Clustering Regression of Count Value Data via Bayesian Mixture of Finite Mixtures
本文提出贝叶斯有限混合之混合空间聚类回归模型，利用 Markov 随机场先验识别 Poisson 回归系数的空间同质性，并辅以理论、MCMC 算法、模拟和佐治亚州数据验证。
2023-06-04 stat.AP stat.CO stat.ME
