Structured Secant Methods to Select Smoothing Parameters for General Smooth Models
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence, University of Groningen（格罗宁根大学伯努利数学、计算机科学与人工智能研究所）
针对一般平滑模型中平滑参数优化需高阶导数的难题，提出拟牛顿变体qEFS方法，利用结构化有限记忆割线近似对数似然的Hessian矩阵，实现一阶优化，并在模拟和实例中验证其收敛性与易实现性。
2026-08-21 stat.CO stat.ME
Bethe Learning of Conditional Random Fields via MAP Decoding
Columbia University（哥伦比亚大学）；UT Dallas（德克萨斯大学达拉斯分校）；UMass Amherst（马萨诸塞大学阿默斯特分校）
许多机器学习任务都可以用预测结构化输出的方式来表达。在诸如结构化支持向量机（SVM-Struct）和结构化感知器的框架中，通过迭代地应用有效的最大后验（MAP）解码来学习判别函数。然而，最大似然估计（MLE）的概率模型在这些相同的结构化空间需要计算分区函数，这通常是棘手的。本文提出了一种利用Bethe逼近极大似然估计学习离散指数族模型的方法。值得注意的是，这个问题也减少到迭代（MAP）解码。这种连接出现相结合的贝特近似与弗兰克-沃尔夫（FW）算法的凸对偶目标，它绕过了棘手的分区函数。其结果是一个新的单循环算法MLE-Struct，这是更有效的比以前的双循环近似最大似然估计方法。我们的算法优于现有的方法，在实验中涉及图像分割，匹配问题的视觉，和一个新的数据集的大学室友分配。
2015-03-04 cs.CV cs.LG stat.ML
Misspecified Maximum Likelihood Estimation for Non-Uniform Group Orbit Recovery
本文研究非均匀群轨道恢复中均匀分布假设导致的MLE错误设定问题，分析有无投影时的优化景观与偏差，并提出联合估计信号及群元素分布参数的方法。
2025-09-26 math.ST stat.ME stat.TH
Minimax Structured Normal Means Inference
我们提供了一个统一的治疗一类广泛的嘈杂的结构恢复问题，被称为结构正常的手段问题。在这种情况下，目标是从具有不同均值的高斯分布的有限集合中识别产生一些观测数据的分布。最近的工作已经研究了几个特殊的情况下，包括稀疏向量，biclusters，和基于图形的结构。我们建立几乎匹配的上限和下限的极小极大概率的错误的任何结构化的正常手段的问题，我们推导出一个最优性证书的极大似然估计，它可以应用于许多实例。我们还考虑了一个试验设计设置，在那里我们推广我们的极大极小的界限，并推导出一个算法计算的设计策略具有一定的最优性。我们表明，我们的研究结果给出了严格的极小极大界的许多结构恢复问题，并考虑一些后果的交互式采样。
2016-01-26 cs.IT math.IT stat.ML
Maximum approximate likelihood estimation of general continuous-time state-space models
连续时间状态空间模型（SSM）是分析由底层状态过程驱动的不规则采样序列观测的灵活工具。相应的应用程序通常涉及限制性的假设，线性和高斯性，以促进通过卡尔曼滤波器的模型参数的推断。在这篇文章中，我们提供了一个一般的连续时间SSM框架，允许观察和状态过程是非线性和非高斯的。通过最大近似似然估计进行统计推断，其中通过状态过程的精细离散化进行似然评估内的多个数值积分。相应的重构的SSM作为一个连续时间的隐马尔可夫模型，结构化的状态转换，使我们能够应用相关的有效算法的参数估计和状态解码。我们说明了建模方法的案例研究中使用的数据从纵向研究的青少年犯罪行为在德国，揭示时间持久性的偏差，个人的犯罪水平从人口平均值。
2020-10-28 stat.ME
Likelihood-based inference for modelling packet transit from thinned flow summaries
网络流量速度和流量的大幅增长对网络数据分析提出了实际挑战。诸如NetFlow之类的分组细化和流聚合协议通过提供结构化数据摘要来减小数据集的大小，但相反地，这阻碍了统计推断。旨在对流量传播模式进行建模的方法通常不考虑分析中的分组细化和汇总过程，并且通常过于简单，例如，矩量法因此，它们的实际用途有限。我们引入了一个基于可能性的分析，它完全结合了数据包细化和NetFlow总结到分析。结果，可以在仅观察稀疏流汇总信息的同时对各个分组的级别上的模型进行推断。我们建立一致性的极大似然估计，推导出的交通量，应遵守达到所需水平的估计精度的界限，并确定一个理想的家庭模型。通过模拟分析和公开的跟踪数据集上的应用程序，包含超过36米的数据包在1分钟的时间内检查的估计器的鲁棒性能。
2020-08-31 stat.AP stat.CO
Multivariate Generalized Gaussian Distribution: Convexity and Graphical Models
本文研究了多元广义高斯分布（MGGD）和椭圆对称分布（ES）下的协方差估计。与此问题相关的极大似然优化是非凸的，但它已被证明，其全局解往往可以通过简单的不动点迭代计算。我们的第一个贡献是一个新的分析这种可能性的基础上测地凸，需要较弱的假设。我们的第二个贡献是稀疏约束下的结构协方差估计的广义框架。我们表明，只要MGGD形状参数大于一半，稀疏模式是弦，优化可以制定为凸最小化。这些包括，例如，极大似然估计的带状逆协方差在多变量拉普拉斯分布，这是与时变自回归过程。
2013-09-01 stat.ME
Token-Level Likelihood-Array Regression for Membership Inference and AI-Generated Text Detection
Xiamen University（厦门大学）；University of Hong Kong（香港大学）
提出似然数组回归（LAR）方法，通过嵌套左上下文窗口组织似然特征，在成员推断与AI生成文本检测任务上显著优于基线方法，且揭示短上下文似然及二阶特征的额外价值。
2026-08-25 cs.LG stat.ME stat.ML
On the Fundamental Limits of Exact Inference in Structured Prediction
Purdue University（普渡大学）
推理是结构化预测中的一项主要任务，它可以很自然地用图来建模。在马尔可夫随机场的背景下，噪声观测对应的节点和边缘通常涉及，和精确推理的目标是恢复未知的真实标签为每个节点精确。本文的重点是不考虑计算效率的精确恢复的基本限制，假设由Globerson等人提出的生成过程。（2015）。我们得到了任何算法的必要条件和极大似然估计以高概率实现精确恢复的充分条件，并揭示了充分和必要条件是紧到一个对数因子的广泛的图形。最后，我们证明了Bello和Honorio（2019）的计算易处理方法的基本极限和性能之间存在差距，这意味着需要进一步开发精确推理的算法。
2021-02-17 cs.LG stat.ML
Scalable Learning of Determinantal Point Processes with Kernel-Structured Interactions
ZOZO Research Institute（ZOZO研究所）
本研究针对行列式点过程（DPPs）学习中表达能力与计算可扩展性的权衡问题，提出结合非线性核与随机特征的方法，在真实数据集上实现了更优泛化与参数效率。
2026-10-12 cs.LG stat.ML
Grouped Heterogeneous Mixture Modeling for Clustered Data
加密数据在各种科学领域中无处不在。在本文中，我们提出了一个灵活的和可解释的建模方法，称为分组异质混合建模，聚类数据，模型的集群明智的条件分布的混合物的潜在条件分布共同的所有集群。在该模型中，我们假设集群被划分为有限数量的组和混合比例是相同的在同一组内。我们提供了一个简单的广义期望最大化算法来计算极大似然估计量，并提供了一个信息准则来选择组数和潜在分布。我们还提出了结构化的分组策略，通过在似然函数中引入分组参数的惩罚。在聚类数和聚类大小均趋于无穷大的情况下，给出了极大似然估计和信息准则的渐近性质。我们证明了所提出的方法，通过模拟研究和应用在东京的犯罪风险建模。
2020-02-07 stat.ME
A likelihood approach to nonparametric estimation of a singular distribution using deep generative models
Pohang University of Science and Technology（浦项科技大学）；Sungshin Women’s University（诚信女子大学）；Seoul National University（首尔国立大学）；University of Notre Dame（圣母大学）
我们研究了使用深度生成模型的奇异分布的非参数估计的似然方法的统计特性。更具体地说，深度生成模型用于对被假设为集中在一些低维结构周围的高维数据进行建模。估计这种低维结构（如低维流形）上支持的分布是具有挑战性的，因为它相对于环境空间中的勒贝格测度具有奇异性。在所考虑的模型中，由于奇异性，通常的似然方法可能无法一致地估计目标分布。我们证明了一个新的和有效的解决方案存在扰动的数据与实例噪声，这导致一致的估计的基础分布与理想的收敛速度。我们还描述了可以通过深度生成模型有效估计的分布类。这个类是足够普遍的，以包含各种结构化分布，如产品分布，经典光滑分布和分布上的低维流形支持。我们的分析提供了一些见解，如何深入生成模型可以避免非参数分布估计的维数灾难。我们进行了全面的仿真研究和实际数据分析，经验证明，所提出的数据扰动技术显着提高估计性能。
2023-03-28 cs.LG stat.ML
Beyond Maximum Likelihood: from Theory to Practice
极大似然是应用最广泛的统计估计技术。作者最近的工作介绍了一种一般的方法，用于构造参数模型中泛函的估计量，并在理论和实践中证明了对极大似然估计量（MLE）的改进，特别是在涉及与样本数相当或大于样本数的参数维数的高维情况下。这种方法估计，从近似理论的结果的基础上，产生极大极小率最优估计的一类广泛的泛函，实现适度的计算要求。简而言之，最近的这项工作的一个消息是，对于广泛的一类泛函，这些基本上最优的估计与$n$样本的性能与$n \ln n$样本的极大似然估计相当。在本文中，我们强调了上述方法的适用性，超越功能估计的统计问题，并表明它可以产生很大的收益。例如，我们证明，对于学习树结构的图形模型，我们的方法实现了显着减少所需的数据大小相比，经典的周-刘算法，这是一个实现的MLE，以达到相同的精度。改进Chow-Liu算法的关键是用作者提出的互信息估计量代替经验互信息。此外，将相同的替换方法应用于经典贝叶斯网络分类，所得到的分类器在26个广泛使用的数据集上一致优于以前的分类器。
2014-09-26 cs.DS cs.IT math.IT
Fenchel-Young Estimators of Perturbed Utility Models
University of Michigan（密歇根大学）
本文提出基于芬谢尔-扬损失的统一估计框架，解决PUMs中MLE的非凸性和稀疏性问题，通过参数基估计法提升预测性能。
2026-10-02 math.OC stat.ME
Finite Mixture Modeling with Riemannian Gaussian Distributions on Hyperbolic Space
Department of Mathematics, Baruch College（巴鲁克学院数学系）；Department of Mathematics, The Graduate Center, City University of New York（纽约市立大学研究生院数学系）
本文提出在双曲空间上使用各向同性黎曼高斯分布进行有限混合建模，推导密度、径向归一化常数及涉及互补误差函数的有限和表示，并提出加权最大似然估计方法，推导了EM和广义EM算法，通过模拟和实际网络数据展示其有效性。
2026-04-27 stat.ME
Structured Correlation Detection with Application to Colocalization Analysis in Dual-Channel Fluorescence Microscopic Imaging
受荧光显微成像中的共定位分析问题的启发，本文研究了在一个公共域上观察到的两个随机过程之间的相关区域的结构化检测。我们认为，虽然直观，直接使用的最大对数似然统计遭受潜在的偏见和大幅降低的权力，并引入一个简单的基于大小的归一化来克服这个问题。我们发现，扫描与建议的大小校正的似然比统计导致最佳的相关检测在一个大的结构化相关检测问题的集合。
2016-04-07 math.ST stat.AP stat.ME
Estimation of Constrained Mean-Covariance of Normal Distributions
均值向量和协方差阵的估计在多元数据分析中具有重要意义。在广义线性模型框架下，方差通常是均值的某个函数，但正态分布是个例外。本文研究了多元正态分布在联合约束$\bmΣ\bmμ = \bmμ$下的均值-协方差的极大似然估计和贝叶斯估计.通过重新参数化包含特征值和$\bmμ$的$\bmΣ$的谱分解，提出了一种新的结构协方差。这是为了解决具有挑战性的正定性问题，并减少协方差参数的数量从二次到线性函数的维度。我们提出了一种快速（非迭代）的方法近似的极大似然估计最大化的下限的配置文件似然函数，这是凹的。我们使用正常和反伽玛先验的平均值和特征值，并近似的最大后验估计的MH内吉布斯抽样和更快的迭代方法。仿真研究表明，我们的估计性能良好。
2021-10-07 stat.CO stat.ME
The Impact of Regularization on High-dimensional Logistic Regression
California Institute of Technology（加州理工学院）
逻辑斯谛回归通常用于对二分结果进行建模。在经典的设置，其中的观察数是远远大于参数的数量，在逻辑斯谛回归的极大似然估计的性质是很好地理解。最近，苏尔和坎迪斯研究了逻辑斯谛回归在高维制度，其中的观察和参数的数量是可比的，并显示，除其他事项外，极大似然估计是有偏的。在高维区域中，底层参数向量通常是结构化的（稀疏、块稀疏、有限字母表等）。因此，本文研究正则化逻辑斯谛回归（RLR），其中将鼓励所需结构的凸正则化因子添加到对数似然函数的负值。RLR的一个优点是，它允许参数恢复，即使在（无约束）最大似然估计不存在的情况下。我们通过求解一个由六个非线性方程组成的系统，对RLR的性能进行了精确的分析，通过这个系统，任何感兴趣的性能指标（平均值、均方误差、支持恢复概率等）都可以被计算出来。可以显式计算。我们的结果概括了苏尔和坎迪斯，我们提供了一个详细的研究的情况下，$\ell_2^2$ -RLR和稀疏（$\ell_1$ -正则化）逻辑斯谛回归。在这两种情况下，我们获得了各种性能指标的显式表达式，并可以找到优化所需性能的正则化参数的值。通过大量的数值模拟，在一系列的参数值和问题的情况下，该理论进行了验证。
2019-11-13 cs.IT cs.LG math.IT
Data-Free/Data-Sparse Softmax Parameter Estimation with Structured Class Geometries
H.J. Smead Aerospace Engineering Sciences, University of Colorado, Boulder, Colorado 80309（H.J. Smead航空航天工程科学系，科罗拉多大学，伯尔德，科罗拉多州80309）
本文提出在少量或无标注数据情况下，利用类标签对数几率边界结构几何先验信息进行softmax参数估计，通过线性方程组求解，无需昂贵的数据采样和优化。
2018-07-22 cs.CV cs.LG cs.SY
Perspective Maximum Likelihood-Type Estimation via Proximal Decomposition
我们介绍了一个最优化模型的最大似然型估计（M-估计），推广了一大类现有的统计模型，包括Huber的伴随M-估计，欧文的Huber/Berhu伴随估计，缩放套索，支持向量机回归，和惩罚估计结构稀疏。该模型被称为透视M-估计，利用观察到的凸M-估计伴随规模以及各种正则化的透视功能的实例。这样的功能是服从邻近分析，这导致原则和可证明收敛的优化算法通过邻近分裂。使用基于对偶的几何方法，我们得到新的邻近算子的几个感兴趣的透视函数。合成和真实世界的数据的数值实验说明了所提出的框架的广泛适用性。
2018-10-05 math.ST stat.TH
Increasing dimension asymptotics for two-way crossed mixed effect models
本文研究了双向交叉混合效应模型在行、列和单元格数趋于无穷时的最大似然和REML估计量，证明了其在无正态性假设下的渐近正态性及结构化协方差矩阵，且对行列增长率无限制。
2024-03-13 math.ST stat.ME stat.TH
EM's Convergence in Gaussian Latent Tree Models
MIT（麻省理工学院）
我们研究了对数似然函数的优化景观和期望最大化（EM）算法在潜在高斯树模型中的收敛性，即树结构的高斯图模型，其叶节点是可观察的，非叶节点是不可观察的。我们证明了种群对数似然的唯一非平凡平稳点是其全局最大值，并建立了期望最大化算法保证收敛到它在单潜变量的情况下。我们的研究结果的景观的对数似然函数在一般的潜在树模型提供了支持的最大似然为基础的方法，在这种设置的广泛的实际应用。我们的EM算法的结果扩展了一个新兴的工作线上获得全局收敛的保证，这个著名的算法。我们证明了我们的结果的非平凡的驻点的对数似然认为，从EM更新得到的多项式方程组的某个系统有一个独特的非平凡的解决方案。EM算法的全局收敛性是通过论证所有平凡不动点都是高阶鞍点来实现的。
2022-11-23 cs.LG math.ST stat.ML
Increasing Cluster Size Asymptotics for Nested Error Regression Models
当独立聚类数和聚类大小（每个聚类中的观测数）均趋于无穷大时，本文建立了聚类数据嵌套误差回归模型参数的极大似然估计和限制极大似然估计的渐近结果.在非常温和的条件下，估计是渐近正态的一个优雅的结构协方差阵。对于集群大小趋于无穷大的速率没有限制，但事实证明，我们需要在集群参数内进行处理（即在聚类内变化的单位水平协变量的系数和聚类内方差）与聚类参数之间不同（即在聚类内保持不变的聚类水平协变量的系数和聚类间方差）因为它们需要不同的归一化并且是渐近独立的。
2021-01-22 math.ST stat.TH
Geometric methods for estimation of structured covariances
University of Minnesota（明尼苏达大学）
本文采用基于Wasserstein/Bures/Hellinger距离的几何方法估计Toeplitz结构协方差矩阵，通过求解线性矩阵不等式实现高效计算，并与最大似然和Burg方法在谱线功率谱估计上进行了比较。
2011-10-17 cs.SY eess.SY math.OC
Free Energy Universality in Tensor Estimation via Generic Chaining
Duke University（杜克大学）
本文利用通用链式方法，建立了张量结构数据推断问题中自由能可由高斯比较模型近似的条件，并应用于二元超图模型，证明了在平均度发散的最小假设下自由能的普适性。
2026-05-28 cs.IT math.IT math.ST
