Analyzing Relevance Vector Machines using a single penalty approach
Iowa State University（爱荷华州立大学）
相关向量机（RVM）是一种流行的稀疏贝叶斯学习模型，通常用于预测。最近的研究表明，在RVM中对多个惩罚参数假设不正确的先验可能会导致不正确的后验概率。目前在文献中，RVM的后验适当性的充分条件不允许在多个惩罚参数的不适当的先验。在这篇文章中，我们提出了一个单一的惩罚相关向量机（SPRVM）模型，其中多个惩罚参数被替换为一个单一的惩罚，我们认为一个半贝叶斯方法来拟合SPRVM。SPRVM的后验适当性的充分必要条件比RVM的更自由，并允许几个不适当的先验的惩罚参数。此外，我们还证明了用于分析SPRVM模型的Gibbs采样器的几何遍历性，从而可以估计与后验预测分布的平均值的蒙特卡罗估计相关的渐近标准误。这样的蒙特卡罗标准误不能在RVM的情况下计算，因为用于分析RVM的吉布斯采样器的收敛速率是未知的。通过对三个真实数据集的分析，比较了RVM和SPRVM的预测性能。
2021-07-05 cs.LG stat.ME stat.ML
Bayesian Sequential Detection with Phase-Distributed Change Time and Nonlinear Penalty -- A POMDP Approach
我们证明了几种类型的贝叶斯序贯检测问题的最优决策策略在后验分布空间上具有阈值切换曲线结构。这是建立在部分观测马尔可夫决策过程（POMDP）框架中使用格规划和随机订单。提出了一种随机梯度算法来估计该阈值曲线的最佳线性逼近。我们说明这些结果首先考虑最快的时间检测相位型分布的变化时间和方差停止处罚。然后证明了阈值切换曲线也出现在其他几个贝叶斯决策问题，如最快的瞬态检测，指数延迟（风险敏感）的处罚，停止时间问题的社会学习，和多智能体调度在不断变化的世界。利用Blackwell优势，证明了动态决策问题的最优决策策略是近视策略的下界。最后，它示出了如何实现的最优决策策略的成本变化与变化的时间分布施加偏序的过渡矩阵。
2011-06-13 cs.IT math.IT stat.ME
Bayesian Learning via Q-Exponential Process
本文提出Q-指数过程（Q-EP），一种对应L_q正则化的随机过程，作为贝叶斯先验，比高斯过程具有更尖锐的惩罚，在函数建模、图像重建和逆问题中表现优于GP和Besov过程。
2023-11-16 stat.ME stat.ML
Bayesian Protein Sequence and Structure Alignment
蛋白质的结构在决定其功能方面至关重要，并且在进化过程中比序列保守得多。结构生物学的一个关键任务是比较蛋白质结构，以确定进化关系，估计新发现结构的功能，并预测未知结构。我们提出了一种贝叶斯方法的蛋白质结构比对，与前的比对的基础上的功能，惩罚“差距”在对齐的序列。我们展示了如何广泛的惩罚函数适合这个框架，以及如何得到的后验分布可以有效地采样。一个常用的缺口罚函数被证明是一个特殊的情况下，我们提出了一个新的罚函数，它消除了一个不可取的功能，常用的惩罚。我们说明了我们的方法在基准数据集，并发现它的竞争以及流行的工具，从计算生物学。我们的方法的好处是能够潜在地探索多个竞争的路线，并量化其优点的概率。该框架自然地允许包括进一步的信息，如氨基酸序列，并且可以适应其他情况，如柔性蛋白质或结构域交换。
2019-11-05 stat.CO stat.ME
Mean field variational Bayesian inference for support vector machine classification
提出了一种基于Polson & Scott（2012）的隐变量表示的支持向量机（SVM）均值场变分贝叶斯方法。这种表示允许规避许多与经典支持向量机相关的缺点，包括自动惩罚参数选择，处理相关样本，缺失数据和变量选择的能力。我们在模拟和真实数据集上证明，我们的方法很容易扩展到非标准情况，并且在保持计算效率的同时优于经典的SVM方法。
2013-05-13 stat.ME stat.ML
Bayesian Regularization: From Tikhonov to Horseshoe
贝叶斯正则化是现代统计和机器学习方法中的核心工具。许多应用涉及高维稀疏信号恢复问题。本文的目的是提供一个基于惩罚的正则化方法的文献综述，从Tikhonov（Ridge，Lasso）到马蹄正则化。
2019-02-17 stat.ME
Penalty parameter selection and asymmetry corrections to Laplace approximations in Bayesian P-splines models
本文提出改进的LPS方法，通过将潜空间二分以分别处理潜变量和未惩罚参数，结合非高斯不对称近似与Laplace近似，在保持无采样快速计算的同时显著提升了后验估计精度。
2022-10-04 stat.ME
A Data Driven Bayesian Graphical Ridge Estimator
贝叶斯方法在高斯图模型（GGM）估计中将精确关联优先于稀疏性，在科学文献中仍然相对较少。人们普遍认为，$\ell_2$惩罚在GGM估计中享有较小的计算足迹，而$\ell_1$惩罚鼓励被估量的稀疏性。贝叶斯自适应图形套索先验被用来作为一个出发点，在制定一个计算效率高的图形脊型先验的事件，准确的关联优先于稀疏表示。利用脊型惩罚构造了一种新的模拟精度矩阵的块吉布斯采样器。将贝叶斯图脊型先验扩展为贝叶斯自适应图脊型先验。合成实验表明，图形脊型估计享有计算效率，在中等尺寸，和数值性能，相对非稀疏精度矩阵，当比较他们的套索同行。自适应图形脊型估计应用于细胞信号数据，以推断人类T细胞信号中磷酸化蛋白质之间的关键关联。所有计算工作量都使用baygel R软件包进行。
2022-10-28 stat.ME
Adaptive Bayesian SLOPE -- High-dimensional Model Selection with Missing Values
我们考虑的问题，变量选择在高维设置与缺失的观测之间的协变量。为了解决这个相对不足的问题，我们提出了一个新的协同程序-自适应贝叶斯斜率-有效地结合了斜率方法（排序$l_1$正则化）与尖峰和板LASSO方法。我们将我们的方法定位在贝叶斯框架内，该框架允许同时进行变量选择和参数估计，尽管存在缺失值。与尖峰和平板LASSO一样，系数被认为是由两组组成的分层模型产生的：（1）非活动的尖峰和（2）活动的平板。然而，我们没有为每个协变量分配独立的尖峰先验，而是在这里部署了一个联合的“SLOPE”尖峰先验，它考虑了系数幅度的排序，以控制错误的发现。通过大量的模拟，我们展示了令人满意的性能，功率，FDR和估计偏差在各种情况下。最后，我们分析了一个真实的数据集，其中包括来自巴黎医院的患者，他们经历了严重的创伤，在预测血小板水平方面表现出色。我们的方法已经在C++中实现，并包装成一个R包ABSLOPE供公众使用。
2019-11-06 stat.AP stat.CO stat.ME
A Bayesian analysis of the time through the order penalty in baseball
本文用贝叶斯多项回归重新检验棒球TTOP效应，发现控制混杂因素后投手表现并无明显轮次间断点，挑战了以第三次打序作为换投依据的传统做法。
2023-05-31 stat.AP
On Bayesian Exponentially Embedded Family for Model Order Selection
The University of Rhode Island（罗德岛大学）
本文利用指数嵌入族方法推导了贝叶斯模型的序选择规则，称为贝叶斯EEF。与许多其他贝叶斯模型选择方法不同，贝叶斯EEF可以使用模糊的正确先验和不正确的无信息先验来客观地提取参数先验。此外，该规则的惩罚项是参数维数的一半和参数与观测数据之间的估计互信息之和。这有助于揭示EEF在模型阶数选择中的作用机制，并从信息论的角度对模型阶数选择的最优惩罚项选择和先验选择等问题提供新的见解.最后给出了线性模型选阶的重要实例，说明了算法和参数的选取。最后，使用Jeffreys先验的贝叶斯EEF与频率主义策略导出的EEF规则一致。这显示了频率论和贝叶斯哲学在模型选择中的另一个有趣的关系。
2018-12-21 cs.LG stat.ML
An Equivalence between Bayesian Priors and Penalties in Variational Inference
Université Paris-Saclay（巴黎萨克雷大学）；Inria Saclay（法国国家信息与自动化研究所萨克雷分部）；Meta AI Research（元人工智能研究部门）
本文证明了变分推断中贝叶斯先验与正则化惩罚之间的等价性，给出了从惩罚计算先验的系统方法，并揭示了保持贝叶斯性质的约束条件。
2024-02-07 cs.LG math.ST stat.ML
The Effective Sample Size in Bayesian Information Criterion for Level-Specific Fixed and Random Effects Selection in a Two-Level Nested Model
流行的统计软件为多水平模型或线性混合模型提供贝叶斯信息准则（BIC）。然而，已经观察到，统计文献和软件文档的组合导致BIC公式的差异以及在选择多水平模型时正确使用BIC的不确定性，其中涉及特定水平的固定效应和随机效应。这些差异和不确定性是由多水平模型BIC惩罚项中样本量的不同规格造成的。在这项研究中，我们推导出BIC的惩罚项的水平特定的固定和随机效应选择在两个水平的嵌套设计。在BIC的这个新版本（称为BIC_E）中，如果随机效应方差-协方差阵具有满秩，则该惩罚项被分解为两个部分：（a）每个聚类平均样本量的对数项，其乘数涉及随机和固定效应设计矩阵列空间之间的重叠维数，以及（b）参数总数乘以聚类总数的对数。此外，我们研究了BIC_E在冗余随机效应存在下的行为。用一个教科书的例子数据集说明了BIC_E的使用，数值演示表明，导出的公式符合经验值。
2022-06-23 stat.ME
A hierarchical Bayesian model for measuring individual-level and group-level numerical representations
一个流行的方法索引的数值表示是计算一个响应时间效应的个人估计，如SNARC效应或数值距离效应。传统上，这是通过估计个体线性回归斜率，然后将斜率合并以获得组水平斜率估计值，或使用个体斜率作为其他现象的预测因子来完成的。在本文中，我开发了一个分层贝叶斯模型，同时估计组水平和个人水平的斜率参数。我展示了使用这个建模框架来评估数字认知中两个常见效应的例子：SNARC效应和数字距离效应。最后，我证明了贝叶斯方法可以导致更好的测量保真度比经典的方法，特别是在小样本。
2017-10-23 stat.AP
Sampling the Bayesian Elastic Net
本文针对贝叶斯弹性网络回归中完全贝叶斯推断面临的积分难处理和需调优 Metropolis 步骤的问题，系统梳理先验形式与表示的所有组合，并提出基于参数空间变换和拒绝采样的 MCMC 算法，实现所有参数无需调优的直接采样。
2024-12-31 stat.CO stat.ME
Bayesian Regularization for Graphical Models with Unequal Shrinkage
Department of Statistics, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校统计学系）
我们考虑一个贝叶斯框架估计高维稀疏精度矩阵，其中自适应收缩和稀疏性诱导的拉普拉斯先验的混合物。除了讨论我们的配方从贝叶斯的角度来看，我们调查的MAP（最大后验概率）估计从惩罚的可能性的角度来看，产生了一个新的非凸罚款近似的$\ell_0$罚款。最佳的误差率估计一致性的各种矩阵范数以及稀疏结构恢复的选择一致性的唯一MAP估计在温和的条件下。为了快速有效地计算，提出了一种期望最大化算法来计算精度矩阵的MAP估计和底层稀疏结构边缘上的（近似）后验概率。通过广泛的模拟研究和实际应用的呼叫中心数据，我们已经证明了我们的方法与现有的替代品相比，优良的性能。
2018-05-20 cs.LG math.ST stat.CO
Efficient Designs of SLOPE Penalty Sequences in Finite Dimension
University of Pennsylvania（宾夕法尼亚大学）
在线性回归中，SLOPE是一种新的凸分析方法，它通过排序的L1惩罚来推广Lasso：较大的拟合系数受到更严重的惩罚。这种依赖于幅度的正则化需要惩罚序列$λ$的输入，而不是像Lasso情况下那样的标量惩罚，因此使得设计在计算上非常昂贵。在本文中，我们提出了两个有效的算法来设计可能的高维SLOPE惩罚，以最小化的均方误差。对于高斯数据矩阵，我们提出了一个一阶投影梯度下降（PGD）下的近似消息传递制度。对于一般的数据矩阵，我们提出了一个零阶坐标下降（CD）设计一个子类的SLOPE，称为k级SLOPE。我们的CD允许一个有用的权衡之间的准确性和计算速度。我们通过对合成数据和真实数据集的大量实验，证明了SLOPE的性能。
2021-12-13 cs.LG stat.ME stat.ML
Choosing the number of factors in factor analysis with incomplete data via a hierarchical Bayesian information criterion
Yunnan University of Finance and Economics（云南财经大学）；Guilin University of Technology（桂林理工大学）；BNU-HKBU United International College（北京师范大学-香港浸会大学联合国际学院）；The Education University of Hong Kong（香港教育大学）
贝叶斯信息准则（BIC）定义为观测数据对数似然减去基于样本量的惩罚项$N$，是一种流行的完全数据因子分析模型选择准则。这一定义也适用于不完整的数据。然而，基于“完整”样本量$N$的惩罚项是相同的，无论是在完整还是不完整的数据情况下。对于不完整数据，变量$i$通常只有$N_i<N$观测值，这意味着使用“完整”样本量$N$会难以置信地忽略不完整数据中固有的缺失信息量。鉴于此，提出了一种新的准则，称为分层BIC（HBIC）的因素分析与不完整的数据。新颖之处在于它在惩罚项中只使用了观测信息的实际量，即$N_i$。从理论上证明了HBIC是变分贝叶斯下界的大样本近似，BIC是HBIC的进一步近似，这意味着HBIC具有BIC的理论一致性.在人工数据集和真实数据集上进行了实验，以评估HBIC，BIC和相关准则在不同缺失率下的有限样本性能。结果表明，当缺失率较小时，HBIC和BIC的性能相似，但当缺失率不小时，HBIC更准确。
2022-04-19 cs.LG stat.ML
Laplace approximation for fast Bayesian inference in generalized additive models based on penalized regression splines
广义可加模型（GAM）是一种成熟的统计工具，用于对协变量与假设具有指数族条件分布的响应之间的复杂非线性关系进行建模。在这篇文章中，P-样条和拉普拉斯近似耦合的灵活和快速的近似贝叶斯推断的GAM。建议的拉普拉斯-P-样条模型有助于开发一种新的方法来探索后验惩罚空间，通过考虑一个确定性的基于网格的策略或马尔可夫链采样器，根据预测中的平滑加法项的数量。我们的方法的优点是依赖于封闭形式的分析表达式的梯度和Hessian的近似后验惩罚向量，这使得能够构建准确的后验逐点和可信的集合估计的潜在字段变量在一个相对较低的计算预算，即使是大量的光滑的附加组件。基于简单的高斯近似的条件潜在字段后验，建议的方法具有良好的统计特性。通过不同的模拟场景，拉普拉斯P样条模型的性能得到证实，并在两个真实数据集上说明了该方法。
2020-03-16 stat.ME
Learning Convex Regularizers for Optimal Bayesian Denoising
École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
我们提出了一个数据驱动的算法的最大后验概率（MAP）估计随机过程的噪声观测。所寻找的信号的主要统计特性由惩罚函数（即，先验概率密度函数的负对数）。我们的交替方向乘法器（ADMM）为基础的方法将估计任务转化为连续的应用程序的惩罚函数的邻近映射。利用这个直接的联系，我们定义的近端操作作为一个参数样条曲线和优化样条系数最小化的平均重建误差为给定的训练集。我们的学习方法的关键方面是，相关的惩罚函数被约束为凸的ADMM迭代的收敛性被证明。作为这些理论保证的结果，所提出的框架对不同水平的测量噪声的适应是非常简单的，并且不需要任何再训练。我们应用我们的方法来估计稀疏和非稀疏模型的Lévy过程的最小均方误差（MMSE）估计。我们执行单个训练会话，并在各种信噪比（SNR）值下进行比较。仿真结果表明，无论噪声功率如何，我们的算法的性能几乎与MMSE估计器的性能相同。
2017-05-16 cs.LG stat.ML
Compound Poisson Processes, Latent Shrinkage Priors and Bayesian Nonconvex Penalization
本文讨论了稀疏学习问题的贝叶斯非凸惩罚问题。我们探索了一个非参数的潜在收缩参数使用从属，这是一维的Lévy过程。我们特别研究了一族连续复合Poisson从属算子和一族离散复合Poisson从属算子。我们提出了四个具体的从属：伽玛，泊松，负二项和平方贝塞尔从属。从属子的Laplace指数是Bernstein函数，因此它们可以用作稀疏诱导非凸罚函数。我们利用这些从属回归问题，产生一个层次模型与多个正则化参数。我们设计了ECME（Expectation/Conditional Maximization Either）算法来同时估计回归系数和正则化参数。模拟数据的实证评价表明，该方法在高维数据分析中是可行和有效的。
2015-05-15 stat.ME stat.ML
High-resolution Bayesian mapping of landslide hazard with unobserved trigger event
滑坡灾害的统计模型能够利用高空间分辨率的地貌协变量绘制风险因素和滑坡发生强度。然而，触发事件的空间分布（例如，降水或地震）往往不能直接观测到。在本文中，我们开发了贝叶斯空间层次模型的点模式的滑坡发生使用不同类型的对数高斯Cox过程。从一个有竞争力的基线模型，捕捉未观察到的降水触发通过空间随机效应在斜率单位分辨率，我们探索新的复杂的模型结构，考虑到在小空间尺度上产生的事件集群，以及非线性或空间变化的协变量效应。对于2009年发生在意大利西西里岛的约4000次降雨引发的山体滑坡事件，我们展示了如何有效地使用集成嵌套拉普拉斯近似（INLA）来拟合我们提出的模型，并从统计和应用的角度严格比较我们的模型的性能。在这种情况下，我们认为，模型比较不应该基于一个单一的标准，不同的模型的各种复杂性可以提供见解互补方面的相同的应用问题。在我们的应用程序中，我们的模型被发现有几乎相同的空间预测性能，这意味着成功的预测的关键是包含一个斜率单位解决随机效应捕获的降水触发。有趣的是，一个简约的制定空间变化的坡度效应反映了物理解释的降水触发：在分区与弱触发，坡度陡度被证明是大多不相关。
2020-06-14 stat.ME
An Approximate Bayesian Approach to Model-assisted Survey Estimation with Many Auxiliary Variables
复杂调查数据的模型辅助估计是调查抽样中一个重要的实际问题。当有许多辅助变量时，选择与研究变量相关的显著变量对于有效估计感兴趣的总体参数是必要的。在本文中，我们制定了一个正则化回归估计的贝叶斯推断的框架内使用的惩罚函数作为收缩前模型选择。所提出的贝叶斯方法使我们不仅能得到有效的点估计，而且能得到合理的可信区间。从两个有限的模拟研究结果，以方便与现有的频率论方法进行比较。
2020-03-31 stat.ME
Fast cross-validation for multi-penalty ridge regression
具有多种数据类型的高维预测需要考虑预测信号中潜在的强烈差异。岭回归是一种简单的高维数据模型，它挑战了许多更复杂的模型和学习器的预测性能，并且允许包含数据类型特定的惩罚。多惩罚岭的最大挑战是在交叉验证（CV）设置中有效地优化这些惩罚，特别是对于GLM和Cox岭回归，其需要通过迭代加权最小二乘（IWLS）进行额外的估计循环。我们的主要贡献是一个计算上非常有效的公式的多罚，样本加权帽矩阵，在IWLS算法中使用。因此，几乎所有的计算都是在低维空间中进行的，从而使速度提高了几个数量级。我们开发了一个灵活的框架，促进多种类型的响应，未惩罚的协变量，几个性能标准和重复CV。扩展配对和优惠的数据类型，包括和说明几个癌症基因组生存预测问题。此外，我们提出了类似的计算最大边际似然和贝叶斯概率回归的捷径。相应的R包multiridge是一个通用的独立工具，也是其他更复杂模型和多视图学习器的快速基准。
2021-04-01 stat.CO stat.ME stat.ML
Data Subsampling for Bayesian Neural Networks
Université Paris-Saclay（巴黎萨克雷大学）；Univ. Grenoble Alpes（格勒诺布尔大学）；CEA（法国原子能和替代能源委员会）；CNRS（法国国家科学研究中心）；LPMMC（介观物理与材料结构实验室）
针对MCMC在大数据集上扩展性差的问题，提出惩罚贝叶斯神经网络（PBNN），通过引入惩罚项的Metropolis Hastings广义算法实现无偏mini-batch子采样，在保持预测性能的同时显著降低预测过度自信。
2024-09-23 cs.LG stat.ML
Optimal Bayesian clustering using non-negative matrix factorization
基于贝叶斯模型的聚类是一种广泛应用的发现数据集中相关观测组的过程。这些方法使用贝叶斯混合模型，用MCMC估计，提供模型参数和聚类分区的后验样本。虽然对模型参数的推断已经很好地建立，但对聚类分区的推断还不太发达。提出了一种基于贝叶斯聚类模型的两两后验相似矩阵估计最优划分的新方法。这种方法使用非负矩阵分解（NMF）提供一个低秩近似的相似性矩阵。因子分解允许硬或软分区，并表现出更好的性能比几个流行的替代品下的各种惩罚函数。
2018-09-20 stat.ME
Weighted Sequential Bayesian Inference for Non-Stationary Linear Contextual Bandits
Department of Mathematics and Computer Science（数学与计算机科学系）；University of Southern Denmark（丹麦南方大学）
本文针对非平稳线性上下文多臂老虎机问题，提出加权序贯贝叶斯（WSB）推理框架，开发三种对应算法，其遗憾保证与WRLS基线相当，实证性能更优，还提供了向量值鞅的简化证明。
2026-08-12 cs.LG stat.ML
Model Selection Principles in Misspecified Models
模型选择对于当今许多应用中的高维建模具有根本的重要性。经典的模型选择原则包括Kullback-Leibler散度原则和贝叶斯原则，当模型被正确指定时，它们导致Akaike信息准则和贝叶斯信息准则。然而，当我们不知道真实的模型时，或者当我们有正确的分布族但错过了一些真实的预测值时，模型错误是不可避免的。在本文中，我们提出了一个家庭的半贝叶斯原则的模型选择在错误指定的模型，它结合了两个著名的原则的优势。在错误指定的广义线性模型中，我们得到了半贝叶斯原理的渐近展开，从而给出了新的半贝叶斯信息准则（SIC）。SIC的一种特殊形式允许一个自然的分解成负的最大准对数似然，惩罚模型的维数，并直接惩罚模型的误指定。数值研究表明，新提出的SIC模型选择方法的优势，在正确指定和错误指定的模型。
2016-05-11 math.ST stat.ME stat.TH
A Bayesian information criterion for singular models
我们考虑近似贝叶斯模型选择模型选择问题，涉及模型的费舍尔信息矩阵可能无法沿其他竞争的子模型是可逆的。这样的奇异模型不遵守正则条件的推导Schwarz的贝叶斯信息准则（BIC）和BIC的惩罚结构一般不反映其边际似然的频率论大样本行为。虽然最近已经发展了奇异模型的边际似然的大样本理论，由此产生的近似依赖于真实的参数值，并导致循环推理的悖论。通过确定混合模型的分量数、潜在因子模型的因子数和降秩回归的秩等实例，给出了这一悖论的解决方案，并对奇异模型选择问题给出了BIC的一个实用扩展.
2016-03-23 stat.ME
Bayesian model selection in logistic regression for the detection of adverse drug reactions
动机：自发性不良事件报告在检测药物不良反应方面具有很高的潜力。然而，由于其规模，探索这些数据库需要统计方法。在这方面，采取了预防措施。然而，通过将数据投影到列联表上，这些方法对共同处方和掩蔽效应的问题变得敏感。最近，逻辑斯谛回归已被用于Lasso型惩罚，以检测药物和不良事件之间的关联。然而，刑罚价值的选择却在很大程度上影响着刑罚结果的同时，也是一个值得商榷的问题。结果：在本文中，我们建议使用逻辑斯谛回归，其稀疏性被视为模型选择的挑战。由于模型空间巨大，梅特罗波利斯-黑斯廷斯算法通过最大化BIC准则来执行模型选择。因此，我们避免了惩罚或阈值的校准。在法国药物警戒数据库的应用中，将所提出的方法与参考数据集上的成熟方法进行了比较，并获得了更好的阳性和阴性对照率。然而，许多信号没有被所提出的方法检测到。因此，我们得出结论，该方法应与现有药物警戒措施并行使用。
2015-06-18 stat.AP stat.CO
Trust Region Constrained Bayesian Optimization with Penalized Constraint Handling
Statistical Quality Control and Operations Research Unit, Indian Statistical Institute, Kolkata, India（印度统计研究院统计质量控制与运筹研究单位，加尔各答，印度）；Operations Management Group, Indian Institute of Management Calcutta, Kolkata, India（印度管理学院加尔各答运营管理组，加尔各答，印度）
本文提出结合惩罚法、替代模型和信任区域策略的贝叶斯优化方法，通过惩罚约束违反来转换约束问题为无约束形式，提升高维复杂约束优化的稳定性与效率。
2026-08-13 cs.LG stat.ML
Detecting changes in slope with an $L_0$ penalty
虽然有许多方法来检测一个单变量时间序列的平均值的变化，检测斜率的多个变化的问题相对被忽视。部分原因是检测斜率的变化更具挑战性。例如，简单的二进制分割程序不适用于这个问题，而有效的动态规划方法，工作以及平均值的变化问题不能直接用于检测斜率的变化。我们提出了一种新的动态规划方法，CPOP，寻找“最佳”连续分段线性拟合数据。我们定义最好的基础上的一个标准，措施适合数据使用残差平方和，但惩罚复杂性的基础上的$L_0$惩罚的变化，斜率。我们表明，使用这样的标准是更可靠的估计变点位置比惩罚复杂性的方法，使用$L_1$罚款。CPOP具有良好的计算性能，可以在几分钟内分析超过10，000个观测值和100个变化的时间序列。我们的方法是用来分析数据的运动的细菌，并提供适合的数据，都有很大程度上较小的残差平方和，比两个竞争的方法更吝啬。
2017-02-03 stat.CO stat.ME stat.ML
Distance-to-Set Priors and Constrained Bayesian Inference
约束学习在许多统计任务中普遍存在。最近的工作提出了距离设置处罚，以获得估计一般的约束条件下，可以指定为集，但重点是获得点估计，不带有相应的措施的不确定性。为了弥补这一点，我们从贝叶斯透镜接近距离集正则化。我们考虑一类光滑的距离设置先验，表明他们产生定义良好的后验量化的不确定性约束学习问题。我们讨论的关系和优势比以前的工作贝叶斯约束放松。此外，我们证明了我们的方法是在信息几何意义下的有限惩罚参数$ρ$，并享有良好的统计特性时，$ρ\to\infty$。该方法的目的是有效地执行基于梯度的MCMC采样器内，如一套模拟和真实数据的应用程序。
2022-10-21 stat.ME
Adaptive empirical Bayesian smoothing splines
在本文中，我们开发和研究自适应经验贝叶斯光滑样条。这些都是平滑样条函数，平滑参数和惩罚顺序都是通过经验贝叶斯方法从模型的边际似然确定的。选择的阶数和平滑参数用于构造具有良好频率覆盖的底层回归函数的自适应可信集。我们使用这些可信的集合作为代理，以显示自适应经验贝叶斯平滑样条相比，频率平滑样条的优越性能。
2015-11-17 math.ST stat.TH
Bayesian Network Learning via Topological Order
针对有向图上的无环约束优化问题，提出了一种基于拓扑序的混合整数规划模型和迭代算法。与基于循环消除约束和三角不等式的MIP模型相比，该模型具有更少的约束条件。所提出的迭代算法分别使用梯度下降和迭代重排序方法来搜索拓扑序。针对生物信息学中应用基因网络推理的高斯贝叶斯网络学习问题，给出了一个计算实验.
2017-08-20 cs.DS stat.ML
The Reciprocal Bayesian LASSO
与对系数使用递增惩罚的传统惩罚方法相反，倒数LASSO（rLASSO）正则化采用递减惩罚函数，从而导致相对于传统收缩方法更强的简约性和更优的模型选择。在这里，我们考虑一个完全贝叶斯制定的rLASSO问题，这是基于观察的rLASSO估计线性回归参数可以被解释为贝叶斯后验模式估计时，回归参数被分配独立的逆拉普拉斯先验。贝叶斯推断从这个后验是可能的，使用扩展的层次结构的双重帕累托或截断正态分布的规模混合的动机。在模拟和真实的数据集上，我们表明贝叶斯公式在广泛的场景中在估计，预测和变量选择方面优于其经典表弟，同时提供后验推理的优势。最后，我们讨论了这种新方法的其他变体，并提供了一个统一的框架，使用灵活的倒数惩罚变量选择。本文中描述的所有方法都可以作为R包在https://github.com/himelmallick/BayesRecipe上公开获得。
2021-09-16 stat.CO stat.ME stat.ML
Data aggregation can lead to biased inferences in Bayesian linear mixed models and Bayesian ANOVA: A simulation study
本文通过模拟研究证明，在贝叶斯线性混合模型和贝叶斯方差分析中，对受试者层面聚合数据进行零假设检验会产生有偏的贝叶斯因子，并指出在非聚合数据上建模完整随机效应结构可避免或减少该问题。
2023-08-14 stat.ME
Evidence Slopes and Effective Dimension in Singular Linear Models
New York University, Center for Data Science（纽约大学数据科学中心）
本文研究了奇异线性模型中有效维度与证据斜率的关系，提出基于RLCT的修正方法以提高贝叶斯模型选择的准确性。
2026-01-03 cs.LG stat.ML
Bayesian and regularization approaches to multivariable linear system identification: the role of rank penalties
University of Padova（帕多瓦大学）
本文提出一种基于ℓ2正则化和秩惩罚的冲击响应估计器，用于处理多输入多输出系统中输入输出通道的耦合问题，通过优化边际似然估计超参数，实现闭式解。
2014-09-29 cs.LG cs.SY eess.SY
Bayesian Distance Weighted Discrimination
University of Minnesota（明尼苏达大学）；School of Public Health（公共卫生学院）；Division of Biostatistics（生物统计学部）
距离加权判别（DWD）是一种线性判别方法，特别适用于高维数据的分类任务。DWD系数最小化直观的目标函数，可以使用最先进的优化技术非常有效地解决。然而，DWD还没有被铸造成一个基于模型的框架统计推断。在这篇文章中，我们表明，DWD识别适当的贝叶斯后验分布的模式，从一个特定的链接函数的类概率和收缩诱导适当的先验分布的系数。我们描述了一个相对有效的马尔可夫链蒙特卡罗（MCMC）算法模拟从真实的后验在这个贝叶斯框架下。我们证明了后验是渐近正态的，并推导出其极限分布的均值和协方差阵。通过几个模拟研究和乳腺癌基因组学的应用，我们展示了DWD的贝叶斯方法如何用于（1）计算校准良好的后验类概率，（2）评估DWD系数和所得样本分数的不确定性，（3）当并非所有类别标签都可用时，通过半监督分析提高功效，以及（4）在基于模型的框架内自动确定惩罚调整参数。执行贝叶斯DWD的R代码可在https://github.com/lockEF/BayesianDWD上获得。
2020-10-07 cs.LG stat.ME stat.ML
Bayesian Emulation of Geotechnical Deterioration Curves Using Quadratic and B-Spline Hierarchical Models
本研究利用贝叶斯高斯过程仿真器，基于75个计算机实验，通过二次和B样条模型预测路堑边坡安全系数，以支持边坡设计与管理。
2024-07-16 stat.AP
Mean--Variance Risk-Aware Bayesian Optimal Experimental Design for Nonlinear Models
University of Michigan（密歇根大学）
本文提出一种考虑方差的贝叶斯最优实验设计方法，通过引入效用变异性惩罚，提升实验鲁棒性，并通过蒙特卡洛估计和贝叶斯优化验证了方法的有效性。
2026-04-05 stat.CO stat.ME
Lecture notes on ridge regression
Amsterdam UMC, location VUmc（阿姆斯特丹大学医学中心）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本文针对高维数据下线性回归的经验不可识别问题，综述岭回归的理论性质、应用场景与推广形式，并对比介绍lasso方法及其推广。
2026-08-20 stat.ME
Rule-based Evolutionary Bayesian Learning
The Alan Turing Institute（艾伦·图灵研究所）；Imperial College London（帝国理工学院）；Newcastle University（纽卡斯尔大学）
在我们以前的工作中，我们介绍了基于规则的贝叶斯回归，这是一种利用两个概念的方法：（i）贝叶斯推断，用于一般框架和不确定性量化;（ii）基于规则的系统，用于将专家知识和直觉结合起来。由此产生的方法创建了一个惩罚相当于一个共同的贝叶斯先验，但它也包括信息，通常不会在一个标准的贝叶斯上下文中。在这项工作中，我们扩展了上述方法与语法进化，符号遗传编程技术，我们利用自动化的规则的推导。我们的动机是，语法进化可以潜在地检测模式的数据与有价值的信息，相当于专家知识。我们说明了使用基于规则的进化贝叶斯学习技术，将其应用到合成以及真实的数据，并检查点预测和相关的不确定性方面的结果。
2022-02-28 cs.LG cs.NE stat.ML
Bayesian Sparsification Methods for Deep Complex-valued Networks
随着不断的小型化，在嵌入式系统中可以发现越来越多的深度学习应用，其中通常会遇到具有自然复域表示的数据。为此，我们扩展稀疏变分辍学复值神经网络和验证所提出的贝叶斯技术进行了大量的数值研究的性能压缩权衡的C值网络上的两个任务：图像识别MNIST类和CIFAR 10数据集和音乐转录MusicNet。我们在MusicNet上复制了Trabelsi等人[2018]的最新结果，其中复值网络被压缩了50- 100倍，性能损失很小。
2020-06-28 cs.LG stat.ML
Bayesian anti-sparse coding
稀疏表示已经证明了它们在解决信号和图像处理中遇到的广泛的一类逆问题的效率。相反，强制信息均匀地分布在表示系数上，在诸如数字通信的各种应用中表现出相关的性质。反稀疏正则化可以通过$\ell_{\infty}$ -范数惩罚自然地表达。本文推导出这种表示的概率公式。首先介绍了一种新的概率分布，称为民主先验。它的主要性质，以及三个随机变量生成器的分布。然后，这个概率分布被用作一个先验，以促进反稀疏的高斯线性逆问题，产生一个完全贝叶斯公式的反稀疏编码。提出了两种根据后验分布生成样本的马尔可夫链蒙特卡罗（MCMC）算法。第一个是标准吉布斯采样器。第二个使用Metropolis-Hastings移动，利用对数后验分布的邻近映射。这些样本用于近似参数和超参数的最大后验和最小均方误差估计。模拟合成数据说明了这两个建议的采样器的性能，完全和过完备字典。所有结果进行比较，最近确定性变分FITRA算法。
2015-12-18 physics.data-an stat.ME stat.ML
Revisiting Bayesian Blind Deconvolution
Microsoft Research（微软研究院）；Northwestern Polytechnical University（西北工业大学）
盲解卷积涉及仅给出模糊观察的清晰信号或图像的估计。因为这个问题从根本上是不适定的，所以需要清晰图像和模糊核的强先验来正则化解空间。虽然这自然导致标准MAP估计框架，但性能受到未知的折衷参数设置、优化算法以及源于非凸性和/或不良先验选择的收敛问题的损害。为了减轻这些问题中的一些，一些作者最近提出了替代变分贝叶斯（VB）策略，该策略在高维图像空间上边缘化，从而更好地估计模糊核。然而，底层的成本函数现在涉及没有封闭形式解的积分和复杂的函数值参数，从而失去了MAP的透明度。因此，除了标准的贝叶斯启发的直觉之外，还不清楚这些方法究竟是通过什么机制来运作的，这使得理解、改进和扩展更加困难。为了阐明这些问题，我们证明了VB方法可以被改写为一个非常规的MAP问题，具有非常特殊的惩罚/先验，以原则性的方式耦合图像，模糊内核和噪声水平。这种独特的惩罚有许多有用的特性，涉及相对的不变性，局部最小值的避免，和规模不变性，使我们能够严格解释VB的成功，包括其现有的实现算法和近似。它还提供了选择最佳图像的严格标准，可能与直觉相反，不需要反映自然场景的统计数据。在这样做的时候，我们挑战了为什么VB是成功的盲反卷积，同时提供了一个透明的平台，引入增强的流行观念。
2013-05-10 cs.CV cs.LG stat.ML
Learning networks determined by the ratio of prior and data
Graduate School of Information Systems, University of Electro-Communications（电气通信大学信息系统研究生院）
最近的报告描述了Dirichlet先验中的等效样本容量（ESS）在贝叶斯网络学习中起着重要作用。本文对贝叶斯网络的边际似然得分进行了渐近分析。结果表明，在贝叶斯网络学习中，ESS和样本容量的比例决定了增加弧的代价。弧的数量随着ESS的增加而单调增加;弧的数量随着ESS的减少而单调减少。此外，边际似然分数通过改变先验知识提供了各种分数度量的统一表达。
2012-03-15 cs.LG stat.ML
A New Look at Bayesian Testing
Virginia Tech（弗吉尼亚理工大学）；University of Chicago（芝加哥大学）；George Mason University（乔治梅森大学）；University of South Florida（南佛罗里达大学）
本文探讨了贝叶斯检验中关键偏差尺度的确定，推导了在集成贝叶斯风险下的最优拒绝边界，并展示了其在正则先验下的通用性。
2026-03-20 math.ST stat.ME stat.TH
Quasi-Bayesian Local Projection Instrumental-Variables Method: Application to Renewable Energy and Electricity Prices
Fukuoka University（福冈大学）
本文提出一种准贝叶斯方法用于局部投影工具变量估计，通过广义矩方法构建准后验，并采用粗糙度惩罚先验平滑不同时间跨度的冲击响应。方法保留传统LP-IV方法的一阶特性，增强有限样本稳定性，并允许联合推断。仿真显示该正则化方法在中长期预测中降低均方误差。
2026-05-15 econ.EM stat.ME
Bayesian quickest detection problems for some diffusion processes
本文研究了检测可观测扩散过程的漂移率变化的贝叶斯问题，该扩散过程具有线性和指数惩罚代价。最佳的报警时间被发现的第一次加权似然比击中随机边界取决于当前的观察。证明的基础上减少到适当的三维最优停止问题和相关的抛物型自由边界问题的分析的初始问题。我们提供封闭形式的价值函数和边界的估计，在一定的非平凡的可观察扩散系数之间的关系。
2011-11-06 math.PR math.ST stat.TH
Sharp Trade-Offs in High-Dimensional Inference via 2-Level SLOPE
本文研究了仅含三个超参数的2-level SLOPE，证明其在保留SLOPE优势的同时降低了计算复杂度，并实现了对真阳性比例与假发现比例间权衡的尖锐理论刻画，是高维数据分析中稳健且可扩展的替代方案。
2025-07-12 stat.ME stat.ML
Bayesian Evidential Deep Learning with PAC Regularization
Heidelberg University（海德堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
本文提出了一种新的神经网络预测分布模型的方法。在量化预测不确定性时，我们建立在证据深度学习的基础上，它既易于实现，又能以封闭形式访问预测不确定性。我们用它来模拟任意的不确定性，并将其扩展到考虑到认知的不确定性，将其转换为贝叶斯神经网络。在扩展其不确定性量化功能的同时，我们通过首次执行渐进矩匹配以近似权重边缘化来保持其可分析的预测分布模型。最终的模型引入了大量的超参数来进行稳定的训练。我们克服了这个缺点，推导出一个空洞的PAC界，包括边际似然预测和复杂性惩罚。我们在回归，分类和域外检测基准上观察到，我们的方法改进了模型拟合和不确定性量化。
2021-01-21 cs.LG stat.ML
Bayesian Analysis of the Beta Regression Model Subject to Linear Inequality Restrictions with Application
针对受线性不等式约束的广义线性模型研究不足的问题，提出Beta回归模型的贝叶斯约束估计量，经模拟和真实数据验证，其估计精度更优且无需正则化即可实现参数稀疏性。
2024-01-24 stat.CO stat.ME
