Adjusting the adjusted Rand Index -- A multinomial story
调整后的兰德指数($ARI$)可以说是最流行的聚类比较指标之一。$ARI$的调整基于超几何分布假设,从建模的角度来看,该假设是不令人满意的,因为(i)当两个聚类是相关的时,它是不合适的,(ii)它强制聚类的大小,以及(iii)它忽略采样的随机性。在这项工作中,我们提出了一个新的“修改”版本的兰德指数。首先,我们重新定义了$MRI$,通过只计算相似性一致的对,忽略差异一致的对,增加了分数的可解释性。其次,我们调整后的版本,$MARI$,在一个多项分布,而不是一个超几何分布。多项式模型是有利的,因为它不强制集群的大小,正确地模拟随机性,并且很容易扩展到依赖的情况。我们发现,$ARI$是有偏的多项式模型下,$ARI$和$MARI$之间的差异可以是大的小$n$,但基本上消失大$n$,其中$n$是个人的数量。最后,我们提供了一个有效的算法来计算所有这些数量($(A)RI$和$M(A)RI$)依赖于我们的\texttt{aricode}包中的列联表的稀疏表示。空间和时间复杂度在样本数量上是线性的,重要的是不依赖于聚类的数量,因为我们没有显式地计算列联表。
2020-11-17 stat.ME
Don't Throw Away Your Beams: Improving Consistency-based Uncertainties in LLMs via Beam Search
ETH Zurich(苏黎世联邦理工学院);MBZUAI(穆萨伊人工智能研究院)
本文提出通过光束搜索改进大语言模型中的基于一致性的不确定性量化方法,减少方差并提升性能,实验证明其在六个问答数据集上达到最先进的性能。
2026-05-07 cs.CL cs.LG stat.ML
Bootstrap inference for the finite population total under complex sampling designs
Bootstrap是进行统计推断的有用工具,但在复杂的调查抽样下可能提供错误的结果。关于Bootstrap推理的研究大多是在简单随机抽样和分层随机抽样下进行的。本文提出了一种统一的Bootstrap方法,它适用于一些复杂的抽样设计,包括Poisson抽样和概率比例抽样。Bootstrap方法的两个主要特点是使用学生化进行推理,并通过引入抽样信息,基于多项分布对有限总体进行Bootstrap。我们表明,所提出的自助方法是二阶准确使用Edgeworth展开。两个模拟研究进行了比较建议的自助方法与Wald型方法,这是广泛使用的调查抽样。结果表明,所提出的自助方法是更好的覆盖率,特别是当样本量有限。
2019-01-07 math.ST stat.ME stat.TH
Better Conditional Density Estimation for Neural Networks
绝大多数的神经网络文献集中在预测点值为一组给定的响应变量,条件的特征向量。在许多情况下,我们需要对响应变量的完整联合条件分布建模,而不是简单地进行点预测。在本文中,我们提出了两种新的方法,这样的条件密度估计(CDE):多尺度网络(MSN)和CDE趋势过滤。多尺度网络通过将密度分解为一系列半空间并学习每个分裂的布尔概率,将CDE回归任务转换为分层分类任务。CDE趋势过滤将k阶图趋势过滤惩罚应用于多项式分类器网络的未归一化对数,图中的每条边对应于离散化密度版本上的相邻点。我们比较了这两种方法对普通的多项式分类器网络和混合密度网络(MDN)的模拟数据集和三个真实世界的数据集。结果表明,这两种方法是互补的:MSNs工作在一个高的数据每功能制度和CDE-TF是非常适合于少样本每功能的情况下,过度拟合是一个主要问题。
2016-06-07 stat.ML
SAUSS: Stochastic Approximation with Unbiased Simulated Scores for Limited Dependent Variable Models
Columbia University(哥伦比亚大学);University of Iowa(爱荷华大学);The Hong Kong University of Science and Technology(香港科技大学);McMaster University(麦克马斯特大学)
针对有限因变量模型,提出SAUSS方法,基于条件无偏小批量得分估计实现高效计算,仅需模拟极大似然1%的时间即可取得相当结果,支持扩展至相关模型。
2026-11-03 cs.LG econ.EM stat.ME
Better understanding of the multivariate hypergeometric distribution with implications in design-based survey sampling
多元超几何分布是在初等统计和概率课程中经常出现的一种分布,它是在对有限总体进行分类数固定的不放回抽样时,同时研究特定事件的发生规律。众所周知,该分布的协方差阵与其多项式对应矩阵乘以1-(n-1)/(N-1)相同,其中N和n分别为总体和样本量。然而,在文献中似乎很少讨论这种关系的含义,特别是关于乘数的具体形式。基于一个增广的参数与概率对称性,我们提出了一个更透明的理解的协方差结构的多元超几何分布。我们讨论了这些组合技术的含义,并提供了一个统一的描述的相对效率估计总体均值的基础上简单随机抽样,概率比例大小抽样和自适应整群抽样,与不更换。我们还提供了深入了解经典的随机组方差估计方法。
2021-01-03 math.ST stat.OT stat.TH
Nearest neighbor ratio imputation with incomplete multi-nomial outcome in survey sampling
无应答是调查抽样中常见的问题。适当的处理可能具有挑战性,特别是在处理总额的详细细目时。通常,最近邻插补方法用于处理此类不完整的多项式数据。本文研究了最近邻比插补估计,该估计利用辅助变量识别最近邻的捐赠者,并将捐赠者的比例向量应用于接受者的总和,实现比插补。为了估计渐近方差,我们首先将最近邻比填补作为预测匹配填补的特殊情况,并应用\cite{yang2020asymptotic}的线性化方法。考虑到不可忽略的抽样比,参数和广义可加模型被用来纳入插补估计的平滑性,这导致一个有效的方差估计。我们应用所提出的方法来估计支出细节项目的基础上,从2018年收集的经验数据的服务年度调查,由美国人口普查局进行。我们的仿真结果证明了我们提出的估计的有效性,也证实了派生的方差估计具有良好的性能,即使在抽样比是不可忽略的。
2022-02-23 stat.AP stat.ME
Hierarchical mixtures of Unigram models for short text clustering: The role of Beta-Liouville priors
Department of Precision and Regenerative Medicine and Jonian Area (DiMePRe-J)(精准与再生医学系及乔尼亚区);University of Bari Aldo Moro(巴里阿尔多·莫罗大学);Sirio Astronomical Observatory(西里奥天文台);Grotte di Castellana srl(卡斯特尔纳纳洞窟有限公司)
本文针对短文本无监督聚类,提出以 Beta-Liouville 先验替代 Dirichlet 先验的多项式混合模型,并推导 CAVI 及其随机可扩展推断算法,给出超参数选择策略。
2025-04-28 cs.LG stat.CO stat.ML
Pólygamma Data Augmentation to address Non-conjugacy in the Bayesian Estimation of Mixed Multinomial Logit Models
Cornell University(康奈尔大学);UNSW Australia(新南威尔士大学);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
混合多项Logit(MMNL)模型的标准Gibbs抽样方法是采用Metropolis-Hastings(MH)算法对效用参数的条件密度进行抽样,但由于Logit核的共轭先验不可用。为了解决这种非共轭问题,我们提出了应用Pólygamma数据增强(PG-DA)技术的MMNL估计。增广和默认吉布斯采样器的后验估计是相似的两个替代方案(二进制选择),但我们遇到的情况下,更多的替代品($J \geq 3$)的经验识别问题。
2019-04-13 cs.LG econ.EM stat.AP
Choose A Table: Tensor Dirichlet Process Multinomial Mixture Model with Graphs for Passenger Trajectory Clustering
University of Cologne(科隆大学);Arizona State University(亚利桑那州立大学);Tsinghua University(清华大学);McGill University(麦吉尔大学);The Hong Kong University of Science and Technology(香港科技大学);HKUST-GZ(香港科技大学(广州))
本文提出带图张量狄利克雷过程多项混合模型,用于乘客轨迹聚类,可保留出行层次结构并自动确定聚类数目,在香港地铁数据上验证了更优的聚类质量。
2023-10-31 cs.AI cs.LG stat.AP
Nested Expectation Propagation for Gaussian Process Classification with a Multinomial Probit Likelihood
我们考虑使用高斯过程(GP)先验的概率多项式probit分类。多类GP分类的挑战是在非高斯后验分布上的积分,以及随着目标类数量的增加,未知潜变量的数量增加。期望传播(EP)已被证明是一个非常准确的近似推理方法,但现有的EP方法的多项式probit GP分类依赖于数值求积或独立的假设之间的潜在值从不同的类,以方便计算。在本文中,我们提出了一种新的嵌套EP方法,它不需要数值求积,并准确地近似所有类间的后验依赖的潜在值,但仍然在类的数量线性缩放。嵌套EP方法的预测精度相比,拉普拉斯,变分贝叶斯,和马尔可夫链蒙特卡罗(MCMC)近似与各种基准数据集。在实验中,嵌套EP是最一致的方法,相对于MCMC抽样,但比较方法之间的差异很小,如果只考虑分类精度。
2012-07-16 stat.ML
A Hierarchical Bayesian Model for Size Recommendation in Fashion
Zalando SE(Zalando股份公司);Zalando Research(Zalando研究院)
我们引入了层次贝叶斯方法来解决具有挑战性的问题,在电子商务时尚的大小推荐。我们的方法联合模型的大小由客户购买,其可能的返回事件:1。不归路2.返回太小3.回来太大了。这些事件是根据每个事件的联合概率参数化的多项分布绘制的,该分布是根据结合先验的层次结构构建的。这样的模型使我们能够将扩展的领域专业知识和文章特征作为先验知识,这反过来又使潜在的参数能够由于足够的数据而出现。实验上的真实(匿名)数据,从数百万的客户,以及详细讨论这种方法的效率在一个大规模的生产系统。
2019-08-02 cs.LG stat.ML
Bayesian Inference for the Multinomial Probit Model under Gaussian Prior Distribution
多项概率模型是分类数据的基本回归模型,应用广泛。Fasano和Durante(2022)证明了统一偏正态分布类与几个mnp抽样模型共轭。这允许开发蒙特卡罗采样器和精确的变分方法来执行贝叶斯推断。在本文中,我们适应上述结果的一个流行的特殊情况下:零均值和独立高斯先验下的离散选择mnp模型。这允许获得后验分布的参数的简化表达式和变分算法的另一种推导,其给出了对Fasano和Durante(2022)中的基本结果的新理解以及在我们的特殊设置中的计算优势。
2022-06-01 math.ST stat.CO stat.ME
BOSH: Bayesian Optimization by Sampling Hierarchically
Lancaster University(兰卡斯特大学)
贝叶斯优化(BO)用于具有随机评估的函数的部署,例如通过交叉验证和仿真优化的参数调整,通常优化目标函数的固定噪声实现集合的平均值。然而,以这种方式忽略真正的目标函数会找到错误函数的高精度最优值。为了解决这个问题,我们提出了贝叶斯优化分层采样(BOSH),一种新的BO例程配对的分层高斯过程与信息理论框架,以生成一个不断增长的实现池的优化进展。我们证明了BOSH在综合基准测试、仿真优化、强化学习和超参数调整任务中提供了比标准BO更高效、更高精度的优化。
2020-07-02 cs.LG stat.ML
Gaussian Hierarchical Latent Dirichlet Allocation: Bringing Polysemy Back
Graduate School of Information Science and Technology(信息科学技术研究生院);The University of Tokyo(东京大学)
针对高斯潜在狄利克雷分配无法捕捉一词多义的问题,本文提出高斯分层LDA,通过主题分层结构恢复多义建模能力,并提升主题一致性、预测准确率与表示简约性。
2023-06-07 cs.LG stat.ML
Fast Online Learning with Gaussian Prior-Driven Hierarchical Unimodal Thompson Sampling
本文提出基于高斯先验的分层单峰汤普森采样算法,用于解决具有高斯反馈奖励的聚类多臂老虎机问题,通过分层结构和单峰假设降低遗憾界并验证算法优势。
2026-02-17 cs.LG stat.ML
BITS for GAPS: Bayesian Information-Theoretic Sampling for hierarchical GAussian Process Surrogates
Department of Chemical and Biomolecular Engineering, University of Notre Dame, Notre Dame, IN 46556, USA(化学与生物分子工程系,诺特大学)
提出BITS for GAPS框架,通过贝叶斯层次建模将超参数不确定性传播到采样准则中,实现基于高斯过程代理模型的信息论实验设计,并在汽液平衡案例中验证其提升预测精度和信息增益的效果。
2026-03-23 cs.LG stat.ML
Restricted Collapsed Draw: Accurate Sampling for Hierarchical Chinese Restaurant Process Hidden Markov Models
本文提出了一种限制性的折叠抽取(RCD)抽样器,一种具有限制的分层中餐厅过程(HCRP)同时抽取的一般马尔可夫链蒙特卡罗抽样器。对于需要同时抽取有约束的分层Dirichlet过程的模型,如无限隐马尔可夫模型(iHMM),由于在计算耦合抽取分布时的组合爆炸,难以享受\markerg{the} HCRP的优势。RCD采样器通过构造座位安排(分区)的建议,并通过梅特罗波利斯-黑斯廷斯算法接受该建议,在保持HCRP表示效率的同时,对复杂的抽签组合进行精确采样。在RCD采样器的基础上,我们开发了一系列复杂的iHMM采样算法,包括分块吉布斯抽样、波束采样和分裂合并采样,在实验中,这些算法的性能优于传统的iHMM采样器
2011-06-02 stat.ML
A Latent Variable Approach for Non-Hierarchical Multi-Fidelity Adaptive Sampling
Northwestern University(西北大学)
提出基于潜变量高斯过程的非分层多保真自适应采样框架,利用预后验分析捕捉保真度间相关性,两步采样优化效益成本比,在全局拟合和贝叶斯优化中提升收敛速度与鲁棒性。
2024-01-22 cs.LG stat.ML
Scalable Inference for Bayesian Multinomial Logistic-Normal Dynamic Linear Models
针对贝叶斯 MLN-DLMs 后验状态估计的计算瓶颈,提出结合新型 MAP 算法与关键后验边缘近似的 Fenrir,并配套优化 Stan 基准,实现最高三个数量级加速。
2025-06-08 stat.AP stat.ME stat.ML
Anomaly Detection and Sampling Cost Control via Hierarchical GANs
Syracuse University(雪城大学)
异常检测会产生一定的采样和感测成本,因此在检测精度和这些成本之间取得平衡非常重要。在这项工作中,我们研究了异常检测,考虑在一个随机时间序列的阈值交叉检测,而不知道其统计。为了降低检测过程中的采样成本,我们提出使用分层生成对抗网络(GANs)来执行非均匀采样。为了提高检测精度并减少检测延迟,我们在所提出的基于GAN的检测器的操作中引入了缓冲区。在实验中,我们分析了所提出的分层GAN检测器的性能,考虑检测延迟,未命中率,平均错误成本和采样率的度量。我们确定了性能的折衷,因为缓冲区大小和层次结构中的GAN级别的数量不同。我们还比较了性能的抽样政策,近似最小化的抽样和误差的平均成本的总和给定的随机过程的参数。我们证明了所提出的基于GAN的检测器可以在检测延迟和平均错误成本方面具有显着的性能改进,具有更大的缓冲区,但以增加采样率为代价。
2020-09-28 cs.IT cs.LG math.IT
Measuring the non-asymptotic convergence of sequential Monte Carlo samplers using probabilistic programming
Massachusetts Institute of Technology(麻省理工学院)
近似推理的采样算法的一个关键限制是难以量化其近似误差。广泛使用的采样方案,例如具有恢复和Metropolis-Hastings的顺序重要性采样,产生从可能远离目标后验分布的分布中提取的输出样本。本文介绍了如何上限的对称KL发散之间的输出分布的一个广泛的类序贯蒙特卡罗(SMC)采样器和他们的目标后验分布,受到一个单独的金标准采样器的准确性的假设。所提出的方法适用于采样器,结合多个粒子,多项式rescue,和复兴内核。实验表明,该技术被用来估计的SMC样本的后验推理在贝叶斯线性回归模型和Dirichlet过程的混合模型的分歧的界限。
2017-05-06 cs.AI cs.LG stat.ML
Exact slice sampler for Hierarchical Dirichlet Processes
我们提出了一种用于分层狄利克雷过程(HDP)及其相关混合模型的精确切片采样器(Teh等人,2006年)。虽然有现有的MCMC算法的采样从HDP,切片采样器已失踪的文献。切片采样以其理想的特性而闻名,包括其快速混合和其自然的并行化潜力。另一方面,HDPs的分层性质对采用成熟的切片采样器提出了挑战,该采样器自动截断所有涉及的无限测量而无需特别修改。在这项工作中,我们采用贝叶斯变量增强的强大思想来应对这一挑战。通过引入新的隐变量,我们得到了适合于切片抽样的联合分布的全因子分解。我们的算法有几个吸引人的特点,如(1)快速混合;(2)保持精确,同时允许自然截断的基础无限维措施,如(Kalli等人,2011),导致在每次迭代中仅更新有限数量的必要原子和权重;以及(3)自然地适合于并行实现。全似然联合因子分解的基本原理很简单,可以应用于许多其他设置,例如为一般相关Dirichlet过程(DDP)模型设计采样算法。
2019-03-21 cs.LG stat.CO stat.ML
Learning Topological Representation for Networks via Hierarchical Sampling
Southern University of Science and Technology(南方科技大学)
拓扑信息是研究网络中节点之间关系的基础。近年来,网络表示学习(NRL)将网络投影到低维向量空间中,在分析大规模网络方面显示出其优势。然而,大多数现有的NRL方法被设计为保持网络的局部拓扑结构,它们不能捕获全局拓扑结构。为了解决这个问题,我们提出了一个新的NRL框架,命名为HSRL,以帮助现有的NRL方法捕获的局部和全局的网络拓扑信息。具体来说,HSRL递归压缩输入网络到一系列较小的网络使用社区意识的压缩策略。然后,使用现有的NRL方法来学习每个压缩网络的节点嵌入。最后,通过连接来自所有压缩网络的节点嵌入来获得输入网络的节点嵌入。在五个真实数据集上进行的链接预测的实证研究表明了HSRL相对于现有方法的优势。
2019-02-15 cs.LG cs.SI stat.ML
Poisson Hierarchical Indian Buffet Processes-With Indications for Microbiome Species Sampling Models
Department of ISOM, HKUST(香港科技大学信息科学与工程系);The Graduate School of AI, KAIST(韩国成均馆大学人工智能研究生院)
本文提出泊松分层印度自助餐过程(PHIBP)这一新物种抽样模型,通过组间组内信息共享处理复杂稀疏计数数据,构建易处理贝叶斯非参数框架,为微生物组分析提供灵活多变量计数模型,填补领域空白并具广泛应用价值。
2025-08-25 cs.LG math.PR math.ST
Addressing pitfalls in implicit unobserved confounding synthesis using explicit block hierarchical ancestral sampling
University of Copenhagen(哥本哈根大学);Technical University of Munich(慕尼黑工业大学)
针对隐式未观测混淆合成中的对角占优和双向边限制问题,提出基于块分层祖先生成的显式建模方法,完全覆盖因果模型空间,实现更稳健的因果发现评估。
2025-04-01 cs.LG math.ST stat.ML
Bayesian System Identification based on Hierarchical Sparse Bayesian Learning and Gibbs Sampling with Application to Structural Damage Assessment
本文的重点是贝叶斯系统识别噪声不完整的模态数据的基础上,我们可以在更新结构模型时施加空间稀疏刚度的变化。为此,基于我们以前的工作类似的层次稀疏贝叶斯学习模型,我们提出了两个吉布斯抽样算法。这两种算法处理方程误差精度参数后验不确定性的策略不同,但都是从结构刚度参数和系统模态参数的条件后验概率密度函数(PDF)中采样。吉布斯抽样的有效维数较低,因为迭代采样仅从对应于三个参数组的三个条件后验PDF中完成,同时从其中一个算法中的另一个条件后验PDF中对方程误差精度参数进行采样,其中方程误差精度参数未被整合为“滋扰”参数。从计算的角度来看,一个很好的特点是,它是没有必要解决一个结构模型的非线性特征值问题。所提出的算法的有效性和鲁棒性说明将它们应用到IASE ASCE第二阶段的模拟和实验基准研究。我们的目标是使用不完整的模态数据识别之前和之后可能的损害,以检测和评估空间稀疏的刚度降低引起的任何损害。我们过去和现在的重点是满足所产生的挑战,从贝叶斯推断的结构刚度服务,以加强基于振动的结构系统识别的能力,但我们的方法也有更广泛的适用性,在科学和技术的逆问题,系统矩阵是从噪声的部分信息推断其特征量。
2017-01-13 stat.AP stat.ME stat.ML