Convergence rate of Bayesian tensor estimator: Optimal rate without restricted strong convexity
Tokyo Institute of Technology(东京工业大学)
本文研究了贝叶斯低秩张量估计的统计收敛速度。我们的问题设置是回归问题,其中估计数据的张量结构。这种问题设置在许多实际应用中出现,例如协同过滤、多任务学习和时空数据分析。的收敛速度进行了分析,在样本内和样本外的预测精度。它示出了一个接近最优的速率实现没有任何强凸性的观察。此外,我们表明,该方法具有自适应的真实张量的未知秩,也就是说,接近最优的速度取决于真实的秩,即使它是不知道的先验。
2014-08-13 cs.LG stat.ML
Bayesian Robust Tensor Ring Model for Incomplete Multiway Data
Guangdong University of Technology(广东工业大学);RIKEN(理化学研究所)
鲁棒张量完备化(RTC)的目的是恢复一个低秩张量从其不完整的观察与离群腐败。最近提出的张量环(TR)模型已被证明在解决RTC问题的优越性。然而,现有的方法要么需要预先分配的TR秩,要么积极追求最小TR秩,从而经常导致在存在噪声的情况下有偏的解决方案。本文提出了一种贝叶斯鲁棒张量环分解(BRTR)方法,该方法可以避免对TR秩和惩罚参数的严格选择,从而更精确地求解RTC问题。提出了一种变分贝叶斯算法来推断后验概率分布。在学习过程中,BRTR可以修剪掉具有边缘分量的核心张量切片,从而实现自动TR秩检测。大量的实验表明,BRTR可以实现显着提高性能比其他国家的最先进的方法。
2023-02-15 cs.AI cs.LG stat.ML
Upper Bound of Real Log Canonical Threshold of Tensor Decomposition and its Application to Bayesian Inference
Tokyo Institute of Technology(东京工业大学)
本文针对奇异学习机张量分解数学性质未明的问题,利用代数几何方法推导其实对数规范阈值上界,理论计算贝叶斯泛化误差,并通过数值实验探讨其数学性质。
2023-04-03 cs.LG math.ST stat.ML
Bayesian Low Rank Tensor Ring Model for Image Completion
低秩张量环模型是一种很好的图像补齐方法,它可以恢复数据采集和转换过程中丢失的条目。最近提出的基于张量环(TR)的完备化算法通常通过预先定义秩的交替最小二乘方法来解决低秩优化问题,当未知秩设置得太大且只有少数测量可用时,这可能容易导致过拟合。本文通过自动学习数据的低秩结构,提出了一种贝叶斯低秩张量环模型用于图像补全。提出了一种适用于低秩张量环分解的乘性相互作用模型,通过假设核心因子的项服从Student- T分布,使核心因子具有稀疏性.与现有方法相比,该方法无需参数调整,TR秩可以通过贝叶斯推断得到。数值实验,包括合成数据,不同大小的彩色图像和YaleFace数据集B相对于一个姿势,表明所提出的方法优于国家的最先进的,特别是在恢复精度方面。
2020-06-29 cs.LG cs.MM stat.ML
GPflowOpt: A Bayesian Optimization Library using TensorFlow
介绍了一种新的用于贝叶斯优化的Python框架GPflowOpt。该软件包基于流行的高斯过程GPflow库,利用TensorFlow的优势,包括自动微分、并行化和用于贝叶斯优化的GPU计算。设计目标集中在一个易于扩展自定义采集功能和模型的框架上。该框架经过全面测试和良好的文档记录,并提供可扩展性。目前发布的GPflowOpt版本包括一些标准的单目标采集功能,最先进的最大值熵搜索,以及贝叶斯多目标方法。最后,它允许轻松使用GPflow中实现的自定义建模策略。
2017-11-10 stat.ML
BaTFLED: Bayesian Tensor Factorization Linked to External Data
Koç University(科奇大学)
当前绝大多数的机器学习算法被设计为预测单个响应或响应向量,然而许多类型的响应更自然地被组织为矩阵或高阶张量对象,其中特征跨模式共享。我们提出了一种新的机器学习算法BaTFLED(贝叶斯张量因子分解链接到外部数据),预测值的三维响应张量使用输入功能的每个维度。BaTFLED使用概率贝叶斯框架来学习投影矩阵,将每个模式的输入特征映射到潜在表示中,这些潜在表示相乘以形成响应张量。通过利用Tucker分解,该模型可以在小的核心张量中捕获每个模式的潜在因素之间的相互作用的权重。在投影矩阵和核心张量中鼓励稀疏性的先验允许特征选择和模型正则化。这种方法被证明是远远优于弹性网和神经网络模型的“冷启动”的三模式结构中的模拟数据的任务。此外,我们应用该模型来预测一组用药物化合物处理的乳腺癌细胞系的剂量-反应曲线,该药物化合物被用作逆向工程评估和方法对话(DREAM)挑战。
2016-12-22 cs.LG q-bio.QM stat.ML
Bayesian Tensor Factorisation for Bottom-up Hidden Tree Markov Models
Università di Pisa(比萨大学)
自底向上的【形】隐树马尔可夫模型是一种高表达能力的树结构数据模型。不幸的是,它不能在实践中使用,由于其棘手的大小的状态转移矩阵。我们提出了一个新的近似,这取决于张量的Tucker因子分解。这种近似的概率解释,使我们能够定义一个新的概率模型树结构的数据。因此,我们定义了新的近似模型,我们推导出它的学习算法。然后,我们实证评估的有效功率的新模型评估它在两个不同的任务。在这两种情况下,我们的模型优于文献中已知的其他近似模型。
2019-05-31 cs.LG stat.ML
Bayesian Methods in Tensor Analysis
本文综述了张量补全与回归问题的频率派及贝叶斯方法,重点梳理贝叶斯张量方法的模型构建、先验分配等内容,并探讨该领域未来方向。
2023-06-05 stat.ME
Prediction of multi-dimensional spatial variation data via Bayesian tensor completion
University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文提出了一种多维的计算方法来预测的空间变化数据内部和跨多个芯片的晶圆。该技术基于张量计算。张量是矩阵或向量的高维推广。利用高维数据阵列的低秩特性,可以从少量随机测量样本中预测出大量未知变化的测试数据。张量秩决定了张量表示的复杂性,由可用的变分贝叶斯方法决定。我们的方法是通过一个实际的芯片测试数据集验证,它可以很容易地概括为表征多个晶圆的工艺变化。在处理高维芯片测试数据时,我们的方法在内存和计算成本方面比以前的虚拟探针技术更有效。
2019-01-03 cs.LG math.ST stat.CO
Bayesian Tensor-on-Tensor Regression with Efficient Computation
我们提出了一种贝叶斯张量对张量回归方法来预测一个多维数组(张量)的任意尺寸从另一张量的任意尺寸,建立在塔克分解的回归系数张量。利用Tucker分解的传统张量回归方法要么假设核心张量的维度是已知的,要么通过交叉验证或一些模型选择标准来估计它。然而,没有现有的方法可以同时估计模型维数(核张量的维数)和其他模型参数。为了填补这一空白,我们开发了一个有效的马尔可夫链蒙特卡罗(MCMC)算法来估计模型的维数和参数的后验推理。除了MCMC采样器,我们还开发了一种基于超快速优化的计算算法,其中计算参数的最大后验估计,并通过模拟退火算法优化模型维数。贝叶斯框架为不确定性量化提供了一种自然的方法。通过广泛的模拟研究,我们评估了所提出的贝叶斯张量张量回归模型,并显示其优越的性能相比,替代方法。我们还通过将其应用于两个真实世界的数据集,包括面部成像数据和3D运动数据,证明了它的实际有效性。
2022-10-20 stat.ME
Bayesian Poisson Tensor Factorization for Inferring Multilateral Relations from Sparse Dyadic Event Counts
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Columbia University(哥伦比亚大学);Microsoft Research(微软研究院)
我们提出了一个贝叶斯张量分解模型,用于从动态成对交互模式推断潜在组结构。几十年来,政治学家收集和分析了“国家$i$在时间$t$对国家$j$采取行动$a$“的记录-被称为二元事件-以形成和检验国际关系理论。我们将这些事件数据表示为计数张量,并开发贝叶斯泊松张量因子分解来推断其显着模式的低维,可解释的表示。我们证明了我们的模型的预测性能优于标准的非负张量因子分解方法。我们还提供了一个比较我们的变分更新,他们的极大似然同行。在这样做时,我们确定了一个更好的方式来形成点估计的潜在因素比通常使用的贝叶斯泊松矩阵分解。最后,我们展示了我们的模型作为政治科学家的探索性分析工具。我们发现,推断的潜在因素矩阵捕捉可解释的多边关系,既符合我们的知识,并告知国际事务。
2015-06-10 cs.AI cs.LG cs.SI
Interpretable Bayesian Tensor Network Kernel Machines with Automatic Rank and Feature Selection
Delft Center for Systems and Control(德雷夫特系统与控制中心);Delft University of Technology(德雷夫特理工大学)
提出贝叶斯张量网络核机框架,通过诱导稀疏的分层先验自动推断张量秩和特征维度,在无额外计算成本下实现不确定性量化与特征选择,提升模型可解释性。
2025-07-15 cs.LG stat.ML
Bayesian Kernelized Tensor Factorization as Surrogate for Bayesian Optimization
McGill University(麦吉尔大学)
本文提出用贝叶斯核化张量分解(BKTF)作为贝叶斯优化的新代理模型,通过低秩张量 CP 分解和 GP 先验实现跨维度信息共享,在样本和预算受限时对复杂函数提供灵活高效的不确定性量化建模。
2023-05-26 cs.LG stat.ML
Rank regularization and Bayesian inference for tensor completion and extrapolation
University of Minnesota(明尼苏达大学)
本文提出了一种新的正则化的PARAFAC分解因子捕获张量的秩,作为完成的三路数据阵列的缺失条目的关键使能器。在贝叶斯框架中,张量完成方法结合了先验信息,以增强其平滑和预测能力。这种概率方法可以自然地适应数据分布的一般模型,从而适应各种拟合标准,从而在最大后验意义上产生最佳估计。特别是,两个算法的高斯分布和泊松分布的数据,最小化秩正则化最小二乘误差和Kullback-Leibler发散,分别设计。所提出的技术是能够恢复“地面实况”的张量秩测试时,合成数据,并完成脑成像和酵母基因表达数据集分别与50%和15%的缺失条目,导致在-10 dB和-15 dB的恢复误差。
2013-01-31 cs.IT cs.LG math.IT
Compressed Bayesian Tensor Regression
University of Toronto(多伦多大学)
针对张量回归中的高维问题,提出广义张量随机投影方法将高维协变量嵌入低维子空间,结合贝叶斯推理框架和低秩参数表示,实现高效预测与计算成本降低。
2026-06-11 stat.CO stat.ME
Scalable Bayesian Tensor Ring Factorization for Multiway Data Analysis
Tokyo University of Agriculture and Technology(东京农工大学);RIKEN AIP(理化学研究所人工智能项目)
针对现有贝叶斯张量环(BTR)分解方法存在的次优解、仅适用于连续数据及难以处理大型张量等问题,提出采用非参数乘法伽马过程(MGP)先验、波利亚-伽马增强及高效吉布斯采样器与在线EM算法的新BTR模型,提升潜在结构识别准确性、离散数据处理能力及大规模张量适用性。
2024-12-04 cs.LG stat.ML
Towards Compact Neural Networks via End-to-End Training: A Bayesian Tensor Approach with Automatic Rank Determination
University of California Santa Barbara(加州大学圣巴巴拉分校);Department of Mathematics, University of California Santa Barbara(加州大学圣巴巴拉分校数学系);Department of Electrical and Computer Engineering, University of California Santa Barbara(加州大学圣巴巴拉分校电气与计算机工程系);Facebook AI Systems Hardware/Software Co-design(Facebook人工智能系统硬件/软件协同设计)
虽然后训练模型压缩可以大大降低深度神经网络的推理成本,但未压缩的训练仍然会消耗大量的硬件资源、运行时间和能量。非常希望以低存储器和低计算成本从头开始直接训练紧凑的神经网络。低秩张量分解是降低大规模神经网络存储和计算需求的有效方法之一。然而,直接训练一个低秩张量化神经网络是一个非常具有挑战性的任务,因为很难确定一个合适的张量秩{ \it a priori},它控制着训练过程中模型的复杂度和压缩比。本文提出了一种新的端到端的框架低秩张量训练的神经网络。我们首先开发了一个灵活的贝叶斯模型,可以处理各种低秩张量格式(例如,CP、Tucker、张量训练和张量-训练矩阵),其在训练中压缩神经网络参数。该模型可以自动确定非线性正演模型中张量的秩,这是现有贝叶斯张量方法无法实现的。我们进一步开发了一个可扩展的随机变分推理求解器来估计训练中大规模问题的后验密度。我们的工作为端到端张量化训练提供了第一个通用的秩自适应框架。我们对各种神经网络架构的数值结果表明,在训练过程中,参数的数量级减少和精度损失很小(甚至更好的精度)。具体来说,在具有超过$4.2\times 10^9$模型参数的非常大的深度学习推荐系统上,我们的方法可以在训练过程中自动将变量减少到只有$1.6\times 10^5$(即,$2.6\times 10^4$倍),同时达到几乎相同的精度。
2021-10-01 cs.LG stat.ML
Combinatorial Bandit Bayesian Optimization for Tensor Outputs
Department of Industrial Engineering, Tsinghua University, Beijing 100084, China(清华大学工业工程系);College of Economics and Management, Nanjing University of Aeronautics and Astronautics, Nanjing 211106, China(南京航空航天大学经济管理学院)
本文提出了一种针对张量输出的组合带状贝叶斯优化方法,通过引入张量输出高斯过程和UCB获取函数,有效处理部分观测的张量输出问题,并建立了理论遗憾界。
2026-03-02 cs.LG
Incremental Bayesian tensor learning for structural monitoring data imputation and response forecasting
Northeastern University(东北大学);McGill University(麦吉尔大学);MIT(麻省理工学院)
由于传感器故障引起的传感不连续性,缺失传感器数据填补在结构健康监测(SHM)领域中普遍存在。为了解决这个基本问题,本文提出了一种增量贝叶斯张量学习方法,用于SHM中时空缺失数据的重建和结构响应的预测。特别是,首先构建时空张量,然后进行贝叶斯张量因子分解,提取潜在的功能缺失数据填补。为了使结构响应预测的基础上不完整的传感数据,张量分解进一步集成与向量自回归增量学习计划。所提出的方法的性能进行了验证连续的现场传感数据(包括应变和温度记录)的混凝土桥梁,应变时间历程是高度相关的温度记录的假设的基础上。结果表明,所提出的概率张量学习方法是准确的和强大的,即使在存在较大的随机缺失率,结构化缺失和它们的组合。秩的选择的插补和预测性能的影响进行了研究。结果表明,对于随机缺失,秩越高,估计精度越高;对于结构性缺失,秩越低,估计精度越高。
2020-07-17 cs.LG cs.NA math.NA
Bayesian Tensor Regression
本文提出了一种贝叶斯回归方法,对向量和张量协变量进行标量响应。张量协变量通常在分析之前被向量化,未能利用张量的结构,导致估计和预测性能差。本文提出了一类新的多元收缩先验,用于张量回归模型的系数。性质进行了描述,包括后验一致性在温和的条件下,和一个有效的马尔可夫链蒙特卡罗算法的后验计算。模拟研究表明,在估计和参数推断方面,向量化或使用现有的张量回归方法有很大的收益。该方法在神经成像应用中进一步说明。保留字:降维;多路收缩优先;磁共振成像; parafac分解;后验一致性;张量回归
2015-09-22 stat.ME
Tuning Free Rank-Sparse Bayesian Matrix and Tensor Completion with Global-Local Priors
矩阵和张量补全是一系列问题的框架,包括协同过滤、缺失数据和图像重建。通过利用矩阵或张量是低秩的假设来估计缺失的条目。大多数现有的贝叶斯技术鼓励秩稀疏建模因子分解矩阵和张量与正常伽玛先验。然而,马蹄事先和其他“全球本地”配方提供调谐参数的解决方案,可以更好地实现同时秩稀疏和丢失值的恢复。我们发现这些全球本地先验优于常用的替代品在模拟和协同过滤任务预测棋盘游戏评级。
2019-05-27 stat.ME
Bayesian Tensor Network with Polynomial Complexity for Probabilistic Machine Learning
Capital Normal University(首都师范大学)
众所周知,描述或计算多个事件的条件概率是指数级昂贵的。在这项工作中,贝叶斯张量网络(BTN)提出了有效地捕捉多个事件的多项式复杂性的条件概率。BTN是形成TN的子集的有向非循环图模型。为了证明其有效性指数多事件,BTN实现的图像识别,其中的分类映射到捕捉条件概率在指数大的样本空间。具有简单的树形网络结构的BTN实现了具有竞争力的性能。类似于量子系统的张量网络模拟,简单树BTN的有效性意味着图像识别问题中波动的“面积定律”。
2020-01-07 cond-mat.str-el cs.LG math.ST
Bayesian tensor regression using the Tucker decomposition for sparse spatial modeling
使用多维数组或张量建模通常会由于高维性而出现问题。此外,这些结构通常表现出固有的稀疏性,需要使用正则化方法来正确表征张量协变量和标量响应之间的关联。我们提出了一种贝叶斯方法,使用Tucker张量分解有效地对具有张量协变量的标量响应进行建模,以保留张量系数内的空间关系,同时减少模型内变化的参数数量并应用正则化方法。模拟数据进行了分析,比较最近提出的方法的模型。一个神经影像学分析使用的数据从阿尔茨海默氏症的数据神经影像学倡议包括说明的好处,模型结构进行推理。
2022-10-07 stat.ME
Bayesian Additive Main Effects and Multiplicative Interaction Models using Tensor Regression for Multi-environmental Trials
Hamilton Institute, Department of Mathematics(哈里顿研究所,数学系);Statistics, Maynooth University, Ireland(统计学,梅诺特大学,爱尔兰);School of Mathematics(数学学院);Statistics, Insight Centre for Data Analytics, University College Dublin, Ireland(统计学,洞察数据分析师中心,都柏林大学学院,爱尔兰)
提出一种贝叶斯张量回归模型解决多环境试验中的表型预测问题,通过引入spike-and-slab结构识别关键交互作用,并在模拟和爱尔兰小麦数据中验证了其优越性。
2025-11-02 cs.LG stat.ML
Variational Auto-encoder Based Bayesian Poisson Tensor Factorization for Sparse and Imbalanced Count Data
Monash University(莫纳什大学);Beijing Shandesitong Technology(北京山德斯通科技);Deakin University(迪肯大学)
非负张量因子分解模型能够对计数数据进行预测分析。其中,贝叶斯Poisson-Gamma模型可以推导出潜在因素的完整后验分布,并且对稀疏计数数据不太敏感。然而,目前的推理方法,这些贝叶斯模型采用限制更新规则的后验参数。它们也无法共享更新信息以更好地应对数据稀疏性。此外,这些模型没有被赋予处理计数数据值中的不平衡的组件。在本文中,我们提出了一种新的变分自动编码器框架称为VAE-BPTF,解决了上述问题。它使用多层感知器网络来编码和共享复杂的更新信息。然后对每个数据实例重新加权编码信息,以在聚合以计算潜在因素的后验参数之前惩罚公共数据值。在合成数据评估下,VAE-BPTF倾向于恢复正确数量的潜在因子和后验参数值。它在五个真实世界数据集的重建错误和潜在因素(语义)一致性方面也优于当前模型。此外,VAE-BPTF推断的潜在因素被认为是有意义的和一致的定性分析。
2020-12-14 cs.LG stat.ML
Bayesian Dynamic Tensor Regression
张量值数据在经济学中变得越来越可用,这需要合适的计量经济学工具。我们提出了一个新的动态线性模型张量值的响应变量和协变量,包括一些著名的计量经济模型作为特殊情况。我们的贡献是多方面的。首先,我们定义了一个张量自回归过程(ART),研究了它的性质,并导出了相应的脉冲响应函数。其次,我们利用PARAFAC低秩分解提供了一个简约的参数化,并将稀疏效应。我们还有助于张量的推理方法,通过开发一个贝叶斯框架,允许包括额外的样本信息和引入收缩效应。我们将ART模型应用于国际贸易和资本存量的时变多层网络,并研究了冲击在各国之间、随着时间的推移以及各层之间的传播。
2019-07-03 stat.ME
Bayesian Markov Switching Tensor Regression for Time-varying Networks
提出了一种新的二值时间序列多维数组(张量)贝叶斯马尔可夫切换回归模型。我们假设一个零膨胀logit回归与时变参数,并将其应用到多层时间网络。原来的贡献是三重的。首先,为了避免过度拟合,我们提出了一个简约的参数化的基础上的低秩分解的张量的回归系数。其次,我们假设参数是由一个隐藏的马尔可夫链,从而允许在网络拓扑结构的变化。我们遵循贝叶斯推理方法,并提供了一个有效的吉布斯采样后验近似。我们将该方法应用于一个真实的金融网络数据集,研究了几个风险因素对边缘概率的影响。本文的补充材料可在网上查阅。
2019-07-03 stat.ME
Scalable Spatiotemporally Varying Coefficient Modelling with Bayesian Kernelized Tensor Regression
McGill University(麦吉尔大学)
针对时空变系数模型计算成本高难以大规模应用的问题,提出贝叶斯核化张量回归框架,结合低秩张量分解与高斯过程先验,搭配高效MCMC算法,在合成和真实数据上实现了更优的模型估计性能与效率。
2024-04-13 cs.LG stat.ML
Functional Bayesian Tucker Decomposition for Continuous-indexed Tensor Data
University of Utah(犹他大学)
针对连续索引张量数据,提出函数贝叶斯 Tucker 分解(FunBaT),用高斯过程建模潜在函数并转化为状态空间先验,结合高效消息传递推理,在合成和真实数据上验证了有效性。
2024-03-19 cs.LG stat.ML
Bayesian factorizations of big sparse tensors
收集以多路数组(张量)结构化的数据已成为常规。关于低秩和稀疏矩阵分解有大量的文献,但对统计学中张量情况的扩展的考虑有限。最常见的低秩张量因式分解依赖于并行因子分析(PARAFAC),其将秩$k$张量表示为秩1张量的和。当观测值只对一个大张量的一小部分细胞可用时,低秩假设是不够的,PARAFAC的性能很差。我们诱导一个额外的层的降维,允许有效的排名不同的维度表。为了具体起见,我们重点介绍列联表应用程序。以贝叶斯方法,我们把先验的因式分解的条款,并开发一个有效的吉布斯采样后验计算。理论提供显示后浓度率在高维设置,和方法被证明具有良好的性能,在模拟和几个真实的数据应用。
2013-06-07 stat.ME
Constructing structured tensor priors for Bayesian inverse problems
Delft University of Technology(代尔夫特理工大学)
本文为贝叶斯逆问题构建结构化张量先验,通过定义(A,b)约束张量并刻画其高斯分布,解锁了一类新先验,在矩阵补全和图像分类中验证了有效性。
2024-06-25 cs.LG cs.NA cs.SY
Variational Bayesian Logistic Tensor Regression with Application to Image Recognition
本文提出一种变分贝叶斯逻辑张量回归方法,通过张量分解和多向收缩先验处理图像张量预测变量及系数稀疏性,并在模拟与真实图像数据上验证了分类性能。
2025-05-09 stat.ME
Joint Bayesian Parameter and Model Order Estimation for Low-Rank Probability Mass Tensors
Communications Research Laboratory, Ilmenau University of Technology(伊门瑙技术大学通讯研究实验室);School of Electrical and Computer Engineering, Tel Aviv University(特拉维夫大学电气与计算机工程学院)
本文针对从观测数据估计联合PMF张量低秩分量及推断其秩的问题,提出贝叶斯框架,指定模型并采用先验分布,基于变分推断得出确定性解,经实验验证该方法在多方面具有优势。
2026-07-10 cs.LG eess.SP stat.ML
Bayesian Tensor Regression for Neuroimaging Data
Sanford Health(桑福德健康);St. Edward’s University(圣爱德华大学);Virginia Commonwealth University(弗吉尼亚联邦大学);Bowling Green State University(鲍灵格林州立大学)
针对神经影像张量响应数据,提出贝叶斯张量包络回归模型,通过识别物质子空间实现降维,结合Gibbs采样算法,提升估计精度并应用于酒精使用与脑活动关联研究。
2026-09-24 stat.CO stat.ME
Bayesian Sparse Tucker Models for Dimension Reduction and Tensor Completion
RIKEN Brain Science Institute(理化学研究所脑科学研究所);Shanghai Jiao Tong University(上海交通大学)
本文提出一种概率生成Tucker模型,通过结构稀疏性在多线性潜在空间中实现张量降维与补全,自动适应模型复杂度并提升泛化性能。
2015-05-10 cs.LG cs.NA math.NA
Bayesian Nonlinear Tensor Regression with Functional Fused Elastic Net Prior
本文提出非线性贝叶斯张量加性回归模型,并设计函数融合弹性网先验,以同时建模非线性与空间平滑性、检测边界跳跃并识别活跃区域,模拟和人脸数据验证了其灵活性与可解释性。
2023-02-16 stat.ME
Bayesian Additive Adaptive Basis Tensor Product Models for Modeling High Dimensional Surfaces: An application to high-throughput toxicity testing
许多现代数据集都是从复杂的高维表面采样的。诸如张量积样条或高斯过程之类的方法有效/非常适合于表征二维或三维的表面,但在表示更高维的表面时可能会遇到困难。受高通量毒性测试的启发,其中观察到的剂量-响应曲线是由化学品的结构特性定义的表面的横截面,开发了一种模型来表征该表面以预测未经测试的化学品的剂量-响应。这篇手稿提出了一种新的方法,将多维表面建模为学习的基函数的总和,这些基函数形成为低维函数的张量积,这些函数本身可以通过从数据中学习的基扩展来表示。描述了该模型,提出了一种吉布斯抽样算法,并在模拟研究以及从美国环保局的ToxCast高通量毒性测试平台的数据进行了研究。
2017-06-15 stat.ML
Bayesian Tensor-on-Tensor Varying Coefficient Model for Forecasting Alzheimer's Disease Progression
The University of Texas Health Science Center(德克萨斯大学健康科学中心);Rice University(莱斯大学);The University of Texas MD Anderson Cancer Center(德克萨斯大学安德森癌症中心)
本文提出一种新的张量-张量建模框架,利用高斯过程先验灵活建模非线性体素级关系,结合低秩张量系数捕捉空间结构,通过斑块到体素映射实现空间异质性,提升预测准确性与可解释性。
2026-04-09 stat.ME
Bayesian tensor factorization for predicting clinical outcomes using integrated human genetics evidence
Global Blood Therapeutics(Global Blood Therapeutics(全球血液治疗公司))
候选药物的批准成功率非常低,大多数失败是由于安全性和有效性。越来越多的关于靶点、药物分子和适应症的高维信息为ML方法提供了整合多种数据模式并更好地预测临床上有前景的药物靶点的机会。值得注意的是,具有人类遗传学证据的药物靶点被证明有更好的成功几率。然而,最近的一种基于张量因子分解的方法发现,关于目标和适应症的额外信息可能不一定会提高预测准确性。在这里,我们通过整合从公开来源整理的不同类型的人类遗传学证据来重新审视这种方法,以支持每个目标-适应症对。我们使用贝叶斯张量因子分解来表明,与使用单线遗传学证据的模型相比,结合所有可用的人类遗传学证据(罕见疾病,基因负担,常见疾病)的模型适度改善了临床结果预测。我们对不同类型的人类遗传学证据的相对预测能力提供了额外的见解,以预测临床结果的成功。
2022-07-25 cs.LG q-bio.GN stat.AP
Bayesian Adaptive Tucker Decompositions for Tensor Factorization
针对Tucker张量分解需预先选定潜在多秩的问题,提出带无限递增收缩先验的贝叶斯自适应模型,通过自适应Gibbs采样推断,支持多类型数据与缺失值插补,经仿真和实际数据验证优于现有方法。
2025-05-16 stat.ME
BAMITA: Bayesian Multiple Imputation for Tensor Arrays
针对生物医学领域张量数据缺失且现有插补方法仅能点估计、无法捕捉不确定性的问题,提出基于贝叶斯CP分解的BAMITA多重插补方法,兼具插补精度与不确定性校准效果,已在微生物组研究中验证有效性并开源R代码。
2024-10-30 q-bio.QM stat.ME stat.ML
Deep Bayesian Supervised Learning given Hypercuboidally-shaped, Discontinuous Data, using Compound Tensor-Variate & Scalar-Variate Gaussian Processes
我们进行贝叶斯学习系统参数向量和可观察之间的高维函数关系,即在一般张量值。最终的目标是贝叶斯逆预测的系统参数,在测试数据被记录。我们尝试这样的学习给定的超立方体形状的数据,显示强烈的不连续性,渲染学习具有挑战性。我们使用张量变量高斯过程(GP)对所寻求的高维函数进行建模,并使用三种独立的方法来学习所得似然的协方差阵,这是张量正态的。我们证明了不连续的数据要求实现协方差内核是非平稳的-通过建模每个内核超参数,作为调用的张量变量GP的样本函数的函数来实现。每个这样的函数可以被证明是时间上不断演变的,并被视为一个不同的标量变量GP的实现,通过整理来自所选样本大小的历史样本集的信息来自适应地描述协方差。我们证明了使用2个“层”的深度学习是足够的,其中外层包括张量变量GP,与“内层”中的多个标量变量GP复合,并使用Metropolis-within-Gibbs进行推理。我们将我们的方法应用于一个长方体形状的,不连续的,真实的数据集,然后执行前向预测,从我们的模型中生成数据,给出我们的结果-执行模型检查。
2018-04-16 stat.CO stat.ME
A canonical polyadic tensor basis for fast Bayesian estimation of multi-subject fMRI activation patterns
本研究提出一种基于CP张量分解的快速贝叶斯标量函数模型,通过张量基降维实现群体fMRI激活图的快速MCMC估计,应用于HCP数据集100名被试后揭示了工作记忆相关的脑特征。
2024-05-20 stat.AP stat.CO
A Bayesian Sparse Kronecker Product Decomposition Framework for Tensor Predictors with Mixed-Type Responses
针对超高维张量预测变量下混合类型响应建模难题,提出贝叶斯稀疏克罗内克积分解框架,结合收缩先验与数据增广实现高效计算,证明后验性质,在模拟和真实影像数据上表现优于现有方法。
2025-05-20 stat.ME
Tensor cross interpolation for global discrete optimization with application to Bayesian network inference
本文提出利用张量交叉近似寻找似然函数全局最大值,以解决全局离散优化问题,并通过网络流行病观测准确推断接触网络。
2025-02-18 cs.NA math.NA math.PR
Bayesian Poisson-Randomized Gamma Tensor Factorization with Application to International Trade Flows
Data Science Institute, The University of Chicago(芝加哥大学数据科学研究所);Department of Statistics, The University of Chicago(芝加哥大学统计学系)
提出贝叶斯分层张量分解模型,结合低秩CP结构和条件伽马模型,处理稀疏半连续张量数据,并通过混合变分-蒙特卡洛算法实现大规模后验推断,应用于国际贸易流分析。
2026-06-17 cs.NA econ.EM math.NA
Optimizing High-Dimensional Physics Simulations via Composite Bayesian Optimization
New York University(纽约大学);Facebook
基于物理模拟的优化是科学和工程领域的一项常见任务。许多这样的模拟产生基于图像或张量的输出,其中期望的目标是这些输出的函数,并且在高维参数空间上执行优化。我们开发了一种贝叶斯优化方法,利用基于张量的高斯过程代理和信赖域贝叶斯优化来有效地模拟图像输出,并有效地优化这些类型的模拟,包括射频塔配置问题和光学设计问题。
2021-11-29 cs.AI cs.LG
Bayesian Conditional Tensor Factorizations for High-Dimensional Classification
在许多应用领域中,收集分类响应和高维分类预测因子的数据,目标是在对重要预测因子进行推断的同时构建用于分类的简约模型。在基因组学等环境中,预测因子之间可能存在复杂的相互作用。通过使用一个精心构造的塔克分解,我们定义了一个模型,可以描述任何条件概率,同时促进变量的选择和建模的高阶相互作用。贝叶斯方法之后,我们提出了一个马尔可夫链蒙特卡罗算法的后验计算容纳不确定性的预测要包括在内。在近稀疏假设下,后验分布的条件概率实现接近参数率的收缩,即使在超高维设置。使用模拟的例子和生物医学应用程序的方法进行说明。
2013-01-21 stat.ME
Bayesian Tensor Modeling for Image-based Classification of Alzheimer's Disease
针对现有贝叶斯张量分类方法不足、图像向量化丢失空间结构的问题,提出两种基于数据增强的贝叶斯张量分类方案,搭配高效MCMC算法,在模拟和阿尔茨海默病MRI数据分类任务中准确率均优于传统方法。
2023-12-14 stat.ME
Bayesian Covariance Modelling of Large Tensor-Variate Data Sets $\&$ Inverse Non-parametric Learning of the Unknown Model Parameter Vector
我们提出了一种方法,张量变量数据的协方差结构建模,与使用这样的数据学习一个未知的模型参数向量的别有用心。我们将高维可观测值表示为这个所寻求的模型参数向量的函数,并试图通过将其建模为张量变量高斯过程(GP)的实现来学习给定训练数据的高维函数。给定训练数据的未知数的可能性是张量正态的。我们选择未知GP参数(平均张量协方差阵)的模糊先验,并写出给定数据的这些未知数的后验概率密度。我们使用Random-Walk Metropolis-Hastings进行后验抽样。之后,我们学习上述未知的模型参数向量,通过执行后验采样在两种不同的方式,给定的测试和训练数据,使用MCMC,以产生95个$\%$ HPD可信区域上的每个未知。我们将此方法应用于太阳在银河系盘中的位置的学习。
2015-12-17 stat.AP
CoMET: A Compressed Bayesian Mixed-Effects Model for High-Dimensional Tensors
The University of Iowa(爱荷华大学);University of Florida(佛罗里达大学)
CoMET是一种用于高维张量数据的压缩贝叶斯混合效应模型,通过结构化随机投影和低秩分解实现高效计算与预测。
2026-02-22 stat.ME
Zero-Truncated Poisson Tensor Factorization for Massive Binary Tensors
Duke University(杜克大学)
我们提出了一个可扩展的贝叶斯模型的低秩分解的大规模张量与二进制观测。所提出的模型具有以下关键性质:(1)与基于逻辑或概率单位似然的模型相比,使用二进制数据的零截断泊松似然允许我们的模型在张量中的\emph{ones}的数量上按比例增加,这对于大规模但稀疏的二进制张量特别有吸引力;(2)以二进制成对关系形式的边信息(例如,邻接网络),这在“冷启动”设置中特别有用;以及(3)该模型允许通过批处理以及\emph{online} MCMC进行简单的贝叶斯推断;后者允许甚至对\emph{dense}二进制数据按比例放大(即,当张量/网络中的1的数量也很大时)。此外,我们模型中的非负因子矩阵提供了易于解释的能力,并且可以从数据中推断出张量秩。我们在几个大规模的真实世界的二进制张量上评估了我们的模型,实现了出色的计算可扩展性,并且还证明了它在利用以模式网络形式提供的边信息方面的有用性。
2015-08-18 cs.LG stat.ML
Bayesian Adaptive Tensor Smoothing for Multiway Demographic Counts
International Institute for Applied Systems Analysis (IIASA)(国际应用系统分析研究所)
本文提出了一种贝叶斯矩阵分解模型,用于跨年龄和时间的人口分析,通过低维因素分解实现对复杂人口过程的准确建模与预测。
2026-10-16 stat.AP stat.ME
A Spatial Bayesian Semiparametric Mixture Model for Positive Definite Matrices with Applications to Diffusion Tensor Imaging
扩散张量成像(DTI)是一种流行的磁共振成像技术,用于表征大脑中的微观结构变化。DTI研究使用估计的3x3对称正定扩散张量矩阵量化体素中水分子的扩散。DTI数据的统计分析具有挑战性,因为数据是正定矩阵。矩阵变量信息通常由单变量(例如分数各向异性(FA))概括,导致信息丢失。此外,DTI分析通常忽略相邻体素的空间关联,这可能导致不精确的估计。虽然空间建模的文献是丰富的,建模空间依赖正定矩阵是具有挑战性的。为了缓解这些问题,我们提出了一个矩阵变量贝叶斯半参数混合模型,其中正定矩阵分布为逆Wishart分布的混合物,混合物成分标签的马尔可夫模型捕获的空间依赖性。共轭和双梅特罗波利斯-黑斯廷斯算法导致快速和优雅的贝叶斯计算。我们的仿真研究表明,所提出的方法是更强大的比非空间的方法。我们还应用所提出的方法来研究可卡因使用对大脑结构的影响。我们的工作的贡献是提供了一个新的统计推断工具的DTI分析扩展空间统计学的矩阵变量数据。
2019-03-18 stat.AP stat.ME