Supervised Contrastive Learning with Tree-Structured Parzen Estimator Bayesian Optimization for Imbalanced Tabular Data
Zhejiang University(浙江大学);Zhejiang University - University of Illinois at Urbana-Champaign Institute(浙江大学伊利诺伊大学厄巴纳香槟校区联合学院)
类不平衡对大多数监督学习算法的预测性能有不利影响,因为不平衡的分布可能导致偏好多数类的偏差。为了解决这个问题,我们提出了一个监督对比学习(SCL)方法与树结构的Parzen估计(TPE)技术的不平衡表数据集。对比学习(CL)可以提取隐藏在数据中的信息,即使没有标签,并已显示出一些潜在的不平衡学习任务。SCL进一步考虑了基于CL的标签信息,这也解决了表格数据的不足数据增强技术。因此,在这项工作中,我们建议使用SCL来学习不平衡表格数据的判别表示。此外,SCL的超参数温度对性能具有决定性影响,并且难以调节。我们引入TPE,一个著名的贝叶斯优化技术,自动选择最佳温度。在二值和多类不平衡表格数据集上进行了实验。结果表明,TPE优于其他三种超参数优化(HPO)方法,如网格搜索,随机搜索和遗传算法。更重要的是,所提出的SCL-TPE方法实现了大大改善的性能相比,国家的最先进的方法。
2022-10-26 cs.LG
Supervised Dictionary Learning by a Variational Bayesian Group Sparse Nonnegative Matrix Factorization
Rudjer Boskovic Institute(鲁杰尔·博什科维奇研究所)
非负矩阵分解(NMF)与组稀疏约束的概率图形模型,并制定,假设一些观察数据已产生的模型,一个可行的变分贝叶斯算法的学习模型参数。当在监督学习场景中使用时,NMF最常用作无监督特征提取器,然后在所获得的特征子空间中进行分类。在将类标签映射到更一般的组概念(其是系数的稀疏性的基础)之后,所提出的组稀疏NMF模型允许的是将类标签信息并入以找到低维标签驱动的字典,其不仅旨在忠实地表示数据,而且还适合于类判别。在面部识别和面部表情识别领域进行的实验表明,在这种标签驱动的特征子空间中进行分类比在无监督方式下获得的特征子空间中进行分类具有优势。
2014-05-27 cs.CV cs.LG stat.ML
Occam's Razor for Self Supervised Learning: What is Sufficient to Learn Good Representations?
FAIR, META(元公司FAIR研究院);Cold Spring Harbor Laboratory(冷泉港实验室);Brown University(布朗大学)
本文发现对于中小规模预训练数据集,自监督学习中的投影网络、正视图、师生网络等额外设计并未提升表示质量,表明SSL的训练敏感性问题源于设计本身而非缺乏监督,从而简化了SSL部署并为现有理论研究提供支持。
2024-06-15 cs.AI cs.LG
Anonymous Jamming Detection in 5G with Bayesian Network Model Based Inference Analysis
Stevens Institute of Technology(史蒂文斯理工学院);Virginia Tech(弗吉尼亚理工大学);Old Dominion University(欧道明大学);Deloitte & Touche LLP(德勤有限责任合伙)
本文提出一种基于协议栈信号参数的5G匿名干扰检测模型,结合监督与无监督学习实现高精度实时检测,并引入贝叶斯网络因果分析以增强透明性和领域知识注入。
2023-11-28 cs.AI cs.CR cs.LG
Bayesian Topic Regression for Causal Inference
University of Oxford(牛津大学);Amazon(亚马逊)
利用观察性文本数据进行因果推断在许多研究领域正变得越来越流行。本文提出了贝叶斯主题回归(BTR)模型,使用文本和数值信息来建模的结果变量。它允许估计离散和连续处理效应。此外,它允许在文本数据旁边包含额外的数字混淆因素。为此,我们将监督贝叶斯主题模型与贝叶斯回归框架相结合,并结合回归参数训练对文本特征进行监督表示学习,尊重Frisch-Waugh-Lovell定理。我们的论文有两个主要贡献。首先,我们提供了一个回归框架,允许因果推断的设置时,文本和数值的混淆是相关的。我们用合成和半合成数据集表明,当文本和数字特征相关时,我们的联合方法比任何基准模型都能以更低的偏差恢复地面实况。其次,在两个真实世界数据集上的实验表明,与分别估计文本和非文本特征的回归权重的策略相比,联合和监督学习策略也可以产生更好的预测结果,甚至可以与更复杂的深度神经网络竞争。
2021-09-11 cs.CL cs.LG stat.ML
MVEB: Self-Supervised Learning with Multi-View Entropy Bottleneck
Southwestern University of Finance and Economics(西南财经大学);Hong Kong University of Science and Technology(香港科技大学);Shenzhen Institute of Advanced Technology(深圳先进技术研究院);Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳));Pengcheng Laboratory(鹏城实验室)
本文提出多视图熵瓶颈(MVEB)方法,通过同时最大化两视图嵌入一致性与嵌入分布微分熵来学习最小充分表示,在ImageNet上以ResNet-50取得76.9%的top-1准确率,刷新了该骨干网络的自监督学习最优结果。
2024-03-28 cs.AI cs.CV
A Bayesian Perspective of Convolutional Neural Networks through a Deconvolutional Generative Model
Rice University(莱斯大学);University of California at Berkeley(加州大学伯克利分校);Baylor College of Medicine(贝勒医学院);California Institute of Technology(加州理工学院);NVIDIA(英伟达)
受卷积神经网络(CNN)在图像监督预测方面的成功启发,我们设计了解卷积生成模型(DGM),这是一种新的概率生成模型,其推理计算对应于给定CNN架构中的推理计算。DGM使用CNN来设计概率模型中的先验分布。此外,DGM生成从粗到细尺度的图像。它在每个尺度上引入了一小组潜变量,并通过共轭先验分布来加强所有潜变量之间的依赖关系。这种共轭先验产生了一个新的正则化器,该正则化器基于生成模型中渲染的路径来训练CNN-渲染路径归一化(RPN)。我们证明,这个正则化提高泛化,在理论和实践中。此外,DGM中的似然估计会产生CNN的训练损失,受此启发,我们设计了一种称为Max-Min交叉熵的新损失,它优于传统的交叉熵损失。Max-Min交叉熵提出了一种新的深度网络架构,即Max-Min网络,它可以从较少的标记数据中学习,同时保持良好的预测性能。我们的实验表明,DGM与RPN和Max-Min架构超过或匹配的最先进的基准,包括SVHN,CIFAR 10,和CIFAR 100的半监督和监督学习任务。
2019-12-09 cs.AI cs.CV cs.LG
Sufficient Dimension Reduction for High-Dimensional Regression and Low-Dimensional Embedding: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一个教程和调查文件的各种方法充分降维(SDR)。我们涵盖了这些方法与统计高维回归的角度和机器学习的降维方法。我们首先介绍逆回归方法,包括切片逆回归(SIR),切片平均方差估计(SAVE),轮廓回归,方向回归,主拟合分量(PFC),Likestive Acquired Direction(LAD)和图形回归。然后,我们介绍了前向回归方法,包括主Hessian方向(pHd),最小平均方差估计(MAVE),条件方差估计(CVE)和深度SDR方法。最后,我们解释了核降维(KDR)的监督和无监督学习。我们还证明了监督KDR和监督PCA是等价的。
2021-10-18 cs.LG math.ST stat.ME
Asymptotic Bayes risk of semi-supervised multitask learning on Gaussian mixture
GIPSA-lab(GIPSA实验室);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);LIG-lab(LIG实验室)
本文考虑高斯混合模型(GMM)上的半监督多任务学习。使用统计物理学的方法,我们计算的渐近贝叶斯风险的每个任务在大数据集的制度在高维,从中我们分析的任务相似性在学习中的作用和评估的性能增益时,任务一起学习,而不是分开。在监督的情况下,我们得到一个简单的算法,达到贝叶斯最优性能。
2023-03-03 cs.LG stat.ML
Asymptotic Bayes risk of semi-supervised learning with uncertain labeling
Laboratoire d’Informatique de Grenoble(格勒诺布尔计算机实验室);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
本文研究高斯混合模型下带不确定标签的半监督分类问题,通过计算贝叶斯风险并与已知最佳算法进行比较,为该算法提供了新的见解。
2024-03-27 cs.LG stat.ML
Semi-supervised learning with Bayesian Confidence Propagation Neural Network
KTH Royal Institute of Technology(瑞典皇家理工学院);Stockholm University(斯德哥尔摩大学)
不使用标签或使用少量标签从数据中学习内部表示对于机器学习研究非常有用,因为它允许使用大量未标记的数据。在这项工作中,我们使用贝叶斯置信传播神经网络(BCPNN)模型开发的生物学上合理的模型的皮层。最近的工作表明,这些网络可以使用局部贝叶斯-赫布学习规则从数据中学习有用的内部表示。在这项工作中,我们将展示如何在半监督设置中,通过引入和比较不同的分类器,利用这种表示。我们还评估和比较这些网络与其他流行的半监督分类器。
2021-06-29 cs.LG cs.NE
From Log-Odds to Shapley Values: An Explanatory Geometry for the Weighted Naive Bayes Classifier
Orange Research(橙研)
本文构建加权朴素贝叶斯分类器的解释性空间,证明其诱导的距离与Shapley值向量的ℓ₁距离一致,还通过k近邻分类器实证比较相关监督距离,凸显监督距离、局部解释与预测行为的关联。
2026-10-09 cs.AI cs.LG stat.ML
On Supervised Selection of Bayesian Networks
University of Helsinki(赫尔辛基大学)
给定一组可能的模型(例如,贝叶斯网络结构)和数据样本,在无监督模型选择问题中,任务是选择关于域联合概率分布的最准确的模型。与此相反,在监督模型选择中,先验已知所选模型将在未来用于涉及更“集中”的预测分布的预测任务。虽然可以通过边缘化从联合概率分布中产生集中的预测分布,但实际上,无监督意义上的最佳模型不一定在监督域中表现良好。特别是,标准边际似然得分是无监督任务的标准,虽然经常用于监督模型选择,但在此类任务中表现不佳。在本文中,我们研究了边际似然得分的监督贝叶斯网络选择任务的经验性能,通过使用大量的公开可用的分类数据集,并比较结果与其他模型选择标准,包括经验交叉验证方法,监督边际似然测度的近似,结果表明,边缘似然得分在有监督的模型选择中表现不佳,而Dawids序贯概率方法则获得了最好的结果。
2013-01-23 cs.LG stat.ML
A benchmark study on reliable molecular supervised learning via Bayesian learning
AITRICS
虚拟筛选是利用计算机技术从化学库中寻找所需化合物的过程。为了利用机器学习的这个目的,可以被解释为预测概率的模型输出将是有益的,因为高预测分数对应于高正确性概率。在这项工作中,我们提出了一个研究的预测性能和可靠性的图神经网络训练最近提出的贝叶斯学习算法。我们的工作表明,贝叶斯学习算法允许对各种GNN架构和分类任务进行良好校准的预测。此外,我们展示了可靠预测对虚拟筛选的影响,贝叶斯学习可能会导致更高的成功率找到命中化合物。
2020-07-01 cs.LG stat.ML
Semi-supervised Impedance Inversion by Bayesian Neural Network Based on 2-d CNN Pre-training
Harbin Institute of Technology(哈尔滨工业大学);Tsinghua University(清华大学)
地震波阻抗反演可以用半监督学习算法来执行,该算法只需要少量的日志作为标签,并且不太可能过拟合。然而,经典的半监督学习算法通常会导致预测阻抗图像上的伪影。本文从两个方面对半监督学习进行了改进。首先,通过用2-d CNN层和2-d maxpooling层替换深度学习结构中的1-d卷积神经网络(CNN)层,提高了预测精度。其次,预测不确定性也可以通过将网络嵌入贝叶斯推理框架来估计。在网络的前向传播过程中使用局部参数化技巧以减少采样成本。通过Marmousi 2模型和SEAM模型的测试,验证了该策略的可行性。
2021-11-20 cs.LG eess.SP physics.geo-ph
Asymptotic Bayes risk for Gaussian mixture in a semi-supervised setting
INRIA-ENS(法国国家信息与自动化研究所-巴黎高等师范学院)
半监督学习(SSL)使用未标记的数据进行训练,并且与可用的标记数据上的监督方法相比,已被证明可以大大提高性能。这种说法既取决于可用的标记数据的数量,也取决于所使用的算法。在本文中,我们计算分析之间的差距最好的全监督方法,只使用标记的数据和最好的半监督方法,使用标记和未标记的数据。我们量化了由于未标记数据而获得的性能的最佳可能增加,即我们计算了由于未标记数据中包含的信息而导致的准确性增加。我们的工作涉及一个简单的高维高斯混合模型的数据在贝叶斯设置。我们严格的分析建立在最近的理论突破,在高维推理和大量的数学工具,从统计物理最初开发的自旋玻璃。
2019-09-28 cs.LG math.ST stat.ML
A Semi-Supervised Adaptive Discriminative Discretization Method Improving Discrimination Power of Regularized Naive Bayes
University of Nottingham Ningbo China(宁波诺丁汉大学)
针对正则化朴素贝叶斯离散化信息损失大的问题,提出半监督自适应判别离散化框架RNB+,利用伪标记结合有标记与无标记数据,显著提升判别能力并在多数据集上优于现有NB分类器。
2023-04-05 cs.IT cs.LG math.IT
An Empirical Comparison of SVM and Some Supervised Learning Algorithms for Vowel recognition
National School of Engineering of Tunis-ENIT(突尼斯国家工程学院)
在这篇文章中,我们进行了一些监督学习算法的元音识别性能的研究。本研究旨在比较每种算法的准确性。因此,我们提出了五个监督学习分类器和两个组合分类器:SVM,KNN,朴素贝叶斯,二次贝叶斯正常(QDC)和最接近的平均值之间的实证比较。这些算法进行了测试,元音识别使用TIMIT语料库和梅尔频率倒谱系数(MFCC)。
2015-07-22 cs.CL cs.LG
Bayes in Wonderland! Predictive supervised classification inference hits unpredictability
University of Helsinki(赫尔辛基大学)
边缘贝叶斯预测分类器(mBpc),而不是同步贝叶斯预测分类器(SBpc),单独处理每个数据,因此默认的独立性的意见。然而,由于生成模型参数的学习饱和,这种错误假设对mBpc准确性的不利影响往往会在训练数据量增加的情况下逐渐消失;在de Finetti类型的交换机下保证这两个分类器的收敛。然而,这个结果对于在分区交换(PE)下生成的序列来说是非常重要的,即使是无数的训练数据也不能排除未观察到结果的可能性(仙境!)。我们提供了一个计算方案,允许在PE下生成序列。在此基础上,通过控制训练数据的增加,我们证明了sBpc和mBpc的收敛性。这是使用更简单但计算效率更高的边缘分类器而不是同时分类器的基础。我们还提供了一个参数估计的生成模型产生的分区可交换的序列,以及在不同的样本,这个参数的平等性的测试范例。Ewens抽样公式生成模型的贝叶斯预测监督分类、参数估计和假设检验的软件包作为PEkit软件包存放在CRAN上,并可从https://github.com/AmiryousefiLab/PEkit免费获得。
2021-12-03 cs.LG stat.ML
Unifying Variational Inference and PAC-Bayes for Supervised Learning that Scales
Mila;UVA;MRL
基于神经网络的控制器具有学习复杂、高维函数的巨大潜力。然而,它们容易过度拟合和无根据的外推。PAC贝叶斯是一个广义的框架,它更能抵抗过拟合,并且即使在不合理的外推上,也能产生具有任意高概率的性能界限。然而,优化学习这样的函数和界限对于复杂的任务来说是棘手的。在这项工作中,我们提出了一种方法,同时学习这样一个函数,并估计性能界限,有机地扩展到高维,非线性环境,而无需对环境做出任何明确的假设。我们建立我们的方法上的平行,我们之间的配方称为ELBO和PAC贝叶斯风险度量是负对数似然绘制。通过我们对多个高维MuJoCo运动任务的实验,我们验证了我们理论的正确性,显示了它更好的泛化能力,并研究了对其学习重要的因素。所有实验的代码可在https://bit.ly/2qv0JjA上获得。
2019-12-17 cs.LG stat.ML
Towards Bayesian Data Selection
LMU Munich(慕尼黑大学)
该研究将迭代式数据添加的机器学习场景建模为决策论框架下的决策问题,推导了半监督自训练的贝叶斯数据选择准则,实验验证其可缓解确认偏差问题。
2024-06-24 cs.AI cs.LG math.ST
Semi-Supervised Learning guided by the Generalized Bayes Rule under Soft Revision
Ludwig-Maximilians-Universität (LMU)(路德维希-马克西米利安大学 (LMU))
本文研究了半监督学习中带软修正的Gamma-Maximin伪标签选择方法,利用credal集合表示不确定性并形式化为优化问题,实验表明该方法在标记数据比例低时表现优异。
2024-06-04 cs.AI cs.LG math.ST
Estimating before Debiasing: A Bayesian Approach to Detaching Prior Bias in Federated Semi-Supervised Learning
Beihang University(北京航空航天大学);Zhongguancun Laboratory(中关村实验室);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对联邦半监督学习中异构数据导致的预测偏差,本文提出基于贝叶斯视角的去偏方法FedDB,通过无标签数据的平均预测概率优化伪标签并制定无偏聚合权重,有效降低了标签先验偏差并超越了现有方法。
2024-05-30 cs.DC cs.LG
Necessary and Sufficient Conditions for Inverse Reinforcement Learning of Bayesian Stopping Time Problems
Cornell University(康奈尔大学)
本文提出了一种求解贝叶斯停时问题的逆强化学习~(IRL)框架。通过观察贝叶斯决策者的行为,我们提供了一个充分必要条件,以确定这些行动是否与优化成本函数一致。在贝叶斯(部分观察)设置中,逆学习器最多可以识别观察到的策略的最优性。我们的IRL算法识别最优性,然后构造成本函数的集值估计。为了实现这个IRL目标,我们使用了贝叶斯揭示的微观经济学偏好的新思想。我们说明了建议的IRL计划使用两个重要的例子停止时间问题,即顺序假设检验和贝叶斯搜索。作为一个现实世界的例子,我们说明了使用YouTube数据集,包括元数据从190000个视频如何建议IRL方法预测用户参与在线多媒体平台的高精度。最后,对于有限数据集,我们提出了一个IRL检测算法,并给出了其错误概率的有限样本界。
2023-03-15 cs.LG cs.SY econ.TH
Cross-domain Transfer Learning and State Inference for Soft Robots via a Semi-supervised Sequential Variational Bayes Framework
School of Information Technology, Monash University Malaysia(马来西亚莫纳什大学信息技术学院);School of Engineering, Monash University Malaysia(马来西亚莫纳什大学工程学院)
针对软体机器人状态标签缺失问题,提出半监督序列变分贝叶斯框架DSVB,结合特征空间迁移与循环神经网络,实现跨配置的有效迁移学习和准确状态推断。
2024-11-09 cs.LG cs.RO
Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative Priors
New York University(纽约大学);Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland(马里兰大学);Meta AI Research(Meta人工智能研究院)
深度学习正越来越多地朝着迁移学习范式发展,在这种范式下,大型基础模型从源任务上学习的初始化开始,在下游任务上进行微调。但是初始化包含的关于源任务的信息相对较少。相反,我们表明,我们可以从源任务中学习高度信息化的后验,通过监督或自我监督的方法,然后作为修改下游任务的整个损失表面的先验的基础。这种简单的模块化方法可以在各种下游分类和分割任务上实现显着的性能提升和更有效的数据学习,作为标准预训练策略的替代品。这些高度信息化的先验也可以被保存以供将来使用,类似于预先训练的权重,并且与贝叶斯深度学习中通常使用的零均值各向同性无信息先验形成对比。
2022-05-20 cs.CV cs.LG
Rate-Distortion Bounds on Bayes Risk in Supervised Learning
Wayne State University(韦恩州立大学);MIT(麻省理工学院);Duke University(杜克大学)
我们提出了一个信息理论的框架,用于界定在参数贝叶斯设置中训练分类器所需的标记样本的数量。我们推导出的平均$L_p$学习分类器和真正的最大后验分类器之间的距离的界限,这是建立良好的代理过度的分类错误,由于不完善的学习。我们提供的率失真函数上的下限和上限,使用$L_p$损失作为失真的措施,最大的先验分类的后验分布的微分熵和一个数量称为插值维数,其特征在于参数分布家族的复杂性。除了在有损压缩方面表达分类器的信息内容之外,速率失真函数还表达学习机需要从训练数据中提取以将分类器学习到指定的$L_p$容限内的最小比特数。我们使用通用信源编码的结果来表示训练数据中的参数族的Fisher信息和可用的训练样本的数量方面的信息内容。其结果是一个框架计算贝叶斯$L_p$风险的下限。这个框架补充了著名的可能近似正确(PAC)的框架,它提供了极大极小风险范围涉及Vapnik-Chervonenkis维或Rademacher复杂性。而PAC框架提供了上限的最坏情况下的数据分布的风险,建议率失真框架下限的数据分布的平均风险。我们评估各种数据模型的边界,包括分类,多项式和高斯模型。在每种情况下的界限是可证明的紧有序,并在两种情况下,我们证明了界限是紧乘法常数。
2017-11-17 cs.IT cs.LG math.IT
Analysis of Estimating the Bayes Rule for Gaussian Mixture Models with a Specified Missing-Data Mechanism
University of New South Wales(新南威尔士大学)
本研究证明在部分分类样本中,带缺失数据机制的贝叶斯分类器优于完全监督分类器,并通过模拟和真实数据集验证其有效性。
2023-12-29 cs.LG stat.ML
Neural Bayesian Anomaly Mitigation: A Robust Loss that Doubles as an Unsupervised Contamination Classifier
Astrophysics Group, Cavendish Laboratory, University of Cambridge(剑桥大学卡文迪许实验室天体物理组);Institute of Astronomy, University of Cambridge(剑桥大学天文研究所)
提出神经贝叶斯异常缓解(NBAM)损失,基于贝叶斯潜变量混合模型,既提供鲁棒监督损失又输出无监督污染后验,在CIFAR-10上优于Huber等基线。
2026-06-16 astro-ph.CO cs.LG stat.ML
Low Latency Anomaly Detection and Bayesian Network Prediction of Anomaly Likelihood
我们开发了一个有监督的机器学习模型,可以实时的检测系统中的异常。我们的模型将无限的数据流处理成时间序列,然后形成低延迟异常检测模型的基础。此外,我们扩展我们的初步目标,只是异常检测到同步异常预测。我们通过开发一个贝叶斯网络框架来解决这个非常具有挑战性的问题,该框架捕获了在我们方法的第一部分中校准的滞后回归量的参数信息,并使用该结构来学习局部条件概率分布。
2016-11-11 cs.LG stat.ML
A Sufficient Statistics Construction of Bayesian Nonparametric Exponential Family Conjugate Models
The Ohio State University(俄亥俄州立大学);Boston University(波士顿大学)
无穷维空间上的共轭分布对在统计学习理论中很突出,特别是由于贝叶斯非参数方法广泛应用于许多模型和应用。在学习社区中,现有的许多文献都集中在具有某种形式的计算上易处理的共轭性的过程上,例如beta和gamma过程(以及通过归一化的Dirichlet过程)。对于这些过程,共轭性的证明和必要的推导后验密度参数的明确计算公式是特质的随机过程的问题。因此,贝叶斯非参数模型目前可用于有限数量的共轭对,例如狄利克雷多项式和贝塔伯努利过程对。在上述每种情况下,似然过程都属于离散指数族分布。从贝叶斯非参数共轭模型的已知情况中排除连续似然分布是研究人员工具箱中的一个差异。在本文中,我们首先解决的问题,获得一个一般的建设先验分布在无限维空间具有分布性质服从共轭。其次,我们桥接离散和连续的可能性之间的鸿沟,说明了一个典型的建设随机过程的Levy测量密度是从正指数家庭,然后证明这些过程实际上形成的前,可能性,和后的共轭家庭。我们的规范建设包括已知的后验密度参数的计算公式的情况下,其中的可能性是从一个离散分布属于一个指数家庭。
2016-01-10 cs.LG stat.ML
Semi-Supervised Conditional Generative Learning through Stochastic Interpolation and Sufficient Representations
Institute for Mathematics and Artificial Intelligence, Wuhan University, Wuhan, China(数学与人工智能研究院,武汉大学,武汉,中国);School of Artificial Intelligence, Hubei Key Laboratory of Computational Science, Wuhan University, Wuhan, China(人工智能学院,湖北省计算科学重点实验室,武汉大学,武汉,中国);Departments of Data Science and Artificial Intelligence, and Applied Mathematics, The Hong Kong Polytechnic University, Hong Kong, China(数据科学与人工智能系,应用数学系,香港理工大学,香港,中国)
针对半监督条件生成建模难题,提出结合条件随机插值与低维潜在表示的RepG框架,将生成分为两阶段,隔离监督学习到低维空间,理论推导其误差分解与收敛率,有效减轻维度诅咒。
2026-07-21 cs.LG stat.ML
A Two-round Variant of EM for Gaussian Mixtures
AT&T Labs - Research(AT&T实验室-研究部);Georgia Institute of Technology(佐治亚理工学院)
给定一组可能的模型(例如,贝叶斯网络结构)和数据样本,在无监督模型选择问题中,任务是选择关于域联合概率分布的最准确的模型。与此相反,在监督模型选择中,先验已知所选模型将在未来用于涉及更“集中”的预测分布的预测任务。虽然可以通过边缘化从联合概率分布中产生集中的预测分布,但实际上,无监督意义上的最佳模型不一定在监督域中表现良好。特别是,标准边际似然得分是无监督任务的标准,虽然经常用于监督模型选择,但在此类任务中表现不佳。在本文中,我们研究了边际似然得分的监督贝叶斯网络选择任务的经验性能,通过使用大量的公开可用的分类数据集,并比较结果与其他模型选择标准,包括经验交叉验证方法,监督边际似然测度的近似,结果表明,边缘似然得分在有监督的模型选择中表现不佳,而Dawids序贯概率方法则获得了最好的结果。
2013-01-16 cs.LG stat.ML
From Shannon's Channel to Semantic Channel via New Bayes' Formulas for Machine Learning
一组转移概率函数形成香农通道,而一组真值函数形成语义通道。通过第三类贝叶斯定理,我们可以直接将香农通道转换为优化的语义通道。当样本量不够大时,可以用带参数的真值函数产生似然函数,然后用条件抽样分布对真值函数进行训练。证明了第三类贝叶斯定理。简要介绍了语义信息论。语义信息测度体现了波普尔的假设检验思想。语义信息法(SIM)遵循最大语义信息准则,与最大似然准则和正则化最小二乘准则兼容。它支持维特根斯坦的观点:一个词的意义在于它的使用。让这两个通道相互匹配,我们得到了机器学习的通道匹配(CM)算法。CM算法被用于解释自然语言的语义意义的演变,例如“老年”。讨论了医学检验的语义通道及检验阳性和检验阴性的确认措施。简要介绍了CM算法在半监督学习和非监督学习中的应用。作为一种预测模型,语义通道适合可变的源,因此可以克服类不平衡的问题。SIM严格区分统计概率和逻辑概率,并同时使用两者。该方法与贝叶斯、Fisher、Shannon、Zadeh、Tarski、Davidson、Wittgenstein和Popper的思想兼容,是贝叶斯推理的一种有竞争力的替代方法。
2018-03-22 cs.LG stat.ML
Bayes-Sufficient Compression Is Not Enough: How Does Communication Help Multi-Agent Systems?
University of Arizona(亚利桑那大学);Hong Kong Baptist University(香港浸会大学);Amazon Web Services(亚马逊云服务)
本文提出接收者相对有界协调框架,证明贝叶斯充分压缩不足,通过三阶段分解和单交叉条件,指导推理时选择器在准确率与成本间优化通信。
2026-10-06 cs.IT cs.LG cs.MA
Optimizing Training Trajectories in Variational Autoencoders via Latent Bayesian Optimization Approach
UT-Battelle, LLC(UT-巴特尔有限责任公司);U.S. Department of Energy(美国能源部)
无监督和半监督ML方法(如变分自编码器(VAE))已被广泛应用于物理,化学和材料科学的多个领域,因为它们能够解开表示并能够找到复杂实验数据的分类和回归的潜在流形。与其他ML问题一样,VAE需要超参数调整,例如,平衡Kullback Leibler(KL)和重建项。然而,训练过程和由此产生的流形拓扑和连通性不仅取决于超参数,还取决于它们在训练过程中的演变。由于在高维超参数空间中进行穷举搜索对于训练模型来说效率低下,因此我们在无监督和半监督ML的超参数轨迹优化中探索了潜在贝叶斯优化(zBO)方法,并对具有旋转不变性的联合VAE进行了演示。我们展示了这种方法的应用程序,找到联合离散和连续的旋转不变表示MNIST和实验数据的等离子体纳米粒子材料系统。所提出的方法的性能已经被广泛讨论,其中它允许任何高维超参数调整或其他ML模型的轨迹优化。
2022-06-30 cs.LG stat.ML
Probabilistic supervised learning
University College London(伦敦大学学院);University of Warwick(华威大学);University of Oxford(牛津大学)
预测建模和监督学习是现代数据科学的核心。随着越来越多的监督黑箱策略的预测-例如,核方法、随机森林、深度学习又称神经网络--作为决策过程的基础,理解与这些预测相关的统计不确定性至关重要。作为处理这个问题的一般手段,我们提出了一个黑盒预测策略的总体框架,不仅预测目标,而且预测自己的预测的不确定性。此外,该框架允许公平评估和比较不同的预测策略。为此,我们正式考虑能够从特征变量预测全分布的策略,即所谓的概率监督学习策略。我们的工作借鉴了以前的工作,包括贝叶斯统计,信息论和现代监督机器学习,并在一个新的合成导致(a)新的理论见解,如概率偏差方差分解和预测的熵公式,以及(b)新的算法和元算法,如复合预测策略,概率提升和装袋,和概率预测独立性测试我们的黑盒公式还导致(c)概率监督学习和建模工作流API设计的新模块化接口视图,我们已经在新发布的skpro机器学习工具箱中实现,扩展了sklearn的熟悉建模接口和元建模功能。skpro包提供了用于构造、组合和调整概率监督学习策略的接口,以及用于验证和比较任何此类策略的编排功能-无论是频率论、贝叶斯还是其他。
2019-05-07 cs.LG math.ST stat.ME
Information Planning for Text Data
Massachusetts Institute of Technology(麻省理工学院)
信息规划可以用更少的训练示例实现更快的学习。它特别适用于获取训练示例的成本很高的情况。这项工作通过关注三种监督模型:Naive Bayes,监督LDA和深度神经网络来研究文本数据信息规划的优势。我们表明,基于熵和互信息的规划优于随机选择基线,因此加快了学习。
2018-03-21 cs.LG stat.ML