Comparative Analysis of Viterbi Training and Maximum Likelihood Estimation for HMMs
Yerevan Physics Institute(埃里温物理研究所);USC Information Sciences Institute(南加州大学信息科学研究所)
我们提出了一个渐近分析维特比训练(VT)和对比它与一个更传统的极大似然(ML)的方法,在隐马尔可夫模型的参数估计。虽然ML估计器通过(局部)最大化观察数据的可能性来工作,但VT寻求最大化最可能的隐藏状态序列的概率。我们开发了一个分析框架的基础上生成函数的形式主义,并说明它的一个明确的符号的HMM的一个完全可解的模型。对于这个特定的模型,ML目标函数是连续退化的。VT目标,相反,被证明只有有限的退化。此外,VT收敛速度更快,导致模型更稀疏(更简单),从而实现了HMM学习的自动奥卡姆剃刀。对于更一般的场景,VT与ML相比可能更差,但仍然能够正确地恢复大多数参数。
2013-12-16 cs.LG stat.ML
Learning Robust State Abstractions for Hidden-Parameter Block MDPs
Facebook AI Research(脸书人工智能研究院);McGill University(麦吉尔大学);Mila(米拉研究所)
许多控制任务表现出类似的动态,可以建模为具有共同的潜在结构。隐参数马尔可夫决策过程(HiP-MDP)显式地对该结构进行建模,以提高多任务设置中的样本效率。然而,这种设置对状态的可观测性做出了很强的假设,这限制了它在具有丰富观测空间的真实世界场景中的应用。在这项工作中,我们利用的想法,共同的结构从HiP-MDP设置,并扩展它,使强大的状态抽象块MDP的启发。我们得到的多任务强化学习(MTRL)和Meta强化学习(元-RL)设置这一新框架的实例。此外,我们提供了基于任务和状态相似性的转移和泛化边界,以及依赖于跨任务的样本总数而不是任务数量的样本复杂性边界,这是对使用相同环境假设的先前工作的重大改进。为了进一步证明所提出的方法的有效性,我们实证比较并显示了多任务和Meta强化学习基线的改进。
2021-02-12 cs.AI cs.LG stat.ML
A Comparative Analysis of MLP and Kolmogorov-Arnold Networks (KAN) for Faster-than-Nyquist (FTN) Signaling Detection
Ankara Yıldırım Beyazıt University(安卡拉耶尔德勒姆贝亚兹特大学)
本文对比MLP与KAN在FTN BPSK检测中的性能,基于近400万样本的实验显示,KAN误码率较MLP低18.6倍且参数仅为其1/8,是更优的神经决策模型。
2026-08-04 cs.LG eess.SP
A block coordinate descent optimizer for classification problems exploiting convexity
Sandia National Laboratories(桑迪亚国家实验室)
二阶优化器对于深度学习具有有趣的潜力,但与基于梯度的方法相比,二阶优化器具有增加的成本和对损失表面的非凸性的敏感性。我们引入了一种坐标下降方法来训练用于分类任务的深度神经网络,该方法利用线性层权重中交叉熵损失的全局凸性。我们的混合牛顿/梯度下降(NGD)的方法是一致的解释隐藏层提供一个自适应的基础和线性层提供一个最佳的适合的基础数据。通过交替使用二阶方法找到线性层的全局最优参数和梯度下降来训练隐藏层,我们确保了自适应基在整个训练过程中与数据的最佳拟合。二阶步长中Hessian的大小仅与线性层中的权重数有关,而与隐藏层的深度和宽度无关;此外,该方法适用于任意隐藏层结构。以前的工作应用这种自适应基础的角度回归问题证明了显着的改进,在降低训练成本的准确性,这项工作可以被视为这种方法的扩展分类问题。我们首先证明了所得到的Hessian矩阵是对称半定的,并且牛顿步实现了全局极小。通过研究制造的二维点云数据的分类,我们证明了使用NGD训练时,验证误差的改善和隐藏层中编码的基函数的显着质的差异。应用于密集和卷积架构的图像分类基准测试表明,训练精度有所提高,表明二阶方法可能优于梯度下降。
2020-06-17 cs.LG stat.ML
Learning Deep Representation Without Parameter Inference for Nonlinear Dimensionality Reduction
无监督深度学习是最强大的表示学习技术之一。受限玻尔兹曼机、稀疏编码、正则化自动编码器和卷积神经网络是深度学习的先驱构建模块。本文提出了一种新的构造块--分布随机模型。该方法是专家乘积的一种特殊的完全实现:(1)每个专家拥有多个隐单元,不同的专家拥有不同数量的隐单元;(ii)每个专家的模型是k-中心聚类,其k-中心仅是均匀采样的示例,并且其输出(即隐藏单元)是仅保留来自几个最近邻居的相似性值的稀疏码。最后,分析了该方法与当前研究热点、几个主要研究方向之间的关系。实验结果表明,该深度模型能够学习到比深度信念网络更好的表示,同时可以用比深度信念网络更少的时间训练更大的网络。
2014-01-02 cs.LG stat.ML
Spectral Detection in the Censored Block Model
École Normale Supérieure(巴黎高等师范学院);Sorbonne Universités, UPMC Univ. Paris 06(索邦大学,巴黎第六大学);INRIA(法国国家信息与自动化研究所)
我们考虑的问题,部分恢复隐藏的二进制变量的观察(少数)审查边权重,一个问题与应用程序在社区发现,相关聚类和同步。我们描述了两个谱算法,这项任务的基础上的非回溯和Bethe Hessian算子。这些算法被证明是渐近最优的部分恢复问题,因为它们检测隐藏的分配,只要它是信息理论上可能这样做。
2015-06-10 cond-mat.dis-nn cs.LG cs.SI
Comparative Study of Inference Methods for Interpolative Decomposition
在本文中,我们提出了一个概率模型与自动相关性确定(ARD)的学习插值分解(ID),这是常用的低秩近似,特征选择,并确定隐藏模式的数据,其中的矩阵因子是与每个数据维的潜在变量。先验密度与支持的指定的子空间被用来解决的约束的观测矩阵的因子分量的大小。贝叶斯推理过程的基础上吉布斯抽样。我们评估模型的各种现实世界的数据集,包括CCLE $EC50$,CCLE $IC50$,基因体甲基化,启动子甲基化数据集具有不同的大小和维度,并表明,所提出的贝叶斯ID算法与自动相关性确定导致较小的重建错误,甚至与香草贝叶斯ID算法与固定的潜在维度设置为矩阵秩。
2022-06-29 cs.LG cs.NA math.NA
PatchUp: A Feature-Space Block-Level Regularization Technique for Convolutional Neural Networks
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);University of Montreal(蒙特利尔大学);McGill University(麦吉尔大学);École Polytechnique de Montréal(蒙特利尔高等理工学院)
大容量的深度学习模型在使用有限数量的标记训练数据进行训练时,通常容易出现高泛化差距。最近一类解决这个问题的方法使用各种方式通过混合一对(或多个)训练样本来构建新的训练样本。我们提出了PatchUp,一种用于卷积神经网络(CNN)的隐藏状态块级正则化技术,该技术应用于从随机样本对中选择的特征映射的连续块。我们的方法提高了CNN模型对其他最先进的混合方法中可能发生的流形入侵问题的鲁棒性。此外,由于我们在隐藏空间中混合了连续的特征块,隐藏空间比输入空间具有更多的维度,因此我们获得了更多不同的样本用于不同维度的训练。我们在CIFAR 10/100,SVHN,Tiny-ImageNet和ImageNet上使用ResNet架构(包括PreActResnet 18/34,WRN-28-10,ResNet 101/152模型)进行的实验表明,PatchUp改进或等同于当前最先进的CNN正则化器的性能。我们还表明,PatchUp可以提供一个更好的泛化变形样本,对对抗攻击更强大。
2023-01-07 cs.LG stat.ML
Hallucination Is Linearly Decodable from Mid-Layer Hidden States in Quantized LLMs
University of Macau(澳门大学)
研究开源LLM在4位量化下中间层隐藏状态是否编码线性可分的真实性信号,发现单层线性探针AUROC达0.904-1.000,优于采样方法,且信号近似线性。
2026-11-05 cs.AI cs.CL cs.ET
Attacker Behaviour Profiling using Stochastic Ensemble of Hidden Markov Models
Centre of Excellence in Complex and Nonlinear Dynamical Systems, VJTI(VJTI复杂与非线性动力系统卓越中心)
本文提出半监督融合隐马尔可夫模型FHMM,用于攻击者行为建模与预测,在Cowrie蜜罐真实攻击数据上以显著更低训练时间取得与深度RNN相当的准确率。
2021-06-06 cs.CR cs.LG stat.AP
Brachial Plexus Nerve Trunk Segmentation Using Deep Learning: A Comparative Study with Doctors' Manual Segmentation
Research Institute for Medical and Biological Engineering, Ningbo University(宁波大学医学与生物工程研究院);Affiliated Hospital of Medical School of Ningbo University(宁波大学医学院附属医院);Ningbo No. 6 Hospital(宁波市第六医院)
本研究构建含320张臂丛超声图像的公开数据集,提出基于深度学习的BPSegSys分割系统,其分割精度超过经验丰富医生,可辅助提升神经识别准确率,具备临床应用价值。
2022-05-17 cs.CV cs.LG eess.IV
Spectral Clustering Revisited: Information Hidden in the Fiedler Vector
Yale University(耶鲁大学);Department of Mathematics, Yale University(耶鲁大学数学系)
我们感兴趣的是图上的聚类问题:众所周知,如果有两个潜在的集群,那么对应于邻接矩阵的第二大特征值的特征向量的符号可以可靠地重建这两个集群。我们认为,顶点的特征向量具有最大和最小的条目,分别是异常强烈地连接到自己的集群和更可靠的分类比其余的。这可以被看作是热点猜想的离散版本,并且应该在应用中是有用的。给出了随机块模型的严格证明和几个例子。
2020-03-22 cs.DM cs.LG math.PR