Factorized Asymptotic Bayesian Inference for Factorial Hidden Markov Models
阶乘隐马尔可夫模型是对序列数据建模的有力工具。学习FHH产生具有挑战性的同时模型选择问题，即，选择多个马尔可夫链的数目和每个链的维数。我们的主要贡献是解决这个模型选择的问题，通过扩展因子分解渐近贝叶斯（FAB）推理FHSTUDIO。首先，我们提供了一个更好的近似边际对数似然比以前的FAB推理。我们的关键思想是积分出转移概率，但仍然应用拉普拉斯近似的发射概率。其次，我们证明了如果在FHMM中有两个非常相似的隐藏状态，即一个是冗余的，那么FAB几乎肯定会缩小并消除其中一个，使模型简约。实验结果表明，FAB算法在模型选择精度上明显优于现有的非参数贝叶斯iFHMM和变分FHMM，并具有较强的抗困惑能力.
2015-06-26 stat.ML
Efficient Bayesian model selection for coupled hidden Markov models with application to infectious diseases
耦合隐马尔可夫模型的隐状态过程维数很大，因此对耦合隐马尔可夫模型进行模型选择具有很大的挑战性。虽然原则上可以通过前向滤波将隐藏状态过程边缘化，但实际上这样做的计算成本随着耦合的马尔可夫链的数量呈指数级增加，使得这种方法在大多数应用中不可行。可以利用蒙特卡罗方法，但尽管在模型选择方法中有许多显着的发展，通用方法仍然不适合这样的高维问题。在这里，我们为具有弱链间依赖性的CHESTIC开发了专门的解决方案。具体来说，我们构建有效的建议分布的隐藏状态的过程中，保持计算可行的链的数量增加，并需要很少的用户输入或调整。这种方法特别适用于以CHESTHESIS为特征的个体级传染病模型，其中每条链代表一个个体，耦合代表个体之间的接触。由于仅有的重要接触是在易感和传染性个体之间，并且由于多个感染途径通常是可能的，因此所产生的CHE3自然具有低的链间依赖性。我们证明了我们的方法的实用性与应用程序的研究高致病性禽流感在鸡。
2021-05-25 stat.ME
Inference in Graded Bayesian Networks
Hamburg University of Technology（汉堡工业大学）
机器学习提供了可以从数据中学习并对数据进行推断或预测的算法。贝叶斯网络是一类图形模型，它允许通过有向无环图来表示随机变量的集合及其条件依赖关系。本文利用观测变量边际分布的热带化，给出了贝叶斯网络隐随机变量的一种推断算法。通过限制分级网络的拓扑结构，将建立分级贝叶斯网络的推理算法，该算法逐级评估隐随机变量，并以这种方式产生隐变量的最可能状态。该算法可以看作是分级贝叶斯网络的Viterbi算法的推广版本。
2018-12-23 cs.AI stat.ML
Hidden Gibbs random fields model selection using Block Likelihood Information Criterion
在吉布斯随机场之间进行模型选择是一项非常具有挑战性的任务。事实上，由于马尔可夫依赖结构，场的归一化常数不能使用标准的分析或数值方法计算。此外，这种不可观测的场不能被积分出去，似然估计是一个加倍棘手的问题。这就形成了一个核心问题，即选择最适合观测数据的模型。我们介绍了一个新的近似版本的贝叶斯信息准则。我们将格划分成连续的矩形块，我们近似的概率测度的隐藏吉布斯场的产品的吉布斯分布在块。在此基础上，我们估计的可能性，并推导出块似然信息准则（BLIC），回答模型选择问题，如依赖结构的选择或潜在状态的数量。针对这些问题，我们研究了BLIC的性能。此外，我们提出了与ABC算法的比较，指出新的标准提供了一个更好的时间效率和可靠的结果之间的权衡。
2016-02-08 stat.CO
Identifying internal patterns in (1+1)-dimensional directed percolation using neural networks
Institute of High Technologies and Advanced Materials, Far Eastern Federal University（远东联邦大学高新技术与先进材料学院）；Institute of Applied Mathematics, Far Eastern Branch, Russian Academy of Science（俄罗斯科学院远东分部应用数学研究所）；Bogoliubov Laboratory of Theoretical Physics, Joint Institute for Nuclear Research（鲍利乌勃夫理论物理实验室，联合核研究中心）；Institute for Functional Intelligent Materials, National University of Singapore（功能智能材料研究所，新加坡国立大学）
本文提出一种结合CNN、TCN和GRU的神经网络方法，无需手动特征提取即可自动检测(1+1)维有向渗流中的相变并分类隐藏模式，重现相图并验证深度架构可提取原始数据中的层次结构。
2025-10-17 cond-mat.dis-nn cs.AI cs.LG
Determine the Number of States in Hidden Markov Models via Marginal Likelihood
本文提出一种基于边际似然的一致方法来确定隐马尔可夫模型的状态数量，并证明其一致性，通过数值比较展示了优于BIC的有效性。
2024-07-17 math.ST stat.ME stat.TH
Beyond similarity assessment: Selecting the optimal model for sequence alignment via the Factorized Asymptotic Bayesian algorithm
配对隐马尔可夫模型（PHOTO）是用于成对序列比对的概率模型，这是生物信息学中的一个典型问题。PHP包含三种隐藏状态：匹配、插入和删除。大多数以前的研究使用一个或两个隐藏状态的每一个PHMM状态类型。然而，很少有研究已经检查的状态的数量适合表示序列数据或提高比对精度。我们开发了一种新的方法来选择优越的模型（包括隐藏状态的数量）PHMM。我们的方法使用因子化信息准则（FIC）选择具有最高后验概率的模型，该准则广泛用于隐变量概率模型的模型选择。仿真结果表明，该方法具有良好的模型选择能力，对准精度略有提高。我们将我们的方法应用于5个和28个物种的DNA数据集，最终选择了比以前研究中使用的模型更复杂的模型。
2017-10-15 q-bio.QM stat.ML
A non-asymptotic approach for model selection via penalization in high-dimensional mixture of experts models
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立理工学院）；La Trobe University（乐卓博大学）；University of Queensland（昆士兰大学）
专家混合（MoE）是一类流行的统计和机器学习模型，多年来由于其灵活性和效率而受到关注。在这项工作中，我们考虑高斯门控本地化MoE（GLoME）和块对角协方差本地化MoE（BLoME）回归模型，以呈现非线性关系的异质数据与潜在的隐藏的图形结构的高维预测之间的相互作用。这些模型提出了困难的统计估计和模型选择问题，无论是从计算和理论的角度。在惩罚极大似然估计的框架下，研究了由混合分量数、高斯均值专家复杂度协方差阵的隐块对角结构组成的GLoME或BLoME模型集合中的模型选择问题.特别是，我们建立了非渐近的风险界，采取的形式弱预言不等式，提供的下界的处罚举行。我们的模型的良好的经验行为，然后证明在合成和真实的数据集。
2022-09-04 cs.AI cs.LG math.ST
Parsimonious Bayesian deep networks
McCombs School of Business（麦库姆斯商学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
结合贝叶斯非参数和前向模型选择策略，我们构建了简约贝叶斯深度网络（PBDN），该网络从数据中推断出容量正则化的网络架构，并且在训练模型时既不需要交叉验证也不需要微调。PBDN的两个基本组成部分之一是开发一个特殊的无限宽单隐藏层神经网络，其活动隐藏单元的数量可以从数据中推断出来。另一个是贪婪逐层学习算法的建设，使用前向模型选择标准，以确定何时停止添加另一个隐藏层。我们开发了基于吉布斯抽样和随机梯度下降的最大后验概率推理的PBDN，提供了最先进的分类精度和可解释的数据子类型的决策边界附近，同时保持低计算复杂度的样本外预测。
2019-01-01 cs.LG stat.CO stat.ME
On Learning a Hidden Directed Graph with Path Queries
Lifion by ADP（ADP旗下Lifion）；University of Illinois at Chicago（芝加哥伊利诺伊大学）
在本文中，我们考虑的问题，重建一个有向图使用路径查询。在这个学习的查询模型中，一个图对学习者是隐藏的，学习者可以通过路径查询访问关于它的信息。对于源节点和目的节点，路径查询返回隐藏图中是否存在从源节点到目的节点的有向路径。本文首先给出了学习图在$n$顶点和$k$强连通分支上的界。然后，我们研究的情况下，有界度有向树，并给出新的算法学习“几乎树”-有向树的额外的边缘已被添加。我们也给出了一些下界的建设证明我们的方法。
2021-03-16 cs.DS cs.LG
Bayesian joint inference for multiple directed acyclic graphs
在许多应用程序中，数据通常来自可能共享相似特征的多个组。同时对多个组进行建模的联合估计方法可能比分别估计每个组中的参数更有效。本文基于有向无环图，研究了数据的依赖结构，提出了一种多图贝叶斯联合推理方法。为了鼓励所有组之间的相似依赖结构，采用马尔可夫随机场先验。我们建立了联合选择一致性的分数后验在高维，联合推理的好处下，共同支持的假设。这是多个有向无环图联合估计的第一个贝叶斯方法。所提出的方法的性能证明使用模拟研究，它表明，我们的联合推理优于其他竞争对手。我们将我们的方法应用于fMRI数据，同时推断多个脑功能网络。
2020-08-14 stat.ME
Entropic Inequality Constraints from $e$-separation Relations in Directed Acyclic Graphs with Hidden Variables
Johns Hopkins University（约翰斯·霍普金斯大学）；Perimeter Institute for Theoretical Physics（圆周理论物理研究所）；University of Gdańsk（格但斯克大学）；International Centre for Theory of Quantum Technologies（国际量子技术理论中心）
含有隐变量的有向无环图（DAG）经常被用来刻画系统中变量之间的因果关系。当某些变量不可观测时，DAG意味着对观测变量分布的一组非常复杂的约束。在这项工作中，我们提出了熵不等式约束隐含的$e$分离关系的隐变量DAG离散观测变量。这些约束可以直观地理解为遵循这样的事实，即沿着因果路径传递信息的变量的能力受到它们的熵的限制;例如，在极端情况下，具有熵的变量$0$可以不传递信息。我们展示了如何使用这些约束从观察到的数据分布中了解真正的因果模型。此外，我们提出了一种称为最小中间熵的因果影响的措施，并证明它可以增强传统的措施，如平均因果效应。
2023-02-22 cs.LG stat.ML
Detection of latent heteroscedasticity and group-based regression effects in linear models via Bayesian model selection
标准线性建模方法可能会对分类效应的结构做出过于简单的假设，这可能会混淆管理数据的更复杂关系。例如，最近的工作集中在双向无重复布局表明，隐藏的分组之间的水平的一个分类预测因子经常与未分组的因素。我们将“潜在分组因子”的概念推广到一般的线性模型。拟议的工作使研究人员能够确定是否一个明显的分类预测的水平分组揭示了一个合理的隐藏结构给定的观察数据。具体来说，我们提供贝叶斯模型选择为基础的方法，以揭示潜在的基于组的异方差，回归效应，和/或相互作用。如果不考虑这些结构，可能会得出误导性的结论。由于潜在的组结构的存在往往是未知的先验的研究人员，我们使用分数贝叶斯因子方法和混合$g$先验，以克服缺乏先验信息。
2019-03-04 stat.AP stat.ME
Equivalence class selection of categorical graphical models
学习变量之间的依赖关系的结构是统计文献中普遍存在的问题。有向无环图（DAG）可以表示一组条件独立性，但不同的DAG可能编码同一组关系，并且使用观察数据无法区分。等价的DAG可以被收集到类中，每个类由称为基本图（EG）的部分有向图表示。结构学习直接在EG空间上进行，而不是在DAG的联合空间上进行，导致理论和计算上的好处。尽管如此，文献中的大多数努力都致力于高斯数据，较少关注为多变量分类数据设计的方法。然后，我们提出了一个贝叶斯方法的结构学习的分类EGs。结合一个建设性的参数先验启发与图驱动的似然分解，我们得到了一个封闭形式的表达分类EG模型的边际似然。渐近性质进行了研究，和MCMC采样方案的近似后验推理。我们评估我们的方法在模拟场景和真实数据，与国家的最先进的方法相比，具有可观的性能。
2021-02-12 stat.ME
Bayesian Approximations to Hidden Semi-Markov Models for Telemetric Monitoring of Physical Activity
我们提出了一个贝叶斯隐马尔可夫模型来分析时间序列和序列数据，其中嵌入了一个特殊结构的转移概率矩阵来建模显式持续时间的半马尔可夫动态。我们的配方允许开发高度灵活和可解释的模型，可以整合现有的先验信息的状态持续时间，同时保持适度的计算成本，以执行有效的后验推理。我们显示的好处，选择贝叶斯方法的HSMM估计的频率对应，在模型选择和样本预测，也突出了计算的可行性，我们的推理过程，而招致的统计误差可以忽略不计。我们的方法的使用说明在电子健康相关的应用程序，在那里我们调查休息活动的节奏，通过可穿戴传感设备收集的遥测活动数据。该分析首次考虑了明确状态驻留分布形式的贝叶斯模型选择。我们进一步研究了将昼夜节律协变量纳入发射密度，并以数据驱动的方式进行估计。
2022-05-20 stat.ME
DORA The Explorer: Directed Outreaching Reinforcement Action-Selection
School of Computer Science and Engineering（计算机科学与工程学院）；Department of Cognitive Sciences（认知科学系）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；The Edmond and Lily Safra Center for Brain Sciences（埃德蒙与莉莉·萨夫拉脑科学中心）；Departments of Neurobiology and Cognitive Sciences（神经生物学与认知科学系）；the Federmann Center for the Study of Rationality（费德曼理性研究中心）
探索是强化学习的一个基本方面，通常使用随机动作选择来实现。然而，如果探索的目的是获得新的世界知识，那么它会更有效率。访问计数器已被证明是有用的，在实践中和理论上的直接勘探。然而，计数器的一个主要限制是它们的位置。虽然有一些基于模型的解决方案来解决这个缺点，但仍然缺少无模型的方法。我们提出了$E$ -值，计数器的泛化，可用于评估传播的探索性值的状态动作轨迹。我们将我们的方法与常用的RL技术进行比较，并表明使用$E$值可以提高传统计数器的学习和性能。我们还展示了如何使用函数逼近来实现我们的方法，以有效地学习连续的MDP。我们证明了这一点，表明我们的方法超越了高速公路雅达利2600游戏的最先进的性能。
2018-04-11 cs.AI cs.LG stat.ML
Dependent stochastic block models for age-indexed sequences of directed causes-of-death networks
Bocconi Institute for Data Science and Analytics, Bocconi University（博科尼大学数据科学与分析研究所）；Department of Decision Sciences, Bocconi University（博科尼大学决策科学系）
针对死亡率建模中缺乏适配年龄索引有向死因网络序列的随机块模型的问题，提出一种贝叶斯依赖随机块模型，可学习根本与促成死因的年龄平滑群体结构，在模拟和美国死亡率数据上表现优异，为理解“绝望死亡”等现象提供新视角。
2025-10-02 stat.AP stat.ME
Towards Characterising Bayesian Network Models under Selection
现实生活中的统计样本经常受到选择偏差的困扰，这使得对一般人群得出结论变得复杂。当对学习变量之间的因果关系感兴趣时，可以假设样本来自选择下的因果贝叶斯网络（BN）模型中的分布。理解选择模型中的约束是恢复原始模型中因果结构的第一步。条件独立（CI）的约束条件下选择的BN模型已经被表征，但是，存在额外的，非CI的约束条件，在这样的模型。在这项工作中，提供了一些初步的结果，简化了表征问题。此外，还设计了一个从完全部分有向无圈图（CPDAG）中识别受迫祖先（确定原因）的算法。最后，非CI，非因式分解约束下的BN模型的选择计算的第一次。
2018-11-13 math.ST stat.TH
Fast selection of nonlinear mixed effect models using penalized likelihood
非线性混合效应模型是一种隐变量模型，在药物计量学等领域有着广泛的应用。在这样的模型中，隐变量的分布特征可以通过包括几个参数来指定，例如必须选择的协变量或相关性。药物基因组学的最新发展带来了平均/高维问题的非线性混合效应建模领域的标准协变量选择技术，如逐步方法是不太适合。提出了使用惩罚似然法选择协变量和相关参数的方法。惩罚似然问题的解决使用随机邻近梯度算法，以避免内外迭代。使用分量自适应梯度步长提高了邻近梯度算法的收敛速度。使用模拟的实际实施和调整的近端梯度算法进行了探讨。正则化参数的校准是通过使用粒子群优化（零阶优化过程）最小化贝叶斯信息准则来执行的。热重启和并行化的使用使得计算时间显著减少。与传统的网格搜索策略相比，所提出的方法的性能进行了探索，使用模拟数据。最后，提供了两个药代动力学研究的实际数据的应用程序，一个研究抗纤维蛋白溶解和其他研究抗生素。
2021-10-17 stat.CO stat.ME
Mixture Hidden Markov Models for Sequence Data: The seqHMM Package in R
序列分析正越来越广泛地应用于社会序列和其他多元分类时间序列数据的分析。然而，描述、可视化和比较大型序列数据通常是复杂的，尤其是当每个受试者有多个平行序列时。隐马尔可夫模型（HHMF）能够检测潜在的潜在结构，并且它们可以用于各种纵向设置中：考虑测量误差，检测不可观测的状态，或者压缩跨几种类型的观测的信息。扩展到混合隐马尔可夫模型（MHALGOT）允许聚类数据到同质子集，有或没有外部协变量。R中的seqHMM包设计用于使用HHMM和MHMM对序列和其他分类时间序列数据进行有效建模，这些数据包含一个或多个主题，具有一个或多个相互依赖的序列。也可以拟合MHMM的其他受限变体，例如，潜在类模型、马尔可夫模型、混合马尔可夫模型、或甚至具有HMM的适当参数化的普通多项式回归模型。在从第一眼看到数据到模型拟合和结果呈现的整个分析过程中，数据和模型的良好图形化呈现非常有用。该软件包提供了绘制并行序列数据的简单选项，并建议将HPLOS可视化为有向图。
2019-01-26 stat.AP stat.CO
Bayesian Higher Order Hidden Markov Models
我们考虑的问题，灵活的建模高阶隐马尔可夫模型时的潜在状态的数量和串行依赖的性质，包括真正的顺序，是未知的。我们提出了贝叶斯非参数方法的基础上张量因式分解技术，可以表征任何转移概率与指定的最大顺序，允许自动选择的重要滞后和捕捉更高阶的滞后之间的相互作用。理论结果提供了洞察的可识别性的发射分布和渐近行为的后验。我们设计了有效的马尔可夫链蒙特卡罗算法的后验计算。在模拟实验中，该方法大大优于其一阶和高阶竞争对手，不仅在高阶设置，但值得注意的是，也在一阶的情况下。使用现实世界的应用程序说明了实用程序。
2019-02-05 stat.ME
Self-directed Machine Learning
Tsinghua University（清华大学）；University of California, San Diego（加州大学圣迭戈分校）
传统的机器学习（ML）严重依赖于机器学习专家的人工设计来决定学习任务、数据、模型、优化算法和评估指标，这是劳动密集型的，耗时的，并且不能像人类一样自主学习。在教育科学中，自我导向学习，即人类学习者自己选择学习任务和材料，而不需要动手指导，已被证明比被动的教师指导学习更有效。受人类自主学习概念的启发，我们引入了自主机器学习（SDML）的主要概念，并提出了SDML的框架。具体来说，我们将SDML设计为一个由自我意识引导的自我导向学习过程，包括内部意识和外部意识。我们提出的SDML过程中受益于自我任务选择，自我数据选择，自我模型选择，自我优化策略选择和自我评估指标选择，通过自我意识，没有人的指导。同时，SDML过程的学习表现作为反馈，以进一步提高自我意识。我们提出了一个基于多级优化的SDML的数学公式。此外，我们提出的案例研究连同SDML的潜在应用，然后讨论未来的研究方向。我们希望SDML能够使机器进行类似人类的自我导向学习，并为人工智能提供新的视角。
2022-01-08 cs.AI cs.LG
Supervised Learning for Coverage-Directed Test Selection in Simulation-Based Verification
University of Bristol（布里斯托大学）；Infineon Technologies（英飞凌科技）
约束随机测试生成是仿真验证中最常用的激励生成方法之一。随机性导致测试多样性，但测试往往会重复执行相同的设计逻辑。约束被编写（通常是手动编写的）以使随机测试偏向于有趣的、难以达到的和尚未测试的逻辑。然而，随着验证的进展，大多数约束随机测试对功能覆盖率几乎没有影响。如果刺激生成消耗的资源比模拟少得多，那么更好的方法是随机生成大量测试，选择最有效的子集，然后只模拟该子集。本文介绍了一种自动约束提取和测试选择的新方法。这种方法，我们称之为覆盖导向测试选择，是基于覆盖反馈的监督学习。我们的方法偏向于选择具有高概率增加功能覆盖率的测试，并优先考虑它们进行模拟。我们展示了如何覆盖导向的测试选择可以减少手动约束编写，优先有效的测试，减少验证资源消耗，并加速覆盖关闭一个大型的，现实生活中的工业硬件设计。
2022-10-16 cs.AI cs.AR cs.LG
Information-Directed Selection for Top-Two Algorithms
The Hong Kong University of Science and Technology（香港科技大学）；Columbia University（哥伦比亚大学）
针对多臂老虎机最佳k臂识别，本文用对偶条件扩展top-two原则并提出IDS选择规则，证明top-two Thompson sampling渐近最优，实验显示性能显著提升。
2023-07-17 cs.LG stat.ML
Dual-Directed Algorithm Design for Efficient Pure Exploration
Stanford Graduate School of Business, Stanford University（斯坦福商学院、斯坦福大学）；Department of Industrial Engineering and Decision Analytics, The Hong Kong University of Science and Technology（工业工程与决策分析系、香港科学与技术大学）
针对多类纯探索问题，提出基于对偶变量的统一算法设计原则，衍生出信息导向选择规则，使top-two汤普森采样达到渐近最优，并适用于阈值赌博机与ε-最优臂识别。
2025-05-27 cs.LG stat.ML
How Sensitive Are LLM Leaderboard Claims to Hidden Model Selection?
Texas A&M University（得克萨斯农工大学）；Mayo Clinic（梅奥诊所）
本研究量化了 LLM 排行榜声明对隐藏模型选择的敏感度，通过敏感度曲线揭示多数相邻排名声明缺乏统计支持，并强调了相关性假设的关键作用。
2026-09-29 cs.LG stat.ML
Learning Linear Non-Gaussian Graphical Models with Multidirected Edges
The University of British Columbia（英属哥伦比亚大学）
本文提出了一种新的方法来学习给定观测数据的线性非高斯结构方程模型的底层非循环混合图。我们建立在王和Drton提出的算法，我们表明，可以通过学习{ \em多向边}，而不是只有定向和双向的增加隐藏变量结构的恢复模型。当两个以上的观测变量有一个隐藏的共同原因时，就会出现多向边。我们检测到存在这样的隐藏的原因，通过寻找高阶累积量和利用多跋涉规则。我们的方法恢复正确的结构时，底层图是一个无弓无环混合图与潜在的多有向边。
2020-10-11 cs.LG math.ST stat.ML
GHOST: Unmasking Phantom States in Mamba2 via Grouped Hidden-state Output-aware Selection & Truncation
Rice University（里士满大学）
GHOST通过分组隐藏状态输出感知选择与截断，实现Mamba2中状态维度的高效剪枝，减少50%的状态维度并保持模型性能
2026-02-11 cs.AI cs.LG cs.SY
Coarse-Graining Hidden Representations: Unsupervised Neuron Selection via Mapping Entropy
University of Trento（特伦托大学）；INFN-TIFPA, Trento Institute for Fundamental Physics and Applications（INFN-TIFPA 特伦托基础物理与应用研究所）；Radboud University（拉德堡德大学）
该研究提出通过最小化映射熵（ME）的无监督准则选择过参数化神经网络的关键神经元，在师生网络、非线性高斯过程任务及翻译增强MNIST上，ME选择的子网络性能优于同等规模随机子集。
2026-09-07 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Automatic Node Selection for Deep Neural Networks using Group Lasso Regularization
Doshisha University（同志社大学）；Advanced Telecommunications Research Institute International（国际高级电信研究所）
我们通过将DNN-HMM混合语音识别器应用于TED Talks语音数据来检查组Lasso（gLasso）正则化器在选择深度神经网络（DNN）隐藏层的显着节点时的效果。我们测试了两种类型的gLasso正则化，一种用于传出权重向量，另一种用于传入权重向量，以及两种大小的DNN：2048个隐藏层节点和4096个节点。此外，我们比较了gLasso和L2正则化器。我们的实验结果表明，我们的DNN训练（其中嵌入了gLasso正则化器）成功地选择了实现高分类能力所必需且足够的隐藏层节点。
2016-11-17 cs.CL cs.LG stat.ML
Learning high-dimensional directed acyclic graphs with latent and selection variables
ETH Zürich（苏黎世联邦理工学院）；University of Washington（华盛顿大学）
我们考虑的问题，学习因果信息之间的随机变量在有向无环图（DAG）时，允许任意多的潜在和选择变量。FCI（快速因果推断）算法已明确设计，以推断条件独立性和因果信息，在这样的设置。然而，FCI是计算上不可行的大型图。因此，我们提出了新的RFCI算法，这是比FCI快得多。在某些情况下，RFCI的输出信息量稍少，特别是在条件独立性信息方面。然而，我们证明了RFCI输出中的任何因果信息在渐近极限下都是正确的。我们还定义了一类图上的FCI和RFCI的输出是相同的。我们证明了FCI和RFCI在稀疏高维环境中的一致性，并在仿真中证明了算法的估计性能非常相似。所有软件都在R-package pcalg中实现。
2012-05-29 cs.LG math.ST stat.ME
Beyond Additivity: Causal Discovery in Location-Scale Noise Models with Hidden Variables
RIKEN AIP（理化学研究所Advanced Institute for Science Technology）；University of Bergen（卑尔根大学）；The University of Osaka（大阪大学）；Shiga University（滋贺大学）
针对含隐变量且数据生成过程遵循位置-尺度噪声模型（LSNM）的因果发现，证明满足无弓条件的非循环有向混合图（ADMG）可识别，并提出两阶段算法LSNM-UV，在异方差数据上优于可加性基线。
2026-06-06 cs.AI cs.LG stat.ME
SLIM: Sparse Latent Steering for Interpretable and Property-Directed LLM-Based Molecular Editing
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；The 63rd Research Institute, National University of Defense Technology, Nanjing（国防科技大学第六三研究所，南京）
SLIM通过稀疏潜在特征空间提升分子编辑效果，实现属性导向的可解释编辑，实验显示在多个分子属性上提升达42.4个百分点。
2026-05-11 cs.AI cs.CE cs.CL
Single-Rollout Hidden-State Dynamics for Training-Free RLVR Data Selection
Faculty of Information Technology, Monash University, Melbourne, Australia（信息技术学院，墨尔本大学，澳大利亚）
提出SHIFT方法，通过单次推理展开的隐藏状态变化（RIRS）作为实例效用代理，结合质量加权CoreSet覆盖，实现无训练、无标签的RLVR数据选择，在数学推理和医学QA上优于基线。
2026-05-27 cs.LG
Solving a directed percolation inverse problem
Cornell University（康奈尔大学）
我们提出了一个有向渗流反问题的二极管网络：给定的信息，哪些对节点允许电流从一个渗透到另一个，可以找到一个配置的二极管与所观察到的电流一致？我们实现了一个划分和并发迭代投影方法来解决这个问题，并证明了我们的方法的至高无上的非平凡的问题的情况下，一个详尽的方法。我们发现，当一些但不是所有的渗流数据被隐藏时，这个问题是最困难的，并且最难重建的网络通常是那些电流对添加或移除单个二极管最敏感的网络。
2022-08-29 cond-mat.dis-nn cs.LG nlin.AO
Semiparametric Inference For Causal Effects In Graphical Models With Hidden Variables
Williams College（威廉姆斯学院）；Emory University（埃默里大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
研究了隐变量有向无环图因果模型中因果效应的辨识理论。然而，相应的算法未得到充分利用，由于估计的识别泛函，他们的输出的复杂性。在这项工作中，我们弥合了识别和估计涉及单一治疗和单一结果的人群水平因果效应之间的差距。我们推导出基于影响函数的估计，表现出双重的鲁棒性，在一个大类的隐变量DAG的治疗满足一个简单的图形标准，这一类包括模型产生的调整和前门泛函作为特殊情况下的识别效果。我们还提供了必要和充分的条件下，一个隐藏的变量DAG的统计模型是非参数饱和，并意味着没有观察到的数据分布的等式约束。此外，我们推导出一类重要的隐变量DAG，这意味着观察到的数据分布观测等价（等式约束）充分观察到的DAG。在这些类别的DAG，我们推导出估计，实现半参数的有效性界限的目标感兴趣的治疗满足我们的图形标准。最后，我们提供了一个健全的和完整的识别算法，直接产生一个基于权重的估计策略，任何可识别的影响，隐藏变量因果模型。
2022-10-13 cs.LG stat.ML
From Learning to Analytics: Improving Model Efficacy with Goal-Directed Client Selection
The Hong Kong University of Science and Technology（香港科技大学）；Xiamen University（厦门大学）；University of Houston（休斯顿大学）；Kyung Hee University（庆熙大学）
本文针对联邦学习后的模型评估问题，提出闭环模型分析框架，并将目标导向的客户端选择建模为随机多臂老虎机问题，分别提出Quick-Init UCB和BP-UCB算法，实现近乎最优性能。
2024-03-30 cs.LG eess.SP
ExpertMatcher: Automating ML Model Selection for Clients using Hidden Representations
MIT（麻省理工学院）；MGH/Harvard Medical School（麻省总医院/哈佛医学院）
最近，已经开发了拆分学习，一种用于分布式计算的框架，其中模型组件在客户端和服务器之间拆分（Vepakomma等人，2018年b）。由于拆分学习扩展到包括许多不同的模型组件，因此需要一种将客户端模型组件与最佳服务器端模型组件相匹配的方法。在ExpertMatcher（Sharma等人，2019）框架，它使用自动编码器将原始数据与模型相匹配。在这项工作中，我们提出了一个扩展的ExpertMatcher，匹配可以执行，而不需要共享客户端的原始数据表示。该技术适用于存在本地客户端和集中式专家ML模型的情况，但原始数据的共享受到限制。
2019-10-09 cs.CV cs.DC cs.LG
Principled Data Selection for Alignment: The Hidden Risks of Difficult Examples
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Tencent Inc（腾讯公司）；HKUST (Guangzhou)（香港科技大学（广州））
本文揭示过难偏好数据会超出模型容量并损害对齐，提出 Selective DPO 过滤困难样本，在 AlpacaEval 2 上将胜率较 DPO 提升 9–16%。
2025-05-13 cs.AI cs.CL cs.LG
Directed Information $γ$-covering: An Information-Theoretic Framework for Context Engineering
Atlassian（Atlassian公司）
该研究提出有向信息$\gamma$-覆盖这一具备冗余感知的上下文工程框架，将上下文选择建模为$\gamma$-覆盖问题并给出有理论保证的贪心算法，其查询无关可离线计算，在HotpotQA上优于BM25基线，为LLM流水线提供了有理论依据的自组织基础。
2025-09-30 cs.IT cs.LG math.IT
Practically Effective Adjustment Variable Selection in Causal Inference
Sony Corporation of America（美国索尼公司）；Sony Computer Science Laboratories, Inc.（索尼计算机科学实验室股份公司）
本文针对有限数据下因果效应估计中调整变量选择问题，提出变量选择准则与防精度下降算法，并将其推广至CPDAG，通过定理和实验验证了方法的实用有效性。
2025-02-04 cs.AI cs.LG physics.data-an
FireGraphNet: Sub-daily wildfire spread prediction with directed graph neural networks
Texas A&M University（德克萨斯农工大学）
FireGraphNet将12小时野火增长建模为有向H3图的节点分类，在加州及外州野火预测中精度优于基线，其性能源于消息传递，可用于野火干预分析。
2026-10-13 cs.LG
OrthoRank: Token Selection via Sink Token Orthogonality for Efficient LLM inference
Samsung Advanced Institute of Technology, Korea（三星先进技术研究所，韩国）
本文提出 OrthoRank 动态令牌选择方法，利用令牌向汇聚令牌移动速度定义重要性，在保持效率的同时提升大语言模型推理性能。
2025-08-16 cs.AI cs.CL cs.LG
ODBO: Bayesian Optimization with Search Space Prescreening for Directed Protein Evolution
Tencent Quantum Laboratory（腾讯量子实验室）
本文提出ODBO框架，通过低维蛋白质编码、异常检测预筛选搜索空间和贝叶斯优化，结合初始样本选择策略，以更少实验样本高效发现定向进化中具有目标性质的蛋白质变体。
2024-05-01 cs.LG q-bio.BM q-bio.QM
Variational Physics-Informed Ansatz for Reconstructing Hidden Interaction Networks from Steady States
School of Information Science and Technology, Fudan University（信息科学与技术学院，复旦大学）
本文提出变分物理信息假设法，通过稳态数据重构复杂相互作用网络，无需时间轨迹或监督，适用于仅能获取快照观测的场景。
2026-10-07 cs.LG
Analyzing the Hidden Activations of Deep Policy Networks: Why Representation Matters
Northwestern University（西北大学）
我们分析了深度强化学习（RL）代理的神经网络策略的隐藏激活，并根据经验表明，可以先验地知道状态表示是否适合快速学习。高维状态下的RL代理有两个主要的学习负担：（1）学习动作选择策略，（2）学习在给定状态下区分有用和无用的信息。通过使用辅助模型学习这些高维状态的潜在表示，有效地消除了后者的负担，从而加快了训练进度。我们在PyBullet Kuka环境中的任务中研究了这种现象，其中代理必须学会控制机器人抓手来拾取物体。我们的分析揭示了神经网络策略如何在整个训练过程中学习组织其状态空间的内部表示。该分析的结果提供了三个关于RL代理学习深度的主要见解。首先，在政策网络中有一个组织良好的内部代表是学习好的行动选择的先决条件。其次，初始表示不佳可能导致策略网络内不可恢复的崩溃。第三，良好的初始表示允许代理的策略网络甚至在任何训练开始之前组织其内部表示。
2021-03-11 cs.LG
A Statistical-Modelling Approach to Feedforward Neural Network Model Selection
University of Limerick（利默里克大学）
本文提出基于贝叶斯信息准则（BIC）的前馈神经网络模型选择方法，可同时进行输入变量和隐藏节点选择，在保持简约性的同时提高恢复真实模型的概率和样本外性能。
2024-05-01 cs.LG stat.ME
