Restricted Boltzmann Machine with Multivalued Hidden Variables: a model suppressing over-fitting
ALBERT Inc.(阿尔伯特公司);Graduate School of Science and Engineering, Yamagata University(山形大学理工学研究生院)
泛化是机器学习中最重要的问题之一。在这项研究中,我们考虑在限制玻尔兹曼机(RBM)的推广。我们提出了一个多值隐变量的RBM,这是一个简单的扩展传统的RBM。我们证明了该模型是优于传统的模型,通过数值实验的对比发散学习与人工数据和分类问题与MNIST。
2020-01-08 cs.LG stat.ML
When Shift Happens - Confounding Is to Blame
CISPA Helmholtz Center for Information Security(CISPA霍普夫研究中心)
研究指出分布偏移下ERM表现优异及全协变量利用提升OOD泛化的现象源于隐藏混杂,证明需学习环境特定关系并可用代理变量缓解挑战,为OOD算法设计提供新指导。
2025-05-27 cs.LG
How does unlabeled data improve generalization in self-training? A one-hidden-layer theoretical analysis
Rensselaer Polytechnic Institute(伦斯勒理工学院);Michigan State University(密歇根州立大学);MIT-IBM Watson AI Lab, IBM Research(麻省理工学院-IBM沃森人工智能实验室(IBM研究院));IBM Research(IBM研究院);University at Buffalo(布法罗大学)
自训练是一种半监督学习算法,当标记数据有限时,它利用大量未标记数据来改进学习。尽管在经验上取得了成功,但其理论特征仍然难以捉摸。据我们所知,这项工作建立了已知的迭代自训练范式的第一个理论分析,并证明了未标记数据在训练收敛和泛化能力方面的好处。为了使我们的理论分析可行,我们集中在单隐层神经网络的情况下。然而,迭代自训练的理论理解是不平凡的,即使是浅神经网络。其中一个关键挑战是,现有的神经网络景观分析建立在监督学习不再持有(半监督)自训练范式。我们解决了这一挑战,并证明迭代自训练的收敛速度和泛化精度都线性提高了$1/\sqrt{M}$的顺序,其中$M$是未标记样本的数量。还提供了从浅层神经网络到深层神经网络的实验,以证明我们建立的自训练理论见解的正确性。
2022-02-14 cs.LG eess.SP
Neural Cellular Automata Learn General Features in their Hidden Channels
Østfold University of Applied Sciences(东福尔郡应用科学大学)
本文研究神经细胞自动机隐藏通道的内部动态,提出将预训练教师隐藏状态注入学生模型的迁移学习机制,在少样本MNIST上以约9800参数超越循环和前馈架构,证明隐藏通道捕获通用尺度不变拓扑特征,实现参数高效迁移学习。
2026-09-21 cs.AI cs.LG
How does promoting the minority fraction affect generalization? A theoretical study of the one-hidden-layer neural network on group imbalance
Rensselaer Polytechnic Institute(伦斯勒理工学院);New Jersey Institute of Technology(新泽西理工学院);Michigan State University(密歇根州立大学);IBM Research(IBM研究院)
本研究通过高斯混合模型理论分析单隐层神经网络在群体不平衡下的泛化,首次给出ERM的群体层面泛化界,发现中等协方差和近零均值时性能最优,且增加少数群体比例不一定改善其泛化。
2024-03-19 cs.LG stat.ML
Generalization performance of narrow one-hidden layer networks in the teacher-student setting
Alma Mater Studiorum – Università di Bologna (Unibo)(博洛尼亚大学);International School of Advanced Studies (SISSA)(国际先进研究学校);The Abdus Salam International Centre for Theoretical Physics(阿布杜勒·萨拉姆国际理论物理中心);Department of Mathematics, University of Bologna(博洛尼亚大学数学系);Donders Institute for Brain, Cognition and Behaviour(大脑、认知与行为研究所);Radboud University(拉德堡德大学);John A. Paulson School of Engineering and Applied Sciences(约翰·A·波尔森工程与应用科学学院)
研究窄单隐藏层网络在教师-学生设置中的泛化性能,通过统计物理方法推导出泛化误差的闭式表达式,揭示了隐藏神经元在样本足够多时与教师特征对齐的相变现象。
2026-03-25 cond-mat.dis-nn cs.LG math.PR
Input margins can predict generalization too
North-West University(西北大学);CAIR;SANSA;NITheCS
本文提出约束边际度量,证明在适当约束搜索空间下输入边际可预测深度神经网络泛化,并在PGDL数据集上优于其他边际测量。
2023-08-29 cs.CV cs.LG
Prompting the Hidden Talent of Web-Scale Speech Models for Zero-Shot Task Generalization
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Carnegie Mellon University(卡内基梅隆大学)
本文通过任务专用提示工程激发 Whisper 的零样本泛化能力,在 AVSR、CS-ASR 和 ST 任务上显著提升性能并揭示其潜在特性。
2023-08-16 cs.AI cs.CL cs.LG
Hidden Physics Models: Machine Learning of Nonlinear Partial Differential Equations
Brown University(布朗大学)
虽然目前对“大数据”有很多热情,但有用的数据通常是“小”的,而且获取成本很高。在本文中,我们提出了一个新的范式学习偏微分方程从{\em小}数据。特别是,我们介绍了\emph{hidden physics models},这基本上是数据高效的学习机器,能够利用物理学的基本定律,表示时间依赖性和非线性偏微分方程,从实验产生的高维数据中提取模式。所提出的方法可应用于学习问题,系统辨识,或偏微分方程的数据驱动的发现。我们的框架依赖于高斯过程,这是一种功能强大的概率推理工具,使我们能够在模型复杂性和数据拟合之间取得平衡。所提出的方法的有效性证明通过各种典型的问题,跨越了一些科学领域,包括Navier-Stokes,薛定谔,Kuramoto-Sivashinsky,和时间相关的线性分数方程。该方法为利用应用数学和数学物理中经典方法的长期发展提供了一个有希望的新方向,以设计能够在复杂领域中操作而无需大量数据的学习机器。
2017-08-21 cs.AI cs.LG math.AP
Can Data-Driven Dynamics Reveal Hidden Physics? There Is A Need for Interpretable Neural Operators
Department of Applied Mathematics and Statistics, Stony Brook University(应用数学与统计学系,石英布鲁克大学);Department of Computer Science, Stony Brook University(计算机科学系,石英布鲁克大学)
本研究将神经算子分为空间域与函数域两类,提出解释其预测过程的方法并证明其可学习隐藏物理模式,同时验证双空间多尺度模型的SOTA性能,指出亟需可泛化解释框架与融合已知物理的原则性框架。
2025-10-03 cs.AI cs.LG
Better Modelling Out-of-Distribution Regression on Distributed Acoustic Sensor Data Using Anchored Hidden State Mixup
NORCE Norwegian Research Centre AS(NORCE挪威研究中心);University of Stavanger(斯塔万格大学)
将机器学习模型的应用推广到训练数据和测试数据的统计分布不同的情况一直是一个复杂的问题。我们在本文中的贡献有三个方面:(1)我们引入了一种基于正则化的分布外(OOD)回归混淆算法,利用流形隐藏状态混淆和观察相似性来形成一种新的正则化惩罚,(2)我们提供了第一个适合于测试OOD回归建模的高分辨率分布式声学传感器(DAS)数据集,允许其他研究人员在这一领域的基准进展,和(3)我们证明了广泛的评估所提出的方法对现有方法的泛化性能,然后表明我们的方法达到最先进的性能。最后,我们还通过在其他类型的回归数据集(包括Udacity和Rotation-MNIST数据集)上表现出更好的泛化性能,证明了所提出的方法具有更广泛的适用性。
2022-02-23 cs.LG
The Hidden Power of Normalization Layers in Neural Networks: Exponential Capacity Control
School of Information and Communication Technology, Hanoi University of Science and Technology(信息与通信技术学院,河内科学技术大学)
本文通过容量控制理论揭示归一化层在深度学习中通过指数级减少Lipschitz常数,从而提升优化稳定性和泛化能力。
2026-02-22 cs.AI cs.LG stat.ML
Constrained Extreme Learning Machines: A Study on Classification Cases
极限学习机(ELM)是一种非常快速的学习方法,在模式识别任务中具有强大的性能。但其良好的泛化能力是建立在大量隐层神经元的基础上的,不利于测试过程的实时的响应。在本文中,我们提出了新的方法,命名为“约束极端学习机”(CELM),随机选择隐藏的神经元的样本分布的基础上。与ELM中完全随机选择隐藏节点相比,CELM从包含原始样本向量的一些基本组合的约束向量空间中随机选择隐藏节点。实验结果表明,该方法比传统的ELM、SVM等方法具有更好的泛化能力。此外,CELM具有与ELM类似的快速学习速度。
2015-02-04 cs.CV cs.LG cs.NE
Stochastic Physics-Informed Neural Ordinary Differential Equations
University of California, Berkeley(加州大学伯克利分校);The Ohio State University(俄亥俄州立大学)
随机微分方程(SDEs)被用来描述各种复杂的随机动力系统。学习SDES中隐藏的物理对于解开这些系统的随机和非线性行为的基本理解至关重要。我们提出了一个灵活的和可扩展的框架,用于训练人工神经网络学习本构方程,代表隐藏的物理在SDES。所提出的随机物理通知的神经常微分方程框架(SPINODE)通过已知的神经元结构传播随机性(即,已知的物理学)以产生一组描述随机状态的统计矩的时间演化的确定性常微分方程。SPINODE然后使用ODE解算器来预测时刻轨迹。SPINODE通过将预测的时刻与从数据中估计的时刻相匹配来学习隐藏物理的神经网络表示。利用自动微分和具有伴随灵敏度的小批量梯度下降的最新进展来建立神经网络的未知参数。我们证明了SPINODE在三个基准在硅片的案例研究和分析框架的数值鲁棒性和稳定性。SPINODE为系统地揭示具有乘性噪声的多元随机动力系统的隐藏物理提供了一个有前途的新方向。
2022-07-24 cs.AI cs.LG
Learning and Generalization in RNNs
Princeton University(普林斯顿大学);Microsoft Research India(微软印度研究院)
简单的递归神经网络(RNN)及其更高级的表亲LSTM等在序列建模方面非常成功。然而,他们的理论理解是缺乏的,并没有跟上前馈网络的进展,在高度过参数化的一个隐藏层网络的特殊情况下,已经出现了一个合理的完整的理解。在本文中,我们通过证明RNN可以学习序列的函数来弥补这种情况。在以前的工作,只能处理的功能的序列,是在序列中的各个令牌的功能的总和,我们允许一般的功能。从概念和技术上讲,我们引入了新的想法,使我们能够在证明中从RNN的隐藏状态中提取信息-解决了以前工作中的一个关键弱点。我们举例说明我们的一些正则语言识别问题的结果。
2021-05-31 cs.LG
The Hidden Influence of Latent Feature Magnitude When Learning with Imbalanced Data
University of Notre Dame(圣母大学);Lucy Family Institute for Data and Society(露西家庭数据与社会研究所)
该研究揭示不平衡数据下机器学习模型泛化受损的核心原因之一是模型推理依赖编码信号量级,即使强数据增强也无法消除参数化模型将标签与有限特征组合关联的问题,为不平衡学习提供了新的解释视角。
2024-07-14 cs.LG
Discovery of Physics and Characterization of Microstructure from Data with Bayesian Hidden Physics Models
GE Research(通用电气研究院)
人们对使用机器学习技术来协助制定知识以解释观测数据的科学过程的兴趣激增。我们展示了使用贝叶斯隐藏物理模型,首先揭示物理学的声脉冲在金属标本中的传播,使用从原始样品中获得的数据。然后,我们使用所学的物理学来表征具有表面断裂裂纹缺陷的单独试样的微观结构。值得注意的是,我们发现,从第一个标本学到的物理学使我们能够理解后一个样品中观察到的后向散射,这是一个定性特征,完全不存在的标本,从中推断的物理学。后向散射解释通过一个潜在的空间场,可以被认为是在媒体中的声速的不均匀性。
2021-03-12 cs.CE cs.LG
On the Sample Complexity of One Hidden Layer Networks with Equivariance, Locality and Weight Sharing
Qualcomm AI Research(高通人工智能研究部门);Qualcomm Technologies, Inc.(高通技术公司)
本文通过统计学习理论,分析了单隐层网络中权重共享、等变性和局部性对样本复杂度的影响,给出了维度无关的界,并指出局部性与表达力存在权衡。
2025-01-23 cs.LG math.ST stat.ML
Dimensionality reduction to maximize prediction generalization capability
RIKEN Center for Brain Science(理化学研究所脑科学中心);The University of Tokyo(东京大学)
时间序列预测的泛化仍然是机器学习中的一个重要的开放问题,其中早期的方法具有较大的泛化误差或局部极小值。我们开发了一个分析可解的,无监督的学习计划,提取预测未来的输入,称为预测主成分分析(PredPCA)的信息量最大的组件。我们的方案可以有效地去除不可预测的噪声,并通过凸优化最小化测试预测误差。数学分析表明,提供足够的训练样本和足够的高维观测,PredPCA可以渐近地识别隐藏状态,系统参数和典型的非线性生成过程的维数,具有全局收敛性保证。我们演示了使用顺序视觉输入,包括手的数字,旋转的3D对象,和自然场景的PredPCA的性能。它可靠地估计不同的隐藏状态,并预测以前看不见的测试输入数据的未来结果,完全基于噪声观测。PredPCA的简单架构和低计算成本是非常可取的神经形态硬件。
2022-01-20 cs.CV cs.LG stat.ML
Are Two Hidden Layers Still Enough for the Physics-Informed Neural Networks?
Department of Radiophysics, University of Nizhny Novgorod(尼日尼诺夫戈罗德大学无线电物理系);Huawei Nizhny Novgorod Research Center(华为尼日尼诺夫戈罗德研究中心);Skolkovo Institute of Science and Technology(斯克尔科沃科学技术研究院)
本文针对物理信息神经网络,系统提出单隐藏层网络的确定性初始化、损失加权、数据驱动初始化及无梯度逐神经元拟合等方法,并扩展到二维SPINN,实验证明一个或两个隐藏层即可在ODE/PDE求解中取得竞争性甚至最先进精度。
2024-12-26 cs.AI cs.LG cs.NA
Learning Hidden States in a Chaotic System: A Physics-Informed Echo State Network Approach
Technical University of Munich(慕尼黑工业大学);University of Cambridge(剑桥大学)
我们扩展了物理信息回声状态网络(PI-ESN)的框架来重建混沌系统中不可测状态(隐藏状态)的演化。PI-ESN通过使用(i)不包含未测量状态信息的数据和(ii)原型混沌动力系统的物理方程来训练。考虑非噪声和噪声数据集。首先,它表明,PI-ESN可以准确地重建未测量的状态。其次,重建被证明是强大的噪声数据,这意味着作为一个去噪的PI-ESN。这篇论文为利用物理知识和机器学习之间的协同作用来增强混沌动力系统中不可测状态的重建和预测开辟了新的可能性。
2020-04-07 cs.LG eess.SP
Hidden Unit Specialization in Layered Neural Networks: ReLU vs. Sigmoidal Activation
Bernoulli Institute for Mathematics, Computer Science and Artificial Intelligence(伯努利数学、计算机科学与人工智能研究所);University of Groningen(格罗宁根大学)
我们研究分层神经网络的整流线性单元(ReLU)的建模框架随机训练过程。与S形激活函数的比较是感兴趣的中心。我们计算典型的学习曲线,在匹配的学生教师场景中,具有K个隐藏单元的浅网络。在训练集的临界规模下,系统的泛化性能通过隐藏单元的特殊化过程表现出突变。令人惊讶的是,我们的结果表明,ReLU网络的训练行为与具有S形激活的网络有质的不同。在具有K >= 3个S形隐藏单元的网络中,过渡是不连续的:即使对于非常大的训练集,专用网络配置也共存并与性能较差的状态竞争。相反,使用ReLU激活会导致所有K的连续转换:对于足够大的训练集,两个竞争的,不同的专业化状态显示出相似的泛化能力,这对于K到无穷大的大型网络来说完全一致。
2020-05-27 cond-mat.dis-nn cs.LG stat.ML
Learning Hidden Physics and System Parameters with Deep Operator Networks
Johns Hopkins Whiting School of Engineering(约翰霍普金斯大学沃thing工程学院);Robert Bosch Research and Technology Center(罗伯特博世研究与技术中心)
本文提出基于深度运算网络的两种框架,用于发现隐藏的物理定律和识别系统参数,通过在稀疏观测中发现未知PDE项和参数估计,实现高精度的物理发现和参数识别。
2026-03-22 cs.LG
Enforcing hidden physics in physics-informed neural networks
Tongji University(同济大学);Yale University(耶鲁大学);University of Oxford(牛津大学)
本文提出了一种不可逆性正则化策略,用于在物理信息神经网络中强制隐藏物理规律,从而提升模型在多种科学问题中的鲁棒性和预测精度。
2025-12-11 cs.LG physics.comp-ph
Understanding Generalizability of Diffusion Models Requires Rethinking the Hidden Gaussian Structure
University of Michigan(密歇根大学)
本研究通过分析得分函数隐藏特性发现扩散模型从记忆到泛化时非线性去噪器线性增强,其线性对应物近似多元高斯最优去噪器,揭示模型利用训练数据高斯结构的归纳偏置,为理解强泛化现象提供关键见解。
2024-12-02 cs.CV cs.LG eess.IV
Learning through deterministic assignment of hidden parameters
Wenzhou University(温州大学)
监督学习通常归结为基于有限输入输出样本在参数化假设空间中确定隐藏和亮参数。隐参数决定了隐预测量的属性或估计量的非线性机制,而亮参数则表征了隐预测量如何线性组合或线性机制。在传统的学习范式中,隐参数和亮参数不能在一个学习过程中同时区分和训练。这种一阶段学习(OSL)带来了理论分析的好处,但遭受高计算负担。为了克服这一困难,提出了一种两阶段学习(TSL)方案,其特征在于通过确定性隐参数分配(LtDaHP)进行学习,该方案建议通过使用球面上的最小Riesz能量点和区间上的等距点来确定性地生成隐参数。我们从理论上证明了在这样确定性地分配隐参数的情况下,具有神经网络实现的LtDaHP的泛化性能几乎与OSL的泛化性能相同,并给出了一系列的仿真和应用实例来支持LtDaHP的优越性能
2018-09-13 cs.LG stat.ML
Detecting hidden structures from a static loading experiment: topology optimization meets physics-informed neural networks
Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
针对单次静态加载实验下隐藏几何结构反演的挑战,提出一种基于物理信息神经网络(PINNs)的拓扑优化框架,通过材料密度场与程函正则化实现任意解拓扑,能检测2D/3D隐藏孔洞和夹杂物的数量、位置及形状,且对噪声和稀疏数据鲁棒。
2025-02-14 cs.AI cs.CE cs.LG
Physics of Language Models: Part 2.1, Grade-School Math and the Hidden Reasoning Process
CMU(卡内基梅隆大学);Meta FAIR;MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文通过受控实验研究语言模型解决小学数学问题的隐藏推理机制,探讨其是否真正具备推理技能及与人类推理的异同,揭示了超越当前LLM理解的内部机制。
2024-07-29 cs.AI cs.CL cs.LG
Spatio-temporal Attention-based Hidden Physics-informed Neural Network for Remaining Useful Life Prediction
Lancaster University(兰卡斯特大学);University of Western Ontario(西安大略大学)
针对剩余使用寿命预测中深度学习方法精度低、可解释性差的问题,提出融合时空注意力与隐式物理信息的STA-HPINN模型,通过双维度自注意力提取退化特征并结合物理约束提升性能,在基准数据集尤其复杂工况下优于前沿方法。
2024-05-20 cs.LG cs.SY eess.SY
Generalization bounds for deep convolutional neural networks
Google Brain(谷歌大脑)
我们证明了卷积网络的泛化误差的界。边界是根据训练损失,参数的数量,损失的Lipschitz常数和从权重到初始权重的距离。它们独立于输入中的像素数量以及隐藏特征图的高度和宽度。我们使用CIFAR-10与深度卷积网络的不同超参数进行了实验,将我们的边界与实际的泛化差距进行了比较。
2020-04-08 cs.AI cs.LG cs.NE
Error Analysis and Numerical Algorithm for PDE Approximation with Hidden-Layer Concatenated Physics Informed Neural Networks
Xi’an University of Technology(西安理工大学);Northwest University(西北大学);Purdue University(普渡大学)
本文提出HLConcPINN方法,结合隐层拼接网络、分块时间推进和物理信息策略逼近抛物型与双曲型偏微分方程,建立误差界并推广了仅限两层和tanh激活的既有理论保证方法。
2024-06-10 cs.LG cs.NA math.NA
Redundant representations help generalization in wide neural networks
International School for Advanced Studies(国际高等研究学院);Bank of Italy(意大利银行)
该研究针对深度神经网络良性过拟合的机制难题,通过分析前沿卷积神经网络的末隐藏层表示,发现宽层中会形成携带相同信息、仅含独立噪声的神经元组,且冗余神经元仅在训练插值、误差为零时出现,揭示了冗余表示助力泛化的规律。
2023-04-29 cs.CV cs.LG stat.ML
Variational Physics-Informed Ansatz for Reconstructing Hidden Interaction Networks from Steady States
School of Information Science and Technology, Fudan University(信息科学与技术学院,复旦大学)
本文提出变分物理信息假设法,通过稳态数据重构复杂相互作用网络,无需时间轨迹或监督,适用于仅能获取快照观测的场景。
2026-10-07 cs.LG
Bayesian Hidden Physics Models: Uncertainty Quantification for Discovery of Nonlinear Partial Differential Operators from Data
GE Research(通用电气研究中心)
关于物理学,数据告诉了我们什么,它们没有告诉我们什么?人们对使用机器学习模型从数据中发现微分方程等支配性物理定律的兴趣激增,但目前的方法缺乏不确定性量化来传达其可信度。这项工作从贝叶斯的角度解决了这个缺点。我们介绍了一种新的模型,包括“叶”模块,学习代表不同的实验的时空功能数据作为神经网络和一个单一的“根”模块,表示其管理的非线性微分算子作为高斯过程的非参数分布。自动微分用于从叶函数计算所需的偏导数作为根的输入。我们的方法量化的可靠性的学习物理学的后验分布在运营商和传播这种不确定性的解决方案的新的初边值问题的实例。数值实验证明了该方法对几个非线性偏微分方程。
2020-06-07 cs.LG stat.ML
Spectrum-Adaptive Generalization Bounds for Trained Deep Transformers
The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(日本Advanced Intelligence Project研究中心);Kyoto University(京都大学)
本文提出基于谱适应的深度变换器泛化界,通过层间Schatten量分析谱结构,实现在训练后动态调整谱复杂度与深度维度的平衡,实验表明其泛化能力优于传统范数方法。
2026-11-09 cs.LG stat.ML
Explicitly Bayesian Regularizations in Deep Learning
University of Delaware(特拉华大学)
泛化对于深度学习至关重要。与之前声称深度神经网络(DNN)具有由随机梯度下降实现的隐式正则化的作品相比,我们明确展示了特定类别DNN中的贝叶斯正则化,即,卷积神经网络(CNN)。首先,我们介绍了一种新的概率表示的CNN的隐藏层,并证明CNN对应于贝叶斯网络的串行连接。此外,我们还证明了接近输入的隐藏层形成先验分布,因此CNN具有基于贝叶斯正则化理论的显式贝叶斯正则化。此外,我们澄清了两个最近观察到的经验现象,是不符合传统的理论的泛化。最后,我们在一个合成数据集上验证了所提出的理论
2019-10-22 cs.LG stat.ML