Graph Machine: Exploring Edge Mechanisms as an Inductive Bias
该研究提出Graph Machine架构,含边增强注意力与以边为中心的引用两种边机制,在数独任务上优于Transformer基线,证明显式边机制是有前景的架构设计。
2026-08-21 cs.LG
Rethinking Inductive Bias in Geographically Neural Network Weighted Regression
本文重新审视GNNWR的归纳偏置,提出融合CNN、RNN和Transformer思想以增强空间回归建模能力,并通过合成数据实验证明其优势及模型性能对数据特征的依赖性。
2025-07-21 cs.LG
Aligning Inductive Bias for Data-Efficient Generalization in State Space Models
School of Computer Science, National Key Laboratory for Multimedia Information Processing, Peking University, China(计算机学院、多媒体信息处理国家重点实验室、北京大学);School of Physics, Peking University, China(物理学院、北京大学)
本文提出任务依赖初始化方法,通过功率谱匹配提升状态空间模型的数据效率和泛化能力。
2026-10-02 cs.LG
Towards Exact Computation of Inductive Bias
Massachusetts Institute of Technology(麻省理工学院)
该研究提出一种无需使用界、适用于多种假设空间的归纳偏置高效计算方法,推导了近似误差界,实证验证了任务维度、模型类别与架构对归纳偏置的影响,为模型架构优势和任务开发提供量化指导。
2024-06-22 cs.LG stat.ML
Explicit Inductive Bias for Transfer Learning with Convolutional Networks
Sorbonne universités(索邦大学);Université de technologie de Compiègne(贡比涅技术大学);CNRS(法国国家科学研究中心);Heudiasyc(人机交互与自动化实验室)
在归纳迁移学习中,微调预训练的卷积网络的性能大大优于从头开始的训练。当使用微调时,基本假设是预训练模型提取通用特征,这些特征至少部分与解决目标任务相关,但难以从目标任务上可用的有限数据量中提取。然而,除了使用预训练模型进行初始化和提前停止之外,没有任何微调机制来保留在源任务上学习的特征。在本文中,我们研究了几个正则化方案,显式地促进最终解与初始模型的相似性。我们展示了对初始模型有显式归纳偏差的好处,我们最终推荐了一个简单的$L^2$惩罚,预训练模型作为迁移学习任务惩罚的基准。
2018-06-06 cs.LG
A Locality Radius Framework for Understanding Relational Inductive Bias in Database Learning
Vishwakarma Institute of Technology(维什瓦卡玛技术学院)
本文提出局部半径框架,用于分析数据库学习中关系归纳偏置的影响,通过实验揭示任务局部半径与架构聚合深度的对齐关系。
2026-02-19 cs.LG
Interpolated-MLPs: Controllable Inductive Bias
ETH Zurich(苏黎世联邦理工学院)
提出插值MLP(I-MLP)方法,通过在先验模型固定权重间进行插值来实现对归纳偏置的分数级控制,实验发现在低算力视觉任务中归纳偏置与性能呈连续双向对数关系。
2024-10-12 cs.LG stat.ML
Constraint Breeds Generalization: Temporal Dynamics as an Inductive Bias
Georg Nemetschek Institute Munich(慕尼黑几何尼姆茨克研究所);Munich Data Science Institute(慕尼黑数据科学研究所);Technische Universität München(慕尼黑技术大学)
本文提出动态约束作为归纳偏置,通过时间动态促进泛化,展示了其在监督分类、无监督重建和零样本强化学习中的有效性。
2026-01-21 cs.LG
Structural Disentanglement in Bilinear MLPs via Architectural Inductive Bias
Department of Electrical Engineering, Indian Institute of Technology Roorkee (IIT Roorkee), India;Department of Material Science \& Engineering, IIT Roorkee, India;Mehta Family School of Data Science
本研究通过双线性MLP探索架构归纳偏置对结构解耦的影响,证明其在代数结构恢复和可靠反学习中的作用。
2026-02-05 cs.LG
Bridging the Physics-Data Gap with FNO-Guided Conditional Flow Matching: Designing Inductive Bias through Hierarchical Physical Constraints
Kyushu Institute of Technology Department of Artificial Intelligence(九州工业大学人工智能系)
提出分层物理约束与FNO引导的条件流匹配框架,嵌入物理定律层级,提升时间序列生成的物理一致性和预测性能。
2025-10-09 cs.LG
Explaining Grokking in Transformers through the Lens of Inductive Bias
University of Tübingen(图宾根大学);ELLIS Institute Tübingen(图宾根ELLIS研究所);Tübingen AI Center(图宾根人工智能中心);Zuse School ELIZA(祖斯ELIZA学校)
通过分析架构和优化设置,研究变换器中grokking现象的归纳偏置影响及其复杂性。
2026-02-06 cs.LG
On the inductive bias of infinite-depth ResNets and the bottleneck rank
MIT Mathematics(麻省理工学院数学系);Harvard CMSA(哈佛大学计算与社会科学中心)
本文通过计算深度线性ResNet的最小范数权重,揭示其归纳偏置介于核范数与秩之间,并据此证明在适当超参数下深度非线性ResNet倾向于最小化瓶颈秩。
2025-01-31 cs.AI cs.LG stat.ML
On the Bias Against Inductive Biases
Carnegie-Mellon University(卡内基梅隆大学)
借鉴彻底改变了自然语言处理领域的Transformer模型,用于视觉任务的自监督特征学习也使用这些极深的各向同性网络取得了最先进的成功。然而,典型的人工智能研究人员没有资源来评估,更不用说训练一个具有数十亿参数和二次自我注意激活的模型了。为了便于进一步的研究,有必要了解这些巨大的Transformer模型,可以充分研究的典型研究人员的特点。这些Transformer模型的一个有趣特性是,它们消除了经典卷积网络中存在的大部分电感偏差。在这项工作中,我们分析了这些和更多的归纳偏差对用于无监督视觉特征学习的小型到中型各向同性网络的影响,并表明它们的去除并不总是理想的。
2021-05-28 cs.CV cs.LG
Nested Inductive Bias Framework for SPD Manifold Learning
National Institute of Technology Jamshedpur(杰姆谢德布尔国家理工学院)
本文提出嵌套归纳偏置框架,将非欧几何拉回至SPD流形,构建曲率对齐的黎曼分类器,实验表明度量曲率与数据分布对齐可提升类可分性,还提出RCM增强几何鲁棒性。
2026-09-07 cs.LG
Graph Classification with GNNs: Optimisation, Representation and Inductive Bias
IIT Madras(印度马德拉斯理工学院)
本文指出 GNN 等价性研究忽略了优化问题,通过理论与实验证明了图分类中消息传递层在不同全局池化下寻找判别性子图或节点的隐式归纳偏置,并展示了其在注意力架构中融入领域知识的应用。
2024-08-23 cs.LG
IBiT: Utilizing Inductive Biases to Create a More Data Efficient Attention Mechanism
University of California, Berkeley(加州大学伯克利分校)
本文提出 IBiT,通过学习掩码将卷积神经网络的归纳偏置引入 Vision Transformer,使其无需知识蒸馏即可在小型数据集上训练,并显著提升准确率且保留可解释性。
2025-09-24 cs.AI cs.CV cs.LG
ModLaNets: Learning Generalisable Dynamics via Modularity and Physical Inductive Bias
The University of Hong Kong(香港大学);Centre for Garment Production Limited (TransGP)(服装生产中心有限公司(TransGP))
深度学习模型能够近似一个特定的动力系统,但在学习可推广的动力学方面很困难,其中动力系统遵循相同的物理定律,但包含不同数量的元素(例如,双摆和三摆系统)。为了解决这个问题,我们提出了模块化拉格朗日网络(ModLaNet),这是一个具有模块化和物理归纳偏差的结构化神经网络框架。该框架使用模块化对每个元素的能量进行建模,然后通过拉格朗日力学构建目标动力系统。模块化有利于重用训练好的网络,减少网络和数据集的规模。因此,我们的框架可以从简单系统的动力学中学习,并扩展到更复杂的系统,这是使用其他相关物理信息的神经网络不可行的。我们研究了我们用小训练数据集建模双摆或三体系统的框架,与同行相比,我们的模型实现了最佳的数据效率和准确性性能。我们还重新组织我们的模型作为模型多摆和多体系统的扩展,展示了我们的框架有趣的可重用功能。
2022-07-04 cs.LG
Teasing Apart Architecture and Initial Weights as Sources of Inductive Bias in Neural Networks
Princeton University(普林斯顿大学);New York University(纽约大学);Yale University(耶鲁大学)
本文通过元学习分离架构与初始权重对神经网络归纳偏置的影响,发现元学习可消除架构间性能差异,但所有架构在远距离泛化上仍表现不佳。
2025-02-27 cs.AI cs.LG
Fast Rates for Noisy Interpolation Require Rethinking the Effects of Inductive Bias
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(苏黎世联邦理工学院人工智能中心);Max-Planck-Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
在高维数据上的良好泛化性能关键取决于地面真值的简单结构和相应的估计量的强归纳偏差。尽管这种直觉对正则化模型是有效的,但在本文中,我们警告在存在噪声的情况下,插值的强烈归纳偏差:虽然更强的归纳偏差鼓励更简单的结构,更符合地面真理,但它也增加了噪声的有害影响。具体而言,对于线性回归和分类与稀疏地面真相,我们证明了最小$\ell_p$ -范数和最大$\ell_p$ -利润插值器实现快速多项式速率接近于$p > 1$的$1/n$顺序相比,$p = 1$的对数速率。最后,我们提供了初步的实验证据,这种权衡也可能发挥至关重要的作用,在理解非线性插值模型在实践中使用。
2022-10-26 cs.LG stat.ML
Controlling the Inductive Bias of Wide Neural Networks by Modifying the Kernel's Spectrum
Weizmann Institute of Science(魏茨曼科学研究所);Meta AI
针对宽神经网络学习偏置影响梯度下降收敛与可达函数的问题,提出利用MSKs近似核与预条件梯度下降方法改变GD轨迹,实现多项式或指数级训练加速且不改变最终解。
2024-03-20 cs.LG
Co-advise: Cross Inductive Bias Distillation
South China University of Technology(华南理工大学);MIT(麻省理工学院);University of Texas at Austin(得克萨斯大学奥斯汀分校);Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院)
Transformers最近被改编自自然语言处理社区,作为基于卷积的神经网络的视觉学习任务的有前途的替代品。然而,如果训练数据的量不足(例如,ImageNet)。为了使其实用化,我们提出了一种新的基于蒸馏的方法来训练训练视觉Transformer。与以前的作品不同,在以前的作品中,仅仅提供了基于卷积的老师,我们引入了具有不同架构归纳偏差的轻量级老师(例如,卷积和对合)来共同指导学生Transformer。关键是,尽管教师在同一数据集上接受训练,但具有不同归纳偏见的教师获得了不同的知识,这些不同的知识复合并提高了学生在蒸馏过程中的表现。配备了这种交叉感应偏差蒸馏方法,我们的视觉Transformer(称为CivT)优于ImageNet上相同架构的所有以前的Transformers。
2021-06-23 cs.CV cs.LG
Feed-Forward Neural Networks Need Inductive Bias to Learn Equality Relations
City, University of London(伦敦大学城市学院)
基本的二进制关系,如相等和不等是关系数据结构的基础。神经网络应该学习这种关系,并推广到新的看不见的数据。然而,我们在这项研究中表明,这种泛化失败与二进制向量的标准前馈网络。即使当训练最大的训练数据,标准的网络不可靠地检测equality.We引入差分整流器(DR)的单位,我们添加到网络中的不同配置。DR单元在网络中产生了一种归纳偏差,因此它们确实学会了泛化,即使是从少量的例子中,我们也没有发现它们包含在网络中的任何负面影响。鉴于这些关系的基本性质,我们假设前馈神经网络学习也受益于其他关系中的归纳偏差。因此,适当的归纳偏差的进一步发展将有利于神经网络的关系学习中的许多任务。
2018-12-04 cs.LG stat.ML
Do We Always Need the Simplicity Bias? Looking for Optimal Inductive Biases in the Wild
Idiap Research Institute(Idiap研究所);EPFL(洛桑联邦理工学院);Bitdefender(比特 Defender公司);University of Adelaide(阿德莱德大学)
该研究通过元学习任务定制的激活函数,发现 ReLU 的简单性偏置仅在图像任务上近优,而在表格、回归等困难领域更复杂的归纳偏置更有效。
2025-03-13 cs.CV cs.LG
Disentangling Granularity: An Implicit Inductive Bias in Factorized VAEs
University of Electronic Science and Technology of China(电子科技大学)
本文揭示了Factorized VAEs中“解耦粒度”这一隐式归纳偏置,发现其形成“V”形ELBO轨迹,并提出\{eta}-STCVAE模型通过调整该粒度实现了对高复杂度特征的解耦。
2025-05-30 cs.AI cs.LG
In Search of the Real Inductive Bias: On the Role of Implicit Regularization in Deep Learning
Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
我们目前的实验表明,一些其他形式的容量控制,不同的网络规模,在学习多层前馈网络中起着核心作用。我们认为,部分通过类比矩阵分解,这是一个归纳的偏见,可以帮助阐明深度学习。
2015-04-16 cs.AI cs.CV cs.LG
InBiaseD: Inductive Bias Distillation to Improve Generalization and Robustness through Shape-awareness
NavInfo Europe(四维图新欧洲)
与深度神经网络相比,人类对虚假相关性和琐碎线索(如纹理)的依赖更少,深度神经网络具有更好的泛化性和鲁棒性。它可以归因于先验知识或大脑中存在的高级认知归纳偏见。因此,向神经网络引入有意义的归纳偏差可以帮助学习更多的通用和高级表示,并减轻一些缺点。我们提出InBiaseD来提取归纳偏差,并为神经网络带来形状感知。我们的方法包括一个偏差对齐目标,该目标强制网络学习更通用的表示,这些表示不太容易受到数据中意外线索的影响,从而提高泛化性能。InBiaseD不太容易受到捷径学习的影响,并且还表现出较低的纹理偏差。更好的表示也有助于提高对对抗攻击的鲁棒性,因此我们将InBiaseD无缝地插入到现有的对抗训练方案中,以显示泛化和鲁棒性之间更好的权衡。
2022-06-12 cs.AI cs.CV cs.LG
What Has a Foundation Model Found? Using Inductive Bias to Probe for World Models
Harvard University(哈佛大学);MIT(麻省理工学院)
该研究通过归纳偏置探测技术揭示基础模型在适应新任务时无法捕捉底层世界模型结构的问题。
2025-12-27 cs.AI cs.LG
LIME: Learning Inductive Bias for Primitives of Mathematical Reasoning
Vector Institute(向量研究所);University of Toronto(多伦多大学);Google Research(谷歌研究院);University of Cambridge(剑桥大学)
虽然在神经架构中设计感应偏置已经被广泛研究,但我们假设Transformer网络足够灵活,可以从合适的通用任务中学习感应偏置。在这里,我们通过以数据集的形式编码归纳偏差来取代架构工程。灵感来自皮尔士的观点,演绎,归纳和溯因推理的原语,我们设计了三个合成任务,旨在要求模型有这三个能力。我们专门设计这些任务是合成的,没有数学知识,以确保只有基本的推理偏见可以从这些任务中学习。这定义了一种新的预训练方法,称为“LIME”(Learning Inductive Bias for Mathematical REasoning)。使用LIME训练的模型在四个非常不同的大型数学推理基准测试中的表现明显优于vanilla Transformers。与传统预训练方法的计算成本不同,LIME只需要典型下游任务的一小部分计算成本。用于生成LIME任务的代码可以在https://github.com/tonywu95/LIME上获得。
2022-03-16 cs.AI cs.LG cs.LO
Robust Domain Adaptation: Representations, Weights and Inductive Bias
Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(巴黎中央理工-高等电力学院);Sidetrade(Sidetrade公司);Lend-Rx(Lend-Rx公司);Alan(Alan公司)
无监督领域自适应(UDA)在过去的十年中引起了广泛的关注。域不变表示(IR)的出现大大提高了表示从标记源域到新的未标记目标域的可转移性。然而,这种方法的一个潜在缺陷,即\textit{label shift}的存在,已经被曝光。一些作品解决了这个问题,通过加权样本,一种策略,通常被称为重要性采样域不变性的放松版本。从我们的角度来看,重要性采样和不变表示在UDA中如何相互作用的理论方面还没有深入研究。在目前的工作中,我们提出了一个结合了权重和不变表示的目标风险的界限。我们的理论分析突出了感应偏置在对齐跨域分布中的作用。我们说明了它的标准基准,提出了一个新的学习程序UDA。我们根据经验观察到,弱的归纳偏差使适应更强大。更强的归纳偏差的阐述是新的UDA算法的一个有前途的方向。
2020-06-24 cs.LG stat.ML
Scaling Laws vs Model Architectures: How does Inductive Bias Influence Scaling?
Apple(苹果公司);Google Research(谷歌研究院);DeepMind(深度思维)
人们对Transformer模型的标度特性非常感兴趣。然而,在研究不同电感偏置和模型架构的标度特性的影响方面,还没有做太多的工作。模型架构的扩展方式是否不同?如果是这样的话,感应偏置是如何影响标度行为的?这是如何影响上游(预培训)和下游(转移)的?本文系统地研究了十种不同的模型架构的缩放行为,如Transformers,Switch Transformers,Universal Transformers,Dynamic convolutions,Performers和最近提出的MLP-Mixers。通过大量的实验,我们证明了(1)在进行缩放时,架构确实是一个重要的考虑因素,(2)性能最好的模型可以在不同的尺度上波动。我们相信,在这项工作中概述的结果有显着的影响,如何模型架构目前在社区中进行评估。
2022-07-21 cs.CL cs.LG
What Structural Inductive Bias Helps Transformers Reason Over Knowledge Graphs? A Study with Tabula RASA
ETH Zurich(苏黎世联邦理工学院)
通过最小化Transformer修改的消融实验,发现稀疏邻接掩码是驱动多跳推理的主要结构归纳偏置,而关系参数贡献有限。
2026-06-03 cs.AI cs.LG
On the Inductive Bias of Neural Tangent Kernels
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院)
最先进的神经网络严重过度参数化,使得优化算法成为学习具有良好泛化特性的预测模型的关键因素。最近的一系列工作表明,在一定的过参数化制度下,梯度下降的学习动力学由初始化时获得的某个内核(称为神经正切内核)控制。我们通过分析这个核和相应的函数空间(RKHS)来研究在这样的制度下学习的归纳偏差。特别是,我们研究了具有有限范数的函数的平滑性,近似性和稳定性,包括卷积网络情况下图像变形的稳定性,并与其他已知的类似架构的内核进行比较。
2019-10-31 cs.LG stat.ML
Inductive Bias for Emergent Communication in a Continuous Setting
University of Stavanger(斯塔万格大学);University of Bergen(卑尔根大学)
本文面向多智能体强化学习中的涌现通信,提出用于连续消息的归纳偏置,并验证其单独或结合强化学习时能改善 Negotiation 与 Sequence Guess 中的通信协议。
2023-06-06 cs.AI cs.LG cs.MA
Shaping Inductive Bias in Diffusion Models through Frequency-Based Noise Control
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Valence Labs(瓦伦斯实验室)
本文提出基于频率的加噪算子,将可定制归纳偏置引入扩散模型训练与采样,并证明其能按数据集提升生成性能及在严重噪声损坏后恢复图像分布。
2025-03-12 cs.AI cs.LG
Maximum Class Separation as Inductive Bias in One Matrix
University of Amsterdam(阿姆斯特丹大学);TNO(荷兰应用科学研究组织);Microsoft Research AI4Science(微软研究院AI4Science)
最大化类之间的分离构成了机器学习中众所周知的归纳偏差,也是许多传统算法的支柱。默认情况下,深度网络不具备这种感应偏置,因此通过差分优化提出了许多替代解决方案。目前的方法倾向于联合优化分类和分离:将输入与类向量对齐,并有角度地分离类向量。本文提出了一个简单的替代方案:在计算softmax激活之前,通过添加一个固定的矩阵乘法,将最大分离编码为网络中的归纳偏差。我们的方法背后的主要观察结果是,分离不需要优化,但可以在训练之前以封闭形式求解并插入网络。我们概述了一个递归的方法来获得矩阵组成的最大可分向量的任何数量的类,可以忽略不计的工程工作和计算开销。尽管其简单的性质,这一个矩阵乘法提供了真正的影响。我们表明,我们的建议直接提升了分类,长尾识别,分布外检测和开集识别,从CIFAR到ImageNet。根据经验,我们发现最大分离作为固定偏差效果最好;使矩阵可学习不会增加性能。封闭形式的实现和代码可以在github上找到。
2022-10-22 cs.CV cs.LG
Eliminating Inductive Bias in Reward Models with Information-Theoretic Guidance
Qwen Large Model Application Team, Alibaba(阿里巴巴大模型应用团队);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
本文提出了一种基于信息论的奖励模型去偏方法DIR,通过最大化奖励模型评分与人类偏好对之间的互信息,同时最小化奖励模型输出与偏好输入偏置属性之间的互信息,从而有效缓解归纳偏置问题并提升RLHF性能。
2026-05-19 cs.AI cs.LG
LIB-KD: Teaching Inductive Bias for Efficient Vision Transformer Distillation and Compression
Department of Electrical Engineering Indian Institute of Technology Delhi(电子工程系印度理工学院德里);Yogananda School of AI, Computers and Data Sciences(Yoganananda人工智能、计算机与数据科学学院)
LIB-KD提出一种集成蒸馏框架,利用卷积与反卷积等不同归纳偏置的轻量教师共同指导学生ViT,并通过预计算logits加速蒸馏,从而提升视觉Transformer压缩效率与性能。
2025-08-21 cs.CV cs.LG
Inductive Gradient Adjustment For Spectral Bias In Implicit Neural Representations
Sun Yat-sen University(中山大学)
本文提出归纳梯度调整(IGA)方法,利用经验神经正切核矩阵改善隐式神经表示的谱偏差,提升纹理细节与边缘锐度。
2025-05-25 cs.CV cs.LG
Discovering Inductive Bias with Gibbs Priors: A Diagnostic Tool for Approximate Bayesian Inference
University of Tübingen(蒂宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
完整的贝叶斯后验概率很少可以分析处理,这就是为什么现实世界的贝叶斯推断严重依赖于近似技术。近似通常不同于真正的后验,需要诊断工具来评估推断是否仍然可信。我们研究了一种新的方法来诊断近似推理:近似不匹配是由于在电感偏置的变化,通过处理的近似准确和逆向工程相应的先验。我们表明,这个问题比乍一看似乎更复杂,因为解决方案通常取决于观察。通过用不相容的条件分布重新构造问题,我们得到了一个自然的解决方案:吉布斯先验。诊断结果是基于伪吉布斯抽样,这是广泛适用,易于实现。我们说明了如何吉布斯先验可以用来发现在一个受控的高斯设置和各种贝叶斯模型和近似的归纳偏差。
2022-03-07 cs.LG stat.ML
Confronting Reward Overoptimization for Diffusion Models: A Perspective of Inductive and Primacy Biases
Institute of Artificial Intelligence, School of Computer Science, Wuhan University, China;Hubei Luojia Laboratory, Wuhan, China;The University of Sydney, Australia;JD Explore Academy, Beijing, China;Nanyang Technological University, Singapore
本文提出TDPO-R算法,通过利用扩散模型的时间归纳偏置和抑制活跃神经元的优先偏置,有效缓解奖励过度优化问题。
2024-06-05 cs.CV cs.LG
Artificial Inductive Bias for Synthetic Tabular Data Generation in Data-Scarce Scenarios
Information Processing and Telecommunications Center(信息处理与电信中心);ETS Ingenieros de Telecomunicación(电信工程学院);Universidad Politécnica de Madrid(马德里理工大学)
针对深度生成模型生成合成表格数据依赖大量训练数据的问题,提出将人工归纳偏置结合迁移学习与元学习注入生成过程的方法,在低数据场景下显著提升生成数据质量,且模型无关,适用于医疗、金融等领域。
2025-07-31 cs.AI cs.LG
Inductive Bias of Deep Convolutional Networks through Pooling Geometry
我们对推动卷积网络在计算机视觉任务上取得成功的归纳偏差的正式理解是有限的。特别是,目前还不清楚是什么使卷积和池化操作产生的假设空间如此适合自然图像。在本文中,我们研究了卷积网络对其输入区域之间的相关性进行建模的能力。我们从理论上分析了卷积算术电路,并在其他类型的卷积网络上验证了我们的发现。相关性通过分离秩的概念形式化,对于给定的输入分区,它测量函数离可分离的距离。我们证明了多项式大小的深度网络对于某些输入分区支持指数级高的分离秩,而对于其他分区则限于多项式分离秩。网络的池化几何结构有效地确定了哪些输入分区是有利的,从而用作控制感应偏置的手段。在实践中通常采用的连续池化窗口有利于交错分区,而不是粗糙分区,从而将归纳偏差导向自然图像的统计。其他池化方案会导致不同的偏好,这使得网络能够适应与通常的自然图像领域不同的数据。除了分析深层网络之外,我们还发现浅层网络只支持线性分离秩,并通过这种方式深入了解深度带来的功能的好处-它们能够在输入的有利分区下有效地建模强相关性。
2017-04-17 cs.LG cs.NE
Agentic Anomaly Detection with ORCA-Style Dynamic Inductive Bias Adaptation in Multimodal Wearable Time Series Data
BITS Pilani(皮尔尼理工学院)
该研究针对资源受限的非平稳生理时间序列异常检测问题,提出ORCA框架,通过监督控制器动态调整时间感受野,在WBAN和MIMIC-IV数据集上实现稳健性能,无需预调时间范围。
2026-08-11 cs.AI cs.LG
An Inductive Bias for Distances: Neural Nets that Respect the Triangle Inequality
University of Toronto(多伦多大学);Vector Institute(矢量研究所)
距离在机器学习中是普遍存在的。它们充当相似性度量、损失函数和学习目标;据说好的距离度量可以解决任务。在定义距离时,三角不等式已被证明是一个有用的约束,无论是在理论上-证明收敛和最优性保证-还是在经验上-作为归纳偏差。尊重三角不等式的深度度量学习架构几乎完全依赖于潜在空间中的欧几里得距离。虽然有效,但这无法对图和强化学习中常见的两大类次加性距离进行建模:非对称度量和无法嵌入欧几里得空间的度量。为了解决这些问题,我们引入了新的架构,保证满足三角不等式。我们证明了我们的架构普遍近似范数诱导的度量$\mathbb{R}^n$,并提出了一个类似的结果,修改后的输入凸神经网络。我们表明,我们的架构优于现有的度量方法建模图距离时,有一个更好的归纳偏见比非度量方法时,训练数据是有限的多目标强化学习设置。
2020-07-06 cs.LG stat.ML
Depth Without the Magic: Inductive Bias of Natural Gradient Descent
University of Cambridge(剑桥大学);Eötvös Loránd University(罗兰大学)
在梯度下降中,改变我们参数化模型的方式可以导致截然不同的优化轨迹,从而产生一系列令人惊讶的有意义的归纳偏差:识别稀疏分类器或在没有显式正则化的情况下重建低秩矩阵。这种隐式正则化被假设为深度学习中良好泛化的一个促成因素。然而,自然梯度下降对于重新参数化是近似不变的,它总是遵循相同的轨迹并找到相同的最优解。问题自然出现了:如果我们消除参数化的作用,会发生什么?会找到哪个解?会出现什么新的性质?我们描述了逻辑损失和深度矩阵分解下的可分离分类的深度线性网络中的自然梯度流的行为。我们的一些发现扩展到非线性神经网络充分,但有限的过参数化。我们证明了存在自然梯度下降无法推广的学习问题,而具有正确架构的梯度下降表现良好。
2021-11-22 cs.LG stat.ML
Abstractors and relational cross-attention: An inductive bias for explicit relational reasoning in Transformers
Yale University(耶鲁大学);UCLA(加利福尼亚大学洛杉矶分校);Princeton University(普林斯顿大学)
该研究提出含关系交叉注意力的Abstractor模块扩展Transformer,通过解耦关系与对象特征实现显式关系推理,在多类任务上提升了性能与样本效率。
2024-04-12 cs.LG stat.ML
Inductive Bias of Gradient Descent for Weight Normalized Smooth Homogeneous Neural Nets
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
我们分析了在指数或交叉熵损失下训练的加权归一化光滑齐次神经网络的梯度下降的归纳偏差。我们分析了标准权重归一化(SWN)和指数权重归一化(EWN),并证明了EWN的梯度流路径等价于具有自适应学习率的标准网络上的梯度流。我们将这些结果推广到梯度下降,并建立SWN和EWN的权重和梯度之间的渐近关系。我们还表明,EWN的原因权重更新的方式,更喜欢渐近相对稀疏。对于EWN,我们提供了一个有限时间收敛速度的损失与梯度流和一个紧渐近收敛速度与梯度下降。我们证明了我们的结果SWN和EWN的合成数据集。简单数据集上的实验结果支持我们对稀疏EWN解决方案的主张,即使是SGD。这证明了它在学习服从修剪的神经网络中的潜在应用。
2023-01-31 cs.LG stat.ML
Group Relative Knowledge Distillation: Learning from Teacher's Relational Inductive Bias
China Mobile Information Technology Co.,Ltd.(中国移动信息技术有限公司);Fudan University(复旦大学)
针对现有知识蒸馏忽略教师模型相对预测中的关系归纳偏置导致曝光偏差的问题,提出GRKD框架,通过组相对损失学习类别间相对排序,在分类基准上取得更优泛化能力。
2025-04-29 cs.AI cs.LG
On the Inductive Bias of Stacking Towards Improving Reasoning
Google Research(谷歌研究院)
本文提出渐进式堆叠变体 MIDAS,在提升训练效率最高达 40% 的同时,发现其具有增强推理能力的归纳偏置,并通过推理原语实验及与循环模型的关联分析加以验证。
2024-09-27 cs.AI cs.CL cs.LG
On The Inductive Bias of Words in Acoustics-to-Word Models
Massachusetts Institute of Technology(麻省理工学院)
声学到单词模型是端到端的语音识别器,它使用单词作为目标,而不依赖于发音词典或字素。由于缺乏语言知识,这些模型非常难以训练。目前还不清楚训练数据的数量如何影响这些模型的优化和泛化。在这项工作中,我们研究了不同数量的训练数据下的声学到词模型的优化和推广。此外,我们研究了三种类型的归纳偏见,利用发音词典,词边界注释,和词的持续时间的限制。我们发现,限制词的持续时间导致最大的改善。最后,我们分析了模型学习到的词嵌入空间,发现该空间具有由词的发音主导的结构。这表明,词的上下文,而不是他们的语音结构,应该是未来的重点归纳偏见的声学到词的模型。
2018-11-12 cs.CL cs.LG cs.SD
Soft Geometric Inductive Bias for Object Centric Dynamics
VERSES AI;University of Sussex(苏塞克斯大学);University of Sussex, Department of Informatics(苏塞克斯大学信息学院)
本文提出基于几何代数神经网络的物体中心世界模型,通过柔软几何诱导偏置提升物理动力学模拟的保真度和泛化能力。
2026-09-29 cs.AI cs.LG stat.ML
Learning Inductive Biases with Simple Neural Networks
New York University(纽约大学)
人们利用丰富的先验知识来有效地学习新概念。这些先验-也称为“归纳偏差”-属于学习者考虑的内部模型空间,它们帮助学习者做出超越观察数据的推断。最近的一项研究发现,针对对象识别优化的深度神经网络产生了形状偏差(Ritter et al.,2017年),一个归纳偏见所拥有的儿童,在早期的文字学习中发挥着重要作用。然而,这些网络使用不切实际的大量训练数据,并且这些偏差发展所需的条件还没有得到很好的理解。此外,目前还不清楚这些网络的学习动态如何与儿童的发展过程有关。我们调查的发展和影响的形状偏差在神经网络使用控制数据集的抽象模式和合成图像,使我们能够系统地改变数量和形式的经验提供给学习算法。我们发现,简单的神经网络在看到4个对象类别的3个示例后会产生形状偏好。这些偏见的发展预测了我们网络中词汇加速的开始,与儿童的发展过程一致。
2018-06-13 cs.CL cs.CV cs.LG
Optimality Inductive Biases and Agnostic Guidelines for Offline Reinforcement Learning
University of Geneva(日内瓦大学);HES-SO(瑞士西部应用科学与艺术大学)
最先进的离线RL方法的性能在数据集质量的范围内变化很大,从远离最优的随机数据到接近最优的专家演示。我们重新实现这些方法来测试它们的可重复性,并表明当一个给定的方法在光谱的一端优于其他方法时,它在另一端永远不会。这使我们无法全面宣布胜利者。我们将这种不对称性归因于注入到代理中的诱导偏差的数量,以诱使它确认离线数据集的行为对于任务是最佳的。我们的调查证实,这种最优性诱导偏差的不小心注入,使占主导地位的代理低于标准,只要离线政策是次优的。为了弥合这一差距,我们将重要性加权回归方法(已被证明在数据集等级范围内最通用)推广到一个模块化框架中,该框架允许设计与我们对数据集的了解程度相一致的方法。这种模块化使得能够在质量上不同地注入最优性感应偏置。我们发现,某些编排达到了正确的平衡,提高了频谱一端的回报,而不会损害另一端的回报。虽然离线方法设计指南的制定减少了对最优性偏差的调整,以注入我们所知道的数据质量,但我们不需要事先知道数据质量的不可知方法的设计更加微妙。只有我们的框架允许我们设计一种方法,该方法在整个频谱中表现良好,同时如果有更多关于数据质量的信息可用,则保持模块化。
2022-01-19 cs.AI cs.LG
Grid Partitioned Attention: Efficient TransformerApproximation with Inductive Bias for High Resolution Detail Generation
Zalando Research(Zalando研究院);Zalando SE
注意力是一种通用的推理机制,可以灵活地处理图像信息,但它的内存要求使其迄今为止不适用于高分辨率图像生成。我们提出了网格分区注意力(GPA),一个新的近似注意力算法,利用稀疏的归纳偏见更高的计算和内存效率的图像域:查询只参加少数关键字,空间上接近的查询参加关闭键由于相关性。本文介绍了新的注意力层,分析了它的复杂性,以及如何通过超参数来调整内存使用和模型能力之间的权衡。我们将展示这种注意力如何实现具有复制模块的新型深度学习架构,这些复制模块对于姿势变形等条件图像生成任务特别有用。我们的贡献是(i)新GPA层的算法和代码1,(ii)一种新的深度注意力复制架构,以及(iii)人类姿势变形生成基准的最新实验结果。
2021-07-08 cs.CV cs.LG