Disentangling A Single MR Modality
Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins School of Medicine（约翰斯·霍普金斯大学医学院）；National Institute on Aging, National Institute of Health（美国国立卫生研究院国家老龄化研究所）
从医学图像中分离解剖和对比信息最近引起了人们的关注，证明了各种图像分析任务的好处。当前方法使用具有相同基础解剖结构或辅助标签（例如，手动描绘）以提供用于解开的感应偏置。然而，这些要求可能会大大增加数据收集的时间和成本，并在无法获得此类数据时限制这些方法的适用性。此外，这些方法通常不能保证解缠。在本文中，我们提出了一个新的框架，学习理论和实践上优越的解纠缠单模态磁共振图像。此外，我们提出了一个新的基于信息的度量来定量评估解纠缠。与现有的解纠缠方法的比较表明，该方法在解纠缠和跨域图像到图像的翻译任务中取得了优异的性能。
2022-05-10 cs.CV cs.LG eess.IV
Efficient Iterative Amortized Inference for Learning Symmetric and Disentangled Multi-Object Representations
University of Florida（佛罗里达大学）
无监督的多对象表示学习依赖于归纳偏差来指导以对象为中心的表示的发现。然而，我们观察到，学习这些表示的方法要么是不切实际的，因为训练时间长，内存消耗大，要么是放弃关键的归纳偏差。在这项工作中，我们介绍了EfficientMORL，一个有效的框架，无监督学习的对象为中心的表示。我们表明，由于要求对称性和解纠缠而引起的优化挑战实际上可以通过高成本的迭代摊销推理来解决，方法是设计框架以最大限度地减少对它的依赖。我们采用两阶段的推理方法：首先，分层变分自编码器通过自下而上的推理提取对称且解纠缠的表示，其次，轻量级网络利用自顶向下的反馈来细化表示。在训练过程中所采取的细化步骤的数量在课程之后减少，因此在零步骤的测试时间，模型实现了99.1%的细化分解性能。我们在标准多对象基准测试中展示了强大的对象分解和解纠缠，同时实现了比以前最先进的模型快近一个数量级的训练和测试时间推断。
2021-06-07 cs.AI cs.CV cs.LG
Teasing Apart Architecture and Initial Weights as Sources of Inductive Bias in Neural Networks
Princeton University（普林斯顿大学）；New York University（纽约大学）；Yale University（耶鲁大学）
本文通过元学习分离架构与初始权重对神经网络归纳偏置的影响，发现元学习可消除架构间性能差异，但所有架构在远距离泛化上仍表现不佳。
2025-02-27 cs.AI cs.LG
Positional Encoding as Spatial Inductive Bias in GANs
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）；Tencent PCG（腾讯平台与内容事业群）；SenseTime Research（商汤科技研究院）
尽管SinGAN的有效感受野有限，但它在学习内部斑块分布方面表现出令人印象深刻的能力。我们感兴趣的是知道这样一个不变量卷积生成器如何仅用空间i.i.d.来捕获全局结构。输入.在这项工作中，以SinGAN和StyleGAN 2为例，我们表明，这种能力，在很大程度上，是由隐式位置编码时，在生成器中使用零填充。这种位置编码对于生成具有高保真度的图像是必不可少的。在其他生成架构（如DCGAN和PGGAN）中也观察到了同样的现象。我们进一步表明，零填充导致一个不平衡的空间偏差与位置之间的模糊关系。为了提供一个更好的空间感应偏置，我们研究替代位置编码，并分析其效果。基于更灵活的位置编码，我们提出了一种新的多尺度训练策略，并在最先进的无条件生成器StyleGAN2中证明了其有效性。此外，显式的空间感应偏置大大提高了SinGAN的更通用的图像处理。
2020-12-09 cs.CV
On Inductive Biases That Enable Generalization of Diffusion Transformers
Apple（苹果公司）；University of Rochester（罗切斯特大学）
本文研究 DiT 的泛化归纳偏置，发现注意力局部性至关重要，并通过注入局部注意力窗口在低数据条件下提升泛化与生成质量。
2024-10-28 cs.CV
Syntactic Inductive Biases for Deep Learning Methods
Département d’informatique et de recherche opérationnelle（计算机科学与运筹学系）
在这篇论文中，我们试图通过为深度学习模型引入句法归纳偏差来建立这两个学派之间的联系。我们提出了两个家庭的归纳偏见，一个选区结构和依赖结构。选区归纳偏差鼓励深度学习模型使用不同的单元（或神经元）来分别处理长期和短期信息。这种分离为深度学习模型提供了一种从顺序输入构建潜在分层表示的方法，高级表示由一系列低级表示组成，并且可以分解为一系列低级表示。例如，在不知道地面真值结构的情况下，我们提出的模型通过根据语法结构将变量和运算符的表示组成表达式的表示来学习处理逻辑表达式。另一方面，依赖归纳偏差鼓励模型在输入序列中发现实体之间的潜在关系。对于自然语言，潜在关系通常被建模为有向依赖图，其中一个词只有一个父结点和零个或多个子节点。在将此约束应用于Transformer类模型后，我们发现该模型能够诱导接近人类专家注释的有向图，并且在不同任务上也优于标准Transformer模型。我们相信，这些实验结果为深度学习模型的未来发展展示了一种有趣的替代方案。
2022-06-08 cs.AI cs.LG
A Survey of Inductive Biases for Factorial Representation-Learning
随着人们对神经网络兴趣的复苏，表示学习重新成为人工智能的中心焦点。表示学习是指发现有用的数据编码，使领域相关的信息显式。析因表示识别数据中变异的潜在独立因果因素。阶乘表示是紧凑和忠实的，使因果因素明确，并有利于人类对数据的解释。阶乘表示支持多种应用，包括生成新示例、索引和搜索、新颖性检测和迁移学习。本文综述了鼓励学习算法发现阶乘表示的各种约束。我二分法的约束条件，无监督和监督归纳偏见。无监督的归纳偏差利用关于环境的假设，例如因子系数的统计分布，关于因子应该不变的扰动的假设（例如，对象的表示可以对旋转，平移或缩放不变），以及关于如何组合因子以合成观察的假设。监督归纳偏差是基于与观察有关的附加信息对表示的约束。监督标签有多种类型，它们对表示的约束程度不同，有多少因素被标记，有多少观察被标记，以及我们是否知道约束与它们相关的因素之间的关联。本调查汇集了各种各样的模型，这些模型都涉及学习阶乘表示的问题，并根据潜在的监督和无监督归纳偏差的优势，为比较这些模型提供了一个框架。
2016-12-15 cs.AI cs.LG
Understanding Contrastive Learning Requires Incorporating Inductive Biases
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）；Harvard University（哈佛大学）
对比学习是自监督学习的一种流行形式，它鼓励相同输入的增强（视图）与不同输入的增强相比具有更相似的表示。最近试图从理论上解释下游分类任务上的对比学习的成功证明了依赖于{\em增强}的属性和表示的{\em对比损失}的值的保证。我们证明，这种分析，忽略{\em归纳偏见}的功能类和训练算法，不能充分解释对比学习的成功，甚至{\em probably}导致在某些设置中的空洞的保证。在图像和文本领域的大量实验突出了这个问题的普遍性-不同的函数类和算法在下游任务上的行为非常不同，尽管具有相同的增强和对比损失。线性表示类的理论分析，其中将归纳偏见的功能类允许对比学习与较不严格的条件相比，以前的分析。
2022-02-28 cs.AI cs.LG
Confronting Reward Overoptimization for Diffusion Models: A Perspective of Inductive and Primacy Biases
Institute of Artificial Intelligence, School of Computer Science, Wuhan University, China；Hubei Luojia Laboratory, Wuhan, China；The University of Sydney, Australia；JD Explore Academy, Beijing, China；Nanyang Technological University, Singapore
本文提出TDPO-R算法，通过利用扩散模型的时间归纳偏置和抑制活跃神经元的优先偏置，有效缓解奖励过度优化问题。
2024-06-05 cs.CV cs.LG
Inductive Biases for Object-Centric Representations in the Presence of Complex Textures
University of Amsterdam（阿姆斯特丹大学）；The Netherlands Cancer Institute（荷兰癌症研究所）；Technical University of Denmark（丹麦技术大学）；University of Copenhagen（哥本哈根大学）；Copenhagen University Hospital（哥本哈根大学医院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
理解哪些归纳偏差可能有助于自然场景的对象中心表示的无监督学习是具有挑战性的。在本文中，我们系统地研究了两种模型在数据集上的性能，其中神经风格转移用于获得具有复杂纹理的对象，同时仍然保留地面实况注释。我们发现，通过使用单个模块来重建每个对象的形状和视觉外观，该模型可以学习更多有用的表示，并实现更好的对象分离。此外，我们观察到，调整潜在空间的大小是不够的，以提高分割性能。最后，下游的有用性的表示是显着更强烈的相关性与分割质量比重建精度。
2022-08-15 cs.CV cs.LG
Grid Partitioned Attention: Efficient TransformerApproximation with Inductive Bias for High Resolution Detail Generation
Zalando Research（Zalando研究院）；Zalando SE
注意力是一种通用的推理机制，可以灵活地处理图像信息，但它的内存要求使其迄今为止不适用于高分辨率图像生成。我们提出了网格分区注意力（GPA），一个新的近似注意力算法，利用稀疏的归纳偏见更高的计算和内存效率的图像域：查询只参加少数关键字，空间上接近的查询参加关闭键由于相关性。本文介绍了新的注意力层，分析了它的复杂性，以及如何通过超参数来调整内存使用和模型能力之间的权衡。我们将展示这种注意力如何实现具有复制模块的新型深度学习架构，这些复制模块对于姿势变形等条件图像生成任务特别有用。我们的贡献是（i）新GPA层的算法和代码1，（ii）一种新的深度注意力复制架构，以及（iii）人类姿势变形生成基准的最新实验结果。
2021-07-08 cs.CV cs.LG
Do Quantum Neural Networks have Simplicity Bias?
University of Oxford（牛津大学）
本文通过比较量子神经网络与深度神经网络的归纳偏置和表达能力，发现QNN存在偏置-表达能力权衡，通常无法在泛化性能上优于DNN。
2024-07-03 cs.AI cs.LG physics.app-ph
Disentangling Factors of Variation Using Few Labels
Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）；Max Planck Institute for Intelligent Systems, Tübingen（图宾根马克斯·普朗克智能系统研究所）；Google Research, Brain Team（谷歌研究脑科学团队）
解纠缠表征的学习被认为是表示学习的基础问题。最近，Locatello等人（2019）证明，没有归纳偏见的无监督解缠学习在理论上是不可能的，现有的归纳偏见和无监督方法不允许一致地学习解缠表示。然而，在许多实际设置中，人们可能能够获得有限量的监督，例如通过在几个训练样本中手动标记（一些）变化因素。在本文中，我们调查了这种监督对最先进的解缠方法的影响，并进行了大规模的研究，在定义明确和可重复的实验条件下训练了52000多个模型。我们观察到，少量的标记示例（数据集的0.01- 0.5%），具有潜在的不精确和不完整的标签，足以在最先进的无监督模型上执行模型选择。此外，我们调查的好处，将监督纳入培训过程。总的来说，我们经验验证，很少和不精确的监督是可能的，可靠地学习解开表示。
2020-02-14 cs.AI cs.LG stat.ML
The Loss Is Not Enough: Sampling Conditions and Inductive Bias in Contrastive Representation Learning
ETH Zürich（苏黎世联邦理工学院）
本文通过测度论框架形式化对比学习中的多样性条件，提出支持校正的InfoNCE变体，并实验验证了采样多样性与编码器归纳偏置的相互作用。
2026-06-02 cs.AI cs.IR cs.LG
Structural Inductive Biases in Emergent Communication
University of Cambridge（剑桥大学）；MILA（蒙特利尔学习算法研究所）；McGill University（麦吉尔大学）；Polytechnique Montréal（蒙特利尔综合理工学院）；ServiceNow（ServiceNow公司）
为了交流，人类将复杂的想法及其属性表示成一个单词或句子。我们通过开发图形参考游戏来研究人工智能体中表示学习的影响。我们的经验表明，代理参数化的图神经网络开发一个更组成的语言相比，袋的话和序列模型，这使他们能够系统地推广到新的组合熟悉的功能。
2021-07-27 cs.AI cs.CL cs.LG
Video Reenactment as Inductive Bias for Content-Motion Disentanglement
University of Campinas（坎皮纳斯大学）；University of Oslo（奥斯陆大学）
低维表示中的独立分量是几个下游任务中的重要输入，并对观察到的数据提供解释。基于视频的解纠缠的变化因素提供了低维的表示，可以识别和用于饲料特定于任务的模型。我们引入MTC-VAE，一个自监督的运动传输VAE模型，从视频中分离运动和内容。与以往的视频内容运动解纠缠的工作不同，我们采用了一个块明智的建模方法，并利用时空邻域中包含的运动信息。我们的模型产生独立的每块表示，保持时间的一致性。因此，我们在一次向前传递中重建整个视频。我们扩展了ELBO的对数似然项，并包括一个盲重演损失作为一个感应偏差，以利用运动解纠缠，假设交换运动功能产生两个视频之间的重演。我们评估我们的模型与最近提出的解纠缠指标，并表明它优于各种视频运动内容解纠缠的方法。视频重现实验表明，我们的解纠缠的输入空间，我们的模型优于基线重建质量和运动对齐的有效性。
2022-02-18 cs.CV cs.LG
Inductive Biases for Deep Learning of Higher-Level Cognition
Mila（米拉人工智能研究所）；University of Montreal（蒙特利尔大学）
一个有趣的假设是，人类和动物的智力可以用几个原则来解释（而不是一个百科全书式的智力学列表）。如果这个假设是正确的，我们就可以更容易地理解我们自己的智能，并建造智能机器。就像在物理学中一样，这些原理本身不足以预测大脑等复杂系统的行为，可能需要大量的计算来模拟类似人类的智能。这一假设表明，研究人类和动物利用的归纳偏见可以帮助澄清这些原则，并为人工智能研究和神经科学理论提供灵感。深度学习已经利用了几个关键的归纳偏见，这项工作考虑了一个更大的列表，重点关注那些主要涉及更高层次和顺序意识处理的偏见。澄清这些特定原则的目的是，它们可能有助于我们构建受益于人类在灵活的分布和系统泛化方面的能力的AI系统，这是目前最先进的机器学习和人类智能之间存在巨大差距的领域。
2022-08-01 cs.AI cs.LG stat.ML
Lagrangian Neural Network with Differentiable Symmetries and Relational Inductive Bias
Indian Institute of Technology Delhi（印度德里理工学院）
物理世界的现实模型依赖于可微对称性，而这些对称性又对应于守恒定律。最近的拉格朗日和哈密顿神经网络的工作表明，一个系统的基本对称性可以很容易地通过一个神经网络时，提供了一个适当的归纳偏置学习。然而，这些模型仍然存在一些问题，例如无法推广到任意系统大小，可解释性差，最重要的是，无法学习平移和旋转对称性，这分别导致线性和角动量守恒定律。在这里，我们提出了一个动量守恒拉格朗日神经网络（MCLNN），学习系统的拉格朗日，同时也保持平移和旋转对称性。我们测试我们的方法对线性和非线性弹簧系统，和重力系统，展示了能量和动量守恒。我们还表明，开发的模型可以推广到任何任意大小的系统。最后，我们讨论了MCLNN的可解释性，它直接提供了多粒子系统相互作用的物理见解。
2021-10-12 cond-mat.mtrl-sci cs.AI cs.LG
VDSM: Unsupervised Video Disentanglement with State-Space Modeling and Deep Mixtures of Experts
University of Surrey（萨里大学）
分解表示支持一系列下游任务，包括因果推理、生成建模和公平机器学习。不幸的是，没有监督或归纳偏见的结合，解开纠缠已经被证明是不可能的。鉴于监督通常是昂贵的或不可行的收购，我们选择将结构归纳偏差，并提出了一个无监督的，深状态空间模型的视频解纠缠（VDSM）。该模型通过采用分层结构、动态先验知识和混合专家模型解码器来消除潜在的时变和动态因素。VDSM学习视频中对象或人的身份以及正在执行的动作的单独的解纠缠表示。我们在一系列定性和定量的任务，包括身份和动力学转移，序列生成，Fréchet起始距离和因子分类评估VDSM。VDSM提供了最先进的性能，超过了对抗性方法，即使这些方法需要额外的监督。
2021-12-15 cs.CV cs.LG
Rethinking Content and Style: Exploring Bias for Unsupervised Disentanglement
HKUST（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）
内容与风格（C-S）解纠缠的目的是将对象的潜在解释因素分解为两个独立的子空间。从无监督解纠缠的角度来看，我们重新思考的内容和风格，并提出了一个公式的无监督C-S解纠缠的基础上，我们假设不同的因素是不同的重要性和流行性的图像重建，这作为一个数据偏差。我们提出的C-S解纠缠模块（C-S DisMo）引入了相应的模型归纳偏差，在逼近真实数据分布时，为内容和风格分配了不同且独立的角色。具体地，假设从数据集嵌入的每个内容（其编码用于图像重建的最主要因素）是从跨数据集的共享分布中采样的。特定图像的样式嵌入（对剩余因子进行编码）用于通过仿射变换定制共享分布。在几个流行的数据集上的实验表明，我们的方法实现了最先进的无监督C-S解纠缠，这是可比的，甚至更好的监督方法。我们通过下游任务：域转换和单视图3D重建来验证我们方法的有效性。项目页面https://github.com/xrenaa/CS-DisMo。
2021-09-03 cs.AI cs.CV cs.LG
Disentanglement with Factor Quantized Variational Autoencoders
Department of Mathematics and Computer Science, University of Southern Denmark（数学与计算机科学系，丹麦南部大学）；Department of Computer Engineering, Istanbul Technical University（计算机工程系，伊斯坦布尔技术大学）；Department of AI and Data Engineering, Istanbul Technical University（人工智能与数据工程系，伊斯坦布尔技术大学）
本文提出FactorQVAE，通过全局码本标量量化和总相关归纳偏置，将离散表示学习与解耦优化结合，在DCI和InfoMEC指标上优于现有解耦方法并提升重建性能。
2025-11-05 cs.CV cs.LG
DisCont: Self-Supervised Visual Attribute Disentanglement using Context Vectors
IIIT Delhi（印度德里信息技术学院）
在没有事先监督的情况下解开图像中的潜在特征属性是一项具有挑战性的任务。能够很好地分解属性的模型提供了更好的可解释性和控制性。在本文中，我们提出了一个自我监督的框架DisCont解开多个属性，利用图像内的结构归纳偏见。受最近对比学习范式激增的启发，我们的模型弥合了自监督对比学习算法和无监督解缠之间的差距。我们在四个基准数据集上定性和定量地评估了我们的方法的有效性。
2020-06-29 cs.CV
NeurIPS 2019 Disentanglement Challenge: Improved Disentanglement through Learned Aggregation of Convolutional Feature Maps
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所IIS）
这份提交给NeurIPS 2019解纠缠挑战赛第二阶段的报告提出了一种简单的图像预处理方法，用于学习解纠缠的潜在因素。我们建议训练一个变分自编码器，该编码器基于从ImageNet数据库上预训练的网络中获得的区域聚合特征图，利用这些特征中包含的隐式归纳偏差进行解纠缠。这种偏差可以通过明确地微调对挑战有用的辅助任务（例如角度，位置估计或颜色分类）的特征图来进一步增强。我们的方法在挑战赛第二阶段获得了第二名。代码可在https://github.com/mseitzer/neurips2019-disentanglement-challenge上获得。
2020-11-17 cs.CV cs.LG stat.ML
IBiT: Utilizing Inductive Biases to Create a More Data Efficient Attention Mechanism
University of California, Berkeley（加州大学伯克利分校）
本文提出 IBiT，通过学习掩码将卷积神经网络的归纳偏置引入 Vision Transformer，使其无需知识蒸馏即可在小型数据集上训练，并显著提升准确率且保留可解释性。
2025-09-24 cs.AI cs.CV cs.LG
InBiaseD: Inductive Bias Distillation to Improve Generalization and Robustness through Shape-awareness
NavInfo Europe（四维图新欧洲）
与深度神经网络相比，人类对虚假相关性和琐碎线索（如纹理）的依赖更少，深度神经网络具有更好的泛化性和鲁棒性。它可以归因于先验知识或大脑中存在的高级认知归纳偏见。因此，向神经网络引入有意义的归纳偏差可以帮助学习更多的通用和高级表示，并减轻一些缺点。我们提出InBiaseD来提取归纳偏差，并为神经网络带来形状感知。我们的方法包括一个偏差对齐目标，该目标强制网络学习更通用的表示，这些表示不太容易受到数据中意外线索的影响，从而提高泛化性能。InBiaseD不太容易受到捷径学习的影响，并且还表现出较低的纹理偏差。更好的表示也有助于提高对对抗攻击的鲁棒性，因此我们将InBiaseD无缝地插入到现有的对抗训练方案中，以显示泛化和鲁棒性之间更好的权衡。
2022-06-12 cs.AI cs.CV cs.LG
A Solution to Co-occurrence Bias: Attributes Disentanglement via Mutual Information Minimization for Pedestrian Attribute Recognition
Beihang University（北京航空航天大学）
针对行人属性识别中的属性共现偏差问题，提出属性解耦特征学习方法，通过互信息最小化确保属性识别独立性，在真实数据集上取得最优性能。
2023-07-28 cs.CV
Towards Flexible Inductive Bias via Progressive Reparameterization Scheduling
Riiid AI Research（Riiid人工智能研究院）；Korea University（高丽大学）
在最近的计算机视觉中有两种事实标准架构：卷积神经网络（CNN）和视觉Transformer（ViTs）。卷积的强归纳偏差有助于模型有效地学习样本，但当有足够的数据可用时，这种强偏差也限制了CNN的上限。相反，对于小数据，ViT不如CNN，但对于足够的数据，ViT更胜一筹。最近的方法试图结合这两种架构的优势。然而，我们发现这些方法忽略了最佳归纳偏差也会根据目标数据规模的变化而变化，通过比较不同模型在不同比例下对样本ImageNet子集的准确性。此外，通过傅立叶分析特征图，模型的响应模式根据信号频率的变化，我们观察哪种归纳偏差是有利的每个数据尺度。模型中包含的类似卷积的感应偏差越多，所需的数据规模就越小，其中ViT类模型的性能优于ResNet。为了得到一个在数据尺度上具有灵活的归纳偏差的模型，我们证明了重新参数化可以在卷积和自注意之间插入归纳偏差。通过调整模型停留在卷积中的历元数，我们证明了从卷积到自注意的重新参数化在CNN和ViTs之间插入了傅立叶分析模式。根据这些发现，我们提出了渐进式重新参数化调度（PRS），其中重新参数化调整了每层所需的卷积或自我注意类归纳偏差。对于小规模数据集，我们的PRS在后期层线性更快地执行从卷积到自我注意的重新参数化。PRS在小规模数据集上的表现优于先前的研究，例如，CIFAR-100。
2022-10-04 cs.CV
Equivariance and Invariance Inductive Bias for Learning from Insufficient Data
Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）；Panasonic R&D Center Singapore（松下新加坡研发中心）
我们感兴趣的是从不充分的数据中学习鲁棒的模型，而不需要任何外部预训练的检查点。首先，与足够的数据相比，我们展示了为什么数据不足会使模型更容易偏向于通常与测试不同的有限训练环境。例如，如果所有的训练天鹅样本都是“白色”的，模型可能会错误地使用“白色”环境来表示内在类天鹅。然后，我们证明，等方差归纳偏差可以保留类功能，而不变性归纳偏差可以删除环境功能，留下类功能，推广到任何环境变化的测试。为了将它们应用于学习，对于等方差，我们证明了任何现成的基于对比的自监督特征学习方法都可以部署;对于不变性，我们提出了一种类不变风险最小化（Invariant Risk Minimization，简称VRM），它有效地解决了传统VRM中缺少环境注释的挑战。在真实世界的基准测试（VIPriors，ImageNet 100和NICO）上的最先进的实验结果验证了数据高效学习中的等变性和不变性的巨大潜力。代码可在https://github.com/Wangt-CN/EqInv上获得
2022-09-06 cs.AI cs.CV cs.LG
On the Bias Against Inductive Biases
Carnegie-Mellon University（卡内基梅隆大学）
借鉴彻底改变了自然语言处理领域的Transformer模型，用于视觉任务的自监督特征学习也使用这些极深的各向同性网络取得了最先进的成功。然而，典型的人工智能研究人员没有资源来评估，更不用说训练一个具有数十亿参数和二次自我注意激活的模型了。为了便于进一步的研究，有必要了解这些巨大的Transformer模型，可以充分研究的典型研究人员的特点。这些Transformer模型的一个有趣特性是，它们消除了经典卷积网络中存在的大部分电感偏差。在这项工作中，我们分析了这些和更多的归纳偏差对用于无监督视觉特征学习的小型到中型各向同性网络的影响，并表明它们的去除并不总是理想的。
2021-05-28 cs.CV cs.LG
A Strong Inductive Bias: Gzip for binary image classification
Instituto Tecnológico de Buenos Aires (ITBA)（布宜诺斯艾利斯理工学院）
本文提出用Gzip压缩器结合最近邻分类器进行二值图像分类，在少样本场景下相比Resnet等深度网络准确率更高且空间占用减少超两个数量级，揭示了强归纳偏置模型的潜力。
2024-01-14 cs.CV
The 8-Point Algorithm as an Inductive Bias for Relative Pose Prediction by ViTs
University of Michigan（密歇根大学）
我们提出了一个简单的基线直接估计两个图像之间的相对姿态（旋转和平移，包括规模）。深度方法最近取得了很大的进展，但通常需要复杂或多阶段的架构。我们表明，少数修改可以应用到一个视觉Transformer（ViT），使其计算接近八点算法。这种感应偏置使得简单的方法在多种设置中具有竞争力，通常在有限的数据状态下具有强大的性能增益，从而大大改善了现有技术。
2023-01-24 cs.CV
Leveraging Geometric Visual Illusions as Perceptual Inductive Biases for Vision Models
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Oxford（牛津大学）
本文提出将经典几何视觉错觉作为感知归纳偏置引入图像分类训练，通过合成参数化错觉数据集与三种多源学习策略，证明其能提升 CNN 和 Transformer 模型的泛化能力与结构敏感性。
2025-09-18 cs.AI cs.CV cs.LG
Face-Voice Association with Inductive Bias for Maximum Class Separation
Johannes Kepler University Linz（约翰内斯·开普勒大学林茨）；MBZUAI；IT:U Interdisciplinary Transformation University Austria（IT:U跨学科转型大学奥地利）；Linz Institute of Technology（林茨技术学院）
本文提出了一种基于最大类别分离作为归纳偏置的人脸-语音关联方法，通过实验验证其在多模态学习中的有效性。
2026-01-20 cs.CV
Co-advise: Cross Inductive Bias Distillation
South China University of Technology（华南理工大学）；MIT（麻省理工学院）；University of Texas at Austin（得克萨斯大学奥斯汀分校）；Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）
Transformers最近被改编自自然语言处理社区，作为基于卷积的神经网络的视觉学习任务的有前途的替代品。然而，如果训练数据的量不足（例如，ImageNet）。为了使其实用化，我们提出了一种新的基于蒸馏的方法来训练训练视觉Transformer。与以前的作品不同，在以前的作品中，仅仅提供了基于卷积的老师，我们引入了具有不同架构归纳偏差的轻量级老师（例如，卷积和对合）来共同指导学生Transformer。关键是，尽管教师在同一数据集上接受训练，但具有不同归纳偏见的教师获得了不同的知识，这些不同的知识复合并提高了学生在蒸馏过程中的表现。配备了这种交叉感应偏差蒸馏方法，我们的视觉Transformer（称为CivT）优于ImageNet上相同架构的所有以前的Transformers。
2021-06-23 cs.CV cs.LG
Explicit Disentanglement of Appearance and Perspective in Generative Models
Technical University of Denmark（丹麦技术大学）
解纠缠表示学习发现数据的紧凑，独立和易于解释的因素。学习这种方法需要一个归纳偏差，我们在图像的生成模型中明确编码。具体来说，我们提出了一个模型，有两个潜在的空间：一个表示空间变换的输入数据，另一个表示变换后的数据。我们发现，后者自然地捕捉到了数据的内在外观。为了实现生成模型，我们提出了一个变分推断变换自动编码器（VITAE），它将一个空间Transformer到一个变分自编码器。我们展示了如何通过仔细设计编码器和限制变换类为同构的来有效地在模型中执行推理。经验上，我们的模型分离的视觉风格从MNIST上的数字类型，分离的形状和姿势的人体和面部特征的图像从CelebA上的面部形状。
2019-11-13 cs.CV cs.LG stat.ML
An Image is Worth More Than a Thousand Words: Towards Disentanglement in the Wild
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
无监督的解纠缠已被证明在理论上是不可能的，没有模型和数据上的归纳偏差。作为一种替代方法，最近的方法依赖于有限的监督，以解开变异的因素，并允许其识别。虽然注释的真正的生成因素只需要有限数量的观察，我们认为，这是不可行的，列举所有的变化因素，描述了一个真实世界的图像分布。为此，我们提出了一种方法来解开一组因素，只有部分标记，以及分离的互补集的残留因素，从来没有明确规定。我们在这一具有挑战性的环境中取得的成功，在合成基准测试中得到了证明，这使得我们能够利用现成的图像描述符以最小的手动努力部分注释真实图像域（例如人脸）中的属性子集。具体来说，我们使用最近的语言图像嵌入模型（CLIP）注释一组感兴趣的属性在一个zero-shot的方式和展示国家的最先进的解开图像处理结果。
2021-10-25 cs.CV cs.LG
Do We Always Need the Simplicity Bias? Looking for Optimal Inductive Biases in the Wild
Idiap Research Institute（Idiap研究所）；EPFL（洛桑联邦理工学院）；Bitdefender（比特 Defender公司）；University of Adelaide（阿德莱德大学）
该研究通过元学习任务定制的激活函数，发现 ReLU 的简单性偏置仅在图像任务上近优，而在表格、回归等困难领域更复杂的归纳偏置更有效。
2025-03-13 cs.CV cs.LG
Studying inductive biases in image classification task
DENSO CORPORATION（电装公司）
近年来，自注意结构在计算机视觉领域得到了广泛的应用。它们具有局部独立的滤波器，可以使用大的内核，这与以前流行的卷积神经网络（CNN）相矛盾。CNN的成功归因于位置和空间不变性的硬编码归纳偏差。然而，最近的研究表明，CNN中的归纳偏差限制性太强。另一方面，对于局部SA网络，类似于dependency（DW）卷积的相对位置编码是必要的，这表明SA结构不是完全空间变化的。因此，我们想确定哪一部分的归纳偏见有助于当地SA结构的成功。为此，我们引入了上下文感知分解注意力（CADA），它将注意力映射分解为多个可训练的基本内核，并使用上下文感知（CA）参数将它们累积起来。这样，我们就可以识别CNN和SA网络之间的联系。我们使用应用于ImageNet分类任务的ResNet50进行了消融研究。与CNN相比，DW卷积可以具有较大的局部性，而不会增加计算成本，但精度会随着较大的内核而饱和。CADA遵循了这种地方性的特点。我们表明，上下文意识是至关重要的属性，但是，大的本地信息是没有必要构建CA参数。尽管没有空间不变性会使训练变得困难，但更宽松的空间不变性比严格的空间不变性提供了更好的准确性。此外，通过相对位置编码的额外的强空间不变性是优选的。我们将这些实验扩展到用于下采样的滤波器，并表明局部偏差对于下采样更关键，但可以使用放松的空间不变性来消除强局部偏差。
2022-10-31 cs.CV
CausalDisenSeg: A Causality-Guided Disentanglement Framework with Counterfactual Reasoning for Robust Brain Tumor Segmentation Under Missing Modalities
School of Information Engineering, Nanchang University（南昌大学信息工程学院）；School of Mathematics and Computer Sciences, Nanchang University（南昌大学数学与计算机科学学院）
本文提出CausalDisenSeg框架，通过因果引导的解耦和反事实推理，解决多模态脑肿瘤分割中因模态偏差导致的鲁棒性问题，实验显示其在严重缺失模态场景下准确性和一致性均优于现有方法。
2026-04-15 cs.CV
Tripod: Three Complementary Inductive Biases for Disentangled Representation Learning
Stanford University（斯坦福大学）
本文提出Tripod模型，通过整合量化、独立性和最小功能影响三种互补归纳偏置，并加以适应性改进，在四个图像解缠基准上取得最先进性能。
2024-05-24 cs.CV cs.LG
The Shape of Events: Edge-Based Inductive Biases via Cross-Domain Distillation
The University of Tokyo（东京大学）；Rikkyo University（立教大学）；RIKEN（理化学研究所）
本研究通过事件域到RGB域的蒸馏，揭示了事件数据诱导的基于边缘的归纳偏差，包括颜色不变性、形状偏差和高频噪声鲁棒性，并证明其作为下游任务的有用先验。
2026-09-28 cs.CV
Dual-Branch Cross-Projection Debiasing through Diffusion-based Disentanglement
Xidian University（西安电子科技大学）；Microsoft Research Asia（微软亚洲研究院）
针对有偏数据下基础模型的泛化问题，提出置信引导的偏差概念挖掘（CBCM）和双分支交叉投影去偏（DCD）框架，通过扩散解耦和交叉零空间投影分离目标与虚假特征，在无组标签条件下实现最差组准确率最优。
2026-06-24 cs.CV
Maximum Class Separation as Inductive Bias in One Matrix
University of Amsterdam（阿姆斯特丹大学）；TNO（荷兰应用科学研究组织）；Microsoft Research AI4Science（微软研究院AI4Science）
最大化类之间的分离构成了机器学习中众所周知的归纳偏差，也是许多传统算法的支柱。默认情况下，深度网络不具备这种感应偏置，因此通过差分优化提出了许多替代解决方案。目前的方法倾向于联合优化分类和分离：将输入与类向量对齐，并有角度地分离类向量。本文提出了一个简单的替代方案：在计算softmax激活之前，通过添加一个固定的矩阵乘法，将最大分离编码为网络中的归纳偏差。我们的方法背后的主要观察结果是，分离不需要优化，但可以在训练之前以封闭形式求解并插入网络。我们概述了一个递归的方法来获得矩阵组成的最大可分向量的任何数量的类，可以忽略不计的工程工作和计算开销。尽管其简单的性质，这一个矩阵乘法提供了真正的影响。我们表明，我们的建议直接提升了分类，长尾识别，分布外检测和开集识别，从CIFAR到ImageNet。根据经验，我们发现最大分离作为固定偏差效果最好;使矩阵可学习不会增加性能。封闭形式的实现和代码可以在github上找到。
2022-10-22 cs.CV cs.LG
LIB-KD: Teaching Inductive Bias for Efficient Vision Transformer Distillation and Compression
Department of Electrical Engineering Indian Institute of Technology Delhi（电子工程系印度理工学院德里）；Yogananda School of AI, Computers and Data Sciences（Yoganananda人工智能、计算机与数据科学学院）
LIB-KD提出一种集成蒸馏框架，利用卷积与反卷积等不同归纳偏置的轻量教师共同指导学生ViT，并通过预计算logits加速蒸馏，从而提升视觉Transformer压缩效率与性能。
2025-08-21 cs.CV cs.LG
Inductive Gradient Adjustment For Spectral Bias In Implicit Neural Representations
Sun Yat-sen University（中山大学）
本文提出归纳梯度调整（IGA）方法，利用经验神经正切核矩阵改善隐式神经表示的谱偏差，提升纹理细节与边缘锐度。
2025-05-25 cs.CV cs.LG
ProtoVAE: Prototypical Networks for Unsupervised Disentanglement
University of Maryland（马里兰大学）
本文提出基于深度生成式VAE的无监督解耦模型ProtoVAE，利用自监督训练的深度度量学习原型网络施加约束，确保表示空间的受控变化映射到数据空间的变化因子，在多个基准数据集上取得了最先进结果。
2023-05-16 cs.CV cs.LG
Learning Inductive Biases with Simple Neural Networks
New York University（纽约大学）
人们利用丰富的先验知识来有效地学习新概念。这些先验-也称为“归纳偏差”-属于学习者考虑的内部模型空间，它们帮助学习者做出超越观察数据的推断。最近的一项研究发现，针对对象识别优化的深度神经网络产生了形状偏差（Ritter et al.，2017年），一个归纳偏见所拥有的儿童，在早期的文字学习中发挥着重要作用。然而，这些网络使用不切实际的大量训练数据，并且这些偏差发展所需的条件还没有得到很好的理解。此外，目前还不清楚这些网络的学习动态如何与儿童的发展过程有关。我们调查的发展和影响的形状偏差在神经网络使用控制数据集的抽象模式和合成图像，使我们能够系统地改变数量和形式的经验提供给学习算法。我们发现，简单的神经网络在看到4个对象类别的3个示例后会产生形状偏好。这些偏见的发展预测了我们网络中词汇加速的开始，与儿童的发展过程一致。
2018-06-13 cs.CL cs.CV cs.LG
Disentangling Action Sequences: Discovering Correlated Samples
Shandong Provincial Key Laboratory of Network Based Intelligent Computing（山东省网络智能计算重点实验室）；University of Jinan（济南大学）；Jinan, 250022, China（济南市，250022，中国）
解纠缠是表征的一个非常理想的性质，因为它与人类的理解和推理相似。这提高了可解释性，使下游任务的性能，并使可控的生成模型。然而，这一领域的挑战是抽象的概念和不完整的理论，以支持无监督的解开学习。我们证明了数据本身，如图像的方向，在解纠缠中起着至关重要的作用，而不是因素，解纠缠表示将潜变量与动作序列对齐。我们进一步引入了解开动作序列的概念，这有利于描述现有的解开方法的行为。这个过程的一个类比是发现事物之间的共性并将其归类。此外，我们分析了数据的归纳偏差，发现潜在信息阈值与行为的重要性相关。对于有监督和无监督的情况，分别介绍了两种阈值的测量方法。我们进一步提出了一种新的框架，分数变分自编码器（FVAE），以解开与不同的意义的动作序列一步一步。在dSprites和3D Chairs上的实验结果表明，FVAE提高了解缠的稳定性。
2020-10-17 cs.CV cs.LG stat.ML
Learning high-level visual representations from a child's perspective without strong inductive biases
Center for Data Science（数据科学中心）；New York University（纽约大学）
该研究用单名儿童200小时头戴摄像头视频训练嵌入和生成模型，证明在没有强归纳偏置和显式监督下，仍能稳健学习到广泛有用的高层视觉表征，并在多名儿童中验证了结果一致性。
2023-09-22 cs.CV cs.LG cs.NE
