Stochastic Rounding Implicitly Regularizes Tall-and-Thin Matrices
Purdue University(普渡大学);North Carolina State University(北卡罗来纳州立大学)
针对行数远多于列数的高瘦实矩阵,该研究通过理论证明与实验验证,发现随机舍入能以高概率保证舍入后矩阵最小奇异值远离零、具有满列秩,揭示其隐式正则化作用,证明依托随机矩阵理论与舍入误差不集中于低维列空间的特性。
2024-12-06 cs.LG cs.NA math.NA
Can Implicit Bias Explain Generalization? Stochastic Convex Optimization as a Case Study
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
隐式偏差或隐式正则化的概念被认为是解释现代超参数化学习算法令人惊讶的泛化能力的一种手段。这个概念指的是优化算法趋向于某种结构化的解决方案,这种解决方案通常很好地推广。最近,有几篇论文研究了隐式正则化,并能够在各种情况下识别这种现象。我们重新审视这一范例,可以说是最简单的非平凡的设置,并研究隐含的偏见的随机梯度下降(SGD)的背景下,随机凸优化。作为第一步,我们提供了一个简单的结构,排除了存在的\emph{distribution-independent}隐式正则化,管理泛化能力的SGD。然后,我们证明了一个学习问题,排除了一个非常一般的类\emph{distribution-dependent}隐式正则化解释推广,其中包括强凸正则化以及非退化的规范为基础的正则化。我们的构造的某些方面指出,在提供一个全面的解释算法的泛化性能,仅仅争论其隐式正则化属性的显着困难。
2020-12-22 cs.LG stat.ML
cIDIR: Conditioned Implicit Neural Representation for Regularized Deformable Image Registration
Department of Biomedical Engineering, University of Basel, Switzerland(生物医学工程系,巴塞尔大学,瑞士)
本文提出基于隐式神经表示的条件可变形图像配准框架cIDIR,通过在正则化超参数先验分布上训练并以分割掩码为观测优化超参数,避免重复训练,并在DIR-LAB数据集上验证了其高精度与鲁棒性。
2025-07-17 cs.CV cs.LG
Quasi-potential as an implicit regularizer for the loss function in the stochastic gradient descent
Missouri University of Science and Technology(密苏里科技大学);Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院);Baidu Inc.(百度公司)
我们解释变分推理的随机梯度下降(SGD)作为最小化一个新的潜在的功能命名为\textit{quasi-potential}。当损失函数是凸的且只存在一个全局极小点时,我们解析地构造了拟势函数。在这种情况下,我们表明,准势函数是有关的噪声协方差结构的SGD通过一个偏微分方程的Hamilton-Jacobi型。这种关系有助于我们证明各向异性噪声比各向同性噪声导致更快的逃逸。然后,我们考虑的情况下,当损失函数是非凸的,并承认几个不同的局部极小SGD的动力学。在这种情况下,我们演示了一个例子,显示了噪声协方差结构如何在“隐式正则化”中发挥作用,这是一种SGD有利于某些特定局部最小点的现象。这是通过噪声协方差结构和准势函数之间的关系来完成的。我们的分析是基于大偏差理论(LDT),并通过数值实验进行了验证。
2019-01-18 cs.LG stat.ML
Tuning the Implicit Regularizer of Masked Diffusion Language Models: Enhancing Generalization via Insights from $k$-Parity
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
本文通过$k$-奇偶问题研究掩码扩散语言模型的泛化特性,理论分解其目标函数为信号和噪声两部分,并利用噪声作为隐式正则化器,通过优化掩码概率分布显著提升模型性能。
2026-06-02 cs.AI cs.LG
REV-INR: Regularized Evidential Implicit Neural Representation for Uncertainty-Aware Volume Visualization
INSIGHT Lab. IIT Kanpur(IIT坎浦实验室);Oak Ridge National Laboratory(橡树岭国家实验室);IIT Kharagpur(IIT哈里甘普);University of Utah(犹他大学)
REV-INR通过正则化证据隐式神经表示,在单次前向传递中实现体数据的高精度重建和不确定性估计,提升体可视化结果的可靠性。
2026-01-25 cs.GR cs.LG
DR3: Value-Based Deep Reinforcement Learning Requires Explicit Regularization
UC Berkeley(加州大学伯克利分校);Google Research(谷歌研究院);MILA(蒙特利尔学习算法研究所);Stanford University(斯坦福大学)
尽管过度参数化,但通过监督学习训练的深度网络很容易优化,并表现出出色的泛化能力。解释这一点的一个假设是,过度参数化的深度网络享受由随机梯度下降引起的隐式正则化的好处,这有利于在测试输入上推广良好的简约解决方案。可以合理地推测,深度强化学习(RL)方法也可以受益于这种效应。在本文中,我们讨论了在监督学习中看到的SGD的隐式正则化效应如何在离线深度RL设置中实际上是有害的,导致泛化能力差和退化的特征表示。我们的理论分析表明,当现有的隐式正则化模型应用于时间差分学习,所得到的派生正则化有利于退化的解决方案与过度的“混叠”,在鲜明的对比监督学习的情况下。我们根据经验支持这些发现,表明通过自举训练的深度网络价值函数学习的特征表示确实可以退化,混淆出现在Bellman备份两侧的状态-动作对的表示。为了解决这个问题,我们推导出这种隐式正则化的形式,并受到这种推导的启发,提出了一种简单有效的显式正则化,称为DR 3,抵消了这种隐式正则化的不良影响。当与现有的离线RL方法相结合时,DR 3大大提高了性能和稳定性,减轻了Atari 2600游戏,D4 RL领域和图像机器人操作中的遗忘。
2021-12-09 cs.LG
INFusion: Diffusion Regularized Implicit Neural Representations for 2D and 3D accelerated MRI reconstruction
The University of Texas at Austin(德克萨斯大学奥斯汀分校);MD Anderson Cancer Center(MD安德森癌症中心)
本文提出INFusion,利用预训练扩散模型正则化隐式神经表示以从欠采样MR测量中重建图像,并设计混合3D方法,验证了其在2D和大规模3D MRI上的有效性。
2024-12-09 cs.LG eess.IV
Scaled Supervision is an Implicit Lipschitz Regularizer
Dartmouth College(达特茅斯学院)
针对CTR预测中二值标签监督丰富度不足导致的模型过拟合问题,本研究提出拓宽监督带宽的方法,证明其可作为隐式Lipschitz正则化器提升CTR模型泛化性,且无需额外超参数调优。
2025-03-19 cs.IR cs.LG
LoReUn: Data Itself Implicitly Provides Cues to Improve Machine Unlearning
School of Computing(计算学院);National University of Singapore(新加坡国立大学)
针对现有机器遗忘方法对难遗忘数据效果不佳的问题,提出基于损失动态重加权的即插即用策略LoReUn,低开销提升图像分类与生成任务的遗忘效果,增强扩散模型有害内容防范能力。
2025-07-30 cs.AI cs.LG
Quantile Regularization: Towards Implicit Calibration of Regression Models
CSE Department, IIT Kanpur(印度理工学院坎普尔分校计算机科学与工程系)
最近的研究表明,大多数深度学习模型通常校准得很差,即,他们可能会产生错误的过度自信的预测。因此,期望具有产生可靠的预测不确定性估计的模型。最近已经提出了几种方法来校准分类模型。然而,校准回归模型的工作相对较少。我们提出了一种基于新的分位数正则化定义为两个CDF之间的累积KL分歧的回归模型的校准方法。与大多数现有的校准回归模型的方法不同,这些方法基于模型输出的事后处理,需要额外的数据集,我们的方法可以以端到端的方式进行训练,而不需要额外的数据集。所提出的正则化器可以与任何回归训练目标一起使用。我们还表明,事后校准方法,如等渗校准,有时复合误校准,而我们的方法提供了一贯更好的校准。我们提供的实证结果表明,所提出的分位数正则化器显着改善了使用Dropout VI和Deep Ensembles等方法训练的回归模型的校准。
2020-02-28 cs.LG stat.ML
When Does Removing LayerNorm Help? Activation Bounding as a Regime-Dependent Implicit Regularizer
Independent Researcher(独立研究者)
本文研究了移除层归一化对模型性能的影响,发现激活边界作为隐式正则化器在不同规模下表现不同,通过实验验证了动态tanh方法在不同参数和token规模下的效果差异。
2026-04-25 cs.CL cs.LG
Implicit Regularization in Deep Learning
Toyota Technological Institute at Chicago(芝加哥丰田技术学院)
为了更好地理解深度学习中的泛化,我们研究了几种可能的解释。我们表明,由优化方法诱导的隐式正则化在深度学习模型的推广和成功中起着关键作用。基于这种观点,我们研究了不同的复杂性度量如何确保泛化,并解释了优化算法如何隐式地正则化复杂性度量。我们从经验上研究了这些措施解释深度学习中观察到的不同现象的能力。我们进一步研究了神经网络中的不变性,提出了与神经网络中的不变性相似的复杂性度量和优化算法,并在一些学习任务上对其进行了评估。
2017-09-08 cs.LG
Adaptive Regularization of Representation Rank as an Implicit Constraint of Bellman Equation
Ruhr University Bochum(波鸿鲁尔大学);University of Maryland, College Park(马里兰大学帕克分校);University of Liverpool(利物浦大学)
本研究提出基于贝尔曼方程的自适应秩正则化器BEER,通过约束表示秩提升深度强化学习性能,在12个控制任务中大幅超越基线。
2024-04-19 cs.AI cs.LG
Disentangling the Mechanisms Behind Implicit Regularization in SGD
UC San Diego(加州大学圣地亚哥分校);Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学)
已经提出了许多相互竞争的假设来解释为什么小批量随机梯度下降(SGD)会导致全批量机制的泛化能力提高,最近的工作归功于整个训练过程中各种量的隐式正则化。然而,到目前为止,经验证据评估这些假设的解释力是缺乏的。在本文中,我们进行了广泛的实证评估,重点是各种理论化的机制,以关闭小到大批量泛化的差距的能力。此外,我们还描述了SGD在训练过程中如何(隐式地)正则化变化的数量。通过使用微批次,即每个小批次的不相交的较小子集,我们凭经验表明,显式地惩罚梯度范数或Fisher信息矩阵迹,平均超过微批次,在大批量制度恢复小批量SGD泛化,而基于雅可比的正则化不能做到这一点。这种泛化性能通常与正则化模型的梯度范数与小批量SGD的梯度范数的相似程度相关。我们还表明,这种行为打破了微批量大小接近批量大小。最后,我们注意到,在这方面的调查中,CIFAR10的积极实验结果往往在CIFAR100等其他数据集上被逆转,这突出了在更广泛的数据集上测试假设的必要性。
2022-11-29 cs.LG
Implicit Regularization in Deep Matrix Factorization
Princeton University(普林斯顿大学);Institute for Advanced Study(高等研究院);Tel Aviv University(特拉维夫大学)
对深度学习中泛化之谜的理解使人们相信,基于梯度的优化引入了一种隐式正则化形式,即偏向于低“复杂度”的模型。“我们研究了深度线性神经网络上的梯度下降的隐式正则化,用于矩阵完成和检测,这是一个被称为深度矩阵分解的模型。我们的第一个发现,理论和实验的支持,是增加深度的矩阵分解增强了对低秩的解决方案的隐含趋势,往往导致更准确的恢复。其次,我们提出了理论和经验的论点质疑一个新生的观点,隐式正则化矩阵分解可以捕获使用简单的数学规范。我们的研究结果表明,标准正则化的语言可能不够丰富,无法完全包含基于梯度的优化所带来的隐式正则化。
2019-10-26 cs.AI cs.LG cs.NE
Implicit Self-Regularization in Deep Neural Networks: Evidence from Random Matrix Theory and Implications for Learning
Calculation Consulting(Calculation Consulting公司);ICSI(国际计算机科学研究所);University of California at Berkeley(加州大学伯克利分校)
随机矩阵理论(RMT)应用于分析深度神经网络(DNN)的权重矩阵,包括生产质量、预训练模型(例如AlexNet和Inception)以及从头开始训练的较小模型,例如LeNet 5和微型AlexNet。经验和理论结果清楚地表明,DNN训练过程本身隐含地实现了一种形式的自正则化。DNN层矩阵的经验谱密度(ESD)显示了传统正则化统计模型的特征,即使在没有外生指定传统形式的显式正则化的情况下。基于RMT中相对较新的结果,最值得注意的是其扩展到重尾矩阵的普遍性类,我们开发了一种理论来识别5+1训练阶段,对应于隐式自正则化的增加量。这些阶段可以在训练过程中以及最终学习的DNN中观察到。对于较小和/或较旧的DNN,这种隐式自正则化就像传统的Tikhonov正则化,因为存在将信号与噪声分离的“大小尺度”。然而,对于最先进的DNN,我们发现了一种新的重尾自正则化形式,类似于无序系统统计物理中的自组织。这是由于在所有大小尺度上产生的相关性,这是由于训练过程本身而隐含地产生的。这种隐式的自正则化可以强烈地依赖于训练过程的许多旋钮。通过利用泛化间隙现象,我们证明了我们可以通过简单地改变批量大小来使一个小模型显示所有5+1训练阶段。这表明,在其他条件相同的情况下,具有较大批量的DNN优化会导致隐式正则化模型不太好,并为泛化间隙现象提供了解释。
2018-10-02 cs.LG stat.ML
Bilevel learning of l1-regularizers with closed-form gradients(BLORC)
Michigan State University(密歇根州立大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
我们提出了一种方法,监督学习稀疏促进正则化,在许多现代信号重建问题的关键成分。学习正则化器的参数以最小化在地面真实信号和测量对的训练集上重建的均方误差。训练涉及解决具有非光滑低层目标的具有挑战性的双层优化问题。我们推导出一个表达式的梯度的训练损失使用的隐式封闭形式的解决方案的较低级别的变分问题给出其对偶问题,并提供了一个配套的梯度下降算法(被称为BLORC),以尽量减少损失。我们对简单自然图像和一维信号去噪的实验表明,该方法可以学习有意义的算子,计算的分析梯度比标准的自动微分方法更快。虽然我们提出的方法适用于去噪,但我们相信它可以适用于各种线性测量模型的逆问题,从而使其适用于各种场景。
2021-11-21 cs.LG
Implicit Regularization of Stochastic Gradient Descent in Natural Language Processing: Observations and Implications
University of California, Santa Barbara(加州大学圣巴巴拉分校)
具有非常强的泛化性能的深度神经网络通常是过参数化的。尽管明确的正则化策略用于从业者以避免过度拟合,但影响通常很小。一些理论研究分析了随机梯度下降(SGD)在某些假设下对简单机器学习模型的隐式正则化效应。然而,它在最先进的模型和真实世界数据集中的实际行为仍然是未知的。为了弥补这一差距,我们研究了SGD隐式正则化在深度学习系统中的作用。我们表明,纯SGD往往收敛到最小值,在多个自然语言处理(NLP)任务中具有更好的泛化性能。这种现象与dropout共存,dropout是一个显式正则化子。此外,神经网络的有限学习能力并不影响SGD的隐式正则化效应的内在本质。具体来说,在有限的训练样本或某些损坏的标签下,隐式正则化效果仍然很强。我们进一步分析了稳定性,通过改变权重的初始化范围。我们证实了这些实验结果与决策边界可视化使用3层神经网络的解释。总之,我们的工作使我们能够深入了解隐式正则化如何影响深度学习模型,并为未来过参数化模型泛化能力的研究提供了指导。
2018-11-01 cs.CL cs.LG cs.NE
Implicit Bias via Spectral Neural Networks and Non-linear Matrix Sensing
National University of Singapore(新加坡国立大学);Indian Statistical Institute(印度统计研究所)
本文针对非线性神经网络在矩阵感知中的隐式正则化现象,提出谱神经网络(SNN)架构,通过奇异值分解对矩阵空间进行坐标化,并严格证明了梯度下降的指数收敛速率,同时通过理论与实验验证了该架构的有效性。
2026-11-06 cs.AI cs.LG cs.NE
Adam Induces Implicit Weight Sparsity in Rectifier Neural Networks
Corporate Research and Development Center, Toshiba Corporation(东芝公司企业研发中心);The University of Tokyo(东京大学);RIKEN(理化学研究所)
近年来,深度神经网络(DNN)已被应用于各种机器学习任务,包括图像识别、语音识别和机器翻译。然而,需要大型DNN模型来实现最先进的性能,超过边缘设备的能力。因此,实际应用中需要模型降阶。在本文中,我们指出,当在以下三个条件下训练DNN时,深度学习会自动诱导权重的组稀疏性,其中连接到输出通道(节点)的所有权重为零:(1)整流线性单元(ReLU)激活,(2)$L_2$正则化目标函数,以及(3)Adam优化器。接下来,我们从理论和实验上分析了这种行为,并提出了一种简单的模型简化方法:在训练DNN后消除零权重。在MNIST和CIFAR-10数据集上的实验中,我们展示了各种训练设置的稀疏性。最后,我们表明,我们的方法可以有效地减少模型的大小,并执行相对于使用稀疏诱导正则化的方法。
2018-12-19 cs.CV cs.LG stat.ML
Noise Regularizes Over-parameterized Rank One Matrix Recovery, Provably
ByteDance(字节跳动);Georgia Tech(佐治亚理工学院)
我们研究了噪声在学习过参数化模型的优化算法中的作用。具体来说,我们考虑恢复秩一矩阵$Y^*\in R^{d\times d}$从噪声观测$Y$使用过参数化模型。我们用$XX^\top$参数化秩一矩阵$Y^*$,其中$X\in R^{d\times d}$。然后,我们表明,在温和的条件下,估计,获得随机扰动梯度下降算法使用平方损失函数,达到均方误差$O(σ^2/d)$,其中$σ^2$是观测噪声的方差。相比之下,没有随机扰动的梯度下降估计得到的均方误差仅为$O(σ^2)$。我们的结果部分地证明了噪声在学习过参数模型时的隐正则化效应,并为训练过参数神经网络提供了新的理解。
2022-02-07 cs.LG
Augmenting Implicit Neural Shape Representations with Explicit Deformation Fields
Weizmann Institute of Science(魏茨曼科学研究所);Facebook AI Research(Facebook AI研究院)
隐式神经表示是一种将形状集合学习为神经网络的零水平集的最新方法,其中每个形状由潜在代码表示。到目前为止,焦点一直是形状重建,而形状泛化主要留给通用的编码器-解码器或自动解码器正则化。在本文中,我们提倡隐式神经表征的变形感知正则化,旨在产生合理的变形作为潜在代码的变化。挑战在于隐式表示无法捕捉不同形状之间的对应关系,这使得难以表示和正则化它们的变形。因此,我们建议将形状的隐式表示与作为辅助函数学习的显式分段线性变形场配对。我们证明,通过正则化这些变形场,我们可以鼓励隐式神经表示在学习的形状空间中诱导自然变形,例如尽可能刚性的变形。
2021-08-19 cs.CV cs.GR cs.LG
Why neural networks find simple solutions: the many regularizers of geometric complexity
Google(谷歌);DeepMind(深度思维);University College London(伦敦大学学院)
在许多情况下,更简单的模型比更复杂的模型更可取,并且控制这种模型复杂性是机器学习中许多方法的目标,例如正则化,超参数调整和架构设计。在深度学习中,很难理解复杂性控制的底层机制,因为许多传统的措施并不自然地适用于深度神经网络。在这里,我们开发了几何复杂性的概念,这是一个衡量模型函数的变异性,使用离散Dirichlet能量计算。结合理论论证和实证结果,我们表明,许多常见的训练算法,如参数范数正则化,谱范数正则化,平坦度正则化,隐式梯度正则化,噪声正则化和参数初始化的选择都可以控制几何复杂度,提供了一个统一的框架来表征深度学习模型的行为。
2022-12-23 cs.LG stat.ML
Margin-Regularized Structured Semantic Alignment for Brain-Language Correspondence
School of Computer Science and Technology, Northwestern Polytechnical University(西北工业大学计算机科学与技术学院)
本文针对脑-语言解码的模糊性问题,提出MD-SigLIP框架,通过边际正则化结构化语义对齐实现基于检索的解码,在全词汇与子集评估下均取得最优检索性能。
2026-08-19 cs.CL cs.LG
Deep Learning: Generalization Requires Deep Compositional Feature Space Design
Indian Institute of Technology, Guwahati(印度理工学院古瓦哈提分校)
泛化误差定义了深度模型的可辨别性和表示能力。在这项工作中,我们声称,使用深层组合函数的特征空间设计在泛化以及显式和隐式正则化中起着重要作用。我们的主张正在建立与几个图像分类实验。我们表明,由于卷积和最大池的信息损失可以边缘化的组合设计,提高泛化性能。此外,我们将证明学习率衰减在深度模型训练中充当隐式正则化器。
2017-07-08 cs.LG stat.ML
Drop-Activation: Implicit Parameter Reduction and Harmonic Regularization
Purdue University(普渡大学);The University of Chicago(芝加哥大学);National University of Singapore(新加坡国立大学)
过度拟合经常发生在深度学习中。在本文中,我们提出了一种新的正则化方法称为Drop激活,以减少过拟合和提高泛化能力。其关键思想是通过在训练时间内将非线性激活函数随机设置为恒等函数来丢弃非线性激活函数。在测试过程中,我们使用了一个确定性网络与一个新的激活函数编码的平均效果随机丢弃激活。我们的理论分析支持Drop-Activation作为隐式参数减少的正则化效应,并验证了其与批量归一化一起使用的能力(Ioffe和Szegedy 2015)。在CIFAR-10、CIFAR-100、SVHN、EMNIST和ImageNet上的实验结果表明,Drop-Activation通常可以提高图像分类任务的流行神经网络架构的性能。此外,作为正则化器,Drop-Activation可以与标准训练和正则化技术(如批量归一化和自动增强)协调使用(Cubuk et al. 2019)。代码可在\url{https://github.com/LeungSamWai/Drop-Activation}上获得。
2020-03-28 cs.LG stat.ML
Implicit Bias of Linear Equivariant Networks
Massachusetts Institute of Technology(麻省理工学院)
群等变卷积神经网络(G-CNN)是卷积神经网络(CNN)的推广,其通过在其架构中显式地编码对称性(例如旋转和置换)而在广泛的技术应用中表现出色。虽然G-CNN的成功是由其\emph{explicit}对称性偏差驱动的,但最近的一系列工作提出,特定架构上的训练算法的\emph{implicit}偏差是理解过参数化神经网络泛化的关键。在这种情况下,我们证明了通过梯度下降训练的$L$层全宽线性G-CNN收敛到具有低秩傅立叶矩阵系数的解决方案,并通过$2/L$ -Schatten矩阵范数进行正则化。我们的工作严格地将先前关于线性CNN的隐式偏差的分析推广到所有有限群上的线性G-CNN,包括非交换群(如置换)的挑战性设置,以及无限群上的带限G-CNN。我们通过对各种群体的实验来验证我们的定理,并根据经验探索更现实的非线性网络,这些网络局部捕获类似的正则化模式。最后,我们通过不确定性原理对实空间中的傅里叶空间隐式正则化结果提供了直观的解释。
2022-09-13 cs.AI cs.LG
Inner Ensemble Networks: Average Ensemble as an Effective Regularizer
UT Austin(德克萨斯大学奥斯汀分校);UAlbany(奥尔巴尼大学);KAUST(阿卜杜拉国王科技大学);Stanford(斯坦福大学)
我们引入了内部集成网络(IEN),它可以减少神经网络本身的方差,而不会增加模型的复杂性。IEN在训练阶段利用集成参数来减少网络方差。在测试阶段,这些参数被删除,而不会改变增强的性能。IEN通过因子$1/m^{L-1}$减少普通深度模型的方差,其中$m$是内部集合的数量,而$L$是模型的深度。此外,我们的经验和理论表明,IENS导致更大的方差减少相比,其他类似的方法,如辍学和maxout。我们的结果表明,与普通的深度模型相比,出错率降低了1.7%和17.3%。我们还表明,神经结构搜索(NAS)方法比以前的方法,IEN是首选。代码可在https://github.com/abduallahmohamed/inner_ensemble_nets上获得。
2020-10-09 cs.LG stat.ML
Aligned Weight Regularizers for Pruning Pretrained Neural Networks
Huawei Research Center(华为研究中心)
虽然各种途径的研究已经探索了迭代修剪,很少有人知道修剪有什么影响的zero-shot测试性能和修剪标准的选择其潜在的影响。这种修剪设置对于在预训练期间隐式学习语言表示之间的对齐的跨语言模型特别重要,如果通过修剪而扭曲,不仅会导致用于再训练的语言数据的性能较差,而且还会导致评估的zero-shot语言的性能较差。在这项工作中,我们表明,有一个明显的性能差异,在基于幅度的修剪时,比较标准的监督学习的zero-shot设置。根据这一发现,我们提出了两个权重正则化器,旨在最大限度地提高修剪和未修剪网络单元之间的对齐度,以减轻修剪跨语言模型中的对齐失真,并在非zero-shot和zero-shot设置下表现良好。我们提供的实验结果跨语言任务的zero-shot设置使用XLM-RoBERTa $_{\mathrm{Base}}$,我们还发现,修剪有不同程度的代表性退化取决于对应的语言的zero-shot测试集。这也是第一个研究,重点是跨语言的语言模型压缩。
2022-04-05 cs.CL cs.LG
Few-Shot Unsupervised Implicit Neural Shape Representation Learning with Spatial Adversaries
Inria(法国国家信息与自动化研究所);Univ. Rennes(雷恩大学);CNRS(法国国家科学研究中心);IRISA(雷恩信息与自动化研究所);M2S(运动、生长与形态研究所)
针对无监督下从稀疏3D点云学习神经符号距离函数的难题,提出利用形状周围对抗样本作为正则化项的方法,在合成与真实数据上有效提升了SDF学习效果。
2024-08-27 cs.AI cs.CV cs.GR
Occlusion Fields: An Implicit Representation for Non-Line-of-Sight Surface Reconstruction
University of Bonn(波恩大学);Delft University of Technology(代尔夫特理工大学)
非视线重建(NLoS)是一种新型的间接成像方式,其目的是从直接可见的漫射壁间接散射的光的测量中恢复视场外的物体或场景部分。尽管最近的进展,在收购和重建技术,适定性的问题,特别是对象及其形状的可恢复性,仍然是一个悬而未决的问题。通常采用的费马路径准则在这方面是相当保守的,因为它将一些表面分类为不可恢复的,尽管它们对信号有贡献。在本文中,我们使用一个更简单的必要条件不透明的表面补丁是可恢复的。这样的一片表面必须从墙上的某个点直接可见,并且它必须遮挡其后面的空间。受神经隐式表征最新进展的启发,我们设计了一种新的NLoS场景表示和重建技术,将可恢复性的治疗与重建本身结合起来。我们的方法,我们验证各种合成和实验数据集,表现出有趣的属性。与内存效率低下的体积表示,我们允许推断自适应镶嵌表面的飞行时间测量的中等分辨率。它可以进一步恢复超出费马路径标准的特征,并且对大量的自遮挡具有鲁棒性。我们认为,这是第一次在一个系统中实现这些属性,作为一个额外的好处,它是可训练的,因此适合数据驱动的方法。
2022-03-22 cs.CV cs.LG eess.IV