Position Embedding Needs an Independent Layer Normalization
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
由于自注意操作的排列不变性，位置嵌入（PE）对于视觉Transformer（VT）是至关重要的。通过使用重新参数化和可视化分析VT中每个编码器层的输入和输出，我们发现默认的PE连接方法（简单地将PE和补丁嵌入添加在一起）对令牌嵌入和PE进行相同的仿射变换，这限制了PE的表现力，从而限制了VT的性能。为了克服这一局限性，我们提出了一种简单，有效，和强大的方法。具体来说，我们为每个层的令牌嵌入和PE提供两个独立的层归一化，并将它们添加在一起作为每个层的多头自注意模块的输入。由于该方法允许模型自适应地调整不同层的PE信息，我们将其称为层自适应位置嵌入，简称为LaPE。大量的实验表明，LaPE可以改善不同类型的PE的各种VT，并使VT对PE类型具有鲁棒性。例如，LaPE将Cifar 10上的ViT-Lite的准确率提高了0.94%，将Cifar 100上的CCT的准确率提高了0.98%，将ImageNet-1 K上的DeiT的准确率提高了1.72%，考虑到LaPE带来的可忽略不计的额外参数、内存和计算成本，这是非常了不起的。该代码可在https://github.com/Ingrid725/LaPE上公开获取。
2022-12-22 cs.CV
Nonlinear Supervised Dimensionality Reduction via Smooth Regular Embeddings
Department of Electrical and Electronics Engineering, METU（中东技术大学（METU）电气工程系）
恢复数据汇集的内在几何结构是数据分析中的一个重要问题。近年来，已经提出了几种流形学习方法的监督扩展。同时，现有的方法主要集中在训练数据的嵌入，而嵌入到最初看不见的测试数据的推广是相当忽视的。在这项工作中，我们建立在监督流形学习算法的泛化性能的最新理论成果。受这些性能界限的影响，我们提出了一种监督流形学习方法，该方法在计算非线性嵌入的同时，构造一个平滑且规则的插值函数，将嵌入扩展到整个数据空间，以实现令人满意的泛化。嵌入和嵌入是共同学习的，使得嵌入的Lipschitz正则性被施加，同时确保不同类之间的分离。在多个图像数据集上的实验结果表明，该方法在大多数情况下的分类精度优于传统分类器和监督降维算法.
2018-05-28 cs.CV
Magnification Generalization for Histopathology Image Embedding
University of Waterloo（滑铁卢大学）
历史学图像嵌入是计算机视觉领域的一个研究热点。大多数嵌入模型专门集中在一个特定的放大水平。然而，在组织病理学包埋中有用的任务是训练包埋空间，而不管放大率水平如何。解决这一目标的两种主要方法是域自适应和域泛化，其中目标放大水平可以或可以不分别引入到训练中的模型中。虽然放大自适应是一个很好的研究课题，在文献中，本文，据我们所知，是第一个工作放大泛化的组织病理学图像嵌入。我们使用一种情景可训练域泛化技术进行放大泛化，即语义特征的模型不可知学习（MASF），它基于模型不可知元学习（MAML）概念工作。我们的实验结果与四个不同的放大率水平的乳腺癌组织病理学数据集显示所提出的方法的放大率泛化的有效性。
2021-01-18 cs.AI cs.CV eess.IV
SHED: Style-Homogenized Embedding Alignment for Domain Generalization
School of Computer Science and Engineering, Southeast University, Nanjing 210096, China（1 东南大学计算机科学与工程学院，南京 210096，中国）；Key Laboratory of Computer Network and Information Integration (Southeast University), Ministry of Education, China（2 教育部计算机网络与信息集成重点实验室（东南大学），中国）
本文提出SHED方法，通过均质化嵌入对齐来解决领域泛化中的信息不对称问题，实验表明其在多个基准测试中取得了最先进的性能。
2026-05-16 cs.CV cs.LG
Improving OOD Generalization of Pre-trained Encoders via Aligned Embedding-Space Ensembles
School of Computing Science（计算机科学学院）；Simon Fraser University（西蒙菲莎大学）
本文针对无标签数据下预训练编码器在分布外数据上泛化差的问题，提出一种无监督对齐嵌入空间的集成方法，并在MNIST上验证其优于单一编码器。
2024-11-20 cs.CV cs.LG
Domain-aware Triplet loss in Domain Generalization
University of Queensland（昆士兰大学）
尽管随着深度学习的发展，在对象识别领域取得了很大进展，但仍有几个因素对深度学习模型的性能产生负面影响。域偏移是这些因素之一，并且是由测试数据和训练数据的分布的差异引起的。本文研究了领域泛化中的紧凑特征聚类问题，以优化多领域数据的嵌入空间。我们为领域泛化设计了一个领域感知的三元组损失，以帮助模型不仅可以聚类相似的语义特征，而且可以分散来自领域的特征。与以前的方法集中在分布对齐，我们的算法被设计为分散域信息的嵌入空间。其基本思想是基于嵌入特征可以根据域信息进行聚类的假设，这在本文中得到了数学和经验的支持。此外，在我们的探索领域泛化的特征聚类，我们注意到，在领域泛化的度量学习损失的收敛影响因素比预定义的领域更重要。为了解决这个问题，我们利用两种方法来规范化嵌入空间，减少嵌入特征的内部协变量偏移。消融研究证明了我们的算法的有效性。在PACS、VLCS和Bull-Home等基准数据集上的实验表明，该方法优于关注领域差异的相关方法。特别是，我们在RegnetY-16上的结果明显优于基准数据集上的最新方法。我们的代码将在https://github.com/workerbcd/DCT上发布
2023-03-01 cs.CV
Zero-Shot Semantic Segmentation via Spatial and Multi-Scale Aware Visual Class Embedding
MINDsLab Inc.（MINDsLab 公司）；Agency for Defense Development（国防发展局）
全监督语义分割技术带来了场景理解的范式转变。然而，昂贵的标签成本负担仍然是一个挑战。为了解决成本问题，近年来的研究提出了基于语言模型的zero-shot语义分割（L-SLOSS）方法。在本文中，我们解决了L-CSSs的局限性，推广是一个优点，零样本学习。针对这一局限性，本文提出了一种无语言模型的zero-shot语义分割框架--空间和多尺度感知的视觉类嵌入网络（SM-VCENet）。此外，利用面向视觉的类嵌入SM-VCENet通过多尺度注意和空间注意丰富了类嵌入的视觉信息。我们还提出了一个新的基准（PASCAL 2 COCO）的zero-shot语义分割，它提供了泛化评价领域自适应，并包含视觉上具有挑战性的样本。在实验中，我们的SM-VCENet优于zero-shot语义分割国家的最先进的PASCAL-5i基准测试的相对利润，并显示在PASCAL 2COCO基准测试的泛化鲁棒性。
2021-12-20 cs.CV
ReLoop-UME: Recurrent Depth with Learnable Retrieval Registers for Universal Multimodal Embedding
该研究针对通用多模态嵌入的延迟问题，提出带可学习检索寄存器的循环深度模型ReLoop-UME，在MMEB-V2等数据集上提升检索性能且运行速度显著优于现有模型。
2026-08-03 cs.CV
Single Image Deraining Network with Rain Embedding Consistency and Layered LSTM
Tokyo Institute of Technology（东京工业大学）
单图像去覆盖通常被称为残差学习，以从输入的下雨图像中预测降雨层。为此，编码器-解码器网络引起了广泛的关注，其中要求编码器对高质量的雨嵌入进行编码，这决定了后续解码阶段重建雨层的性能。然而，大多数现有的研究忽略了雨嵌入质量的重要性，从而导致有限的性能与过度/欠dereraining。在本文中，我们观察到的高雨层重建性能的雨到雨自动编码器，我们引入了“雨嵌入一致性”的想法，把编码的嵌入由自动编码器作为一个理想的雨嵌入，旨在通过提高理想的雨嵌入和雨嵌入之间的一致性派生的去盲网络的编码器，以提高去盲性能。为了实现这一点，一个雨嵌入损失被应用到直接监督编码过程中，与整流局部对比度归一化（RLCN）作为指导，有效地提取候选雨像素。我们还提出了分层LSTM，用于考虑不同尺度的递归去同步和细粒度编码器特征细化。定性和定量实验表明，我们提出的方法优于以前的国家的最先进的方法，特别是在现实世界的数据集。我们的源代码可以在http://www.ok.sc.e.titech.ac.jp/res/SIR/上找到。
2021-11-05 cs.CV eess.IV
Mapping DNN Embedding Manifolds for Network Generalization Prediction
Johns Hopkins University（约翰斯·霍普金斯大学）；Villanova University（维拉诺瓦大学）；Center for Devices and Radiological Health, U.S. FDA（美国食品药品监督管理局器械与放射健康中心）
了解深度神经网络（DNN）在不断变化的条件下的性能对于在具有不受约束环境的安全关键应用中部署DNN至关重要，例如，用于自动驾驶车辆或医学图像分析的感知。最近，网络泛化预测（NGP）的任务已经被提出来预测DNN将如何在新的操作域中泛化。以前的NGP方法依赖于标记的元数据和新操作域的已知分布。在这项研究中，我们提出了第一种NGP方法，该方法仅基于未标记图像如何从外部操作域映射到DNN嵌入空间来预测DNN性能。我们展示了这种技术的行人，黑色素瘤，动物分类任务，并显示在13个15 NGP任务，而不需要领域知识的最先进的NGP。此外，我们还证明了当DNN性能较差时，我们的NGP嵌入映射可以用于识别错误分类的图像。
2022-02-03 cs.CV cs.LG
LookME: Lookup-Based Multimodal Embeddings for Layer Injection in Vision-Language Models
本文针对视觉语言模型在资源受限环境中部署的问题，提出LookME框架。通过分层两级查找方法和稀疏注入策略，实现基于查找的多模态嵌入增强，实验表明该方法优于仅文本的PLE风格方法，有效提升了模型性能。
2026-08-11 cs.AI cs.CV
Compositional Generalization Requires Linear, Orthogonal Representations in Vision Embedding Models
Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学）；Technical University of Munich（慕尼黑技术大学）
研究组合泛化中表示结构需满足的条件，通过形式化三个需求得出其几何约束，为线性表示假设提供理论基础，还推导维度界限并通过实验验证，揭示模型表示结构与组合泛化的关联。
2026-07-07 cs.CV cs.LG
Maximizing the Position Embedding for Vision Transformers with Global Average Pooling
Yonsei University（延世大学）；Korea Institute of Science and Technology（韩国科学技术研究院）
本文提出MPVG方法，通过最大化位置嵌入在采用全局平均池化的逐层视觉Transformer中的平衡作用，解决了PE表达能力受限的问题，并在多种任务上取得优于现有方法的效果。
2025-02-05 cs.CV cs.LG
Batch Normalization Embeddings for Deep Domain Generalization
Google（谷歌（Google）公司）
领域泛化旨在训练机器学习模型在不同和不可见的领域中稳健地执行。最近的几种方法使用多个数据集来训练模型以提取域不变特征，希望推广到看不见的领域。相反，首先我们显式地训练域相关的表示，通过使用ad-hoc批量归一化层来收集独立域的统计数据。然后，我们建议使用这些统计数据映射域在一个共享的潜在空间，其中成员资格的域可以通过一个距离函数来衡量。在测试时，我们将未知域中的样本投影到同一空间中，并将其域的属性推断为已知域的线性组合。我们在训练和测试时应用相同的映射策略，学习潜在表示和强大但轻量级的集成模型。我们展示了在流行的领域泛化基准：PACS，Office-31和ESTA-加州理工学院的分类准确性显着增加，目前国家的最先进的技术。
2021-05-18 cs.CV cs.LG
Shape-Biased Domain Generalization via Shock Graph Embeddings
Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）；Brown University（布朗大学）
有一种新兴的感觉，图像卷积神经网络（CNN）的脆弱性，即，对图像损坏、扰动和对抗攻击的敏感性与纹理偏差有关。这种形状偏差的相对缺乏也是领域泛化（DG）性能不佳的原因。包括形状的作用消除了这些弱点，并且一些方法已经通过在负像、具有边缘图的图像或具有冲突的形状和纹理信息的图像上进行训练来实现这一点。本文提出了一种基于经典计算机视觉的形状表示方法，即用等高线图的冲击图表示图像的形状内容。得到的图及其描述符是轮廓内容的完整表示，并使用最近的图神经网络（GNN）方法进行分类。三个域移位数据集，彩色MNIST，PACS和VLCS的实验结果表明，即使不使用外观的基于形状的方法超过经典的图像CNN的方法在领域泛化。
2021-09-13 cs.CV cs.LG
CAPE: Encoding Relative Positions with Continuous Augmented Positional Embeddings
Apple（苹果公司）；Facebook AI Research（Facebook 人工智能研究院）；Herophilus, Inc.（Herophilus 公司）
在没有位置信息的情况下，基于注意力的Transformer神经网络是置换不变的。绝对或相对位置嵌入是向Transformer模型提供位置信息的最常用方法。绝对位置嵌入易于实现，但在对比训练时看到的更长的序列进行评估时会遇到泛化问题。相对位置对输入长度变化更鲁棒，但实现起来更复杂，并且由于额外的计算和内存成本而产生较差的模型吞吐量。在本文中，我们提出了一种基于增广的方法（CAPE）的绝对位置嵌入，它保持了绝对（简单和速度）和相对位置嵌入（更好的泛化）的优点。此外，我们对机器翻译、图像和语音识别中最先进的模型的经验评估表明，CAPE导致了更好的泛化性能以及训练超参数的稳定性。
2021-11-09 cs.CL cs.CV cs.LG
Out-of-sample generalizations for supervised manifold learning for classification
Centre de recherche INRIA Rennes - Bretagne Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋研究中心）
用于数据分类的监督流形学习方法以结构保持的方式将驻留在高维环境空间中的数据样本映射到低维域，同时增强学习嵌入中不同类别之间的分离。大多数非线性监督流形学习方法只在最初可用的训练点上计算流形的嵌入，而嵌入到新点的泛化（称为流形学习中的样本外扩展问题）在分类应用中变得特别重要。在这项工作中，我们提出了一个半监督的方法来建立一个插值函数，提供了一个一般的监督流形学习算法的背景下，分类研究的样本外扩展。所提出的算法计算径向基函数（RBF）最小化的目标函数，由未标记的测试样本的总嵌入误差，定义为他们的距离嵌入自己的类的流形，以及一个正则化项，控制平滑的插值函数的方向依赖的方式。采用逐步逼近的方法，对测试数据的类标号和插值函数参数进行联合估计。人脸和目标图像上的实验结果表明，所提出的样本外扩展算法的分类流形建模的数据集的潜力。
2015-02-09 cs.CV cs.LG
Learning to Generate Novel Classes for Deep Metric Learning
POSTECH（浦项工科大学）；KAIST（韩国科学技术院）
深度度量学习旨在学习一个嵌入空间，其中数据之间的距离反映了它们的类等价性，即使它们的类在训练过程中是不可见的。然而，在训练中可用的类的有限数量排除了学习的嵌入空间的泛化。基于此，我们引入了一种新的数据增强方法，该方法合成了新的类及其嵌入向量。我们的方法可以提供丰富的语义信息的嵌入模型，并提高其泛化通过增加训练数据与新的类在原始数据中不可用。我们通过学习和利用一个条件生成模型来实现这个想法，该模型在给定类标签和噪声的情况下，产生该类的随机嵌入向量。我们提出的生成器允许损失使用更丰富的类关系，通过增加现实和不同的类，从而更好地推广到看不见的样本。在公共基准数据集上的实验结果表明，我们的方法明显提高了基于代理的损失的性能。
2022-01-04 cs.CV cs.LG
Layer rotation: a surprisingly powerful indicator of generalization in deep networks?
Université catholique de Louvain（鲁汶天主教大学）
我们的工作提供了大量的经验证据，证明层旋转，即每个层的权重向量与其初始化之间的余弦距离的训练演变，构成了泛化性能的令人印象深刻的一致指标。特别是，每层的最终和初始权重之间的余弦距离越大，最终模型的泛化性能越好。有趣的是，这种关系承认一个网络独立的最佳：训练过程中，所有层的权重达到余弦距离1从他们的初始化始终优于其他配置-高达30%的测试精度。此外，我们表明，层旋转很容易监测和控制（有助于超参数调整），并可能提供一个统一的框架来解释学习率调整，权重衰减，学习率热身和自适应梯度方法对泛化和训练速度的影响。为了解释层旋转的惊人特性，我们在MNIST上训练的1层MLP上显示，层旋转与中间层的特征被训练的程度相关。
2019-07-01 cs.CV cs.LG stat.ML
RandAlign: A Parameter-Free Method for Regularizing Graph Convolutional Networks
University of Technology Sydney（悉尼科技大学）；School of Electrical and Data Engineering（电气与数据工程学院）
针对图卷积网络的过平滑问题，提出无参数随机正则化方法RandAlign，通过层间随机插值对齐嵌入降低平滑度，在7个基准数据集上提升了多种模型的泛化性能与优化稳定性。
2024-04-15 cs.CV cs.LG
Embedding Space Selection for Detecting Memorization and Fingerprinting in Generative Models
University of California, Los Angeles（加州大学洛杉矶分校）
本文研究生成模型的数据记忆检测，发现ViT不同层嵌入的记忆分数对低级和高级信息敏感度不同且具有架构独特性，据此提出一种基于层间记忆分数分布的指纹识别方法，将模型识别准确率提升30%。
2024-07-30 cs.CV cs.LG
