Nested Attention: Semantic-aware Attention Values for Concept Personalization
Snap Research(Snap研究部);Tel Aviv University(特拉维夫大学)
本文提出嵌套注意力机制,通过查询相关的主体值注入交叉注意力层,在保持身份一致性的同时提升文本提示对齐,并支持多领域主体组合。
2025-01-02 cs.CV cs.GR cs.LG
CoRe: Context-Regularized Text Embedding Learning for Text-to-Image Personalization
Sun Yat-sen University(中山大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出上下文正则化方法CoRe,通过正则化提示词中的上下文token来增强新概念文本嵌入的学习,有效平衡了文本到图像个性化中的身份保持与文本对齐,提升了泛化能力并可作为测试时优化技术。
2024-08-28 cs.CV
Text-Conditional Contextualized Avatars For Zero-Shot Personalization
Meta AI
本文提出一种零样本文本条件虚拟形象个性化生成流程,无需训练即可扩展至百万用户,并设计文本到3D姿态扩散模型,利用大规模图像数据学习人体姿态,显著超越现有文本到运动模型。
2023-04-14 cs.AI cs.CV
Identity Encoder for Personalized Diffusion
本文提出基于身份编码器的个性化扩散模型方法,用少量参考图像即可生成任意身份的新图像,显著降低计算与存储开销,并在生成和重建任务上优于微调方法。
2023-04-14 cs.CV
Generative Landmarks
AI Foundation(AI基金会)
我们提出了一种通用的方法来检测地标,提高了时间一致性和个性化。大多数稀疏地标检测方法依赖于费力的、手动标记的地标,其中在时间体积上的注释的不一致导致次优地标学习。此外,具有个性化的高质量地标通常很难实现。我们把地标检测作为一个图像平移问题。我们捕获两组未配对的标记(用油漆)和未标记的视频。然后,我们使用生成对抗网络和循环一致性来预测地标模板的变形,这些模板模拟未标记图像上的标记,直到这些图像与地面实况标记图像无法区分。我们的新方法不依赖于手动标记的先验知识,是时间上一致的,图像类不可知的-脸,和手的地标检测的例子。
2021-04-08 cs.AI cs.CV cs.GR
SAVE: Protagonist Diversification with Structure Agnostic Video Editing
Seoul National University(首尔国立大学);NAVER Webtoon AI(NAVER 网络漫画人工智能)
本文提出SAVE,利用运动个性化、运动词、伪光流和伪词解耦运动与外观,解决视频编辑中主角形状差异较大时易失败的问题。
2023-12-05 cs.CV
A Neural Space-Time Representation for Text-to-Image Personalization
Tel Aviv University(特拉维夫大学)
本文提出一种神经时空表示方法,通过小型神经映射器在去噪时间步与 U-Net 层构成的联合空间中隐式编码个性化概念,并引入文本旁路和重要性排序,实现紧凑、高保真且可编辑的文本到图像个性化生成。
2023-05-24 cs.CV
Face2Diffusion for Fast and Editable Face Personalization
The University of Tokyo(东京大学)
针对现有文生图扩散模型人脸个性化方法过拟合导致难以兼顾身份相似度与可编辑性的问题,提出含多尺度身份编码器等三个组件的Face2Diffusion方法,显著优化了身份与文本保真度的权衡。
2024-03-08 cs.CV
Finetuning-Free Personalization of Text to Image Generation via Hypernetworks
Samsung AI Center Mountain View(三星AI中心山景)
本文提出一种基于超网络的免微调文本到图像生成个性化方法,通过端到端训练目标和输出正则化直接从主体图像预测LoRA权重,并引入HM-CFG增强组合泛化,无需逐主体优化即实现了高主体保真度与提示对齐。
2025-11-05 cs.CV
Meta-LoRA: Meta-Learning LoRA Components for Domain-Aware ID Personalization
Pixery Labs İstanbul, Türkiye(Pixery实验室伊斯坦布尔,土耳其);METU Dept. of Computer Engineering(METU计算机工程系);METU Dept. of Electrical and Elec. Engineering(METU电气与电子工程系)
提出Meta-LoRA框架,通过元学习将领域先验编码至三层LoRA架构,分离身份无关知识与特定适应,在减少适应时间的同时提升了身份保真度与效率。
2025-06-29 cs.CV
SEAL: Semantic-aware Single-image Sticker Personalization with a Large-scale Sticker-tag Dataset
SEAL通过引入语义感知的单图贴纸个性化方法,解决扩散模型在贴纸个性化中的视觉纠缠和结构刚性问题,利用StickerBench数据集实现属性级控制,提升身份保持与上下文可控性。
2026-09-07 cs.CV
A Data Perspective on Enhanced Identity Preservation for Diffusion Personalization
University of British Columbia(不列颠哥伦比亚大学);Adobe(奥多比公司)
本文提出一种数据中心的正则化数据集生成策略,在文本和图像层面增强扩散模型个性化中的身份保持,实现架构无关的最先进性能。
2024-11-06 cs.CV
CRAFT-LoRA: Content-Style Personalization via Rank-Constrained Adaptation and Training-Free Fusion
AGI Lab, Westlake University(西莱大学AGI实验室);George Washington University(乔治华盛顿大学);The University of Queensland(昆士兰大学)
CRAFT-LoRA通过秩约束适应与无训练融合实现内容-风格个性化,提升生成稳定性与语义控制灵活性。
2026-03-02 cs.CV
Improving Subject-Driven Image Synthesis with Subject-Agnostic Guidance
Google(谷歌)
本文提出主体无关引导(SAG)方法,通过构建主体无关条件和双分类器无关引导,解决主体驱动图像合成中文本提示属性被忽略的问题,显著提升生成质量。
2024-05-02 cs.CV
AdvCLIP: Downstream-agnostic Adversarial Examples in Multimodal Contrastive Learning
Huazhong University of Science and Technology(华中科技大学)
针对跨模态预训练编码器的安全风险,提出 AdvCLIP,利用拓扑图与拓扑偏离 GAN 生成通用对抗补丁,在八数据集两类下游任务上验证了强攻击效果。
2023-08-14 cs.CV
HOMIE: Human-object Centric Video Personalization via Multimodal Intelligent Enhancement
Hong Kong University of Science and Technology(香港科技大学)
研究以人为对象的视频个性化问题,提出HOMIE框架,统一处理主体间和主体内输入设置。通过更好的MLLM集成策略、自注意力中的全局多模态引导及模态参考嵌入,在多任务中达最优性能。
2026-07-22 cs.CV
No Way To Steal My Face: Proactive Defense Against Identity-Preserving Personalized Generation
Nanjing University of Information Science and Technology(南京信息工程大学)
针对扩散模型个性化生成的人脸隐私问题,提出可防御两类个性化方法的IDGuardian框架,通过破坏身份提取与注入阶段实现身份保护,且具备鲁棒性与泛化性。
2026-10-14 cs.CR cs.CV
Imagine yourself: Tuning-Free Personalized Image Generation
GenAI, Meta(GenAI部门,元公司)
本研究提出免调参的个性化图像生成模型Imagine yourself,通过合成数据、并行注意力和多阶段微调,提升身份保持、文本忠实度与视觉质量,超越现有方法。
2024-09-20 cs.AI cs.CV
MM-Diff: High-Fidelity Image Personalization via Multi-Modal Condition Integration
Alibaba Group(阿里巴巴集团)
提出无调优图像个性化框架MM-Diff,通过视觉编码器提取CLS和patch嵌入并结合多模态交叉注意力机制,辅以交叉注意力图约束,实现单/多主体高保真图像的快速生成。
2024-03-22 cs.AI cs.CV
VisualLens: Personalization through Task-Agnostic Visual History
Meta;University of Southern California(南加州大学)
本文提出 VisualLens 框架,利用 MLLM 从用户日常生活图像构建任务无关用户画像,并在 Google-Review-V 与 Yelp-V 上验证其个性化推荐性能优于现有方法和 GPT-4o。
2025-10-18 cs.CV
DDAP: Dual-Domain Anti-Personalization against Text-to-Image Diffusion Models
Northwestern Polytechnical University(西北工业大学);Great Bay University(大湾区大学);Beihang University(北京航空航天大学)
针对文本到图像扩散模型被滥用于生成特定个人图像的隐私风险,提出双域反个性化框架DDAP,通过交替进行空间扰动学习与频率扰动学习并引入定位模块,在保证对抗样本视觉质量的同时有效破坏个性化生成模型的输出。
2024-07-29 cs.CV
Omni-Attribute: Open-vocabulary Attribute Encoder for Visual Concept Personalization
Snap Inc.;UC Merced(加州大学默塞德分校);CMU(卡内基梅隆大学)
本文提出Omni-Attribute,通过联合设计数据与模型,学习高保真属性特定表示,解决现有方法中属性混杂的问题,提升开放词汇属性检索与生成性能。
2026-04-30 cs.CV
Tiny-Engram: Trigger-Indexed Concept Tables for Generative Vision
AutoArk-AI
本文提出Tiny-Engram,一种紧凑的触发索引概念表,通过显式地为视觉记忆分配词汇地址和激活边界,实现对冻结图像和视频生成器中的概念的控制。该方法通过注册的n-gram匹配索引参数化每个概念,仅在匹配触发区域调节文本编码器的隐藏状态,从而在保持周围提示的组合控制的同时,将罕见触发短语绑定到目标身份。
2026-05-19 cs.AI cs.CV
UniJEPA: A Unified Joint-Embedding Predictive Architecture for Task-Agnostic Visual World Modeling
UniJEPA是统一JEPAs,共享潜在空间联合学习图像级与视频级预测,抗坍塌,经后训练可零样本规划,在多基准上性能相当或更优,规划速度更快。
2026-08-10 cs.CV
FaceChain-FACT: Face Adapter with Decoupled Training for Identity-preserved Personalization
Alibaba Group(阿里巴巴集团)
针对人脸个性化生成中身份学习损害基础模型可控性与多样性的问题,提出FACT框架,通过细粒度身份编码、FAIR正则及条件丢弃打乱机制实现高保真且可控的身份保持生成。
2024-10-25 cs.AI cs.CV
Diffusable Latents from Structure-Agnostic Distillation
LIGM;ENPC(巴黎高科路桥学校);IP Paris(巴黎综合理工学院);CNRS(法国国家科学研究中心);UGE(巴黎东大学);Kyutai
本研究提出结构无关蒸馏方法,通过池化图像级描述符对齐替代密集位置级对齐,提升潜变量可扩散性,并验证一阶与关系目标在多种模态下的有效性。
2026-10-01 cs.CV
Ada-adapter:Fast Few-shot Style Personlization of Diffusion Model with Pre-trained Image Encoder
University of Electronic Science and Technology of China(电子科技大学);SeeKoo;University of Chinese Academy of Sciences(中国科学院大学)
本文提出 Ada-Adapter 框架,结合现成扩散模型与预训练图像编码器,从少量参考图像学习紧凑风格表示,实现高效零样本/少样本风格化。
2024-07-08 cs.CV
TREAD: Token Routing for Efficient Architecture-agnostic Diffusion Training
本文提出TREAD,一种架构无关的令牌路由机制,通过将随机选择的令牌从早期层传输到深层,在不修改架构或增加参数的情况下,同时提升了扩散模型的训练效率和生成性能,在ImageNet-256基准上实现了最高37倍的收敛加速和2.09的FID。
2025-10-10 cs.AI cs.CV
P3CA: Encoder-Agnostic Interpretation of Vision Foundation Model Embeddings via Spatial Probing
School of Computing, Queen’s University(女王大学计算学院)
针对视觉基础模型嵌入难以解释的问题,提出与编码器无关的P3CA方法,通过空间提示实现局部探测,在多类数据上验证其可揭示局部结构、提升病理判别能力等贡献。
2026-08-12 cs.CV cs.LG
Vision encoders should be image size agnostic and task driven
本文提出下一代视觉编码器应摆脱对图像尺寸的依赖,转而由任务驱动计算复杂度,并给出了图像分类的概念验证方案以证明其可行性。
2025-08-22 cs.CV
FADE: Fusing the Assets of Decoder and Encoder for Task-Agnostic Upsampling
Huazhong University of Science and Technology(华中科技大学);School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院)
我们考虑了密集预测中的任务不可知特征上采样问题,其中需要上采样算子来促进区域敏感任务(如语义分割)和细节敏感任务(如图像抠图)。现有的上采样运算符通常可以在任一类型的任务中很好地工作,但不能同时工作。在这项工作中,我们提出了FADE,一个新的,即插即用,和任务无关的上采样操作。FADE受益于三种设计选择:i)在上采样内核生成中联合考虑编码器和解码器特征; ii)有效的半移位卷积算子,其能够对每个特征点如何贡献于上采样内核进行粒度控制; iii)用于增强细节描绘的依赖于解码器的门控机制。我们首先研究了FADE在玩具数据上的上采样特性,然后在大规模语义分割和图像抠图上对其进行了评估。特别是,FADE揭示了其有效性和任务无关的特性,在不同的任务中始终优于最近的动态上采样算子。它还可以很好地推广到卷积和Transformer架构,并且计算开销很小。我们的工作还提供了关于任务不可知的上采样的深思熟虑的见解。代码可在:http://lnkiy.in/fade_in
2022-12-27 cs.CV
FADE: A Task-Agnostic Upsampling Operator for Encoder-Decoder Architectures
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院)
提出任务无关上采样算子FADE,通过融合编码器与解码器特征并在核生成、逐点贡献和门控机制上动态权衡,在区域敏感和细节敏感任务上均实现性能提升。
2024-07-18 cs.CV
Towards Spatial Transcriptomics-guided Pathological Image Recognition with Batch-Agnostic Encoder
National Cancer Center Japan(日本国立癌症中心);Kyushu University(九州大学)
本文针对空间转录组学批次效应阻碍病理图像识别的问题,提出批次无关对比学习框架,通过变分推断训练的基因编码器提取跨患者一致信号,并在公开数据集上验证了有效性。
2025-03-10 cs.CV
PEGAsus: 3D Personalization of Geometry and Appearance
The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学);Autodesk Research(Autodesk研究);The Hong Kong University of Science(香港科学大学);Lingnan University(岭南大学);Tel-Aviv University(特拉维夫大学)
PEGAsus通过几何与外观层面的概念学习,实现个性化3D形状生成,支持灵活的概念提取与合成,优于现有方法。
2026-02-09 cs.CV cs.GR
MambaEye: A Size-Agnostic Visual Encoder with Causal Sequential Processing
Korea University(韩国大学);MIT(麻省理工学院)
MambaEye通过因果序列处理和相对移动嵌入,实现无尺寸依赖的视觉编码,适用于任意分辨率和扫描模式。
2025-11-25 cs.AI cs.CV
GeoDANO: Geometric VLM with Domain Agnostic Vision Encoder
Graduate School of Artificial Intelligence, POSTECH(POSTECH人工智能研究生院);Department of Computer Science and Engineering, POSTECH(POSTECH计算机科学与工程系);Australian National University(澳大利亚国立大学)
GeoDANO提出一种领域无关视觉编码器,通过GeoCLIP和领域适应策略,提升几何特征识别,在平面几何问题解决上超越现有方法和GPT-4o。
2025-09-26 cs.CL cs.CV
Switching Variational Auto-Encoders for Noise-Agnostic Audio-visual Speech Enhancement
University Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
最近,视听语音增强已经在基于变分自动编码器(VAE)的无监督设置中得到解决,其中在训练期间仅使用干净数据来训练语音的生成模型,该生成模型在测试时与噪声模型(例如,非负矩阵分解(NMF))相结合,其参数在没有监督的情况下被学习。因此,所提出的模型是不可知的噪声类型。当视觉数据干净时,基于视听VAE的体系结构通常优于仅音频的体系结构。当视觉数据被杂波破坏时,情况正好相反,例如扬声器没有面对摄像头。在本文中,我们建议通过时间来找到这两种架构的最佳组合。更确切地说,我们引入了一个潜在的序列变量与马尔可夫依赖关系之间切换不同的VAE架构,通过时间在无监督的方式:导致切换变分自动编码器(SwVAE)。我们提出了一个变分分解近似计算难处理的后验分布。我们还推导了相应的变分期望最大化算法来估计模型的参数和增强语音信号。我们的实验表明,有前途的性能SwVAE。
2021-02-08 cs.CV cs.SD eess.AS
Targeted Downstream-Agnostic Attack
College of Computer Science, Sichuan University(四川大学计算机学院)
本文提出了一种定向下游无关攻击(TDAA)方法,通过在更严格的威胁模型下,要求攻击同时具有针对性和下游无关性,解决了传统下游无关攻击(DAAs)在目标未知和编码器不直接生成预测时的挑战。通过引入威胁图像作为特征级锚点,构建了任务无关的桥梁,揭示了受害者编码器的脆弱性。
2026-05-19 cs.AI cs.CV
Downstream-agnostic Adversarial Examples
Wuhan University(武汉大学);Griffith University(格里菲斯大学);City University of Hong Kong(香港城市大学);Huazhong University of Science and Technology(华中科技大学)
本文提出 AdvEncoder 框架,利用图像高频信息和生成式攻击构造与下游任务无关的通用对抗扰动或补丁,在不了解预训练与下游数据集的情况下实现高成功率、可迁移攻击,并通过四种防御验证其威胁。
2023-08-14 cs.CV
DejaVid: Encoder-Agnostic Learned Temporal Matching for Video Classification
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
针对现有大型视频编码器平均池化忽略时序特征、时序建模需重训的问题,提出编码器无关的DejaVid方法,将视频转为多元时间序列并学习逐帧特征权重,以极小参数和训练成本显著提升多数据集分类准确率。
2025-06-14 cs.CV
Modality Agnostic Efficient Long Range Encoder
Amazon Prime Video(亚马逊Prime视频);Rutgers University(罗格斯大学)
本文提出统一高效的 MAELRE transformer 架构,通过渐进 token 合并与注意力近似降低长序列二次复杂度,并在多模态分类任务中实现更优精度与效率。
2025-07-25 cs.CV
VEAttack: Downstream-agnostic Vision Encoder Attack against Large Vision Language Models
City University of Hong Kong(香港城市大学);University of Sydney(悉尼大学)
VEAttack是一种针对大视觉语言模型视觉编码器的简单有效攻击方法,通过优化图像令牌降低计算开销,实现对多种下游任务的泛化攻击。
2026-02-04 cs.CV
TAMEing Long Contexts in Personalization: Towards Training-Free and State-Aware MLLM Personalized Assistant
University of Electronic Science and Technology of China(电子科技大学);Aiwen Technology Co., Ltd.(Aiwen科技有限公司);Intelligent Digital Media Technology Key Laboratory of Sichuan Province(四川省智能数字媒体技术重点实验室)
本文提出TAME框架,通过双记忆和RA2G范式实现无训练、状态感知的MLLM个性化,提升长上下文对话能力。
2025-12-25 cs.CV
MiPa: Mixed Patch Infrared-Visible Modality Agnostic Object Detection
ETS Montreal(蒙特利尔理工学院)
针对单一共享编码器学习RGB与IR时的模态不平衡问题,提出MiPa混合块训练及块级模态不可知模块,使推理仅需单模态即可在RGB/IR检测基准上取得竞争力。
2024-08-02 cs.CV
Anti-Persona: Disrupting Unauthorized Identity Binding and Recognition in Personalized Vision--Language Models
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Michigan State University(密歇根州立大学)
针对个性化视觉-语言模型中的身份绑定与识别隐私风险,提出基于身份原型扰动破坏的图像级防御方法Anti-Persona,在保持视觉保真度下实现高达95%的保护率。
2026-10-02 cs.CV
Directed Variational Cross-encoder Network for Few-shot Multi-image Co-segmentation
Indian Institute of Technology Bombay(印度理工学院孟买分校)
在本文中,我们提出了一种新的框架,多图像的共同分割使用类不可知的元学习策略,通过推广到新的类,只有少量的训练样本,为每个新的类。我们开发了一种新的编码器-解码器网络,称为DVICE(定向变分推理交叉编码器),它学习连续的嵌入空间,以确保更好的相似性学习。我们采用了建议DVICE网络和一种新的少样本学习方法的组合,以解决小数据集,如iCoseg和MSRC的共同分割中遇到的小样本量的问题。此外,所提出的框架不使用任何语义类标签,是完全类不可知的。通过仅使用少量训练数据对多个数据集进行详尽的实验,我们已经证明了我们的方法优于所有现有的最先进的技术。
2020-10-17 cs.CV
Suppressing Spoof-irrelevant Factors for Domain-agnostic Face Anti-spoofing
Kakao Enterprise
人脸反欺骗旨在通过区分图像是来自人脸还是来自欺骗介质来防止人脸识别系统的错误认证。我们提出了一种称为双重对抗抑制网络(Doubly Adversarial Suppression Network,DNF)的新方法,用于域不可知的人脸反欺骗; DNF通过学习有效抑制欺骗无关因素(Spoof-Relevant Factor,SiF)(例如,照相机传感器、照明)。为了实现我们的目标,我们引入了两种类型的对抗学习方案。在第一个对抗学习方案中,通过部署针对编码器训练的多个鉴别头来抑制多个SIF。在第二对抗学习方案中,每个鉴别头也被对抗训练以抑制欺骗因子,并且次级欺骗分类器和编码器的组旨在通过克服抑制来加强欺骗因子。在四个公共基准数据集上对该方法进行了测试,取得了显著的测试结果.结果表明了该方法的有效性。
2020-12-02 cs.CV
LEGO-Motion: Learning-Enhanced Grids with Occupancy Instance Modeling for Class-Agnostic Motion Prediction
School of Vehicle and Mobility, Tsinghua University(清华大学车辆与出行学院);AI2Robotics(AI2机器人公司);AD Division of NIO Inc.(蔚来汽车自动驾驶事业部)
本文提出LEGO-Motion框架,将实例特征融入BEV占用表示,通过交互增强实例编码器和实例增强BEV编码器提升类别无关运动预测的物理一致性与交互建模能力,并在nuScenes和FMCW LiDAR基准上取得领先性能。
2025-03-10 cs.CV
VLM: Task-agnostic Video-Language Model Pre-training for Video Understanding
Facebook AI(Facebook人工智能);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种简化的、与任务无关的多模态预训练方法,该方法可以接受视频或文本输入,也可以同时接受视频和文本输入,用于各种最终任务。现有的预训练是特定于任务的,通过采用需要两种模态的单个跨模态编码器,限制其用于检索式最终任务,或者使用两个单峰编码器进行更复杂的多任务学习,限制早期的跨模态融合。相反,我们引入了新的预训练掩码方案,这些方案可以更好地混合各种模式(例如,通过强制文本掩码来预测最接近的视频嵌入),同时还保持了可分离性(例如,有时需要单峰预测,而不需要使用所有输入)。实验结果表明,在更广泛的任务比任何以前的方法,往往优于特定于任务的预训练强大的性能。代码可在https://github.com/pytorch/fairseq/tree/main/examples/MMPT上获得。
2021-09-30 cs.CL cs.CV
FATE: Feature-Agnostic Transformer-based Encoder for learning generalized embedding spaces in flow cytometry data
TU Wien(维也纳工业大学);St. Anna CCRI(圣安娜儿童癌症研究所)
针对流式细胞术数据特征因样本而异的问题,提出基于集合Transformer加特征编码器层的FATE架构,可学习通用嵌入空间处理异构特征数据,在急性髓系白血病检测中展现优势,适用于数据稀缺场景。
2023-11-06 cs.CV eess.IV
The Platonic Defense: Backdoor Defense for Self-Supervised Encoders in the Era of Large Scale Pre-training
提出一种攻击无关、模型无关、模态无关的黑盒测试时防御范式,利用柏拉图表示假设,通过能量函数进行后门检测与表示净化。
2026-06-28 cs.CR cs.CV
Personalized Large Vision-Language Models
University at Buffalo(布法罗大学);New York University(纽约大学)
PLVM通过预训练视觉编码器Aligner将指代概念与查询图像对齐,使LVLMs能在对话中持续低成本地添加新概念,实现更可定制且指代友好的个性化交互。
2024-12-23 cs.CV
A Simple-but-effective Baseline for Training-free Class-Agnostic Counting
Australian Institution for Machine Learning(澳大利亚机器学习研究院);The University of Adelaide(阿德莱德大学)
针对无需训练的类别无关计数性能不足问题,本文提出结合超像素提示、语义编码器、多尺度机制与直推式原型的简单基线,显著提升效果并追平训练型方法。
2025-01-06 cs.CV
DAMSL: Domain Agnostic Meta Score-based Learning
Princeton University(普林斯顿大学);Massachusetts Institute of Technology(麻省理工学院);Pensees Pte Ltd(新加坡磐思科技私人有限公司)
在本文中,我们提出了领域不可知的Meta Score-based Learning(DAMSL),这是一种新颖的、通用的、高效的解决方案,与跨领域少样本学习的最新方法相比,它具有显著的性能优势。我们确定了以前的元学习方法中的关键问题,即过度拟合源域,以及以前的迁移学习方法未充分利用支持集的结构。我们的方法背后的核心思想是,我们使用这些分数来创建域不可知度量空间的输入坐标,而不是直接使用来自微调特征编码器的分数。应用图神经网络来学习这些坐标上的嵌入和关系函数,以处理支持集的分数分布中包含的所有信息。我们在已建立的CD-FSL基准和新领域上测试了我们的模型,并表明我们的方法克服了以前的元学习和迁移学习方法的局限性,在较小和较大的领域变化中都能大幅提高准确性。
2021-06-06 cs.AI cs.CV cs.LG