VIGFace: Virtual Identity Generation for Privacy-Free Face Recognition
Korea Institute of Sciene and Technology(韩国科学技术研究院)
本文提出 VIGFace 框架,通过在特征空间预分配正交虚拟身份并训练扩散模型生成合成人脸,实现隐私安全的数据增强,并在多个人脸识别基准上超越现有最优方法。
2025-03-13 cs.CV
M2P-AD: Memory-to-Prototype Learning with Boundary-aware Score Refinement for 3D Anomaly Detection
Jeonbuk National University(全北国立大学);Korea Institute of Industrial Technology (KITECH)(韩国产业技术研究院)
针对3D异常检测中正常区域过度异常响应和物体边界附近误报问题,提出M2P-AD模型,通过M2P模块学习原型、BE模块提取边界,结合BSR策略校准分数,在多个数据集上实现最优性能,提升异常检测准确性与稳定性。
2026-07-16 cs.CV
Improving Face Recognition with Large Age Gaps by Learning to Distinguish Children
KAIST AI(韩国科学技术院人工智能研究院);Korea University(高丽大学)
尽管人脸识别技术得到了前所未有的发展,但现有的人脸识别模型在识别儿童和成人图像是否属于同一个身份时,仍然表现出相当低的性能。以前的方法主要集中在增加儿童和成人图像之间的相似性,一个给定的身份,以克服由于年龄增长的面部外观的差异。然而,我们观察到,降低不同身份的儿童图像之间的相似性对于学习儿童之间的不同特征至关重要,从而提高儿童-成人对的人脸识别性能。基于这种直觉,我们提出了一种新的损失函数称为原型间损失,最大限度地减少子图像之间的相似性。与以前的研究不同,原型间损失不需要额外的子图像或训练额外的可学习参数。我们广泛的实验和深入的分析表明,我们的方法优于现有的基线在人脸识别与儿童成人对。我们的代码和新构建的儿童-成人配对测试集可在www.example.com上获得。
2021-10-22 cs.CV
Controlling Face's Frame generation in StyleGAN's latent space operations: Modifying faces to deceive our memory
Instituto Tecnológico de Buenos Aires (ITBA)(布宜诺斯艾利斯技术学院)
本文研究StyleGAN2潜在空间操作对人脸框架的影响,通过识别和比较人脸框架,发现修改睁眼、张嘴可保持框架稳定,而水平朝向影响最大,为利用生成人脸干扰人类记忆识别提供依据。
2024-06-30 cs.AI cs.CV
Continual Prototype Evolution: Learning Online from Non-Stationary Data Streams
KU Leuven(鲁汶大学)
在表示学习中,获得代表类分布的原型特征是很好的。然而,从流数据在线学习原型证明了一项具有挑战性的工作,因为它们很快就会过时,这是由学习过程中不断变化的参数空间引起的。此外,持续学习并不假设数据流是静止的,这通常会导致对先前知识的灾难性遗忘。首先,我们介绍了一个解决这两个问题的系统,其中原型在共享的潜在空间中不断发展,使学习和预测在任何时间点。与持续学习中的主要工作相比,数据流以在线方式处理,而无需额外的任务信息,并且高效的存储器方案为不平衡的数据流提供了鲁棒性。除了基于最近邻的预测,学习是由一个新的目标函数,鼓励集群密度的类原型和增加类间方差。此外,潜在的空间质量提高了伪原型在每一批,构成重放的样本从记忆中。作为一个额外的贡献,我们概括了现有的范例,在持续学习纳入数据流的数据增量学习,通过形式化的两个代理学习者评估框架。我们在八个基准测试中获得了最先进的性能,其中包括三个高度不平衡的数据流。
2021-04-06 cs.AI cs.CV
Anomaly Detection with Prototype-Guided Discriminative Latent Embeddings
Peng Cheng Laboratory(鹏城实验室)
最近对视频异常检测(VAD)的努力试图学习一个深度自动编码器来描述具有小重建错误的正常事件模式。具有大的重建误差的视频输入在测试时被视为异常。然而,由于深度自编码器强大的泛化能力,这些方法有时会很好地重建异常输入。为了解决这个问题,我们提出了一种新的异常检测方法,它利用正常数据的判别原型来重建视频帧。这样,该模型将有利于正常事件的重建,而扭曲异常事件的重建。具体来说,我们使用一个原型引导的内存模块来执行歧视性的潜在嵌入。我们引入了一个新的记忆模块的判别准则,以及相应的损失函数,它可以鼓励记忆项记录正常数据的代表性嵌入,即原型。此外,我们设计了一种新颖的双分支自动编码器,它由未来帧预测网络和RGB差分生成网络组成,它们共享同一个编码器。堆叠的RGB差异包含运动信息,就像光流一样,因此我们的模型可以学习时间规律。我们评估了我们的方法在三个基准数据集上的有效性,实验结果表明,所提出的方法优于最先进的。
2021-09-02 cs.CV
Dynamic Local Aggregation Network with Adaptive Clusterer for Anomaly Detection
Guangzhou Institute of Technology, Xidian University(西安电子科技大学广州研究院);Northwestern Polytechnical University(西北工业大学)
现有的基于内存增强的自动编码器(AE)的异常检测方法存在以下缺点:(1)建立存储体需要额外的内存空间。(2)固定数量的原型来自主观假设,忽略了数据特征的差异性和多样性。为了克服这些缺点,我们引入了DLAN-AC,一个动态的本地聚合网络与自适应干扰,异常检测。首先,提出的DLAN可以自动学习和聚合AE的高级特征,以获得更具代表性的原型,同时释放额外的内存空间。第二,所提出的AC可以自适应地对视频数据进行聚类,以获得具有先验信息的初始原型。此外,我们还提出了一个动态冗余聚类策略(DRCS),使DLAN自动消除功能集群,不有助于建设的原型。大量的基准测试实验表明,DLAN-AC优于大多数现有的方法,验证了我们的方法的有效性。我们的代码可在https://github.com/Beyond-Zw/DLAN-AC上公开获取。
2022-07-22 cs.CV
Steering Prototypes with Prompt-tuning for Rehearsal-free Continual Learning
Rutgers University(罗格斯大学);Google Research(谷歌研究院);Google Cloud AI(谷歌云人工智能);Google DeepMind(谷歌DeepMind)
本文提出对比原型提示(CPP)方法,通过任务特定提示微调和对比学习解决持续学习中的语义漂移与原型干扰,在四个类增量基准上超越现有方法4%至6%,且无需重放缓冲区。
2023-11-12 cs.AI cs.CV cs.LG
Unsupervised Domain Adaptation via Similarity-based Prototypes for Cross-Modality Segmentation
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University(合作中位网创新中心,上海交通大学)
本文提出基于相似性原型的无监督域适应框架,通过嵌入空间类别原型与相似性约束,结合字典存储实现对比学习,有效提升跨模态分割性能。
2025-10-23 cs.AI cs.CV
Dual-Tuning: Joint Prototype Transfer and Structure Regularization for Compatible Feature Learning
Singapore University of Technology and Design(新加坡科技设计大学);Peng Cheng Laboratory(鹏城实验室);Peking University(北京大学);Alibaba Group(阿里巴巴集团)
可视化检索系统面临着频繁的模型更新和部署。每次重新提取整个数据库的特征是一项繁重的工作,特征兼容性使得学习到的新视觉特征可以直接与存储在数据库中的旧特征进行比较。通过这种方式,在更新部署的模型时,我们可以绕过不灵活且耗时的特征重新提取过程。然而,需要兼容的旧特征空间并不理想,并且面临着不同监督损失导致的与新空间的分布差异问题。在这项工作中,我们提出了一个全局优化的双重调整方法,以获得对不同的网络和损失的功能兼容性。提出了一种特征级原型丢失算法,通过传递全局原型信息来明确对齐两种类型的嵌入特征。此外,我们设计了一个组件级的相互结构正则化隐式优化的功能内在结构。在百万级数据集上的实验结果表明,我们的双调优能够在不牺牲性能的情况下获得功能兼容性。(Our代码将在https://github.com/yanbai1993/Dual-Tuning上提供)
2021-08-06 cs.CV
Fine-grained Classification via Categorical Memory Networks
Australian National University(澳大利亚国立大学)
出于利用跨类共享模式的愿望,我们提出了一个简单而有效的类特定的内存模块,用于细粒度的特征学习。存储器模块将每个类别的原型特征表示存储为移动平均值。我们假设,每个类别的相似性的组合本身就是一个有用的判别线索。为了检测这些相似性,我们使用注意力作为查询机制。关于每个类原型的注意力分数被用作权重,以通过加权和来组合原型,从而为给定输入产生唯一定制的响应特征表示。将原始特征和响应特征相结合以产生用于分类的增强特征。我们将我们的类特定记忆模块集成到标准的卷积神经网络中,产生分类记忆网络。我们的内存模块显著提高了基准CNN的准确性,在四个基准测试中实现了具有竞争力的准确性,包括CUB-200-2011,斯坦福汽车,FGVC飞机和NABirds。
2020-12-12 cs.CV
SyncTalkFace: Talking Face Generation with Precise Lip-Syncing via Audio-Lip Memory
KAIST(韩国科学技术院)
从语音生成说话人脸的挑战在于对齐两个不同的模态信息,音频和视频,使得嘴部区域对应于输入音频。以前的方法要么利用视听表示学习,要么利用中间结构信息,如地标和3D模型。然而,它们难以合成在音素水平上变化的嘴唇的精细细节,因为它们在视频合成步骤中不足以提供嘴唇的视觉信息。为了克服这一限制,我们的工作提出了音频唇记忆,带来了视觉信息的嘴部区域对应于输入音频和执行细粒度的视听连贯性。它将来自连续地面实况图像的嘴唇运动特征存储在值存储器中,并将它们与相应的音频特征对齐,以便可以在推理时使用音频输入检索它们。因此,使用检索到的嘴唇运动特征作为视觉提示,它可以很容易地在合成步骤中将音频与视觉动态相关联。通过分析记忆,我们证明了独特的嘴唇功能存储在每个内存插槽中的音素水平,捕捉微妙的嘴唇运动的基础上的内存寻址。此外,我们引入了视觉同步损失,可以提高唇同步性能时,与视听同步损失在我们的模型中使用。进行了大量的实验,以验证我们的方法生成高质量的视频与嘴的形状,最好的输入音频对齐,优于以前的国家的最先进的方法。
2022-11-03 cs.AI cs.CV eess.IV
Anomaly Detection via Multi-Scale Contrasted Memory
CY Cergy Paris Université(CY塞尔吉-巴黎大学);ENSEA(国立高等电子及应用学院);CNRS(法国国家科学研究中心);Idemia Identity & Security(艾德米尔身份与安全公司)
深度异常检测(AD)旨在为单类和不平衡设置提供鲁棒且高效的分类器。然而,目前的AD模型仍然挣扎在边缘情况下正常的样本,往往无法保持高性能的不同规模的异常。此外,目前还没有一个统一的框架,有效地涵盖了一类和不平衡的学习。鉴于这些限制,我们引入了一个新的两阶段异常检测器,它在训练多尺度正常原型时记忆,以计算异常偏差分数。首先,我们使用一种新的记忆增强对比学习同时学习多个尺度上的表征和记忆模块。然后,我们训练一个异常距离检测器的原型和观测之间的空间偏差地图。我们的模型极大地提高了对各种对象,风格和局部异常的最先进性能,与CIFAR-100相比误差相对改善高达50%。它也是第一个在单类和不平衡设置中保持高性能的模型。
2023-03-09 cs.CV
Real-time Memory Efficient Large-pose Face Alignment via Deep Evolutionary Network
Northeastern University(东北大学);University of Massachusetts Dartmouth(马萨诸塞大学达特茅斯分校);Southeast University(东南大学)
由于最近人脸识别应用的爆炸式增长,迫切需要以存储高效和实时的【形】的方式应用人脸对齐。然而,影响因素,如大的姿态变化和计算效率低下,仍然阻碍其广泛的实施。为此,我们提出了一个计算效率高的深度进化模型与3D扩散堆映射(DHM)集成。首先,我们引入了一个稀疏的三维DHM,以协助在极端的姿势条件下的初始建模过程。然后,提取一个简单有效的CNN特征,并将其输入递归神经网络(RNN)进行进化学习。为了加速模型,我们提出了一个有效的网络结构,通过因子分解策略来加速进化学习过程。在三个流行的比对数据库上进行的大量实验表明,所提出的模型优于现有技术,特别是在大姿态条件下。值得注意的是,我们模型的计算速度比CPU上的最新技术快6倍,比GPU上的最新技术快14倍。我们还讨论和分析了我们的模型和未来的研究工作的局限性。
2019-11-01 cs.CV
Beyond Static Anchors: Bounded Prototype Conditioning for Language-Free Medical Anomaly Detection
本研究针对现有CLIP医学异常检测方法静态参考难以跨域迁移的问题,提出无语言框架ReCAP,通过有界门控调制的条件原型与非参数记忆实现异常检测,在多基准上性能最优且推理延迟大幅降低。
2026-08-11 cs.AI cs.CV
Long Short-Term Memory with Gate and State Level Fusion for Light Field-Based Face Recognition
长短期记忆(LSTM)是一种突出的递归神经网络,用于从时间序列和多视图数据等序列数据中提取依赖关系,在不同的视觉识别任务中取得了令人印象深刻的结果。传统的LSTM网络可以学习一个模型,从一个输入序列中事后提取信息。然而,如果同时获取两个或更多个相关数据序列,传统的LSTM网络可能只能连续处理这些序列,而不能利用它们的相互依赖性所带来的信息。在这种情况下,本文提出了两种新型的LSTM单元架构,它们能够从同时获取的多个序列中联合学习,旨在为识别任务创建更丰富、更有效的模型。新型LSTM细胞架构的有效性通过将其集成到基于深度学习的方法中进行评估,用于多视图光场图像的人脸识别。新的细胞架构共同学习光场图像中可用的场景水平和垂直视差,以从两个方向捕获更丰富的空间-角度信息。使用三种具有挑战性的评估协议对IST-EURECOM LFFD数据集进行的全面评估显示了使用新型LSTM细胞架构进行人脸识别的优势,而不是最先进的基于光场的方法。这些结果突出了从相关输入序列中学习时新型细胞架构的附加值。
2020-06-01 cs.CV
Memory via Temporal Delays in weightless Spiking Neural Network
Tufts University(塔夫茨大学);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
神经科学界的一个共同观点是,记忆是由神经元之间的连接强度编码的。这种认知导致人工神经网络模型将连接权重作为调节学习的关键变量。在本文中,我们提出了一个原型的无重量脉冲神经网络,可以执行一个简单的分类任务。该网络中的记忆存储在神经元之间的时间中,而不是连接的强度,并且使用Hebbian Spike Timing Dependent Plasticity(STDP)进行训练,该训练调节连接的延迟。
2022-02-15 cs.AI cs.LG cs.NE
UIPC-MF: User-Item Prototype Connection Matrix Factorization for Explainable Collaborative Filtering
National Tsing Hua University(台湾清华大学);Chang Gung University(长庚大学)
本文提出 UIPC-MF,一种基于用户-物品原型连接权重的矩阵分解方法,在保持高推荐准确率的同时提升可解释性,并在三个数据集上优于现有原型基线方法。
2023-08-14 cs.IR cs.LG
Adaptive Face Recognition Using Adversarial Information Network
Beijing University of Posts and Telecommunications(北京邮电大学)
针对无监督域适应中伪标签导致域内差距的问题,提出对抗信息网络(AIN),通过对抗互信息损失和图卷积网络优化原型位置并生成可靠伪标签,提升了跨域人脸识别性能并在RFW数据集上达到最优。
2023-05-23 cs.CV
MobiFace: A Lightweight Deep Learning Face Recognition on Mobile Devices
Concordia University(康考迪亚大学);University of Arkansas(阿肯色大学);Carnegie Mellon University(卡内基梅隆大学)
深度神经网络已广泛用于众多计算机视觉应用中,特别是在人脸识别中。然而,在移动设备上部署深度神经网络人脸识别最近已经成为一种趋势,但仍然有限,因为大多数高精度深度模型在推理阶段都是时间和GPU消耗。因此,开发轻量级深度神经网络是在移动设备上部署人脸识别的最实用的解决方案之一。这种轻量级深度神经网络需要具有少量权重表示和低成本算子的高效存储器。在本文中,一种新的深度神经网络命名为人脸识别,一个简单但有效的方法,提出了在移动设备上有效地部署人脸识别。实验结果表明,我们的轻量级人脸识别算法在LFW数据库上的识别率达到99.73%,在大规模的Megaface数据库上的识别率达到91.3%。它最终也可以与大规模深度网络人脸识别竞争,同时显著减少计算时间和内存消耗。
2019-04-17 cs.CV
Unsupervised Video Object Segmentation via Prototype Memory Network
Yonsei University(延世大学)
无监督视频对象分割的目的是在初始帧中没有地面真实掩模的情况下分割视频中的目标对象。这个具有挑战性的任务需要提取视频序列中最显著的常见对象的特征。这个困难可以通过使用诸如光流的运动信息来解决,但是仅使用相邻帧之间的信息导致远距离帧之间的差的连接性和差的性能。为了解决这个问题,我们提出了一种新的原型存储网络架构。该模型通过从输入RGB图像和光流图中提取基于超像素的组件原型,有效地提取RGB和运动信息。此外,该模型基于自学习算法对每个帧中的组件原型的有用性进行评分,并自适应地将最有用的原型存储在存储器中并丢弃过时的原型。我们使用存储体中的原型来预测下一个查询帧掩码,这增强了遥远帧之间的关联,以帮助准确的掩码预测。我们的方法在三个数据集上进行了评估,达到了最先进的性能。我们证明了所提出的模型与各种消融研究的有效性。
2022-09-08 cs.CV
Chasing the Tail in Monocular 3D Human Reconstruction with Prototype Memory
深度神经网络在单图像三维人体重建方面取得了很大进展。然而,现有的方法仍然不足以预测罕见的姿势。这是因为目前大多数模型都是基于单个人体原型进行回归的,这与常见姿势相似,而与罕见姿势相差甚远。在这项工作中,我们1)识别和分析这种学习障碍,2)提出了一个原型记忆增强网络,PM-Net,有效地提高了预测罕见姿势的性能。我们的框架的核心是一个记忆模块,它学习和存储一组3D人体原型,捕获常见姿势或罕见姿势的局部分布。使用这种公式,回归从更好的初始化开始,这相对更容易收敛。在几个广泛使用的数据集上进行的大量实验表明,与其他最先进的方法相比,所提出的框架是有效的。值得注意的是,我们的方法显着提高了模型在罕见姿势上的性能,同时在其他样本上产生了可比较的结果。
2020-12-29 cs.CV
Aerial Scene Understanding in The Wild: Multi-Scene Recognition via Prototype-based Memory Networks
German Aerospace Center (DLR)(德国航空航天中心);Technical University of Munich (TUM)(慕尼黑工业大学);University of British Columbia (UBC)(不列颠哥伦比亚大学)
空中场景识别是一项基本的视觉任务,在过去的几年里吸引了越来越多的研究兴趣。目前的研究主要集中在将一幅航拍图像分类到一个场景级标签上,而在现实场景中,一幅图像往往包含多个场景。因此,在本文中,我们提出了一个更实际和具有挑战性的任务,即多场景识别在单一的图像向前迈进了一步。此外,我们注意到,手动产生这样一个任务的注释是非常耗时耗力的。为了解决这个问题,我们提出了一个基于原型的记忆网络,通过利用大量注释良好的单场景图像来识别单个图像中的多个场景。所提出的网络由三个关键组件组成:1)一个原型学习模块,2)一个原型居住的外部存储器,和3)一个多头注意力为基础的记忆检索模块。更具体地说,我们首先从单场景航拍图像数据集中学习每个航拍场景的原型表示,并将其存储在外部存储器中。之后,设计了一个基于多头注意力的记忆检索模块,用于检索与查询多场景图像相关的场景原型,以进行最终预测。值得注意的是,在训练阶段仅需要有限数量的带注释的多场景图像。为了促进航空场景识别的进展,我们产生了一个新的多场景航空图像(MAI)数据集。在不同数据集配置上的实验结果证明了该网络的有效性。我们的数据集和代码是公开的。
2021-04-22 cs.CV
Hierarchical Prototype-Memory Adaptation of SAM for Surgical Instrument Segmentation
Beihang University(北京航空航天大学);Image Processing Center(图像处理中心)
针对SAM适配手术器械分割时的鲁棒性与尺度耦合问题,本文提出HPMA框架,通过分层原型记忆与尺度匹配耦合机制,在EndoVis2017/2018数据集上取得最优性能。
2026-08-26 cs.CV
Unsupervised Voice-Face Representation Learning by Cross-Modal Prototype Contrast
College of Computer(计算机学院);National University of Defense Technology(国防科技大学)
我们提出了一种方法来学习说话的脸视频的声音-脸表示,没有任何身份标签。以前的作品采用跨模态的实例辨别任务,以建立语音和面孔的相关性。这些方法忽略了不同视频的语义内容,引入假阴性对作为训练噪声。此外,基于音频片段和视觉帧之间的自然相关性来构造正对。然而,这种相关性在大量的真实世界数据中可能是弱的或不准确的,这会导致偏离积极的对比范式。为了解决这些问题,我们提出了跨模态原型对比学习(CMPC),它利用对比方法,并抵制假阴性和偏离阳性的不利影响。一方面,CMPC可以学习类内不变性,通过构建语义上的积极通过无监督聚类在不同的模态。另一方面,通过比较跨模态实例与跨模态原型的相似性,我们动态地重新校准不可学习实例对总体损失的贡献。实验表明,该方法优于国家的最先进的无监督方法在各种语音-人脸关联评估协议。此外,在低镜头监督设置,我们的方法也有显着的改善相比,以前的实例明智的对比学习。
2022-05-27 cs.CV cs.MM cs.SD
ClinNet: Evidential Ordinal Regression with Bilateral Asymmetry and Prototype Memory for Knee Osteoarthritis Grading
College of Medicine and Biological Information Engineering, Northeastern University, Shenyang 110016, China.(医学与生物信息工程学院,东北大学,沈阳110016,中国)
ClinNet通过双侧不对称编码器和原型记忆库,结合证据有序回归,提高膝关节骨性关节炎分级的准确性和不确定性估计能力。
2026-01-24 cs.AI cs.CV
MOST-Net: A Memory Oriented Style Transfer Network for Face Sketch Synthesis
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Beijing University of Posts and Telecommunications(北京邮电大学)
人脸素描合成在多媒体娱乐和执法领域有着广泛的应用。尽管最近在深度神经网络方面取得了进展,但由于人脸的多样性和复杂性,准确和逼真的人脸草图合成仍然是一项具有挑战性的任务。当前基于图像间距离的人脸草图合成方法在小规模数据集上经常遇到过拟合问题。为了解决这个问题,我们提出了一个端到端的面向记忆的风格传输网络(MOST-Net)的人脸草图合成,可以产生高保真的草图与有限的数据。具体来说,外部自我监督的动态记忆模块被引入到捕获的领域对齐知识的长期。通过这种方式,我们提出的模型可以获得域转移能力,通过建立持久的关系之间的面孔和相应的草图在特征层。此外,我们设计了一种新的内存细化损失(MR损失)的内存模块中的特征对齐,这提高了内存插槽的准确性,在一个无人监督的方式。在CUFS和CUFSF数据集上的大量实验表明,我们的MOST-Net达到了最先进的性能,特别是在结构相似性指数(SSIM)方面。
2022-06-08 cs.AI cs.CV
RefOnce: Distilling References into a Prototype Memory for Referring Camouflaged Object Detection
VCIP, CS, Nankai University(南开大学计算机科学与技术学院);IHPC, A*STAR, Singapore(新加坡科技研究局信息与通信技术研究所)
RefOnce通过整合参考信息到原型记忆中,实现无需参考的指代伪装物体检测,提升部署效率与性能。
2025-11-26 cs.CV
Task-State Adaptation with Prototype Memory for Multi-Task Dense Prediction
Tsinghua University(清华大学);University of California, Merced(加州大学默塞德分校);Shanghai Jiao Tong University(上海交通大学)
提出MemMTL多任务密集预测框架,结合原型记忆与稀疏路由,在NYUD-v2等数据集上评估其预测质量、计算成本及各模块贡献。
2026-08-31 cs.CV
Prototype Memory-Guided Training-Free Anomaly Classification and Localization in Prenatal Ultrasound
Medical Ultrasound Image Computing (MUSIC) Lab, Shenzhen University(深圳大学医学超声图像计算实验室);School of Biomedical Engineering, Medical School, Shenzhen University(深圳大学医学部生物医学工程学院);School of Artificial Intelligence, Shenzhen University(深圳大学人工智能学院);School of Biomedical Engineering and Informatics, Nanjing Medical University(南京医科大学生物医学工程与信息学院);Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences(中国科学院香港创新研究院人工智能与机器人创新中心);Shenzhen Luohu People’s Hospital (The Third Affiliated Hospital of Shenzhen University)(深圳市罗湖区人民医院(深圳大学第三附属医院));Center for Medical Ultrasound, The Affiliated Suzhou Hospital of Nanjing Medical University, Suzhou Municipal Hospital, Nanjing Medical University(南京医科大学附属苏州医院(苏州市立医院)医学超声中心);Northwest Women’s and Children’s Hospital(西北妇女儿童医院);Qilu Hospital of Shandong University(山东大学齐鲁医院)
提出一种无需训练的多类产前超声异常分类与定位框架,利用多粒度原型记忆库、原型驱动软合并和类别感知细化策略,在少量参考图像下实现高效检测。
2026-07-02 cs.AI cs.CV
Graph Memory: A Structured and Interpretable Framework for Modality-Agnostic Embedding-Based Inference
Institute of Mathematics and Statistics, University of São Paulo(数学统计研究所,圣保罗大学)
图记忆通过紧凑的可靠性标注原型区域图表示嵌入空间,结合原型关系编码局部几何和区域模糊性,实现查询证据扩散推理,统一实例检索、原型推理和图扩散,提供更准确和可解释的多模态推理。
2026-03-25 cs.CV cs.LG
Learning Normal Dynamics in Videos with Meta Prototype Network
Nanjing University of Science and Technology(南京理工大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
基于自动编码器(AE)的帧重构(当前或未来帧)是一种流行的视频异常检测方法。在正常数据上训练的模型,异常场景的重建误差通常比正常场景大得多。以前的方法将存储体引入到AE中,用于对训练视频中的各种正常模式进行编码。然而,它们消耗内存,并且无法处理测试数据中看不见的新场景。在这项工作中,我们提出了一个动态原型单元(DPU)编码的正常动态作为原型在实时的,没有额外的内存成本。此外,我们引入元学习到我们的DPU,形成一个新的Few-Shot常态学习器,即元原型单元(MPU)。它通过仅消耗几次更新迭代来实现对新场景的快速适应能力。在各种基准上进行了广泛的实验。优越的性能超过国家的最先进的证明了我们的方法的有效性。
2021-05-10 cs.CV
UncTrack: Reliable Visual Object Tracking with Uncertainty-Aware Prototype Memory Network
School of Computer Science (National Pilot Software Engineering School), Beijing University of Posts and Telecommunications(北京邮电大学计算机学院(国家示范性软件学院));State Key Lab of Processors, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);School of Cyber Science and Technology, Shenzhen Campus, Sun Yat-sen University(中山大学深圳校区网络空间安全学院)
针对现有Transformer跟踪器忽视目标定位不确定性的问题,提出UncTrack跟踪器,通过Transformer编码器实现特征交互,结合不确定性感知定位解码器与原型记忆网络,提升复杂场景下目标状态预测的可靠性,实验性能优于现有方法。
2025-03-17 cs.CV
ProS: Facial Omni-Representation Learning via Prototype-based Self-Distillation
ProtagoLabs Inc.(ProtagoLabs公司);Michigan State University(密歇根州立大学);Rice University(莱斯大学)
针对监督人脸表征学习依赖标注数据的痛点,提出基于原型的自蒸馏方法ProS,通过双视觉Transformer、人脸感知检索和原型匹配损失实现无监督预训练,在多类人脸任务全/少样本场景下达SOTA,合成数据预训练也表现优异。
2023-11-07 cs.CV
Normal Learning in Videos with Attention Prototype Network
Unicom (Shanghai) Industry Internet Co., Ltd.(联通(上海)产业互联网有限公司)
基于自动编码器(AE)的帧重构(当前或未来帧)是一种流行的视频异常检测方法。在正常数据上训练的模型,异常场景的重建误差通常比正常场景大得多。以前的方法将存储体引入到AE中,用于对训练视频中的各种正常模式进行编码。然而,它们消耗内存,并且不能处理测试数据中看不见的新场景。在这项工作中,我们提出了一个自我注意原型单元(APU)编码正常的潜在空间作为原型在实时的,没有额外的内存成本。此外,我们引入循环注意力机制到我们的骨干,形成一个新的特征提取学习器,即循环注意单元(CAU)。它通过仅消耗几次更新迭代来实现对新场景的快速适应能力。在各种基准上进行了广泛的实验。优越的性能超过国家的最先进的证明了我们的方法的有效性。我们的代码可在https://github.com/huchao-AI/APN/上获得。
2021-08-25 cs.CV
Unsupervised domain adaptation semantic segmentation of high-resolution remote sensing imagery with invariant domain-level prototype memory
Central South University(中南大学)
语义分割是高分辨率遥感图像自动解译的关键技术之一,受到遥感界的广泛关注。深度卷积神经网络(DCNN)由于其分层表示能力,已成功应用于HRS图像语义分割任务。然而,DCNN对大量标注密集的训练数据的依赖性以及对数据分布变化的敏感性严重限制了其在HRS图像语义分割中的应用。本研究提出一种新的无监督领域自适应语义分割网络(MemoryAdaptNet)的HRS图像的语义分割。MemoryAdaptNet构建了一个输出空间对抗学习方案,以弥合源域和目标域之间的域分布差异,并缩小域偏移的影响。具体来说,我们嵌入了一个不变特征记忆模块来存储不变的域级上下文信息,因为从对抗学习中获得的特征只倾向于表示当前有限输入的变化特征。该模块通过类别注意力驱动的不变域级上下文聚合模块集成到当前伪不变特征中,以进一步增强像素表示。采用基于熵的伪标签过滤策略,利用当前目标图像的高置信度伪不变特征更新存储模块。在三个跨领域任务下的大量实验表明,我们提出的MemoryAdaptNet是显着优于国家的最先进的方法。
2023-02-14 cs.CV
Learning and Memorizing Representative Prototypes for 3D Point Cloud Semantic and Instance Segmentation
The University of Adelaide(阿德莱德大学)
三维点云语义和实例分割是三维场景理解的基础和关键。由于结构的复杂性,点集的分布呈现出不平衡和不均匀的特点,表现为类别不平衡和模式不平衡。因此,深度网络在学习过程中很容易忘记非优势情况,导致性能不理想。虽然重新加权可以减少分类良好的样本的影响,但它们不能处理动态训练过程中的非主导模式。在本文中,我们提出了一个记忆增强网络,学习和记忆的代表性的原型,覆盖不同的样本普遍。具体来说,引入了一个记忆模块,通过记录小批量训练中看到的模式来缓解遗忘问题。习得记忆项目一致地反映了显性和非显性类别和案例的可解释和有意义的信息。因此,可以通过检索存储的原型来增强扭曲的观察和罕见的情况,从而获得更好的性能和泛化能力。在S3DIS和ScanNetV2上的实验结果表明,该方法具有较高的效率和有效性。不仅整体准确性,而且非优势类也有很大的提高。
2020-01-06 cs.CV
3D Facial Imperfection Regeneration: Deep learning approach and 3D printing prototypes
CIRTECH Institute(CIRTECH研究所);HUTECH University(胡志明市工业大学);Quy Nhon University(归仁大学);China Medical University Hospital(中国医药大学附设医院);China Medical University(中国医药大学)
这项研究探讨了一个完全卷积网格自动编码器模型的潜力,用于在存在不完美区域的情况下重新生成3D自然人脸。我们利用图形处理和分析中的深度学习方法来研究重建面部疤痕填充部分的能力模型。我们在数据集创建的方法是能够合理地生成一个面部疤痕在虚拟空间,对应于独特的情况。特别是,我们提出了一种新的方法,这是命名为三维面部缺陷再生(3D-FaIR)再现一个完整的面部重建的基础上,其余的功能的病人的脸。为了进一步提高本研究的应用能力,我们开发了一种改进的离群值技术来分离患者的伤口,并提供合适的伤口覆盖模型。此外,Cir 3D-FaIR数据集的不完美的面孔和开放的代码发布在https://github.com/SIMOGroup/3DFaIR。我们的研究结果表明,所提出的方法可以帮助患者通过方便的技术更快,更安全地恢复。我们希望这项研究能够为面部疤痕再生的新产品和创新解决方案的开发做出贡献。
2023-03-25 cs.CV
ShowFace: Coordinated Face Inpainting with Memory-Disentangled Refinement Networks
BUPT(北京邮电大学);Kuaishou Technology(快手科技);CASIA(中国科学院自动化研究所)
人脸修复的目的是对人脸图像中的受损区域进行修复,这需要修复区域与未受损区域之间的协调。最近,面向记忆的方法通过引入外部记忆模块来改善图像协调,在生成相关任务中展示了巨大的前景。然而,这些方法在恢复特定面部语义部分的一致性和连续性方面仍然存在局限性。在本文中,我们提出了由粗到细的记忆解开细化网络(MDRNets)协调人脸修复,其中两个合作模块,解开记忆模块(DMM)和掩蔽区域增强模块(MREM)集成。具体来说,DMM建立一组解开的内存块来存储语义解耦的人脸表示,这可以提供最相关的信息,以细化语义级的协调。MREM包含一个屏蔽的相关性挖掘机制,以增强损坏区域的特征关系,这也可以弥补内存解纠缠造成的相关性损失。此外,为了更好地改善损坏和非损坏区域之间的相互协调,并提高损坏区域的内部协调,我们设计了InCo 2损失,一对基于相似性的损失来约束特征的一致性。最后,在CelebA-HQ和FFHQ数据集上进行的大量实验证明了我们的MDRNets与以前的最先进方法相比的优越性。
2022-04-24 cs.CV
Exploiting Human Social Cognition for the Detection of Fake and Fraudulent Faces via Memory Networks
Queensland University of Technology(昆士兰科技大学)
计算机视觉的进步使我们有能力合成逼真的假内容。这种做法被视为虚假信息和不信任的来源,并引起世界各国政府的严重关切。卷积神经网络(CNN)在检测由特定类型的操作产生的假图像时表现出令人鼓舞的结果。然而,这种成功并没有过渡到看不见的操作类型,导致防线上存在重大差距。我们提出了一个层次记忆网络(HMN)架构,它能够成功地检测到伪造的面孔,利用存储在神经记忆中的知识以及视觉线索的原因感知的脸,并预测其未来的语义嵌入。这呈现了一个可推广的面部篡改检测框架。实验结果表明,该方法实现了优越的性能相比,国家的最先进的虚假和欺诈性的人脸检测。
2019-11-17 cs.CV cs.LG cs.MM
RSAJEV: Training-Free Abstaining Prototype Memory for Eliminating Silent Hallucination in JEV-Based Remote Sensing Classification
School of Computer Science and Engineering, Anhui University of Science and Technology(安徽理工大学计算机科学与工程学院);School of Electrical Automation and Information Engineering, Tianjin University(天津大学电气自动化与信息工程学院);State Key Laboratory of Digital Intelligent Technology for Unmanned Coal Mining(无人采矿数字智能技术国家重点实验室);Guangxi Key Laboratory of Multi-Source Information Mining and Security, Guangxi Normal University(广西师范大学广西多源信息挖掘与安全重点实验室)
针对基于MLLM的遥感分类存在的静默幻觉问题,提出无训练的RSAJEV弃权原型记忆,通过检索原型匹配实现分类,提升跨数据集性能与开放集校准能力,支持零成本类别增减。
2026-10-14 cs.CV
Memory-Guided Point Cloud Completion for Dental Reconstruction
College of Information and Intelligent Science, Donghua University, Shanghai, China(信息与智能科学学院,东华大学,上海,中国);Institute of Artificial Intelligence, Shanghai University, Shanghai, China(人工智能研究院,上海大学,上海,中国)
本文提出一种基于记忆的点云补全方法,通过整合可学习的原型记忆来稳定缺失区域推断并提升牙科点云重建的准确性。
2025-12-03 cs.CV
Memory-Assisted Sub-Prototype Mining for Universal Domain Adaptation
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院)
针对通用域自适应中同类样本概念偏移导致对齐不合理的问题,提出记忆辅助子原型挖掘(MemSPM)方法,挖掘子类以学习更合理特征空间,在多个场景和四个基准上取得最先进性能。
2024-02-06 cs.CV
Model Inversion Attack via Dynamic Memory Learning
Alibaba Group(阿里巴巴集团)
本文提出动态记忆模型反演攻击(DMMIA),利用历史知识构建类内多中心与类间判别表示,生成多样且判别性的图像,在多个基准上超越现有最先进方法。
2023-08-24 cs.CV
CenterMamba-SAM: Center-Prioritized Scanning and Temporal Prototypes for Brain Lesion Segmentation
Northeastern University, Boston, United States(东北大学);Stevens Institute of Technology, Hoboken, United States(史蒂文斯理工学院);Rutgers University, Newark, United States(罗格斯大学);Lehigh University, Bethlehem, United States(莱恩大学);University of the Cumberlands, Williamsburg, United States(坎伯兰大学)
针对脑部病灶分割难题,提出CenterMamba-SAM框架,通过冻结主干网络并训练轻量级适配器实现高效微调。其核心采用中心优先的3x3短序列扫描策略与记忆驱动提示生成器,有效提升对微小病灶的敏感性与切片间连贯性,在公开基准上达到最先进性能。
2025-11-03 cs.CV
Memory Based Online Learning of Deep Representations from Video Streams
MICC – Media Integration and Communcation Center(MICC – 媒体整合与通信中心);University Of Florence(佛罗伦萨大学)
我们提出了一种新的在线无监督的方法,人脸身份学习视频流。该方法利用了深层面部描述符以及基于记忆的学习机制,该机制利用了视觉数据的时间相干性。具体来说,我们引入了一个歧视性的特征匹配解决方案的基础上反向最近邻和特征遗忘策略,检测冗余的功能,并适当地丢弃它们,随着时间的推移。结果表明,所提出的学习过程是渐近稳定的,可以有效地用于相关的应用,如多个人脸识别和跟踪无约束的视频流。实验结果表明,该方法在多人脸跟踪任务中取得了相当的效果,在人脸识别中具有更好的性能,与利用未来信息的离线方法相比具有更好的性能。代码将公开提供。
2017-11-17 cs.CV
Multi-modality Associative Bridging through Memory: Speech Sound Recollected from Face Video
KAIST(韩国科学技术院)
在本文中,我们介绍了一种新的视听多模态桥接框架,可以利用音频和视频信息,即使是单模态输入。我们利用存储源(即,视觉的)和目标(即,音频)模态表示,其中源模态表示是我们所给定的,目标模态表示是我们想要从记忆网络中获得的。然后,我们在源和目标记忆之间构建了一个关联的桥梁,考虑了两个记忆之间的相互关系。通过关联桥学习相互关系,所提出的桥接框架能够在记忆网络内部获得目标模态表示,即使仅使用源模态输入,也能够为其下游任务提供丰富的信息。我们提出的框架,以两个任务:唇读和语音重建无声的视频。通过所提出的关联桥和模态特定的记忆,每个任务的知识是丰富的回忆音频上下文,实现最先进的性能。我们还验证了关联桥正确地将源和目标记忆联系起来。
2022-04-04 cs.AI cs.CV cs.SD
Memory-Efficient Global Refinement of Decision-Tree Ensembles and its Application to Face Alignment
Linköping University(林雪平大学)
Ren等人最近介绍了一种将多棵决策树聚合成强预测器的方法,该方法将样本沿每棵树向下所采取的路径解释为二进制向量,并在堆叠在一起的这些向量的顶部执行线性回归。他们提供的实验证据表明,该方法提供了优于通常的方法相结合的决策树(随机森林和提升)。当回归目标是具有相关维度的大向量时,该方法真正闪耀,例如用几个面部标志的位置表示的2D面部形状。然而,我们认为,他们的基本方法是不适用于在许多实际情况下,由于大量的内存需求。本文展示了如何通过使用预测器的量化和架构更改来解决这个问题,该预测器将决策树衍生的编码映射到所需的输出。
2018-09-03 cs.CV cs.NE
FedAli: Personalized Federated Learning Alignment with Prototype Layers for Generalized Mobile Services
Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Hong Kong Polytechnic University(香港理工大学)
FedAli提出基于原型的正则化方法,通过ALP层和最优传输在无标签条件下预训练原型,以缓解客户端漂移并增强客户端泛化,在异构移动环境中兼顾个性化与泛化性能。
2025-07-06 cs.CR cs.CV cs.LG
COARSE3D: Class-Prototypes for Contrastive Learning in Weakly-Supervised 3D Point Cloud Segmentation
South China University of Technology(华南理工大学);Inria(法国国家信息与自动化研究所)
大规模3D数据的注释是出了名的麻烦和昂贵。作为替代方案,弱监督学习通过将注释减少几个数量级来满足这种需要。我们提出了COARSE 3D,一种新的架构不可知的对比学习战略的3D分割。由于对比学习需要丰富多样的例子作为键和锚,我们利用一个原型存储体有效地捕获类全局数据集信息到少量的原型作为键。然后,熵驱动的采样技术允许我们从预测中选择好的像素作为锚点。在三个基于投影的主干上的实验表明,我们在三个具有挑战性的真实户外数据集上的表现优于基线,使用低至0.001%的注释。
2022-10-08 cs.CV
Unsupervised Domain Adaptive Person Re-id with Local-enhance and Prototype Dictionary Learning
无监督域自适应人员重新识别(re-ID)任务一直是一个挑战,因为与一般的域自适应任务不同,在人员重新识别中,源和目标域数据的类之间没有重叠,这导致了显著的域间隙。最先进的无监督re-ID方法使用基于记忆的对比损失训练神经网络。然而,将每个未标记的实例作为一个类来进行对比学习,会导致类冲突问题,并且在存储体中更新时,由于不同类别的实例数量不同,导致更新强度不一致。为了解决这些问题,我们提出了原型字典学习的人重新识别,这是能够利用源域数据和目标域数据的一个训练阶段,同时避免类冲突的问题和更新强度不一致的问题,集群级原型字典学习。为了减少域间隙对模型的干扰,在不增加模型参数的情况下,提出了局部增强模块,提高了模型的领域自适应能力。我们在两个大型数据集上的实验证明了原型字典学习的有效性。在Market-to-Duke任务中实现了71.5\%的mAP,与最先进的无监督域自适应re-ID方法相比提高了2.3\%。它在Duke-to-Market任务中实现了83.9mAP,与最先进的无监督自适应re-ID方法相比提高了4.4%。
2022-01-11 cs.CV
Learn to Cluster Faces via Pairwise Classification
Meituan(美团)
人脸聚类在利用海量未标记人脸数据中起着至关重要的作用。近年来,基于图的人脸聚类方法以其良好的性能得到了广泛的应用。然而,它们通常会消耗过多的内存,尤其是在大规模图上,并且在推理时依赖经验阈值来确定样本之间的连通性,这限制了它们在各种现实场景中的应用。为了解决这些问题,在本文中,我们探讨人脸聚类从成对的角度。具体来说,我们将人脸聚类任务制定为成对关系分类任务,避免了大规模图上的内存消耗学习。该分类器可以直接确定样本之间的关系,并通过利用上下文信息进行增强。此外,为了进一步提高我们的方法的效率,我们提出了一个秩加权密度来指导发送到分类器的对的选择。实验结果表明,我们的方法实现了国家的最先进的性能在几个公共的聚类基准在最快的速度,并显示了很大的优势,在比较基于图的聚类方法的内存消耗。
2022-05-26 cs.CV
Generalize Your Face Forgery Detectors: An Insertable Adaptation Module Is All You Need
Beijing University of Posts and Telecommunications(北京邮电大学);Beihang University(北京航空航天大学)
本文提出一个可插入的自适应模块,通过可学习类原型分类器和最近特征校准器,仅利用在线无标签数据即可提升现成人脸伪造检测器的跨域泛化能力,且无需修改原模型架构或训练过程。
2024-12-30 cs.CV
DPL: Spatial-Conditioned Diffusion Prototype Enhancement for One-Shot Medical Segmentation
University College London(伦敦大学学院)
DPL通过扩散增强和空间感知条件机制,提升单次医疗图像分割的原型表示能力,实现更鲁棒的泛化性能。
2025-10-14 cs.CV