A Discriminatively Learned CNN Embedding for Person Re-identification
University of Technology Sydney(悉尼科技大学)
我们回顾了两个流行的卷积神经网络(CNN)在人的重新识别(re-ID),即验证和分类模型。由于损失函数的不同,两种模型各有其优点和局限性。在本文中,我们阐明了如何结合这两个模型来学习更多有区别的行人描述符。具体来说,我们提出了一个新的连体网络,同时计算识别损失和验证损失。给定一对训练图像,网络预测两个图像的身份以及它们是否属于同一身份。我们的网络同时学习判别式嵌入和相似性度量,从而充分利用注释。虽然很简单,但学习的嵌入提高了两个公共人员重新识别基准测试的最新性能。此外,我们表明我们的架构也可以应用于图像检索。
2017-02-03 cs.CV
Deep Person Re-Identification with Improved Embedding and Efficient Training
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
近年来,深度卷积神经网络(CNN)极大地推动了人员重新识别任务。其核心是在扩大类间差异的同时减小类内方差。然而,为了实现这一点,现有的深度模型倾向于采用图像对或三元组来形成验证丢失,这是低效且不稳定的,因为训练对或三元组的数量随着训练数据的数量增长而快速增长。此外,它们的性能是有限的,因为它们忽略了这样一个事实,即不同的嵌入维度可能发挥不同的重要性。在本文中,我们提出采用识别损失与中心损失的训练一个深度模型的人重新识别。训练过程是有效的,因为它不需要图像对或三元组的训练,而类间的区别和类内方差得到很好的处理。为了提高性能,设计了一个新的特征重新加权(FRW)层,以明确强调每个嵌入维度的重要性,从而改进嵌入。在几个基准数据集上的实验表明,我们的方法在准确性和速度上都优于最先进的方法。
2017-07-08 cs.CV
Person Re-identification with Adversarial Triplet Embedding
College of Information Science & Electronic Engineering(信息与电子工程学院);Zhejiang University(浙江大学)
在公安视频监控中,人员身份识别是一项重要的工作,有着广泛的应用。在过去的几年里,针对这个问题,具有三重态损失的深度学习网络变得流行起来。然而,三元组丢失通常遭受不良局部最优性,并且严重依赖于硬示例挖掘策略。在本文中,我们提出了一种新的深度度量学习方法来解决这个问题,称为对抗三元组嵌入(ATE),在这种方法中,我们在统一的框架中同时生成对抗三元组和判别特征嵌入。特别是,对抗三元组是通过将对抗扰动引入训练过程来生成的。将这种对抗博弈转化为极大极小问题,从而从理论上得到最优解。在多个基准数据集上的大量实验证明了该方法对最先进文献的有效性。
2020-12-28 cs.CV
Robust Re-identification of Manta Rays from Natural Markings by Learning Pose Invariant Embeddings
School of Electrical Engineering and Computer Science, Queensland University of Technology(昆士兰科技大学电气工程与计算机科学学院);School of Biomedical Science, The University of Queensland(昆士兰大学生物医学科学学院);School of Information Technology and Electrical Engineering, The University of Queensland(昆士兰大学信息技术与电气工程学院)
视觉识别具有独特自然身体标记的个体动物是野生动物保护的重要任务。动物斑纹的照片数据库变得越来越大,每一个新的观察结果都必须与数千张图像相匹配。现有的照片识别解决方案对图像质量和图像中感兴趣图案的外观具有约束。这些限制限制了公民科学家照片的使用。我们提出了一种新的系统,视觉重新识别的基础上,独特的自然标记,是强大的遮挡,视点和照明变化。我们调整了为人脸重新识别开发的方法,并实现了一个深度卷积神经网络(CNN)来学习自然标记图像的嵌入。学习的嵌入点之间的距离提供了对应输入图像之间的相异性度量。使用三元组损失函数和在线半硬三元组挖掘策略对网络进行优化。拟定的重新鉴定方法是通用的,而不是种属特异性的。我们评估所提出的系统对图像数据库的蝠鲼腹部图案和座头鲸吸虫。为了具有实用价值并被海洋生物学家采用,重新识别系统需要具有至少95%的前10名准确率。所提出的系统达到了这一性能标准。
2019-02-28 cs.CV
Beyond a Single Crop: Contextualized Embeddings for Player Re-Identification
Central South University(中南大学);Iowa State University(爱荷华州立大学);Shandong University(山东大学)
针对广播体育视频球员重识别的挑战,提出ContextReID框架,结合空间与时间上下文学习,在三个多目标跟踪基准上提升了球员检索的Rank-1和mAP指标。
2026-10-12 cs.CV
Dual Embedding Expansion for Vehicle Re-identification
Eindhoven University of Technology(埃因霍温理工大学);Cyclomedia B.V(Cyclomedia公司)
车辆重新识别在交通基础设施和交通流管理中起着至关重要的作用。然而,这是一个具有挑战性的任务,由于外观,环境和实例相关因素的大视点变化。现代系统部署CNN来从每个车辆实例的图像中生成唯一的表示。大多数工作集中在利用新的损失和网络架构,以提高这些表示的重复性。相比之下,我们的工作集中在重新排名和嵌入扩展技术。我们提出了一种有效的方法,用于在各种尺度下结合多个模型的输出,同时利用tracklet和邻居信息,称为双嵌入扩展(DEx)。此外,还在车辆重新识别的背景下对几种常见的图像检索技术进行了比较研究。我们的系统在2020年NVIDIA人工智能城市挑战赛中表现出了竞争力,取得了令人鼓舞的成果。我们证明,DEx与其他重新排序技术相结合时,可以产生更大的收益,而无需任何额外的属性标签或人工监督。
2020-04-18 cs.CV
Image-to-Video Person Re-Identification by Reusing Cross-modal Embeddings
Wuhan University of Technology(武汉理工大学)
图像到视频人重新识别通过来自由非重叠相机捕获的大量行人视频的探测图像来识别目标人。尽管取得了很大的进展,它仍然是具有挑战性的多模态场景,即图像和视频之间的匹配。目前,最先进的方法主要集中在特定的任务数据,忽略了不同的,但相关的任务的额外信息。在本文中,我们提出了一个端到端的神经网络框架,用于图像到视频的人重新识别,通过利用从额外的信息学习的跨模态嵌入。具体地说,来自图像描述和视频描述模型的跨模态嵌入被重用,以帮助学习的特征被投影到一个协调的空间中,在那里可以直接计算相似度。此外,固定模型重用方法的训练步骤被集成到我们的框架中,它可以包含有益的信息,并最终使目标网络独立于现有的模型。除此之外,我们提出的框架采用CNN和LSTM来提取视觉和时空特征,并结合识别和验证模型的优势来提高学习特征的区分能力。实验结果表明,我们的框架在缩小异构数据之间的差距,并获得明显的改善,在图像到视频的人重新识别的有效性。
2018-10-22 cs.CV
SphereReID: Deep Hypersphere Manifold Embedding for Person Re-Identification
Zhejiang University(浙江大学)
当前成功的人物再识别(ReID)方法大多采用softmax损失函数对模型进行训练,对不同人物的图像进行分类,同时获得特征向量。然而,底层特征嵌入空间被忽略。在本文中,我们使用修改后的softmax函数,称为Sphere Softmax,来解决分类问题,并同时学习超球面流形嵌入。还介绍了一种平衡采样策略。最后,我们提出了一个名为SphereReID的卷积神经网络,它采用Sphere Softmax,并在四个具有挑战性的数据集上,包括Market-1501,DukeMTMC-reID,CHHK-03和CUHK-SYSU,使用新的预热学习率调度,端到端地训练单个模型。实验结果表明,这个单一的模型优于所有四个数据集上的最先进的方法,而无需微调或重新排名。例如,它在Market-1501上实现了94.4%的rank-1准确度,在DukeMTMC-reID上实现了83.9%的rank-1准确度。我们的模型的代码和训练权重将被发布。
2018-07-02 cs.CV
Diverse Embedding Expansion Network and Low-Light Cross-Modality Benchmark for Visible-Infrared Person Re-identification
Xiamen University(厦门大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
对于可见光-红外人再识别(VIReID)任务,主要挑战之一是可见光(VIS)和红外(IR)图像之间的模态间隙。然而,训练样本通常是有限的,而模态差距太大,这导致现有的方法不能有效地挖掘多样化的跨模态线索。为了解决这个问题,我们在嵌入空间中提出了一种新的增强网络,称为多样嵌入扩展网络(DEEN)。DEEN算法能够有效地生成不同的嵌入,以学习信息特征表示,并减少VIS和IR图像之间的模态差异。此外,VIReID模型可能会受到剧烈照明变化的严重影响,而所有现有的VIReID数据集都是在没有显著光线变化的情况下在足够的照明下捕获的。因此,我们提供了一个低光交叉模态(LLCM)数据集,其中包含由9个RGB/IR相机捕获的1,064个身份的46,767个边界框。在SYSU-MM 01、RegDB和LLCM数据集上的大量实验表明,所提出的DEEN方法优于其他几种最先进的方法。代码和数据集发布于:https://github.com/ZYK100/LLCM
2023-03-25 cs.CV
Learning landmark guided embeddings for animal re-identification
Queensland University of Technology(昆士兰科技大学);The University of Queensland(昆士兰大学)
由于不同个体之间的身体标记的细微变化以及对野生动物的姿势没有限制,图像中个体动物的重新识别可能是模糊的。人员重新识别是一项类似的任务,并且已经使用深度卷积神经网络(CNN)来处理它,该深度卷积神经网络学习用于人的图像的区别性嵌入。然而,学习个体动物的区别特征比人的外表更具挑战性,因为与人的身份的标记数据集相比,生态数据集的大小相对较小。我们建议通过明确利用身体标志信息来改进嵌入学习。身体标志被提供给CNN的输入,作为可以从单独的身体标志预测器获得的置信热图。鼓励模型通过学习重建输入热图的辅助任务来使用热图。身体标志引导特征提取网络学习独特图案的表示及其在身体上的位置。我们评估所提出的方法在一个大的合成数据集和一个小的真实数据集。我们的方法在合成和真实数据集上分别比没有身体标志输入的相同模型高出26%和18%。该方法对输入坐标中的噪声具有鲁棒性,并且可以容忍高达图像大小的10%的坐标误差。
2020-01-09 cs.CV
Adaptive Deep Metric Embeddings for Person Re-Identification under Occlusions
Xiamen University(厦门大学);Xiamen University of Technology(厦门理工学院)
遮挡情况下的人员重新识别是视频监控中的一个难题。现有的人的ReID方法大多利用局部特征来处理遮挡。然而,这些方法通常独立地从图像的局部区域提取特征,而不考虑不同局部区域之间的关系。在本文中,我们提出了一种新的人的ReID方法,学习局部区域之间的空间依赖关系,并提取基于长短期记忆(LSTM)的行人图像的判别特征表示,处理遮挡问题。特别是,我们提出了一种新的损失(称为自适应最近邻损失)的分类不确定性的基础上,有效地减少类内的变化,同时扩大类间差异的自适应邻域内的样本。所提出的损失使得深度神经网络能够自适应地学习判别度量嵌入,这显著提高了识别看不见的人身份的泛化能力。在具有挑战性的人ReID数据集上进行的广泛比较评估表明,与几种最先进的方法相比,所提出的方法的性能得到了显着改善。
2020-02-07 cs.CV
Homocentric Hypersphere Feature Embedding for Person Re-identification
The Hong Kong Polytechnic University(香港理工大学);Alibaba DAMO Academy(阿里巴巴达摩院)
由于摄像机视角、光照、分辨率和人体姿势的变化很大,人员重新识别(Person ReID)是一项具有挑战性的任务。近年来,随着深度学习技术的发展,Person ReID的性能得到了迅速提高。特征提取和特征匹配是Person ReID训练和部署阶段的两个关键组件。然而,许多现有的Person ReID方法在训练阶段和部署阶段之间存在度量不一致性,并且在特征表示中耦合了特征向量的大小和方向信息。同时,传统的三元组丢失方法只关注小批量样本,缺乏对全局特征分布的了解。为了解决这些问题,我们提出了一种新的同心超球面嵌入方案,解耦的幅度和方向信息的特征和权重向量,并重新制定分类损失和三重损失的角度版本,并将它们组合成一个角度的歧视性损失。我们在广泛使用的Person ReID基准上广泛评估了我们提出的方法,包括Market 1501,CUHK 03和DukeMTMC-ReID。我们的方法在所有数据集上都表现出领先的性能。
2018-05-01 cs.CV
Pose Invariant Embedding for Deep Person Re-identification
University of Technology Sydney(悉尼科技大学);CMU(卡内基梅隆大学);Dalian University of Technology(大连理工大学)
行人失准是一个鲁棒的行人身份识别系统的关键问题,主要由检测器误差和姿态变化引起。在对齐不良的情况下,背景噪声将显著损害特征学习和匹配过程。为了解决这个问题,本文引入了姿态不变嵌入(PIE)作为行人描述符。首先,为了将行人与标准姿势对齐,引入了PoseBox结构,该结构是通过姿势估计和仿射变换生成的。其次,为了减少姿势估计误差和PoseBox构建过程中信息丢失的影响,我们设计了一种PoseBox融合(PBF)CNN架构,该架构将原始图像、PoseBox和姿势估计置信度作为输入。因此,建议的PIE描述符被定义为检索任务的PBF网络的全连接层。在Market-1501、CUHK 03和VIPeR数据集上进行了实验。我们表明,PoseBox单独产生体面的re-ID准确性,当集成在PBF网络,学习PIE描述符产生竞争力的性能相比,国家的最先进的方法。
2017-01-26 cs.CV
DC-Former: Diverse and Compact Transformer for Person Re-Identification
Ant Group(蚂蚁集团)
在人员再识别(re-ID)任务中,由于数据有限,通过深度学习来学习区分表示仍然是具有挑战性的。一般来说,当数据量增加时,模型会获得更好的性能。相似类的加入增强了分类器识别相似身份的能力,从而提高了表征的区分度。在本文中,我们提出了一个多样的和紧凑的Transformer(DC-Former),可以实现类似的效果,通过分裂嵌入空间成多个多样的和紧凑的子空间。紧凑的嵌入子空间有助于模型学习更鲁棒和有区别的嵌入,以识别相似的类。通过融合这些包含更多细粒度信息的不同嵌入,可以进一步提高re-ID的效果。具体而言,在视觉Transformer中使用多个类标记来表示多个嵌入空间。然后,一个自多样性约束(SDC)被施加到这些空间,推动他们远离彼此,这使得每个嵌入空间多样和紧凑。此外,还设计了动态权重控制器(DWC),用于在训练过程中平衡它们之间的相对重要性。我们的方法的实验结果是有希望的,这超过了以前的国家的最先进的方法在几个常用的人重新ID基准。
2023-02-28 cs.CV
Categorical Keypoint Positional Embedding for Robust Animal Re-Identification
Australian Institution for Machine Learning(澳大利亚机器学习研究所);The University of Adelaide(阿德莱德大学)
针对动物 ReID 中姿态、环境和跨物种迁移难题,提出基于扩散模型的单样本关键点传播机制,并以 KPE 与 CKPE 增强 ViT,在四个野生动物数据集上超越现有方法。
2024-12-01 cs.CV
Deep Feature Learning via Structured Graph Laplacian Embedding for Person Re-Identification
Beijing Etrol Technologies Co., Ltd(北京安控科技股份有限公司);Carnegie Mellon University(卡内基梅隆大学)
学习样本对之间的距离度量对于视觉识别,特别是对于人的再识别(Re-Id)具有重要意义。最近,对比度和三重丢失被提出来增强深度学习特征的区分能力,并取得了显着的成功。可以看出,对比度或三重丢失只是这些训练样本之间的欧几里得距离关系的一种特殊情况。因此,我们提出了一个结构化图拉普拉斯嵌入算法,它可以将所有这些结构化的距离关系表示成图拉普拉斯形式。该方法可以充分利用训练样本之间的结构化距离关系,并构造出完备图。此外,这种提法使我们的方法易于实现和超级有效。当将所提出的算法与softmax损失嵌入CNN训练时,我们的方法可以获得更强大和更有区分力的深度特征,具有个人间分散性和个人内紧凑性,这对人的Re-Id至关重要。我们在最近四个广泛使用的Re-Id基准数据集上,在三个流行的网络,即AlexNet,DGDNet和ResNet 50上说明了我们提出的方法的有效性。我们提出的方法实现了最先进的性能。
2017-07-25 cs.CV
Embedding Compression via Spherical Coordinates
Jina AI by Elastic(Jina AI 由 Elastic 提供)
本文提出一种ε界压缩方法,实现1.5倍压缩,优于现有无损方法25%。利用高维单位向量的球坐标集中在π/2附近,使IEEE 754指数坍缩为单一值,高阶尾数位可预测,从而实现熵编码。重建误差不超过float32机器精度,且在BEIR基准上无检索退化。
2026-03-25 cs.CV cs.LG
Topology-Aware Network Pruning using Multi-stage Graph Embedding and Reinforcement Learning
Iowa State University(爱荷华州立大学);Technical University of Darmstadt(达姆施塔特工业大学)
模型压缩是在功率和内存受限的资源上部署深度神经网络(DNN)的基本技术。然而,现有的模型压缩方法往往依赖于人类的专业知识,并专注于参数的局部重要性,忽略了DNN中丰富的拓扑信息。在本文中,我们提出了一种新的多阶段图嵌入技术的基础上图神经网络(GNNs)识别DNN拓扑结构,并使用强化学习(RL)找到一个合适的压缩策略。我们进行了资源受限(即,FLOPs)通道修剪,并将我们的方法与最先进的模型压缩方法进行了比较。我们在从典型到移动友好网络的各种模型上评估了我们的方法,例如ResNet系列,VGG-16,MobileNet-v1/v2和ShuffleNet。结果表明,我们的方法可以实现更高的压缩比与最小的微调成本,但产生出色的和有竞争力的性能。
2022-07-01 cs.CV cs.LG
Learnable Embedding Space for Efficient Neural Architecture Compression
Peking University(北京大学);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种方法来增量学习嵌入空间域的网络架构,使仔细选择的架构进行评估,在压缩架构搜索。给定一个教师网络,我们使用贝叶斯优化(BO)搜索一个压缩的网络架构,并在我们提出的嵌入空间上定义一个核函数来选择用于评估的架构。我们证明了我们的搜索算法可以显著优于各种基线方法,例如随机搜索和强化学习(Ashok et al.,2018年)。通过我们的方法发现的压缩架构也优于最先进的手动设计的紧凑架构ShuffleNet(Zhang等人,2018年)。我们还证明了学习的嵌入空间可以转移到新的架构搜索设置,例如更大的教师网络或不同架构家族中的教师网络,而无需任何训练。代码可在此处公开获取:https://github.com/Friedrich1006/ESNAC。
2019-04-25 cs.CV cs.LG
Rethinking Decoders for Transformer-based Semantic Segmentation: A Compression Perspective
School of Artificial Intelligence(人工智能学院);Beijing University of Posts and Telecommunications(北京邮电大学)
本文从压缩视角重新解释Transformer语义分割解码器,提出白盒注意力解码器DEPICT,在ADE20K上优于Segmenter且更轻量鲁棒。
2025-10-09 cs.CV cs.LG
Image Compression By Embedding Five Modulus Method Into JPEG
Irbid National University(伊尔比德国立大学)
标准JPEG格式几乎是图像压缩的最佳格式。JPEG的压缩比有时达到30:1。在JPEG算法中嵌入五模方法(FMM),可以提高JPEG的压缩比。新算法给出的时间是标准JPEG算法的两倍或更多。该算法被称为FJPEG(Five-JPEG)。压缩后的重建图像质量接近JPEG标准。标准的测试图像已被用来支持和实现本文提出的想法,并已计算的错误度量和JPEG相比。
2013-04-30 cs.CV cs.MM
3D Convolutional Sequence to Sequence Model for Vertebral Compression Fractures Identification in CT
Weizmann Institute of Science(魏茨曼科学研究所);Zebra Medical Vision Ltd(斑马医疗视觉有限公司)
全世界每三秒钟就发生一次与骨质疏松症有关的骨折,影响到50岁以上的三分之一妇女和五分之一男子。对高危患者的早期检测有助于采取有效且证据充分的预防性干预措施,降低严重骨质疏松性骨折的发生率。在这项研究中,我们提出了一个自动系统,用于识别椎体压缩骨折的计算机断层扫描图像,这往往是一个未确诊的前兆,主要的椎体相关骨折。该系统集成了脊柱的紧凑3D表示,利用卷积神经网络(CNN)进行脊髓检测和一种新的端到端序列到序列3D架构。我们评估了几种模型变体,利用不同的表示和分类方法,并提出了一个框架,结合了一个整体的模型,实现了最先进的结果,在一个大的数据集上验证,与患者级骨折识别的0.955曲线下面积(AUC)。提出的系统有可能支持骨质疏松症的临床管理,改善治疗途径,并改变我们这一代最繁重的疾病之一的过程。
2020-10-08 cs.CV eess.IV
Extreme Generative Image Compression by Learning Text Embedding from Diffusion Models
Baidu Research (USA)(百度研究院(美国))
在有限的带宽上传输大量高分辨率图像是一项重要但极具挑战性的任务。已经研究了使用极低比特率(<0.1bpp)来压缩图像,但是由于压缩数据可用的比特数的强约束,其经常导致具有严重伪影的低质量图像。人们常说,一张图片胜过千言万语,但另一方面,语言在通过简短的描述捕捉图像的本质方面非常强大。随着最近的成功扩散模型的文本到图像的生成,我们提出了一个生成图像压缩的方法,演示了保存图像作为一个简短的文本嵌入,这反过来又可以用来生成高保真度的图像,这是等同于原来的感知。对于给定的图像,使用与文本到图像扩散模型本身相同的优化过程来学习其对应的文本嵌入,在绕过原始Transformer之后使用可学习的文本嵌入作为输入。该优化与学习压缩模型一起应用,以实现<0.1 bpp的低比特率的极端压缩。基于我们通过一组全面的图像质量指标测量的实验,我们的方法在感知质量和多样性方面优于其他最先进的深度学习方法。
2022-11-14 cs.CV eess.IV
Clinically Relevant Latent Space Embedding of Cancer Histopathology Slides through Variational Autoencoder Based Image Compression
University of Texas at Arlington(德克萨斯大学阿灵顿分校);Ronald Reagan University of California Los Angeles Medical Center(罗纳德·里根加州大学洛杉矶分校医学中心)
本文提出基于变分自编码器的图像压缩方法,以1:512压缩比处理癌症病理切片并保持临床验证准确度,优于SOTA,并验证了潜在空间嵌入在临床解释与加速数据搜索中的价值。
2023-03-23 cs.CV eess.IV q-bio.QM
TEMPEST: Temporal Embeddings for Scalable Driver Identification via Angular Margin Learning
The University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校);Oak Ridge National Laboratory(橡树岭国家实验室)
TEMPEST提出基于ArcFace损失的时间卷积网络嵌入模型,将驾驶数据映射为96维嵌入,在45名驾驶员数据集上实现91.71%的Rank-1准确率,显著优于三元组损失基线,并支持无需重训练的动态注册,为可扩展驾驶员识别提供稳健基线。
2026-10-07 cs.CV cs.LG
TED-4DGS: Temporally Activated and Embedding-based Deformation for 4DGS Compression
National Yang Ming Chiao Tung University(国家阳明交通大学);National Chung Cheng University(国家 Chung Cheng 大学)
TED-4DGS提出了一种基于时间激活和嵌入的4DGS压缩变形方案,通过结合传统3DGS和空间-时间4DGS的优势,实现了高效的率-失真压缩性能。
2025-12-05 cs.CV
Embedding Compression Distortion in Video Coding for Machines
Beijing Jiaotong University, China(北京交通大学);University of Science and Technology Beijing, China(北京科技大学);Nanyang Technological University, Singapore(南洋理工大学)
提出压缩失真表示嵌入(CDRE)框架,通过提取机器感知相关的失真表示并嵌入下游模型,提升压缩视频的任务性能。
2025-03-27 cs.CV eess.IV
tcnerv:dual-domain temporal context modeling for implicit neural video compression
Harbin Engineering University(哈尔滨工程大学);Key Laboratory of Advanced Marine Communication and Information Technology(先进海洋通信与信息技术重点实验室);University of Toronto(多伦多大学);Kanagawa University(神奈川大学)
TCNeRV通过特征域多尺度门控融合与嵌入域残差编码,在约3M参数下实现UVG数据集36.08dB的PSNR,显著优于现有方法。
2026-09-16 cs.CV
Density-preserving Deep Point Cloud Compression
Google(谷歌);Fudan University(复旦大学)
点云的局部密度对于表示局部细节是至关重要的,但现有的点云压缩方法忽略了这一点。为了解决这个问题,我们提出了一种新的深点云压缩方法,保留局部密度信息。我们的方法以自动编码器的方式工作:编码器对点进行下采样并学习逐点特征,而解码器使用这些特征对点进行上采样。具体来说,我们提出了编码的局部几何和密度与三个嵌入:密度嵌入,局部位置嵌入和祖先嵌入。在解码过程中,我们明确预测每个点的上采样因子,以及上采样点的方向和尺度。为了减轻现有方法中的聚集点问题,我们设计了一个新的子点卷积层,和一个自适应尺度的上采样块。此外,我们的方法还可以压缩逐点属性,如法线。SemanticKITTI和ShapeNet上的大量定性和定量结果表明,我们的方法实现了最先进的率失真权衡。
2022-04-27 cs.CV eess.IV
Auto Graph Encoder-Decoder for Neural Network Pruning
Iowa State University(爱荷华州立大学);Technical University of Darmstadt(达姆施塔特工业大学)
模型压缩旨在将深度神经网络(DNN)部署在计算和存储资源有限的移动设备上。然而,大多数现有的模型压缩方法依赖于手动定义的规则,这需要领域的专业知识。DNN本质上是计算图,包含丰富的结构信息。在本文中,我们的目标是找到一个合适的压缩策略,从DNN的结构信息。提出了一种结合图神经网络(GNN)和强化学习(RL)的自动图编码器-解码器模型压缩(AGMC)方法。我们将目标DNN建模为图,并使用GNN自动学习DNN的嵌入。我们将该方法与基于规则的DNN嵌入模型压缩方法进行了比较,以证明该方法的有效性。结果表明,我们基于学习的DNN嵌入实现了更好的性能和更高的压缩比,搜索步骤更少。我们在过度参数化和移动友好的DNN上评估了我们的方法,并将我们的方法与手工制作和基于学习的模型压缩方法进行了比较。在过度参数化的DNN上,例如ResNet-56,我们的方法分别以$4.36\%$和$2.56\%$更高的准确性优于手工制作和基于学习的方法。此外,在MobileNet-v2上,我们实现了比最先进的方法更高的压缩比,仅损失了$0.93\%$精度。
2021-11-09 cs.CV
Tile Compression and Embeddings for Multi-Label Classification in GeoLifeCLEF 2024
Georgia Institute of Technology(佐治亚理工学院);Peoples' Friendship University of Russia (RUDN University)(俄罗斯人民友谊大学(RUDN大学));Joint Institute for Nuclear Research(联合核研究所);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Skövde(舍夫德大学)
本研究针对GeoLifeCLEF 2024的植物物种多标签分类任务,提出结合DCT频域压缩、LSH最近邻及tile2vec自监督嵌入的方法,结合地理特征取得了0.161的最佳成绩。
2024-07-08 cs.CV
Individual common dolphin identification via metric embedding learning
Massey University(梅西大学);NIWA(新西兰国家水事和大气研究所)
海豚个体照片识别(photo-id)是生态科学中常用的技术,用于监测个体的状态和健康状况,以及研究种群的社会结构和分布。传统的照片身份识别涉及到一个费力的手工过程,将野外捕获的每一张海豚鳍照片与已知个体的目录进行匹配。我们研究这个问题的背景下,开集识别和利用三重损失函数学习一个紧凑的表示鳍图像在欧几里德嵌入,其中的欧几里德距离度量表示鳍的相似性。我们表明,这种紧凑的表示可以从一个相当小的(在深度学习环境中)训练集成功地学习,并且仍然可以很好地推广到样本外的身份(全新的海豚个体),前1名和前5名测试集(37个个体)的准确率分别为$90.5\pm2$和$93.6\pm1$ %。在存在1200个干扰项的情况下,$12\%$的前1准确度下降;然而,前5准确度仅看到$2.8\%$下降
2019-01-09 cs.CV cs.LG stat.ML
ResComEmb: Effective and Efficient Multimodal Embedding via Residual Homogeneity Compression
University of Science and Technology of China(中国科学技术大学);Hefei University of Technology(合肥工业大学);National University of Singapore(新加坡国立大学)
ResComEmb提出一种可训练的多向量多模态嵌入框架,通过残差同质性压缩减少冗余,并采用长度自适应双向后期交互匹配,在低视觉令牌预算下实现优于现有方法的检索性能。
2026-09-30 cs.AI cs.CV
Fine-Grained Texture Identification for Reliable Product Traceability
V-Origin Technology(维源科技)
纹理存在于许多产品中,如木材,牛肉和压缩茶。这些丰富的和随机的纹理模式是显着不同的任何两个产品之间。与传统的数字身份跟踪不同,本文提出了一种新的产品追溯方法,直接使用产品本身的自然纹理作为唯一标识符。以普洱紧压茶为例,设计了一个基于纹理识别的可追溯系统,验证了该方案的可行性。通过对茶砖生产企业和个人用户的茶砖图像采集,形成了一个大规模的茶砖图像数据集,用于评价茶砖纹理验证和搜索算法的性能。结合局部特征提取和匹配的纹理相似性方法分别达到了99.6%的验证准确率和98.9%的top-1搜索准确率。
2021-04-23 cs.CV
PPE: Positional Preservation Embedding for Token Compression in Multimodal Large Language Models
Huawei Technologies(华为技术有限公司)
PPE通过保持位置信息提升多模态大语言模型的token压缩效率和性能
2026-02-05 cs.CV
A Directed-Evolution Method for Sparsification and Compression of Neural Networks with Application to Object Identification and Segmentation and considerations of optimal quantization using small number of bits
本文介绍了用于神经网络稀疏化的定向进化(DE)方法,该方法直接评估了参数与网络精度的相关性,并将暂时归零时对精度影响最小的参数真正归零。DE方法通过模仿自然世界的进化,避免了大型网络中所有可能的待归零候选参数集的潜在组合爆炸。DE使用蒸馏上下文[5]。在这种情况下,原始网络是教师,DE将学生神经网络进化到稀疏化目标,同时保持教师和学生之间的最小分歧。在通过DE在网络的每一层中达到期望的稀疏化水平之后,对幸存的参数使用各种量化替代方案,以在可接受的精度损失下找到用于其表示的最低比特数。提出了一种在每个稀疏层中找到最佳量化水平分布的方法。幸存的量化参数的合适的最终无损编码用于最终参数表示。DE被用于具有代表性的神经网络的样本中,使用MNIST、FashionMNIST和COCO数据集,具有渐进的更大的网络。在COCO数据集上训练的80类YOLOv3具有超过6000万个参数的网络达到了90%的稀疏化,并使用4bit参数量化以超过80%的置信度正确识别和分割原始网络识别的所有对象。压缩40倍到80倍。不同方法的技术可以嵌套,这一点作者并没有忘记。一旦在DE的循环中确定了用于稀疏化的最佳参数集,就可以使用参数幅度和Hessian近似等标准的组合来决定仅对这些参数的子集进行归零。
2022-06-12 cs.CV cs.LG cs.NE
AirObject: A Temporally Evolving Graph Embedding for Object Identification
Carnegie Mellon University(卡内基梅隆大学);IIT (ISM) Dhanbad(印度理工学院(印度矿业学院)丹巴德分校);Geek+ Corp(极智嘉公司)
物体编码和识别对于机器人自主探索、语义场景理解和重新定位等任务至关重要。先前的方法已经尝试跟踪对象或生成用于对象识别的描述符。然而,这样的系统限于从单个视点的“固定”部分对象表示。在机器人探索设置中,需要在机器人从多个视点观察对象时构建时间上“演进”的全局对象表示。此外,鉴于未知的新对象在现实世界中的广泛分布,对象识别过程必须是类不可知的。在这种情况下,我们提出了一种新的时间3D对象编码方法,称为AirObject,以获得全局关键点图为基础的嵌入对象。具体地,全局3D对象嵌入使用跨从基于图形注意力的编码方法获得的多个帧的结构信息的时间卷积网络来生成。我们证明了AirObject在视频对象识别方面达到了最先进的性能,并且对严重遮挡、感知混叠、视点偏移、变形和尺度变换具有鲁棒性,优于最先进的单帧和顺序描述符。据我们所知,AirObject是最早的时间对象编码方法之一。源代码可在https://github.com/Nik-V9/AirObject上获得。
2022-03-13 cs.CV cs.RO
A study on the use of perceptual hashing to detect manipulation of embedded messages in images
Hamburg University of Applied Sciences(汉堡应用科学大学)
通常,图像的元数据存储在图像文件的特定数据段中。然而,为了安全地检测变化,数据也可以嵌入到图像中。这遵循的目标是以不可见和鲁棒的方式嵌入尽可能多的信息,理想情况下,甚至可以在压缩中幸存下来。这项工作的嵌入原则,允许区分无意的变化,有损图像压缩和恶意操纵的嵌入式消息的基础上,其感知或强大的哈希值的变化。比较了不同的嵌入和压缩算法。研究表明,通过整数小波变换嵌入的信息和压缩与Karhunen-Loeve变换产生最好的结果。然而,不可能在所有情况下区分操纵和压迫。
2023-02-28 cs.CR cs.CV eess.IV
Histogram Driven Amplitude Embedding for Qubit Efficient Quantum Image Compression
Central Research Laboratory, BEL(巴拉特电子有限公司中央研究实验室)
本研究提出直方图驱动的幅度嵌入量子图像压缩方法,通过图像块强度直方图编码量子态,仅需5-7个量子比特即可实现高质量重建,大幅提升量子比特效率,适配NISQ时代量子硬件。
2025-09-05 cs.CV cs.ET cs.IT