Muzzle-Based Cattle Identification System Using Artificial Intelligence (AI)
adorsho praniSheba Ltd.(adorsho praniSheba有限公司)
针对缺乏防篡改牛只识别技术阻碍牲畜保险、损害边缘农户利益的问题,研究团队基于牛鼻纹的独特性,结合YOLO检测、FaceNet嵌入学习等技术构建识别系统,采集826头牛的3万余张图像训练,实现了高精度低误报的识别效果,可助力牲畜保险与精准农业发展。
2025-09-02 cs.CV
CCoMAML: Efficient Cattle Identification Using Cooperative Model-Agnostic Meta-Learning
School of Computing, Mathematics and Engineering, Charles Sturt University(计算、数学与工程学院,查尔斯·史蒂尔大学);Gulbali Institute for Agriculture, Water and Environment, Charles Sturt University(农业、水与环境研究所,查尔斯·史蒂尔大学);Food Agility CRC Ltd(食品敏捷CRC有限公司)
本文提出了一种结合多头注意力特征融合的协同模型无关元学习(CCoMAML)小样本学习框架,用于实时牛只鼻纹识别,解决了数据有限和动态牛群需频繁重训的问题,F1分数达98.46%和97.91%。
2025-09-14 cs.CV
Automatic Cattle Identification using YOLOv5 and Mosaic Augmentation: A Comparative Analysis
Charles Sturt University(查尔斯特大学);TerraCipher Pty Ltd(TerraCipher私人有限公司);Food Agility CRC Ltd(食品敏捷合作研究中心有限公司)
You Only Look Once(YOLO)是一种单阶段目标检测模型,因其实时目标检测、准确性和速度而流行。本文研究了YOLOv5模型在奶牛场的识别。目前的牛识别解决方案包括射频识别(RFID)标签。当RFID标签丢失或损坏时会出现问题。生物识别解决方案可以识别牛,并帮助分配丢失或损坏的标签或更换基于RFID的系统。牛的口吻图案是独特的生物识别解决方案,就像人类的指纹一样。本文旨在介绍我们最近的研究,利用五个流行的目标检测模型,在YOLOv5的架构,研究八个骨干YOLOv5模型的性能,和马赛克增强YOLOv5的影响,通过实验结果对可用的牛口部图像。最后,我们总结了YOLOv5在自动牛识别中的巨大潜力。我们的实验表明,具有Transformer的YOLOv 5表现最佳,平均精度(mAP)0.5(当IoU大于50%时的AP的平均值)为0.995,mAP 0.5:0.95(从50%到95% IoU的AP的平均值,间隔为5%)为0.9366。此外,我们的实验表明,通过在我们实验中使用的所有主干中使用马赛克增强,模型的准确性有所提高。此外,我们还可以检测牛的部分枪口图像。
2022-10-21 cs.CV
MHAFF: Multi-Head Attention Feature Fusion of CNN and Transformer for Cattle Identification
Charles Sturt University(查尔斯斯特大学);Food Agility CRC Ltd(食品敏捷合作研究中心有限公司);Gulbali Institute for Agriculture, Water and Environment(古尔巴利农业、水与环境研究所)
针对牛只鼻镜识别中 CNN 长程建模不足及加法、拼接融合的缺陷,提出 MHAFF 多头注意力特征融合方法,在两个公开数据集上取得 99.88% 和 99.52% 的最高准确率。
2025-01-09 cs.CV
Cattle Identification Using Muzzle Images and Deep Learning Techniques
CyLab-Africa(CyLab非洲);Upanzi Network(Upanzi网络);Carnegie Mellon University Africa(卡内基梅隆大学非洲校区);Carnegie Mellon University(卡内基梅隆大学)
本研究利用鼻纹图像和深度学习模型(宽ResNet50和VGG16_BN)实现牛只识别,通过图像压缩适应非洲环境,最高准确率达99.5%。
2023-11-14 cs.AI cs.CV cs.LG
FacEDiM: A Face Embedding Distribution Model for Few-Shot Biometric Authentication of Cattle
Fit-For-Purpose Technologies SRL(Fit-For-Purpose 技术有限公司);Neotex SARL(Neotex 有限责任公司)
本研究提出 FacEDiM 模型,通过计算测试嵌入与预训练 CNN 获取的训练嵌入多变量高斯分布间的 Mahalanobis 距离解决牛的少样本生物特征认证,实验证明 ImageNet 预训练优于人脸预训练,VGG16 取得优异认证结果。
2023-07-26 cs.CV cs.LG cs.NE
Towards Self-Supervision for Video Identification of Individual Holstein-Friesian Cattle: The Cows2021 Dataset
University of Bristol(布里斯托大学)
在本文中,我们发布了最大的身份注释Holstein-Friesian牛数据集Cows 2021和第一个用于个体动物视频识别的自我监督框架。该数据集包含10,402个带有定位和身份标签的RGB图像以及来自同一牛群的301个视频。数据显示了自上而下的谷仓图像,捕捉到了该品种独特的黑色和白色被毛模式。受构建视觉牛识别系统所涉及的标签负担的启发,我们建议利用视频中的时间皮毛图案外观作为动物身份学习的自我监督信号。使用产生定向边界框的个体不可知的牛检测器,通过检测跟踪形成个体的旋转归一化轨迹,并通过增强来丰富。这会为每个tracklet生成一个“正”样本集,并与从其他视频的随机牛中采样的“负”样本集配对。然后采用框架三元组对比学习来构造度量潜在空间。将高斯混合模型拟合到该空间产生牛身份分类器。结果显示,与地面实况相比,前1名的准确度为57.0%,前4名的准确度为76.9%,调整后的兰德指数为0.53。虽然监督培训超过这个基准的大幅度,我们的结论是,自我监督,但可以发挥非常有效的作用,加快标签的努力,最初建设监督信息。我们提供所有数据和完整的源代码以及对系统的分析和评估。
2021-05-05 cs.CV
Visual Identification of Individual Holstein-Friesian Cattle via Deep Metric Learning
Bristol Veterinary School(布里斯托尔兽医学院)
荷斯坦-弗里斯兰牛表现出个体特征的黑白色被毛图案,在视觉上类似于图灵的反应扩散系统。这项工作利用这些自然标记,通过卷积神经网络和深度度量学习技术自动进行个体荷斯坦-弗里斯牛的视觉检测和生物特征识别。现有的方法依赖于具有各种维护要求的标记、标签或可穿戴设备,而我们提出了一种完全不干涉的方法,用于在开放的畜群环境中从头顶成像中自动检测、定位和识别个体动物,即在没有重新训练的情况下识别畜群的新成员。我们建议使用基于SoftMax的倒数三重损失来解决识别问题,并对固定的羊群范例详细评估技术。我们发现,即使在系统训练过程中看不到的许多牛被识别和重新识别时,深度度量学习系统也表现出了很强的性能--在对一半的牛群进行训练时,准确率达到了93.8%。这项工作为促进适用于精准农业的牛的非侵入性监测铺平了道路,并为自动化生产力,健康和福利监测以及兽医研究(如行为分析,疾病爆发追踪等)提供了监控。源代码的关键部分,网络权重和数据集都是公开的。
2020-10-14 cs.CV
Video-based cattle identification and action recognition
CSIRO Data61(联邦科学与工业研究组织数据61);NSW Department of Primary Industries(新南威尔士州初级产业部);UNE(新英格兰大学);CSIRO Agriculture and Food(联邦科学与工业研究组织农业与食品)
我们展示了一个工作原型,通过自动分析动物的行为监测奶牛福利。深度学习模型已被开发,并在农场采集的视频进行测试,奶牛识别的准确率达到81.2%。对饮水事件的检测准确率为84.4%,对放牧事件的检测准确率为94.4%。实验结果表明,所提出的深度学习方法可用于识别个体动物的行为,以实现自动化农场种源。我们的原始数据集和地面实况数据集将作为第一个用于奶牛识别和动作识别的公共视频数据集发布。并提出了进一步发展的建议。
2021-10-14 cs.CV
Embedding Compression for Efficient Re-Identification
Modern Intelligence(现代智能公司);UC San Diego(加州大学圣地亚哥分校)
本文针对重识别系统存储嵌入规模受限的问题,评测了量化感知训练及三种降维方法,实现高达96倍压缩且性能损失极小,表明高维空间利用不足,为系统能力提升开辟了新方向。
2024-05-23 cs.CV cs.LG
Open-Set Cattle Muzzle Identification: A Leakage-Controlled Benchmark and Evaluation Protocol
Tribhuvan University(特里布文大学);Fort Valley State University(山谷堡州立大学)
该研究针对现有牛鼻纹识别闭集假设的局限,提出开放集牛鼻纹识别任务,构建泄漏控制评估协议,对比混合CNN-ViT模型与MegaDescriptor-L模型,验证了阈值校准等对开放集识别的关键作用。
2026-09-01 cs.CV
Aerial Animal Biometrics: Individual Friesian Cattle Recovery and Visual Identification via an Autonomous UAV with Onboard Deep Inference
University of Bristol(布里斯托大学)
本文描述了一种计算增强的M100无人机平台,该平台具有机载深度学习推理系统,用于集成计算机视觉和导航,能够自主发现和视觉识别自由移动牛群中的个体荷斯坦黑白花奶牛。我们提出了一种方法,利用三个深度卷积神经网络架构在飞机上实时运行;即基于YoloV 2的物种检测器,提供探索性代理的双流CNN和基于InceptionV 3的生物识别LRCN用于个体动物识别。我们评估了每个组件的性能离线,也在线通过现实世界的现场测试,包括146.7分钟的自主低空飞行在农场环境中的分散的牛群17头小母牛奶牛。我们在这个在线实验中报告了无错误的识别性能。该概念验证系统是同类系统中的第一个,也是在开放牧场环境中从空中对单个动物进行自主生物识别的成功一步,以支持农业和生态学中的无标签人工智能。
2019-07-11 cs.CV cs.RO
Beyond image classification: zooplankton identification with deep vector space embeddings
Institute of Marine Research(海洋研究所);University of Bergen(卑尔根大学)
浮游动物图像,像许多其他现实世界的数据类型,具有固有的属性,使有效的分类系统的设计困难。例如,在实际设置中遇到的类的数量可能非常大,并且类可能是模糊的或重叠的。此外,分类法的选择往往在研究人员之间和机构之间存在差异。虽然使用标准分类器架构的基准已经达到了很高的准确性,但当将产出用于生态系统评估和监测时,不灵活的分类方案所造成的偏差可能产生深远的影响。在这里,我们建议使用深度卷积网络来构建浮游动物图像的矢量嵌入。该系统将每个图像映射(嵌入)到高维欧几里得空间中,以便向量之间的距离反映图像之间的语义关系。我们表明,嵌入可以用来获得分类与一个特定的分类器相当的准确性,但它同时揭示了数据中的重要结构。此外,我们将嵌入应用于系统以前看不到的新类,并在这种情况下评估其分类性能。传统的神经网络分类器表现良好时,类是明确定义的先验,并有足够大的标记数据集可用。对于生态学和许多其他领域的实际情况,情况并非如此,我们认为这里提出的向量嵌入方法是一种更合适的方法。
2019-09-25 cs.CV cs.LG
Video-based Person Re-identification with Two-stream Convolutional Network and Co-attentive Snippet Embedding
Xiamen University(厦门大学)
近年来,在视觉监控和人机交互中,人的重新识别的应用急剧增加,这表明了这个问题的关键作用。在本文中,我们提出了一个双流卷积网络(ConvNet)的基础上的竞争相似性聚合方案和共同关注的嵌入策略,基于视频的人的重新识别。通过将长视频序列划分为多个短视频片段,我们设法利用每个片段的RGB帧、光流图和姿态图来促进残差网络,例如,ResNet,用于双流ConvNet中的特征提取。提取的特征嵌入的共同关注的嵌入方法,它允许减少噪声帧的影响。最后,我们融合两个流的输出作为一个片段的嵌入,并应用竞争片段相似性聚合来衡量两个序列之间的相似性。我们的实验表明,所提出的方法显着优于当前国家的最先进的方法在多个数据集。
2019-05-28 cs.CV cs.IR cs.LG
Vehicle Re-Identification: an Efficient Baseline Using Triplet Embedding
NVIDIA(英伟达)
在本文中,我们解决的问题,车辆重新识别的摄像头网络利用三元组嵌入。重新识别是在不同相机之间匹配对象外观的问题。随着监控摄像头的普及,智能和更安全的城市成为可能,人们越来越需要通过摄像头重新识别车辆。智慧城市场景中出现的典型挑战包括视点、照明和自遮挡的变化。大多数成功的重新识别方法涉及(深度)学习嵌入空间,使得与表示不同身份的车辆相比,具有相同身份的车辆被投影得更靠近彼此。用于学习嵌入(空间)的流行损失函数包括对比损失或三重损失。在本文中,我们提供了一个广泛的评估,这些损失适用于车辆重新识别,并证明使用最佳实践学习嵌入优于大多数以前的方法中提出的车辆重新识别文献。与大多数现有的最先进的方法相比,我们的方法更简单,更直接,只利用身份级别的注释进行训练,同时使用最小的已发布嵌入维度进行有效的推理。此外,在这项工作中,我们介绍了一个正式的评价三重采样的变体(批量样品)到重新鉴定文献。
2019-08-08 cs.CV
Embedding Deep Metric for Person Re-identication A Study Against Large Variations
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Sun Yat-sen University(中山大学)
由于姿态、光照、遮挡和摄像机视角的大变化,人员重新识别具有挑战性。由于这些变化,行人数据在特征空间中分布为高度弯曲的流形,尽管当前卷积神经网络(CNN)具有特征提取的能力。然而,分布是未知的,因此在比较两个样本时很难使用测地线距离。在实践中,目前的深度嵌入方法使用欧氏距离进行训练和测试。另一方面,流形学习方法建议使用局部范围内的欧氏距离,结合样本之间的图形关系,来近似测地线距离。从这个角度来看,在局部范围内选择合适的正(即类内)训练样本对于训练CNN嵌入至关重要,特别是当数据具有较大的类内变化时。本文提出了一种新的适度正样本挖掘方法,用于训练鲁棒的CNN,以处理大变化的问题。此外,我们通过一个度量权重约束来改进学习,使学习的度量具有更好的泛化能力。实验表明,这两种策略在学习用于人员重新识别的鲁棒深度度量方面是有效的,因此,我们的深度模型在人员重新识别的几个基准上显著优于最先进的方法。因此,本文提出的研究可能有助于启发新的设计深度模型的人重新识别。
2016-11-01 cs.CV cs.LG
Keypoint-Aligned Embeddings for Image Retrieval and Re-identification
Queensland University of Technology(昆士兰科技大学);University of Queensland(昆士兰大学)
学习嵌入对象的姿态不变是至关重要的视觉图像检索和重新识别。现有的方法的人,车辆,或动物的重新识别任务遭受高类内的变化,由于可变形的形状和不同的相机的观点。为了克服这一限制,我们建议将图像嵌入与预定义的关键点顺序对齐。提出的关键点对齐嵌入模型(KAE-Net)通过关键点位置指导的多任务学习来学习部分级特征。更具体地说,KAE-Net通过学习该关键点的热图重建辅助任务,从由特定关键点激活的特征图中提取通道。KAE-Net结构紧凑,通用,概念简单。它在CUB-200-2011,Cars 196和VeRi-776的基准数据集上实现了最先进的性能,用于检索和重新识别任务。
2020-08-26 cs.CV
A Discriminatively Learned CNN Embedding for Person Re-identification
University of Technology Sydney(悉尼科技大学)
我们回顾了两个流行的卷积神经网络(CNN)在人的重新识别(re-ID),即验证和分类模型。由于损失函数的不同,两种模型各有其优点和局限性。在本文中,我们阐明了如何结合这两个模型来学习更多有区别的行人描述符。具体来说,我们提出了一个新的连体网络,同时计算识别损失和验证损失。给定一对训练图像,网络预测两个图像的身份以及它们是否属于同一身份。我们的网络同时学习判别式嵌入和相似性度量,从而充分利用注释。虽然很简单,但学习的嵌入提高了两个公共人员重新识别基准测试的最新性能。此外,我们表明我们的架构也可以应用于图像检索。
2017-02-03 cs.CV
When Language Model Guides Vision: Grounding DINO for Cattle Muzzle Detection
School of Computing, Mathematics and Engineering(计算数学与工程学院);Charles Sturt University(查尔斯·斯特劳特大学);Gulbali Institute for Agriculture, Water and Environment(古尔巴利农业、水与环境研究所);Food Agility CRC Ltd(食品敏捷性CRC有限公司)
本研究提出基于 Grounding DINO 的零样本牛口鼻检测框架,利用自然语言提示实现无需标注数据的跨品种灵活定位,mAP@0.5 达 76.8%,为牲畜监控提供了实用的无监督替代方案。
2025-10-13 cs.CV
Driver2vec: Driver Identification from Automotive Data
Stanford University(斯坦福大学);Nervtech
随着对隐私保护的日益关注,在不使用生物特征标识符的情况下识别车辆操作者的替代方法已经获得了汽车数据分析的牵引力。现代车辆上安装的各种传感器可以实现自动驾驶,减少事故并改善车辆操控性。另一方面,这些传感器收集的数据反映了驾驶员的习惯。驾驶员对转向指示器、跟随距离、加速度等的使用可以被转换为代表他们的行为和身份的嵌入。在本文中,我们开发了一个深度学习架构(Driver2vec),将驾驶数据的短间隔映射到代表驾驶员行为的嵌入空间中,以帮助识别驾驶员。我们开发了一个自定义模型,该模型利用了时间卷积网络的性能增益、三元组丢失的嵌入分离能力和梯度提升决策树的分类精度。在Nervtech提供的51名驾驶员的数据集上进行训练后,Driver2vec能够从短短10秒的传感器数据间隔中准确识别驾驶员,在这10秒的间隔中实现了83.1%的平均成对驾驶员识别准确率,这明显高于之前研究中获得的性能。然后,我们分析了Driver2vec的性能,以表明其性能在各种场景中是一致的,并且建模选择是合理的。
2021-02-10 cs.CV cs.LG
Deep Person Re-Identification with Improved Embedding and Efficient Training
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
近年来,深度卷积神经网络(CNN)极大地推动了人员重新识别任务。其核心是在扩大类间差异的同时减小类内方差。然而,为了实现这一点,现有的深度模型倾向于采用图像对或三元组来形成验证丢失,这是低效且不稳定的,因为训练对或三元组的数量随着训练数据的数量增长而快速增长。此外,它们的性能是有限的,因为它们忽略了这样一个事实,即不同的嵌入维度可能发挥不同的重要性。在本文中,我们提出采用识别损失与中心损失的训练一个深度模型的人重新识别。训练过程是有效的,因为它不需要图像对或三元组的训练,而类间的区别和类内方差得到很好的处理。为了提高性能,设计了一个新的特征重新加权(FRW)层,以明确强调每个嵌入维度的重要性,从而改进嵌入。在几个基准数据集上的实验表明,我们的方法在准确性和速度上都优于最先进的方法。
2017-07-08 cs.CV
Person Re-identification with Adversarial Triplet Embedding
College of Information Science & Electronic Engineering(信息与电子工程学院);Zhejiang University(浙江大学)
在公安视频监控中,人员身份识别是一项重要的工作,有着广泛的应用。在过去的几年里,针对这个问题,具有三重态损失的深度学习网络变得流行起来。然而,三元组丢失通常遭受不良局部最优性,并且严重依赖于硬示例挖掘策略。在本文中,我们提出了一种新的深度度量学习方法来解决这个问题,称为对抗三元组嵌入(ATE),在这种方法中,我们在统一的框架中同时生成对抗三元组和判别特征嵌入。特别是,对抗三元组是通过将对抗扰动引入训练过程来生成的。将这种对抗博弈转化为极大极小问题,从而从理论上得到最优解。在多个基准数据集上的大量实验证明了该方法对最先进文献的有效性。
2020-12-28 cs.CV
Robust Re-identification of Manta Rays from Natural Markings by Learning Pose Invariant Embeddings
School of Electrical Engineering and Computer Science, Queensland University of Technology(昆士兰科技大学电气工程与计算机科学学院);School of Biomedical Science, The University of Queensland(昆士兰大学生物医学科学学院);School of Information Technology and Electrical Engineering, The University of Queensland(昆士兰大学信息技术与电气工程学院)
视觉识别具有独特自然身体标记的个体动物是野生动物保护的重要任务。动物斑纹的照片数据库变得越来越大,每一个新的观察结果都必须与数千张图像相匹配。现有的照片识别解决方案对图像质量和图像中感兴趣图案的外观具有约束。这些限制限制了公民科学家照片的使用。我们提出了一种新的系统,视觉重新识别的基础上,独特的自然标记,是强大的遮挡,视点和照明变化。我们调整了为人脸重新识别开发的方法,并实现了一个深度卷积神经网络(CNN)来学习自然标记图像的嵌入。学习的嵌入点之间的距离提供了对应输入图像之间的相异性度量。使用三元组损失函数和在线半硬三元组挖掘策略对网络进行优化。拟定的重新鉴定方法是通用的,而不是种属特异性的。我们评估所提出的系统对图像数据库的蝠鲼腹部图案和座头鲸吸虫。为了具有实用价值并被海洋生物学家采用,重新识别系统需要具有至少95%的前10名准确率。所提出的系统达到了这一性能标准。
2019-02-28 cs.CV
Beyond a Single Crop: Contextualized Embeddings for Player Re-Identification
Central South University(中南大学);Iowa State University(爱荷华州立大学);Shandong University(山东大学)
针对广播体育视频球员重识别的挑战,提出ContextReID框架,结合空间与时间上下文学习,在三个多目标跟踪基准上提升了球员检索的Rank-1和mAP指标。
2026-10-12 cs.CV
Animal Re-Identification on Microcontrollers
针对微控制器资源受限问题,设计基于MobileNetV2的轻量级动物重识别模型,通过系统缩放和低分辨率输入优化,在保持竞争力的同时将模型大小降低两个数量级,并实现少量样本快速微调。
2026-07-03 cs.CV
Progressive Learning Algorithm for Efficient Person Re-Identification
Shanghai Grandhonor Information Technology Co.Ltd(上海冠勇信息科技有限公司);New York University(纽约大学);New York University Abu Dhabi(纽约大学阿布扎比分校)
本文研究了面向大规模应用的人员身份重识别问题。近年来的研究工作主要集中在建立复杂的零件模型上,这带来了相当高的计算成本和内存消耗,限制了其在大规模应用中的实用性。本文旨在开发一种新的学习策略,以找到有效的特征嵌入,同时保持准确性和模型复杂性的平衡。更具体地说,我们发现通过增强经典的三重损失和交叉熵损失,我们的方法可以探索困难的例子,并建立一个判别特征嵌入,但足够紧凑的大规模应用。我们的方法是逐步进行贝叶斯优化,我们称之为渐进式学习算法(PLA)。在三个大规模数据集上进行的大量实验表明,我们的PLA与最先进的PLA相当或更好。特别是在具有挑战性的Market-1501数据集上,我们实现了Rank-1=94.7/mAP=89.4,同时比强零件模型节省了至少30%的参数。
2020-11-23 cs.CV cs.LG
Dual Embedding Expansion for Vehicle Re-identification
Eindhoven University of Technology(埃因霍温理工大学);Cyclomedia B.V(Cyclomedia公司)
车辆重新识别在交通基础设施和交通流管理中起着至关重要的作用。然而,这是一个具有挑战性的任务,由于外观,环境和实例相关因素的大视点变化。现代系统部署CNN来从每个车辆实例的图像中生成唯一的表示。大多数工作集中在利用新的损失和网络架构,以提高这些表示的重复性。相比之下,我们的工作集中在重新排名和嵌入扩展技术。我们提出了一种有效的方法,用于在各种尺度下结合多个模型的输出,同时利用tracklet和邻居信息,称为双嵌入扩展(DEx)。此外,还在车辆重新识别的背景下对几种常见的图像检索技术进行了比较研究。我们的系统在2020年NVIDIA人工智能城市挑战赛中表现出了竞争力,取得了令人鼓舞的成果。我们证明,DEx与其他重新排序技术相结合时,可以产生更大的收益,而无需任何额外的属性标签或人工监督。
2020-04-18 cs.CV
Image-to-Video Person Re-Identification by Reusing Cross-modal Embeddings
Wuhan University of Technology(武汉理工大学)
图像到视频人重新识别通过来自由非重叠相机捕获的大量行人视频的探测图像来识别目标人。尽管取得了很大的进展,它仍然是具有挑战性的多模态场景,即图像和视频之间的匹配。目前,最先进的方法主要集中在特定的任务数据,忽略了不同的,但相关的任务的额外信息。在本文中,我们提出了一个端到端的神经网络框架,用于图像到视频的人重新识别,通过利用从额外的信息学习的跨模态嵌入。具体地说,来自图像描述和视频描述模型的跨模态嵌入被重用,以帮助学习的特征被投影到一个协调的空间中,在那里可以直接计算相似度。此外,固定模型重用方法的训练步骤被集成到我们的框架中,它可以包含有益的信息,并最终使目标网络独立于现有的模型。除此之外,我们提出的框架采用CNN和LSTM来提取视觉和时空特征,并结合识别和验证模型的优势来提高学习特征的区分能力。实验结果表明,我们的框架在缩小异构数据之间的差距,并获得明显的改善,在图像到视频的人重新识别的有效性。
2018-10-22 cs.CV
SphereReID: Deep Hypersphere Manifold Embedding for Person Re-Identification
Zhejiang University(浙江大学)
当前成功的人物再识别(ReID)方法大多采用softmax损失函数对模型进行训练,对不同人物的图像进行分类,同时获得特征向量。然而,底层特征嵌入空间被忽略。在本文中,我们使用修改后的softmax函数,称为Sphere Softmax,来解决分类问题,并同时学习超球面流形嵌入。还介绍了一种平衡采样策略。最后,我们提出了一个名为SphereReID的卷积神经网络,它采用Sphere Softmax,并在四个具有挑战性的数据集上,包括Market-1501,DukeMTMC-reID,CHHK-03和CUHK-SYSU,使用新的预热学习率调度,端到端地训练单个模型。实验结果表明,这个单一的模型优于所有四个数据集上的最先进的方法,而无需微调或重新排名。例如,它在Market-1501上实现了94.4%的rank-1准确度,在DukeMTMC-reID上实现了83.9%的rank-1准确度。我们的模型的代码和训练权重将被发布。
2018-07-02 cs.CV
Diverse Embedding Expansion Network and Low-Light Cross-Modality Benchmark for Visible-Infrared Person Re-identification
Xiamen University(厦门大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
对于可见光-红外人再识别(VIReID)任务,主要挑战之一是可见光(VIS)和红外(IR)图像之间的模态间隙。然而,训练样本通常是有限的,而模态差距太大,这导致现有的方法不能有效地挖掘多样化的跨模态线索。为了解决这个问题,我们在嵌入空间中提出了一种新的增强网络,称为多样嵌入扩展网络(DEEN)。DEEN算法能够有效地生成不同的嵌入,以学习信息特征表示,并减少VIS和IR图像之间的模态差异。此外,VIReID模型可能会受到剧烈照明变化的严重影响,而所有现有的VIReID数据集都是在没有显著光线变化的情况下在足够的照明下捕获的。因此,我们提供了一个低光交叉模态(LLCM)数据集,其中包含由9个RGB/IR相机捕获的1,064个身份的46,767个边界框。在SYSU-MM 01、RegDB和LLCM数据集上的大量实验表明,所提出的DEEN方法优于其他几种最先进的方法。代码和数据集发布于:https://github.com/ZYK100/LLCM
2023-03-25 cs.CV
ID-aware Quality for Set-based Person Re-identification
Queen’s University Belfast(贝尔法斯特女王大学);Anyvision Research Team(Anyvision研究团队)
基于集合的人再识别(SReID)是一个匹配问题,旨在验证两个集合是否具有相同的身份(ID)。现有的SReID模型通常会为每个图像生成一个特征表示,并将它们聚合起来,将集合表示为单个嵌入。然而,它们很容易受到噪声的干扰-感知/语义上的低质量图像-这是不可避免的,由于不完善的跟踪/检测系统,或过拟合平凡的图像。在这项工作中,我们提出了一个新的和简单的解决方案,这个问题的基础上的ID感知质量,衡量感知和语义质量的图像引导其ID信息。具体来说,我们提出了一个ID感知嵌入,包括两个关键组成部分:(1)特征学习注意力,旨在学习强大的图像嵌入集中在“中等”硬图像。这种方法可以防止对平凡图像的过拟合,并减轻离群值的影响。(2)特征融合注意的是将集合中的图像嵌入进行融合,得到集合级的嵌入。它忽略了噪声信息,更多地关注有区别的图像,以聚集更多的区别信息。在四个数据集上的实验结果表明,尽管我们的方法很简单,但我们的方法优于最先进的方法。
2019-11-20 cs.CV cs.LG eess.IV
Learning landmark guided embeddings for animal re-identification
Queensland University of Technology(昆士兰科技大学);The University of Queensland(昆士兰大学)
由于不同个体之间的身体标记的细微变化以及对野生动物的姿势没有限制,图像中个体动物的重新识别可能是模糊的。人员重新识别是一项类似的任务,并且已经使用深度卷积神经网络(CNN)来处理它,该深度卷积神经网络学习用于人的图像的区别性嵌入。然而,学习个体动物的区别特征比人的外表更具挑战性,因为与人的身份的标记数据集相比,生态数据集的大小相对较小。我们建议通过明确利用身体标志信息来改进嵌入学习。身体标志被提供给CNN的输入,作为可以从单独的身体标志预测器获得的置信热图。鼓励模型通过学习重建输入热图的辅助任务来使用热图。身体标志引导特征提取网络学习独特图案的表示及其在身体上的位置。我们评估所提出的方法在一个大的合成数据集和一个小的真实数据集。我们的方法在合成和真实数据集上分别比没有身体标志输入的相同模型高出26%和18%。该方法对输入坐标中的噪声具有鲁棒性,并且可以容忍高达图像大小的10%的坐标误差。
2020-01-09 cs.CV
Adaptive Deep Metric Embeddings for Person Re-Identification under Occlusions
Xiamen University(厦门大学);Xiamen University of Technology(厦门理工学院)
遮挡情况下的人员重新识别是视频监控中的一个难题。现有的人的ReID方法大多利用局部特征来处理遮挡。然而,这些方法通常独立地从图像的局部区域提取特征,而不考虑不同局部区域之间的关系。在本文中,我们提出了一种新的人的ReID方法,学习局部区域之间的空间依赖关系,并提取基于长短期记忆(LSTM)的行人图像的判别特征表示,处理遮挡问题。特别是,我们提出了一种新的损失(称为自适应最近邻损失)的分类不确定性的基础上,有效地减少类内的变化,同时扩大类间差异的自适应邻域内的样本。所提出的损失使得深度神经网络能够自适应地学习判别度量嵌入,这显著提高了识别看不见的人身份的泛化能力。在具有挑战性的人ReID数据集上进行的广泛比较评估表明,与几种最先进的方法相比,所提出的方法的性能得到了显着改善。
2020-02-07 cs.CV
Homocentric Hypersphere Feature Embedding for Person Re-identification
The Hong Kong Polytechnic University(香港理工大学);Alibaba DAMO Academy(阿里巴巴达摩院)
由于摄像机视角、光照、分辨率和人体姿势的变化很大,人员重新识别(Person ReID)是一项具有挑战性的任务。近年来,随着深度学习技术的发展,Person ReID的性能得到了迅速提高。特征提取和特征匹配是Person ReID训练和部署阶段的两个关键组件。然而,许多现有的Person ReID方法在训练阶段和部署阶段之间存在度量不一致性,并且在特征表示中耦合了特征向量的大小和方向信息。同时,传统的三元组丢失方法只关注小批量样本,缺乏对全局特征分布的了解。为了解决这些问题,我们提出了一种新的同心超球面嵌入方案,解耦的幅度和方向信息的特征和权重向量,并重新制定分类损失和三重损失的角度版本,并将它们组合成一个角度的歧视性损失。我们在广泛使用的Person ReID基准上广泛评估了我们提出的方法,包括Market 1501,CUHK 03和DukeMTMC-ReID。我们的方法在所有数据集上都表现出领先的性能。
2018-05-01 cs.CV
Pose Invariant Embedding for Deep Person Re-identification
University of Technology Sydney(悉尼科技大学);CMU(卡内基梅隆大学);Dalian University of Technology(大连理工大学)
行人失准是一个鲁棒的行人身份识别系统的关键问题,主要由检测器误差和姿态变化引起。在对齐不良的情况下,背景噪声将显著损害特征学习和匹配过程。为了解决这个问题,本文引入了姿态不变嵌入(PIE)作为行人描述符。首先,为了将行人与标准姿势对齐,引入了PoseBox结构,该结构是通过姿势估计和仿射变换生成的。其次,为了减少姿势估计误差和PoseBox构建过程中信息丢失的影响,我们设计了一种PoseBox融合(PBF)CNN架构,该架构将原始图像、PoseBox和姿势估计置信度作为输入。因此,建议的PIE描述符被定义为检索任务的PBF网络的全连接层。在Market-1501、CUHK 03和VIPeR数据集上进行了实验。我们表明,PoseBox单独产生体面的re-ID准确性,当集成在PBF网络,学习PIE描述符产生竞争力的性能相比,国家的最先进的方法。
2017-01-26 cs.CV
DC-Former: Diverse and Compact Transformer for Person Re-Identification
Ant Group(蚂蚁集团)
在人员再识别(re-ID)任务中,由于数据有限,通过深度学习来学习区分表示仍然是具有挑战性的。一般来说,当数据量增加时,模型会获得更好的性能。相似类的加入增强了分类器识别相似身份的能力,从而提高了表征的区分度。在本文中,我们提出了一个多样的和紧凑的Transformer(DC-Former),可以实现类似的效果,通过分裂嵌入空间成多个多样的和紧凑的子空间。紧凑的嵌入子空间有助于模型学习更鲁棒和有区别的嵌入,以识别相似的类。通过融合这些包含更多细粒度信息的不同嵌入,可以进一步提高re-ID的效果。具体而言,在视觉Transformer中使用多个类标记来表示多个嵌入空间。然后,一个自多样性约束(SDC)被施加到这些空间,推动他们远离彼此,这使得每个嵌入空间多样和紧凑。此外,还设计了动态权重控制器(DWC),用于在训练过程中平衡它们之间的相对重要性。我们的方法的实验结果是有希望的,这超过了以前的国家的最先进的方法在几个常用的人重新ID基准。
2023-02-28 cs.CV
Categorical Keypoint Positional Embedding for Robust Animal Re-Identification
Australian Institution for Machine Learning(澳大利亚机器学习研究所);The University of Adelaide(阿德莱德大学)
针对动物 ReID 中姿态、环境和跨物种迁移难题,提出基于扩散模型的单样本关键点传播机制,并以 KPE 与 CKPE 增强 ViT,在四个野生动物数据集上超越现有方法。
2024-12-01 cs.CV
Deep Feature Learning via Structured Graph Laplacian Embedding for Person Re-Identification
Beijing Etrol Technologies Co., Ltd(北京安控科技股份有限公司);Carnegie Mellon University(卡内基梅隆大学)
学习样本对之间的距离度量对于视觉识别,特别是对于人的再识别(Re-Id)具有重要意义。最近,对比度和三重丢失被提出来增强深度学习特征的区分能力,并取得了显着的成功。可以看出,对比度或三重丢失只是这些训练样本之间的欧几里得距离关系的一种特殊情况。因此,我们提出了一个结构化图拉普拉斯嵌入算法,它可以将所有这些结构化的距离关系表示成图拉普拉斯形式。该方法可以充分利用训练样本之间的结构化距离关系,并构造出完备图。此外,这种提法使我们的方法易于实现和超级有效。当将所提出的算法与softmax损失嵌入CNN训练时,我们的方法可以获得更强大和更有区分力的深度特征,具有个人间分散性和个人内紧凑性,这对人的Re-Id至关重要。我们在最近四个广泛使用的Re-Id基准数据集上,在三个流行的网络,即AlexNet,DGDNet和ResNet 50上说明了我们提出的方法的有效性。我们提出的方法实现了最先进的性能。
2017-07-25 cs.CV
Deep Adaptive Feature Embedding with Local Sample Distributions for Person Re-identification
The University of Queensland(昆士兰大学);The University of New South Wales(新南威尔士大学);The University of Sydney(悉尼大学)
人的重新识别(re-id)的目的是匹配不相交的摄像机视图观察到的行人。由于它在监控系统中的重要性,在计算机视觉中受到越来越多的关注。为了应对跨视图视觉变化的主要挑战,提出了深度嵌入方法,通过从图像中学习一个紧凑的特征空间,使得欧几里得距离对应于它们的跨视图相似性度量。然而,全球欧几里德距离不能忠实地描述理想的相似性,在一个复杂的视觉特征空间,因为行人图像的功能表现出未知的分布,由于大的变化,姿态,照明和闭塞。此外,局部范围内的个人内部训练样本是鲁棒的,可以引导深度嵌入对抗不受控制的变化,然而,这无法通过全局欧几里得距离来捕获。在本文中,我们研究了人re-id的问题,提出了一种新的采样挖掘合适的\textit{positives}(即类内)在局部范围内,以提高在大类内变化的背景下的深度嵌入。我们的方法是能够学习一个深的相似性度量自适应局部样本结构,通过最小化每个样本的局部距离,同时通过样本之间的关系传播,以达到整个类内最小化。为此,提出了一种新的目标函数,以联合优化相似性度量学习,局部正挖掘和鲁棒深度嵌入。这通过选择局部范围的正样本来产生局部区分,并且学习的特征对剧烈的类内变化是鲁棒的。基准测试的实验表明,我们的方法取得了最先进的结果。
2017-09-07 cs.CV
Joint Discriminative and Metric Embedding Learning for Person Re-Identification
West Virginia University(西弗吉尼亚大学);University of Misan(米桑大学)
人的重新识别是一项具有挑战性的任务,因为高的类内方差引起的不受限制的滋扰因素的变化,如姿势,照明,视点,背景和传感器噪声。最近的方法假设,功能强大的架构有能力学习的特征表示不变的滋扰因素,通过训练他们的损失,最大限度地减少类内方差和最大限度地提高类间分离,没有明确建模滋扰因素。主要的方法要么使用带有余量的判别损失,如带有附加角余量的softmax损失,要么使用度量学习损失,如带有批量硬挖掘三元组的三元组损失。由于softmax强制了特征归一化,因此它限制了监督特征嵌入的梯度流。我们通过加入损失并利用三重损失作为缺失梯度的代理来解决这个问题。我们通过增加预测属性的判别任务,进一步提高了对滋扰因素的不变性。我们广泛的评估强调,当只学习整体表示时,我们在三个最具挑战性的数据集上始终优于最先进的技术。这样的表示更容易在实际系统中部署。最后,我们发现加入损耗消除了在softmax损耗中具有裕度的要求,同时提高了性能。
2022-12-28 cs.CV
DEX: Domain Embedding Expansion for Generalized Person Re-identification
近年来,有监督的人员重新识别(Person ReID)方法表现出了优异的性能。然而,当这些方法应用于来自不同相机网络的输入时,它们通常会遭受显著的性能下降。不同于大多数领域自适应(DA)方法解决这个问题,我们专注于开发一个领域泛化(DG)的人ReID模型,可以部署没有额外的微调或适应。在本文中,我们提出了域嵌入扩展(DEX)模块。DEX在训练过程中基于人和领域标签动态地操作和增强深度特征,显著提高了Person ReID模型对未知领域的泛化能力和鲁棒性。我们还开发了一个轻量级版本的DEX(DEXLite),应用负采样技术来扩展到更大的数据集,并减少多分支网络的内存使用。我们提出的DEX和DEXLite可以以即插即用的方式与许多现有的方法,Bag-of-Tricks(BagTricks),Multi-Granularity Network(MGN)和Part-Based Convolutional Baseline(PCB)相结合。使用DEX和DEXLite,现有的方法在其他看不见的数据集上进行测试时可以获得显着的改进,从而证明了我们方法的普遍适用性。我们的解决方案在所有大规模基准测试以及大多数小规模基准测试中都优于最先进的DG Person ReID方法。
2021-10-21 cs.CV
Parsing-based View-aware Embedding Network for Vehicle Re-Identification
University of Chinese Academy of Sciences(中国科学院大学);Megvii Inc(旷视科技);University of Science and Technology of China(中国科学技术大学);Peng Cheng Laboratory(鹏城实验室);Institute of Microelectronics, Chinese Academy of Sciences(中国科学院微电子研究所)
车辆重新识别是在交叉摄像机场景中从不同视图中找到同一车辆的图像。该任务的主要挑战是由不同视图引起的较大实例内距离和由相似车辆引起的细微实例间差异。在本文中,我们提出了一种基于解析的视图感知嵌入网络(PVEN),以实现车辆ReID的视图感知特征对齐和增强。首先,我们引入一个解析网络来解析一辆车到四个不同的视图,然后对齐的功能,掩码平均池。这种对齐提供了车辆的细粒度表示。其次,为了增强视图感知特征,设计了一种共同可见注意力机制,将注意力集中在共同可见视图上,不仅缩短了实例间的距离,而且扩大了实例间的差异。PVEN有助于在不同视角下捕获稳定的车辆判别信息。在三个数据集上进行的实验表明,我们的模型在很大程度上优于最先进的方法。
2020-04-10 cs.CV
Exploring Shape Embedding for Cloth-Changing Person Re-Identification via 2D-3D Correspondences
Zhejiang University(浙江大学)
本文提出连续表面对应学习(CSCL),通过像素到顶点分类建立2D图像与3D人体表面的对应关系以学习形状嵌入,并构建首个大规模换衣重识别数据集DP3D,有效提升了换衣行人重识别性能。
2023-10-27 cs.CV
A Pose-Sensitive Embedding for Person Re-Identification with Expanded Cross Neighborhood Re-Ranking
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
人的重新识别是一个具有挑战性的检索任务,需要匹配一个人的采集图像在非重叠的相机视图。在本文中,我们提出了一种有效的方法,结合了精细和粗糙的姿态信息的人来学习一个有区别的嵌入。与最近明确建模身体部位或基于这些校正未对准的方向相反,我们表明,将采集的相机视图和/或检测到的关节位置直接包含到卷积神经网络中有助于学习非常有效的表示。为了提高检索性能,基于计算距离的重排序技术最近得到了广泛的关注。我们提出了一个新的无监督和自动重新排名的框架,实现国家的最先进的重新排名的性能。我们表明,与当前最先进的重新排名方法相比,我们的方法不需要为每个图像对计算新的排名列表(例如,基于互逆邻居),并且通过使用简单的基于直接等级列表的比较或者甚至通过仅使用图像之间已经计算的欧几里德距离来执行良好。我们表明,我们的学习表示和我们的重新排名方法在一些具有挑战性的监控图像和视频数据集上实现了最先进的性能。该代码可在以下网址获得:https://github.com/pse-ecn/pose-sensitive-embedding
2018-04-02 cs.CV
CMTR: Cross-modality Transformer for Visible-infrared Person Re-identification
School of Computer and Information Technology, Beijing Jiaotong University(北京交通大学计算机与信息技术学院);JD AI Research(京东人工智能研究院)
针对可见光-红外跨模态行人重识别任务,提出首个基于Transformer的CMTR方法,通过设计模态嵌入融合token信息并提出模态感知增强损失,显著提升了跨模态特征判别力,性能超越现有CNN方法。
2021-10-18 cs.CV
Devil's in the Details: Aligning Visual Clues for Conditional Embedding in Person Re-Identification
Tencent Youtu Lab(腾讯优图实验室);Sun Yat-sen University(中山大学);Huazhong University of Science and Technology(华中科技大学);Southern University of Science and Technology(南方科技大学)
虽然身份识别技术取得了长足的进步,但遮挡、视角变化、服装相似等疑难案件的识别仍然面临着巨大的挑战。除了整体视觉特征外,匹配和比较详细信息对于应对这些挑战也至关重要。本文提出了两个关键的识别模式,以更好地利用行人图像的细节信息,大多数现有的方法无法满足。首先,视觉线索对齐要求模型从两幅图像中选择并对齐决定性的区域对进行成对比较,而现有方法仅根据预定义的规则(如高特征相似性或相同的语义标签)对齐区域。其次,条件特征嵌入要求查询图像的整体特征根据其匹配的图库图像进行动态调整,而现有的大多数方法忽略了参考图像。通过引入新的技术,包括对应注意模块和基于差异的GCN,我们提出了一种端到端的ReID方法,将这两种模式集成到一个统一的框架中,称为CACE-Net((C)lue(A)lignation和(C)online(E)mbedding)。实验表明,CACE-Net在三个公共数据集上实现了最先进的性能。
2020-12-07 cs.CV
Colo-ReID: Discriminative Representation Embedding with Meta-learning for Colonoscopic Polyp Re-Identification
School of Biomedical Engineering, Shanghai Jiao Tong University(生物医学工程学院,上海交通大学);Endoscopy Center, Zhongshan Hospital of Fudan University(复旦大学中山医院内窥镜中心)
Colo-ReID通过元学习策略提升结肠镜息肉重识别性能,有效解决领域差距和自差异性问题。
2025-11-21 cs.CV
A Quantitative Evaluation of the Expressivity of BMI, Pose and Gender in Body Embeddings for Recognition and Identification
Johns Hopkins University(约翰霍普金斯大学)
本文通过互信息框架定量评估ReID模型中BMI、姿态和性别的表达力,发现BMI在最终层和注意力层中影响最大,揭示了身体属性在行人重识别中的主导作用。
2025-05-07 cs.CV
Embedding and Enriching Explicit Semantics for Visible-Infrared Person Re-Identification
针对可见-红外行人重识别现有方法缺乏高层语义感知的问题,提出EEES框架,通过显式语义嵌入、跨视角语义补偿和跨模态语义纯化三个模块,学习语义丰富的跨模态行人表示,实验验证了其有效性与优越性。
2024-12-11 cs.CV
Learning Robust Visual-Semantic Embedding for Generalizable Person Re-identification
Shanghai Jiao Tong University(上海交通大学)
本文提出多模态等效Transformer(MMET)和掩码多模态建模策略(MMM),通过联合学习视觉与语义特征并动态掩码图像块和文本标记,提升可泛化行人重识别的跨域泛化能力。
2023-04-19 cs.CV
Learning Embeddings with Centroid Triplet Loss for Object Identification in Robotic Grasping
TU Dortmund(多特蒙德大学);University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所);Fraunhofer IML(弗劳恩霍夫物流研究所)
本文提出质心三元组损失 CTL,用于训练输入尺寸灵活、支持多查询多图库的物体识别嵌入模型,并在 ArmBench 上达到新最优,在 HOPE 中实现可比或超越专用方法的未见物体检测。
2024-07-08 cs.CV
Dissecting Human Body Representations in Deep Networks Trained for Person Identification
School of Behavioral and Brain Science, The University of Texas at Dallas(德克萨斯大学达拉斯分校行为与脑科学学院)
本文首次系统分析了长期身份识别网络的人体嵌入,发现其编码人脸、性别和视角信息,并可通过PCA降维提升识别精度,无需额外训练。
2025-02-21 cs.CV
Multi-Domain Biometric Recognition using Body Embeddings
University of Maryland(马里兰大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文针对跨红外光谱人员识别,基于IJB-MDF多域数据集和vision transformer验证身体嵌入优于面部嵌入,并给出小样本训练洞见与LLCM上的SOTA mAP。
2025-03-13 cs.CV
Bi-directional Exponential Angular Triplet Loss for RGB-Infrared Person Re-Identification
Peking University(北京大学);Pengcheng Laboratory(鹏城实验室)
红外人脸识别是一个跨模态匹配问题,其中模态差异是一个很大的挑战。现有的大多数作品使用基于欧几里德度量的约束来解决来自不同模态的图像的特征之间的差异。然而,这些方法不能学习角度判别特征嵌入,因为欧几里得距离不能有效地测量嵌入向量之间的夹角。由于角度判别特征空间对于基于嵌入向量的人体图像分类至关重要,本文提出了一种新的排序损失函数,即双向指数角度三重损失函数,通过明确约束嵌入向量之间的夹角来帮助学习角度可分离的公共特征空间.此外,为了帮助稳定和学习嵌入向量的大小,我们采用了公共空间批量归一化层。在SYSU-MM 01和RegDB数据集上的定量和定性实验支持了我们的分析。在SYSU-MM 01数据集上,与基线相比,1级准确度/ mAP的性能从7.40% / 11.46%提高到38.57% / 38.61%。所提出的方法可以推广到单模态Re-ID的任务,并将Market-1501数据集上的rank-1准确率/ mAP从92.0% / 81.7%提高到94.7% / 86.6%,DukeMTMC-reID数据集上的rank-1准确率/mAP从82.6% / 70.6%提高到87.6% / 77.1%。代码:https://github.com/prismformore/expAT
2020-12-29 cs.CV