CLASP: Continual Low-rank Adapters for Spatially Placed Concepts from One Hypernetwork
Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）；IDEAS Research Institute（IDEAS研究所）；Jagiellonian University（雅盖隆大学）；AKCES NCBR；Tooploox
提出CLASP，用单一固定超网络持续个性化扩散模型，无需重放，参数占用不随概念数增长，并集成空间控制，实验证明保留旧概念且空间定位可靠。
2026-10-02 cs.CV
Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization
可控人物图像生成的目标是生成具有所需属性（如给定姿势、布料纹理或发型）的逼真人物图像。然而，源图像和目标图像之间的大的空间未对准使得标准的图像到图像转换架构不适合于该任务。大多数最先进的方法专注于全局姿态转移任务的对齐。然而，它们无法处理特定区域的纹理转移任务，特别是对于具有复杂纹理的人物图像。为了解决这个问题，我们提出了一种新的空间自适应扭曲归一化（SAWN），它集成了一个学习的流场扭曲调制参数。它使我们能够有效地调整人的空间自适应风格与姿势特征。此外，我们提出了一种新的自训练部分替换（STPR）策略来细化纹理转移任务的模型，提高了生成的衣服的质量和非目标区域的保留能力。我们在广泛使用的DeepFashion数据集上的实验结果表明，与姿势转移和纹理转移任务的最新方法相比，所提出的方法有了显着的改进。该代码可在https://github.com/zhangqianhui/Sawn上获得。
2023-01-10 cs.CV cs.GR
Soft-Gated Warping-GAN for Pose-Guided Person Image Synthesis
Sun Yat-sen University（中山大学）；South China Normal University（华南师范大学）
尽管图像合成研究取得了显着的进步，现有的作品往往无法在大的几何变换的背景下操纵图像。以任意姿势为条件的合成人物图像是最具代表性的例子之一，其中生成质量在很大程度上依赖于识别和建模不同身体部位上的任意变换的能力。当前的生成模型通常建立在局部卷积的基础上，并且忽略了由任意姿势操作引起的每个部件发生不同几何变化时的关键挑战（例如严重遮挡，不同视图或戏剧性外观变化）。本文旨在通过一种新的软门控Warping生成对抗网络来解决这些由几何变化和空间位移引起的挑战（Warping-GAN），其由两个阶段组成：1）它首先合成给定目标姿态的目标部分分割图，其描绘了用于指导具有更高级别结构约束的图像合成的区域级空间布局; 2）配备有软门控warping-block的Warping-GAN学习特征级映射，以将原始图像的纹理渲染到生成的分割图中。Warping-GAN能够在给定不同目标姿态的情况下控制不同的变换程度。此外，所提出的warping-block是重量轻，灵活，足以注入到任何网络。人类感知研究和定量评估表明，我们的Warping-GAN在两个大型数据集上的性能明显优于所有现有方法。
2019-01-11 cs.CV
DAP: A Dynamic Adversarial Patch for Evading Person Detectors
New York University (NYU) Abu Dhabi（纽约大学阿布扎比分校）；NYU Tandon School of Engineering（纽约大学坦登工程学院）；Queen’s University Belfast（贝尔法斯特女王大学）
本文提出动态对抗补丁（DAP），通过直接修改像素值并引入褶皱变换模块，生成兼具隐蔽性与鲁棒性的对抗补丁，在数字和物理世界中针对YOLO检测器均取得高攻击成功率。
2023-11-20 cs.CR cs.CV
Two-Stream Appearance Transfer Network for Person Image Generation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Purdue University（普渡大学）
姿势引导人物图像生成装置，用于以输入人物图像和期望姿势为条件来生成照片真实感人物图像。该任务需要根据目标姿态对源图像进行空间操纵。然而，广泛用于图像生成和翻译的生成对抗网络（GANs）依赖于空间局部和翻译等变算子，即，卷积、池化和解池化，无法处理大的图像变形。本文介绍了一种新的双流外观传输网络（2s-ATN），以应对这一挑战。它是一个多级体系结构，由源流和目标流组成。每一级都有一个外观转换模块和多个双流特征融合模块。前者先找到两个流特征图之间的密集对应关系，然后将表观信息从源流传递到目标流。后者在两个流之间交换本地信息，并补充非本地外观传输。定量和定性的实验结果表明，该算法能够有效地处理大的空间变形和遮挡，同时保持图像的外观细节。它在两个广泛使用的基准测试中优于现有技术。
2020-11-09 cs.CV
Combining Attention with Flow for Person Image Synthesis
Peking University（北京大学）；Tencent America（腾讯美国）
姿态引导的人物图像合成旨在通过将参考图像转换为目标姿态来合成人物图像。在本文中，我们观察到，常用的空间变换块具有互补的优势。我们提出了一种新的模型，结合了注意力操作和基于流的操作。我们的模型不仅利用注意力操作来生成准确的目标结构，而且还使用基于流的操作来采样真实的源纹理。客观和主观实验都证明了该模型的优越性。同时，全面的消融研究验证了我们的假设，并显示了所提出的模块的有效性。此外，在人像图像编辑任务上的额外实验证明了所提出的组合的通用性。
2021-08-04 cs.CV
Towards Scalable Unpaired Virtual Try-On via Patch-Routed Spatially-Adaptive GAN
Shenzhen Campus of Sun Yat-Sen University（中山大学深圳校区）；UiT The Arctic University of Norway（挪威北极大学）；Peng Cheng Laboratory（鹏城实验室）
基于图像的虚拟试穿是以人为中心的图像生成的最有前途的应用之一，由于其巨大的现实世界的潜力。然而，由于大多数试穿方法都是将店内服装适合目标人物，因此它们需要费力且限制性地构建成对的训练数据集，严重限制了它们的可扩展性。虽然最近的一些作品试图将服装直接从一个人转移到另一个人身上，减轻了收集配对数据集的需要，但它们的性能受到缺乏配对（监督）信息的影响。特别是，解开服装的风格和空间信息成为一个挑战，现有的方法要么通过需要辅助数据或广泛的在线优化程序来解决，从而仍然抑制其可扩展性。为了实现一个\emph{scalable}虚拟试穿系统，可以在一个源和一个目标之间的任意服装在无人监督的方式，因此，我们提出了一个纹理保留的端到端网络，佩奇路由空间自适应GAN（PASTA-GAN），这有助于现实世界的不成对虚拟试穿。具体来说，为了解开每件衣服的风格和空间信息，PASTA-GAN包括一个创新的补丁路由解缠模块，成功地保留服装的纹理和形状特征。在源人物关键点的引导下，贴片路由解纠缠模块首先将服装拼接成归一化贴片，从而消除服装的固有空间信息，然后将归一化贴片重构为符合目标人物姿态的翘曲服装。鉴于扭曲的服装，PASTA-GAN进一步引入了新的空间自适应残差块，指导生成器合成更逼真的服装细节。
2021-11-20 cs.CV
PISE: Person Image Synthesis and Editing with Decoupled GAN
Tianjin University（天津大学）；Cardiff University（卡迪夫大学）
人物图像合成，例如，由于大的变化和遮挡，姿态转移是一个具有挑战性的问题。现有的方法难以预测合理的不可见区域，并且不能将服装的形状和风格解耦，这限制了它们在人物图像编辑中的应用。在本文中，我们提出了PISE，一种新的两阶段生成模型的人的图像合成和编辑，这是能够生成逼真的人的图像所需的姿势，纹理，或语义布局。对于人体姿态转换，我们首先合成一个人体解析图对齐的目标姿态表示服装的形状由解析生成器，然后生成最终的图像由图像生成器。为了解耦服装的形状和风格，我们提出了联合全局和局部每个区域的编码和规范化预测的合理风格的服装不可见区域。我们还提出了空间感知的归一化，以保留源图像中的空间上下文关系。定性和定量的实验结果表明，我们的模型在人体姿态转移的优越性。此外，纹理转移和区域编辑的结果表明，该模型可以应用于人的图像编辑。
2021-03-31 cs.CV
Resolution-invariant Person ReID Based on Feature Transformation and Self-weighted Attention
University of Technology Sydney（悉尼科技大学）
人物再识别是计算机视觉的一项重要任务，其目标是对图像或视频序列中的同一人物进行匹配。目前的大多数作品都集中在图像分辨率保持不变的设置上。然而，分辨率是个人ReID的关键因素，特别是当相机与人的距离不同或相机的型号彼此不同时。在本文中，我们提出了一种新的双流网络与轻量级的分辨率关联ReID特征变换（RAFT）模块和自加权注意力（SWA）ReID模块来评估不同分辨率下的功能。RAFT将低分辨率特征变换为对应的高分辨率特征。SWA评估这两个特征以获得ReID人员的权重因子。这两个模块联合训练以获得分辨率不变的表示。在五个基准数据集上的实验表明了该方法的有效性。例如，我们在CAVIAR和MLR-CUHK 03上实现了43.3%和83.2%的Rank-1准确率，优于最先进的水平。
2021-01-18 cs.CV
Spectral Feature Transformation for Person Re-identification
University of Chinese Academy of Sciences（中国科学院大学）；Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；TuSimple（图森未来）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）
随着深度学习技术的兴起，近年来，人的重新识别领域取得了快速发展。基于深度学习的方法专注于学习特征空间，其中样本根据其对应的身份被复杂地聚类。大多数现有的方法依赖于强大的CNN来单独转换样本。相反，我们建议在转换中考虑样本关系。为了实现这一目标，我们将谱聚类技术融入到CNN中。我们推导了一个新的模块，命名为光谱特征变换，并无缝集成到现有的CNN管道，可以忽略不计的成本，这使得我们的方法享受最好的两个世界。实证研究表明，所提出的方法优于以前的国家的最先进的方法在四个公共基准相当大的保证金没有花里胡哨。
2018-11-28 cs.CV
MyTimeMachine: Personalized Facial Age Transformation
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；University of Maryland（马里兰大学）
提出MyTimeMachine方法，结合全局衰老先验与个人照片集（少至50张图像），通过Adapter Network和三个损失函数实现个性化年龄转换，并扩展至视频，生成高质量、身份一致且时间连贯的衰老效果。
2025-08-13 cs.CV
A Video Is Worth Three Views: Trigeminal Transformers for Video-based Person Re-identification
Dalian University of Technology（大连理工大学）；Ningbo Institute, Dalian University of Technology（大连理工大学宁波研究院）；China Science IntelliCloud Technology Co.Ltd（中科智云科技有限公司）；Remark Holdings
基于视频的人物再识别（Re-ID）旨在检索非重叠摄像机下的同一个人的视频序列。以往的方法通常集中在有限的视图，如空间，时间或时空视图，缺乏在不同的特征域的观察。为了获取更丰富的感知信息并提取更全面的视频表征，本文提出了一种新的基于视频的人物身份识别框架--三叉Transformers（TMT）。更具体地说，我们设计了一个三叉特征提取器，将原始视频数据联合变换到空间、时间和时空域。此外，受视觉变换器Transformer的巨大成功的启发，本文提出了一种用于视频人Re-ID的Transformer结构。在我们的工作中，我们提出了三种自视图变换器，利用局部特征之间的关系在空间域、时间域和时空域进行信息增强。此外，一个跨视图Transformer提出了聚合的多视图功能，全面的视频表示。实验结果表明，我们的方法可以实现更好的性能比其他国家的最先进的方法在公共Re-ID基准。我们将发布模型复制的代码。
2021-04-05 cs.AI cs.CV
Video-based Person Re-identification with Spatial and Temporal Memory Networks
Yonsei University（延世大学）
基于视频的人物重新识别（reID）旨在跨多个摄像机检索与查询人物具有相同身份的人物视频。人物视频中的空间和时间干扰因素，例如背景杂波和帧上的部分遮挡，分别使这项任务比基于图像的人物reID更具挑战性。我们观察到，空间干扰始终出现在一个特定的位置，和时间干扰显示几种模式，例如，部分遮挡发生在最初的几个帧中，其中这样的模式提供用于预测要聚焦在哪些帧上的信息线索（即，时间的关注）。在此基础上，我们介绍了一种新的时空记忆网络（STMN）。空间记忆存储在视频帧中频繁出现的空间干扰物的特征，而时间记忆保存针对人视频中的典型时间模式进行优化的注意力。我们利用空间和时间的记忆来细化帧级的人的表示和聚合到一个序列级的人的表示，分别有效地处理空间和时间干扰的人的视频的细化帧级的功能。我们还引入了一个内存扩散损失，防止我们的模型只在内存中处理特定的项目。标准基准测试，包括MARS，DukeMTMC-VideoReID，和LS-VID的实验结果，证明了我们的方法的有效性。
2021-08-20 cs.CV
A Spatial and Temporal Features Mixture Model with Body Parts for Video-based Person Re-Identification
Beijing Jiaotong University（北京交通大学）；Carnegie Mellon University（卡内基梅隆大学）
基于视频的人物再识别是在不同摄像机下对人物进行识别，是视觉监控系统中的一项关键任务。以往的方法主要针对帧中的全身特征。本文提出了一种基于卷积神经网络（CNN）和递归神经网络（RNN）的时空特征混合模型（STFMM），该模型将人体在水平方向上分割为$N$部分，从而获得更具体的特征。所提出的方法巧妙地整合了每个部分的功能，以实现更富有表现力的表示每个人。首先将视频序列分解为包含头部、腰部、腿部等信息的$N$部分序列，然后利用STFMM提取特征，STFMM的$2N$输入来自已开发的Siamese网络，并将这些特征组合成一个人的判别表示。在iLIDS-VID和PRID-2011数据集上进行了实验。结果表明，我们的方法优于现有的基于视频的人重新识别方法。它在iLIDS-VID数据集上实现了74%的rank-1 CMC准确度，超过了最近开发的方法ASTPN 12%。在交叉数据检验中，该方法的rank-1 CMC准确率达到48%，比ASTPN方法高出18%，表明该模型具有显著的稳定性.
2018-07-03 cs.AI cs.CV
SCPNet: Spatial-Channel Parallelism Network for Joint Holistic and Partial Person Re-Identification
Zhejiang University（浙江大学）；Megvii Inc. (Face++)（旷视科技（Face++））
在过去的几年里，整体人再识别（ReID）得到了广泛的研究，并取得了令人瞩目的进展。然而，在实际场景中，人经常被障碍物或其他人遮挡，这使得部分人重新识别不是微不足道的。在本文中，我们提出了一个空间通道并行网络（SCPNet），其中ReID特征中的每个通道都关注身体的给定空间部分。空间-通道对应关系监督网络学习用于整体和部分人重新识别的区分特征。在四个整体ReID数据集上训练的单个模型在这四个数据集上实现了具有竞争力的准确性，并且在两个未训练的部分ReID数据集上优于最先进的方法。
2018-10-16 cs.CV
Pose-Transformation and Radial Distance Clustering for Unsupervised Person Re-identification
Indian Institute of Science（印度科学学院）
提出一种无监督行人重识别方法，通过姿态变换数据增强和径向距离损失驱动的判别聚类，实现紧凑特征学习，在多个大规模数据集上超越现有方法。
2024-11-06 cs.CV
BIT: Matching-based Bi-directional Interaction Transformation Network for Visible-Infrared Person Re-Identification
本文提出BIT网络，通过显式建模可见与红外图像对的交互，解决VI-ReID中模态差异大和分布偏移的问题，实验表明其在重识别任务中表现优异。
2026-03-15 cs.CV
Deep Spatial Feature Reconstruction for Partial Person Re-identification: Alignment-Free Approach
University of Chinese Academy of Sciences（中国科学院大学）；CASIA（中国科学院自动化研究所）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）
部分人重新识别（re-id）是一个具有挑战性的问题，其中只有几个部分的观察（图像）的人可用于匹配。然而，很少有研究提供了灵活的解决方案，以确定一个人的图像中包含任意部分的身体。在本文中，我们提出了一种快速，准确的匹配方法来解决这个问题。所提出的方法利用全卷积网络（FCN）生成固定大小的空间特征图，使得像素级特征是一致的。为了匹配一对不同大小的人物图像，进一步开发了一种称为深度空间特征重建（DSR）的新方法，以避免显式对齐。具体来说，DSR利用流行的字典学习模型的重建误差来计算不同空间特征图之间的相似性。通过这种方式，我们期望所提出的FCN可以减少来自不同人的耦合图像的相似性，并增加来自同一个人的相似性。在两个部分人数据集上的实验结果表明，该方法的效率和有效性，与几个国家的最先进的部分人re-id方法相比。此外，DSR在基准人物数据集Market 1501上取得了具有竞争力的结果，具有83.58\%Rank-1的准确性。
2018-09-04 cs.CV
Spatial-Aware GAN for Unsupervised Person Re-identification
Alibaba DAMO Academy（阿里巴巴达摩院）；Nanyang Technological University（南洋理工大学）
近年来的人物再识别研究取得了很大的成功，通过学习大量的标记的人的图像。另一方面，当应用于在不同环境中收集的图像时，学习的模型通常会经历显著的性能下降。无监督的领域自适应（UDA）已经被研究以减轻该约束，但是大多数现有系统仅在像素级上对图像进行自适应而忽略空间级上的明显差异。本文提出了一种创新的基于UDA的人重新识别网络，能够同时在空间和像素级别上适应图像。设计了一种新的解纠缠周期一致性损失，以协作的方式指导空间级和像素级自适应的学习。此外，一个新的多模态机制，这是能够生成不同的几何视图的图像和增强训练图像有效地纳入。在大量公开数据集上的实验表明，与现有技术相比，所提出的UDA网络具有更好的人员重新识别性能。
2022-10-03 cs.CV
Video-based Person Re-identification Using Spatial-Temporal Attention Networks
Delhi Technological University（德里理工大学）；University of Manitoba（曼尼托巴大学）
我们考虑的问题，基于视频的人重新识别。目标是从不同摄像头拍摄的视频中识别一个人。在本文中，我们提出了一个有效的时空注意力为基础的模型，从视频中的人重新识别。我们的方法基于帧级特征为每个帧生成注意力分数。视频中所有帧的注意力分数用于产生输入视频的加权特征向量。与大多数使用全局表示的现有深度学习方法不同，我们的方法专注于注意力分数。在两个基准数据集上的大量实验表明，我们的方法达到了最先进的性能。这是一份技术报告。
2018-10-26 cs.CV
A Context-and-Spatial Aware Network for Multi-Person Pose Estimation
ByteDance AI Lab（字节跳动人工智能实验室）；Southeast University（东南大学）
多人姿态估计是计算机视觉中一个基本而又具有挑战性的任务。为了精确定位图像中所有人的关键点，需要丰富的上下文信息和空间信息。本文提出了一种新的上下文和空间感知网络（CSANet），它集成了上下文感知路径和空间感知路径，能够同时获取包含上下文信息和空间信息的有效特征。具体来说，我们设计了一个上下文感知路径结构监督策略和空间金字塔池策略，以提高上下文信息。同时，提出了一种空间感知路径来保持空间信息，缩短了信息从低层特征到高层特征的传播路径。在这两条路径之上，我们采用了Heavy Head Path来进一步有效地组合和增强功能。实验上，我们提出的网络在COCO关键点基准测试中的性能优于最先进的方法，这验证了我们方法的有效性，并进一步证实了上述命题。
2019-05-14 cs.CV
STNReID : Deep Convolutional Networks with Pairwise Spatial Transformer Networks for Partial Person Re-identification
Zhejiang University（浙江大学）；Beijing Research Institute of Megvii Inc（旷视科技北京研究院）
部分人重新识别（ReID）是一个具有挑战性的任务，因为只有部分信息的人的图像可用于匹配目标人。很少有研究，特别是关于深度学习的研究，专注于将部分人物图像与整体人物图像进行匹配。该研究提出了一种新的基于成对空间Transformer网络（STNReID）的深度部分ReID框架，该框架可以在现有的整体人数据集上进行训练。STNReID包括空间Transformer网络（STN）模块和ReID模块。仿射模块从整体图像中采样仿射图像（语义上对应的补丁）以匹配部分图像。ReID模块提取整体、部分和仿射图像的特征。在STNReID模块和ReID模块之间观察到竞争（或对抗），并且应用两阶段训练来获得部分ReID的强STNReID。实验结果表明，我们的STNReID在部分ReID和部分iLIDS数据集上分别获得了66.7%和54.6%的rank-1准确率。这些值与用最先进的方法获得的值相当。
2020-01-07 cs.CV
Efficient Multi-Person Motion Prediction by Lightweight Spatial and Temporal Interactions
Shandong University（山东大学）；Xi’an Jiaotong University（西安交通大学）；Peking University（北京大学）；Pazhou Laboratory (Huangpu)（黄埔实验室）
本研究提出一种计算高效的3D多人运动预测模型，通过轻量级双分支学习个体与多人表示，并结合跨层级交互模块与空间人际距离嵌入，在多个标准数据集上达到SOTA性能且大幅降低计算成本。
2025-07-13 cs.CV
Person Re-identification Based on Color Histogram and Spatial Configuration of Dominant Color Regions
KIM IL SUNG University（金日成大学）
需要确定是否已经通过视频监控系统中的摄像机网络观察到给定的感兴趣的人。由于光照、姿态和视点、摄像机参数的不同，在一个摄像机中获得的人的外观通常不同于在另一个摄像机中获得的人的外观。与基于外观的身份重新识别方法相关，提出了一种基于人体部位主色直方图和主色区域空间结构的身份重新识别方法。基于主色描述符（DCD）的主色直方图和主色区域的空间配置可以被认为对光照和姿态、视点变化具有鲁棒性。该方法使用基准视频数据集进行评估。使用累积匹配特征（CMC）曲线的实验结果表明，我们的方法的有效性的人重新识别。
2014-11-13 cs.CV
Spatial-Temporal Synergic Residual Learning for Video Person Re-Identification
Huazhong University of Science and Technology（华中科技大学）；IBM Research AI（IBM研究人工智能部）
本文研究了视频场景中的人物重新识别问题，这在许多应用中被视为一个关键的任务。同时，它是非常具有挑战性的，因为任务需要学习有效的表示，从视频序列与异构的时空信息。针对这一问题，我们提出了一种新的方法-时空协同残差网络（STSRN）。STSRN包含空间残差提取器、时间残差处理器和时空平滑模块。平滑器可以抑制样本噪声，从而使STSRN提取更鲁棒的连续帧的时空特征。在几个具有挑战性的数据集上进行了广泛的实验，包括iLIDS-VID，PRID 2011和MARS。结果表明，该方法实现了一贯优于大多数国家的最先进的方法的性能。
2018-07-16 cs.CV
Learning Instance-level Spatial-Temporal Patterns for Person Re-identification
JD AI Research（京东人工智能研究院）；CRIPAC NLPR, Institute of Automation Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室感知与计算研究中心）；University of Chinese Academy of Sciences（中国科学院大学）
人员重新识别（Re-ID）的目的是在不相交的摄像机下匹配行人。大多数Re-ID方法将其表述为视觉表示学习和图像搜索，因此其精度受搜索空间的影响很大。时空信息已被证明是有效的过滤无关的负样本，并显着提高Re-ID的准确性。然而，现有的时空人的Re-ID方法仍然是粗糙的，没有充分利用时空信息。在本文中，我们提出了一种新的实例级和时空解纠缠的Re-ID方法（InSTD），以提高Re-ID的准确性。在我们提出的框架中，个性化的信息，如移动方向被明确考虑，以进一步缩小搜索空间。此外，将时空转移概率从联合分布分解为边缘分布，从而也可以很好地对异常值进行建模。大量的实验分析表明了该方法的优越性，为进一步研究该方法提供了依据.所提出的方法在Market-1501上实现了90.8%的mAP，在DukeMTMC-reID上实现了89.1%的mAP，分别比基线提高了82.2%和72.7%。此外，为了提供一个更好的基准的人重新识别，我们发布了一个清洁的数据列表DukeMTMC-reID与本文：https://github.com/RenMin1991/cleaned-DukeMTMC-reID/
2021-07-31 cs.CV
Multi-Person Pose Estimation with Enhanced Channel-wise and Spatial Information
Southeast University（东南大学）；ByteDance AI Lab（字节跳动人工智能实验室）
多人姿态估计是计算机视觉中一个重要而又具有挑战性的问题。虽然目前的方法已经取得了显着的进展，通过融合的多尺度特征地图，他们很少注意到增强的通道和空间信息的特征地图。在本文中，我们提出了两个新的模块来执行多人姿态估计的信息的增强。首先，提出了一种通道混洗模块（CSM），对不同层次的特征图进行通道混洗操作，促进金字塔特征图之间的跨通道信息交流。其次，设计了一个空间、通道级注意力残差瓶颈（SCARB），通过注意力机制提升原始残差单元，自适应地突出空间和通道级特征图的信息。我们提出的模块的有效性进行了评估COCO关键点基准，实验结果表明，我们的方法达到了国家的最先进的结果。
2019-05-09 cs.CV
Multi-person Spatial Interaction in a Large Immersive Display Using Smartphones as Touchpads
在本文中，我们提出了一个大的沉浸式空间，支持同时屏幕交互的多用户交互界面相结合（1）通过个人智能手机和蓝牙麦克风的用户输入，（2）通过Kinect传感器的开销阵列的空间跟踪，和（3）WebSocket接口的网页上运行的大屏幕上。用户基于他们相对于屏幕的跟踪位置被自动地、动态地分配个人和共享屏幕子空间，并且使用他们的个人智能手机上的网页进行触摸板类型的输入。我们报告用户实验使用我们的交互框架，涉及图像选择和放置任务，实现显示墙环境的最终目标是可行的，交互式的自然多模态界面。
2019-11-26 cs.CV cs.HC
Learning Spatial Context with Graph Neural Network for Multi-Person Pose Grouping
National University of Singapore（新加坡国立大学）
基于图像的多人姿态估计的自底向上方法包括两个阶段：（1）关键点检测和（2）对检测到的关键点进行分组以形成人实例。目前的分组方法依赖于学习嵌入从视觉特征，完全忽略了人类姿势的空间配置。在这项工作中，我们将分组任务制定为图划分问题，其中我们使用图神经网络（GNN）学习亲和矩阵。更具体地说，我们设计了一个几何感知的关联GNN，它利用关键点的空间信息，并从全局上下文中学习局部亲和力。学习的基于几何的亲和度进一步与基于外观的亲和度融合，以实现鲁棒的关键点关联。谱聚类用于划分图以形成姿势实例。在两个基准数据集上的实验结果表明，该方法优于现有的仅外观分组框架，这表明了利用空间上下文进行鲁棒分组的有效性。源代码可在https://github.com/jiahaoLjh/PoseGrouping上获得。
2021-04-06 cs.CV
QueryPose: Sparse Multi-Person Pose Regression via Spatial-Aware Part-Level Query
BUPT（北京邮电大学）；ByteDance Inc.（字节跳动公司）；OPPO Research Institute（OPPO研究院）
我们提出了一个稀疏的端到端多人姿态回归框架，称为QueryPose，它可以直接从输入图像中预测多人关键点序列。现有的端到端方法依赖于密集表示来保留空间细节和结构，以实现精确的关键点定位。然而，密集范式在推理过程中引入了复杂和冗余的后处理。在我们的框架中，每个人的实例编码的几个可学习的空间感知的部分级查询与实例级查询。首先，我们提出了空间部分嵌入生成模块（SPEGM），认为当地的空间注意力机制，以产生几个空间敏感的部分嵌入，其中包含空间细节和结构信息，以提高部分级查询。其次，我们引入了选择性迭代模块（SIM），通过生成的空间敏感的部分嵌入自适应地更新稀疏的部分级查询逐步。基于这两个模块，部分级查询能够完全编码空间细节和结构信息，以实现精确的关键点回归。通过二分匹配，QueryPose避免了手工设计的后处理，并超越了现有的密集端到端方法，在MS COCO minival集上的AP为73.6，在CrowdPose测试集上的AP为72.7。代码可在https://github.com/buptxyb666/QueryPose上获得。
2022-12-15 cs.CV
Spatial and Temporal Mutual Promotion for Video-based Person Re-identification
University of Science and Technology of China（中国科学技术大学）；Purdue University（普渡大学）
基于视频的人物重新识别是一项关键的任务，匹配视频序列的人在多个摄像机视图。通常，直接从单个帧中提取的特征遭受遮挡、模糊、光照和姿态变化。这导致在某些区域中的错误激活或缺失激活，这破坏了外观和运动表示。如何发掘视频序列中丰富的时空信息是解决这一问题的关键。为此，我们提出了一个精炼递归单元（RRU），恢复丢失的部分，并通过参考历史帧抑制噪声部分的当前帧的功能。使用RRU，提高了每帧外观表示的质量。然后，我们使用时空线索集成模块（STIM）挖掘时空信息从这些升级的功能。同时，采用多层次训练目标提高了RRU和STIM的能力。通过这些模块的协作，时空特征相互促进，最终的时空特征表示更具鉴别力和鲁棒性。在三个具有挑战性的数据集上进行了广泛的实验，即，iLIDS-VID、PRID-2011和MARS。实验结果表明，我们的方法优于现有的国家的最先进的基于视频的人的重新识别方法的iLIDS-VID和MARS和PRID-2011取得了良好的效果。
2018-12-26 cs.CV
First Person Action-Object Detection with EgoNet
University of Pennsylvania（宾夕法尼亚大学）；University of Minnesota（明尼苏达大学）；UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
与传统的安装在机器人上的第三人称相机不同，第一人称相机从近距离捕捉人的视觉感觉运动对象交互。在本文中，我们研究了我们的瞬时视觉注意和运动动作与第一人称相机的对象之间的紧密相互作用。我们提出了一个动作对象的概念-捕捉人的有意识的视觉（看电视）或触觉（拿杯子）交互的对象。动作对象可以是任务相关的，但是由于许多任务共享共同的人-对象空间配置，动作对象相对于人表现出特征3D空间距离和取向。我们设计了一个预测模型，使用EgoNet检测动作对象，EgoNet是一个联合双流网络，它整体集成了视觉外观（RGB）和3D空间布局（深度和高度）线索，以预测动作对象的每像素可能性。我们的网络还集成了第一人称坐标嵌入，旨在学习第一人称数据中动作对象的空间分布。我们展示了EgoNet的预测能力，通过显示它始终优于以前的基线方法。此外，EgoNet还表现出很强的泛化能力，即，它预测新的第一人称数据集中语义上有意义的对象。我们的方法有效地检测动作对象的能力可以用来提高机器人对人与物体交互的理解。
2017-06-10 cs.CV
Spatial-Temporal Correlation and Topology Learning for Person Re-Identification in Videos
University of Science and Technology of China（中国科学技术大学）
基于视频的人重新识别的目的是匹配行人从视频序列跨非重叠的相机视图。视频人物再识别的关键是有效地利用视频序列中的空间和时间线索。在这项工作中，我们提出了一种新的时空相关性和拓扑学习框架（CTL），追求歧视性和鲁棒性表示建模跨尺度时空相关性。具体地说，CTL利用CNN骨干和关键点估计器从人体中提取多粒度的语义局部特征作为图节点。它探索了一种上下文增强的拓扑结构，通过考虑全局上下文信息和人体的物理连接来构建多尺度图。此外，设计了一个3D图卷积和跨尺度图卷积，这有利于直接跨时空和跨尺度的信息传播捕获层次时空依赖和结构信息。通过联合执行这两个卷积，CTL有效地挖掘与外观信息互补的综合线索，以增强表征能力。在两个视频基准上的大量实验证明了该方法的有效性和最先进的性能。
2021-04-15 cs.CV
Parameter-Free Spatial Attention Network for Person Re-Identification
Xidian University（西安电子科技大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）
全局平均池化（GAP）允许本地化识别信息[40]。虽然GAP有助于卷积神经网络关注对象的最具鉴别力的特征，但如果该信息丢失，例如由于相机视点变化，则可能会受到影响。为了规避这个问题，我们认为，这是有利的，参加到全球配置的对象，通过建模的空间关系之间的高层次功能。我们提出了一种新的架构的人重新识别，基于一种新的无参数的空间注意力层引入空间关系的特征图激活回模型。我们的空间注意力层持续提高了模型的性能。四个基准测试的结果表明，我们的模型优于最先进的模型，在Market-1501上实现了94.7%的rank-1准确率，在DukeMTMC-ReID上实现了89.0%，在CUHK 03-labeled上实现了74.9%，在CUHK 03-detected上实现了69.7%。
2018-11-29 cs.CV
STA: Spatial-Temporal Attention for Large-Scale Video-based Person Re-Identification
Nokia Bell Labs（诺基亚贝尔实验室）
在这项工作中，我们提出了一种新的时空注意力（STA）的方法来解决大规模的视频中的人重新识别任务。与大多数现有的方法不同，这些方法简单地使用帧级聚合（例如，平均池化）来计算视频剪辑的表示，所提出的STA采用更有效的方式来产生鲁棒的剪辑级特征表示。具体地说，我们的STA充分利用了一个目标人物在空间和时间维度上的那些有区别的部分，这导致了一个2-D的注意力得分矩阵，通过帧间正则化来衡量不同帧之间的空间部分的重要性。因此，可以根据由挖掘的2-D注意力得分矩阵引导的加权和操作来生成更鲁棒的剪辑级特征表示。以这种方式，STA可以很好地处理基于视频的人重新识别的挑战性情况，例如姿势变化和部分遮挡。我们进行了广泛的实验上的两个大规模的基准，即MARS和DukeMTMC-VideoReID。特别是，MARS的mAP达到87.7%，显著优于最先进的水平，超过11.6%。
2018-11-09 cs.CV
Spatial-Temporal Person Re-identification
Sun Yat-sen University（中山大学）；Guangdong Key Laboratory of Information Security Technology（广东省信息安全技术重点实验室）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education（教育部机器智能与先进计算重点实验室）
目前的人再识别方法大多忽略了时空约束。给定查询图像，传统方法计算查询图像与所有图库图像之间的特征距离，并返回相似性排名表。当图库数据库在实践中是非常大的，这些方法无法获得良好的性能，由于外观的模糊性在不同的相机视图。在本文中，我们提出了一种新的双流时空人ReID（ST-ReID）框架，挖掘视觉语义信息和时空信息。为此，联合相似性度量与Logistic平滑（LS）的介绍，以整合两种异构的信息到一个统一的框架。为了近似复杂的时空概率分布，我们开发了一种快速的直方图Parzen（HP）方法。在时空约束的帮助下，st-ReID模型消除了大量不相关的图像，从而缩小了图库数据库。在没有花哨的情况下，我们的st-ReID方法在Market-1501和DukeMTMC-reID上分别实现了98.1\%和94.4\%的rank-1准确度，分别从基线91.2\%和83.8\%提高，大大优于所有以前的最先进方法。
2018-12-08 cs.CV
How Image Generation Helps Visible-to-Infrared Person Re-Identification?
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Northeast Forestry University（东北林业大学）；Peng Cheng Laboratory（鹏城实验室）
与可见光-可见光（V2 V）人物再识别（ReID）相比，可见光-红外（V2 I）人物再识别任务由于训练样本不足和跨模态差异大而更具挑战性。为此，我们提出了Flow 2Flow，这是一个统一的框架，可以联合实现V2 I人员ReID的训练样本扩展和跨模态图像生成。具体来说，Flow 2Flow学习从可见光图像域和红外域到共享的各向同性高斯域的双射变换，分别使用基于可逆可见光流的生成器和红外生成器。使用Flow 2Flow，我们能够通过从潜在高斯噪声到可见光或红外图像的变换来生成伪训练样本，并通过从现有模态图像到潜在高斯噪声到缺失模态图像的变换来生成跨模态图像。为了生成的图像的身份对齐和模态对齐的目的，我们开发了对抗训练策略来训练Flow 2Flow。具体来说，我们设计了一个图像编码器和一个模态解码器为每一个模态。图像编码器通过身份对抗训练鼓励生成的图像与相同身份的真实图像相似，并且模态识别器通过模态对抗训练使生成的图像与真实图像模态不可区分。在SYSU-MM 01和RegDB上的实验结果表明，训练样本扩展和跨模态图像生成可以显着提高V2 I ReID的准确性。
2022-10-25 cs.CV
Multi-person Articulated Tracking with Spatial and Temporal Embeddings
SenseTime Research（商汤科技研究院）；The University of Sydney（悉尼大学）；SenseTime Computer Vision Research Group（商汤科技计算机视觉研究组）
我们提出了一个统一的框架，多人姿态估计和跟踪。我们的框架包括两个主要组件，~ \ie ~SpatialNet和TemporalNet。SpatialNet在单个帧中完成身体部位检测和部位级数据关联，而TemporalNet将连续帧中的人体实例分组为轨迹。具体来说，除了身体部位检测热图，SpatialNet还预测身体部位关联的关键点嵌入（KE）和空间实例嵌入（SIE）。我们将分组过程建模为可区分的姿势引导训练（PGG）模块，以使整个部分检测和分组管道完全端到端可训练。TemporalNet将关键点的空间分组扩展到人类实例的时间分组。考虑到来自两个连续帧的人类建议，TemporalNet利用人类嵌入（HE）中编码的外观特征和时间实例嵌入（TIE）中体现的时间一致的几何特征进行鲁棒跟踪。大量的实验证明了我们提出的模型的有效性。值得注意的是，我们在ICCV'17 PoseTrack数据集上展示了比最先进的姿势跟踪方法的实质性改进，多对象跟踪准确性（MOTA）从65.4%提高到71.8%。
2019-03-21 cs.CV
SuPEr-SAM: Using the Supervision Signal from a Pose Estimator to Train a Spatial Attention Module for Personal Protective Equipment Recognition
SecurifAI；University of Bucharest（布加勒斯特大学）
我们提出了一种深度学习的方法来自动检测个人防护设备（PPE），如头盔，外科口罩，反光背心，靴子等，在人的图像。基于深度学习的PPE检测的典型方法是（i）针对诸如上面列出的那些物品的物品训练对象检测器，或者（ii）训练人检测器和分类器，该分类器采用由检测器预测的边界框并且在穿戴和未穿戴对应PPE物品的人之间进行区分。我们提出了一种新的和准确的方法，使用三个组成部分：一个人的检测器，一个身体姿势估计和分类。我们的新颖之处在于只在训练时使用姿态估计器，以提高分类器的预测性能。我们通过添加空间注意力机制来修改分类器的神经架构，该空间注意力机制使用来自姿势估计器的监督信号来训练。通过这种方式，分类器学习专注于PPE项目，使用来自姿势估计器的知识，在推理期间几乎没有计算开销。
2020-11-02 cs.CV
Person Re-Identification by Camera Correlation Aware Feature Augmentation
Sun Yat-sen University（中山大学）；National University of Defense Technology（国防科技大学）；The Chinese University of Hong Kong（香港中文大学）；Queen Mary University of London（伦敦玛丽女王大学）
人物重新识别（re-id）的挑战是匹配由不同非重叠相机视图捕获的同一个人的各个图像，以对抗显著和未知的交叉视图特征失真。虽然已经为re-id开发了大量的距离度量/子空间学习模型，但是他们学习的跨视图变换是视图通用的，因此在量化每个相机视图固有的特征失真方面可能不太有效。学习用于re-id的视图特定特征变换（即，视图特定的RE-ID），一种研究不足的方法，成为该问题的替代手段。在这项工作中，我们制定了一个新的特定于视图的人重新识别框架，从功能增强的角度来看，被称为相机coRrelation感知功能增强（CRAFT）。具体而言，CRAFT执行跨视图自适应自动测量相机相关性从跨视图视觉数据分布和自适应进行特征增强，将原始功能转换到一个新的自适应空间。通过我们的增强框架，视图通用学习算法可以很容易地推广到学习和优化视图特定的子模型，同时建模视图通用的歧视信息。因此，我们的框架不仅继承了视图通用模型学习的优势，而且还提供了一种有效的方法来考虑视图的特定特征。我们的CRAFT框架可以扩展到在一个具有两个以上摄像头的大型网络中共同学习针对人员re-id的视图特定特征转换，这是一个基本上未被研究但现实的re-id设置。此外，我们提出了一个域通用的深的人的外观表示，特别是被设计为朝向视图不变，以促进跨视图适应的手工艺。
2017-03-26 cs.CV
Nonlinear Local Metric Learning for Person Re-identification
Tsinghua University（清华大学）；Michigan State University（密歇根州立大学）
人重新识别的目的是匹配从非重叠的相机视图观察到的行人。特征描述子和度量学习是身份识别中的两个重要问题。由于特征空间中的大变化，判别度量学习方法应该能够利用复杂的非线性变换。在本文中，我们提出了一个非线性局部度量学习（NLML）方法，以提高国家的最先进的性能的人重新识别的公共数据集。由于局部度量学习已经被引入到处理局部变化的数据和深度神经网络在利用样本的非线性方面表现出出色的能力，我们利用局部度量学习和深度神经网络的优点来学习多组非线性变换。通过在变换后的特征子空间中强制正行人图像对的距离和负行人图像对的距离之间的裕度，可以在所开发的神经网络中有效地利用鉴别信息。实验结果表明，本文提出的NLML方法在VIPeR、GRID和CUHK 01数据集上取得了较好的效果。
2015-11-16 cs.CV
Dense Interaction Learning for Video-based Person Re-identification
DAMO Academy, Alibaba Group（阿里巴巴达摩院）；University of Science and Technology of China（中国科学技术大学）
基于视频的人物重新识别（re-ID）旨在跨视频片段匹配同一个人。有效地利用多尺度细粒度特征，同时建立它们之间的结构交互是其成功的关键。在本文中，我们提出了一个混合框架，密集交互学习（DenseIL），它采用了基于CNN和基于注意力的架构的主要优势，以解决基于视频的人重新识别困难。DenseIL包含一个CNN编码器和一个密集交互（DI）解码器。CNN编码器负责有效地提取有区别的空间特征，而DI解码器被设计为密集地对跨帧的时空固有交互进行建模。与之前的工作不同的是，我们还让DI解码器密集地关注中间细粒度的CNN特征，从而自然地为每个视频剪辑产生多粒度的时空表示。此外，我们引入空间-时间位置嵌入（STEP-Emb）到DI解码器中，以研究时空输入之间的位置关系。我们的实验在多个标准的基于视频的人重新识别数据集上一致且显着优于所有最先进的方法。
2021-08-17 cs.CV
Multi-scale 3D Convolution Network for Video Based Person Re-Identification
Peking University（北京大学）
本文提出了一种双流卷积网络来提取空间和时间线索，用于基于视频的人重新识别（ReID）。该网络中的时间流是通过将若干多尺度3D（M3 D）卷积层插入到2D CNN网络中来构造的。由此产生的M3 D卷积网络将一小部分参数引入到2D CNN中，但获得了多尺度时间特征学习的能力。通过这种紧凑的架构，M3 D卷积网络也比现有的3D卷积网络更高效，更容易优化。时间流进一步涉及剩余注意力层（RAL）来细化时间特征。通过以残差方式联合学习时空注意掩模，RAL识别有区别的空间区域和时间线索。我们网络中的另一个流是用2D CNN实现的，用于空间特征提取。最后融合两个流的空间和时间特征，得到基于视频的人物ReID。对三个广泛使用的基准数据集进行评价，即，MARS，PRID 2011和iLIDS-VID证明了我们的方法相对于现有的3D卷积网络和最先进的方法的实质性优势。
2018-11-19 cs.CV
BiCnet-TKS: Learning Efficient Spatial-Temporal Representation for Video Person Re-Identification
University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
在本文中，我们提出了一个有效的时空表示的视频人重新识别（reID）。首先，我们提出了一个双边互补网络（BiCnet）的空间互补建模。具体来说，BiCnet包含两个分支。细节分支以原始分辨率处理帧以保留细节视觉线索，上下文分支采用下采样策略来捕获长范围上下文。在每个分支上，BiCnet附加多个并行且不同的注意力模块，以发现连续帧的不同身体部位，从而获得目标身份的整体特征。此外，一个时间内核选择（TKS）块被设计为捕捉短期以及长期的时间关系的自适应模式。TKS可以插入到BiCnet的任何深度，以构建BiCnetTKS的时空建模。在多个基准测试上的实验结果表明，BiCnet-TKS的性能优于最先进的技术，计算量减少了约50%。源代码可在https://github.com/ blue-blue 272/BiCnet-TKS上获得。
2021-04-30 cs.CV
DRSI-Net: Dual-Residual Spatial Interaction Network for Multi-Person Pose Estimation
School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）
针对多人姿态估计中空间交互不足及精度与复杂度难平衡的问题，提出轻量级 DRSI-Net，通过递归双残差空间交互和双重注意力多尺度融合，在 COCO 上实现更优精度与复杂度表现。
2024-05-09 cs.CV
Jointly Attentive Spatial-Temporal Pooling Networks for Video-based Person Re-Identification
Huazhong University of Science and Technology（华中科技大学）；IBM T.J. Watson Research Center（IBM T.J. Watson 研究中心）；Northwestern University（西北大学）；AI Foundations, IBM Research（IBM 研究院 AI 基础部门）
人的身份识别是视觉监控和人机交互中的一个重要应用。在这项工作中，我们提出了一种新的联合时空注意力池网络（ASTPN）的视频为基础的人重新识别，这使得特征提取器知道当前输入的视频序列，在某种程度上，相互依赖的匹配项可以直接影响对方的表示的计算。具体地，空间池化层能够从每个帧中选择区域，而执行的注意力时间池化可以在序列上选择信息帧，这两个池化都由来自距离匹配的信息引导。在iLIDS-VID、PRID-2011和MARS数据集上进行了实验，结果表明该方法优于现有的最新方法。我们还分析了联合池在这两个方面可以提高人的re-id性能比单独使用它们中的任何一个更有效。
2017-09-29 cs.CV cs.LG stat.ML
What-and-Where to Match: Deep Spatially Multiplicative Integration Networks for Person Re-identification
The University of Queensland（昆士兰大学）；The University of New South Wales（新南威尔士大学）；The University of Sydney（悉尼大学）
在不相交的摄像机视图中匹配行人，称为人的重新识别（re-id），是一个具有挑战性的问题，对视觉识别和监控具有重要意义。大多数现有的方法利用空间操作中的局部区域来执行局部对应的匹配。然而，它们本质上从每个图像的预划分区域提取\emph{fixed}表示，并且随后基于所提取的表示执行匹配。对于这个管道中的模型，无法捕获对区分正对和负对至关重要的局部更精细的模式，从而使它们表现不佳。在本文中，我们提出了一种新的深度乘法积分门函数，它回答了有效人员re-id的\emph{what-and-where to match}问题。为了解决\emph{what}匹配问题，我们的深度网络通过以乘法方式学习联合表示来强调共同的局部模式。该网络包括两个卷积神经网络（CNN）来提取卷积激活，并生成用于行人匹配的相关描述符。因此，这导致成对图像的灵活表示。为了解决\emph{where}匹配问题，我们通过四方向递归神经网络执行空间递归池化来对抗空间未对准，以相对于整个图像在所有位置上施加空间依赖性。所提出的网络被设计为端到端可训练的，以空间对齐的方式表征局部成对特征交互。为了证明我们的方法的优越性，进行了广泛的实验在三个基准数据集：VIPeR，CUHK 03和Market-1501。
2017-10-14 cs.CV
Skeleton-Guided Spatial-Temporal Feature Learning for Video-Based Visible-Infrared Person Re-Identification
Henan University（河南大学）
针对VVI-ReID中时空特征易受低质、遮挡影响且现有方法对其优化不足的问题，提出STAR方法，通过帧级和序列级两级骨架引导策略提升双模态时空特征准确性，性能优于当前最优方法。
2024-12-11 cs.CV
FedFTN: Personalized Federated Learning with Deep Feature Transformation Network for Multi-institutional Low-count PET Denoising
Yale University（耶鲁大学）；University of Southern California（南加州大学）；University of California Irvine（加州大学欧文分校）；University of Science and Technology of China（中国科学技术大学）；Ruijin Hospital, Shanghai Jiao Tong University School of Medicine（上海交通大学医学院附属瑞金医院）；Inselspital, Bern University Hospital（伯尔尼大学医院 Inselspital）；University of Bern（伯尔尼大学）；Technical University of Munich（慕尼黑工业大学）
针对多机构低计数PET去噪的域偏移与数据隐私问题，提出个性化联邦学习方法FedFTN，通过本地特征变换网络适配全局共享去噪模型，在跨洲多中心数据集上全面优于基线方法。
2023-10-06 cs.CV cs.LG eess.IV
Spatially and Temporally Efficient Non-local Attention Network for Video-based Person Re-Identification
IOX Center（IOX中心）；National Taiwan University（台湾大学）
基于视频的行人再识别（Re-ID）的目标是在不重叠的摄像机之间匹配行人的视频序列。如何将视频的时空信息嵌入到视频的特征表示中是一个实际而又具有挑战性的课题。虽然大多数现有的方法学习视频特征通过聚合图像方面的特征和设计神经网络中的注意力机制，他们只探索帧之间的相关性在高级别的功能。在这项工作中，我们的目标是细化的中间功能，以及高层次的功能与非局部注意操作，并作出两个贡献。(i)我们提出了一个非本地的视频注意力网络（NVAN），将视频特征的表示在多个特征层次。(ii)我们进一步引入了一个空间和时间有效的非本地视频注意力网络（STE-NVAN），通过探索行人视频中存在的空间和时间冗余来降低计算复杂度。大量的实验表明，我们的NVAN在MARS数据集上的rank-1准确度上比最先进的方法高出3.8%，并证实了我们的STE-NVAN与现有方法相比显示出更优越的计算足迹。
2019-08-05 cs.CV
Self-Supervision and Spatial-Sequential Attention Based Loss for Multi-Person Pose Estimation
Waseda University（早稻田大学）；Southeast University（东南大学）
基于自底向上的多人姿态估计方法使用具有辅助预测的热图来同时估计关节位置和归属。最近，已经提出了辅助预测和热图之间的各种组合以获得更高的性能，这些预测直接由相应的L2损失函数监督。然而，缺乏更明确的监督导致低功能利用率和预测之间的矛盾在一个模型。为了解决这些问题，本文提出了（i）一种新的损失组织方法，该方法使用自监督热图来减少预测矛盾和空间顺序注意力来增强网络的特征提取;（ii）由热图，部分仿射场（PAF）和我们的块内部偏移组成的预测的新组合来固定像素级关节位置，并进一步证明了所提出的损失函数的有效性。实验在MS COCO关键点数据集上进行，并采用OpenPose作为基线模型。我们的方法整体上优于基线。在COCO验证数据集上，使用我们的建议训练的OpenPose的mAP比OpenPose基线高出5.5%以上。
2021-10-20 cs.CV
Unsupervised Cross-dataset Person Re-identification by Transfer Learning of Spatial-Temporal Patterns
South China University of Technology（华南理工大学）；City University of Hongkong（香港城市大学）
大多数提出的人员重新识别算法在小尺寸的单个标记数据集上进行监督训练和测试，因此直接将这些训练好的模型部署到大规模的真实世界相机网络中可能会由于欠拟合而导致性能不佳。通过使用从目标域收集的大量未标记数据来增量地优化模型是具有挑战性的。为了解决这个问题，我们提出了一个无监督的增量学习算法，TFusion，这是由行人的时空模式在目标域的迁移学习的辅助。具体地说，该算法首先将从小标记源数据集训练的视觉分类器转移到未标记的目标数据集，以学习行人的时空模式。其次，提出了一种贝叶斯融合模型，将学习到的时空模式与视觉特征相结合，以实现显著改进的分类器。最后，我们提出了一个学习排名为基础的相互促进的过程，增量优化分类器的基础上，在目标领域的未标记的数据。在多个真实监控数据集上进行了综合实验，实验结果表明，与现有跨数据集的无监督身份重识别算法相比，该算法具有显著的改进效果。
2018-03-20 cs.CV
EventPrune: Cascaded Event-Assisted Token Pruning for Efficient First-Person Dynamic Spatial Reasoning
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Harbin Institute of Technology（哈尔滨工业大学）；Tsinghua University（清华大学）；The University of Hong Kong（香港大学）
本文提出Event Cascade Pruning (ECP)，一种无需训练的框架，利用事件相机的高频运动线索作为连续事件引导的运动先验，指导标记选择，从而在第一人称动态空间推理中实现高效的标记修剪，提升推理速度和减少计算量。
2026-05-19 cs.CV
AudioEar: Single-View Ear Reconstruction for Personalized Spatial Audio
Shanghai Jiao Tong University（上海交通大学）；Anhui University（安徽大学）
空间音频是一种以沉浸式3D声音渲染为核心的技术，在声学领域有着广泛的应用。当前空间音频渲染方法的关键问题之一是缺乏基于个体不同解剖结构的个性化，这对于产生准确的声源位置至关重要。在这项工作中，我们从跨学科的角度来解决这个问题。空间音频的渲染与人体的3D形状（特别是耳朵）密切相关。为此，我们提出了实现个性化的空间音频重建3D人耳与单视图图像。首先，为了对耳部重建任务进行基准测试，我们引入了AudioEar 3D，这是一个高质量的3D耳部数据集，由112个点云耳部扫描和RGB图像组成。为了自我监督地训练重建模型，我们进一步收集了一个由2,000张图像组成的2D耳朵数据集，每张图像都有手动注释的遮挡和55个标志，称为AudioEar 2D。据我们所知，这两个数据集的规模和质量都是最大的。此外，我们提出了AudioEarM，一种由深度估计网络指导的重建方法，该网络在合成数据上进行训练，具有针对耳朵数据定制的两个损失函数。最后，为了填补视觉和声学社区之间的空白，我们开发了一个管道，将重建的耳朵网格与现成的3D人体集成，并模拟个性化的头部相关传递函数（HRTF），这是空间音频渲染的核心。代码和数据可在https://github.com/seanywang0408/AudioEar上公开获取。
2023-01-30 cs.CV cs.MM
