PRISM: Person Re-Identification via Structured Matching
Boston University(波士顿大学)
人的重新识别(re-id)是视觉监控中的一个新兴问题,它处理的是当个人穿越摄像机网络监控的各个位置时,如何维护个人的实体。从视觉的角度来看,re-id是具有挑战性的,因为在具有不同姿态、照明和校准的相机中,个体的视觉外观会发生显著变化。在全球范围内,挑战来自于需要在不同相机视图中的所有个体实体之间保持结构一致的匹配。我们提出了PRISM,一个结构化的匹配方法来共同应对这些挑战。我们将全局问题视为一个加权图匹配问题,并通过学习来估计边缘权重,以基于训练样本中视觉模式的同现来预测它们。这些基于同现的分数反过来通过推断训练实例中出现的可能和不可能的视觉同现来解释外观变化。我们在Single Shot和Multi-Shot场景中实现PRISM。PRISM在匹配率方面一致优于最先进的技术,同时计算效率高。
2015-05-08 cs.CV cs.LG stat.ML
Multi-shot Person Re-identification through Set Distance with Visual Distributional Representation
Carnegie Mellon University(卡内基梅隆大学)
人员重新识别旨在在不同时间和地点识别特定人员。这是具有挑战性的,因为遮挡,照明,并在相机视图的视点变化。近年来,多镜头人物身份识别任务因其更接近于现实世界的应用而受到越来越多的关注。一个好的多镜头人物识别算法的关键是人物外观特征的时间聚集。虽然目前大多数方法都采用池化策略并获得固定大小的向量表示,但这些方法可能会丢失示例之间的匹配证据。在这项工作中,我们提出了视觉分布表示的想法,它解释了从外观特征空间中的未知分布绘制的样本的图像集。该方法基于下游感兴趣任务的监督信号,重塑外观特征空间,并进一步学习每个图像集的未知分布。在多镜头人物re-id的背景下,我们将这个新概念与Wasserstein距离一起应用,并学习两个图像集之间的分布集距离函数。以这种方式,可以以非参数方式自然地发现两个图像集之间的适当对准。我们在两个公共数据集上的实验结果表明,我们提出的方法相比其他国家的最先进的方法的优势。
2018-11-08 cs.CV
Graph-based Person Signature for Person Re-Identifications
AIOZ;Imperial College London(伦敦帝国理工学院)
人物重新识别(ReID)的任务是在多个不重叠的相机视图上匹配同一个人的图像。由于视觉因素的变化,以前的作品已经研究了人的身份,身体部位和属性如何有利于人的ReID问题。然而,属性之间、身体部位之间以及每个属性内部的相关性没有得到充分利用。本文提出了一种新的方法,将人的详细描述(属性标签)和视觉特征(身体部位和全局特征)有效地聚合到一个图中,即基于图的人签名,并利用图卷积网络学习人的视觉签名的拓扑结构。该图被集成到一个多分支多任务框架中,用于人员重新识别。在Market-1501和DukeMTMC-ReID两个大规模数据集上进行了大量的实验,以证明我们提出的方法的有效性。我们的方法在最先进的方法中取得了有竞争力的结果,并且优于其他基于属性或掩码引导的方法。
2021-04-17 cs.CV
Joint Visual and Temporal Consistency for Unsupervised Domain Adaptive Person Re-Identification
Peking University(北京大学)
由于源域和目标域之间存在较大的域间隙,以及目标域上标记数据的缺乏,无监督域自适应人员重新识别(ReID)具有挑战性。本文通过结合局部单热分类和全局多类分类来联合执行视觉和时间一致性来应对这一挑战。局部独热分类算法在一个训练批中分配不同的人物ID,然后采用自适应分类(SAC)模型对它们进行分类。全局多类分类是通过使用基于记忆的时间引导聚类(MTC)在整个未标记的训练集上预测标签来实现的。MTC通过考虑视觉相似性和时间一致性来预测多类标签,以确保标签预测的质量。这两个分类模型结合在一个统一的框架中,有效地利用了未标记的数据进行区分性特征学习。在三个大规模ReID数据集上的实验结果表明,该方法在无监督和无监督域自适应ReID任务中均具有较好的性能.例如,在无监督设置下,我们的方法优于最近的无监督域自适应方法,后者利用更多的标签进行训练。
2020-07-21 cs.CV
Exploring Visual Context for Weakly Supervised Person Search
MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University, China(上海交通大学人工智能研究院人工智能教育部重点实验室);Inception Institute of Artificial Intelligence (IIAI), UAE(阿联酋人工智能初创研究所(Inception Institute of Artificial Intelligence, IIAI))
人物搜索最近已经成为一项具有挑战性的任务,共同解决行人检测和人物重新识别。现有的方法遵循完全监督的设置,其中限界框和标识注释都可用。然而,注释标识是劳动密集型的,限制了当前框架的实用性和可扩展性。本文创造性地考虑了只有限界框注释的弱监督人物搜索。我们建议通过调查三个层次的上下文线索(即,检测、存储和场景)。前两个被用来促进本地和全球的歧视能力,而后者提高聚类精度。尽管设计简单,我们的CGPS在中大中山大学的mAP中达到80.0%,将基线模型提高了8.8%。令人惊讶的是,它甚至可以与几个有监督的个人搜索模型实现相当的性能。我们的代码可在https://github.com/ljpadam/CGPS上获得
2021-09-26 cs.CV
A Novel Visual Word Co-occurrence Model for Person Re-identification
Boston University(波士顿大学)
人员重新识别的目的是通过不同的非重叠摄像机视图在不同的位置保持个人的身份。由于相机视图的不同姿势、照明和配置导致的外观变化,该问题从根本上具有挑战性。为了解决这些困难,我们提出了一种新的视觉词共现模型。我们首先使用码本将图像的每个像素映射到视觉单词,该码本以无监督的方式学习。摄像机视图之间的外观变换是由探测图像和图库图像中的视觉词联合分布的共生矩阵编码的。我们的外观模型自然地解释了相机视图中的姿势,照明和配置变化引起的空间相似性和变化。然后使用这些共现描述符将线性SVM训练为分类器。在VIPeR和CUHK Campus基准数据集上,我们的方法在累积匹配特征(CMC)曲线上达到83.86%和85.49%的rank-15,比最先进的结果高出10.44%和22.27%。
2014-10-24 cs.CV
Learning Robust Visual-Semantic Embedding for Generalizable Person Re-identification
Shanghai Jiao Tong University(上海交通大学)
本文提出多模态等效Transformer(MMET)和掩码多模态建模策略(MMM),通过联合学习视觉与语义特征并动态掩码图像块和文本标记,提升可泛化行人重识别的跨域泛化能力。
2023-04-19 cs.CV
Exploring Part-Informed Visual-Language Learning for Person Re-Identification
University of Science and Technology of China(中国科学技术大学);iFLYTEK Research(讯飞研究院)
针对现有基于视觉语言学习的行人重识别方法忽略细粒度部件特征监督的问题,提出即插即用的$\pi$-VL方法,通过人体解析引导的提示调优与分层对齐增强局部特征一致性,在多个基准上取得优异性能。
2025-03-21 cs.CV
Structured learning of metric ensembles with application to person re-identification
The University of Adelaide(阿德莱德大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
在非重叠的摄像机网络中匹配个体,被称为人员重新识别,是一个具有根本挑战性的问题,因为视点,照明和遮挡的变化引起的视觉外观变化很大。文献中的方法可以分为两个流:第一个流是通过以预定义的方式组合多个视觉特征来开发针对现实条件的可靠特征;第二个流是从训练数据中学习度量,以确保强大的类间差异和类内相似性。然而,寻求一个最佳的视觉特征组合,这是通用的,但适应不同的基准是一个未解决的问题,和度量学习模型容易得到过拟合由于训练数据的稀缺性,在人的重新识别。在本文中,我们提出了两个有效的结构化学习为基础的方法,探索视觉特征的自适应效果,在不同的基准数据集识别的人。我们的框架是建立在多个低层次的视觉功能的基础上,其指标的最佳集成。我们制定了两个优化算法,CMCtriplet和CMCstruct,直接优化评价措施,通常用于人的重新识别,也被称为累积匹配特征(CMC)曲线。
2016-05-24 cs.CV
HorNet: A Hierarchical Offshoot Recurrent Network for Improving Person Re-ID via Image Captioning
Nanjing Institute of Advanced Artificial Intelligence(南京高等人工智能研究院);Horizon Robotics(地平线机器人)
人物重新识别(re-ID)旨在识别不同相机中具有显著外观差异的感兴趣人物。现有的研究工作集中在视觉表示的能力和鲁棒性。在本文中,相反,我们提出了一种新的分层分支递归网络(HorNet),用于通过图像描述提高人的重新识别。图像标题比视觉属性在语义上更丰富、更一致,这可以显着减轻差异。我们使用相似性保持生成对抗网络(SPGAN)和图像字幕机来实现域转移和语言描述生成。然后,所提出的HorNet可以从图像和标题中联合学习视觉和语言表示,从而提高人的re-ID的性能。在有或没有图像标题的几个基准数据集上进行了大量的实验,即,CUHK 03、Market-1501和Duke-MTMC的仿真结果表明了该方法的优越性。我们的方法可以生成和提取有意义的图像字幕,同时实现最先进的性能。
2019-08-14 cs.CV
Vision Meets Wireless Positioning: Effective Person Re-identification with Recurrent Context Propagation
University of Science and Technology of China(中国科学技术大学)
现有的人的重新识别方法依赖于视觉传感器来捕获行人。视觉传感器获取的图像或视频数据不可避免地会受到遮挡和行人姿态变化的影响,从而降低了行人的再识别性能,进一步限制了其在开放环境中的应用。另一方面,对于大多数人来说,最重要的随身物品之一就是手机,手机可以通过WiFi和蜂窝网络以无线定位信号的形式感知。这种信号对行人遮挡和视觉外观变化具有鲁棒性,但存在一定的定位误差。在这项工作中,我们的方法与视觉和无线定位的传感数据的人重新识别。为了利用这种跨模态的线索,我们提出了一种新的经常性的上下文传播模块,使信息之间的视觉数据和无线定位数据的传播,并最终提高匹配精度。为了评估我们的方法,我们贡献了一个新的无线定位人员重新识别(WP-ReID)数据集。大量的实验表明,该算法的有效性。代码将在https://github.com/yolomax/WP-ReID上发布。
2020-09-04 cs.CV
Spatio-Visual Fusion-Based Person Re-Identification for Overhead Fisheye Images
Boston University(波士顿大学)
针对顶装鱼眼摄像机PRID性能不足的问题,提出融合深度学习、颜色与位置特征的多特征框架,在FRIDA上显著提升匹配准确率,并可用于拥挤室内人数统计。
2023-04-25 cs.CV
Unsupervised Person Re-Identification with Wireless Positioning under Weak Scene Labeling
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
针对视觉线索易受干扰且全场景GPS标注费力的问题,提出无监督多模态训练框架UMTF,利用弱场景标注下的无线定位轨迹与视觉数据互补,通过MMDA和MMGN模块在无人工标签下学习模型,在两个数据集上验证了有效性。
2023-04-05 cs.CV
A Semantic-aware Attention and Visual Shielding Network for Cloth-changing Person Re-identification
Key Laboratory of Computer Vision and System, Ministry of Education, Tianjin University of Technology(天津理工大学计算机视觉与系统教育部重点实验室);School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机与信息工程学院)
提出语义感知注意力与视觉遮挡网络(SAVS),通过屏蔽衣服区域并聚焦人体语义信息,解决换衣行人重识别特征鲁棒性问题,在LTCC和PRCC数据集上显著优于现有方法。
2023-11-17 cs.CV
Devil's in the Details: Aligning Visual Clues for Conditional Embedding in Person Re-Identification
Tencent Youtu Lab(腾讯优图实验室);Sun Yat-sen University(中山大学);Huazhong University of Science and Technology(华中科技大学);Southern University of Science and Technology(南方科技大学)
虽然身份识别技术取得了长足的进步,但遮挡、视角变化、服装相似等疑难案件的识别仍然面临着巨大的挑战。除了整体视觉特征外,匹配和比较详细信息对于应对这些挑战也至关重要。本文提出了两个关键的识别模式,以更好地利用行人图像的细节信息,大多数现有的方法无法满足。首先,视觉线索对齐要求模型从两幅图像中选择并对齐决定性的区域对进行成对比较,而现有方法仅根据预定义的规则(如高特征相似性或相同的语义标签)对齐区域。其次,条件特征嵌入要求查询图像的整体特征根据其匹配的图库图像进行动态调整,而现有的大多数方法忽略了参考图像。通过引入新的技术,包括对应注意模块和基于差异的GCN,我们提出了一种端到端的ReID方法,将这两种模式集成到一个统一的框架中,称为CACE-Net((C)lue(A)lignation和(C)online(E)mbedding)。实验表明,CACE-Net在三个公共数据集上实现了最先进的性能。
2020-12-07 cs.CV
Dual-Prompt CLIP with Hybrid Visual Encoders for Occluded Person Re-Identification
organization= School of Computer \& Information Technology, Shanxi University , addressline= Wucheng Rd.92 , city= Taiyuan , postcode= 030006 , state= Shanxi , country= China;organization= Key Laboratory of Computational Intelligence
本文提出了一种双提示学习重识别模型DPL-ReID,通过双提示学习策略和现实遮挡增强方法,提升遮挡行人重识别的鲁棒性和准确性。
2026-05-19 cs.CV
Design of a Mobile Face Recognition System for Visually Impaired Persons
The University of the South Pacific(南太平洋大学);Software Foundation(软件基金会)
据估计,全球有2.85亿人视力受损。这些人大多数生活在发展中国家,属于老年人口。视力受损者面临的最困难的任务之一是识别人。虽然自然地,话音识别是一种常见的识别方法,但它是一个直观而困难的过程。移动设备计算能力的提高促使人们开发能够帮助视力受损者的应用程序。随着移动设备的出现,这些人可以通过基于计算机视觉技术的智能软件获得额外的识别方法。在本文中,我们提出了一个设计和实现的人脸检测和识别系统的视障人士通过使用移动计算。该移动系统由基于服务器的支持系统提供协助。该系统在一个定制的视频数据库上进行了测试。实验结果表明,在适当的条件下,人脸检测和人脸识别的准确率较高。该系统的挑战在于更好的识别技术,以应对照明和天气方面的困难情况。
2015-06-03 cs.CV cs.CY cs.HC
Visual Appearance Based Person Retrieval in Unconstrained Environment Videos
Pandit Deendayal Petroleum University(潘迪特·迪恩戴亚尔石油大学);University of Windsor(温莎大学)
基于视觉外观的人物检索是监控领域的一个具有挑战性的问题。它使用身高、衣服颜色、衣服类型和性别等属性来描述一个人。这些属性被称为软生物特征。本文提出了从监控视频中检索人的身高,躯干衣服类型,躯干衣服的颜色和性别。该方法引入了自适应躯干块提取和限界框回归,以提高检索。该算法使用微调的Mask R-CNN和DenseNet-169分别进行人员检测和属性分类。在AVSS 2018 Challenge II数据集上分析了性能,基于平均Intersection over Union度量,它比最先进的性能提高了11.35%。
2019-10-31 cs.CV cs.LG
Personal Visual Context Learning in Large Multimodal Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出个人视觉上下文学习(Personal VCL)以解决个性化查询,通过Personal-VCL-Bench评估,发现现有模型在利用视觉证据和聚合多视觉观察方面存在显著不足,提出Agentic Context Bank方法提升性能。
2026-05-11 cs.CV
Personalized Vision via Visual In-Context Learning
Show Lab, National University of Singapore(新加坡国立大学Show实验室);A*STAR, Singapore(新加坡科技研究局)
本文提出 PICO 四面板框架,利用 diffusion transformers 和 VisRel 数据集实现单示例视觉上下文学习,无需微调即可泛化到用户自定义的识别与生成任务。
2025-09-29 cs.CV cs.LG
ViTAA: Visual-Textual Attributes Alignment in Person Search by Natural Language
Beihang University(北京航空航天大学);Arizona State University(亚利桑那州立大学)
基于自然语言的人物搜索是指在大规模的图像池中,根据给定的文本描述,检索出一个特定的人物。虽然目前的大多数方法将任务视为一个整体的视觉和文本特征匹配的一个,我们从属性对齐的角度,允许接地特定的属性短语到相应的视觉区域。我们取得了成功,以及性能提升的强大功能学习,所指的身份可以准确地捆绑多属性视觉线索。具体来说,我们的视觉-文本属性对齐模型(称为ViTAA)学习使用轻辅助属性分割计算分支将人的特征空间分解为与属性对应的子空间。然后,它将这些视觉特征与通过使用新颖的对比学习损失从句子中解析出的文本属性进行对齐。在此基础上,我们验证了我们的ViTAA框架通过广泛的实验任务的人搜索自然语言和属性短语查询,我们的系统达到国家的最先进的性能。代码将在发布时公开提供。
2020-07-30 cs.CV
Multi-Level Visual Similarity Based Personalized Tourist Attraction Recommendation Using Geo-Tagged Photos
Zhejiang University(浙江大学)
基于地理标记照片的旅游景点推荐可以从用户拍摄的照片中发现用户的旅游偏好,从而向用户推荐合适的旅游景点。然而,现有的基于视觉内容的方法不能充分利用照片的用户和旅游景点信息来提取视觉特征,并且不能区分不同照片的重要性。在本文中,我们提出了多层次的视觉相似性的个性化旅游景点推荐使用地理标记的照片(MEAL)。MEAL利用照片的视觉内容和交互行为数据来获得用户和旅游景点的最终嵌入,然后将其用于预测访问概率。具体来说,通过交叉的用户和旅游景点的信息的照片,我们定义了四个视觉相似度水平,并引入相应的五元组损失嵌入的照片的视觉内容。此外,为了捕捉不同照片的意义,我们利用自我注意力机制来获得用户和旅游景点的视觉表征。在Flickr抓取的数据集上进行了实验,实验结果证明了该方法的优越性。
2023-01-28 cs.CV cs.LG cs.MM
Ego-Exo: Transferring Visual Representations from Third-person to First-person Videos
Facebook AI Research(Facebook AI研究院);UT Austin(德克萨斯大学奥斯汀分校)
我们介绍了一种使用大规模第三人称视频数据集预训练自我中心视频模型的方法。从纯粹以自我为中心的数据中学习受到低数据集规模和多样性的限制,而使用纯粹的离心(第三人称)数据则会引入较大的域失配。我们的想法是发现第三人称视频中的潜在信号,这些信号可以预测自我中心的关键特性。在预训练过程中将这些信号视为知识蒸馏损失,会导致模型受益于第三人称视频数据的规模和多样性,以及捕获突出的自我中心属性的表示。我们的实验表明,我们的Ego-Exo框架可以无缝集成到标准的视频模型中;当针对以自我为中心的活动识别进行微调时,它的性能优于所有基线,在Charades-Ego和EPIC-Kitchen-100上实现了最先进的结果。
2021-04-16 cs.CV
Personalized Visual Instruction Tuning
The Hong Kong University of Science and Technology(香港科技大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对多模态大语言模型无法开展个性化对话的“脸盲”问题,提出个性化视觉指令微调框架PVIT,通过自动构建训练数据实现个性化对话,并推出P-Bench基准,实验验证其可显著提升模型个性化性能。
2024-10-09 cs.CV
Visual-Textual Association with Hardest and Semi-Hard Negative Pairs Mining for Person Search
Beijing Institute of Technology(北京理工大学)
利用自然语言描述的查询方式在大规模图像数据库中进行人物检索是视频监控中一个较为实用的重要应用。直观地说,对于人物搜索来说,核心问题应该是视觉-文本关联,由于文本描述的高度抽象性和视觉图像的直观表达之间的矛盾,这仍然是一个极具挑战性的任务。然而,对于这个任务,虽然积极的图像-文本对总是很好地提供,大多数现有的方法不解决这个问题,有效地挖掘更合理的负对。本文提出了一种新的视觉-文本关联方法,该方法结合了视觉和文本注意力,以及跨模态最难和半难否定对挖掘。为了验证该方法的有效性和可行性,我们在典型的人物搜索引擎CUHK-PEDES上进行了大量的实验,取得了55.32%的top1成绩,成为一个新的研究领域。此外,我们还在COCO字幕数据集上对半硬对挖掘方法进行了评估,验证了该方法的有效性和互补性。
2019-12-06 cs.CV
Customizing First Person Image Through Desired Actions
University of Pennsylvania(宾夕法尼亚大学);University of Minnesota(明尼苏达大学)
研究了一个逆向视觉路径规划问题:由第一人称动作生成视觉场景。我们的猜想是,第一人称视觉场景的空间布置被部署以提供动作,并且因此,该动作可以逆用于合成新的场景,使得该动作是可行的。作为一个概念验证,我们专注于链接步行引起的视觉体验。本文的一个关键创新是一个概念的三维虚拟隧道--一个三维虚拟隧道沿着未来的轨迹编码什么佩戴者将视觉体验移动到场景。这通过相似的步行路径连接了两个不同的第一人称图像。我们的方法采取第一人称图像与用户定义的未来轨迹,并输出一个新的图像,可以负担得起的未来运动。该图像是通过在3D中组合当前和未来的隧道来创建的,其中相邻区域中的缺失像素由生成对抗网络计算。我们的工作可以在不同的现实世界场景中提供不同的第一人称体验。
2017-04-01 cs.CV
On the Effect of Observed Subject Biases in Apparent Personality Analysis from Audio-visual Signals
Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心);Universitat Oberta de Catalunya(加泰罗尼亚开放大学)
人格知觉是内隐偏见,由于许多主观因素,如文化,社会,上下文,性别和外观。为自动人格感知开发的方法并不期望预测目标的真实人格,而是期望预测归因于其的外部观察者的人格。因此,它们必须处理固有地转移到训练数据的人类偏见。然而,人格计算中的偏差分析是一个几乎未被探索的领域。在这项工作中,我们研究了影响人格知觉的不同可能的偏见来源,包括面部表情,吸引力,年龄,性别和种族的情绪,以及它们对表观人格估计预测能力的影响。为此,我们提出了一种多模态深度神经网络,它将原始音频和视觉信息与特定属性模型的预测相结合,以回归明显的个性。我们还分析了时空聚合方案和不同的时间间隔对第一印象的影响。我们的研究基于ChaLearn First Imperial数据集,该数据集由一个人的对话视频组成。我们的模型显示了基于大五模型回归表观人格的最新结果。此外,考虑到我们的网络设计的可解释性,我们对每个可能的偏差来源对最终网络预测的影响进行了增量分析。
2019-11-28 cs.CV
Learning Graph Representation of Person-specific Cognitive Processes from Audio-visual Behaviours for Automatic Personality Recognition
University of Cambridge(剑桥大学);Shenzhen University(深圳大学);Shenzhen Institute of Artificial Intelligence of Robotics of Society(深圳人工智能与机器人学会);University of Nottingham(诺丁汉大学)
这种方法建立在认知科学的两个发现基础上:(一)人类认知部分决定了表达的行为,并与真正的人格特征直接相关;(二)在二元互动中,个人的非语言行为受到其对话伙伴行为的影响。在这种情况下,我们假设,在一个二元互动,目标对象的面部反应是由两个主要因素,即他们的内部(个人特定的)认知过程,和他们的会话伙伴的外部化的非言语行为。因此,我们建议代表目标主体(定义为听众)的个人特定的认知的形式,具有独特的建筑参数和深度的个人特定的CNN架构,它需要视听非语言提示显示的对话伙伴(定义为扬声器)作为输入,并能够再现目标主体的面部反应。每个人特定的CNN探索神经结构搜索(NAS)和一种新的自适应损失函数,然后表示为图形表示识别目标主体的真实个性。实验结果表明,在人-人和人-机交互场景中,所产生的图表示与目标主体的个性特征有很好的关联,优于现有方法,具有显著的优势,同时也证明了所提出的自适应丢失、端到端顶点/边特征学习等新策略,帮助所提出的方法学习更可靠的人格表征。
2021-10-27 cs.CV
Person Identification with Visual Summary for a Safe Access to a Smart Home
The University of Memphis(孟菲斯大学)
SafeAccess是一个集成系统,旨在为残疾人或非残疾人提供更轻松,更安全的灵巧家庭访问。该系统旨在提高安全性和促进残疾人的独立性(即,视力受损)。该系统的关键功能包括检测和识别人,并从放置在房屋周围战略位置的摄像机获得的实时视频流中生成上下文视觉摘要。此外,该系统将人类分类成组(即,朋友/家人/护理人员与入侵者/窃贼/未知)。这些功能允许用户授予/拒绝对场所的远程访问或呼叫紧急服务的能力。在本文中,我们专注于为灵巧家庭设计一个原型系统,并建立一个强大的识别引擎,满足系统的标准,并解决各种实际和现实生活中的速度,准确性,部署和环境的挑战。为了与系统交互,我们实现了一个启用对话的界面,以使用朋友/家人/护理人员的面部图像或视频创建个性化配置文件。为了提高计算效率,我们应用变化检测来过滤掉帧,并使用Faster-RCNN来检测人的存在,并使用多任务级联卷积网络(MTCNN)来提取人脸。随后,我们应用LBP/FaceNet通过将提取的面部与配置文件进行匹配来识别人和组。SafeAccess向用户发送一个视觉摘要,其中包含一个人的名字(如果找到任何匹配)或“未知”、场景图像、面部描述和上下文信息。SafeAccess识别朋友/家人/护理人员与入侵者/未知,平均F分数为0.97,并从10个类别中生成视觉摘要,平均准确率为98.01%。
2019-04-18 cs.CV cs.LG stat.ML
Prompt-based Personalized Federated Learning for Medical Visual Question Answering
Graduate School of Information Science and Technology, Hokkaido University(北海道大学信息科学与技术研究生院);Faculty of Information Science and Technology, Hokkaido University(北海道大学信息科学与技术学院)
提出一种基于提示的个性化联邦学习方法,通过小型可学习参数共享信息和引入可靠性参数,有效解决了医学视觉问答中的数据异构性、隐私保护及通信复杂度问题。
2024-02-15 cs.CV
C2P-VAR: Continual and Compositional Personalization in Visual Autoregressive Models
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Peng Cheng Laboratory(鹏城实验室);South China University of Technology(华南理工大学)
本文研究了视觉自回归模型中的持续个性化生成问题,提出了一种统一框架,通过梯度基概念神经元选择和上下文感知组合策略,解决了连续单概念学习和多概念合成中的关键挑战,提升了长序列持续个性化和多概念图像合成的性能。
2026-09-28 cs.CV
ViPer: Visual Personalization of Generative Models via Individual Preference Learning
Swiss Federal Institute of Technology Lausanne (EPFL)(洛桑联邦理工学院)
提出ViPer方法,通过一次性收集用户对图像的评论并利用大型语言模型推断视觉偏好,引导文本到图像模型生成符合个体偏好的图像。
2024-07-24 cs.CV
First Person Action-Object Detection with EgoNet
University of Pennsylvania(宾夕法尼亚大学);University of Minnesota(明尼苏达大学);UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所)
与传统的安装在机器人上的第三人称相机不同,第一人称相机从近距离捕捉人的视觉感觉运动对象交互。在本文中,我们研究了我们的瞬时视觉注意和运动动作与第一人称相机的对象之间的紧密相互作用。我们提出了一个动作对象的概念-捕捉人的有意识的视觉(看电视)或触觉(拿杯子)交互的对象。动作对象可以是任务相关的,但是由于许多任务共享共同的人-对象空间配置,动作对象相对于人表现出特征3D空间距离和取向。我们设计了一个预测模型,使用EgoNet检测动作对象,EgoNet是一个联合双流网络,它整体集成了视觉外观(RGB)和3D空间布局(深度和高度)线索,以预测动作对象的每像素可能性。我们的网络还集成了第一人称坐标嵌入,旨在学习第一人称数据中动作对象的空间分布。我们展示了EgoNet的预测能力,通过显示它始终优于以前的基线方法。此外,EgoNet还表现出很强的泛化能力,即,它预测新的第一人称数据集中语义上有意义的对象。我们的方法有效地检测动作对象的能力可以用来提高机器人对人与物体交互的理解。
2017-06-10 cs.CV
Cross-Domain First Person Audio-Visual Action Recognition through Relative Norm Alignment
Politecnico di Torino(都灵理工大学);Istituto Italiano di Tecnologia(意大利技术研究院)
第一人称动作识别是一个越来越多的研究课题,因为可穿戴相机的日益普及。这揭示了在这方面尚未解决的跨领域问题。事实上,从学习表征中提取的信息受到内在环境偏见的影响。这强烈影响了泛化到不可见场景的能力,限制了当前方法在真实环境中的应用,在真实环境中,修剪的标记数据在训练期间不可用。在这项工作中,我们建议利用视听信号的内在互补性来学习一种在训练过程中看到的数据上表现良好的表示,同时能够在不同的领域进行推广。为此,我们引入了一个视听损失,通过作用于其特征规范表示的大小来调整两种模态的贡献。这种新的损失,插入到一个最小的多模态动作识别架构,导致跨域的第一人称动作识别的强大结果,如流行的EPIC-Kitterfly数据集上的广泛实验所示。
2021-06-03 cs.CV
When We First Met: Visual-Inertial Person Localization for Co-Robot Rendezvous
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
我们的目标是使机器人能够通过额外的传感方式(目标人的3D惯性测量)来视觉定位目标人。当机器人第一次在人群中遇到人时,或者当自主车辆必须在人群中与骑手会合而不提前知道人的外观时,可能会出现对这种技术的需求。一个人的惯性信息可以用可穿戴设备(如智能手机)测量,并可以在会合期间选择性地与自主系统共享。我们提出了一种学习视觉惯性特征空间的方法,在该空间中,视频中的人的运动可以很容易地与可穿戴惯性测量单元(IMU)测量的运动相匹配。通过使用对比损失来学习两种模态到联合特征空间中的变换,对比损失迫使由同一个人生成的惯性运动特征和视频运动特征在联合特征空间中靠近。为了验证我们的方法,我们组成了一个包含超过60,000个移动人员视频片段以及可穿戴IMU数据的数据集。我们的实验表明,我们提出的方法是能够准确地定位一个目标的人与80.7%的准确率,仅使用5秒的IMU数据和视频。
2020-11-03 cs.CV cs.RO
Geometric Visual Fusion Graph Neural Networks for Multi-Person Human-Object Interaction Recognition in Videos
Durham University(杜伦大学);Waseda University(早稻田大学)
本文提出GeoVis-GNN,通过自底向上的双注意力特征融合与实体图学习,解决视频多人HOI识别中的多模态融合难题,并构建MPHOI-120数据集,在多种交互场景中取得最优性能。
2025-06-05 cs.CV
End-to-End Multi-Person Audio/Visual Automatic Speech Recognition
Google Inc.(谷歌公司)
传统上,视听自动语音识别一直是在假设视觉信号上的说话人脸是与音频匹配的人脸的情况下进行研究的。然而,在更现实的设置中,当多个面部潜在地在屏幕上时,需要决定将哪个面部馈送到A/V ASR系统。目前的工作将A/V ASR的最新进展更进一步,并考虑多人同时在屏幕上的场景(多人A/V ASR)。我们提出了一个完全可区分的A/V ASR模型,该模型能够处理视频中的多个人脸轨迹。而不是依赖于两个单独的模型的扬声器面部选择和视听ASR在一个单一的面部轨道,我们引入了一个注意层的ASR编码器,能够软选择适当的面部视频轨道。在超过30 k小时的YouTube视频上训练的A/V系统上进行的实验表明,与说话面部的Oracle选择相比,所提出的方法可以自动选择适当的面部轨迹,并且具有较小的WER降级,同时仍然显示出采用视觉信号而不是单独使用音频的好处。
2022-05-11 cs.CV cs.LG cs.SD
Noise-tolerant Audio-visual Online Person Verification using an Attention-based Neural Network Fusion
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
在本文中,我们提出了一个多模式的在线人验证系统,同时使用语音和视觉信号。受语音和面部关联的神经科学发现的启发,我们提出了一个基于注意力的端到端神经网络,它学习多感官关联,用于人员验证任务。我们提出的网络中的注意力机制学习有条件地选择语音和面部表示之间的突出模态,从而在互补输入之间提供平衡。凭借这种能力,网络对来自任一模态的丢失或损坏的数据具有鲁棒性。在VoxCeleb2数据集中,我们证明了我们的方法与竞争的多模态方法相比表现良好。即使对于大腐败或完全缺失模态的极端情况,我们的方法也比其他单峰方法具有鲁棒性。
2018-11-27 cs.CV eess.AS
Dynamic Cross Attention for Audio-Visual Person Verification
Computer Research Institute of Montreal (CRIM)(蒙特利尔计算机研究所(CRIM))
提出动态交叉注意力(DCA)模型,通过条件门控层根据音视频模态间的强弱互补关系动态选择特征,在Voxceleb1数据集上持续提升性能并超越现有最先进方法。
2024-04-22 cs.CV cs.LG cs.SD
Enhancing Visual Representation for Text-based Person Searching
Metrological Verification and Testing Institute of Jiaxing(嘉兴市计量检定测试所);School of Artificial Intelligence, Zhejiang Sci-Tech University(浙江理工大学人工智能学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);College of Information Science and Engineering, Jiaxing University(嘉兴学院信息科学与工程学院)
本文提出VFE-TPS模型,通过引入CLIP多模态骨干、文本引导掩码图像建模和身份监督全局视觉特征校准,增强基于文本的行人搜索中的视觉细节理解与身份感知能力,在三个基准上显著提升Rank-1准确率。
2024-12-30 cs.CV
DegustaBot: Zero-Shot Visual Preference Estimation for Personalized Multi-Object Rearrangement
Carnegie Mellon University(卡内基梅隆大学);Hello Robot(Hello Robot公司)
针对家务多物体重排需匹配个人视觉偏好的问题,提出DegustaBot算法,结合预训练VLMs与零样本视觉提示技术实现个性化重排,通过模拟数据集和用户研究验证,50%的预测至少被20%的人接受。
2024-07-11 cs.CV cs.RO
Learning Audio-Visual embedding for Person Verification in the Wild
Beijing University of Posts and Telecommunications(北京邮电大学);Tencent Inc(腾讯公司)
已经观察到,对于个人验证,视听嵌入比单模态嵌入更鲁棒。在这里,我们提出了一种新的视听策略,认为聚合器从融合的角度来看。首先,我们在人脸验证中首次引入了权重增强的专注统计池。我们发现在池化过程中模态之间存在很强的相关性,因此提出了包含周期一致性的联合注意池化来学习隐式帧间权重。最后,每一个模态与一个门控注意力机制融合,以获得鲁棒的视听嵌入。所有提出的模型都是在VoxCeleb2 dev数据集上训练的,最好的系统在VoxCeleb1的三个官方试验列表上分别获得了0.18%,0.27%和0.49%的EER,据我们所知,这是最好的个人验证结果。
2022-10-26 cs.CV cs.MM cs.SD
Third-Person Visual Imitation Learning via Decoupled Hierarchical Controller
MIT(麻省理工学院);Facebook AI Research(脸书人工智能研究院);CMU(卡内基梅隆大学)
我们研究了一个广义的设置,从演示示教学习建立一个代理,可以操纵新的对象在看不见的情况下,只看一个视频的人类演示从第三人称的角度。为了实现这一目标,我们的智能体不仅要学会理解所演示的第三人称视频在其上下文中的意图,还要在其环境配置中执行预期的任务。我们的核心观点是在学习过程中通过将实现什么(预期任务)与如何执行它(控制器)解耦来明确地执行这种结构。我们提出了一个层次化的设置,其中一个高级模块学习生成一系列第一人称子目标的条件下的第三人称视频演示,和一个低级别的控制器预测的行动,以实现这些子目标。我们的代理根据原始图像观察进行操作,而无需访问完整的状态信息。我们展示了在一个真正的机器人平台上使用Baxter的倾倒和放置物体在一个盒子里的操作任务的结果。项目视频和代码在https://pathak22.github.io/hierarchical-imitation/
2019-11-21 cs.CV cs.LG cs.RO
Transformer-Based Video Front-Ends for Audio-Visual Speech Recognition for Single and Multi-Person Video
Google(谷歌)
视听自动语音识别(AV-ASR)通过引入视频模态作为附加信息源来扩展语音识别。在这项工作中,包含在说话人的嘴的运动的信息被用来增强音频功能。视频模态传统上用3D卷积神经网络(例如,VGG的3D版本)处理。最近,图像Transformer网络arXiv:2010.11929展示了为图像分类任务提取丰富视觉特征的能力。在这里,我们建议用视频Transformer代替3D卷积来提取视觉特征。我们训练我们的基线和建议的模型上的大规模语料库的YouTube视频。我们的方法的性能进行了评估的标签子集的YouTube视频以及LRS 3-TED公共语料库。我们最好的纯视频模型在YTDEV 18上获得了31.4%的WER,在LRS 3-TED上获得了17.0%的WER,比我们的卷积基线分别提高了10%和15%。我们实现了最先进的性能的视听识别的LRS 3-TED微调后,我们的模型(1.6% WER)。此外,在多人AV-ASR的一系列实验中,我们的卷积视频前端平均相对减少了2%。
2022-10-31 cs.CV cs.LG cs.SD
Look Closer: Bridging Egocentric and Third-Person Views with Transformers for Robotic Manipulation
使用强化学习(RL)从视觉反馈学习解决基于精度的操作任务可以大大减少传统机器人系统所需的工程工作。然而,仅从视觉输入执行细粒度的运动控制是具有挑战性的,特别是在以前的工作中经常使用的静态第三人称相机。我们提出了一个机器人操作的设置,其中代理接收视觉反馈,从第三人称相机和自我中心的相机安装在机器人的手腕上。虽然第三人称相机是静态的,但以自我为中心的相机使机器人能够主动控制其视觉,以帮助精确操作。为了有效地融合来自两个摄像头的视觉信息,我们还建议使用具有交叉视图注意力机制的Transformers,该机制将空间注意力从一个视图建模到另一个视图(反之亦然),并使用学习到的特征作为RL策略的输入。我们的方法提高了在强大的单视图和多视图基线上的学习,并成功地转移到一组具有挑战性的操作任务,在一个真实的机器人上,未校准的相机,无法访问状态信息,以及高度的任务可变性。在锤子操作任务中,我们的方法在75%的试验中成功,而对于多视图和单视图基线,分别为38%和13%。
2022-01-20 cs.CV cs.LG cs.RO
UniVerse: A Unified Modulation Framework for Segmentation-Free,Disentangled Multi-Concept Personalization
University of Maryland, College Park(马里兰大学College Park分校);Qualcomm Technologies, Inc.(高通技术公司)
提出UniVerse框架,通过扩散变换器中的统一调制实现无分割的多概念解耦与个性化,显著提升定位精度和视觉保真度。
2026-06-02 cs.CV
Audio-Visual Person Verification based on Recursive Fusion of Joint Cross-Attention
Computer Research Institute of Montreal (CRIM)(蒙特利尔计算机研究所)
本文提出一种基于联合交叉注意力递归融合的视听人物验证方法,通过递归细化联合特征表示并引入BLSTMs增强时间建模,有效捕获模态内与模态间关系,在Voxceleb1数据集上显著提升了融合性能。
2024-04-26 cs.CV cs.SD eess.AS
Domain Generalization through Audio-Visual Relative Norm Alignment in First Person Action Recognition
Politecnico di Torino(都灵理工大学);Istituto Italiano di Tecnologia(意大利技术研究院);CINI Consortium(CINI联盟)
由于可穿戴相机的日益普及,第一人称动作识别正在成为一个越来越受研究的领域。这揭示了在这方面尚未解决的跨领域问题。事实上,从学习表征中提取的信息存在固有的“环境偏见”。这强烈影响了泛化到不可见场景的能力,限制了当前方法在训练期间无法获得标记数据的真实环境中的应用。在这项工作中,我们介绍了第一个领域泛化的自我中心的活动识别方法,提出了一个新的视听损失,称为相对范数对齐损失。它在训练过程中,通过调整它们的特征规范表示,在不同的领域重新平衡了两种模态的贡献。我们的方法导致强大的结果在领域泛化EPIC-Kitchen-55和EPIC-Kitchen-100,广泛的实验证明,并可以扩展到工作也领域自适应设置具有竞争力的结果。
2021-10-19 cs.CV
Dubbing for Everyone: Data-Efficient Visual Dubbing using Neural Rendering Priors
University of Bath(巴斯大学);Deepreel
本文提出一种基于数据高效神经渲染先验的视觉配音方法,仅需几秒钟演员数据即可实现高质量唇部同步,在视觉质量和可辨识度上达到最先进水平,并具备更强的泛化能力和可扩展性。
2024-01-11 cs.CV cs.GR
Social Behavior Prediction from First Person Videos
UPenn(宾夕法尼亚大学);KAIST(韩国科学技术院);UMN(明尼苏达大学)
本文提出了一种方法来预测未来的运动(位置和视线方向)的篮球运动员作为一个整体,从他们的第一人称视频。预测的行为反映了一个个体的物理空间,该空间允许采取下一个行动,同时通过参与共同注意来符合社会行为。我们的主要创新是使用多个第一人称相机的3D重建来自动注释彼此的社交配置的视觉语义。我们利用了第一人称视频中独特的两个学习信号。单独地,第一人称视频记录了一个人周围的空间和社交布局的视觉语义,允许与过去的类似情况相关联。总的来说,第一人称视频遵循联合注意力,可以将个人链接到一个组。我们学习自我中心的视觉语义的群体运动使用暹罗神经网络检索未来的轨迹。我们通过最大限度地提高社会兼容性来巩固从所有玩家中检索到的轨迹-他们的社会形成预测的对联合注意力的注视对齐,其中联合注意力的动态是通过长期循环卷积网络学习的。这使我们能够描述哪种社会结构更合理,并预测未来的群体轨迹。
2016-11-29 cs.CV
Pose-Guided Multi-Granularity Attention Network for Text-Based Person Search
Center for Research on Intelligent Perception and Computing (CRIPAC)(智能感知与计算研究中心);National Laboratory of Pattern Recognition (NLPR)(模式识别国家重点实验室);University of Chinese Academy of Sciences (UCAS)(中国科学院大学);Center for Excellence in Brain Science and Intelligence Technology (CEBSIT)(脑科学与智能技术卓越创新中心);Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所)
基于文本的人物搜索是通过对人物的描述语句从图像数据库中检索出相应的人物图像,在视频监控等应用中具有很大的潜力。提取与人类描述相对应的视觉内容是跨模态匹配问题的关键。此外,相关的图像和描述涉及不同粒度的语义相关性,这通常是在以前的方法被忽略。为了利用多层次的视觉内容,我们提出了一个姿势引导的多粒度注意力网络(PMA)。首先,我们提出了一个粗对齐网络(CA)选择相关的图像区域的全局描述的相似性为基础的注意。为了进一步捕获短语相关的视觉身体部位,提出了一种细粒度对齐网络(FA),该网络利用姿势信息来学习视觉身体部位与文本名词短语之间的潜在语义对齐。为了验证我们的模型的有效性,我们进行了广泛的实验,香港中文大学的人描述数据集(CUHK-PEDES),这是目前唯一可用的数据集,基于文本的人搜索。实验结果表明,我们的方法优于国家的最先进的方法的15%的前1个指标。
2019-11-27 cs.CV
PhotoBench: Beyond Visual Matching Towards Personalized Intent-Driven Photo Retrieval
Shanghai Jiao Tong University(上海交通大学)
PhotoBench 是首个基于真实个人相册构建的基准,旨在通过多源意图驱动推理提升个性化图片检索能力。
2026-08-24 cs.AI cs.CV cs.IR
See Finer, See More: Implicit Modality Alignment for Text-based Person Retrieval
Tencent Youtu Lab(腾讯优图实验室);Shanghai Jiao Tong University(上海交通大学);Anhui University(安徽大学)
基于文本的人物检索的目的是根据文本描述找到查询人。关键是学习视觉-文本模态之间的共同潜在空间映射。为了实现这一目标,现有的作品采用分割来获得明确的跨模态对齐或利用注意力来探索显着的对齐。这些方法有两个缺点:1)标记跨模态对齐是耗时的。2)注意力方法可以探索突出的跨模态对齐,但可能会忽略一些微妙的和有价值的对。为了缓解这些问题,我们引入了一个隐式视觉文本(IVT)框架,基于文本的人检索。与以前的模型不同,IVT利用单个网络来学习两种模态的表示,这有助于视觉-文本交互。为了探索细粒度对齐,我们进一步提出了两种隐式语义对齐范式:多级对齐(MLA)和双向掩码建模(BMM)。MLA模块在句子、短语和单词级别探索更精细的匹配,而BMM模块旨在挖掘视觉和文本模态之间的\textbf{more}语义对齐。在公共数据集上进行了大量的实验来评估所提出的IVT,即,CUHK-PEDES、RSTPReID和ICFG-PEDES。即使没有明确的身体部位对齐,我们的方法仍然达到了最先进的性能。代码可在:https://github.com/TencentYoutuResearch/PersonRetrieval-IVT.
2022-08-26 cs.CV
DesignPref: Capturing Personal Preferences in Visual Design Generation
Carnegie Mellon University(卡内基梅隆大学);Apple(苹果公司)
DesignPref通过引入包含20名专业设计师多级评分的12,000对UI设计比较数据集,研究个性化视觉设计评估,展示个性化模型在预测个体偏好上的优越性。
2025-11-25 cs.AI cs.CL cs.CV