Identifying First-person Camera Wearers in Third-person Videos
Indiana University Bloomington（印第安纳大学伯明顿分校）；University of California, Davis（加利福尼亚大学戴维斯分校）
我们考虑的情况下，我们希望执行联合场景理解，对象跟踪，活动识别，和其他任务的环境中，多个人都穿着身体佩戴的相机，而第三人称静态相机也捕捉到的场景。要做到这一点，我们需要在第一人称和第三人称视频中建立人的级别对应关系，这是一个挑战，因为摄像机佩戴者在他/她自己的自我中心视频中是不可见的，从而阻止了直接特征匹配的使用。在本文中，我们提出了一种新的半连体卷积神经网络架构，以解决这一新的挑战。我们制定的问题，学习联合嵌入空间的第一和第三人称视频，同时考虑空间和运动域线索。设计了一个新的三重损失函数，使正确的第一人称和第三人称匹配之间的距离最小化，同时使不正确的匹配之间的距离最大化。这种端到端方法的性能明显优于几个基线，部分原因是通过学习第一人称和第三人称特征，这些特征被优化用于与距离度量本身联合匹配。
2017-04-20 cs.CV
What I See Is What You See: Joint Attention Learning for First and Third Person Video Co-analysis
Beihang University（北京航空航天大学）；Hunan University（湖南大学）；Peng Cheng Laboratory（鹏城实验室）
近年来，越来越多的视频被可穿戴相机从第一人称视角捕获。这种第一人称视频提供了除传统第三人称视频之外的附加信息，因此具有广泛的应用。然而，用于分析第一人称视频的技术可能与用于第三人称视频的技术根本不同，并且从两个视角探索共享信息甚至更加困难。在本文中，我们提出了一种新的方法，第一和第三人称视频共同分析。在我们的方法的核心是“联合注意”的概念，表示可学习的表示，对应于共享的注意区域在不同的观点，从而连接两个观点。为此，我们开发了一个具有三重损失的多分支深度网络，通过自监督学习从第一和第三人称视频中提取联合注意力。我们评估我们的方法在公共数据集上的跨视点视频匹配任务。我们的方法优于国家的最先进的定性和定量。我们还演示了如何学习联合注意可以通过一组额外的实验受益于各种应用程序。
2019-04-16 cs.CV
Joint Person Segmentation and Identification in Synchronized First- and Third-person Videos
Indiana University（印第安纳大学）
在摄像机无处不在的世界中，公共空间通常由固定和移动的不同类型的摄像机从多个角度捕获。一个重要的问题是通过找到它们之间的联系来组织这些异构的视频集合，例如识别出现在视频中的人与持有或佩戴相机的人之间的对应关系。在本文中，我们希望解决两个具体问题：（1）给定场景的两个或更多个同步的第三人称视频，产生每个可见人的像素级分割，并识别跨不同视图的对应人（即，确定相机A中的谁对应于相机B中的谁），以及（2）给定一个或多个同步的第三人称视频以及由移动或可穿戴相机拍摄的第一人称视频，分割并识别第三人称视频中的相机佩戴者。与以前的工作，需要地面真值边界框来估计的对应关系，我们执行的人分割和识别联合。我们发现，同时解决这两个问题是互利的，因为更好的细粒度分割使我们能够更好地执行跨视图的匹配，来自多个视图的信息有助于我们执行更准确的分割。我们在两个具有挑战性的数据集上评估了我们的方法，这些数据集是从多个可穿戴相机捕获的交互人员，并表明我们提出的方法在人员分割和识别方面的表现明显优于最先进的方法。
2018-07-25 cs.CV
Making Third Person Techniques Recognize First-Person Actions in Egocentric Videos
IIIT Delhi（德里印度信息技术学院）
我们专注于自我中心视频的第一人称动作识别。与第三人称域不同，研究人员将第一人称动作分为两类：涉及手-物体交互的动作和不涉及手-物体交互的动作，并为这两类动作开发了单独的技术。此外，有人认为，用于第三人动作识别的传统线索是不够的，自我中心的特定功能，如头部运动和处理的对象已被用于这样的动作。与最先进的方法不同，我们证明了具有长短期记忆（LSTM）架构的常规双流卷积神经网络（CNN），具有对象和运动的单独流，可以推广到所有类别的第一人称动作。所提出的方法统一了所有动作类别所学习的特征，使所提出的架构更加实用。在一个重要的观察中，我们注意到，在以自我为中心的视频中可见的对象的大小要小得多。我们表明，该模型的性能提高后，裁剪和裁剪帧，使对象的大小与ImageNet的对象的大小相当。我们在标准数据集GTEA、EGTEA Gaze+、HUJI、ADL、UTE和Kitchen上的实验证明，我们的模型明显优于各种最先进的技术。
2019-10-17 cs.CV
Use of First and Third Person Views for Deep Intersection Classification
University of Fukui（福井大学）
我们探讨的问题，交叉口分类使用单目车载被动视觉，与道路拓扑结构的交通场景进行分类的目标。我们根据输入数据的类型将现有的方法分为两大类：（a）第一人称视觉（FPV）方法，其在通过交叉口时使用以自我为中心的视图序列;以及（b）第三人称视觉（TPV）方法，其在进入交叉口之前立即使用单个视图。FPV和TPV方法各有优缺点。因此，我们的目标是将它们组合成一个统一的深度学习框架。实验结果表明，所提出的FPV-TPV方案优于以往的方法，只需要最少的FPV/TPV测量。
2019-01-22 cs.CV
FT-HID: A Large Scale RGB-D Dataset for First and Third Person Human Interaction Analysis
Tianjin University（天津大学）；Zhengzhou University（郑州大学）；University of Wollongong（伍伦贡大学）
人机交互分析是人体运动分析的重要研究内容之一。它已经使用第一人称视觉（FPV）或第三人称视觉（TPV）进行了研究。然而，到目前为止，这两种类型的视觉的联合学习很少引起注意。原因之一是缺乏涵盖FPV和TPV的合适数据集。此外，FPV或TPV的现有基准数据集有几个局限性，包括样本数量有限，参与者主题，交互类别和方式。在这项工作中，我们贡献了一个大规模的人类交互数据集，即FT-HID数据集。FT-HID包含第一人称和第三人称视觉的配对对齐样本。该数据集收集自109个不同的受试者，并有超过90 K的样本三种方式。该数据集已通过使用几种现有的动作识别方法进行了验证。此外，我们引入了一种新的多视图交互机制的骨架序列，和一个联合学习多流框架的第一人称和第三人称的视觉。这两种方法都在FT-HID数据集上产生了有希望的结果。预计这种视觉对齐的大规模数据集的引入将促进FPV和TPV的发展，以及它们用于人类行为分析的联合学习技术。数据集和代码可在\href{https://github.com/ENDLICHERE/FT-HID}{here}上获得。
2022-09-21 cs.CV
A Unified Method for First and Third Person Action Recognition
Shahid Beheshti University（沙希德·贝赫什提大学）
本文提出了一种新的视频分类方法，它可以应用于第一和第三人称视频。所提出的策略背后的主要思想是通过对视频执行两个独立的流来有效地捕获外观和运动的互补信息。第一个流的目标是通过跟踪光流图像中的元素如何随时间变化来从较短的运动中捕获长期运动。光流图像由在大规模图像数据集上训练的预训练网络描述。一组多通道的时间序列，通过对齐彼此旁边的描述。为了从这些时间序列中提取运动特征，PoT表示方法加上一个新的池化算子，由于有几个优点。第二个流是完成提取外观特征，这是至关重要的情况下，视频分类。所提出的方法已经在第一和第三人称数据集上进行了评估，结果表明所提出的方法成功地达到了最先进的水平。
2018-04-08 cs.CV
EgoExoBench: A Benchmark for First- and Third-person View Video Understanding in MLLMs
Nanjing University（南京大学）；Shanghai AI Laboratory（上海人工智能实验室）；The University of Tokyo（东京大学）；Zhejiang University（浙江大学）；Fudan University（复旦大学）
本文提出首个面向第一/第三人称视频理解与推理的基准 EgoExoBench，通过 7,300 多个问答对评估 13 个 MLLMs，揭示其跨视角语义、关联及时序推理短板。
2025-07-24 cs.CV
Third-Person Visual Imitation Learning via Decoupled Hierarchical Controller
MIT（麻省理工学院）；Facebook AI Research（脸书人工智能研究院）；CMU（卡内基梅隆大学）
我们研究了一个广义的设置，从演示示教学习建立一个代理，可以操纵新的对象在看不见的情况下，只看一个视频的人类演示从第三人称的角度。为了实现这一目标，我们的智能体不仅要学会理解所演示的第三人称视频在其上下文中的意图，还要在其环境配置中执行预期的任务。我们的核心观点是在学习过程中通过将实现什么（预期任务）与如何执行它（控制器）解耦来明确地执行这种结构。我们提出了一个层次化的设置，其中一个高级模块学习生成一系列第一人称子目标的条件下的第三人称视频演示，和一个低级别的控制器预测的行动，以实现这些子目标。我们的代理根据原始图像观察进行操作，而无需访问完整的状态信息。我们展示了在一个真正的机器人平台上使用Baxter的倾倒和放置物体在一个盒子里的操作任务的结果。项目视频和代码在https://pathak22.github.io/hierarchical-imitation/
2019-11-21 cs.CV cs.LG cs.RO
Self-Supervised Disentangled Representation Learning for Third-Person Imitation Learning
Stony Brook University（石溪大学）
人类通过观察别人来学习模仿。然而，机器人模仿学习通常需要第一人称视角（FPV）的专家演示。为每个机器人收集这样的FPV视频可能非常昂贵。第三人称模仿学习（英语：Third-person imitation learning，TPIL）是一种通过以第三人称视角（英语：Third-person view，TPV）观察其他主体来学习行为策略的概念，类似于人类的行为。这最终允许在TPV中利用来自许多不同数据源的人类和机器人演示视频，用于策略学习。在本文中，我们提出了一个TPIL方法的机器人任务与egomotion。虽然许多具有地面/空中机动性的机器人任务通常涉及摄像机自运动的动作，但针对此类任务的TPIL研究一直有限。在这里，FPV和TPV观察在视觉上非常不同; FPV显示自我运动，而代理外观仅在TPV中可见。为了使TPIL更好的状态学习，我们提出了我们的解纠缠表示学习方法。我们使用双自动编码器结构加上表示置换损失和时间对比损失，以确保状态和视点表示很好地解开。我们的实验表明我们的方法的有效性。
2021-08-02 cs.CV cs.LG cs.RO
POV: Prompt-Oriented View-Agnostic Learning for Egocentric Hand-Object Interaction in the Multi-View World
Renmin University of China（中国人民大学）
针对现有方法难以实现第三人称到第一人称手-物交互视角适配的问题，提出POV框架，通过帧级交互掩码提示和令牌级视角感知提示，仅用少量第一人称视频实现视角适配与泛化，构建两个基准验证了方法有效性。
2024-03-09 cs.CV
Look Closer: Bridging Egocentric and Third-Person Views with Transformers for Robotic Manipulation
使用强化学习（RL）从视觉反馈学习解决基于精度的操作任务可以大大减少传统机器人系统所需的工程工作。然而，仅从视觉输入执行细粒度的运动控制是具有挑战性的，特别是在以前的工作中经常使用的静态第三人称相机。我们提出了一个机器人操作的设置，其中代理接收视觉反馈，从第三人称相机和自我中心的相机安装在机器人的手腕上。虽然第三人称相机是静态的，但以自我为中心的相机使机器人能够主动控制其视觉，以帮助精确操作。为了有效地融合来自两个摄像头的视觉信息，我们还建议使用具有交叉视图注意力机制的Transformers，该机制将空间注意力从一个视图建模到另一个视图（反之亦然），并使用学习到的特征作为RL策略的输入。我们的方法提高了在强大的单视图和多视图基线上的学习，并成功地转移到一组具有挑战性的操作任务，在一个真实的机器人上，未校准的相机，无法访问状态信息，以及高度的任务可变性。在锤子操作任务中，我们的方法在75%的试验中成功，而对于多视图和单视图基线，分别为38%和13%。
2022-01-20 cs.CV cs.LG cs.RO
Rolling-Unrolling LSTMs for Action Anticipation from First-Person Video
University of Catania（卡塔尼亚大学）
在本文中，我们解决了自我中心的行动预期的问题，即，预测相机佩戴者将在不久的将来执行什么动作以及他们将与哪些对象交互。具体来说，我们贡献了Rolling-Unrolling LSTM，这是一种学习架构，可以从以自我为中心的视频中预测动作。该方法基于三个组成部分：1）由两个LSTM组成的架构，以对总结过去和推断未来的子任务进行建模，2）序列完成预训练技术，其鼓励LSTM专注于不同的子任务，以及3）模态注意（MATT）机制，其有效地融合通过处理RGB帧执行的多模态预测，光流场和基于对象的特征。所提出的方法在EPIC-Kitterfly、EGTEA Gaze+和ActivityNet上进行了验证。实验表明，所提出的架构在以自我为中心的视频领域是最先进的，在2019年EPIC-Kitchen-egocentric action prediction challenge中取得了最佳表现。该方法还在ActivityNet上实现了不基于无监督预训练的方法的竞争性能，并推广到早期动作识别和动作识别的任务。为了鼓励对这个具有挑战性的主题的研究，我们在我们的网页上提供了我们的代码，训练模型和预提取的特征：www.example.com。
2020-05-08 cs.CV
A Novel Approach for Robust Multi Human Action Recognition and Summarization based on 3D Convolutional Neural Networks
Qatar University（卡塔尔大学）；Northumbria University（诺森比亚大学）；Galilee Institute（加利利学院）
视频中的人类行为是3D信号。然而，有一些方法可用于多个人类动作识别。对于长视频，很难在视频中搜索特定的动作和/或人物。针对这一问题，本文提出了一种新的监控视频多人动作识别和摘要技术。所提出的方法提出了一种新的表示的数据提取序列的每个人从场景中。随后分析每个序列，以使用3D卷积神经网络（3DCNN）检测和识别相应的动作。通过保存每个人在视频的每个时间的动作来执行基于视频的摘要。这项工作的结果表明，所提出的方法提供了准确的多人动作识别，很容易用于总结的任何行动。此外，对于可以从互联网上收集的其他视频，这些视频很复杂，不是为监控应用而构建的，所提出的模型在UCF 101和YouTube等数据集上进行了评估，而没有进行任何预处理。对于这类视频，通过总结每个子序列中的动作来对视频序列执行总结。所获得的结果表明其效率相比，国家的最先进的方法。
2021-03-15 cs.CV
Retrieval-Augmented Egocentric Video Captioning
Fudan University（复旦大学）；The University of Tokyo（东京大学）；Nanjing University（南京大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
针对第一人称视频行为理解的挑战，提出检索增强的多模态字幕模型EgoInstructor，通过自动检索第三人称教学视频增强效果，设计EgoExoNCE损失训练跨视角检索模块，在7个基准上取得优异性能，显著提升第一人称视频字幕生成质量。
2024-06-19 cs.CV
Towards Comprehensive Scene Understanding: Integrating First and Third-Person Views for LVLMs
Seoul National University（首尔大学）；Sungkyunkwan University（成均馆大学）
本文提出结合第一人称与第三人称视角的框架，并构建E3VQA基准和M3CoT提示技术，以增强LVLMs的多视角场景理解能力，实验显示显著性能提升。
2025-10-24 cs.AI cs.CV
Mirror Learning
University of British Columbia（不列颠哥伦比亚大学）；Inverted AI；Amii
该研究提出镜像学习框架，通过视频扩散模型的视角变换与逆动力学模型合成镜像数据，用其增强行为克隆训练可提升策略性能，为数据收集提供替代方案。
2026-08-03 cs.CV cs.LG cs.RO
First Person Action-Object Detection with EgoNet
University of Pennsylvania（宾夕法尼亚大学）；University of Minnesota（明尼苏达大学）；UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
与传统的安装在机器人上的第三人称相机不同，第一人称相机从近距离捕捉人的视觉感觉运动对象交互。在本文中，我们研究了我们的瞬时视觉注意和运动动作与第一人称相机的对象之间的紧密相互作用。我们提出了一个动作对象的概念-捕捉人的有意识的视觉（看电视）或触觉（拿杯子）交互的对象。动作对象可以是任务相关的，但是由于许多任务共享共同的人-对象空间配置，动作对象相对于人表现出特征3D空间距离和取向。我们设计了一个预测模型，使用EgoNet检测动作对象，EgoNet是一个联合双流网络，它整体集成了视觉外观（RGB）和3D空间布局（深度和高度）线索，以预测动作对象的每像素可能性。我们的网络还集成了第一人称坐标嵌入，旨在学习第一人称数据中动作对象的空间分布。我们展示了EgoNet的预测能力，通过显示它始终优于以前的基线方法。此外，EgoNet还表现出很强的泛化能力，即，它预测新的第一人称数据集中语义上有意义的对象。我们的方法有效地检测动作对象的能力可以用来提高机器人对人与物体交互的理解。
2017-06-10 cs.CV
Estimating 3D Motion and Forces of Person-Object Interactions from Monocular Video
DI ENS PSL（巴黎高等师范学院PSL计算机系）；Inria（法国国家信息与自动化研究所）；CIIRC, CTU in Prague（捷克技术大学布拉格人工智能中心）；LAAS-CNRS（法国国家科学研究中心系统分析与体系结构实验室）
在本文中，我们介绍了一种方法来自动重建一个人与一个物体从一个单一的RGB视频的3D运动。我们的方法估计的3D姿态的人和物体，接触位置，和力和力矩致动的人的四肢。这项工作的主要贡献有三个方面。首先，我们介绍了一种方法来共同估计的运动和驱动力的人对被操纵的对象建模接触和他们的相互作用的动态。这是一个大规模的轨迹优化问题。其次，我们开发了一种方法，可以从输入视频中自动识别人与物体或地面之间接触的位置和时间，从而大大简化了优化的复杂性。第三，我们在最近的MoCap数据集上验证了我们的方法，并在一个新的互联网视频数据集上展示了它的性能，这些视频显示人们在不受约束的环境中操纵各种工具。
2019-06-17 cs.CV
Multi-Target Tracking in Multiple Non-Overlapping Cameras using Constrained Dominant Sets
University IUAV of Venice（威尼斯IUAV大学）；Ca’ Foscari University of Venice（威尼斯大学）；University of Parma（帕尔马大学）；University of Central Florida（中佛罗里达大学）
本文提出了一种统一的三层分层方法来解决多个非重叠摄像机的跟踪问题。给定一个视频和一组检测（由任何人检测器获得），我们首先使用我们框架的前两层解决摄像机内跟踪，然后在第三层中，我们通过同时合并所有摄像机中同一个人的轨迹来解决跨摄像机跟踪。为了更好地服务于我们的目的，约束优势集聚类（CDSC）技术，一个参数化的版本标准的二次优化，来解决这两个跟踪任务。跟踪问题被归结为从一个图中寻找约束支配集。除了具有同时解决摄像机内和跨摄像机跟踪的统一框架外，第三层还有助于链接在摄像机内跟踪期间发生的同一个人的中断跟踪。在这项工作中，我们提出了一个快速的算法，从进化博弈论的动态的基础上，这是有效的，可销售到大规模的现实世界中的应用。
2017-06-19 cs.CV
Person Re-identification in the Wild
University of Technology Sydney（悉尼科技大学）；UTSA（得克萨斯大学圣安东尼奥分校）；USTC（中国科学技术大学）；UCSD（加利福尼亚大学圣迭戈分校）
我们提出了一个新的大规模数据集和全面的基线，用于端到端的行人检测和原始视频帧中的人员识别。我们的基线解决了三个问题：检测器和识别器的各种组合的性能，行人检测机制，以帮助提高整体重新识别的准确性和评估不同的检测器的有效性进行重新识别。我们做出了三个不同的贡献。首先，一个新的数据集，PRW，被引入到评估人重新识别在野外，使用通过六个同步摄像机获得的视频。它包含932个身份和11，816帧，其中行人注释了他们的限界框位置和身份。广泛的基准测试结果在这个数据集上。其次，我们表明，行人检测有助于重新识别，通过两个简单而有效的改进：一个有区别地训练的ID歧视性嵌入（IDE）在人的子空间使用卷积神经网络（CNN）功能和置信加权相似性（CWS）度量，将检测分数到相似性测量。第三，我们获得的见解，在评估检测器性能的特定情况下，准确的人重新识别。
2017-04-06 cs.CV
End-to-End Detection and Re-identification Integrated Net for Person Search
Chongqing University（重庆大学）；Hefei University of Technology（合肥工业大学）
本文提出了一种行人检测和重新识别（re-id）集成网络（I-Net）在端到端的学习框架。I-Net应用于实际视频监控场景，需要在整个场景视频中搜索目标人物，而行人边界框的标注不可用。通过与联合检测和re-id的OIM相比，我们有三个不同的贡献。首先，我们引入了一个连体结构的I-Net，而不是1流，这样就可以实现验证任务。其次，我们提出了一种新的在线配对损失（OLP）和硬例子优先的软最大损失（HEP），这样，只有硬否定提出了更多的注意力在损失计算。第三，在I-Net中设计了一个在线字典，用于存储阴性样本，而不记录阳性样本。我们在个人搜索数据集上展示了我们的结果，检测和重新识别之间的差距缩小了。可以实现优异的性能。
2018-04-02 cs.CV
Trajectory Aligned Features For First Person Action Recognition
IIIT Hyderabad（印度海得拉巴国际信息技术学院）；IIIT Delhi（印度德里国际信息技术学院）
以自我为中心的视频的特点是具有第一人称视角的能力。随着谷歌眼镜和GoPro的普及，以自我为中心的视频的使用正在增加。从以自我为中心的视频中识别穿戴者的动作是一个重要的问题。由于佩戴者的自然头部运动引起的相机的非结构化移动导致以自我为中心的相机的视野的急剧变化，从而导致许多标准的第三人称动作识别技术在这样的视频上表现不佳。场景中的物体和佩戴者的手势是第一人称动作识别的最重要线索，但在以自我为中心的视频中很难分割和识别。我们提出了一种新的表示的第一人称动作来自特征轨迹。这些特征使用标准点跟踪计算起来很简单，并且不像许多以前的方法那样假设手部/对象的分割或识别对象或手部姿势。我们训练一袋的话分类与建议的功能和报告的性能提高了11%以上的公开可用的数据集。虽然不是针对特定情况设计的，但我们表明，当手或物体不可见时，我们的技术也可以识别佩戴者的动作。
2016-04-07 cs.CV
Is Tracking really more challenging in First Person Egocentric Vision?
University of Udine（乌迪内大学）；York University（约克大学）
针对现有研究认为第一人称自我中心视觉跟踪更具挑战但评估场景差异大的问题，该研究提出新型基准测试以分离视角与人-物活动领域的影响，明确难点来源以推动任务发展。
2025-07-21 cs.CV
GROWL: Group Detection With Link Prediction
King’s College London（伦敦国王学院）
交互组检测以前已经解决了自下而上的方法，依赖于个人的位置和方向信息。这些方法主要基于成对亲和矩阵，并且仅限于静态的第三人称视图。这个问题可以大大受益于基于图神经网络（GNN）的整体方法，而不是成对关系，因为形成交互组的个体之间存在固有的空间配置。我们提出的方法，GROup检测与链接预测（GROWL），证明了基于GNN的方法的有效性。GROWL通过基于图中的邻域生成特征嵌入来预测两个个体之间的联系，并确定它们是否与多层感知器（MLP）等浅层二进制分类方法相连接。我们在第三人称视图数据集和机器人中心（即，egocentric）数据集。此外，我们提出了一种基于RGB和深度数据的多模态方法来计算GROWL可以用作输入的表示。我们的研究结果表明，基于GNN的方法可以显着提高不同相机视图的准确性，即，第三人称和自我中心的观点。
2021-11-08 cs.CV cs.RO
SoMi-ToM: Evaluating Multi-Perspective Theory of Mind in Embodied Social Interactions
The University of Hong Kong（香港大学）；Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰霍普金斯大学）；University of California Irvine（加州大学尔湾分校）；Stanford University（斯坦福大学）
SoMi-ToM基准通过多视角评估人类与模型在具身社会互动中的理论之心能力，揭示大型视觉-语言模型在复杂社交场景中的不足。
2025-12-15 cs.AI cs.CL cs.CV
Pipeline for 3D reconstruction of the human body from AR/VR headset mounted egocentric cameras
Bharati Vidyapeeth’s College of Engineering（巴拉蒂维迪亚佩斯工程学院）
在本文中，我们提出了一种新的管道的三维重建的全身自我中心的观点。从以自我为中心的观点进行人体的3-D重建是一项具有挑战性的任务，因为视图是倾斜的，并且离相机较远的身体部位被遮挡。一个这样的例子是安装在VR头显下方的摄像头的视图。为了实现这一任务，我们首先使用条件GANs将自我中心的视图转换为完整的第三人称视图。这增加了图像的可理解性并迎合了遮挡。所生成的第三人称视图还通过生成身体的3D网格的3D重建模块发送。我们还训练了一个网络，可以采取第三人称全身的主题，并产生纹理映射应用于网格。生成的网格具有相当逼真的身体比例，并完全操纵允许进一步的应用程序，如实时动画和姿势转移游戏。这种方法可能是关键的一个新领域的移动人类远程呈现。
2021-11-09 cs.AI cs.CV
Deep Transfer Learning for Person Re-identification
人员重新识别（Re-ID）对深度学习提出了一个独特的挑战：如何在很少或没有标签的小训练集上学习具有数百万参数的深度模型。在本文中，提出了一些深度迁移学习模型来解决数据稀疏问题。首先，设计了一种深度网络架构，该架构与现有的深度Re-ID模型的不同之处在于：（a）它更适合于传输从大型图像分类数据集学习到的表示，以及（b）分类丢失和验证丢失相结合，每个都采用不同的丢弃策略。其次，两步微调策略的开发，从辅助数据集的知识转移。第三，针对未标记的Re-ID数据集，提出了一种基于协同训练的无监督深度迁移学习模型。所提出的模型大大优于最先进的深度Re-ID模型：我们在CUHK 03，Market 1501和VIPeR上分别实现了85.4\%，83.7\%和56.3\%的Rank-1准确率，而在VIPeR上，我们的无监督模型（45.1\%）击败了大多数监督模型。
2016-11-22 cs.CV
Privacy Aware Person Detection in Surveillance Data
Ghent University - imec（根特大学 - imec）
人群管理依赖于操作员或目标检测模型对监控视频的检查。这些模型很大，很难在资源受限的边缘硬件上部署它们。相反，计算通常被卸载到（第三方）云平台。虽然人群管理可能是一个合法的应用程序，但将视频从摄像机传输到远程基础设施可能会为提取侵犯隐私的其他信息（如人员跟踪或面部识别）打开大门。在本文中，我们使用对抗训练来获得一个轻量级的混淆器，它可以将视频帧转换为仅保留人员检测所需的信息。重要的是，混淆后的数据可以由公共可用的对象检测器处理，而无需重新训练，并且不会显著损失准确性。
2021-10-28 cs.CV cs.LG
WorldRover: A Scalable Synthetic Video Data Engine for World Exploration with Rich Annotations
Alaya Lab（Alaya实验室）；The University of Tokyo（东京大学）；Shanghai Innovation Institute（上海创新研究院）
本文提出WorldRover数据引擎，基于Unreal Engine构建可生成带丰富标注的长程探索合成视频的WorldRover-10M数据集，为相关模型提供监督。
2026-08-20 cs.CV cs.GR
Vision-Based Manipulators Need to Also See from Their Hands
Stanford University（斯坦福大学）
我们研究了视觉视角的选择如何影响学习和泛化的物理操作的背景下，从原始传感器的观察。与更常用的全局第三人称视角相比，以手为中心（手眼）的视角降低了可观察性，但我们发现它始终提高了训练效率和分布外泛化。这些益处在各种学习算法、实验设置和分布偏移中保持，并且对于模拟的和真实的机器人装置两者都保持。然而，这只是当以手为中心的可观察性足够时的情况;否则，包括第三人称视角对于学习是必要的，但也会损害分布外泛化。为了缓解这一点，我们建议通过一个变化的信息瓶颈，规范化的第三人称信息流。在六个代表性的操作任务与不同的手为中心的可观察性改编自元世界基准，这导致在一个国家的最先进的强化学习代理从两个角度操作，提高其分布外泛化对每个任务。虽然一些从业者长期以来一直将相机放在机器人手中，但我们的工作系统地分析了这样做的好处，并为改进端到端学习的基于视觉的机器人操作提供了简单而广泛适用的见解。
2022-03-15 cs.CV cs.LG cs.RO
Multimodal Foundation Model for Cross-Modal Retrieval and Activity Recognition Tasks
Kyushu Institute of Technology（九州工业大学）
本文提出融合第三人称视频、运动捕捉、IMU和文本的多模态基础模型AURA-MFM，通过Transformer编码器提升跨模态检索与活动识别性能，零样本动作识别表现显著优于现有方法。
2025-05-29 cs.AI cs.CV cs.LG
