MACNet: Multi-scale Atrous Convolution Networks for Food Places Classification in Egocentric Photo-streams
Rovira i Virgili University（罗维拉-威尔吉利大学）；University of Barcelona（巴塞罗那大学）
第一人称（可穿戴）相机不断捕捉相机用户与反映其个人和关系倾向的对象，人和场景的非脚本交互。人们的偏好之一是他们与食物事件的互动。调节食物摄入量及其持续时间对于预防疾病非常重要。因此，这项工作的目的是开发一个智能模型，能够确定一个人在一天中在食物场所的复发率。该模型是基于一个深端到端的模型，通过分析自我中心的照片流自动食品的地方识别。在本文中，我们应用多尺度Atrous卷积网络来提取与输入图像的食物场所相关的关键特征。该模型是在一个名为“EgoFoodPlaces”的内部私人数据集上评估的。实验结果表明，在以自我为中心的照片流中，食物地点分类识别的结果是令人满意的。
2018-08-29 cs.CV
Social Style Characterization from Egocentric Photo-streams
University of Barcelona（巴塞罗那大学）；Computer Vision Center, Universitat Autónoma de Barcelona（巴塞罗那自治大学计算机视觉中心）；Microsoft Research（微软研究院）
本文提出了一种使用可穿戴照相机的自动社会模式表征系统。拟议的管道包括三个主要步骤。首先，检测与相机佩戴者交互的人，其次，将检测到的社交交互分类为正式和非正式。这两个步骤在事件级起作用，每个潜在的社交事件被建模为多维时间序列，其维度对应于每个任务的一组相关特征，并且LSTM网络用于时间序列分类。在最后一步中，对同一个人在整个社交交互集合中的重复性进行聚类，以实现对用户社交关系的多样性和频率的全面理解。实验在一个月内由一个用户戴着一个照片相机获得的数据集显示出有希望的结果的任务的社会模式特征从自我中心的照片流。
2017-09-18 cs.CV
With Whom Do I Interact? Detecting Social Interactions in Egocentric Photo-streams
University of Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）
假设用户在一天中佩戴低帧速率可穿戴相机，本工作旨在仅通过回顾由佩戴相机自动捕获的照片来自动检测用户参与社交互动的时刻。所提出的方法，灵感来自社会学概念的F-形成，利用距离和方向的出现的个人-相对于用户-在场景中，从鸟瞰的角度来看。因此，序列上的交互模式可以被理解为二维时间序列，其对应于距离和取向特征随时间的时间演变。然后训练一个基于长短期记忆的递归神经网络对每个时间序列进行分类。在30.000张图像的数据集上的实验评估表明，所提出的方法在以自我为中心的照片流中进行社交互动检测的结果很有希望。
2017-05-12 cs.CV
All the people around me: face discovery in egocentric photo-streams
University of Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）
给定由可穿戴照相机（2fpm）捕获的图像的无约束流，我们提出了一种无监督的自下而上的方法，用于将出现的面部自动聚类到这些数据中存在的个体身份中。这个问题是具有挑战性的，因为图像是在真实世界条件下获得的，因此图像中的人的可见外观经历了强烈的变化。我们提出的管道包括首先将照片流安排到事件中，然后定位其中多个人的外观，最后将同一个人在不同事件中的各种外观分组。在一个月内佩戴照相机采集的数据集上进行的实验结果表明，所提出的方法的有效性所考虑的目的。
2017-05-12 cs.CV
Batch-based Activity Recognition from Egocentric Photo-Streams Revisited
可穿戴式摄像机可以收集大量图像数据，这些数据提供了有关穿戴者日常活动的丰富视觉信息。出于大量的健康应用，可以通过自动识别的日常活动，如生活方式表征习惯的改善，上下文感知的个人援助和远程康复服务，我们提出了一个系统来分类21个日常活动的照片流采集的可穿戴照相机。我们的方法结合了后期融合Entrance策略的优势，该策略依赖于图像级的卷积神经网络，具有递归神经网络的能力，可以在不依赖于事件边界的情况下解释照片流中高级特征的时间演化。所提出的基于批处理的方法实现了89.85%的总体准确性，优于最先进的端到端方法。这些结果是在一个数据集上实现的，该数据集由三个人在平均26天内拍摄的44，902张以自我为中心的照片组成。
2018-05-09 cs.CV
Semantic Summarization of Egocentric Photo Stream Events
Universitat Politecnica de Catalunya（加泰罗尼亚理工大学）；Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Consorci Sanitari de Terrassa（特拉萨医疗联盟）
近年来，随着可穿戴相机用户的快速增加以及它们产生的数据量的快速增加，对自动检索和摘要技术的需求非常强烈。这项工作解决的问题，自动总结自我中心的照片流通过可穿戴相机拍摄的图像检索的角度来看。在通过一种新的基于CNN的过滤器去除无信息图像之后，图像通过相关性进行排名以确保语义多样性，最后通过新颖性标准重新排名以减少冗余。为了评估结果，提出了一个新的评价指标，考虑到非唯一性的解决方案。实验结果应用于来自6个不同主题的7，110张图像的数据库，并由专家进行评估，专家满意度为95.74%，平均意见评分为4.57（满分5.0）。源代码可在https://github.com/imatge-upc/egocentric-2017-lta上获得
2017-08-18 cs.CV
Social Relation Recognition in Egocentric Photostreams
University of Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）
本文提出了一种方法来自动分类的社交互动的用户穿着照片相机2fpm，仅仅依靠什么相机看到的。这个问题是具有挑战性的，由于社会生活的压倒性的复杂性和极端的类内变化的社会互动下捕获的不受约束的条件。我们采用了布根塔尔的社会理论中提出的形式化，将人类关系分为五个相关类别的社会领域。我们的方法是一种新的深度学习架构，它利用标签空间的层次结构，并依赖于一组在帧级估计的社交属性来提供社交交互的语义表示。新的EgoSocialRelation数据集上的实验结果证明了我们的建议的有效性。
2019-05-12 cs.CV
Batch-Based Activity Recognition from Egocentric Photo-Streams
University of Barcelona（巴塞罗那大学）
从长的非结构化的以自我为中心的照片流中识别活动在辅助技术中有几个应用，例如健康监测和脆弱检测，仅举几例。然而，其主要技术挑战之一是处理可穿戴照相机的低帧速率，这导致连续帧之间的突然外观变化。因此，不能估计来自运动的重要的区分性低水平特征，诸如光流。在本文中，我们提出了一种批量驱动的方法来训练深度学习架构，该架构强烈依赖于长短期单元来解决这个问题。我们提出了两种不同的实现相同的方法，处理一个照片流序列使用固定大小的批次捕捉高层次的功能的时间演变的目标。这些实现之间的主要区别在于，通过重叠它们来显式地对连续的批进行建模。在三个用户获取的公共数据集上的实验结果证明了所提出的架构的有效性，可以在不依赖于事件边界的情况下利用卷积特征随时间的时间演化。
2017-08-25 cs.CV
Towards Egocentric Person Re-identification and Social Pattern Analysis
University of Groningen（格罗宁根大学）；University of Barcelona（巴塞罗那大学）
可穿戴相机捕捉相机佩戴者日常活动的第一人称视图，提供用户行为的视觉日记。检测相机用户与之交互的人的外观以用于社交交互分析是高度感兴趣的。一般而言，社会事件、生活方式和健康之间存在高度关联，但缺乏监测和分析工具。我们认为，自我中心的视觉提供了一个工具，以获得信息和理解用户的社会互动。我们提出了一个模型，使我们能够评估和可视化的社会特征，通过分析社会互动的外观内自我中心的photostreams。给定以自我为中心的图像集，我们检测相机佩戴者的日子内的面部外观，并依靠聚类算法将其特征描述符分组，以重新识别人。照片流中检测到的人脸的重复出现使我们能够形成用户行为的社会模式的想法。我们验证了我们的模型在几个星期内记录了不同的相机佩戴者。我们的研究结果表明，社会概况是潜在的有用的社会行为解释。
2019-05-10 cs.CV
SR-Clustering: Semantic Regularized Clustering for Egocentric Photo Streams Segmentation
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；University of Groningen（格罗宁根大学）；Imagga Technologies Ltd（Imagga技术有限公司）；Digital Spaces Living Lab（数字空间生活实验室）
虽然可穿戴相机变得越来越流行，但在以自我为中心的图像的大型非结构化集合中定位相关信息仍然是一个繁琐且耗时的过程。本文讨论了组织自我中心的照片流可穿戴式摄像机采集到语义有意义的片段的问题。首先，通过采用卷积神经网络方法为每个图像提取上下文和语义信息。之后，通过整合语言处理，在语义空间中定义概念词汇。最后，通过利用照片流中的时间相干性，共享上下文和语义属性的图像被分组在一起。由此产生的时间分割特别适合于进一步的分析，从活动和事件识别到语义索引和摘要。在以自我为中心的近17,000幅图像集上的实验表明，该方法优于最先进的方法。
2016-10-17 cs.AI cs.CV
EgoSelf: From Memory to Personalized Egocentric Assistant
Eastern Institute of Technology（东部技术研究所）；Hong Kong Polytechnic University（香港理工大学）；Peking University（北京大学）；Commonwealth Scientific and Industrial Research Organization（澳大利亚联邦科学与工业研究组织）；University of Hong Kong（香港大学）
EgoSelf通过构建基于图的交互记忆和个性化学习任务，实现个性化第一人称助手，有效整合长期用户数据以提升服务效果。
2026-04-22 cs.AI cs.CV
Multi-Face Tracking by Extended Bag-of-Tracklets in Egocentric Videos
University of Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）
可穿戴相机提供了一种免提方式来记录以自我为中心的日常体验图像，其中社交事件特别有趣。社会事件检测的第一步是跟踪多个人的出现在it. In本文中，我们提出了一种新的方法来找到对应的多个面孔在低时间分辨率的自我中心的视频通过可穿戴摄像头获取。这种照片流相对于传统视频对多跟踪问题提出了额外的挑战。由于相机的自由运动和其低的时间分辨率，视场、照明条件和目标位置的突变是非常频繁的。为了克服这些困难，我们提出了一种多人脸跟踪方法，该方法通过为每个检测到的人脸寻找整个序列的对应关系来生成一组轨迹，并利用轨迹冗余来处理不可靠的轨迹。类似的tracklet被分组为所谓的扩展的tracklet袋（eBoT），其目的是对应于特定的人。最后，为每个eBoT提取原型轨迹，其中通过依赖于新的置信度来估计发生的遮挡。我们在一个广泛的以自我为中心的照片流数据集上验证了我们的方法，并将其与最先进的方法进行了比较，证明了其有效性和鲁棒性。
2016-01-13 cs.CV
Put Myself in Your Shoes: Lifting the Egocentric Perspective from Exocentric Videos
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；FAIR at Meta（Meta FAIR实验室）
本研究针对外中心到自我中心的跨视图视频转换问题，提出两阶段生成框架Exo2Ego，构建了含多数据集的基准，实验证明其在合成质量与泛化性上优于基线。
2024-03-11 cs.CV
Egocentric Activity Recognition and Localization on a 3D Map
Meta AI；Georgia Institute of Technology（佐治亚理工学院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Meta Reality Labs（Meta现实实验室）
给定从第一人称视角捕获的视频和视频记录的环境上下文，我们是否可以识别人在做什么并确定动作在3D空间中发生的位置？我们解决这个具有挑战性的问题，联合识别和本地化行动的移动用户在一个已知的3D地图从以自我为中心的视频。为此，我们提出了一种新的深度概率模型。我们的模型采用3D环境的分层体积表示（HVR）和以自我为中心的视频的输入，推断3D动作位置作为潜在变量，并根据视频和其潜在位置周围的上下文线索识别动作。为了评估我们的模型，我们在Ego4D数据集的子集上进行了大量的实验，其中捕获了人类的自然动作和照片般逼真的3D环境重建。我们的方法在可见和不可见环境中的动作识别和3D动作定位上都表现出了很好的效果。我们相信，我们的工作点，一个令人兴奋的研究方向在交叉的自我中心的视觉，和3D场景理解。
2022-08-12 cs.CV
EgoRenderer: Rendering Human Avatars from Egocentric Camera Images
Max Plank Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）；University of Maryland（马里兰大学）
我们介绍了EgoRenderer，这是一种用于渲染由可穿戴的、以自我为中心的鱼眼相机捕获的人的全身神经化身的系统，该相机安装在帽子或VR头戴式设备上。我们的系统呈现逼真的新观点的演员和她的运动从任意虚拟相机的位置。从这种以自我为中心的图像渲染全身化身带来了独特的挑战，因为自上而下的视图和大的失真。我们通过将渲染过程分解为几个步骤来解决这些挑战，包括纹理合成，姿势构建和神经图像转换。对于纹理合成，我们提出了自我DPNet，一个神经网络，推断输入鱼眼图像和一个底层的参数化身体模型之间的密集对应关系，并从自我中心的输入中提取纹理。此外，为了对动态外观进行编码，我们的方法还学习了一个隐式纹理堆栈，该堆栈可以捕获姿势和视点之间的详细外观变化。为了生成正确的姿势，我们首先使用参数模型从自我中心视图估计身体姿势。然后，我们合成一个外部的自由视点姿态图像投影的参数模型，用户指定的目标视点。接下来，我们将目标姿态图像和纹理组合成组合特征图像，使用神经图像转换网络将其转换为输出彩色图像。实验评估表明，EgoRenderer能够生成一个人戴着一个以自我为中心的相机的现实自由视点化身。与几个基线的比较证明了我们方法的优势。
2021-11-24 cs.CV
Hand2World: Autoregressive Egocentric Interaction Generation via Free-Space Hand Gestures
College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学）
Hand2World通过自由空间手势生成视角交互，利用自回归框架解决遮挡、相机运动解耦和长视频生成问题，提升视觉生成的质量与稳定性。
2026-02-13 cs.CV
The Toybox Dataset of Egocentric Visual Object Transformations
Vanderbilt University（范德堡大学）
在对象识别研究中，许多常用的数据集（例如，ImageNet等）包含对象实例和视图的相对稀疏分布，例如，人们可能会看到上千种不同长颈鹿的上千张不同照片，大多数是从几个传统的拍摄角度拍摄的。这些分布特性限制了能够用这些数据集进行的计算实验的类型，并且也不反映体现视觉体验的自然模式。作为对已经创建以弥合这一差距的少量（但不断增长的）多视图对象数据集的贡献，我们引入了一个名为Toybox的新视频数据集，它包含以自我为中心的（即，第一人称视角）的视频，这些视频是普通家用物品和玩具被手动操纵以经历诸如旋转、平移和缩放的结构化变换。为了说明Toybox的潜在用途，我们还提出了初步的神经网络实验，研究1）对象实例和视图的不同分布上的训练如何影响识别性能，以及2）如何在经过训练的网络的隐藏层中表示视点相关的对象概念。
2018-11-26 cs.CV
Robust Egocentric Photo-realistic Facial Expression Transfer for Virtual Reality
Facebook Reality Labs（Facebook现实实验室）；Imperial College London（伦敦帝国理工学院）；Carnegie Mellon University（卡内基梅隆大学）
社交存在，即与真人在一起的感觉，将推动由虚拟现实（VR）中的数字人驱动的下一代通信系统。最好的3D视频逼真的VR化身，最大限度地减少了神秘的效果依赖于个人特定（PS）模型。然而，这些PS模型的构建非常耗时，并且通常使用有限的数据可变性进行训练，这导致泛化能力和鲁棒性较差。影响面部表情转移算法准确性的主要可变性来源包括使用不同的VR头戴设备（例如，照相机配置、头戴式耳机的倾斜度），面部外观随时间的变化（例如，胡须、化妆），以及环境因素（例如，照明、背景）。这是VR中这些模型可扩展性的主要缺点。本文通过提出一种经过专门增强策略训练的端到端多身份架构（MIA），在克服这些限制方面取得了进展。MIA在未经训练的受试者中使用最少的个性化信息（即，中性3D网格形状）。类似地，如果PS纹理解码器可用，则MIA能够在具有挑战性的场景中稳健地驱动完整的化身（形状+纹理），从而优于PS模型。我们对提高鲁棒性和泛化的关键贡献在于，我们的方法以无监督的方式隐式地将面部表情与滋扰因素（例如，耳机、环境、面部外观）。我们证明了优越的性能和鲁棒性的所提出的方法与国家的最先进的PS方法在各种实验。
2022-07-04 cs.CV
egoPPG: Heart Rate Estimation from Eye-Tracking Cameras in Egocentric Systems to Benefit Downstream Vision Tasks
Department of Computer Science, ETH Zürich（计算机科学系，苏黎世联邦理工学院）
提出egoPPG任务和PulseFormer方法，利用眼动摄像头和惯性测量单元估计心率，在EgoExo4D上提升熟练度估计14%，并发布代码、数据集和增强。
2025-08-06 cs.CV
SelfPose: 3D Egocentric Pose Estimation from a Headset Mounted Camera
我们提出了一个解决方案，以自我为中心的3D身体姿态估计从单眼图像捕获向下看鱼眼摄像头安装在头戴式VR设备的边缘。这种不寻常的视角导致图像具有独特的视觉外观，具有严重的自遮挡和透视扭曲，导致下半身和上半身之间的分辨率存在巨大差异。我们提出了一种编码器-解码器架构，其具有新颖的多分支解码器，该多分支解码器设计用于考虑2D预测中的不同不确定性。对合成和真实世界数据集的定量评估表明，我们的策略比最先进的以自我为中心的方法在准确性上有了实质性的提高。为了解决缺乏标记数据的问题，我们还引入了一个大型照片级真实感合成数据集。xR-EgoPose提供高质量的渲染，呈现不同肤色，体型和服装的人，执行一系列动作。我们的实验表明，我们新的合成训练语料库中的高可变性导致了对真实世界镜头的良好泛化，以及对真实世界数据集的最新结果的状态。此外，在Human3.6M基准测试上的评估表明，从第三人称的角度来看，我们的方法在更经典的3D人体姿势问题上的性能与顶级方法相当。
2020-11-02 cs.CV
xR-EgoPose: Egocentric 3D Human Pose from an HMD Camera
University College London（伦敦大学学院）；Facebook Reality Lab（Facebook现实实验室）
我们提出了一种新的解决方案，以自我为中心的3D身体姿态估计从单目图像从向下看鱼眼相机安装在边缘的头戴式虚拟现实设备。这个不寻常的观点，只有2厘米。远离用户的面部，导致图像具有独特的视觉外观，其特征在于严重的自遮挡和强烈的透视失真，这导致下半身和上半身之间的分辨率的巨大差异。我们的贡献是双重的。首先，我们提出了一种新的编码器-解码器架构，其具有专门设计的新颖的双分支解码器，以考虑2D联合位置中的变化的不确定性。我们的定量评估，无论是在合成和现实世界的数据集，表明我们的策略导致大幅提高的准确性，最先进的自我中心的姿态估计方法。我们的第二个贡献是一个新的大规模照片级真实感合成数据集- xR-EgoPose -提供383 K帧的高质量渲染，包括各种肤色，体型，服装，在各种背景和照明条件下，执行一系列动作。我们的实验表明，我们新的合成训练语料库中的高可变性导致了对真实世界镜头的良好泛化，并在真实世界数据集上获得了最先进的结果。此外，在Human3.6M基准测试上的评估表明，从第三人称的角度来看，我们的方法在更经典的3D人体姿势问题上的性能与顶级方法相当。
2019-07-23 cs.CV
Photoreal Scene Reconstruction from an Egocentric Device
Reality Labs Research, Meta（Meta现实实验室研究）
本文针对第一人称设备的高动态范围照片级重建，提出用视觉惯性光束法平差标定卷帘快门相机并结合物理图像形成模型改进高斯泼溅，在Project Aria和Quest3上均实现PSNR稳定提升。
2025-06-04 cs.AI cs.CV cs.GR
Enhancing temporal segmentation by nonlocal self-similarity
IRIT, CNRS（法国国家科学研究中心图卢兹计算机科学研究所）；University of Toulouse（图卢兹大学）
对未经裁剪的视频和照片流进行时间分割是当前计算机视觉和图像处理中的一个活跃的研究领域。本文提出了一种新的方法来改善照片流的时间分割。该方法包括通过编码长范围的时间依赖性来增强图像表示。我们的主要贡献是利用photostreams的时间平稳性假设，通过其非局部自相似函数对每一帧进行建模。所提出的方法进行测试的EDUB-Seg数据集，自我中心的photostream时间分割的标准基准。从七个不同的（基于CNN的）图像特征开始，该方法在事件分割质量上得到了一致的改进，导致F-测量相对于最新技术水平平均增加了3.71%。
2019-06-14 cs.CV eess.IV
LightMem-Ego: Your AI Memory for Everyday Life
Zhejiang University（浙江大学）；South China University of Technology（华南理工大学）；Central China Normal University（华中师范大学）；Lenovo Group Limited（联想集团有限公司）
针对移动和可穿戴设备上个人AI助手回答过去经历查询难的问题，提出LightMem-Ego轻量级流多模态记忆系统，能捕获、对齐并组织视觉和音频流成分层记忆，基于多模态证据生成答案，可部署在多种设备上提供多种支持。
2026-07-14 cs.AI cs.CL cs.CV
