Unsupervised Segmentation of Action Segments in Egocentric Videos using Gaze
Universiti Teknologi Malaysia（马来西亚理工大学）；Universiti Malaysia Sarawak（马来西亚砂拉越大学）
在以自我为中心的视频中，对动作片段进行无监督分割是诸如活动识别和基于内容的视频检索等任务中的理想特征。将搜索空间减少为动作段的有限集合有助于更快且噪声更少的匹配。然而，在连续的人类活动过程中，机器对自然时间切割的理解存在很大的差距。这项工作报告了一种新的凝视为基础的方法，用于分割使用自我中心的摄像机捕获的视频中的动作片段。凝视用于定位帧内的感兴趣区域。通过跟踪两个简单的基于运动的参数内连续的区域的兴趣，我们发现了一个有限的时间削减。我们提出了几个结果，使用组合（两个参数）的数据集，即，BRISGAZE-ACTIONS.该数据集包含以自我为中心的视频，描述了几种日常生活活动。通过实施两个熵度量，进一步提高了时间切割的质量。
2021-06-23 cs.CV
A Semi-Automated Method for Object Segmentation in Infant's Egocentric Videos to Study Object Perception
University of Houston（休斯顿大学）
婴儿自我中心视频中的对象分割是研究儿童在早期发展阶段如何感知对象的基本步骤。从计算机视觉的角度来看，在这样的视频中的对象分割提出了相当多的挑战，因为儿童的视图是未聚焦的，通常具有大的头部运动，影响儿童的视角的突然变化，这导致对象属性（诸如大小、形状和照明）的频繁变化。在本文中，我们开发了一种半自动的、特定于领域的方法来解决这些问题，并为认知科学家提供对象注释过程，使他们能够选择和监控分割下的对象。该方法从用户对所需对象的注释开始，并采用图割分割和光流计算来自动预测后续视频帧的对象掩模。为了保持准确性，我们使用特定领域的启发式规则重新初始化程序与新的用户输入时，对象属性发生显着变化。评价表明，所提出的方法的速度和准确性高的对象分割在大量的自我中心的视频。我们应用所提出的方法来调查潜在的模式，在儿童的观点，在进步的年龄对象分布。
2016-02-08 cs.CV
EgoLifter: Open-world 3D Segmentation for Egocentric Perception
University of Toronto（多伦多大学）；Meta Reality Labs（元现实实验室）
本文提出EgoLifter系统，采用3D Gaussians和SAM掩码弱监督实现自我中心视角的开放世界3D物体实例分割，并设计瞬态模块滤除动态物体，在Aria Digital Twin基准上达到SOTA。
2024-07-22 cs.CV
Ego2Hands: A Dataset for Egocentric Two-hand Segmentation and Detection
Brigham Young University（杨百翰大学）；Adobe Research（Adobe 研究院）
在真正不受约束的基于RGB的设置中的手部分割和检测对于许多应用是重要的。然而，现有的数据集是远远不够的大小和品种，由于大量的分割和检测数据的手动注释的不可行性。因此，目前的方法受到许多基本假设的限制，如受约束的环境，一致的肤色和照明。在这项工作中，我们提出了Ego 2 Hands，一个大规模的基于RGB的自我中心的手分割/检测数据集，是半自动注释和颜色不变的合成为基础的数据生成技术，能够创建训练数据与大量和品种。对于定量分析，我们手动注释了一个在数量、多样性和注释准确性方面显著超过现有基准的评估集。我们提供了跨数据集评估以及对Ego 2 Hands上最先进模型的性能进行了全面分析，以表明我们的数据集和数据生成技术可以生成泛化到看不见的环境的模型，而无需领域自适应。
2021-12-20 cs.CV
Synchronization is All You Need: Exocentric-to-Egocentric Transfer for Temporal Action Segmentation with Unlabeled Synchronized Video Pairs
University of Catania（卡塔尼亚大学）；Next Vision s.r.l.（Next Vision有限责任公司）；University of Nottingham（诺丁汉大学）
提出利用无标注同步外向-内向视频对，通过知识蒸馏将外向时间动作分割模型迁移至内向场景，无需内向标签，在Assembly101和EgoExo4D上显著提升编辑分数。
2024-07-16 cs.CV
Understanding From Human Perspective: A Multi-agent System for Interactive Egocentric Medical Image Segmentation
School of Instrument Science and Engineering, Southeast University（东南大学仪器科学与工程学院）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Sichuan University-Pittsburgh Institute, Sichuan University（四川大学匹兹堡学院）；Department of Biomedical Engineering, Case Western Reserve University（凯斯西储大学生物医学工程系）
研究交互式自我中心医学图像分割面临的挑战，提出EgoMed-Agent多智能体系统，通过目标确认和定位引导传播工作流程从人类视角理解目标，实验显示该系统平均Dice远超基线，效果显著。
2026-07-21 cs.CV
Generative Adversarial Network for Future Hand Segmentation from Egocentric Video
Georgia Institute of Technology（佐治亚理工学院）
我们介绍了新的问题，预计未来的手面具从自我中心的视频的时间序列。一个关键的挑战是对未来头部运动的随机性进行建模，这在全球范围内影响头戴式摄像机视频分析。为此，我们提出了一种新的深度生成模型--Ego GAN，它使用3D全卷积网络来学习用于像素级视觉预测的时空视频表示，使用生成对抗网络（GAN）生成未来的头部运动，然后基于视频表示和生成的未来头部运动预测未来的手部蒙版。我们评估我们的方法在EPIC-Kitterfly和EGTEA Gaze+数据集上。我们进行详细的消融研究，以验证我们的方法的设计选择。此外，我们比较我们的方法与以前的国家的最先进的方法对未来的图像分割，并表明我们的方法可以更准确地预测未来的手面具。
2022-07-20 cs.CV
Enhancing Transformer Backbone for Egocentric Video Action Segmentation
Northeastern University（东北大学）
本文提出双重膨胀注意力机制和编码器-解码器交叉连接增强Transformer主干，结合视觉-语言表示学习，在GTEA和HOI4D数据集上提升了自我中心视频动作分割性能。
2023-05-23 cs.CV
HOI4D: A 4D Egocentric Dataset for Category-Level Human-Object Interaction
Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Peking University（北京大学）
本文提出大规模4D自我中心数据集HOI4D，包含2.4M帧及丰富标注，并建立三个基准任务以推动类别级人-物交互研究，分析表明其对现有方法构成巨大挑战。
2024-01-03 cs.CV
Cognition Transferring and Decoupling for Text-supervised Egocentric Semantic Segmentation
School of Information and Communication Engineering, University of Electronic Science and Technology of China（电子科技大学信息与通信工程学院）
本文提出CTDN网络，通过认知迁移与前景-背景解耦解决文本监督第一人称语义分割中的关系不敏感和物体干扰问题，在多个基准上显著超越现有方法。
2024-12-23 cs.CV
SHARP: Segmentation of Hands and Arms by Range using Pseudo-Depth for Enhanced Egocentric 3D Hand Pose Estimation and Action Recognition
TU Wien（维也纳技术大学）；University of Bristol（布里斯托尔大学）
本研究提出仅用RGB帧结合伪深度的SHARP方法分割场景无关部分，在H2O数据集上实现91.73%的动作识别准确率，姿态误差28.66mm，无需深度传感器即可提升自我中心3D手部姿态估计与动作识别性能。
2024-08-19 cs.CV
CaRe-Ego: Contact-aware Relationship Modeling for Egocentric Interactive Hand-object Segmentation
Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University（电气与电子工程系，香港理工大学）
CaRe-Ego通过手引导物体特征增强器和以接触为中心的物体解耦策略，显式建模手物接触关系并解耦物体类别耦合，在域内外测试中显著提升自我中心手物分割性能。
2025-05-05 cs.CV
SR-Clustering: Semantic Regularized Clustering for Egocentric Photo Streams Segmentation
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；University of Groningen（格罗宁根大学）；Imagga Technologies Ltd（Imagga技术有限公司）；Digital Spaces Living Lab（数字空间生活实验室）
虽然可穿戴相机变得越来越流行，但在以自我为中心的图像的大型非结构化集合中定位相关信息仍然是一个繁琐且耗时的过程。本文讨论了组织自我中心的照片流可穿戴式摄像机采集到语义有意义的片段的问题。首先，通过采用卷积神经网络方法为每个图像提取上下文和语义信息。之后，通过整合语言处理，在语义空间中定义概念词汇。最后，通过利用照片流中的时间相干性，共享上下文和语义属性的图像被分组在一起。由此产生的时间分割特别适合于进一步的分析，从活动和事件识别到语义索引和摘要。在以自我为中心的近17,000幅图像集上的实验表明，该方法优于最先进的方法。
2016-10-17 cs.AI cs.CV
Clustering Egocentric Images in Passive Dietary Monitoring with Self-Supervised Learning
Imperial College London（帝国理工学院）；University of Pittsburgh（匹兹堡大学）；Baylor College Of Medicine（贝勒医学院）；University of Ghana（加纳大学）；University of Georgia（佐治亚大学）；Boston University（波士顿大学）；University of Alabama（阿拉巴马大学）
在我们最近对加纳被动饮食监测的饮食评估实地研究中，我们收集了超过25万张野外图像。该数据集是一项持续的努力，旨在通过被动监测相机技术促进低收入和中等收入国家个人食物和营养素摄入量的准确测量。目前的数据集涉及来自加纳农村和城市地区的20个家庭（74名受试者），研究中使用了两种不同类型的可穿戴相机。一旦启动，可穿戴摄像头就会持续捕获受试者的活动，从而产生大量数据，在进行分析之前进行清理和注释。为了简化数据后处理和注释任务，我们提出了一种新的自监督学习框架，将大量以自我为中心的图像聚类为单独的事件。每个事件由一系列时间上连续且上下文相似的图像组成。通过将图像聚类为单独的事件，注释者和营养师可以更有效地检查和分析数据，并促进后续的饮食评估过程。在具有地面真实标签的测试集上进行验证，所提出的框架在聚类质量和分类精度方面优于基线。
2022-08-25 cs.CV
Ego-METAS: Egocentric online Multimodal Energy-efficient Temporal Action Segmentation benchmark
University of Zaragoza - I3A（萨拉戈塔大学 - I3A）；Department of Mathematics and Computer Science, University of Catania（卡塔尼亚大学数学与计算机科学系）
为解决资源受限设备上的能耗感知问题，提出了首个自我中心在线多模态节能时间动作分割基准Ego-METAS，包含超过100小时未裁剪视频和5种模态，要求模型动态选择传感器并遵守能量预算，评估显示最优路由高度依赖场景，现有方法难以适应连续环境。
2026-05-29 cs.CV
EgoSurgery-HTS: A Dataset for Egocentric Hand-Tool Segmentation in Open Surgery Videos
Keio University（庆应义塾大学）；Keio University School of Medicine（庆应义塾大学医学院）
本研究推出带有像素级标注的EgoSurgery-HTS数据集及基准套件，覆盖14种手术工具、手部及手-工具三类分割任务，经评估可显著提升第一视角开放手术视频的相关分割准确率。
2025-03-24 cs.AI cs.CV cs.LG
EgoHieraLoc: A Cortically Inspired Hierarchical Segmentation-Guided Framework for Egocentric Visual Query Localization
Dalian University of Technology（大连理工大学）；University of International Business and Economics（对外经济贸易大学）；Jinan University（暨南大学）
该研究提出受人类视觉分层机制启发的EgoHieraLoc框架，含判别解析等三个模块及GSJC，在VQL-2D和VQL-3D基准上实现最优视觉查询定位性能。
2026-08-11 cs.CV
EgoAfford: Task-Oriented Affordance Grounding via Egocentric Referring Segmentation
针对部件级可供性定位难以适配复杂多步桌面任务的问题，提出基准EgoAfford及参考模型EgoLens，验证了下一步推理与动作角色条件部件定位的互补挑战，为感知与规划联合研究提供基础。
2026-08-06 cs.CV
3D-Aware Instance Segmentation and Tracking in Egocentric Videos
University of Oxford（牛津大学）；NAVER LABS Europe（NAVER欧洲实验室）
本文提出一种融合场景几何、3D质心跟踪与实例分割的第一人称视频3D感知方法，在EPIC Fields上显著提升跟踪与分割一致性，并支持3D重建等下游任务。
2024-11-20 cs.AI cs.CV cs.LG
Layered Motion Fusion: Lifting Motion Segmentation to 3D in Egocentric Videos
Visual Geometry Group University of Oxford（视觉几何组牛津大学）；NAVER LABS Europe（NAVER欧洲实验室）
针对第一人称视频中动态场景3D分割失效问题，提出将2D运动分割预测融合进分层辐射场，并辅以测试时细化，显著提升分割精度。
2025-06-22 cs.CV
Memory Storyboard: Leveraging Temporal Segmentation for Streaming Self-Supervised Learning from Egocentric Videos
New York University（纽约大学）
针对第一人称视角视频流的自监督学习问题，受人类事件分割机制启发提出Memory Storyboard框架，通过双层记忆层次进行时间分段与回放，显著提升了无监督持续学习的表示性能。
2025-08-11 cs.CV cs.LG
Gesture-based Bootstrapping for Egocentric Hand Segmentation
Carnegie Mellon University（卡内基梅隆大学）；Michigan State University（密歇根州立大学）
准确识别图像中的手是可穿戴第一人称视点相机人类活动理解的关键子任务。传统的手部分割方法依赖于大量的手动标记数据来生成鲁棒的手部检测器。然而，这些方法仍然面临挑战，因为手的外观在用户、任务、环境或照明条件之间变化很大。在许多可穿戴应用和接口的情况下，关键的观察结果是，仅需要在特定的情境上下文中准确地检测用户的手。基于这一观察，我们引入了一个交互式的方法来学习一个人特定的手分割模型，不需要任何手动标记的训练数据。我们的方法分为两个步骤，一个互动的自举步骤识别移动的手区域，然后学习个性化的用户特定的手外观模型。具体地说，我们的方法使用两个卷积神经网络：（1）手势网络，使用预定义的运动信息来检测手区域;和（2）外观网络，根据手势网络的输出来学习手区域的人特定模型。在训练期间，为了使外观网络对手势网络中的错误鲁棒，前一网络的损失函数在学习时并入手势网络的置信度。实验证明了我们的方法的鲁棒性，在所有具有挑战性的数据集上的F1得分超过0.8，在广泛的照明和手部外观变化范围内，比基线方法提高了10%以上。
2018-06-11 cs.CV
EgoFun3D: Modeling Interactive Objects from Egocentric Videos using Function Templates
Simon Fraser University（西蒙弗雷泽大学）
本文提出EgoFun3D，通过函数模板建模交互三维物体，解决真实世界视频中交互物体建模难题，提出四阶段流程并展示其挑战性。
2026-09-14 cs.CV
Left/Right Hand Segmentation in Egocentric Videos
University of Genova（热那亚大学）；Eindhoven University of Technology（埃因霍温理工大学）
可穿戴摄像头允许人们从以用户为中心（第一人称视觉）的角度记录他们的日常活动。由于其有利的位置，可穿戴相机经常捕捉用户的手，并因此可能代表一个有前途的用户-机器交互工具，用于不同的应用。直观的第一人称视觉方法将手部分割作为背景-前景问题来处理，忽略了两个重要的事实：i）手部不是单个“类皮肤”移动元素，而是一对交互的协作实体，ii）近距离手部交互可能导致手到手的遮挡，并且因此创建单个类手部的段。这些事实使正确理解手部运动和相互作用变得复杂。我们的方法扩展了传统的背景-前景策略，通过包括基于角度和位置的麦克斯韦分布的手识别步骤（左-右）。通过利用时间超像素来解决手到手的遮挡。实验结果表明，除了可靠的左/右手分割，我们的方法大大改善了传统的背景前景手分割。
2016-07-21 cs.AI cs.CV cs.HC
FEEL (Force-Enhanced Egocentric Learning): A Dataset for Physical Action Understanding
University of Maryland, College Park, USA（马里兰大学 College Park 分校）
FEEL数据集结合了自定义压阻手套收集的力测量与自我中心视频，通过力驱动物理交互，用于接触理解与动作表征学习，取得最佳分割结果并提升跨任务迁移性能。
2026-03-16 cs.CV cs.LG cs.RO
A Framework for Egocentric and Exocentric Procedural Understanding via Temporal Segmentation and Semantic Abstraction
Fraunhofer IPK（弗劳恩霍夫生产设备和设计技术研究所）；Technische Universität Berlin（柏林工业大学）
提出一种将长时程第一/第三人称视频转化为结构化程序性状态记忆的紧凑框架，通过事件分割与语义抽象实现高效、可审计的文档记录与检索。
2026-10-02 cs.AI cs.CV
DIV-FF: Dynamic Image-Video Feature Fields For Environment Understanding in Egocentric Videos
本文提出DIV-FF框架，通过将自我中心场景分解为持久、动态和行动者组件并融合图像与视频语言特征，提升动态场景下的长期时空环境理解能力。
2025-03-11 cs.CV
Unsupervised Gaze Prediction in Egocentric Videos by Energy-based Surprise Modeling
Oklahoma State University（俄克拉荷马州立大学）
自我中心感知随着沉浸式计算设备的出现而迅速增长。人类视线预测是分析以自我为中心的视频中的重要问题，并且主要通过基于显著性的建模或高度监督学习来解决。我们定量分析了监督的深度学习模型在以自我为中心的凝视预测任务上对看不见的域外数据的泛化能力。我们发现，它们的性能是高度依赖于训练数据，并限制在指定的域的训练注释。在这项工作中，我们解决的问题，共同预测人类的注视点和时间分割的自我中心的视频，而不使用任何训练数据。我们引入了一个无监督的计算模型，从事件感知的认知心理学模型的启发。我们使用Grenander的模式理论形式主义来表示时空特征，并将惊讶模型作为预测注视点的机制。对两个公开可用的数据集- GTEA和GTEA+ datasets-的广泛评估表明，所提出的模型可以显着优于所有无监督基线和一些有监督的凝视预测基线。最后，我们证明了该模型还可以在时间上分割以自我为中心的视频，其性能与更复杂的、完全监督的深度学习基线相当。
2021-04-29 cs.CV
Learning Egocentric In-Hand Object Segmentation through Weak Supervision from Human Narrations
Institute of Information Science and Technologies - National Research Council（信息科学与技术研究所-国家研究理事会）；University of Catania（卡塔尼亚大学）
本文提出WISH模型，通过人类叙述的弱监督学习实现手部物体分割，无需精细像素标注即可超越基线方法。
2025-12-02 cs.AI cs.CV
Self-supervised Video-centralised Transformer for Video Face Clustering
Imperial College London（帝国理工学院）；Fudan University（复旦大学）
本文提出了一种新的方法，人脸聚类视频使用视频集中式Transformer。以前的工作通常采用对比学习来学习帧级表示，并使用平均池沿时间维度聚合的功能。这种方法可能无法完全捕获复杂的视频动态。此外，尽管最近的进展，基于视频的对比学习，很少有人试图学习一个自我监督聚类友好的人脸表示，有利于视频人脸聚类任务。为了克服这些限制，我们的方法采用了一个Transformer直接学习视频级的表示，可以更好地反映在视频中的人脸的时间变化的属性，而我们还提出了一个视频集中的自监督框架来训练的Transformer模型。我们还研究了以自我为中心的视频中的人脸聚类，这是一个快速发展的领域，在与人脸聚类相关的作品中还没有研究过。为此，我们提出并发布了第一个大规模以自我为中心的视频人脸聚类数据集，名为EasyCom-Clustering。我们在广泛使用的大爆炸理论（BBT）数据集和新的EasyCom-Clustering数据集上评估了我们提出的方法。结果表明，我们的视频集中的Transformer的性能已经超过了所有以前的国家的最先进的方法在这两个基准，表现出自我专注的面部视频的理解。
2023-02-15 cs.CV
EgoInteract: Synthetic Egocentric Videos Generation for Interaction Understanding and Anticipation
Department of Mathematics and Computer Science, University of Catania（卡塔尼亚大学数学与计算机科学系）；Next Vision s.r.l.（Next Vision公司）；Reality Labs Research, Meta（Meta现实实验室）
提出EgoInteract可控模拟器，生成带密集时空标注的合成自我中心视频，用于动作分割、下一活动物体检测、交互预测和手物交互检测，在多个真实基准上提升性能。
2026-05-22 cs.CV
Navigation-Oriented Scene Understanding for Robotic Autonomy: Learning to Segment Driveability in Egocentric Images
Aalborg University（奥尔堡大学）
这项工作解决了室外机器人导航的场景理解，仅依赖于车载摄像机捕获的图像。传统的视觉场景理解基于特定的描述类别来解释环境。然而，这样的表示是不能直接解释的决策和约束机器人操作到一个特定的域。因此，我们建议分段自我中心的图像直接在机器人如何可以在他们导航，并定制的学习问题，自主导航任务。围绕图像分割网络，我们提出了一个通用的启示，包括3个驾驶性能水平，可广泛适用于城市和越野场景。通过使用软序数标签对这些级别进行编码，我们在学习过程中结合了类间距离，与标准的“硬”独热标签相比，这改善了分割。此外，我们提出了一种面向导航的像素级损失加权方法，该方法赋予安全关键区域更高的重要性。我们评估了我们的方法对大规模的公共图像分割数据集，从阳光明媚的城市街道到积雪的森林小径。在跨数据集泛化实验中，我们表明，我们的启示学习方案可以应用于各种数据集的混合，并与通用的单数据集分割相比，提高了在看不见的环境中的驾驶性能估计。
2022-01-23 cs.CV cs.RO
Attention is All We Need: Nailing Down Object-centric Attention for Egocentric Activity Recognition
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
在本文中，我们提出了一个端到端可训练的深度神经网络模型，用于自我中心活动识别。我们的模型是建立在观察自我中心的活动是高度特征的对象和它们在视频中的位置。在此基础上，我们开发了一种空间注意力机制，使网络能够注意到包含与所考虑的活动相关的对象的区域。我们使用针对通用图像识别预训练的CNN中的类特定激活来学习每个帧的高度专业化的注意力图，并使用它们通过卷积LSTM对视频进行时空编码。我们的模型是在弱监督环境中使用原始视频级活动类标签进行训练的。尽管如此，在标准的以自我为中心的活动基准测试中，我们的模型的识别准确率超过了目前最好的方法，该方法利用手部分割和对象位置强监督进行训练。我们对网络生成的注意力图进行了可视化分析，发现网络成功地识别了视频帧中存在的相关对象，这可以解释强大的识别性能。我们还讨论了关于设计选择的广泛消融分析。
2018-07-31 cs.CV
Clustering Approach Towards Image Segmentation: An Analytical Study
Barkatullah University（巴尔卡图拉大学）
图像处理是计算机视觉的一个重要研究领域。图像分割在图像处理研究中起着至关重要的作用。图像分割的方法很多。聚类是一种无监督的研究。聚类也可以用于图像分割。本文深入研究了用于图像分割的各种聚类技术及其优缺点，并通过一个基于K-Means聚类算法的彩色图像分割实验，观察了聚类技术对图像分割的准确性。
2014-07-30 cs.CV
HCFormer: Unified Image Segmentation with Hierarchical Clustering
Denso IT Laboratory, Inc.（电装IT实验室公司）
层次聚类是一种高效的图像分割方法。然而，许多使用神经网络的现有方法直接从每像素特征生成分割掩模，使架构设计复杂化并降低可解释性。在这项工作中，我们提出了一个更简单，更可解释的架构，称为HCFormer。HCFormer通过自下而上的层次聚类完成图像分割，并允许我们将中间结果解释、可视化和评估为层次聚类结果。HCFormer可以用相同的架构解决语义、实例和全景分割，因为像素聚类是各种图像分割任务的常用方法。在实验中，与语义分割（在ADE 20 K上为55.5 mIoU）、实例分割（在COCO上为47.1 AP）和全景分割（在COCO上为55.7 PQ）的基线方法相比，HCFormer实现了相当或更高的分割精度。
2023-02-28 cs.CV
Analysis of Hand Segmentation in the Wild
Center for Research in Computer Vision, University of Central Florida（中佛罗里达大学计算机视觉研究中心）
在自我中心视觉中，大量的工作集中在动作和物体识别上。然而，第一人称视频中的手的检测和分割却很少被探索。对于该领域中的许多应用，不仅需要准确地分割相机佩戴者的手，而且还需要准确地分割与他交互的其他人的手。在这里，我们深入研究手部分割问题。在寻求稳健的手部分割方法的过程中，我们评估了现有数据集上最先进的语义分割方法的性能。我们微调了RefineNet，一种领先的语义分割方法，用于手部分割，发现它比最好的竞争者要好得多。现有的手部分割数据集在实验室环境中收集。为了克服这一限制，我们收集了两个新的数据集：a）EgoYouTubeHands，包括以自我为中心的视频，其中包含野外的手，以及b）HandOverFace，以分析我们的模型在存在类似外观遮挡的情况下的性能。我们进一步探讨条件随机场是否可以帮助完善生成的手分割。为了证明准确的手部地图的好处，我们训练了一个CNN用于基于手部的活动识别，并在使用微调的RefineNet产生的手部地图训练CNN时实现了更高的准确性。最后，我们对EgoHands数据集的一个子集进行了注释，以进行细粒度动作识别，并表明只需查看一个手部姿势就可以实现58.6%的准确率，这远远优于机会水平（12.5%）。
2018-03-28 cs.CV
Ego-Only: Egocentric Action Detection without Exocentric Transferring
Meta AI
本文提出Ego-Only方法，通过使用针对时间分割微调的掩码自编码器训练视频表示，无需外心转移即可在自我中心视频上实现最先进的动作检测和识别。
2023-05-19 cs.CV
Multi-label affordance mapping from egocentric vision
Universidad de Zaragoza（萨拉戈萨大学）；I3A（阿拉贡工程研究所）
本文提出一种从自我中心视频中提取多标签可供性并构建数据集EPIC-Aff的方法，实现像素级分割，并利用度量表示构建交互热点图以支持任务导向导航。
2023-09-05 cs.AI cs.CV
An optimal hierarchical clustering approach to segmentation of mobile LiDAR point clouds
University of Calgary（卡尔加里大学）
提出了一种基于层次聚类的移动LiDAR点云分割方法。我们执行无组织的点云上的邻近矩阵的基础上的层次聚类。邻近矩阵中的相异性度量是通过聚类之间的欧氏距离和给定点处法向量的差来计算的。本文的主要贡献是成功地对层次聚类中的聚类组合进行了优化。该组合通过实现二分图的匹配来获得，并通过求解最小代价完美匹配来优化。实验结果表明，提出的最优层次聚类（OHC）方法能够自动实现多个独立目标的分割，并且优于现有的激光雷达点云分割方法。
2017-11-09 cs.CV
CMT-DeepLab: Clustering Mask Transformers for Panoptic Segmentation
Johns Hopkins University（约翰斯·霍普金斯大学）；KAIST（韩国科学技术院）；Google Research（谷歌研究院）
我们提出了聚类掩码Transformer（CMT-DeepLab），这是一个基于transformer的框架，用于围绕聚类设计的全景分割。它重新考虑了分割和检测中使用的现有Transformer架构; CMT-DeepLab将对象查询视为聚类中心，在应用于分割时，这些聚类中心填补了对像素进行分组的角色。聚类是用交替的过程计算的，首先通过它们的特征亲和力将像素分配到聚类，然后更新聚类中心和像素特征。这些操作共同组成了聚类掩码Transformer（CMT）层，该层产生的交叉注意力更密集，与最终分割任务更一致。CMT-DeepLab将现有技术的性能显著提高了4.4%PQ，在COCO测试开发集上实现了55.7%PQ的最新技术水平。
2022-06-17 cs.CV
FunRec: Reconstructing Functional 3D Scenes from Egocentric Interaction Videos
ETH Zurich（苏黎世联邦理工学院）；Max Planck Institute for Informatics（马克斯·普朗克研究所（信息学））；Stanford University（斯坦福大学）；Microsoft（微软）；USI Lugano（USI卢加诺）
FunRec通过直接从第一人称RGB-D交互视频重建室内场景的3D数字双胞胎，实现了无需控制环境或多状态采集的交互式3D场景重建，提升了部分分割和重建精度。
2026-04-26 cs.CV
EgoTrack3D: A Modular Framework for Egocentric 3D Object Tracking
ETH Zürich（苏黎世联邦理工学院）；Microsoft Research（微软研究院）；TUM（慕尼黑工业大学）；MCML（慕尼黑计算与机器学习中心）
EgoTrack3D是一种模块化框架，可从第一人称视角RGB视频重建动态三维场景，在ADT数据集上较基线提升11% PCL，还能在退化观测下维持准确空间表示。
2026-08-11 cs.CV
THU-Warwick Submission for EPIC-KITCHEN Challenge 2025: Semi-Supervised Video Object Segmentation
Tsinghua University（清华大学）；University of Warwick（沃里克大学）
本文提出融合 SAM2 视觉预训练与深度几何线索的统一框架，用于第一视角半监督视频对象分割，并在 VISOR 测试集上取得 90.1% 的 J&F 分数。
2025-06-07 cs.CV
A Robust Fuzzy Clustering Technique with Spatial Neighborhood Information for Effective Medical Image Segmentation
National College of Engineering（国立工程学院）；Sathakathullah Appa College（萨塔卡图拉·阿帕学院）；Manonmaniam Sundaranar University（马诺尼亚姆·孙达拉纳大学）
医学图像分割需要一种高效、鲁棒的抗噪声分割算法。传统的模糊c均值算法是一种有效的聚类算法，用于医学图像分割。但是FCM非常容易受到噪声的影响，因为它只使用强度值来聚类图像。提出了一种新的有效的模糊空间c均值聚类算法，该算法对噪声具有鲁棒性。该算法利用模糊空间信息计算隶属度。使用所提出的ISFCM算法对输入图像进行聚类。传统的FCM和建议的ISFCM之间进行了比较研究。所提出的方法被发现是优于传统的FCM。
2010-04-10 cs.CV
Trajectory Aligned Features For First Person Action Recognition
IIIT Hyderabad（印度海得拉巴国际信息技术学院）；IIIT Delhi（印度德里国际信息技术学院）
以自我为中心的视频的特点是具有第一人称视角的能力。随着谷歌眼镜和GoPro的普及，以自我为中心的视频的使用正在增加。从以自我为中心的视频中识别穿戴者的动作是一个重要的问题。由于佩戴者的自然头部运动引起的相机的非结构化移动导致以自我为中心的相机的视野的急剧变化，从而导致许多标准的第三人称动作识别技术在这样的视频上表现不佳。场景中的物体和佩戴者的手势是第一人称动作识别的最重要线索，但在以自我为中心的视频中很难分割和识别。我们提出了一种新的表示的第一人称动作来自特征轨迹。这些特征使用标准点跟踪计算起来很简单，并且不像许多以前的方法那样假设手部/对象的分割或识别对象或手部姿势。我们训练一袋的话分类与建议的功能和报告的性能提高了11%以上的公开可用的数据集。虽然不是针对特定情况设计的，但我们表明，当手或物体不可见时，我们的技术也可以识别佩戴者的动作。
2016-04-07 cs.CV
Image Segmentation by Size-Dependent Single Linkage Clustering of a Watershed Basin Graph
Massachusetts Institute of Technology（麻省理工学院）；Princeton University（普林斯顿大学）
我们提出了一种分层图像分割的方法，该方法定义了一个不亲和图的图像，过度分割成流域盆地，定义了一个新的图形上的盆地，然后合并盆地与修改后的，大小相关的版本的单链接聚类。该方法的准线性运行时间使其适合于分割大图像。我们说明了具有挑战性的问题分割三维电子显微镜脑图像的方法。
2015-05-01 cs.CV
FEC: Fast Euclidean Clustering for Point Cloud Segmentation
Hunan University（湖南大学）；Alibaba Group（阿里巴巴集团）；Jiangxi Provincial Natural Resources Cause Development Center（江西省自然资源事业发展中心）
从点云数据分割在许多应用中是必不可少的，例如遥感、移动机器人或自动驾驶汽车。然而，由3D距离传感器捕获的点云通常是稀疏和非结构化的，具有挑战性的有效分割。在本文中，我们提出了一个快速的解决方案，点云实例分割与小的计算需求。为此，我们提出了一种新的快速欧几里德聚类（FEC）算法，它适用于在现有的作品中使用的clusterwise计划逐点计划。我们的方法在概念上很简单，易于实现（40行C++），并实现了两个数量级的速度比经典的分割方法，同时产生高质量的结果。
2022-11-11 cs.CV
A Novel Approach Towards Clustering Based Image Segmentation
Barkatullah University（巴尔卡图拉大学）
在计算机视觉中，图像分割一直是研究者们选择的一个主要研究课题。由于图像分割在图像处理中的重要作用，一直需要一种更好的图像分割方法。聚类是一种无监督的研究，其应用几乎在科学和工程的各个领域。许多研究者将聚类方法应用于图像分割过程中。但仍需要改进这些方法。提出了一种基于聚类的图像分割方法。在这里，我们重视颜色空间，并选择Lab来完成这项任务。使用了著名的硬聚类算法K-means，但由于其性能取决于选择合适的距离度量，因此，我们选择余弦距离度量。然后对分割后的图像进行sobel滤波。对滤波后的图像采用标记分水岭算法进行分析，得到原始图像的最终分割结果。通过对MSE和PSNR值的分析，观察算法的性能。
2015-06-04 cs.CV
Reference-Free Food Volume Estimation from Egocentric Stereo Video
Elmore Family School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔莫尔家族电气与计算机工程学院）
本文提出一种基于可穿戴第一人称设备立体视频的无参考食物体积估计方法，结合FoundationStereo、SAM 2与TSDF融合，在5种食物上实现9.1%的平均绝对百分比误差，可用于被动式饮食摄入监测。
2026-10-12 cs.CV
VidParse: Online Parsing of Egocentric Procedures Like a Pro
University of Maryland（马里兰大学）
VidParse是一种无需训练的在线框架，通过图约束推理处理第一人称视角视频的流程解析，在复杂多步骤解析精度上较基线提升最高达10倍。
2026-10-30 cs.CV
Fusion of Image Segmentation Algorithms using Consensus Clustering
Princeton University（普林斯顿大学）；Middle East Technical University（中东技术大学）
提出了一种新的遥感图像分割融合方法，该方法将多个遥感图像分割算法的输出进行融合。使用基于过滤随机BOEM（最佳单元素移动）方法的随机优化算法处理候选分割集以实现一致分割。为此，通过设计一种新的远程学习方法，将滤波随机BOEM转化为分割融合问题。该算法还将最佳聚类数的计算嵌入到分割融合问题中。
2015-02-18 cs.CV
ActionVOS: Actions as Prompts for Video Object Segmentation
The University of Tokyo（东京大学）
针对现有指代视频对象分割依赖静态属性、难区分交互对象与状态变化对象的问题，提出以人类动作为提示的ActionVOS动作感知分割设定及配套方法，在多个数据集上验证了其分割性能提升效果。
2024-07-10 cs.CV
Temporal Human Action Segmentation via Dynamic Clustering
Ulm University（乌尔姆大学）；The University of Edinburgh（爱丁堡大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；The University of Tübingen（蒂宾根大学）
我们提出了一个有效的动态聚类算法的任务，时间人体动作分割，它有广泛的应用，如机器人，运动分析和病人监护。我们提出的算法是无监督的，快速的，通用的处理各种类型的功能，并适用于在线和离线设置。我们进行了大量的实验处理数据流，并表明，我们的算法实现了最先进的在线和离线设置的结果。
2018-03-18 cs.CV
Hierarchical pixel clustering for image segmentation
St. Petersburg Institute for Informatics and Automation of RAS（俄罗斯科学院圣彼得堡信息学与自动化研究所）
本文讨论了像素簇或像素段的连续数目的逐段常数图像近似。研究了图像逼近的层次序列对最优逼近序列的优化。通过减少类中的段数，提供了从像素聚类到图像分割的过渡。算法由初等公式证明。
2014-01-23 cs.CV
