DiffSkill: Skill Abstraction from Differentiable Physics for Deformable Object Manipulations with Tools
Carnegie Mellon University（卡内基梅隆大学）；UC San Diego（加州大学圣地亚哥分校）；MIT（麻省理工学院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
我们考虑的问题，顺序机器人操作的可变形物体使用工具。以前的工作已经表明，可微物理模拟器提供梯度的环境状态，并帮助轨迹优化收敛的数量级更快比无模型强化学习算法的变形对象操作。然而，这种基于梯度的轨迹优化通常需要访问完整的模拟器状态，并且由于局部最优而只能解决短期的单技能任务。在这项工作中，我们提出了一个新的框架，名为DiffSkill，它使用一个可微的物理模拟器的技能抽象来解决长期的可变形对象操作任务从感官观察。特别是，我们首先使用基于梯度的优化器中的单个工具获得短期技能，使用可微模拟器中的完整状态信息;然后我们从以RGBD图像为输入的演示轨迹中学习神经技能抽象器。最后，我们通过找到中间目标来规划技能，然后解决长期任务。我们展示了我们的方法的优势，在一组新的顺序可变形对象操作任务相比，以前的强化学习算法相比，轨迹优化。
2022-03-31 cs.CV cs.GR cs.LG
Translation as a Bridging Action: Transferring Manipulation Skills from Humans to Robots
HKU-MMLab（香港大学多媒体实验室）；ByteDance Seed（字节跳动Seed）
提出以相对手腕平移作为桥接动作表示，结合π₀类视觉-语言-动作模型，从人类数据中迁移操作技能到双臂平行夹爪机器人，有效提升迁移效果并随数据量扩展。
2026-06-29 cs.CV cs.RO
Think Small, Act Big: Primitive Prompt Learning for Lifelong Robot Manipulation
Shanghai AI Laboratory（上海人工智能实验室）；Fudan University（复旦大学）；Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）；Northwestern Polytechnical University（西北工业大学）；TeleAI, China Telecom Corp Ltd（TeleAI，中国电信有限公司）；INSAIT, Sofia University（INSAIT，索菲亚大学）
提出 Primitive Prompt Learning (PPL) 框架，通过两阶段学习方案利用可重用和可扩展的基元提示词实现终身机器人操作，有效缓解灾难性遗忘并促进技能间知识转移。
2025-06-01 cs.CV cs.RO
DexCompose: Reusing Dexterous Policies for Multi-Task Manipulation with a Single Hand
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
提出DexCompose框架，通过手指级动作所有权和双残差模块，解决灵巧操作中多任务组合时的冲突问题，在16个复合任务上平均成功率达77.4%。
2026-06-29 cs.AI cs.CV cs.LG
ZeroMimic: Distilling Robotic Manipulation Skills from Web Videos
University of Pennsylvania（宾夕法尼亚大学）
提出 ZeroMimic 系统，通过蒸馏网络人类视频数据集生成可立即部署的图像目标条件化机器人操作技能策略，无需特定机器人示范，在多种真实与模拟环境中展现出色泛化能力。
2025-03-31 cs.CV cs.LG cs.RO
Efficient Bimanual Manipulation Using Learned Task Schemas
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Facebook Artificial Intelligence Research（脸书人工智能研究院）
我们解决的问题，有效地组成的技能，以解决稀疏奖励的任务在现实世界中。给定一组参数化技能（例如在某个位置施加力或进行顶部抓取），我们的目标是学习调用这些技能的策略来有效地解决这些任务。我们的见解是，对于许多任务，学习过程可以分解为学习一个状态独立的任务模式（一系列的技能执行）和一个政策，选择参数化的技能，在一个状态依赖的方式。对于这样的任务，我们表明，明确建模模式的状态独立性可以产生显着的改善样本效率的无模型强化学习算法。此外，这些模式可以通过简单地重新学习调用技能的参数化来转移到解决相关任务。我们发现，这样做可以非常有效地学习解决现实世界机器人系统上的稀疏奖励任务。我们验证了我们的方法实验一套机器人双手操作任务，无论是在模拟和真实的硬件。请访问http://tinyurl.com/chitnis-schema观看视频。
2020-02-27 cs.CV cs.LG cs.RO
Learning Object Manipulation Skills via Approximate State Estimation from Real Videos
Inria（法国国家信息与自动化研究所）；CIIRC, Czech Technical University in Prague（捷克理工大学捷克信息学、机器人学与控制论研究所）
人类善于通过观看一些教学视频来学习新任务。另一方面，学习新动作的机器人要么需要通过反复试验付出大量努力，要么需要使用具有挑战性的专家演示。在本文中，我们探索了一种方法，便于直接从视频中学习对象操作技能。利用2D视觉识别和可区分渲染的最新进展，我们开发了一种基于优化的方法来估计手和操纵对象的粗略3D状态表示，而不需要任何监督。我们使用这些轨迹作为智能体的密集奖励，智能体通过强化学习学习模仿它们。我们从Something-Something数据集中评估我们的方法对简单的单对象和双对象动作的影响。我们的方法允许代理从单个视频中学习动作，同时观看多个演示使策略更加强大。我们表明，在模拟环境中学习的政策可以很容易地转移到一个真正的机器人。
2020-11-13 cs.CV cs.LG cs.RO
Learning to combine primitive skills: A step towards versatile robotic manipulation
Inria, École normale supérieure, CNRS, PSL Research University（法国国家信息与自动化研究所、巴黎高等师范学院、法国国家科学研究中心、PSL研究大学）；University Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学、法国国家信息与自动化研究所、法国国家科学研究中心、格勒诺布尔工业大学、让·昆塔纳实验室）
像准备饭菜或组装家具这样的操作任务对机器人和视觉来说仍然具有高度挑战性。传统的任务和运动规划（TAMP）方法可以解决复杂的任务，但需要全状态可观测性，不适应动态场景变化。最近的学习方法可以直接对视觉输入进行操作，但通常需要许多演示和/或特定于任务的奖励工程。在这项工作中，我们的目标是克服以前的限制，并提出了一个强化学习（RL）的方法来学习结合原始技能的任务规划。首先，与以前的学习方法相比，我们的方法既不需要中间奖励，也不需要在训练过程中完成任务演示。其次，我们展示了我们的基于视觉的任务规划在具有挑战性的设置与临时遮挡和动态场景变化的多功能性。第三，我们通过探索最近的CNN架构和数据增强，提出了一种有效的基本技能训练。值得注意的是，虽然我们所有的策略都是在模拟环境中的视觉输入上学习的，但我们在将这些策略应用于真实UR 5机器人手臂上的操作任务时，展示了成功的转移和高成功率。
2020-06-20 cs.AI cs.CV cs.LG
DexDeform: Dexterous Deformable Object Manipulation with Human Demonstrations and Differentiable Physics
MIT（麻省理工学院）；UC San Diego（加州大学圣地亚哥分校）；Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；UMass Amherst（马萨诸塞大学阿默斯特分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
针对多指手灵巧操作可变形物体面临的物理交互复杂与接触模式爆炸难题，提出DexDeform框架，结合人类演示与可微物理优化技能，有效提升了对新目标的探索与泛化能力。
2023-03-27 cs.AI cs.CV cs.LG
OKAMI: Teaching Humanoid Robots Manipulation Skills through Single Video Imitation
UT Austin（德克萨斯大学奥斯汀分校）；NVIDIA Research（英伟达研究院）
本文提出OKAMI方法，通过单个RGB-D视频演示利用对象感知重定向技术教人形机器人学习操作技能，在开放世界模仿中超越基线，并利用其轨迹训练闭环策略实现79.2%的平均成功率。
2024-10-15 cs.AI cs.CV cs.LG
SkillSight: Efficient First-Person Skill Assessment with Gaze
SkillSight通过结合注视和第一人称视频数据，实现高效技能评估，首次证明注视在不同现实场景中对技能理解的价值，且能耗低73倍。
2026-04-03 cs.CV
ProSkill: Segment-Level Skill Assessment in Procedural Videos
University of Catania（卡塔尼亚大学）；Next Vision s.r.l.（Next Vision公司）；Toyota Motor Europe（丰田欧洲公司）
ProSkill是首个针对程序化任务动作级技能评估的基准数据集，通过新颖的注释协议提供绝对和成对的技能评估，用于评估最新技能评估算法。
2026-01-28 cs.CV
Surgical Skill Assessment on In-Vivo Clinical Data via the Clearness of Operating Field
Peking University（北京大学）；Peng Cheng Lab（鹏城实验室）；Deepwise AI Lab（深睿医疗人工智能实验室）；Peking University Cancer Hospital（北京大学肿瘤医院）
手术技能考核是手术培训和质量控制的重要环节。关于此任务的先前工作主要集中在基本的手术任务上，例如在模拟设置中执行的缝合和打结。与此相反，手术技能评估在本文中研究了一个真正的临床数据集，其中包括57个体内腹腔镜手术和相应的技能评分由6名外科医生注释。根据对该数据集的分析，手术野（COF）的清晰度被确定为整体手术技能的良好代表，因为其与整体技能的强相关性和注释者间的高度一致性。然后提出了一个基于神经网络的客观自动化框架，通过COF的代理来预测手术技能。该神经网络使用监督回归损失和非监督秩损失联合训练。在实验中，所提出的方法实现了0.55斯皮尔曼的相关性与地面真相的整体技术技能，这甚至是与人类的表现初级外科医生。
2020-08-27 cs.CV
Towards Unified Surgical Skill Assessment
Peking University（北京大学）；Peking University Cancer Hospital（北京大学肿瘤医院）；Deepwise AI Lab（深睿医疗人工智能实验室）
手术技术对手术安全和患者的福祉有很大影响。传统的手术技能评估涉及繁重的手工劳动，缺乏效率和可重复性。因此，我们尝试使用手术视频来自动预测手术的执行情况。本文提出了一个统一的多路径自动手术技能评估框架，该框架考虑了手术技能的多个组成方面，包括手术工具的使用，术中事件模式和其他技能代理。框架中的路径依赖模块专门为这些不同方面之间的依赖关系建模。我们对模拟手术任务的JIGSAWS数据集和真实腹腔镜手术的新临床数据集进行了广泛的实验。该框架在两个数据集上都取得了令人鼓舞的结果，模拟数据集上的最新技术水平从0.71斯皮尔曼相关性提高到0.80。它还表明，结合多个技能方面产生更好的性能比依赖于一个单一的方面。
2021-06-02 cs.CV
Video and Accelerometer-Based Motion Analysis for Automated Surgical Skills Assessment
Georgia Tech（佐治亚理工学院）
目的：基本的外科手术技巧，打结和打结是医疗培训的重要组成部分。拥有一个自动化的手术技能评估系统可以帮助节省专家的时间，提高培训效率。最近有一些使用视频分析或加速度数据进行自动手术技能评估的尝试。在本文中，我们提出了一种新的方法，自动评估OSATS的手术技能，并提供了一个分析的不同功能的多模态数据（视频和加速度计数据）。研究方法：据我们所知，我们进行了最大规模的研究，对包含视频和加速度计数据的数据集进行基本手术技能评估，用于缝合和打结任务。我们引入了“基于熵”的特征-近似熵（ApEn）和交叉近似熵（XApEn），它们量化了时间序列数据中波动的可预测性和规律性。建议的功能进行比较，现有的方法，顺序运动纹理（SMT），离散余弦变换（DCT）和离散傅立叶变换（DFT），手术技能评估。结果：我们报告了所有适用的OSATS标准中不同功能的平均性能，用于打结任务。我们的分析表明，所提出的基于熵的功能优于以前的国家的最先进的方法，使用视频数据。对于加速度计数据，我们的方法只对加速度计执行得更好。我们还表明，视频和加速功能的融合可以提高整体性能，所提出的熵功能实现最高的准确性。结论：使用所提出的熵特征可以实现高准确性的自动手术技能评估。这样的系统可以显著提高医学院校和教学医院的外科培训效率。
2017-02-24 cs.CV
Video-based assessment of intraoperative surgical skill
Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins University School of Medicine（约翰斯·霍普金斯大学医学院）
目的：本调查的目的是提供一个全面的分析，最先进的方法，在手术室的手术技能的视频为基础的评估。研究方法：使用一个数据集的99个视频撕囊，在白内障手术的关键步骤，我们评估功能为基础的方法，以前开发的手术技能评估主要是在台式设置。此外，我们还提出并验证了两种深度学习方法，它们可以直接使用RGB视频评估技能。在第一种方法中，我们预测仪器提示作为关键点，并使用时间卷积神经网络学习手术技巧。在第二种方法中，我们提出了一种新的架构，手术技能评估，其中包括一个逐帧编码器（二维卷积神经网络），其次是一个时间模型（递归神经网络），这两个都是增强视觉注意力机制。我们通过5倍交叉验证报告了每种方法的受试者工作特征曲线下面积、灵敏度、特异性和预测值。结果如下：对于二元技能分类（专家与新手）的任务，基于深度神经网络的方法比基于经典时空兴趣点的方法表现出更高的AUC。使用注意力机制的神经网络方法也显示出高灵敏度和特异性。结论：深度学习方法对于手术室中基于视频的手术技能评估是必要的。我们的研究结果的内部效度的网络使用注意力机制，以评估技能直接使用RGB视频应在其他数据集的外部效度进行评估。
2022-05-13 cs.CV
Video-based Surgical Skills Assessment using Long term Tool Tracking
Johnson & Johnson（强生公司）；Johnson & Johnson Medical GmbH（强生医疗有限公司）
掌握手术所需的技术技能是一项极具挑战性的任务。基于视频的评估允许外科医生接收关于其技术技能的反馈，以促进学习和发展。目前，这种反馈主要来自手动视频审查，这是时间密集型的，并限制了跟踪外科医生在许多情况下的进展的可行性。在这项工作中，我们介绍了一种基于运动的方法来自动评估手术技能的手术案例视频饲料。所提出的流水线首先可靠地跟踪手术工具以创建运动轨迹，然后使用这些轨迹来预测外科医生的技术技能水平。跟踪算法采用了一个简单而有效的重新识别模块，与其他最先进的方法相比，改进了ID切换。当仪器定期在屏幕上和屏幕外移动或定期被遮挡时，这对于创建可靠的工具轨迹至关重要。基于运动的分类模型采用了最先进的自我注意力Transformer网络来捕获技能评估所必需的短期和长期运动模式。在体内（Cholec80）数据集上评估所提出的方法，其中使用Calot三角解剖的专家级GOALS技能评估作为定量技能测量。我们比较基于变压器的技能评估与传统的机器学习方法，使用建议和国家的最先进的跟踪。我们的研究结果表明，使用可靠的跟踪方法的运动轨迹是有益的评估外科医生的技能，仅基于视频流。
2022-07-05 cs.CV
Learning to learn skill assessment for fetal ultrasound scanning
Institute of Biomedical Engineering, Department of Engineering Science, University of Oxford（生物医学工程研究所，工程科学系，牛津大学）；Department of Medical Physics and Biomedical Engineering, University College London（医学物理与生物医学工程系，伦敦大学学院）；Nuffield Department of Women’s & Reproductive Health, University of Oxford（妇女与生殖健康系，牛津大学）；Rabin-Beilinson Medical Center, Tel-Aviv University Faculty of Medicine（拉宾-贝利松医疗中心，特拉维夫大学医学院）
本研究提出一种双层优化框架，通过任务完成质量评估胎儿超声技能，无需人工预定义评分，实现了自动化和定量的技能评估。
2025-12-30 cs.CV
WetCat: Enabling Automated Skill Assessment in Wet-Lab Cataract Surgery Videos
University of Bern（伯尔尼大学）；University of Klagenfurt（克莱根福大学）
针对传统湿实验室眼科手术培训人工评估效率低、差异大的问题，研究推出首个专门用于自动化技能评估的湿实验室白内障手术视频数据集WetCat，含高分辨率视频、阶段标注与解剖结构分割，为眼科客观可规模化教学提供支撑。
2025-10-06 cs.CV
Neuro-Endo-Trainer-Online Assessment System (NET-OAS) for Neuro-Endoscopic Skills Training
Indian Institute of Technology Delhi（印度理工学院德里分校）；All India Institute of Medical Sciences（全印度医学科学研究所）
神经内镜是一种具有挑战性的微创神经外科手术，需要使用不同于现有学徒模式的培训方法获得手术技能。有各种培训系统，用于传授腹腔镜检查的基本技术技能，而神经内窥镜检查系统有限。Neuro-Endo-Trainer是一种用于鼻内经蝶手术技能培训的盒式培训器，具有基于视频的离线评估系统。本研究的目的是通过提供一个具有在线评估和实时反馈的独立系统，开发一个修改后的版本（神经内镜培训师在线评估系统（NET-OAS））。对一组15名新手参与者的验证研究显示，在执行拾取和放置活动时，处理神经内窥镜和工具的技术技能有所提高。
2020-07-16 cs.CV
CPFES: Physical Fitness Evaluation Based on Canadian Agility and Movement Skill Assessment
Shandong Normal University（山东师范大学）；Education and Sports Bureau of Huaiyin District, Jinan（济南市槐荫区教育和体育局）
针对基础运动技能评估向细分年龄段、简洁高效发展的趋势，提出基于CAMSA的儿童体能评估系统CPFES，含关键点检测、姿态估计与姿态评估模块，实验验证其准确率较高，可给出评估建议助力儿童成长。
2023-08-28 cs.CV
Evaluation of Image Matching for Art Skills Assessment
University of Dayton（代顿大学）；University of Science, VNU-HCM（胡志明市国家大学理科大学）；Vietnam National University, Ho Chi Minh City（胡志明市国家大学）
提出通过手绘图像与模板匹配来评估绘画技能的方法，比较SIFT特征与孪生网络，发现SIFT关键点匹配更有效。
2026-06-19 cs.CV
Video-based Surgical Skill Assessment using Tree-based Gaussian Process Classifier
K. N. Toosi University of Technology（K.N.托西理工大学）；Concordia University（康考迪亚大学）
本文提出一种结合表示流卷积神经网络与树状高斯过程分类器的视频手术技能评估流程，在JIGSAWS数据集上显著提升准确性并降低计算成本，有助于技能提升与患者安全。
2023-12-21 cs.CV
Learning Skill-Attributes for Transferable Assessment in Video
University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对视频技能评估模型泛化性差、专家监督成本高的问题，提出CrossTrainer方法，通过发现跨运动通用的技能属性并训练多模态语言模型生成反馈和熟练度评分，在跨运动和运动内设置中实现60%性能提升。
2025-11-17 cs.CV
Surgical Skill Assessment via Video Semantic Aggregation
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；Dalian University of Technology（大连理工大学）；AIST（产业技术综合研究所）
基于视频的手术技能自动评估是一项很有前途的任务，可以帮助年轻的外科实习生，特别是在资源匮乏的地区。现有的工作通常采用CNN-LSTM联合框架，该框架通过LSTM对空间汇集的短期CNN特征进行长期关系建模。然而，这种做法将不可避免地忽略了语义概念之间的差异，如工具，组织和背景的空间维度，阻碍了后续的时间关系建模。在本文中，我们提出了一种新的技能评估框架，视频语义聚合（ViSA），发现不同的语义部分，并将它们聚集在时空维度。语义部分的显式发现提供了一个解释性的可视化，有助于理解神经网络的决策。它还使我们能够进一步纳入辅助信息，如运动学数据，以提高表示学习和性能。在两个数据集上的实验表明，与最先进的方法相比，ViSA具有竞争力。源代码可在bit.ly/MICCAI2022ViSA上获得。
2022-08-04 cs.CV
PATS: Proficiency-Aware Temporal Sampling for Multi-View Sports Skill Assessment
Faculty of Engineering（工程学院）；Free University of Bozen-Bolzano（博泽-博尔扎诺自由大学）
针对现有视频采样方法破坏时序连续性的问题，提出熟练度感知时序采样策略PATS，通过自适应分段保留完整动作，在多视角运动技能评估任务上取得SOTA性能，适配多样活动特征。
2025-10-03 cs.CV
A benchmark for video-based laparoscopic skill analysis and assessment
National Center for Tumor Diseases (NCT)（国家肿瘤疾病中心）；University Hospital Carl Gustav Carus, TUD Dresden University of Technology（德累斯顿工业大学卡尔·古斯塔夫·卡鲁斯大学医院）；TUD Dresden University of Technology（德累斯顿工业大学）；Helmholtz-Zentrum Dresden-Rossendorf (HZDR)（德累斯顿-罗森多夫亥姆霍兹中心）；The Centre for Tactile Internet with Human-in-the-Loop (CeTI)（人在环触觉互联网中心）；Medical Faculty and University Hospital Carl Gustav Carus, TUD Dresden University of Technology（德累斯顿工业大学医学院暨卡尔·古斯塔夫·卡鲁斯大学医院）；Municipal Hospital Dresden-Friedrichstadt（德累斯顿-弗里德里希施塔特市立医院）
本文提出LASANA数据集，用于评估腹腔镜手术技能，包含1270个视频记录及结构化评分和错误标签，提供基准测试框架和深度学习模型基准结果。
2026-02-10 cs.CV
Automated Objective Surgical Skill Assessment in the Operating Room Using Unstructured Tool Motion
Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins Medical Institutions（约翰斯·霍普金斯医疗机构）
先前在手术室（OR）中使用术中工具运动进行手术技能评估的工作主要集中在高度结构化的手术任务，如胆囊切除术。此外，这些方法只考虑了通用的运动度量，如运动的时间和数量，这是有限的指导价值。在本文中，我们开发并评估了一种自动化的方法，在手术室鼻中隔成形术的手术技能评估。鼻中隔成形术的视野受阻和高度非结构化的性质使受训者无法有效地学习该手术。我们提出了一个描述性结构的鼻中隔成形术包括两种类型的活动：（1）刷活动指向远离鼻中隔平面的特点的一致性，外科医生的手腕运动和（2）活动沿鼻中隔平面的特点外科医生的覆盖模式。我们推导出与这两种活动类型相关的特征，这些特征对外科医生的培训水平进行分类，平均准确率约为72%。我们开发的功能为外科医生提供了关于其工具运动的个性化、可操作的反馈。
2014-12-18 cs.CV
Video-based surgical skill assessment using 3D convolutional neural networks
National Center for Tumor Diseases (NCT)（国家肿瘤疾病中心）；Faculty of Medicine and University Hospital Carl Gustav Carus, TU Dresden（德累斯顿工业大学卡尔·古斯塔夫·卡鲁斯医学院暨大学医院）
目的：对新手外科医生进行深入的教育对于确保手术干预的有效性和安全性至关重要。一个重要方面是教授微创或机器人辅助手术的技术技能。这包括客观和最好是自动评估手术技巧。最近的研究提出了良好的效果，自动，客观的技能评估，通过收集和分析运动数据，如轨迹的手术器械。然而，获得运动数据通常需要用于器械跟踪的附加设备或机器人手术系统的可用性以捕获运动学数据。相比之下，我们调查的方法自动，客观的技能评估，只需要视频数据。这具有在微创和机器人辅助训练场景期间可以毫不费力地收集视频的优点。方法：我们的方法建立在基于深度学习的视频分类的最新进展之上。具体来说，我们建议使用膨胀的3D ConvNet来分类片段，即，从手术视频中提取的几个连续帧的堆栈。在训练过程中，将网络扩展为时间段网络。结果如下：我们在公开的JIGSAWS数据集上评估了该方法，该数据集包括在干燥的实验室台式模型上执行的基本机器人辅助手术任务的记录。我们的方法实现了从95.1%到100.0%的高技能分类准确率。结论：我们的研究结果证明了基于深度学习的手术视频技术技能评估的可行性。值得注意的是，3D ConvNet能够直接从数据中学习有意义的模式，从而减轻了手动特征工程的需求。进一步的评价将需要更多的附加说明的数据，用于培训和测试。
2019-09-04 cs.CV
Semantic RGB--Depth Based Surgical Skill Assessment in Microscopic Stereo Videos
Johns Hopkins University（约翰霍普金斯大学）；Johns Hopkins University School of Medicine（约翰霍普金斯大学医学院）
针对现有视频手术技能评估忽视三维空间信息的问题，提出语义RGB-深度融合框架，结合深度融合与分层注意力，在33例喉显微手术中技能分类F1达0.938，优于单一模态。
2026-10-02 cs.CV
Automated Surgical Skill Assessment in RMIS Training
College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）
目的：基本RMIS培训中的手动反馈可能会占用专家外科医生的大量时间，并且容易产生主观性。虽然基于VR的培训任务可以生成自动评分报告，但在RMIS培训中，没有为执行基本手术任务的外科医生生成自动反馈的机制。在本文中，我们探讨了使用不同的整体功能的自动技能评估，只使用机器人运动学数据，并提出了一个加权的功能融合技术，以提高分数预测性能。研究方法：我们进行我们的实验公开可用的JIGSAWS数据集和评估四种不同类型的整体功能从机器人运动学数据-顺序运动纹理（SMT），离散傅立叶变换（DFT），离散余弦变换（DCT）和近似熵（ApEn）。然后，这些特征用于技能分类和准确的技能分数预测。除了单独使用这些功能外，我们还使用我们提出的加权组合技术来评估性能。结果如下：我们的研究结果表明，这些整体功能优于所有以前的HMM为基础的国家的最先进的方法对JIGSAWS数据集的技能分类。此外，我们提出的特征融合策略显着提高性能的技能得分预测达到0.61平均斯皮尔曼相关系数。结论：从机器人运动学数据中捕获全局信息的整体特征可以成功地用于评估达芬奇机器人上基本外科手术任务中的外科医生技能。使用所提出的框架可以潜在地允许在RMIS训练中进行实时的分数反馈。
2017-12-22 cs.CV
ExpOS: Explainable Open-Surgery Skills Assessment Using 3D Hand Reconstruction
Faculty of Data and Decision Sciences, Technion – Israel Institute of Technology, Haifa, 3200003, Israel（数据与决策科学学院，技术学院–以色列理工学院，海法，3200003，以色列）
提出ExpOS框架，通过弱监督时间重要性学习和可解释运动统计，从手术视频中自动评估技能水平并提供多层级可解释反馈。
2026-05-22 cs.CV
RAUL: Reference-Assisted Ureteroscopy Localization for Skill Assessment
Vanderbilt University（范德堡大学）；Vanderbilt University Medical Center（范德堡大学医学中心）
RAUL通过参考辅助重建从输尿管镜视频恢复轨迹，提高定位覆盖率，实现无需额外设备的客观技能评估。
2026-09-18 cs.CV
Objective Surgical Skills Assessment and Tool Localization: Results from the MICCAI 2021 SimSurgSkill Challenge
Intuitive, Inc.（直觉外科公司）；Muroran Institute of Technology（室兰工业大学）；University College London（伦敦大学学院）；Shandong University（山东大学）；German Cancer Research Center (DKFZ)（德国癌症研究中心）；National Center for Tumor Diseases (NCT)（国家肿瘤疾病中心）
手术培训中及时有效的反馈在发展安全有效手术所需的技能方面起着关键作用。来自专家外科医生的反馈虽然在这方面特别有价值，但由于他们通常繁忙的日程安排，因此很难获得，并且可能会受到偏见的影响。正式的评估程序，如OSATS和GEARS，试图提供客观的技能衡量标准，但仍然很耗时。随着机器学习的进步，有机会对技术技能进行快速和客观的自动反馈。SimSurgSkill 2021挑战赛（在MICCAI 2021上作为EndoVis的子挑战赛举办）旨在促进和促进这方面的工作。使用虚拟现实（VR）手术任务，竞争对手的任务是定位仪器和预测手术技巧。在这里，我们总结了成功的方法以及它们的表现。使用这个公开的数据集和结果作为跳板，未来的工作可以通过手术数据科学的进步更有效地培训外科医生。该数据集可以从https://console.cloud.google.com/storage/browser/isi-simsurgskill-2021访问。
2022-12-08 cs.CV
ZEAL: Surgical Skill Assessment with Zero-shot Tool Inference Using Unified Foundation Model
Muroran Institute of Technology（室蘭工業大學）
ZEAL利用统一基础模型进行零样本手术工具分割，结合稀疏CNN和LSTM提取时空特征并生成手术技能评分，在开放数据集上优于传统方法，为客观高效的手术技能评估提供了新途径。
2024-07-03 cs.CV eess.IV
Piano Skills Assessment
University of Nevada, Las Vegas（内华达大学拉斯维加斯分校）；Ed W. Clark High School（埃德·W·克拉克高中）
计算机能测定钢琴演奏者的水平吗？是基于对球员表现的视觉分析进行评估更好，还是我们应该相信我们的耳朵而不是眼睛？由于目前的CNN很难处理长视频，如何对较短的片段进行采样以最好地反映玩家的技能水平？在这项工作中，我们收集并发布了第一个用于多模态技能评估的数据集，重点是评估钢琴演奏者的技能水平，回答所提出的问题，启动钢琴演奏技能的自动评估工作，并为未来的工作提供基线。数据集可从https://github.com/ParitoshParmar/Piano-Skills-Assessment获得。
2021-06-21 cs.CV cs.LG cs.MM
SATR-DL: Improving Surgical Skill Assessment and Task Recognition in Robot-assisted Surgery with Deep Neural Networks
目的：本文主要研究机器人辅助手术中手术运动轮廓的自动分析，用于客观的技能评估和任务识别。现有的技术严重依赖于传统的统计措施或浅建模的基础上手工设计的功能和手势分割。这样的发展需要大量的专业知识，容易出错，并且在线自适应训练系统的效率较低。研究方法：在这项工作中，我们提出了一个有效的分析框架与并行的深度学习架构，SATR-DL，以评估受训者的专业知识和认识手术培训活动。通过端到端的学习技术，直接从原始运动序列中联合获得空间表示和时间动态的抽象信息。结果如下：通过利用共享的高级表示学习，所得到的模型在识别受训者技能和手术任务、缝合、穿针和打结方面是成功的。与此同时，我们探讨了集成在分类中的使用在审判的水平，其中SATR-DL优于国家的最先进的性能，分别达到0.960和1.000的准确率在技能评估和任务识别。结论：这项研究强调了SATR-DL在智能机器人手术中为有效的数据驱动评估提供改进的潜力。
2018-06-15 cs.CV cs.RO
An Empirical Study and Analysis of Learning Generalizable Manipulation Skill in the SAPIEN Simulator
Beijing University of Posts Telecommunications（北京邮电大学）；Beijing Technology Business University（北京工商大学）
本文简要概述了我们提交的SAPIEN ManiSkill挑战2021无交互跟踪。我们的方法遵循一个端到端的管道，主要包括两个步骤：我们首先提取多个对象的点云特征;然后我们采用这些特征，通过一个深而宽的基于transformer的网络来预测机器人模拟器的动作得分。为了指导今后的工作，为学习操作技能的开发开辟新的途径，我们提出了一个经验性的研究，其中包括一系列的技巧和失败的尝试。最后，我们的方法在排行榜上取得了很好的排名。我们解决方案的所有代码都可以在https：//github.com/liu666666/bigfish\_codes上找到。
2022-08-31 cs.AI cs.CV cs.RO
Explainable AI-Powered Framework for Video-Based Skill Assessment in Cataract Surgery
K.N. Toosi University of Technology（霍加托西大学）；Faculties of Electrical and Computer Engineering（电气与计算机工程学院）；Applied Robotics and AI Solutions (ARAS)（应用机器人与人工智能解决方案（ARAS））
本研究针对外科劳动力短缺和传统培训局限，提出可解释AI驱动的白内障手术视频技能评估框架，基于2000条最大数据集，87%准确率，指标与专家评估强相关。
2026-08-19 cs.AI cs.CV
Video-based Formative and Summative Assessment of Surgical Tasks using Deep Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）
为了确保令人满意的临床结果，手术技能评估必须客观，省时，并优先自动化-这是目前无法实现的。基于视频的评估（Video-based assessment，简称VATS）正在术中和模拟环境中部署，以评估技术技能的执行情况。然而，人工评估仍然需要大量的人工和时间，并且容易出现主观解释和评估者间可靠性差的情况。在此，我们提出了一种深度学习（DL）模型，该模型可以自动客观地提供基于视频馈送的手术技能执行的高风险总结性评估和低风险形成性评估，以指导手术技能获取。使用与手术性能相关的视觉特征热图生成形成性评估。因此，DL模型为从视频中对手术任务进行定量和可再现的评估铺平了道路，具有在手术培训，认证和认证中广泛传播的潜力。
2022-03-17 cs.AI cs.CV
SurGNN: Explainable visual scene understanding and assessment of surgical skill using graph neural networks
University of Toronto（多伦多大学）；Dalhousie University（达尔豪斯大学）
针对手术技能评估需求，提出SurGNN框架，采用监督与自监督并行的图神经网络方法实现可解释的手术场景理解与技能预测，在EndoVis19等数据集上取得最优结果。
2023-08-24 cs.CV eess.IV
Looking Beyond the Scale: Do Surgical Skill Models Learn Transferable Representations Across Assessment Rubrics?
National Center for Tumor Diseases (NCT)（国家肿瘤疾病中心）；DKFZ（德国癌症研究中心）；Faculty of Medicine and University Hospital Carl Gustav Carus（卡尔·古斯塔夫·卡鲁斯医学院及大学医院）；TUD Dresden University of Technology（德累斯顿工业大学）；Helmholtz-Zentrum Dresden-Rossendorf (HZDR)（德累斯顿-罗森多夫亥姆霍兹中心）；BMFTR Research Hub 6G-Life（BMFTR 6G生活研究中心）；Deutsches Krebsforschungszentrum (DKFZ)（德国癌症研究中心）；The Centre for Tactile Internet with Human-in-the-Loop (CeTI)（人在回路触觉互联网中心）
本文研究手术技能模型的跨评估准则可迁移性，发现JIGSAWS预训练骨干在LASANA上迁移可行但反向迁移失败，任务特定头部主导技能预测，视觉成分非唯一预测因素。
2026-08-19 cs.CV cs.LG
Automated Surgical Skill Assessment in Endoscopic Pituitary Surgery using Real-time Instrument Tracking on a High-fidelity Bench-top Phantom
University College London（伦敦大学学院）；NVIDIA（英伟达）；King’s College London（伦敦国王学院）；National Hospital for Neurology and Neurosurgery（国立神经学与神经外科医院）
本文提出基于高保真体模的内窥镜垂体手术模拟数据集，并构建PRINTNet实时器械追踪基线模型，结合多层感知器实现87%的手术技能预测准确率，验证了自动化技能评估的可行性。
2024-09-25 cs.CV eess.IV
Deep Neural Networks for the Assessment of Surgical Skills: A Systematic Review
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Raytheon BBN Technologies（雷神BBN科技公司）；Army Research Laboratory（陆军研究实验室）
医学院住院医师项目中的外科培训遵循学徒模式。学习和评估过程本质上是主观和耗时的。因此，需要客观的方法来评估手术技能。在这里，我们使用系统性综述和荟萃分析（PRISMA）指南的首选报告项目，系统地调查了关于使用深度神经网络进行自动化和客观手术技能评估的文献，重点关注运动学数据作为手术能力的假定标记。由于强大的算法、多个数据集（其中一些是公开可用的）以及用于训练和托管它们的高效计算硬件的可用性，最近对深度神经网络（DNN）有相当大的兴趣。我们回顾了530篇论文，其中我们选择了25篇进行系统评价。基于这篇综述，我们得出结论，DNN是使用运动学和视频数据进行自动化、客观手术技能评估的强大工具。该领域将受益于大型的、公开可用的、注释的数据集，这些数据集代表了外科实习生和专家的人口统计数据以及运动学和视频之外的多模态数据。
2021-03-03 cs.AI cs.CV cs.LG
ManiSkill: Generalizable Manipulation Skill Benchmark with Large-Scale Demonstrations
University of California San Diego（加利福尼亚大学圣迭戈分校）
从3D视觉输入的对象操作对构建可推广的感知和策略模型提出了许多挑战。然而，现有基准中的3D资产大多缺乏与现实世界中的类内拓扑和几何复杂性相一致的3D形状的多样性。在这里，我们提出了SAPIEN操纵技能基准（ManiSkill），以基准在全物理模拟器中的不同对象的操纵技能。ManiSkill中的3D资源包括大型类内拓扑和几何变化。任务经过精心选择，以涵盖不同类型的操纵挑战。3D视觉的最新进展也使我们相信，我们应该定制基准，以便挑战邀请从事3D深度学习的研究人员。为此，我们模拟了一个移动的全景相机，返回以自我为中心的点云或RGB-D图像。此外，我们希望ManiSkill能够为对操作研究感兴趣的广泛研究人员提供服务。除了支持从交互中学习策略外，我们还支持从演示中学习（LfD）方法，提供大量高质量的演示（约36，000个成功的轨迹，约150万个点云/RGB-D帧）。我们使用3D深度学习和LfD算法提供基线。我们的基准测试（模拟器，环境，SDK和基线）的所有代码都是开源的，跨学科研究人员面临的挑战将基于基准测试。
2021-11-04 cs.AI cs.CV cs.LG
Relational Learning for Skill Preconditions
Carnegie Mellon University（卡内基梅隆大学）
为了确定一项技能是否可以在任何给定的环境中执行，机器人需要学习该技能的先决条件。随着机器人开始在动态和非结构化环境中运行，前提条件模型将需要推广到不同形状和大小的可变数量的对象。在这项工作中，我们专注于学习的先决条件模型在无约束的环境中的操作技能。我们的工作是出于直觉，许多复杂的操作任务，多个对象，可以简化专注于不太复杂的成对对象关系。我们提出了一个对象关系模型，学习这些成对对象关系的连续表示。我们的对象关系模型完全在模拟中训练，一旦学习，就被一个单独的前提条件模型用来预测现实世界任务的技能前提条件。我们评估我们的前提条件模型上$3$不同的操作任务：清扫，切割和unstacking。我们表明，我们的方法在预测所有3个任务的前提条件方面都有了显着的改进，这些任务跨越了不同形状和大小的对象。
2020-12-03 cs.CV cs.LG cs.RO
Active Task Randomization: Learning Robust Skills via Unsupervised Generation of Diverse and Feasible Tasks
NVIDIA（英伟达）；Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）
本文提出主动任务随机化（ATR）方法，通过无监督生成并主动选择多样且可行的训练任务，学习鲁棒操作技能，并在单步与顺序操作任务中取得优于基线的成功率。
2023-04-18 cs.AI cs.CV cs.LG
SkillMimicGen: Automated Demonstration Generation for Efficient Skill Learning and Deployment
NVIDIA（英伟达）
本文提出 SkillMimicGen 自动演示生成系统与 HSP 框架，从少量人类演示生成大规模技能数据，提升机器人长时序操作的学习、部署及零样本 sim-to-real 性能。
2024-10-24 cs.AI cs.CV cs.LG
