Gate-Shift-Pose: Enhancing Action Recognition in Sports with Skeleton Information
Free University of Bozen-Bolzano（博洛尼亚-博兹纳自由大学）
针对花样滑冰运动员摔倒分类问题，提出融合骨骼姿态与RGB信息的Gate-Shift-Pose网络，验证了两种融合策略的效果，显著提升了识别准确率，凸显多模态与姿态信息的价值。
2025-10-03 cs.CV
Sparse Dictionary-based Attributes for Action Recognition and Summarization
Center for Automation Research（自动化研究中心）；UMIACS（马里兰大学高级计算机研究所）；University of Maryland（马里兰大学）
提出了一种基于信息最大化的动作属性字典学习方法。我们将类分布和外观信息统一到一个目标函数中，用于学习动作属性的稀疏字典。目标函数最大化在每个字典原子的外观信息和类分布方面已经学习的内容和仍然要学习的内容之间的互信息。我们提出了一个高斯过程（GP）模型的稀疏表示优化字典的目标函数。稀疏编码属性允许GP中具有紧凑支持的内核实现非常有效的字典学习过程。因此，我们可以描述一个动作视频由一组紧凑和歧视性的动作属性。更重要的是，我们可以在稀疏特征空间中识别建模的动作类别，这可以推广到看不见的和未建模的动作类别。实验结果表明，我们的方法在动作识别和摘要的有效性。
2013-08-01 cs.CV
Distantly Supervised Semantic Text Detection and Recognition for Broadcast Sports Videos Understanding
Yahoo! Research（雅虎研究院）；Microsoft（微软）
全面理解多人体育直播视频中的关键球员和动作是一个具有挑战性的问题。与新闻或财经视频不同，体育视频的文本有限。虽然多人体育运动的动作识别和运动员检测都已经有了强大的研究，但理解视频帧中的上下文文本仍然是体育视频理解最有效的途径之一。在这项工作中，我们研究了非常准确的语义文本检测和识别运动时钟，其中的挑战。我们观察到运动时钟的独特属性，这使得它很难利用通用的预训练检测器和识别器，以便文本可以被准确地理解到用于与外部知识对齐的程度。我们提出了一种新的远程监督技术来自动构建体育时钟数据集。随着适当的数据增强，结合任何国家的最先进的文本检测和识别模型架构，我们提取非常准确的语义文本。最后，我们分享了我们的计算架构管道，以在工业环境中扩展该系统，并提出了一个强大的数据集来验证我们的结果。
2021-10-31 cs.CV cs.IR cs.LG
Convolutional Architecture Exploration for Action Recognition and Image Classification
Knexus Research Corporation（克奈苏斯研究公司）；Naval Research Laboratory（美国海军研究实验室）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
快速特征编码卷积架构（CAFFE）[11]是一个用于图像训练、分类和特征提取的软件包。UCF Sports Action数据集是一个广泛使用的机器学习数据集，包含200个以720x480分辨率拍摄的视频，涉及9种不同的体育活动：潜水、高尔夫、摇摆、踢腿、举重、骑马、跑步、滑板、摇摆（各种体操）和步行。在这份报告中，我们报告了从UCF Sports Action数据集的视频中提取的图像的caffe特征提取管道。对overfeat进行了类似的测试，结果不如caffe。本研究的目的是探索架构和超参数需要有效的静态分析的行动，在视频和分类在各种图像数据集。
2015-12-23 cs.CV
COACH: Collaborative Agents for Contextual Highlighting -- A Multi-Agent Framework for Sports Video Analysis
COACH提出一种多代理框架，通过协作代理实现体育视频分析中的上下文高亮，提升时间层次结构的理解与跨任务适应性。
2025-12-02 cs.CV
3D Convolutional Networks for Action Recognition: Application to Sport Gesture Recognition
Univ. Bordeaux（波尔多大学）；Univ. La Rochelle（拉罗谢尔大学）
3D卷积网络是一种很好的方法来执行任务，例如将视频分割成连贯的时空块，并根据目标分类法对其进行分类。在本章中，我们感兴趣的是具有可重复动作的连续视频的分类，例如乒乓球的击球。这些视频在无标记的生态环境中拍摄，从分割和分类的角度来看都是一个挑战。3D convnets是一个有效的工具，用于解决这些问题与基于窗口的方法。
2022-04-13 cs.CV cs.LG eess.IV
Benchmarking Badminton Action Recognition with a New Fine-Grained Dataset
Auburn University（奥本大学）；National Central University（中央大学）
本研究构建了基于高质量羽毛球素材的细粒度VideoBadminton数据集，通过在该数据集对主流动作识别方法进行全面评估，为羽毛球动作识别及细粒度动作识别研究提供新基准，推动体育场景下的动作理解研究。
2024-11-02 cs.CV
SV3.3B: A Sports Video Understanding Model for Action Recognition
Sports Vision, Inc.（体育视觉公司）；Vizworld, Inc.（视觉世界公司）
本文提出轻量级33亿参数体育视频理解模型SV3.3B，通过时间运动差分采样、DWT-VGG16-LDA关键帧提取和自监督编码器实现端侧高效部署，在篮球数据集上超越GPT-4o等大模型，显著提升动作描述质量。
2025-07-23 cs.AI cs.CV
An X3D Neural Network Analysis for Runner's Performance Assessment in a Wild Sporting Environment
Universidad de Las Palmas de Gran Canaria（拉斯帕尔马斯大学）
本研究将X3D神经网络用于野外超马跑步者表现评估，通过迁移学习用动作识别网络估算累计比赛时间，实现了SOTA性能，内存需求仅为先前工作的近七分之一且精度更高。
2023-07-22 cs.CV
CHAM: action recognition using convolutional hierarchical attention model
University of Liverpool（利物浦大学）；Xi'an Jiaotong-Liverpool University（西交利物浦大学）
最近，最初在语言处理中提出的软注意力机制已被应用于计算机视觉任务，如图像描述。本文通过将卷积LSTM与分层系统架构相结合来识别视频中的动作类别，从而对软注意力模型进行改进。我们称这个模型为卷积层次注意力模型（Convolutional Hierarchical Attention Model，CHAM）。该模型在LSTM单元内应用卷积运算和注意力图生成过程来识别动作。该模型的层次结构能够显式地对多粒度的动作类别进行推理。所提出的架构在三个公开可用的数据集上取得了改进的结果：UCF体育数据集、奥林匹克体育数据集和HMDB51数据集。
2017-05-19 cs.CV
Online Learnable Keyframe Extraction in Videos and its Application with Semantic Word Vector in Action Recognition
University of Alberta（阿尔伯塔大学）
视频处理由于其在视频摘要、动作识别等方面的各种应用，已经成为计算机视觉中的热门研究方向。最近，基于深度学习的方法在动作识别方面取得了令人瞩目的成果。然而，这些方法需要处理完整的视频序列来识别动作，即使这些帧中的大多数是相似的并且对于识别特定动作是不必要的。此外，这些不必要的帧增加了计算成本，并可能混淆动作识别中的方法。相反，被称为关键帧的重要帧不仅有助于动作的识别，而且还可以减少用于分类或其他应用（例如摘要）的每个视频序列的处理时间。同样，视频处理中的当前方法尚未以在线方式展示。基于上述原因，我们提出了一个在线学习的关键帧提取模块。该模块可用于选择视频中的关键镜头，从而可应用于视频摘要。提取的关键帧可用作任何基于深度学习的分类模型的输入以识别动作。我们还提出了一个插件模块，使用语义词向量作为输入，以及关键帧和一种新的训练/测试策略的分类模型。据我们所知，这是第一次提出这样的在线模块和训练/测试策略。在视频摘要和动作识别中的许多常用数据集上的实验结果表明，使用所提出的模块取得了令人印象深刻的结果。
2020-09-25 cs.CV
Beyond the Single Camera: Agentic Multi-View Reasoning in Sports Video Understanding
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）
针对体育视频多视角理解缺乏评估基准及MLLMs难以利用多视角信息的问题，引入SportMV - Bench基准，分析瓶颈所在，并提出SportMV - Agent框架，通过迭代循环实现主动视角选择等，相比最强MLLM基线有显著提升。
2026-08-05 cs.CV
FACTS: Fine-Grained Action Classification for Tactical Sports
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；Georgia Institute of Technology（佐治亚理工学院）；University of California, Irvine（加利福尼亚大学欧文分校）
本文提出基于transformer的细粒度动作识别方法FACTS，直接处理原始视频数据，在击剑和拳击动作分类上分别达到90%和83.25%准确率，并发布包含8种击剑动作的新公开数据集，为战术运动设定新基准。
2024-12-21 cs.CV
Sports Video Analysis on Large-Scale Data
University of Pittsburgh（匹兹堡大学）；York University（约克大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文研究了体育视频自动机器描述的建模，这是最近取得的进展。然而，最先进的方法还远远不能捕捉人类专家如何分析体育场景。有几个主要原因：（1）所使用的数据集是从非官方提供商收集的，这自然会在这些数据集上训练的模型与真实世界的应用程序之间产生差距;（2）以前提出的方法需要大量的注释工作（即，像素级的球员和球分割）对定位有用的视觉特征以产生可接受的结果;（3）很少有公共数据集可用。在本文中，我们提出了一个新的大规模NBA数据集的体育视频分析（NSVA），重点是字幕，以解决上述挑战。我们还设计了一个统一的方法来处理原始视频到一个堆栈的有意义的功能，最小的标签工作，显示交叉建模等功能使用Transformer架构导致强大的性能。此外，我们展示了广泛的应用NSVA解决两个额外的任务，即细粒度的运动动作识别和显着的球员识别。代码和数据集可在https://github.com/jackwu502/NSVA上获得。
2022-08-09 cs.CV
Predicting Soccer Penalty Kick Direction Using Human Action Recognition
SIANI, Universidad de Las Palmas de Gran Canaria, Spain（SIANI，拉斯帕尔马斯德格拉纳达大学，西班牙）
本文提出一个带标注的足球点球数据集，并设计融合HAR特征嵌入与上下文元数据的深度学习分类器，在二十二个骨干模型上取得最高63.9%的射门方向预测准确率，优于真实守门员决策。
2025-07-16 cs.CV
Using joint angles based on the international biomechanical standards for human action recognition and related tasks
University College London（伦敦大学学院）；Vicon Motion Systems（维康运动系统公司）
本文提出基于国际生物力学标准将关键点数据转换为关节角度的方法，用于人类动作识别等任务，该表示具有视角和动作主体独立性，能提升机器学习性能，并增强可解释性，同时发布python转换工具包。
2024-06-25 cs.CV
Sequence Summarization Using Order-constrained Kernelized Feature Subspaces
Australian Centre for Robotic Vision, Australian National University（澳大利亚国立大学机器人视觉中心）；Massachusetts Institute of Technology（麻省理工学院）
能够压缩和有效捕获语义内容的时间演化的表示对于操作多变量时间序列数据的机器学习算法是重要的。我们调查这样的表示动机的人类行动识别的任务。这里，每个数据实例由多变量特征编码（例如通过深度CNN），其中动作动态由它们在时间上的变化来表征。由于这些功能往往是非线性的，我们提出了一种新的池化方法，内核化的秩池，表示一个给定的序列composite作为前图像的参数的超平面在RKHS，投影的数据上捕捉他们的时间顺序。我们进一步发展了这一想法，并表明，这样的池计划可以作为一个顺序约束的核PCA目标铸造，然后我们建议使用核低秩特征子空间的参数作为序列的表示。我们把我们的配方作为一个优化问题的广义格拉斯曼流形，然后有效地解决它使用黎曼优化技术。我们提出了几个动作识别数据集上使用不同的特征模态的实验，并展示了最先进的结果。
2017-05-24 cs.CV
Hyper-Fisher Vectors for Action Recognition
Indian Institute of Science（印度科学学院）
本文提出了一种结合Fisher矢量和词袋编码的视频动作识别编码方案。所提出的Hyper-Fisher矢量编码是基于传统的词袋（BoW）编码计算的局部Fisher矢量之和。因此，所提出的编码是简单的，但在传统的Fisher矢量编码的有效表示。通过对具有挑战性的动作识别数据集的广泛评估，即，Youtube，Olympic Sports，UCF 50和HMDB 51，我们表明，与改进的Fisher Vector编码相比，所提出的Hyper-Fisher Vector编码将识别性能提高了约2-3%。我们还进行了实验，以表明超Fisher向量的性能是强大的字典大小的BoW编码。
2015-09-28 cs.CV
Comprehensive Video Understanding: Video summarization with content-based video recommender design
Xinhua Zhiyun Technology Co., Ltd.（新华智云科技有限公司）；Columbia University in the City of New York（纽约哥伦比亚大学）
视频摘要旨在从长视频中提取关键帧/镜头。以往的方法主要将摘要的多样性和代表性作为算法设计的先验知识。在本文中，我们制定了视频摘要作为一个基于内容的推荐问题，这应该提取最有用的内容，从长视频的用户谁遭受信息过载。提出了一种可扩展的深度神经网络，通过显式地对片段和视频进行建模来预测一个视频片段是否是对用户有用的片段。此外，我们还完成了未裁剪视频中的场景和动作识别，以便在视频理解任务的不同方面之间找到更多的相关性。此外，本文还将讨论听觉和视觉特征在摘要任务中的作用。我们还通过数据增强和多任务学习来扩展我们的工作，以防止模型早期过拟合。我们模型的最终结果在ICCV 2019 CoView研讨会挑战赛中获得第一名。
2019-10-30 cs.CV
SkateboardAI: The Coolest Video Action Recognition for Skateboarding
Harbin Institute of Technology（哈尔滨工业大学）
本文首次构建了真实场景滑板视频数据集SkateboardAI，并设计实现了多种单模态与多模态动作识别方法以准确识别滑板技巧，旨在开发优秀的AI体育裁判。
2024-01-03 cs.AI cs.CV
A Closer Look at Spatiotemporal Convolutions for Action Recognition
Facebook Research（Facebook研究院）；Dartmouth College（达特茅斯学院）
在本文中，我们讨论了几种形式的时空卷积的视频分析，并研究其对动作识别的影响。我们的动机源于这样的观察，即应用于视频单个帧的2D CNN在动作识别中仍然表现出色。在这项工作中，我们经验性地证明了在残余学习的框架内，3D CNN相对于2D CNN的准确性优势。此外，我们还证明了将3D卷积滤波器分解为单独的空间和时间分量在准确性方面具有显着优势。我们的实证研究导致了一个新的时空卷积块“R（2+1）D”的设计，它产生了CNN，实现了与Sports-1 M，Kinetics，UCF 101和HMDB 51的最新技术相当或更好的结果。
2018-04-12 cs.CV
Shrinkage Optimized Directed Information using Pictorial Structures for Action Recognition
University of Michigan at Ann Arbor（密歇根大学安娜堡分校）
在本文中，我们提出了一个新的动作识别框架。该方法使用图像结构和收缩优化的有向信息评估（SODA）耦合马尔可夫随机场称为SODA+MRF建模的方向性时间依赖性和双向空间依赖性。作为互信息的一种变体，方向信息捕获跨帧的视频序列的方向信息流和时间结构。同时，在每一帧内，马尔可夫随机场被用来模拟人体的不同部位和不同人的身体部位之间的空间关系。所提出的SODA+MRF模型是鲁棒的观点转换和检测复杂的相互作用准确。我们将所提出的方法与几种基线方法进行比较，以强调SODA+MRF模型的有效性。我们证明了我们的算法在UCF动作识别数据集、奥林匹克运动数据集和集体活动数据集上具有优于几种最先进方法的动作识别性能。
2014-04-12 cs.CV
ActionFlowNet: Learning Motion Representation for Action Recognition
University of Maryland, College Park（马里兰大学帕克分校）；Allen Institute for AI（艾伦人工智能研究所）；Comcast Labs, DC（康卡斯特实验室（华盛顿特区））
即使卷积神经网络（CNN）在各种视觉识别任务中的最新进展，最先进的动作识别系统仍然依赖于手工制作的运动特征（诸如光流）来实现最佳性能。我们提出了一个多任务学习模型MifFlowNet，直接从原始像素训练单流网络，以联合估计光流，同时用卷积神经网络识别动作，在单个模型中捕获外观和运动。此外，我们还提供了了解如何学习的光流的质量影响的动作识别。与在没有外部大规模数据和额外光流输入的情况下训练的最先进的基于CNN的动作识别模型相比，我们的模型显著提高了动作识别的准确性，提高了31%。在没有对大型外部标记数据集进行预训练的情况下，我们的模型通过充分利用运动信息，实现了与使用ImageNet和Sport-1 M等大型标记数据集训练的模型相竞争的识别准确性。
2018-02-16 cs.CV
A Survey of Video-based Action Quality Assessment
Fudan University（复旦大学）；ZhongShan Hospital（中山医院）；Ji Hua Laboratory（季华实验室）
人体行为识别与分析在视频监控、视频检索、人机交互等领域有着巨大的需求和重要的应用意义。人类行为质量评价的任务要求智能系统能够自动、客观地评价人类完成的行为。行动质量评估模型可以减少行动评估所花费的人力物力，降低主观性。在本文中，我们提供了一个全面的调查现有的文件基于视频的动作质量评估。与人类动作识别不同，动作质量评估的应用场景相对狭窄。现有的大部分工作集中在体育和医疗保健方面。我们首先介绍了人类行为质量评估的定义和挑战。然后，我们提出了现有的数据集和评估指标。此外，根据体育和医疗领域的特点，按模式类别和出版机构分别对这两个领域的方法进行了总结。最后，结合近年来的研究工作，对行动质量评估的发展方向进行了展望。
2022-04-20 cs.CV
Learning Using Privileged Information for Zero-Shot Action Recognition
Tianjin University（天津大学）；University of Wollongong（伍伦贡大学）
Zero-Shot动作识别（ZSAR）旨在识别在训练过程中从未见过的视频动作。大多数现有的方法假设一个共享的语义空间之间看到的和看不见的动作，并打算直接学习从视觉空间映射到语义空间。视觉空间和语义空间之间的语义鸿沟对这种方法提出了挑战。本文提出了一种新的方法，使用对象的语义作为特权信息，以缩小语义差距，因此，有效地帮助学习。特别是，一个简单的幻觉网络提出了隐式提取对象语义在测试过程中，而不显式提取对象和交叉注意模块的开发，以增强视觉特征的对象语义。在Olympic Sports、HMDB51和UCF101数据集上的实验表明，该方法的性能明显优于现有方法。
2022-06-22 cs.CV
SCSampler: Sampling Salient Clips from Video for Efficient Action Recognition
Facebook AI（Facebook人工智能（Facebook AI））
虽然许多动作识别数据集由简短的修剪视频的集合组成，每个视频包含相关动作，但现实世界中的视频（例如，在YouTube上）表现出非常不同的属性：它们通常是几分钟长，其中简短的相关剪辑通常与包含很少变化的延长持续时间的片段交错。将动作识别系统密集地应用于这样的视频内的每个时间片段是非常昂贵的。此外，正如我们在实验中所示，这导致了次优的识别准确性，因为来自相关剪辑的信息预测在视频的长时间无信息部分上被无意义的分类输出超过。在本文中，我们介绍了一个轻量级的“剪辑采样”模型，可以有效地识别最显着的时间剪辑内的长视频。我们证明，未修剪的视频动作识别的计算成本可以显着降低调用识别只在这些最突出的剪辑。此外，我们表明，这会产生显着的收益相比，所有剪辑或随机/均匀选择的剪辑的分析识别精度。在Sports 1 M上，我们的剪辑采样方案将已经最先进的动作分类器的准确性提高了7%，并将其计算成本降低了15倍以上。
2019-08-30 cs.CV
Temporal Extension of Scale Pyramid and Spatial Pyramid Matching for Action Recognition
Carnegie Mellon University（卡内基梅隆大学）
历史上，该领域的研究人员花费了大量的精力来创建具有尺度不变性并保留空间位置信息的图像表示。本文提出了在视频表示的动作识别编码等效的时间特性。为了实现时间尺度不变性，我们开发了一种称为时间尺度金字塔（TSP）的方法。为了编码时间信息，我们提出并比较了两种方法，称为时间扩展描述符（TED）和时间分割金字塔（TDP）。我们的目的是提出解决方案，以匹配复杂的行动，有很大的变化，在速度和外观，这是从目前的行动表示失踪。在UCF50、HMDB51、Hollywood2和Olympic Sports四个基准数据集上的实验结果支持了我们的方法，并且显著优于最先进的方法。最值得注意的是，我们在具有挑战性的HMDB51和Hollywood2数据集上实现了65.0%的平均准确度和68.2%的平均精确度，分别比最先进的数据集提高了7.8%和3.9%。
2014-08-29 cs.CV
Deep Learning Approaches for Human Action Recognition in Video Data
National University（国立大学）；Jiangxi College of Applied Technology（江西应用技术学院）
本文在 UCF101 Videos 子集上比较 CNN、RNN 与 Two-Stream ConvNets，发现融合时空信息的双流网络在多项指标上表现更优。
2024-03-11 cs.CV
Learning To Score Olympic Events
University of Nevada, Las Vegas（内华达大学拉斯维加斯分校）
评估行动质量，即为行动的执行分配“分数”的过程，在体育和医疗保健等领域至关重要。与动作识别不同，动作识别有数百万个示例可供学习，目前可用的动作质量数据集很小-通常只有几百个样本。这项工作提出了三个评估奥林匹克运动的框架，这些框架利用使用3D卷积神经网络（C3 D）学习的时空特征，并使用i）SVR，ii）LSTM和iii）LSTM进行评分回归，然后进行SVR。针对有限数据场景，提出了一种有效的训练机制，用于使用LSTM进行基于剪辑的训练。所提出的系统显示出显着的改善，现有的质量评估方法的任务预测奥运会项目{跳水，跳马，花样滑冰}的分数。虽然基于SVR的框架产生更好的结果，但基于LSTM的框架更自然地描述动作，并可用于改进反馈。
2017-05-18 cs.CV
Challenges in Video-Based Infant Action Recognition: A Critical Examination of the State of the Art
Northeastern University（东北大学）；Roux Institute（鲁克斯研究所）；University of Minnesota（明尼苏达大学）
本文探讨了婴儿动作识别领域的挑战，提出了包含五类里程碑动作的新数据集InfActPrimitive，并通过对尖端骨架模型的对比分析，揭示了现有模型在婴儿动作识别上的局限性及对数据高效流水线模型的迫切需求。
2023-11-21 cs.CV
ActionAtlas: A VideoQA Benchmark for Domain-specialized Action Recognition
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）；Nvidia（英伟达）
提出ActionAtlas视频问答基准，含934个视频、580个动作，评估多模态模型在专业领域动作识别上的能力，发现GPT-4o准确率45.52%，低于非专家众包工作者61.64%，并指出高帧采样率的重要性。
2024-11-11 cs.CV
Are current long-term video understanding datasets long-term?
TU Delft（代尔夫特理工大学）；TNO（荷兰应用科学研究组织）
本研究针对现有长期动作识别数据集是否真的考验长期推理能力的问题，提出基于短期信息捷径的评估方法，发现Breakfast等三个主流数据集可靠短期信息解决，呼吁研究者使用需长期信息的数据集。
2023-08-22 cs.CV
EITNet: An IoT-Enhanced Framework for Real-Time Basketball Action Recognition
Henan Sport University（河南体育大学）；Henan University（河南大学）；Granite Telecommunications LLC.（Granite电信公司）
提出EITNet模型，结合EfficientDet、I3D和TimeSformer并集成IoT技术，实现实时篮球动作识别，准确率达92%，显著优于基线模型。
2024-10-13 cs.AI cs.CV cs.LG
Indoor Activity Detection and Recognition for Sport Games Analysis
University of Graz（格拉茨大学）
体育运动中的动作识别是计算机视觉的一个研究热点。游戏，球员和团队分析是非常感兴趣的，在这个领域的研究课题出现了自动化分析的目标。运动的非常具体的基本规则可以用作识别任务的先验知识，并提供用于评估的约束环境。本文以排球运动为例，阐述了对体育运动中单人活动的认识。从每帧播放器为中心的活动识别开始，我们将几何形状和上下文信息通过活动上下文描述符，收集有关所有玩家的活动在一定的时间跨度相对于调查的球员的信息。在我们新的现实生活数据集上评估了这种上下文信息对单人活动识别的好处，该数据集提供了近36k的注释帧，其中包含6个职业排球比赛视频中的7个活动类。我们结合的上下文信息提高了77.56%的平均球员为中心的分类性能高达18.35%的特定类，证明时空背景是活动识别的重要线索。
2014-04-25 cs.CV
Automatic Curation of Golf Highlights using Multimodal Excitement Features
IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；IBM iX
制作体育集锦节目，总结比赛中最激动人心的时刻，是广播媒体的一项重要任务。然而，它需要劳动密集型的视频编辑。我们提出了一种新的方法，自动策划的体育亮点，并使用它来创建一个现实世界的系统，为编辑援助的高尔夫亮点卷轴。我们的方法融合了来自球员反应（动作识别，如击掌和拳头泵），观众（人群欢呼）和评论员（声音和文字分析的语气）的信息，以确定游戏中最有趣的时刻。我们通过额外的元数据（如球员姓名和球洞号）准确识别关键镜头亮点的开始和结束帧，从而实现个性化的内容摘要和检索。此外，我们引入了新的技术，通过利用不同模态的相关性来学习我们的分类器，减少手动训练数据注释。我们的工作已经在一个大型高尔夫锦标赛上得到了展示，成功地从连续四天的实时视频流中提取了精彩片段。
2017-07-22 cs.CV cs.MM
Hierarchical Explanations for Video Action Recognition
University of Amsterdam（阿姆斯特丹大学）
本文提出HIPE方法，通过构建原型与类别间的层次关系，实现视频动作分类的多层次推理与解释，并在ActivityNet和UCF-101上验证了其忠实度。
2023-04-03 cs.AI cs.CV cs.LG
A General Framework for Jersey Number Recognition in Sports Video
York University（约克大学）
提出一种用于体育视频球衣号码识别的一般框架，引入冰球数据集，适配场景文本识别方法，解决遮挡并跨运动泛化，图像级准确率91.4%，轨迹级87.4%。
2024-05-22 cs.CV
ViSTec: Video Modeling for Sports Technique Recognition and Tactical Analysis
Zhejiang University（浙江大学）
针对球拍类运动视频中技术识别受遮挡和模糊影响、现有方法缺乏战术理解的问题，本文提出ViSTec模型，通过图建模击球序列策略知识并联合训练两阶段动作感知模型，显著提升了技术识别与战术分析性能。
2024-02-25 cs.CV
FSD-10: A Dataset for Competitive Sports Content Analysis
Dalian University of Technology（大连理工大学）；Tsinghua University of Technology（清华大学理工学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
动作识别是视频分析中一个重要而又具有挑战性的问题。虽然在过去的十年中，随着深度学习的发展，动作识别取得了进展，但在竞技体育内容分析中，这一过程一直很缓慢。为促进竞技体育视频中动作识别的研究，提出了一种用于精细体育内容分析的花样滑冰数据集（FSD-10）。为此，我们收集了2017-2018年世界花样滑冰锦标赛的1484个片段，其中包括男子/女子节目中的10个不同动作。每个剪辑的速率为每秒30帧，分辨率为1080 $\times$ 720。这些剪辑，然后由类型，执行等级，滑冰者信息等专家进行注释。为了建立一个基线，在花样滑冰动作识别，我们评估国家的最先进的动作识别方法FSD-10。基于领域知识在体育领域中的重要性，提出了一种基于关键帧的时间段网络（KTSN）进行分类，取得了良好的效果。实验结果表明，FSD-10是一个理想的基准动作识别算法的数据集，因为它需要准确地提取动作运动，而不是动作姿势。我们希望FSD-10，它被设计成具有大量的细粒度动作，可以作为一个新的挑战，开发更强大和先进的动作识别模型。
2020-02-09 cs.CV
ConvGRU in Fine-grained Pitching Action Recognition for Action Outcome Prediction
预测动作结果是机器人与人类协同工作的一个新挑战。近年来，随着视频动作识别领域的研究取得了令人瞩目的进展，从视频数据中进行细粒度的动作识别成为一个新的研究热点。细粒度动作识别是在更细的粒度上检测动作的细微差别，在人机交互、智能交通管理、体育训练、医疗保健等领域具有重要意义。考虑到不同的结果与动作的细微差异密切相关，细粒度动作识别是一种实用的动作结果预测方法。在本文中，我们探讨了卷积门递归单元（ConvGRU）方法在细粒度动作识别任务上的性能：预测投球的结果。基于人体动作的RGB图像序列，所提出的方法实现了79.17%的准确率，这超过了目前的最先进的结果。我们还比较了不同的网络实现，并显示了不同的图像采样方法，不同的融合方法和预训练等的影响，最后，我们讨论了ConvGRU在这样的动作结果预测和细粒度动作识别任务的优势和局限性。
2020-08-18 cs.CV cs.HC
FollowMeUp Sports: New Benchmark for 2D Human Keypoint Recognition
Alibaba Business School, Hangzhou Normal University（杭州师范大学阿里巴巴商学院）；Keep Inc.（Keep公司）；Beihang University（北京航空航天大学）
人体姿态估计近年来取得了显著的进展。然而，现有的数据集是有限的，在其覆盖面的姿态变化。在本文中，我们介绍了一种新的基准FollowMeUp运动，它在特定姿势，自遮挡和类平衡方面取得了重要进展，我们认为这是人体模型未来发展所需的贡献。这个综合数据集是使用一个已建立的分类法收集的，该分类法包含200多种标准锻炼活动，具有三个不同的拍摄角度。所收集的视频涵盖了比以前的数据集更广泛的特定锻炼活动，包括俯卧撑，蹲下和身体在地面附近移动，严重自遮挡或被一些运动设备和服装遮挡。鉴于这些丰富的图像，我们对领先的人体姿势估计方法进行了详细分析，以了解这些方法的成功和失败。
2019-11-19 cs.CV
Feature Combination Meets Attention: Baidu Soccer Embeddings and Transformer based Temporal Detection
Baidu Research（百度研究院）
随着互联网技术和新兴工具的快速发展，在线生成的体育相关视频正在以前所未有的速度增长。为了自动化体育视频编辑/高光生成过程，一个关键的任务是精确地识别和定位长的未修剪的视频中的事件。在这份技术报告中，我们提出了一个两阶段的范例来检测足球广播视频中发生的事件以及事件发生的时间。具体来说，我们对足球数据的多个动作识别模型进行了微调，以提取高层次的语义特征，并设计了一个基于Transformer的时间检测模块来定位目标事件。这种方法在两个任务中都实现了最先进的性能，即，行动发现和重播接地，在足球网v2挑战赛，根据CVPR 2021 ActivityNet研讨会。我们的足球嵌入功能在https://github.com/baidu-research/vidpress-sports上发布。通过与更广泛的社区共享这些功能，我们希望加速对足球视频理解的研究。
2021-06-28 cs.AI cs.CV cs.LG
Video Summarization: Study of various techniques
Army Institute Of Technology（陆军理工学院）
各种技术，可用于视频，即视频到视频转换的总结的比较研究，以及各自的架构，结果，优点和缺点。在所有方法中，将长视频转换为较短视频，其旨在捕获原始视频中存在的所有重要事件。“重要事件”的定义可能会根据上下文而有所不同，例如体育视频和纪录片可能具有被分类为重要的不同事件。
2021-01-21 cs.CV
Decoupled Prompt-Adapter Tuning for Continual Activity Recognition
School of Computing（计算机学院）；National University of Singapore（新加坡国立大学）
提出解耦提示-适配器调优（DPAT）框架，结合适配器与可学习提示，平衡泛化与可塑性，在持续动作识别基准上达到最先进性能。
2024-07-20 cs.AI cs.CV
Generalizing Sports Feedback Generation by Watching Competitions and Reading Books: A Rock Climbing Case Study
University of Pittsburgh（匹兹堡大学）
本文通过结合观看比赛和阅读书籍的方法，利用免费网络数据和新指标提升运动反馈生成的泛化能力。
2026-02-09 cs.CV
Fine-Grain Annotation of Cricket Videos
CVIT, IIIT-Hyderabad（海得拉巴国际信息技术研究所视觉信息技术中心）；Xerox Research Center India（施乐印度研究中心）
人类活动的识别是视频理解的关键问题之一。动作识别即使对于特定类别的视频（例如体育）也具有挑战性，这些视频仅包含一小部分动作。有趣的是，体育视频伴随着在线提供的详细评论，可以用于在弱监督环境中执行动作注释。对于板球视频的具体情况下，我们解决的挑战，时间分割和注释的ctions与语义描述。我们的解决方案包括两个阶段。在第一阶段中，视频分割成“场景”，通过利用场景类别信息提取的文本评论。第二阶段包括将视频镜头以及文本描述中的短语分类为各种类别。然后将相关短语适当地映射到视频镜头。这项工作的新颖之处是精细的时间尺度，语义信息被分配给视频。由于我们的方法，我们可以从几个小时的视频中检索仅持续几秒钟的特定动作。这种解决方案产生了大量的标记样本，无需手动操作，可以由机器学习算法用来学习复杂的动作。
2017-09-27 cs.CL cs.CV cs.MM
Fine-Grained Sports, Yoga, and Dance Postures Recognition: A Benchmark Analysis
Birla Institute of Technology and Science, Pilani（皮拉尼比尔拉科学技术学院）；Jadavpur University（贾达普大学）；University of Hradec Kralove（赫拉德茨-克拉洛韦大学）
针对体育、瑜伽和舞蹈（SYD）姿态的细粒度分类问题，本文构建了Sports-102和Dance-12两个新数据集，并提出集成基于补丁注意力机制的SYD-Net模型，在多个数据集上取得领先识别准确率。
2023-08-01 cs.CV
Multi-label Class-imbalanced Action Recognition in Hockey Videos via 3D Convolutional Neural Networks
Innopolis University（伊诺波利斯大学）
视频的自动分析是计算机视觉和机器学习领域中最复杂的问题之一。这项研究的一个重要部分涉及（人类）活动识别（HAR），因为人类及其执行的活动产生了大部分的视频语义。基于视频的HAR在各个领域都有应用，但其中最重要和最具挑战性的是体育视频中的HAR。一些主要问题包括高的类间和类内变化，大的类不平衡，群体行动和单人行动的存在，以及识别同时的行动，即，多标签学习问题考虑到这些挑战和CNN最近在解决各种计算机视觉问题方面的成功，在这项工作中，我们实现了一个基于3D CNN的多标签深度HAR系统，用于曲棍球视频中的多标签类不平衡动作识别。我们测试我们的系统在两个不同的情况下：一个合奏的$k$二进制网络与一个单一的$k$输出网络，在一个公开的数据集。我们还将我们的结果与最初为所选数据集设计的系统进行了比较。实验结果表明，该方法的性能优于现有的解决方案。
2018-05-03 cs.CV cs.LG
RGB Video Based Tennis Action Recognition Using a Deep Historical Long Short-Term Memory
Xiamen University of Technology（厦门理工学院）；Nanyang Technological University（南洋理工大学）
在计算机视觉中，基于RGB输入的动作识别技术在虚拟网球比赛、网球技战术视频分析等运动的人体模拟和统计方面具有潜在的应用价值，因此受到越来越多的关注。最近，基于深度学习的方法在动作识别方面取得了令人鼓舞的性能。本文提出了一种采用加权长短期记忆和卷积神经网络表示的三维网球击球识别方法。首先，使用预先训练的Inception网络从每个视频帧单独提取局部二维卷积神经网络空间表示。然后，引入加权的长短期记忆解码器以采用时间t的输出状态和时间t-1的历史嵌入特征来使用得分加权方案生成特征向量。最后，我们使用所采用的CNN和加权LSTM将原始视觉特征映射到向量空间，以生成视觉序列的时空语义描述并对动作视频内容进行分类。在基准测试上的实验表明，我们的方法只使用简单的原始RGB视频可以实现更好的性能比国家的最先进的基线网球拍识别。
2018-09-25 cs.CV cs.LG stat.ML
Human activity recognition using deep learning approaches and single frame cnn and convolutional lstm
School of Electronics Engineering, Vellore Institute of Technology（韦洛尔理工学院电子工程学院）
本研究探索单帧CNN与卷积LSTM两种深度学习方法用于视频人体行为识别，在UCF50等数据集上实验验证，其中单帧CNN以99.8%的准确率优于卷积LSTM模型。
2023-04-18 cs.CV eess.IV
BasketHAR: A Multimodal Dataset for Human Activity Recognition and Sport Analysis in Basketball Training Scenarios
Shanghai Jiao Tong University（上海交通大学）
本文提出BasketHAR数据集，用于解决现有HAR数据集在体育分析应用中的不足，通过多模态数据包括运动传感器和视频记录，提供先进的HAR任务研究资源。
2026-04-18 cs.CV
SoccerHigh: A Benchmark Dataset for Automatic Soccer Video Summarization
Universitat Pompeu Fabra（庞培法布拉大学）
针对体育视频摘要领域公开数据集不足的问题，本文提出了名为SoccerHigh的足球视频摘要基准数据集，配套设计了专用基线模型并取得0.3956的F1分数，还提出了受摘要长度约束的新评估指标。
2025-09-01 cs.AI cs.CV cs.MM
Learning Spatiotemporal Features for Infrared Action Recognition with 3D Convolutional Neural Networks
Raytheon BBN Technologies（雷神BBN技术公司）
与可见光谱相机相比，红外（IR）成像具有实现更鲁棒的动作识别系统的潜力，这是由于对照明条件和外观变化的敏感性较低。虽然从可见光谱成像收集的视频上的动作识别任务受到了很大的关注，但红外视频中的动作识别却很少被探索。我们的目标是利用成像数据在这种方式的动作识别任务。在这项工作中，我们提出了一种新的双流三维卷积神经网络（CNN）的架构，通过引入区分码层和相应的区分码损失函数。提出的网络处理红外图像和基于红外的光流场序列。我们在可见光谱Sports-1 M动作数据集上预训练3D CNN模型，并在红外动作识别（InfAR）数据集上对其进行微调。据我们所知，这是3D CNN首次应用于IR域中的动作识别。我们对应用于不同3D CNN输出的不同融合方案（加权平均、单层和双层神经网络）进行了详细分析。实验结果表明，我们的方法可以在InfAR数据集上实现最先进的平均精度（AP）性能：（1）所提出的双流3D CNN实现了最佳报告的77.5% AP，以及（2）我们应用于光流场的3D CNN模型实现了最佳报告的单流75.42% AP。
2017-05-18 cs.AI cs.CV cs.LG
Implementing AI-powered semantic character recognition in motor racing sports
Virtually Live（Virtually Live公司）
赛车节目的电视制作人通常会将视觉和文本媒体叠加在一起，以在屏幕上提供有关驾驶员的上下文，例如驾驶员的姓名、位置或照片。通常，这是由人工制作人完成的，人工制作人在屏幕上视觉识别驾驶员，手动切换与每个驾驶员相关联的上下文媒体，并与摄像师和其他电视制作人协调，以在上下文媒体在屏幕上的同时保持赛车手在镜头中。这种劳动密集型和高度专用的过程最适合静态叠加，并且难以在短镜头中同时叠加关于许多驱动程序的上下文信息。本文提出了一种系统，该系统在很大程度上自动化了这些任务，并使用深度学习实现动态覆盖，以跟踪驾驶员在屏幕上移动，而无需人工干预。该系统不仅是理论上的，而且已经由一家电视制作公司在Formula E比赛的现场比赛中部署了一个实现。我们提出了在实施过程中面临的挑战，并讨论了影响。此外，我们还介绍了这项新技术的未来应用和路线图。
2020-06-01 cs.CV
