Enhancing Soccer Camera Calibration Through Keypoint Exploitation
Sportlight(斯波特莱特公司)
本文提出一种多阶段足球摄像机标定流水线,通过利用球场几何特征增加标定点并采用投票算法提升精度,在SoccerNet 2023挑战赛中夺冠。
2024-10-09 cs.CV
Foul prediction with estimated poses from soccer broadcast video
Graduate School of Informatics, Nagoya University(名古屋大学信息学研究科);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本研究提出一种结合CNN和RNN的深度学习方法,通过整合视频、边界框、图像和姿态信息构建足球犯规预测模型,实验证明各模态均有效提升了预测性能。
2024-02-15 cs.CV cs.LG
SoccerHigh: A Benchmark Dataset for Automatic Soccer Video Summarization
Universitat Pompeu Fabra(庞培法布拉大学)
针对体育视频摘要领域公开数据集不足的问题,本文提出了名为SoccerHigh的足球视频摘要基准数据集,配套设计了专用基线模型并取得0.3956的F1分数,还提出了受摘要长度约束的新评估指标。
2025-09-01 cs.AI cs.CV cs.MM
Deep learning for action spotting in association football videos
1 Center of Excellence for Generative AI, IVUL, KAUST, Saudi Arabia 2 Montefiore Institute, Open-SportsLab, University of Li \`e ge, Belgium
本文回顾了足球视频动作定位任务自2018年提出以来的发展,介绍了SoccerNet数据集及挑战赛,推动了60多种方法的开发,使动作定位成为体育行业可行方案。
2024-10-02 cs.CV
RMS-Net: Regression and Masking for Soccer Event Spotting
University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学);Metaliquid S.R.L.(Metaliquid 股份责任公司)
最近提出的动作定位任务包括找到事件发生的确切时间戳。这个任务特别适合足球视频,其中事件对应于足球规则严格定义的显著动作(当球越过球门线时发生进球)。在本文中,我们设计了一个轻量级的和模块化的网络动作发现,它可以同时预测事件标签及其时间偏移使用相同的底层功能。我们用两种训练策略丰富了我们的模型:第一种用于数据平衡和均匀采样,第二种用于掩盖模糊帧并保持最具区分力的视觉线索。当在SoccerNet数据集上进行测试并使用标准特征时,我们的完整提案超过了当前最先进的3个平均mAP点。此外,当与强大的2D主干相结合进行微调时,它在测试集上获得了超过10个平均mAP点的增益。
2021-02-15 cs.CV
Improved Soccer Action Spotting using both Audio and Video Streams
University of Mons(蒙斯大学)
在本文中,我们提出了一个多模态(音频和视频)的动作发现和分类在足球视频的研究。动作识别和分类是在视频中找到事件的时间锚并确定它们是哪个事件的任务。这是一般活动理解的一个重要应用。在这里,我们提出了一个实验研究,在深度神经网络架构的不同阶段结合音频和视频信息。我们使用了SoccerNet基准数据集,其中包含来自五大欧洲联赛的500个足球比赛视频的注释事件。通过这项工作,我们评估了几种方法,将音频流集成到仅基于视频的架构。我们观察到平均精确度(mAP)指标的平均绝对改善,动作分类任务为$7.43\%$,动作定位任务为$4.19\%$。
2020-11-09 cs.CV
Deep Understanding of Soccer Match Videos
针对足球比赛直播视频难以提取逐帧球员动作细节的问题,研究利用计算机视觉技术实现目标检测、追踪、场景分类等功能,可生成多种赛事分析内容,提升观众观赛体验。
2024-07-11 cs.CV
Slicing and dicing soccer: automatic detection of complex events from spatio-temporal data
Politecnico di Torino(都灵理工大学)
体育视频中事件的自动检测对于数据分析以及广播和媒体公司具有重要的应用。本文提出了一种全面的方法来检测足球视频中的各种复杂事件从位置数据开始。事件检测器被设计为一个两层系统,检测原子事件和复杂事件。原子事件的检测是基于检测对象的时间和逻辑组合,它们的相对距离,以及时空特征,如速度和加速度。复杂事件被定义为原子事件和复杂事件在时间和逻辑上的组合,并通过一个声明性的时间间隔逻辑(ITL)来表示。所提出的方法的有效性证明了超过16个不同的事件,包括复杂的情况下,如铲球和过滤通行证。通过形式化基于原则性ITL的事件,可以轻松执行推理任务,例如理解哪些传球或传中导致进球。为了弥补缺乏合适的、带注释的公共数据集的问题,我们构建了一个开源的足球模拟引擎来重新租赁合成的SoccER(足球事件识别)数据集,其中包括超过160万个原子事件和9,000个复杂事件的完整位置数据和注释。数据集和代码可在https://gitlab.com/grains2/slicing-and-dicing-soccer上获得
2020-04-10 cs.CV cs.LO
BMASH: Ball-Motion-Aware Soccer Header Spotting
University of Jyväskylä(于韦斯屈莱大学);Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
本文提出BMASH框架,融合Video Swin动作识别与球检测特征,提升足球头球检测性能,在片段级指标上优于基线,并在全视频检测中实现可比的F1性能。
2026-10-01 cs.CV
Beyond Pixels: Leveraging the Language of Soccer to Improve Spatio-Temporal Action Detection in Broadcast Videos
Centre for Robotics, Mines Paris - PSL(机器人中心,巴黎 Mines - PSL 高等学院);Footovision(Footovision 公司)
本文提出通过引入去噪序列转换任务,利用足球战术规律提升广播视频中时空动作检测的精度和召回率。
2025-05-14 cs.CV
SoccerSynth-Detection: A Synthetic Dataset for Soccer Player Detection
RIKEN Center for Advanced Intelligence Project(理化学研究所先进情报项目中心)
针对足球运动员检测领域真实数据集稀缺、多样性不足的问题,研究构建了含多样光照、纹理及运动模糊的合成数据集SoccerSynth-Detection,实验验证其可匹配甚至超越真实数据集的训练效果,具备替代真实数据集的潜力。
2025-10-03 cs.CV
Detecting key Soccer match events to create highlights using Computer Vision
Northwestern University(西北大学);Great Learning
研究和数据科学界一直着迷于开发用于检测视频中关键事件的自动系统。该领域特别关注体育视频分析,它可以帮助确定比赛期间的关键事件,并帮助为未来的比赛制定战略。在本文中,我们选择了足球作为一项运动,我们希望通过计算机视觉模型为给定的比赛视频创建亮点,该模型旨在识别足球比赛中的重要事件,以创建比赛的亮点。我们基于Faster RCNN和YoloV5架构构建了模型,并注意到我们用于训练Faster RCNN的数据量在检测比赛中的事件方面比YoloV5做得更好,尽管它慢得多。在更快的RCNN中,使用ResNet50作为基础模型的分类准确率为95.5%,而VGG16作为基础模型的分类准确率为92%,完全优于我们训练数据集的YoloV5。我们用23分钟的原始视频进行了测试,我们的模型可以将其减少到4:50分钟的精彩片段,捕捉比赛中几乎所有重要的事件。
2022-04-06 cs.AI cs.CV
StreamSoccer: Event-Driven Memory for Streaming Soccer Commentary
Migu Video Technology Co., Ltd.(咪咕视讯科技有限公司);South China University of Technology(华南理工大学);East China Normal University(华东师范大学)
本研究提出StreamSoccer,一种用于流式足球解说的事件驱动系统,通过建模事件生命周期实现多时间范围解说,在数据集评估中取得优异性能且计算开销可控。
2026-08-21 cs.CL cs.CV
Utilizing Temporal Information in Deep Convolutional Network for Efficient Soccer Ball Detection and Tracking
Universität Bonn(波恩大学)
足球检测被认为是RoboCup比赛中的关键挑战之一。它需要一个高效的视觉系统,能够处理高精度和高召回率的检测任务,并提供强大的和低推理时间。在这项工作中,我们提出了一种新的卷积神经网络(CNN)的方法来检测图像序列中的足球。与现有的仅使用当前帧或图像进行检测的方法相比,我们利用帧的历史。使用历史记录可以在球消失或在某些帧中被部分遮挡的情况下有效地跟踪球。我们的方法利用时空相关性,并检测球的运动轨迹的基础上。我们使用三种卷积方法来展示我们的结果,即时间卷积网络(TCN),ConvLSTM和ConvGRU。我们首先使用全卷积编码器-解码器架构解决图像的检测任务,然后将其用作时间模型的输入,并在图像序列中共同学习检测任务。我们评估了我们所有的实验在一个新的数据集准备作为这项工作的一部分。此外,我们提出的实证结果,以支持在具有挑战性的情况下使用球的历史的有效性。
2019-09-06 cs.CV
Feature Combination Meets Attention: Baidu Soccer Embeddings and Transformer based Temporal Detection
Baidu Research(百度研究院)
随着互联网技术和新兴工具的快速发展,在线生成的体育相关视频正在以前所未有的速度增长。为了自动化体育视频编辑/高光生成过程,一个关键的任务是精确地识别和定位长的未修剪的视频中的事件。在这份技术报告中,我们提出了一个两阶段的范例来检测足球广播视频中发生的事件以及事件发生的时间。具体来说,我们对足球数据的多个动作识别模型进行了微调,以提取高层次的语义特征,并设计了一个基于Transformer的时间检测模块来定位目标事件。这种方法在两个任务中都实现了最先进的性能,即,行动发现和重播接地,在足球网v2挑战赛,根据CVPR 2021 ActivityNet研讨会。我们的足球嵌入功能在https://github.com/baidu-research/vidpress-sports上发布。通过与更广泛的社区共享这些功能,我们希望加速对足球视频理解的研究。
2021-06-28 cs.AI cs.CV cs.LG
MMSys'22 Grand Challenge on AI-based Video Production for Soccer
SimulaMet(西穆拉梅特);Forzasys AS(福扎系统公司);Oslo Metropolitan University(奥斯陆城市大学)
足球在全球体育产业中占有相当大的市场份额,观看足球比赛视频的兴趣持续增长。在这方面,重要的是要提供游戏摘要和主要游戏事件的亮点。然而,注释和生成事件和摘要通常需要昂贵的设备和大量乏味、繁琐的手工劳动。因此,以低得多的成本提供快速游戏亮点的视频制作管道自动化被视为“圣杯”。在这种背景下,人工智能(AI)技术的最新发展显示出巨大的潜力。尽管如此,最先进的方法远远不足以满足具有苛刻的实时要求以及严格的性能标准的实际场景(其中至少对官方事件(如进球和卡片)的检测必须是100%准确的)。此外,事件检测应该通过注释和分类、适当的剪辑、生成简短的描述、为精彩片段选择适当的缩略图以及最后将事件精彩片段组合成整体比赛摘要来彻底增强,类似于体育新闻期间通常播出的内容。尽管事件标记操作迄今为止受到了最多的关注,但端到端视频制作管道还包括各种其他操作,这些操作服务于自动足球分析的总体目的。这项挑战旨在使用人工智能来帮助这种生产管道的自动化。特别是,我们专注于事件被检测到后发生的增强操作,即事件剪辑(任务1),缩略图选择(任务2)和游戏摘要(任务3)。挑战网站:https://mmsys2022.ie/authors/grand-challenge。
2022-02-02 cs.CV cs.MM
Game State and Spatio-temporal Action Detection in Soccer using Graph Neural Networks and 3D Convolutional Networks
Centre for Robotics, MINES Paris - PSL, France(机器人中心,巴黎 Mines - PSL,法国)
针对足球赛事单目视频事件标注成本高、现有时空动作检测方法缺乏比赛上下文理解的问题,提出结合图神经网络与3D CNN融合视觉和比赛状态信息的检测方法,提升了动作检测效果。
2025-02-21 cs.CV
Automatic Pass Annotation from Soccer VideoStreams Based on Object Detection and LSTM
University of Pisa(比萨大学);ISTI-CNR(意大利国家研究委员会信息科学与技术研究所)
足球分析正在吸引学术界和工业界越来越多的兴趣,这要归功于描述每场比赛中发生的所有时空事件的数据的可用性。这些事件(例如,传球、射门、犯规)由操作人员手动收集,这对数据提供商来说在时间和经济资源方面构成了相当大的成本。在本文中,我们描述了PassNet,一种识别足球中最常见事件的方法,即,通过视频流。我们的模型结合了一组人工神经网络,从视频流中进行特征提取,目标检测,以确定球和球员的位置,并通过或不通过帧序列的分类。我们在不同的场景中测试PassNet,具体取决于条件与用于训练的匹配的相似性。我们的研究结果显示了良好的分类结果和显着提高通过检测的准确性相对于基线分类器,即使匹配的测试和训练集的视频条件是相当不同的。PassNet是迈向自动化事件注释系统的第一步,该系统可能会打破事件注释的时间和成本,使小型和非专业部门,青年联赛以及一般比赛的数据汇集成为可能,这些比赛目前没有被数据提供商注释。
2020-07-13 cs.CV cs.LG
Using Player's Body-Orientation to Model Pass Feasibility in Soccer
Universitat Pompeu Fabra(庞培法布拉大学);Futbol Club Barcelona(巴塞罗那足球俱乐部)
给出了一个足球比赛的单目视频,本文提出了一个计算模型,以估计在任何给定的时间最可行的通行证。该方法利用进攻球员的方向(加上他们的位置)和对手的空间配置来计算传球事件在同一球队的球员的可行性。方向数据是从身体姿势估计,正确地投影到2D游戏领域收集的;此外,通过可行性措施的定义,提供了一个几何解决方案,以确定哪些球员更好地面向对方。一旦分析了超过6000个传球事件,结果表明,通过将方位作为可行性度量,可以建立鲁棒的计算模型,达到超过0.7 Top-3的精度。最后,方向可行性措施与最近推出的预期占有值度量相结合的研究,得到了可喜的结果,从而表明,现有的模型可以通过使用方向作为一个关键特征进行改进。这些模型可以帮助教练和分析师更好地理解比赛,并改善球员的决策过程。
2020-04-15 cs.CV
Event detection in coarsely annotated sports videos via parallel multi receptive field 1D convolutions
University of Waterloo(滑铁卢大学)
在诸如体育视频分析的问题中,由于冗长的视频和庞大的视频数据量,很难获得准确的帧级注释和准确的事件持续时间。这个问题在冰球等快节奏运动中更为突出。在粗略的尺度上获得注释可能更加实用和省时。我们提出了粗注释视频中的事件检测任务。我们为所提出的任务引入了一个多塔时间卷积网络架构。该网络在多个感受野的帮助下,处理不同时间尺度的信息,以解释事件确切位置和持续时间的不确定性。我们通过适当的消融研究证明了多感受野结构的有效性。该方法在两个任务上进行评估-NHL数据集中粗略注释的曲棍球视频中的事件检测和SoccerNet数据集中的足球事件检测。这两个数据集缺乏帧级注释,并且具有非常不同的事件频率。实验结果证明了网络的有效性,通过获得55%的平均F1分数的NHL数据集,并通过实现竞争力的性能相比,最先进的SoccerNet数据集。我们相信我们的方法将有助于开发更实用的体育视频事件检测管道。
2020-04-13 cs.CV
Real-time Pose Estimation from Images for Multiple Humanoid Robots
University of Bonn(波恩大学)
姿势估计通常是指识别图像或视频中的人的身体姿势的计算机视觉方法。随着深度学习的最新进展,我们现在有了引人注目的模型来实时的【形】解决这个问题。由于这些模型通常是为人类图像设计的,因此需要调整现有模型以适用于其他生物,包括机器人。本文研究了不同的国家的最先进的姿态估计模型,并提出了一个轻量级的模型,可以在实时的【形】工作的人形机器人在RoboCup人形联赛环境。此外,我们提出了一个新的数据集,称为HumanoidRobotPose数据集。这项工作的结果有可能使足球机器人的许多先进的行为。
2021-07-06 cs.CV cs.RO
ROBO: Robust, Fully Neural Object Detection for Robot Soccer
Budapest University of Technology and Economics(布达佩斯技术与经济大学);Griffith University(格里菲斯大学)
由于深度学习在计算机视觉和其他人工智能领域的成功,它在过去几年中变得非常流行。然而,深度神经网络计算量大,限制了其在低功耗嵌入式系统(如移动机器人)中的应用。针对机器人足球环境中相关目标的检测问题,提出了一种高效的神经网络结构。ROBO模型的效率提高是通过利用环境的特性来实现的。与最先进的Tiny YOLO模型相比,所提出的网络在运行时间上减少了约35倍,同时实现了更高的平均精度,尽管以略差的定位精度为代价。
2019-10-24 cs.CV cs.NE cs.RO
A Multi-stage deep architecture for summary generation of soccer videos
Georgia Institute of Technology(佐治亚理工学院);Twentieth Century Fox(二十世纪福克斯公司);Starfleet Academy(星际舰队学院);Tyrell Inc.(泰瑞尔公司)
视频内容存在于越来越多的领域,包括科学和商业领域。体育,特别是足球,是在视频分析领域投资最多的行业之一,这是由于游戏的大规模普及和新市场的出现。以前的足球比赛视频摘要的最先进的方法依赖于手工制作的算法来生成概括性差的摘要,但是这些工作还没有证明多个模态有助于检测比赛的最佳动作。另一方面,具有更高泛化潜力的机器学习模型已经进入通用视频摘要领域,提供了多种深度学习方法。然而,他们中的大多数利用不适合体育整场比赛视频的内容特性。虽然视频内容多年来一直是足球知识自动提取的主要来源,但记录球场上发生的所有事件的数据最近在体育分析中变得非常重要,因为这些事件数据提供了更丰富的上下文信息,并且需要更少的处理。我们提出了一种方法来生成足球比赛的摘要,利用音频和事件元数据。结果表明,我们的方法可以检测匹配的动作,识别这些动作中的哪些应该属于摘要,然后提出多个候选摘要,这些摘要足够相似,但具有相关的可变性,为最终编辑器提供不同的选项。此外,我们展示了我们的工作的泛化能力,因为它可以在来自不同广播公司,不同比赛,在不同条件下获得的数据集之间传递知识,并对应于不同长度的摘要
2022-05-02 cs.AI cs.CV cs.LG
Semi-Supervised Training to Improve Player and Ball Detection in Soccer
针对足球球员与足球检测标注不足的问题,提出基于教师—学生网络和置信度感知损失的半监督训练方法,并在 SoccerNet-v3 上建立首个基准。
2022-04-14 cs.CV
Real-time Active Vision for a Humanoid Soccer Robot Using Deep Reinforcement Learning
Qazvin Azad University(加兹温伊斯兰阿扎德大学);University of Leeds(利兹大学)
在本文中,我们提出了一种主动视觉方法,使用深度强化学习方法的人形足球机器人。所提出的方法自适应优化的机器人的观点,以获得最有用的地标自我定位,同时保持球进入其观点。主动视觉对于具有有限视野的类人决策机器人至关重要。为了处理主动视觉问题,先前已经提出了几种基于概率熵的方法,这些方法高度依赖于自定位模型的准确性。然而,在这项研究中,我们将这个问题描述为一个情景强化学习问题,并采用深度Q学习方法来解决它。所提出的网络只需要相机的原始图像将机器人的头部移向最佳视点。该模型显示出非常有竞争力的80%的成功率,在实现最佳的观点。我们实现了所提出的方法在Webots模拟器中模拟的人形机器人。我们的评估和实验结果表明,所提出的方法优于基于熵的方法在RoboCup的上下文中,在高自我定位错误的情况下。
2020-11-27 cs.AI cs.CV cs.LG
Efficient Lines Detection for Robot Soccer
Centro de Informática (CIn - UFPE)(计算机中心(CIn - 乌弗佩))
针对机器人足球自定位中的场地线检测,本文基于 ELSED 增加 RGB 颜色过渡分类,并用 PSO 校准阈值,以少量标注样本实现媲美深度学习模型的精度和更快速度。
2025-07-25 cs.CV cs.RO
A Graph-Based Method for Soccer Action Spotting Using Unsupervised Player Classification
Universitat Pompeu Fabra(庞培法布拉大学)
足球视频中的动作发现是识别比赛中某个关键动作发生的特定时间的任务。最近,它受到了大量的关注,并引入了强大的方法。动作识别包括理解游戏的动态、事件的复杂性和视频序列的变化。大多数方法都集中在后者,因为它们的模型利用了序列的全局视觉特征。在这项工作中,我们专注于前者(a)识别和表示的球员,裁判,和守门员在一个图中的节点,并通过(b)建模他们的时间相互作用的序列图。对于玩家识别或玩家分类任务,我们在注释基准中获得了97.72%的准确率。对于动作定位任务,我们的方法通过将其与其他视听方式相结合,获得了57.83%的平均mAP的整体性能。这种性能超过了类似的基于图的方法,并具有竞争力的结果与繁重的计算方法。代码和数据可在https://github.com/IPCV/soccer_action_spotting上获得。
2022-11-22 cs.AI cs.CV cs.MM
Design and Implementation of A Soccer Ball Detection System with Multiple Cameras
三维中小目标的检测一直是一个前沿探索问题。该技术在运动分析、游戏、虚拟现实、人体动画等领域有着非常广泛的应用。传统的三维小目标检测技术存在成本高、精度低、使用不便等缺点,难以在实际中应用。随着机器学习和深度学习的发展,计算机视觉算法技术日趋成熟。创建沉浸式媒体体验被认为是体育领域非常重要的研究工作。本文的主要工作是针对足球比赛直播系统的研究与实现,探索和解决多摄像机下的足球检测问题。利用多摄像机检测目标球,并根据目标物体的遮挡、运动、低照度等情况确定目标球的三维位置。设计并实现了多摄像机下的足球检测系统,用于实时检测和捕获比赛中的目标。主要工作包括足球检测、单摄像机检测和多摄像机检测三个部分。该系统采用光束法平差获取目标的三维位置,并利用GPU加速数据预处理,实现对目标的精确实时捕捉。通过对系统的测试,表明该系统能够准确地检测和捕获三维运动目标。此外,本文中的解决方案是可重用的大型比赛,如篮球和足球。该系统框架可以很好地移植到其他类似的工程项目系统中。它已经投入市场。
2023-01-31 cs.AI cs.CV
DeepBall: Deep Neural-Network Ball Detector
Warsaw University of Technology(华沙理工大学);Sport Algorithmics and Gaming Sp. z o.o.(Sport Algorithmics and Gaming有限责任公司)
本文描述了一种基于深度网络的对象检测器,专门用于长镜头视频中的球检测。由于其完全卷积设计,该方法可对任何大小的图像进行操作,并产生对检测到的球的位置进行编码的\emph{ball confidence map}。该网络使用超列概念,其中来自深度卷积网络的不同层次的特征图被组合并联合馈送到卷积分类层。这允许提高检测精度,因为考虑了感兴趣对象周围的更大视觉背景。该方法在公开的ISSIA-CNR足球数据集上进行测试时,达到了最先进的结果。
2019-02-19 cs.CV
Light Cascaded Convolutional Neural Networks for Accurate Player Detection
基于视觉的运动员检测在体育应用中是重要的。准确性、效率和低存储器消耗对于诸如智能广播和自动事件分类之类的实时任务是期望的。在本文中,我们提出了一个级联卷积神经网络(CNN),满足所有这三个要求。我们的方法首先从标记的图像补丁中训练一个二进制(玩家/非玩家)分类网络。然后,我们的方法有效地将网络应用于测试中的整个图像。我们进行了篮球和足球比赛的实验。实验结果表明,我们的方法可以准确地检测球员在具有挑战性的条件下,如变化的照明,高度动态的相机运动和运动模糊。与传统的CNN相比,我们的方法在两个游戏上都实现了最先进的准确性,参数减少了1000倍(即,它是轻的。
2017-09-29 cs.CV