DeepSportradar-v1: Computer Vision Dataset for Sports Understanding with High Quality Annotations
Sportradar AG(Sportradar股份公司)
随着深度学习应用于计算机视觉的最新发展,体育视频理解获得了大量关注,为体育消费者和联盟提供了更丰富的信息。本文介绍了DeepSportradar-v1,这是一套用于自动体育理解的计算机视觉任务,数据集和基准测试。该框架的主要目的是缩小学术研究与现实世界环境之间的差距。为此,数据集提供高分辨率的原始图像,相机参数和高质量的注释。DeepSportradar目前支持四个与篮球相关的挑战性任务:球3D定位、摄像机校准、球员实例分割和球员重新识别。对于这四个任务中的每一个,都提供了数据集、目标、性能指标和建议的基线方法的详细描述。为了鼓励对体育理解的先进方法进行进一步研究,作为ACM多媒体2022会议的MMPorts研讨会的一部分,组织了一场比赛,参与者必须开发最先进的方法来解决上述任务。这四个数据集、开发工具包和基线都是公开的。
2022-08-17 cs.CV cs.LG eess.IV
An Audio-Visual Dataset and Deep Learning Frameworks for Crowded Scene Classification
Austria Institute of Technology(奥地利技术研究院);University of Essex(埃塞克斯大学);FPT University(FPT大学);FPT Software Company Limited(FPT软件有限公司)
本文提出了一种视听场景分类(SC)的任务,输入视频被分为五个现实生活中拥挤的场景之一:“骚乱”,“噪音街”,“烟花事件”,“音乐事件”,和“体育氛围”。为此,我们首先从Youtube(野外场景)收集这五个拥挤的上下文的视听数据集(视频)。然后,提出了广泛的深度学习框架,以独立地部署音频或视觉输入数据。最后,融合从高性能深度学习框架获得的结果,以获得最佳准确度分数。我们的实验结果表明,音频和视觉输入因素独立地有助于SC任务的性能。值得注意的是,探索音频或视觉输入数据的深度学习框架的集合可以达到95.7%的最佳准确率。
2021-12-16 cs.CV cs.LG eess.IV
SV3.3B: A Sports Video Understanding Model for Action Recognition
Sports Vision, Inc.(体育视觉公司);Vizworld, Inc.(视觉世界公司)
本文提出轻量级33亿参数体育视频理解模型SV3.3B,通过时间运动差分采样、DWT-VGG16-LDA关键帧提取和自监督编码器实现端侧高效部署,在篮球数据集上超越GPT-4o等大模型,显著提升动作描述质量。
2025-07-23 cs.AI cs.CV
Comparative Analysis of Image, Video, and Audio Classifiers for Automated News Video Segmentation
University of Malta(马耳他大学)
本文比较图像、视频和音频分类器在新闻视频分割中的性能,发现基于图像的ResNet以84.34%准确率超越复杂时序模型且计算资源更少,为媒体内容自动化组织提供实用方案。
2025-03-27 cs.AI cs.CV
Women Sport Actions Dataset for Visual Classification Using Small Scale Training Data
Haldia Institute of Technology(哈尔迪亚理工学院);BITS Pilani(皮拉尼比尔拉理工学院)
针对女子体育动作数据集缺失问题,本研究提出WomenSports数据集,并设计结合局部上下文通道注意力机制的CNN进行特征提取,在多个数据集上取得显著分类效果。
2025-07-15 cs.CV
PATS: Proficiency-Aware Temporal Sampling for Multi-View Sports Skill Assessment
Faculty of Engineering(工程学院);Free University of Bozen-Bolzano(博泽-博尔扎诺自由大学)
针对现有视频采样方法破坏时序连续性的问题,提出熟练度感知时序采样策略PATS,通过自适应分段保留完整动作,在多视角运动技能评估任务上取得SOTA性能,适配多样活动特征。
2025-10-03 cs.CV
Sports Video Analysis on Large-Scale Data
University of Pittsburgh(匹兹堡大学);York University(约克大学);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文研究了体育视频自动机器描述的建模,这是最近取得的进展。然而,最先进的方法还远远不能捕捉人类专家如何分析体育场景。有几个主要原因:(1)所使用的数据集是从非官方提供商收集的,这自然会在这些数据集上训练的模型与真实世界的应用程序之间产生差距;(2)以前提出的方法需要大量的注释工作(即,像素级的球员和球分割)对定位有用的视觉特征以产生可接受的结果;(3)很少有公共数据集可用。在本文中,我们提出了一个新的大规模NBA数据集的体育视频分析(NSVA),重点是字幕,以解决上述挑战。我们还设计了一个统一的方法来处理原始视频到一个堆栈的有意义的功能,最小的标签工作,显示交叉建模等功能使用Transformer架构导致强大的性能。此外,我们展示了广泛的应用NSVA解决两个额外的任务,即细粒度的运动动作识别和显着的球员识别。代码和数据集可在https://github.com/jackwu502/NSVA上获得。
2022-08-09 cs.CV
Indoor Activity Detection and Recognition for Sport Games Analysis
University of Graz(格拉茨大学)
体育运动中的动作识别是计算机视觉的一个研究热点。游戏,球员和团队分析是非常感兴趣的,在这个领域的研究课题出现了自动化分析的目标。运动的非常具体的基本规则可以用作识别任务的先验知识,并提供用于评估的约束环境。本文以排球运动为例,阐述了对体育运动中单人活动的认识。从每帧播放器为中心的活动识别开始,我们将几何形状和上下文信息通过活动上下文描述符,收集有关所有玩家的活动在一定的时间跨度相对于调查的球员的信息。在我们新的现实生活数据集上评估了这种上下文信息对单人活动识别的好处,该数据集提供了近36k的注释帧,其中包含6个职业排球比赛视频中的7个活动类。我们结合的上下文信息提高了77.56%的平均球员为中心的分类性能高达18.35%的特定类,证明时空背景是活动识别的重要线索。
2014-04-25 cs.CV
Towards Automated Key-Point Detection in Images with Partial Pool View
Simon Fraser University(西蒙弗雷泽大学)
体育分析一直是专业体育组织和学术机构的一个新兴研究领域。随着运动员数据的不断涌现和收集,这种分析的主要目标是以可测量和可量化的方式提高运动员的表现。这项工作旨在缓解在收集足够的游泳数据时遇到的一些挑战。过去关于这个主题的工作表明,检测和跟踪游泳者是可行的,但并非没有挑战。这些挑战包括泳池定位和确定游泳者相对于泳池的相对位置。这项工作为解决这些挑战做出了两项贡献。首先,我们提出了一个游泳池模型,具有与游泳分析相关的不变关键点。其次,我们研究了部分池视图图像中的关键点的可检测性,这是具有挑战性的,但在游泳比赛视频中也很常见。
2022-08-11 cs.CV
Automated Anonymisation of Visual and Audio Data in Classroom Studies
University of Tübingen(图宾根大学);Leibniz-Institut für Wissensmedien(莱布尼茨知识媒体研究所)
了解学生和教师在教学过程中的语言和非语言行为可能有助于推断有关教学质量的有价值的信息。在教育研究中,有许多研究旨在测量学生对学习相关任务的注意力:基于视听记录和教师和学生行为的手动或自动评级。然而,学生数据是高度敏感的。因此,确保高标准的数据保护和隐私在当前实践中至关重要。例如,在教学管理研究方面,数据汇集是在学生、家长、教师和学校行政部门的同意下进行的。然而,可能经常有学生的数据不能用于研究目的。把这些学生排除在教室之外是对教室组织的不自然的侵犯。一个可能的解决办法是请求允许录制所有学生(包括那些不自愿参加研究的学生)的视听记录,并匿名处理他们的数据。然而,人工匿名化视听数据的要求非常高。在这项研究中,我们研究了使用人工智能方法自动匿名的视觉和音频数据的一个特定的人。
2020-01-14 cs.CV
Deep HM-SORT: Enhancing Multi-Object Tracking in Sports with Deep Features, Harmonic Mean, and Expansion IOU
Norwegian University of Science and Technology - NTNU(挪威科技大学(NTNU))
针对体育场景多目标跟踪的ID切换等难题,提出融合深度特征、调和均值与Expansion IOU的Deep HM-SORT算法,在两个公开基准上取得SOTA性能,且未增加计算成本。
2024-06-17 cs.CV
Prompt, Probe, Train, or Annotate? Single-camera sports video understanding in amateur settings
Sports Vision, Inc.
针对业余单摄像头体育视频,本研究以排球为例,比较提示、探测、训练与标注四种方法,发现无单一范式全面胜出,身份识别为共同难点,并探讨各方法的成本效益与迁移价值。
2026-09-24 cs.AI cs.CV
DeepSportLab: a Unified Framework for Ball Detection, Player Instance Segmentation and Pose Estimation in Team Sports Scenes
UCLouvain(鲁汶大学);SportRadar AG(SportRadar公司)
本文提出了一个统一的框架,(i)定位球,(ii)预测的姿态,(iii)分割的团队运动场景中的球员的实例面具。这些问题在自动化体育分析,制作和广播中具有很高的兴趣。一种常见的做法是通过利用通用的最先进的模型\eg、Panoptic-DeepLab来单独解决每个问题。除了由单任务模型的倍增导致的增加的复杂性之外,由于团队运动场景的复杂性和特异性,例如强遮挡和运动模糊,使用现成模型也阻碍了性能。为了克服这些局限性,我们提出了一个训练单一的模型,同时预测球和球员面具和姿势相结合的部分强度场和空间嵌入原则。部分强度字段提供球和球员位置,以及球员关节位置。然后利用空间嵌入将玩家实例像素与其各自的玩家中心相关联,但也将玩家关节分组为骨架。我们在DeepSport篮球数据集上证明了所提出的模型的有效性,实现了与单独处理每个任务的SoA模型相当的性能。
2021-12-01 cs.CV
ViCocktail: Automated Multi-Modal Data Collection for Vietnamese Audio-Visual Speech Recognition
New Turing Institute(新图灵研究所);Phenikaa University(费尼卡大学);Vietnam Institute of Information Technology(越南信息技术研究所);VietAI Research(越南人工智能研究)
本文提出一种从原始视频自动生成越南语音视频语音识别数据集的高效方法,并基于该数据构建基线AVSR模型,在噪声环境中显著优于纯音频ASR,为低资源语言扩展AVSR提供了可行路径。
2025-06-05 cs.CL cs.CV
Building Scalable Video Understanding Benchmarks through Sports
IIT Roorkee(印度理工学院鲁尔基分校);Princeton University(普林斯顿大学);University of Toronto(多伦多大学)
用于评估长视频理解的现有基准在两个关键方面存在不足,即缺乏标注的规模或质量。这些限制来自于难以为长视频收集密集的注释,这通常需要手动标记每个帧。在这项工作中,我们介绍了一个自动化的注释和视频流对齐管道(简称ASAP)。我们通过将四种不同运动的未标记视频与相应的免费密集网络注释(即评论)对齐来展示ASAP的一般性。然后,我们利用ASAP的可扩展性来创建LCric,这是一个大规模的长视频理解基准测试,以几乎为零的注释成本收集了超过1000小时的密集注释的长Cricket视频(平均样本长度约为50分钟)。我们通过大量的组合多选择和回归查询,对LCric上最先进的视频理解模型进行基准测试和分析。我们建立了一个人类基线,这表明新研究的探索空间很大。我们的人类研究表明,ASAP可以以高保真度,精度和速度对齐视频和注释。数据集以及ASAP和基线的代码可以在这里访问:www.example.com。
2023-03-26 cs.CV
Smart Director: An Event-Driven Directing System for Live Broadcasting
JD AI Research(京东人工智能研究院)
实时视频广播通常需要具有领域知识的多种技能和专业知识,以实现多摄像机制作。随着摄像机数量的不断增加,指导体育直播现在变得比以往任何时候都更加复杂和具有挑战性。在制作过程中,广播导演需要更加专注,反应迅速,知识渊博。为了减轻导演的紧张工作,我们开发了一个创新的自动化体育广播导演系统,称为智能导演,旨在模仿典型的人在回路中的广播过程,通过使用一套先进的多视角视频分析算法,实时自动创建接近专业的广播节目。受体育广播所谓的“三事件”构建的启发,我们构建了一个由三个连续的新颖组件组成的事件驱动管道系统:1)通过对多视图相关性进行建模来检测事件的多视图事件定位,2)通过对于视图选择的视觉重要性来对相机视图进行排序的多视图高光检测,3)自动播放控制器,用于控制播放视频的制作。据我们所知,我们的系统是第一个用于多摄像机体育广播的端到端自动指挥系统,完全由体育赛事的语义理解驱动。这也是第一个系统,以解决新的问题,多视图联合事件检测跨视图关系建模。我们对真实世界的多摄像头足球数据集进行了客观和主观评估,这表明我们自动生成的视频的质量与人类指导的视频质量相当。由于其更快的响应速度,我们的系统能够捕获更多的快速通过和短时间的事件,这些事件通常被人类导演错过。
2022-01-11 cs.CV cs.MM
AVBench: Human-Aligned and Automated Evaluation Benchmark for Audio-Video Generative Models
Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学)
提出AVBench,通过细粒度人类中心指标和偏好学习训练的专业评估器,实现音视频生成的自动化、准确评估。
2026-05-23 cs.AI cs.CV cs.MM
Deep Learning for Sports Video Event Detection: Tasks, Datasets, Methods, and Challenges
School of Information Technology, Deakin University(德肯大学信息科技学院)
本综述厘清体育视频事件检测中TAL、AS与PES任务的区别,提出最新方法分类体系,并评估基准与指标局限,为开发时间精确且可部署的系统奠定基础。
2025-10-10 cs.CV
AdSum: Two-stream Audio-visual Summarization for Automated Video Advertisement Clipping
Northeastern University(东北大学);Southern Methodist University(南方 Methodist 大学)
AdSum提出了一种双流音频视觉融合模型,用于自动化视频广告剪辑,通过重要性预测提升广告剪辑效率。
2025-12-17 cs.CV cs.IR cs.MM
Audio Surveillance: a Systematic Review
Istituto Italiano di Tecnologia (IIT)(意大利理工学院);University of Verona(维罗纳大学);University of Genoa(热那亚大学)
尽管监控系统在我们的生活环境中变得越来越普遍,但目前基于视频感知模态和机器智能的自动监控在大多数情况下都缺乏一些实际应用所需的鲁棒性和可靠性。为了解决这个问题,音频传感器设备已经被考虑在内,无论是单独使用还是与视频结合使用,在过去的十年中,产生了大量的研究。在本文中,基于音频的自动监控方法被组织成一个全面的调查:一个一般的分类法,灵感来自更广泛的视频监控领域,提出了系统地描述的方法,包括背景减除,事件分类,对象跟踪和态势分析。对于每一项任务,都要审查所有重要的工作,详细说明它们的优缺点以及提出它们的背景。此外,一个特定的部分是专门的音频功能,讨论他们的表现力和他们在上述任务的就业。因此,从其他调查的音频处理和分析,目前是专门针对自动化监控,突出每个所描述的方法的目标应用程序,并提供读者的表格和计划有用的检索最适合的算法为特定的要求。
2014-09-27 cs.CV cs.MM cs.SD
Markerless Augmented Advertising for Sports Videos
Williams College(威廉姆斯学院);University of California, Los Angeles(加州大学洛杉矶分校);Universidad de Guanaquatro(瓜纳夸特罗大学);Imperial College London(伦敦帝国学院);GumGum Inc.(GumGum公司)
无标记增强现实可能是一项具有挑战性的计算机视觉任务,特别是在直播设置中以及在缺乏与视频捕获相关的信息(诸如固有相机参数)的情况下。这通常需要熟练的艺术家的帮助,以及在后期制作环境中使用高级视频编辑工具。我们提出了一个自动化的视频增强管道,识别感兴趣的纹理,并覆盖在这些地区的广告。我们限制广告以美学和自然的方式放置。其目的是扩大现场,使不再需要商业休息。为了实现广告与原始视频的无缝集成,我们构建场景的3D表示,将广告放置在3D中,然后将其投影回图像平面上。在单个帧中成功放置后,我们使用基于单应性的形状保持跟踪,使得广告在视频剪辑的持续时间内呈现正确的视角。跟踪器旨在处理平滑的相机运动和镜头边界。
2019-07-22 cs.CV
SVHighlights: Towards Extremely Long Sport Video Highlight Detection
Ulsan National Institute of Science and Technology(釜山国立科学研究院)
针对现有方法无法处理超长视频精彩片段检测的问题,提出首个基准SVHighlights(包含320个平均时长2小时的体育视频)以及无训练的分段方法TF-SELECTOR,通过大语言模型融合多模态信息预测片段级显著性分数,在多个指标上超越现有基线。
2026-06-18 cs.CV cs.MM
See It Before You Grab It: Deep Learning-based Action Anticipation in Basketball
Universitat de Barcelona(巴塞罗那大学);Universitat de Barcelona Computer Vision Center(巴塞罗那大学计算机视觉中心)
本文提出篮球动作预测任务,利用深度学习技术预测投篮后球权归属,构建了首个篮球反弹预测数据集,展示了该数据集在篮球视频理解中的广泛应用价值。
2025-12-17 cs.CV
A Multi-stage deep architecture for summary generation of soccer videos
Georgia Institute of Technology(佐治亚理工学院);Twentieth Century Fox(二十世纪福克斯公司);Starfleet Academy(星际舰队学院);Tyrell Inc.(泰瑞尔公司)
视频内容存在于越来越多的领域,包括科学和商业领域。体育,特别是足球,是在视频分析领域投资最多的行业之一,这是由于游戏的大规模普及和新市场的出现。以前的足球比赛视频摘要的最先进的方法依赖于手工制作的算法来生成概括性差的摘要,但是这些工作还没有证明多个模态有助于检测比赛的最佳动作。另一方面,具有更高泛化潜力的机器学习模型已经进入通用视频摘要领域,提供了多种深度学习方法。然而,他们中的大多数利用不适合体育整场比赛视频的内容特性。虽然视频内容多年来一直是足球知识自动提取的主要来源,但记录球场上发生的所有事件的数据最近在体育分析中变得非常重要,因为这些事件数据提供了更丰富的上下文信息,并且需要更少的处理。我们提出了一种方法来生成足球比赛的摘要,利用音频和事件元数据。结果表明,我们的方法可以检测匹配的动作,识别这些动作中的哪些应该属于摘要,然后提出多个候选摘要,这些摘要足够相似,但具有相关的可变性,为最终编辑器提供不同的选项。此外,我们展示了我们的工作的泛化能力,因为它可以在来自不同广播公司,不同比赛,在不同条件下获得的数据集之间传递知识,并对应于不同长度的摘要
2022-05-02 cs.AI cs.CV cs.LG
LLM-AD: Large Language Model based Audio Description System
Microsoft(微软公司)
本文提出 LLM-AD 系统,利用 GPT-4V 的多模态与指令遵循能力,结合基于跟踪的角色识别模块,无需额外训练即可自动生成符合标准且角色信息跨帧一致的音频描述,在 MAD 数据集上取得与学习方法相当的性能。
2024-05-02 cs.CV
TA-V2A: Textually Assisted Video-to-Audio Generation
Peking University(北京大学)
针对视频到音频生成中帧特征易丢失序列上下文的问题,提出融合语言、音频与视频特征并由大语言模型和文本调制引导的 TA-V2A,以提升语义表达、时间对齐及生成质量。
2025-03-12 cs.CV cs.MM
ExposureEngine: Oriented Logo Detection and Sponsor Visibility Analytics in Sports Broadcasts
Forzasys;SimulaMet;Oslo Metropolitan University(奥斯陆 Metropolitan 大学);UiT
ExposureEngine通过端到端系统实现体育转播中旋转感知的赞助商可见性分析,采用OBB预测提升定位精度,并结合自然语言处理生成报告。
2025-10-06 cs.CV cs.MM
TennisExpert: Towards Expert-Level Analytical Sports Video Understanding
National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学);Griffith University(格里菲斯大学)
本文提出TennisExpert框架,通过整合视频语义解析器和基于Qwen3-VL-8B的记忆增强模型,实现高效多模态网球理解,提升战术分析和比赛动态捕捉能力。
2026-03-17 cs.CV
Beyond Audio and Pose: A General-Purpose Framework for Video Synchronization
University of Hawai’i at Manoa(夏威夷大学曼瑙分校)
本文提出通用视频同步框架VideoSync,不依赖特定特征提取,在公平条件下超越现有方法,并纠正了先前SOTA的评估偏差。
2025-06-19 cs.AI cs.CV cs.MM
Towards an Automated Multimodal Approach for Video Summarization: Building a Bridge Between Text, Audio and Facial Cue-Based Summarization
Center for Machine Vision and Signal Analysis, Faculty of ITEE, University of Oulu, Finland(机器视觉与信号分析中心,ITEE学院,奥卢大学,芬兰);Center for Machine Vision(机器视觉与信号分析中心);Signal Analysis, Faculty of ITEE, University of Oulu, Finland(信号分析,ITEE学院,奥卢大学,芬兰)
本文提出一种行为感知的多模态视频摘要框架,通过整合文本、音频和视觉线索及奖励词生成时间戳对齐摘要,在多项指标上显著优于传统方法。
2025-06-30 cs.CL cs.CV
OmniVideo-100K: A Dataset for Audio-Visual Reasoning through Structured Scripts and Evidence Chains
Nanjing University(南京大学);CASIA(中国科学院自动化研究所)
提出OmniVideo-100K数据集,通过实体锚定视频脚本和线索引导的QA生成机制,解决音视频问答中跨段实体不一致和长时推理不足的问题,微调模型在多个基准上取得显著提升。
2026-06-18 cs.CV
Training-Free Hold-Usage Detection in Sport Climbing with Foundation Pose Models
Virtual University of Pakistan(巴基斯坦虚拟大学);Army Public School and Colleges(陆军公立学校与学院);University of Trento(特伦托大学)
提出一种无需训练的攀岩抓点使用检测方法,利用基础姿态模型Sapiens的指尖和脚趾关键点,结合邻近测试和时序规则,在The Way Up数据集上达到90.2%的F1分数,优于现有方法。
2026-09-25 cs.CV
VoiceCraft-Dub: Automated Video Dubbing with Neural Codec Language Models
POSTECH(浦项科技大学);KAIST(韩国科学技术院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出VoiceCraft-Dub自动化视频配音方法,通过引入视频特征、适配器和音视频融合层扩展NCLM,并构建CelebV-Dub数据集,实现了高质量且唇音同步的语音合成。
2025-04-03 cs.CV eess.AS
Benchmarking Cross-Domain Audio-Visual Deception Detection
Rapid-Rich Object Search (ROSE) Lab and the College of Computing and Data Science, Nanyang Technological University (NTU)(快速丰富对象搜索(ROSE)实验室和南洋理工大学计算与数据科学学院);School of Computing and Information Technology and Dongguan Key Laboratory for Intelligence and Information Technology, Great Bay University(计算与信息科技学院和东莞智能与信息技术重点实验室,大湾大学);DSO National Laboratories(国防科学实验室);College of Computing and Data Science, Nanyang Technological University (NTU)(计算与数据科学学院,南洋理工大学);SMBU, Shenzhen 518172, China(深圳SMBU,越南河内VinUniversity,和新加坡NTU);VinUniversity, Hanoi 100000, Vietnam;and NTU, Singapore
提出首个跨域音视频欺骗检测基准,评估不同场景下的泛化能力,并设计MM-IDGM算法和Attention-Mixer融合方法提升性能。
2026-06-11 cs.CV cs.MM cs.SD
HunyuanVideo-Foley: Multimodal Diffusion with Representation Alignment for High-Fidelity Foley Audio Generation
针对视频生成中同步音频缺失的问题,提出HunyuanVideo-Foley端到端框架,通过100k小时数据集、表示对齐策略及多模态扩散transformer,实现高保真且与视觉动态和语义对齐的拟音音频生成,性能达SOTA。
2025-08-23 cs.CV cs.SD eess.AS