Analytic Dynamics: Learning Physics-Grounded Representation for Fast Intrinsic Dynamics Inference from Monocular Videos
School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院)
针对从单目视频推断物体动力学的挑战,提出Analytic Dynamics框架,引入基于物理的中间表征,开发相关数据流水线与基准,实现高效准确可泛化的动力学推理。
2026-09-01 cs.CV
Machine and Deep Learning for Crowd Analytics
在人口密集的城市,大量人群聚集在公共场所和公共区域,加速或危及人们的安全和交通,这是研究人员面临的一个关键挑战。虽然已经对人群分析进行了大量研究,但许多现有方法都是针对特定问题的,即,从特定场景学习的方法不能被适当地采用到其他视频。因此,这提出了这些研究的弱点和发现,因为必须从不同的视频中找到额外的训练样本。本文将研究使用传统和深度学习模型的不同场景人群分析。我们还将考虑这些方法的利弊。然而,一旦从大型数据集中研究了一般的深度方法,就可以考虑研究不同的人群视频和图像。因此,它将能够处理包括但不限于人群密度估计、人群人数计数和人群事件识别的问题。要求深度学习模型和方法具有用于训练和测试的大型数据集。许多数据集的收集考虑到了与构建人群数据集相关的许多不同和各种问题,包括手动注释和视频和图像的日益多样性。在本文中,我们还将提出许多深度神经网络模型和训练方法来学习人群分析的特征建模。
2019-08-25 cs.CV
Uirapuru: Timely Video Analytics for High-Resolution Steerable Cameras on Edge Devices
Paderborn University(帕德博恩大学)
针对现有实时视频分析方法多适配固定视角相机、难以应对可操控相机动态场景的问题,提出边缘端框架Uirapuru,结合相机动作感知与逐帧自适应分块,在时延约束下实现精度或推理速度的显著提升。
2025-09-01 cs.AI cs.CV
LAVA: Language Driven Scalable and Versatile Traffic Video Analytics
Beijing Institute of Technology(北京理工大学)
LAVA系统利用自然语言驱动视频分析,通过多臂老虎机采样、开放世界检测和轨迹提取,实现灵活高效的多粒度交通目标检索,显著提升查询性能与速度。
2025-08-02 cs.CV cs.MM
End-to-end Evaluation of Practical Video Analytics Systems for Face Detection and Recognition
Elmore School of Electrical Engineering, Purdue University(普渡大学埃尔莫尔电气工程学院)
本文针对带宽受限环境下的端到端人脸分析系统,使用驾驶特定数据集进行整体评估,提出平衡子集与一致标注策略,以提供准确可解释的性能估计。
2023-10-10 cs.CV eess.IV
MoSign: Challenge-Response Motion-Watermark Authentication for Anonymous Virtual-Reality Users
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Utah State University(犹他州立大学)
MoSign将数字水印重构为挑战-响应认证协议,在运动通道上嵌入密钥化消息,实现匿名VR用户的可验证身份认证,同时保持不可检测性并抵御重捕获攻击。
2026-09-25 cs.CR cs.CV cs.MM
MadEye: Boosting Live Video Analytics Accuracy with Adaptive Camera Configurations
Princeton University(普林斯顿大学);Rice University(莱斯大学)
本文提出MadEye相机-服务器系统,通过自适应调整PTZ相机朝向并结合快速搜索算法与知识蒸馏策略,在同等资源下提升实时视频分析准确性2.9-25.7%,或以2-3.7倍更低的资源成本达到相同准确性。
2023-04-04 cs.CV cs.DC cs.NI
Edge Video Analytics: A Survey on Applications, Systems and Enabling Techniques
本文全面综述边缘视频分析(EVA),涵盖边缘计算基础、视频分析技术、EVA系统与使能技术、常用框架和数据集,并讨论挑战与未来方向,旨在弥合视频分析与边缘计算之间的鸿沟。
2023-10-11 cs.CV cs.LG cs.NI
A Survey of Performance Optimization in Neural Network-Based Video Analytics Systems
New Mexico State University(新墨西哥州立大学)
视频分析系统在视频中执行自动事件、运动和动作识别,并使对视频执行查询成为可能。由于大量的视频数据需要处理,优化视频分析系统的性能成为一个重要的研究课题。神经网络是执行视频分析任务(例如视频注释和目标检测)的最先进技术。之前的调查论文考虑了特定于应用的视频分析技术,以提高结果的准确性;然而,在这篇调查论文中,我们提供了一个技术的审查,重点是优化性能的神经网络为基础的视频分析系统。
2021-05-10 cs.CV
Video Analytics on IoT devices
Zoho Corporation(卓豪公司);Hindustan Institute of Technology and Science(印度斯坦理工科学学院);Dublin City University(都柏林城市大学)
深度学习(DL)结合RC-NN和Edge 2 Train等先进的模型优化方法,使大型网络能够在物联网设备上离线执行。在本文中,我们将现代基于深度学习(DL)的视频分析方法与标准的基于计算机视觉(CV)的方法进行了比较,最后讨论了最适合物联网设备上视频分析的方法。
2021-02-15 cs.CV
A Reinforcement-Learning-Based Energy-Efficient Framework for Multi-Task Video Analytics Pipeline
Fudan University(复旦大学);Imperial College London(伦敦帝国理工学院);Alibaba (Beijing) Software Service Company Limited(阿里巴巴(北京)软件服务有限公司);University of Colorado Boulder(科罗拉多大学博尔德分校);University of Michigan(密歇根大学);Microsoft Research Asia(微软亚洲研究院)
基于深度学习的视频处理近年来取得了变革性的成果。然而,由于高数据率和对复杂推理算法的依赖,视频分析流水线是能量密集型的,这限制了其在能量受限应用中的采用。出于对视频数据流中高和可变空间冗余和时间动态的观察,我们设计和评估了一个自适应分辨率优化框架,以最大限度地减少多任务视频分析管道的能源使用。我们的框架利用深度强化学习来动态管理整个视频分析管道的输入分辨率和计算,而不是对单个任务的输入数据分辨率进行精确调整。通过监测不同分辨率对高维视频分析特征质量的影响,从而监测视频分析结果的准确性,所提出的端到端优化框架学习用于动态控制输入视频流的分辨率以全局优化能量效率的最佳非近视策略。在强化学习的控制下,将光流纳入框架中,以最小化导致重新计算的不必要的时空冗余,同时保持准确性。所提出的框架被应用到视频实例分割,这是最具挑战性的计算机视觉任务之一,并实现更好的能源效率比所有基线方法的类似精度的YouTube-VIS数据集。
2021-05-02 cs.CV
Deep Learning Algorithms with Applications to Video Analytics for A Smart City: A Survey
Nanyang Technological University(南洋理工大学)
深度学习最近在计算机视觉、语音识别和自然语言处理等广泛领域取得了非常有前途的成果。它旨在通过使用深度架构模型来学习数据的分层表示。在智慧城市中,需要自动处理和分析大量数据(例如从许多分布式传感器捕获的视频)。本文从目标检测、目标跟踪、人脸识别、图像分类和场景标注等不同研究主题出发,综述了应用于智慧城市视频分析的深度学习算法。
2015-12-10 cs.CV
Visual Privacy: Current and Emerging Regulations Around Unconsented Video Analytics in Retail
Purdue Polytechnic Institute(普渡理工学院)
视频分析是将数字视频数据与机器学习模型相结合以从该视频中推断各种特征的实践。多年来,这种能力一直被用于检测实体零售店中的物体、运动和顾客数量,但更复杂的机器学习模型与更强大的计算能力相结合,开启了新的可能性。研究人员声称,现在可以使用视频分析来推断一个人的一系列特征,例如特定的年龄,种族,健康状况和情绪状态。此外,个人的视觉身份可以用来自其他数据提供商的信息来增强,以建立详细的个人资料,所有这些都是个人在不知不觉中在零售店摄像头前贡献他们的物理存在。一些零售商已经开始尝试这项新技术,以更好地了解他们的客户。然而,这些早期采用者陷入了围绕隐私和数据所有权的不断变化的法律环境中。这项研究调查了当前的法律环境和目前正在进行的关于使用视频分析的立法,特别是在零售店环境中。由于围绕个性化视频分析的道德和法律规范仍在不断变化,零售商被敦促采取观望态度,否则可能会产生昂贵的法律费用,并有可能损害其品牌。
2023-02-24 cs.CV
A Survey on Efficiency Optimization Techniques for DNN-based Video Analytics: Process Systems, Algorithms, and Applications
Institute for Clarity in Documentation(清晰文档研究所);Inria Paris-Rocquencourt(巴黎-鲁克隆研究所);Rajiv Gandhi University(拉吉夫·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕勒姆研究实验室);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学院);School of Biomedical Engineering, USTC(中国科学技术大学生物医学工程学院);School of Computing, Nankai University(南开大学计算机学院);National Supercomputing Center of Tianjin(天津国家超级计算中心)
本文从硬件、数据处理和部署等角度系统综述了基于DNN的视频分析效率优化技术,并分析了当前性能优化面临的问题与挑战。
2025-07-21 cs.CV
Lost in Time: Temporal Analytics for Long-Term Video Surveillance
Multimedia University(多媒体大学)
视频监控是一个非常有研究价值的领域,在目标检测、跟踪和行为分析等方面做了大量的工作。随着长时间捕获的大量视频数据,我们可以通过数据驱动的时间分析来了解人类行为和场景动态的模式。在这项工作中,我们提出了两种方案,对长期视频监控数据进行描述性和预测性分析。我们生成热图和足迹图可视化来描述相对于时间和位置的空间汇集轨迹模式。我们还提出了两种方法,异常预测在一天一级的粒度:一个基于概率的统计方法,和一个基于时间序列的方法。用来自单个相机的一年数据进行的实验证明了发现关于场景的有趣见解并合理地预测异常的能力。
2017-12-20 cs.CV
Towards Causal Physical Error Discovery in Video Analytics Systems
University of Chicago(芝加哥大学)
本文提出利用回归间断设计进行因果推理,将视频分析系统中的关键性能指标变化与物理现象关联,以提供更可操作的解释,帮助用户调试不透明且脆弱的深度学习视频分析系统。
2024-05-27 cs.CV
FiVE: A Fine-grained Video Editing Benchmark for Evaluating Emerging Diffusion and Rectified Flow Models
Harvard AI and Robotics Lab, Harvard University(哈佛人工智能与机器人实验室,哈佛大学);Broad Institute(博德研究所);Hong Kong Polytechnic University(香港理工大学);School of Engineering and Applied Sciences, Harvard University(哈佛大学工程与应用科学学院);City University of Hong Kong(香港城市大学);Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University(自然与人工智能研究学院,哈佛大学)
本文提出细粒度视频编辑基准FiVE,包含100个视频、420对对象级编辑提示及掩码,并通过FlowEdit适配整流流模型得到Pyramid-Edit和Wan-Edit,实验证明整流流编辑方法显著优于扩散方法且对超参数更不敏感。
2025-07-21 cs.CV
VideoDP: A Universal Platform for Video Analytics with Differential Privacy
Illinois Institute of Technology(伊利诺伊理工学院)
大量的视频数据在个人设备和专用视频记录设施中无处不在地生成。分析这样的数据在现实世界中将是极其有益的(例如,城市交通分析、行人行为分析、视频监控)。然而,视频包含相当多的敏感信息,例如人脸、身份和活动。大多数现有的视频净化技术简单地通过检测和模糊感兴趣的区域(例如,面部、车牌、位置和时间戳),而不量化和限制净化中的隐私泄露。在本文中,据我们所知,我们提出了第一个差分私有视频分析平台(VideoDP),它灵活地支持不同的视频分析,并具有严格的隐私保证。与传统的基于噪声注入的差异隐私机制不同,给定输入视频,VideoDP随机生成实用程序驱动的隐私视频,其中添加或移除任何敏感的视觉元素(例如,人、物体)不会显着影响输出视频。然后,可以在实用程序驱动的视频上灵活地执行由不可信视频分析者请求的不同视频分析,同时确保差分隐私。最后,我们对真实视频进行了实验,实验结果表明,我们的VideoDP有效地功能视频分析具有良好的实用性。
2019-09-20 cs.CR cs.CV
Towards Live Video Analytics with On-Drone Deeper-yet-Compatible Compression
Purdue University(普渡大学)
在这项工作中,我们提出了DCC(Deeper-yet-Compatible Compression),这是一种基于现有编解码器的实时无人机边缘辅助视频分析技术。DCC解决了一个重要的技术问题,将流视频从无人机压缩到边缘,而不会牺牲在边缘执行的视频分析任务的准确性和及时性。DCC的灵感来自于这样一个事实,即并非流视频中的每一位都对视频分析具有同等价值,这为传统的分析无关视频编解码技术开辟了新的压缩空间。我们利用无人机特定的上下文和中间提示从目标检测追求自适应保真度需要保持分析质量。我们已经在一个车辆检测的示范应用中原型化了DCC,并在代表性场景中验证了其效率。DCC的传输量比基线方法减少了9.5倍,比最先进的方法减少了19-683%,检测精度相当。
2021-11-10 cs.CV cs.NI
Video Coding for Machines: A Paradigm of Collaborative Compression and Intelligent Analytics
Peking University(北京大学)
本文提出面向机器的视频编码(VCM)新范式,结合AI技术弥合机器视觉特征编码与人类视觉视频编码的鸿沟,梳理相关技术进展并提出解决方案,初步验证了性能与效率提升。
2020-01-13 cs.CV
APT: Adaptive Perceptual quality based camera Tuning using reinforcement learning
NEC Laboratories America, Inc.(NEC美国实验室);Purdue University(普渡大学)
摄像机越来越多地部署在全球的城市、企业和道路上,以支持公共安全、智能交通、零售、医疗保健和制造业的许多应用。通常,在最初部署摄像头后,这些摄像头周围的环境条件和场景会发生变化,我们的实验表明,这些变化会对视频分析的准确性产生不利影响。这是因为摄像机参数设置虽然在部署时是最佳的,但由于摄像机周围的环境条件和场景在操作期间发生变化,因此并不是高质量视频捕获的最佳设置。捕获低质量的视频会对分析的准确性产生不利影响。为了减轻洞察力准确性的损失,我们提出了一种新颖的基于学习的系统APT,该系统可以动态地远程(通过5G网络)调整摄像机参数,以确保高质量的视频捕获,从而减轻视频分析准确性的任何损失。因此,当环境条件或场景内容改变时,这种调整恢复洞察的准确性。APT使用强化学习,以无参考感知质量估计作为奖励函数。我们进行了广泛的真实世界的实验,我们同时部署了两个摄像头并排俯瞰企业停车场(一个摄像头只有供应商建议的默认设置,而另一个摄像头在操作过程中由APT动态调整)。我们的实验表明,由于APT的动态调整,分析洞察力在一天中的任何时候都始终如一地更好:目标检测视频分析应用程序的准确性平均提高了约42%。由于我们的奖励功能独立于任何分析任务,APT可以很容易地用于不同的视频分析任务。
2022-11-15 cs.CV
Analytic Score Optimization for Multi Dimension Video Quality Assessment
Department of XXX, University of YYY, Location, Country(XXX系,YYY大学,地点,国家);School of ZZZ, Institute of WWW, Location, Country(ZZZ学院,WWW研究所,地点,国家)
本文提出多维视频质量评估数据集UltraVQA,并引入分析评分优化方法,通过理论支持的后训练目标提升质量评分精度,实验显示其在质量预测中表现优异。
2026-02-18 cs.CV
Why is the video analytics accuracy fluctuating, and what can we do about it?
Purdue University(普渡大学);NEC Laboratories America, Inc(NEC美国实验室有限公司)
通常的做法是将视频视为一系列图像(帧),并重用仅在图像上训练的深度神经网络模型,用于视频上的类似分析任务。在这篇论文中,我们证明了这种信念的飞跃,即在图像上工作良好的深度学习模型也将在视频上工作良好,实际上是有缺陷的。我们表明,即使当视频摄像机正在查看一个场景,没有改变任何人类可感知的方式,我们控制外部因素,如视频压缩和环境(照明),视频分析应用程序的准确性波动明显。出现这些波动是因为摄像机产生的连续帧在视觉上可能看起来相似,但视频分析应用程序对这些帧的感知却截然不同。我们观察到,这些波动的根本原因是摄像机自动进行的动态摄像机参数更改,以便捕获和生成视觉上令人愉悦的视频。摄像头无意中充当了一个无意的对手,因为正如我们所展示的,连续帧中图像像素值的这些微小变化对视频分析任务的准确性产生了明显的不利影响,这些视频分析任务重复使用图像训练的深度学习模型。为了解决摄像机无意中产生的对抗效应,我们探索使用迁移学习技术,通过图像分析任务学习中的知识迁移来改善视频分析任务中的学习。特别是,我们证明了我们新训练的Yolov5模型减少了跨帧目标检测的波动,从而更好地跟踪对象(跟踪错误减少40%)。我们的论文还提供了新的方向和技术,以减轻摄像头对用于视频分析应用的深度学习模型的对抗性影响。
2022-09-15 cs.CV cs.LG
VC-Bench: Pioneering the Video Connecting Benchmark with a Dataset and Evaluation Metrics
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(计算机科学与技术学院,哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室);School of Computer Science and Engineering, Central South University(计算机科学与工程学院,中南大学)
VC-Bench提出一个用于视频连接任务的新型基准,包含多样化视频数据和综合评估指标,评估现有视频生成模型并揭示其在连贯性和流畅性上的不足。
2026-01-27 cs.CV cs.MM
Enhancing Sports Strategy with Video Analytics and Data Mining: Automated Video-Based Analytics Framework for Tennis Doubles
Department of Information Systems and Analytics(信息系统与分析系);School of Computing(计算学院);National University of Singapore(新加坡国立大学)
本文提出面向网球双打的自动化视频分析框架,结合GroundingDINO与YOLO-Pose进行球员定位和姿态估计,并证明基于CNN的迁移学习模型在预测击球类型、站位和阵型上优于姿态方法。
2025-06-24 cs.CV cs.LG
Mondrian: On-Device High-Performance Video Analytics with Compressive Packed Inference
Seoul National University(首尔大学);Nokia Bell Labs(诺基亚贝尔实验室)
研究针对资源受限设备在高分辨率视频分析上的不足,提出压缩打包推理方法,通过选择性处理像素、动态缩小ROI并智能组合,提升目标检测性能,比现有基线准确率更高、吞吐量更大。
2026-07-29 cs.CV
Scaling Video Analytics Systems to Large Camera Deployments
University of California Berkeley(加州大学伯克利分校);Microsoft Research(微软研究院);University of Chicago(芝加哥大学)
在计算机视觉进步和摄像头硬件成本下降的推动下,组织正在部署视频摄像头,用于对其物理场所进行空间监控。然而,将视频分析扩展到大规模摄像头部署带来了一个新的挑战,因为计算成本与摄像头馈送的数量成比例增长。这篇论文是由一个简单的问题驱动的:我们能否以这样一种方式扩展视频分析,即随着我们部署更多的摄像头,成本呈次线性增长,甚至保持不变,同时推理准确性保持稳定,甚至提高。我们认为答案是肯定的。我们的主要观察结果是,来自广域摄像机部署的视频源在空间和时间上都表现出显著的内容相关性(例如,与其他地理位置接近的源)。可以利用这些时空相关性来显著减小推理搜索空间的大小,从而降低多摄像机视频分析中的工作量和误报率。通过讨论用例和技术挑战,我们提出了将视频分析扩展到大型摄像机网络的路线图,并概述了其实现计划。
2019-07-05 cs.CV cs.DC
OSL-ActionSpotting: A Unified Library for Action Spotting in Sports Videos
Montefiore Institute, University of Liège(列日大学蒙泰菲奥里研究所);Cinfo & CITIC Research Center, University of A Coruña(拉科鲁尼亚大学Cinfo与CITIC研究中心);IVUL, KAUST(阿卜杜拉国王科技大学IVUL)
本文提出OSL-ActionSpotting这一统一Python库,整合三种主流动作识别方法,在保持原有效果的同时提升易用性,推动体育视频分析研究。
2024-07-01 cs.CV
Edge-Based Video Analytics: A Survey
Sun Yat-sen University(中山大学);Macquarie University(麦考瑞大学)
随着网络边缘数据的不断增加,边缘计算的发展势头越来越强劲。特别是,由于高带宽消耗和高延迟,大量的视频数据及其实时处理要求已经越来越阻碍传统的云计算方法。边缘计算本质上旨在通过利用边缘服务器处理大多数视频数据来克服这一障碍,例如小规模的本地服务器集群,移动基站的服务器级计算资源,甚至是智能手机和平板电脑等移动设备;因此,术语基于边缘的视频分析。然而,这种分析的实际实现需要的不仅仅是边缘服务器的简单、集体使用。在本文中,我们调查了基于边缘的视频分析在应用程序,架构,技术,资源管理,安全性和隐私方面的最先进的作品。我们提供了一个全面和详细的审查,什么工作,什么不工作,为什么。这些发现为下一代基于边缘的视频分析提供了见解和建议。我们还确定了开放的问题和研究方向。
2023-03-25 cs.CV cs.DC
Video Coding for Machine: Compact Visual Representation Compression for Intelligent Collaborative Analytics
Peking University(北京大学)
机器视频编码(Video Coding for Machines,VCM)致力于在一定程度上弥合视频/图像压缩和特征压缩这两条各自独立的研究路径,并试图从高精度机器视觉和全保真度人类视觉的统一角度出发,共同优化紧凑性和效率。在本文中,我们总结了VCM方法和哲学的基础上现有的学术界和工业界的努力。音圈调制的发展遵循一般的率失真优化,并建立了关键模块或技术的分类。从以前的作品中,它表明,虽然现有的作品试图揭示的性质,可扩展表示位处理机器和人类视觉任务时,仍然是一个罕见的研究在低比特率表示的一般性,因此如何支持各种视觉分析任务。因此,我们研究了一种新的视觉信息压缩的分析分类问题,以加强从多个任务中提取的紧凑的视觉表示的视觉分析的能力。一个新的视角与压缩的任务关系被重新审视。通过考虑不同机器视觉任务(例如高级语义和中级几何相关)之间的可转移性,我们的目标是以低比特率联合支持多个任务。特别地,为了缩小从像素提取的神经网络生成的特征与各种机器视觉特征/标签(例如,场景类、分割标签)之间的维度差距,码本超先验被设计为压缩神经网络生成的特征。实验结果表明,这种新的超先验模型能够更准确地估计信号熵,从而提高特征压缩效率,进一步研究不同任务间提取紧凑特征的粒度。
2021-10-18 cs.CV
Deployment of Customized Deep Learning based Video Analytics On Surveillance Cameras
AitoeLabs(AitoeLabs实验室)
本文展示了我们定制的基于深度学习的视频分析系统在各种应用中的有效性,这些应用专注于安全性、安全性、客户分析和流程合规性。我们描述了我们的视频分析系统,包括搜索,总结,统计和实时报警,并概述其构建块。这些构建块包括目标检测、跟踪、人脸检测和识别、人和人脸子属性分析。在每种情况下,我们都展示了使用部署场景中的数据训练的自定义模型如何提供比现成模型更高的准确性。为此,我们描述了我们的数据处理和模型训练管道,它可以通过快速的周转时间从视频中训练和微调模型。最后,由于大多数这些模型都是现场部署的,因此拥有不需要GPU的资源受限模型非常重要。我们演示了如何自定义训练资源受限模型,并将其部署在嵌入式设备上,而不会造成严重的准确性损失。据我们所知,这是第一项工作,它提供了一个全面的评估不同的深度学习模型在各种现实世界的客户部署场景的监控视频分析。通过分享我们的实施细节和为不同客户部署定制深度学习模型的经验,我们希望基于定制深度学习的视频分析能够广泛应用于全球的商业产品中。
2018-06-27 cs.CV cs.DM
Visor: Privacy-Preserving Video Analytics as a Cloud Service
UC Berkeley(加州大学伯克利分校);Microsoft Research(微软研究院)
视频分析即服务正在成为云提供商的重要产品。这种服务的一个关键问题是正在分析的视频的隐私。虽然可信执行环境(TEE)是用于防止私人视频内容的直接泄漏的有希望的选择,但是它们仍然容易受到侧信道攻击。我们介绍了Visor,这是一个为用户的视频流以及ML模型提供机密性的系统,它存在一个受损的云平台和不受信任的合作伙伴。Visor在跨越CPU和GPU的混合TEE中执行视频管道。它保护流水线免受视频模块的数据相关访问模式引起的侧信道攻击,并且还解决了CPU-GPU通信信道中的泄漏。Visor达到$1000\times$的速度比幼稚的遗忘解决方案快,并且其相对于非遗忘基线的开销限于$2\times$ -- $6\times$。
2020-06-23 cs.CR cs.CV
Training-Free Long-Term Multi-Object Tracking for Sports Video Analytics
Inria(法国国家信息与自动化研究所)
针对体育视频长期多目标跟踪的挑战,提出无训练的McByte++框架,通过整合轻量掩码传播等技术提升效率与性能,在相关基准测试中取得显著指标提升且速度大幅加快。
2026-08-18 cs.CV
Video Analytics with Zero-streaming Cameras
Peking University(北京大学);Institute for AI Industry Research (AIR), Tsinghua University(清华大学智能产业研究院(AIR));University of Virginia(弗吉尼亚大学);Beijing University of Posts and Telecommunications(北京邮电大学);Purdue University(普渡大学)
低成本摄像头可实现强大的分析功能。一个未被利用的机会是,大多数捕获的视频保持“冷”而不被查询。为了提高效率,我们提倡这些摄像头为零流:将视频捕获到本地存储,并仅在请求分析时与云通信。如何高效查询零流媒体摄像机?我们的回应是一个名为DIVA的相机/云运行时系统。它解决了两个关键挑战:在视频捕获过程中最好地使用有限的相机资源;在查询执行过程中快速浏览大量视频。DIVA贡献了两种非传统的技术。(1)在拍摄视频时,摄像头会构建稀疏但准确的地标帧,从中学习可靠的知识,以加速未来的查询。(2)当执行查询时,摄像机使用越来越昂贵的运算符在多个通道中处理帧。因此,DIVA在整个查询执行过程中呈现并不断细化不精确的查询结果。对于超过15个视频的各种查询,总共持续720小时,DIVA的视频实时性超过100倍,优于竞争对手的替代设计。据我们所知,DIVA是第一个用于查询存储在低成本远程摄像机上的大型视频的系统。
2021-06-17 cs.CV cs.DB
Large Scale Audio-Visual Video Analytics Platform for Forensic Investigations of Terroristic Attacks
AIT Austrian Institute of Technology GmbH(AIT奥地利技术研究所有限公司);LIquA - Linzer Institut für qualitative Analysen(LIquA——林茨定性分析研究所)
对恐怖袭击的法医调查对调查当局构成了巨大挑战,因为需要发现数千小时的录像。为了协助执法机构(LEA)识别嫌疑人和保护证据,我们提出了一个平台,该平台融合了监控摄像头和目击者上传的视频信息。该平台在可扩展的架构上集成了不同输入模式的分析模块。视频根据其声学和视觉内容进行分析。具体而言,音频事件检测被应用于根据特定于攻击的声学概念对内容进行索引。音频相似性搜索用于识别从不同角度记录的相似视频序列。视觉目标检测和跟踪用于根据相关概念对内容进行索引。分析模块的不同结果被融合成视觉和听觉概念的分布式索引,以便于迅速开始调查,跟踪特征和调查证人报告。
2018-11-28 cs.AI cs.CV
Enhancing Sports Strategy with Video Analytics and Data Mining: Assessing the effectiveness of Multimodal LLMs in tennis video analysis
Department of Computer Science(计算机科学系);School of Computing(计算学院);National University of Singapore(新加坡国立大学)
本文评估多模态大语言模型在网球视频分析中对动作分类和回合动作序列识别的能力,并探索不同训练方法及与传统模型结合以提升其性能。
2025-06-24 cs.AI cs.CV
AVA: Towards Agentic Video Analytics with Vision Language Models
Zhejiang University(浙江大学);Microsoft Research(微软研究院);Tsinghua University(清华大学)
针对VLM处理超长视频的上下文限制,提出系统AVA,通过近实时构建事件知识图谱和智能体检索生成机制实现开放式视频分析,在多个基准上达到SOTA。
2025-10-31 cs.AI cs.CV
Spatialyze: A Geospatial Video Analytics System with Spatial-Aware Optimizations
UC Berkeley(加州大学伯克利分校)
针对地理空间视频缺乏有效数据管理系统的问题,研究提出Spatialyze框架,通过声明式范式和时空元数据等优化执行,相比未优化方案最多提速5.3倍且准确率最高达97.1%。
2024-07-15 cs.CV cs.DB
Internet of Things (IoT) Based Video Analytics: a use case of Smart Doorbell
物联网(IoT)的愿景现在已经成为现实。物联网设备越来越便宜,越来越小。它们在计算上和能源效率上变得越来越高。基于物联网的视频分析的全球市场近年来出现了显着增长,预计将成为一个不断增长的细分市场。对于任何基于物联网的视频分析应用程序,需要的关键点很少,例如成本效益,广泛使用,灵活的设计,准确的场景检测,框架的可重用性。基于视频的智能门铃系统是视频分析的一个这样的应用领域,其中许多商业产品在消费者市场中可用。然而,这样的现有产品是昂贵的、单一的和专有的。此外,在准确性和可移植性之间将存在权衡。为了解决可预见的问题,我提出了一个分布式视频分析框架,并以智能门铃系统为例。拟议的框架使用AWS云服务作为基础平台,并满足价格可承受性限制,该系统在负担得起的Raspberry Pi上实现。智能门铃将能够最准确地识别已知/未知的人。智能门铃系统还具有额外的检测功能,例如有害武器检测,值得注意的车辆检测,动物/宠物检测。专门为此实现开发了iOS应用程序,该应用程序可以实时接收来自智能门铃的通知。最后,本文还提到了视频分析的经典方法,它们在此用例中实现的可行性,并在检测帧中对象所需的准确性和时间方面进行了比较分析。结果得出结论,AWS基于云的方法值得用于此智能门铃用例。
2021-09-13 cs.CV cs.LG
Video4MRI: An Empirical Study on Brain Magnetic Resonance Image Analytics with CNN-based Video Classification Frameworks
Baidu(百度)
为了解决医学图像识别的问题,经常使用像卷积神经网络(CNN)这样的计算机视觉技术。最近,基于3D CNN的模型主导了磁共振图像(MRI)分析领域。由于MRI数据和视频之间的高度相似性,我们对用于MRI分类的视频识别技术进行了广泛的实证研究,以回答以下问题:(1)我们可以直接使用视频识别模型进行MRI分类吗?(2)哪种模型更适合MRI?(3)视频识别中常见的技巧,如数据增强,是否仍然适用于MRI分类?我们的工作表明,先进的视频技术有利于MRI分类。在本文中,四个数据集的阿尔茨海默氏症和帕金森氏症的识别实验中使用,连同三个替代的视频识别模型和数据增强技术,经常应用于视频任务。在效率方面,结果显示,视频框架的性能比3D-CNN模型好5% - 11%,可训练参数少50% - 66%。该报告推动了3D医学成像和视频理解研究的潜在融合。
2023-02-24 cs.AI cs.CV cs.LG
Parallel Detection for Efficient Video Analytics at the Edge
Georgia Institute of Technology(佐治亚理工学院);Cisco Systems, Inc.(思科系统公司)
深度神经网络(DNN)训练的对象检测器广泛部署在许多关键任务系统中,用于边缘的实时的视频分析,例如自动驾驶和视频监控。这些任务关键型边缘服务的一个常见性能要求是边缘设备上在线目标检测的近实时延迟。然而,即使使用经过良好训练的DNN对象检测器,边缘处的在线检测质量也可能由于多种原因而劣化,诸如在异构边缘设备上运行DNN目标检测模型的有限容量,以及当检测处理速率显著慢于传入视频帧速率时由于随机帧丢弃而导致的检测质量劣化。本文通过利用多模型多设备检测并行性在具有异构边缘设备的边缘系统中进行快速目标检测来解决这些问题。首先,我们分析了在边缘运行经过良好训练的DNN模型进行实时的在线目标检测的性能瓶颈。我们使用离线检测作为参考模型,并通过分析输入视频流速率、用于目标检测的视频处理速率和用于视频流的实时的检测可视化的输出速率之间的不匹配来检查根本原因。其次,我们研究了利用多模型检测并行性的性能优化。我们表明,模型并行检测方法可以有效地加快FPS检测处理速率,最大限度地减少FPS视差与输入视频帧速率上异构边缘设备。我们使用SSD300和YOLOv3对不同视频流速率的基准视频评估所提出的方法。结果表明,利用多模型检测并行性可以加快在线目标检测处理速度,并提供近实时的目标检测性能,以实现边缘的高效视频分析。
2021-07-27 cs.CV cs.DC
VQPy: An Object-Oriented Approach to Modern Video Analytics
University of California, Los Angeles(加州大学洛杉矶分校);Intel(英特尔公司);Harvey Mudd College(哈维穆德学院);Cisco Research(思科研究院)
提出面向对象的视频分析方法 VQPy,通过 Python 变体前端和可扩展后端自动构建优化流水线,已在 Cisco 的 DeepVision 框架中产品化。
2024-06-03 cs.AI cs.CL cs.CV
Task-Oriented Communication for Edge Video Analytics
Hong Kong University of Science and Technology(香港科技大学)
本文提出面向边缘视频分析的任务导向通信框架,通过信息瓶颈提取紧凑任务相关特征,并利用时间熵模型和时空融合模块降低通信开销、提升推理性能,实现了比现有方法更好的率-性能权衡。
2024-04-01 cs.CV eess.SP
ReXCam: Resource-Efficient, Cross-Camera Video Analytics at Scale
University of California Berkeley(加州大学伯克利分校);University of Chicago(芝加哥大学);Microsoft Research(微软研究院)
企业越来越多地部署大型摄像机网络进行视频分析。许多目标应用都需要一个常见的问题模板:通过实时视频中的大型摄像机网络搜索和跟踪感兴趣的对象或活动(例如超速行驶的车辆、闯入)。这种跨相机分析是计算和数据密集型的,成本随着相机数量和时间的增加而增加。为了解决这一成本挑战,我们提出了ReXCam,一种用于高效跨摄像头视频分析的新系统。ReXCam利用真实相机网络动态中的空间和时间局部性来指导其对查询身份的推理时间搜索。在离线分析阶段,ReXCam构建了一个跨摄像机相关性模型,该模型对在历史流量模式中观察到的局部性进行编码。在推理时,ReXCam应用此模型过滤与查询身份的当前位置在空间和时间上不相关的帧。在偶尔错过检测的情况下,ReXCam对最近过滤的视频帧执行快速重放搜索,从而实现优雅的恢复。总之,这些技术使ReXCam能够在8相机数据集上将计算工作量减少8.3倍,在模拟的130相机数据集上减少23 - 38倍。ReXCam已在5台AWS DeepLens相机的测试平台上实施和部署。
2019-12-04 cs.CV cs.DC
E4: Energy-Efficient DNN Inference for Edge Video Analytics Via Early-Exit and DVFS
Harbin Institute of Technology(哈尔滨工业大学);International Research Institute for Artificial Intelligence, Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳)国际人工智能研究院);University at Albany - SUNY(纽约州立大学奥尔巴尼分校)
本文提出E4框架,通过结合早退机制与DVFS调控,并利用注意力级联模块和JIT剖析器协同优化CPU/GPU频率,在边缘视频分析中实现高能效DNN推理,取得2.8倍加速和26%平均节能。
2025-03-06 cs.AI cs.CV
REVAMP$^2$T: Real-time Edge Video Analytics for Multi-camera Privacy-aware Pedestrian Tracking
The University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
本文介绍了REVAMP $^2$ T,用于多摄像头隐私感知行人跟踪的实时的【形】边缘视频分析,作为一个集成的端到端物联网系统,用于隐私内置的分散态势感知。REVAMP $^2$ T提出了新的算法和系统结构,以推动深度学习和视频分析接近物联网设备(即摄像机)。在算法方面,REVAMP $^2$ T提出了一个统一的集成计算机视觉管道,用于跨多个摄像机进行检测、重新识别和跟踪,而无需存储流数据。同时,它避免了面部识别,并在运行时根据行人的关键特征跟踪和重新识别行人。在物联网系统方面,REVAMP $^2$ T提供基础设施,以最大限度地提高边缘硬件利用率,协调全球通信,并为分布式物联网网络提供系统范围的重新识别,而无需使用个人身份信息。对于结果和评估,本文还提出了一个新的指标,准确性$\cdot$效率($\cdot$ Efficiency),用于基于准确性,性能和功率效率的实时的【形】视频分析的物联网系统的整体评估。REVAMP $^2$ T的性能比目前最先进的产品高出13倍。
2019-11-25 cs.CV eess.IV
GHR-VLM: Making Zero-Shot Transit Video Analytics Realizable with Grounded Hybrid Reasoning
Rensselaer Polytechnic Institute(伦斯勒理工学院)
研究旨在实现零样本公交视频分析,提出GHR-VLM框架,利用边缘-云设计,通过轻量级边缘监视器跟踪门状态、分割乘客片段,后端VLM经两阶段细化识别乘客与支付行为,减少云推理,评估显示其在公交支付分析中有潜力且面临视频条件挑战。
2026-08-31 cs.AI cs.CV
A Survey on Video Analytics in Cloud-Edge-Terminal Collaborative Systems
Fudan University(复旦大学);Duke Kunshan University(昆山杜克大学);University of Toronto(多伦多大学);Imperial College London(伦敦帝国学院);University of California, Davis(加利福尼亚大学戴维斯分校);SMBU;University of Ottawa(渥太华大学)
本文综述了云-边-端协同系统中视频分析的架构、边缘与云中心方法、混合优化技术及大模型与多模态集成带来的机遇与挑战,并展望了可解释系统等未来方向。
2025-04-05 cs.CV cs.LG cs.NI
Arena: A Patch-of-Interest ViT Inference Acceleration System for Edge-Assisted Video Analytics
School of Automation, Beijing Institute of Technology(北京理工大学自动化学院);School of Aerospace Engineering, Beijing Institute of Technology(北京理工大学宇航学院);School of Automation, Northwestern Polytechnology University(西北工业大学自动化学院)
本文提出Arena,一个基于ViT的边缘辅助视频推理加速系统,通过token剪枝仅处理感兴趣块并设计自适应关键帧推理切换算法,在保持高准确率的同时显著提升了推理速度并节省带宽。
2024-09-26 cs.CV cs.MM
AccDecoder: Accelerated Decoding for Neural-enhanced Video Analytics
University of Göttingen(哥廷根大学);Nanjing University(南京大学)
视频流的质量是基于神经网络的视频分析的关键。然而,由于质量差的摄像机或过度压缩/修剪的视频流协议,现有的监控系统不可避免地收集低质量视频,由于上行带宽限制。为了解决这个问题,现有的研究使用质量增强剂(例如,神经超分辨率)以提高视频的质量(例如,分辨率),并最终确保推理的准确性。然而,直接应用质量增强器在实践中不起作用,因为它会引入不可接受的延迟。在本文中,我们介绍了AccDecoder,一种用于实时和神经增强视频分析的新型加速解码器。AccDecoder可以通过深度强化学习(DRL)自适应地选择几个帧,通过神经超分辨率来增强质量,然后对参考它们的视频帧进行放大,从而提高6-21%的准确率。AccDecoder通过使用DRL过滤重要帧以进行基于DNN的推理,并通过提取帧和块之间的参考关系将结果重用于其他帧,从而提供高效的推理能力,这导致延迟比基线减少20-80%。
2023-01-24 cs.CV cs.LG cs.MM
Turbo: Opportunistic Enhancement for Edge Video Analytics
New York University(纽约大学);Microsoft(微软)
边缘计算正在广泛用于视频分析。为了缓解准确性和成本之间的固有紧张关系,已经提出了各种视频分析管道来优化边缘节点上GPU的使用。尽管如此,我们发现为边缘节点提供的GPU计算资源通常未得到充分利用,这是由于视频内容的变化,在管道的不同位置进行子采样和过滤。与模型和流水线优化相反,在这项工作中,我们研究了使用非确定性和碎片化空闲GPU资源的机会数据增强问题。具体来说,我们提出了一个特定于任务的识别和增强模块以及一个模型感知的对抗性训练机制,提供了一种以准确有效的方式识别和转换特定于视频管道的低质量图像的方法。进一步开发了多出口模型结构和资源感知调度器,以在延迟和GPU资源限制下做出在线增强决策和细粒度推理执行。跨多个视频分析管道和数据集的实验表明,通过明智地在往往会从增强中产生更大边际效益的帧上分配少量空闲资源,我们的系统将DNN目标检测准确性提高了$7.3-11.3\%$,而不会产生任何延迟成本。
2022-06-29 cs.CV cs.SY eess.SY
LongInsightBench: A Comprehensive Benchmark for Evaluating Omni-Modal Models on Human-Centric Long-Video Understanding
Huazhong University of Science and Technology(华中科技大学);Peking University(北京大学)
提出 LongInsightBench 长视频全模态理解基准,通过约千个信息密集视频、六类任务和三步质检流程评估 OLM,揭示其在时间定位、长程因果推理及多模态融合上的不足。
2025-10-21 cs.CV cs.MM
Multi-Agent Self-Improving Reinforcement Learning for Video Reasoning
Lanzhou University(兰州大学);National University of Singapore(新加坡国立大学)
该研究提出结合可训练Grounder与冻结Verifier的多智能体强化学习框架,在20亿参数规模下实现视频推理任务零样本迁移,相关指标优于同等规模基线,验证了冻结验证作为证据选择训练信号的有效性。
2026-09-01 cs.CL cs.CV
Forensic Video Analytic Software
University of Moratuwa(莫拉图瓦大学)
执法人员在取证过程中严重依赖法医视频分析(FVA)软件。然而,目前的FVA软件是复杂的,耗时的,设备依赖性和昂贵的。发展中国家努力争取进入这一通往安全避难所的门户。法医一词涉及通过后处理将科学方法应用于犯罪调查,而监视则是对实时馈送的密切监视。该最后一年项目的主要目标是开发一个高效和有效的FVA软件,通过对学术研究论文,在线数据库和法律文件进行严格和系统的审查来解决缺点。范围涵盖多个目标检测、多个目标跟踪、异常检测、活动识别、篡改检测、一般和特定图像增强以及视频概要。所采用的方法包括许多机器学习技术、GPU加速以及用于实时和后处理的高效集成架构开发。对于该CNN,使用了GMM、多线程和OpenCV C++编码。所提出的方法的影响,将迅速加快FVA的过程,特别是通过新的视频摘要研究领域。该项目已经产生了三项研究成果:基于移动对象的无碰撞视频概要、取证和监控分析工具架构和篡改检测帧间伪造。结果包括法医和监视小组的结果,重点是视频摘要和斯里兰卡的背景。主要结论包括优化和有效的算法集成,以克服在处理能力,内存和实时性能和准确性之间的妥协的限制。
2023-09-17 cs.CR cs.CV