Multiple feature fusion-based video face tracking for IoT big data
Shandong Normal University（山东师范大学）
随着物联网和人工智能技术的进步，以及安防门禁、金融商务贸易等领域应用快速增长的需求，人脸信息处理已成为实现身份认证和信息安全的重要手段。提出了一种基于积分直方图的多特征融合算法和实时更新跟踪的粒子滤波模块。首先，提取人脸的边缘和颜色特征，采用加权方法对颜色直方图和边缘特征进行加权来描述人脸特征，并通过融合系数对颜色和边缘特征进行自适应融合以提高人脸跟踪的可靠性。然后，将积分直方图融入粒子滤波算法中，简化了复杂粒子的计算步骤。最后，根据当前模型和初始模型的粒子中心到边缘的平均距离的变化，实时的调整跟踪窗口大小，以减少漂移问题，实现对目标尺寸变化较大的稳定跟踪。实验结果表明，该算法提高了视频跟踪精度，简化了粒子运算复杂度，提高了速度，具有较好的抗干扰能力和鲁棒性。
2021-04-15 cs.CV cs.LG
Anomaly Detection in Residential Video Surveillance on Edge Devices in IoT Framework
Indian Institute of Information Technology, Nagpur（那格浦尔印度信息技术学院）；Visvesvaraya National Institute of Technology, Nagpur（维斯瓦拉亚国家理工学院那格浦尔分校）
智能居民监控是最基本的智能社区服务之一。安全需求的不断增长需要监控系统能够检测到监控场景中的异常。在住宅社会中使用大容量计算设备进行智能监控是昂贵的，不可行的。因此，我们提出了使用仅CPU边缘设备进行智能监控的异常检测。一个模块化的框架来捕获对象级的推理和跟踪。为了应对部分遮挡，姿态变形，和复杂的场景，我们采用了特征编码和轨迹关联由两个相互补充的度量。异常检测框架的元素经过优化，可以在仅CPU的边缘设备上运行，并具有足够的每秒帧（FPS）。实验结果表明，该方法是可行的，并取得了令人满意的结果在现实生活中的场景。
2021-08-09 cs.AI cs.CV
Demonstration of a Cloud-based Software Framework for Video Analytics Application using Low-Cost IoT Devices
Redspark Technologies（红 spark 科技）；Pandit Deendayal Petroleum University（潘迪特·丁代亚尔石油大学）；Confirm SFI Research Centre for Smart Manufacturing, Data Science Institute, NUI Galway（爱尔兰国立高威大学数据科学研究所、爱尔兰科学基金会智能制造业确认研究中心）
产品和服务的设计，如智能门铃，展示视频分析软件/算法功能，预计将解决一种新的需求，如设计一个可扩展的解决方案，同时考虑成本和准确性之间的权衡;灵活的架构，以部署新的基于AI的模型或更新现有的模型，随着用户需求的发展;以及无缝地集成不同种类的用户界面和设备。为了应对这些挑战，我们提出了一种智能门铃，可以跨边缘和云资源协调视频分析。该提案使用AWS作为实施的基础平台，并利用商业可用的现成（COTS）负担得起的设备，如边缘设备形式的Raspberry Pi。
2020-09-29 cs.CV cs.CY cs.DC
FAST-ME: Foundation-aware Adaptive Stopping for Motion Estimation for Efficient IoT Video Analysis
Department of Informatics \& Telecommunications National；Kapodistrian University of Athens Athens, Greece
提出一种基于最优停止理论和基础模型（如ViT和SAM）的语义感知运动估计框架，通过融合语义注意力分数与失真度量实现自适应停止，在降低计算量的同时保持精度和语义覆盖。
2026-05-22 cs.CV cs.MM
An IoT-Based Smart Plant Monitoring and Irrigation System with Real-Time Environmental Sensing, Automated Alerts, and Cloud Analytics
Department of Robotics, Robo Tech Valley, Dhaka, Bangladesh（机器人系，Robo Tech Valley，达卡，孟加拉国）
本文提出了一种基于物联网的智能植物监控与灌溉系统，通过实时环境传感、自动警报和云分析，实现高效水资源管理与植物健康监测。
2026-01-22 cs.CV
Generative Model-Based Feature Attention Module for Video Action Analysis
School of Computer Science and Technology（计算机科学与技术学院）；National Engineering Laboratory for Big Data Analytics（大数据分析国家工程实验室）；Xi’an Jiaotong University（西安交通大学）；School of Mathematics and Statistics（数学与统计学院）；Ministry of Education Key Lab for Intelligent Networks and Network Security（教育部智能网络与网络安全重点实验室）；MOE KLINNS Lab（教育部智能网络与网络安全重点实验室）；Pazhou Laboratory（琶洲实验室）
本文提出一种基于生成式注意力的特征注意力模块，通过同时学习帧级和片段级时序动作特征语义依赖，提升视频动作分析与识别性能，并在动作识别和检测基准上验证了有效性。
2025-08-19 cs.CV
Musical Chair: Efficient Real-Time Recognition Using Collaborative IoT Devices
Georgia Institute of Technology（佐治亚理工学院）；Indiana University（印第安纳大学）；EgoVid Inc.（EgoVid公司）
物联网（IoT）设备的普及和传感器数据的丰富已经创造了诸如语音、图像和视频的识别的实时的【形】数据处理的增加。虽然目前这样的过程被卸载到计算能力强大的云系统，但是本地化和分布式的方法是期望的，因为（i）它保留了用户的隐私并且（ii）它省略了对云服务的依赖。然而，物联网网络通常由资源受限的设备组成，单个设备的功能不足以处理实时的【形】数据。为了克服这一挑战，我们在深度神经网络的背景下研究了这些设备的数据和模型并行。我们提出了音乐椅，使有效的，本地化的，动态的实时的【形】识别，通过收获来自资源受限的设备在同一个物联网网络中的输入传感器的聚合计算能力。音乐椅在运行时适应计算设备的可用性，并适应物联网网络的继承动态。为了演示音乐椅，在每个连接到摄像头的Raspberry PI（最多12个）网络上，我们实现了一个最先进的视频动作识别模型和两个图像识别模型。与Tegra TX2（一款配备六核CPU和GPU的嵌入式低功耗平台）相比，我们的分布式动作识别系统不仅实现了类似的能耗，而且性能是TX2的两倍。此外，在图像识别方面，Musical Chair实现了类似的性能，并节省了动态能量。
2018-03-21 cs.AR cs.CV
A Survey of Performance Optimization in Neural Network-Based Video Analytics Systems
New Mexico State University（新墨西哥州立大学）
视频分析系统在视频中执行自动事件、运动和动作识别，并使对视频执行查询成为可能。由于大量的视频数据需要处理，优化视频分析系统的性能成为一个重要的研究课题。神经网络是执行视频分析任务（例如视频注释和目标检测）的最先进技术。之前的调查论文考虑了特定于应用的视频分析技术，以提高结果的准确性;然而，在这篇调查论文中，我们提供了一个技术的审查，重点是优化性能的神经网络为基础的视频分析系统。
2021-05-10 cs.CV
Deep Learning-Based Multiple Object Visual Tracking on Embedded System for IoT and Mobile Edge Computing Applications
Centro Singular de Investigación en Tecnoloxías da Información, Universidade de Santiago de Compostela（圣地亚哥德孔波斯特拉大学信息技术 singular 研究中心）
针对深度学习方法高功耗难以适配物联网终端的问题，提出在NVIDIA Jetson TX2上实现低功耗实时多目标视觉跟踪系统，经dETRUSC数据集验证具备可行性，为边缘智能视觉应用提供参考。
2018-07-31 cs.CV
Scale Invariant Privacy Preserving Video via Wavelet Decomposition
Xi’an Jiaotong Liverpool University（西交利物浦大学）
视频监控在现代世界中已经变得无处不在。移动设备、监控摄像头和物联网设备都可以录制可能侵犯我们隐私的视频。对此提出的一个解决方案是隐私保护视频，它在视频制作时从视频中删除识别信息。为此已经提出了几种算法，但所有这些算法都存在规模问题：为了充分匿名化近摄像机对象，远处的对象变得无法识别。在本文中，我们提出了一种基于小波分解的尺度不变方法。
2022-11-07 cs.CR cs.CV
An IoT Based Framework For Activity Recognition Using Deep Learning Technique
B.M.S. College of Engineering（B.M.S.工程学院）
活动识别是识别和识别智能体的动作或目标的能力。代理可以是执行具有最终目标的动作的任何对象或实体。代理可以是执行动作的单个代理或执行动作或具有某种交互的代理组。人类活动识别由于其在许多实际应用中的需求而受到欢迎，例如娱乐，医疗保健，模拟和监控系统。基于视觉的活动识别正在获得优势，因为它不需要任何人为干预或与人类的身体接触。此外，还有一组联网的摄像机，旨在跟踪和识别代理的活动。需要跟踪或识别人类活动的传统应用程序使用可穿戴设备。然而，这种应用需要人的身体接触。为了克服这些挑战，可以使用基于视觉的活动识别系统，该系统使用相机来记录视频和执行识别任务的处理器。这项工作分两个阶段进行。在第一阶段中，提出了一种用于实现活动识别的方法，该方法使用图像的背景减除，然后使用3D-卷积神经网络。已经报道了在3D-卷积神经网络之前使用背景减除的影响。在第二阶段，工作进一步扩展并在Raspberry Pi上实现，可用于记录视频流，然后识别视频中涉及的活动。因此，提供了使用小型的基于IoT的设备进行活动识别的概念验证，其可以增强系统并以各种形式扩展其应用，例如增加便携性、联网和设备的其他能力。
2019-06-17 cs.CV cs.LG stat.ML
Secure Video Streaming Using Dedicated Hardware
Nottingham Trent University（诺丁汉特伦特大学）；School of Science and Technology（科学技术学院）
目的：本文的目的是介绍一种系统，该系统可以增强用于监视和监控的物联网（IoT）系统的安全性，效率和可重构性。研究方法：为了提高智能物联网边缘设备的安全性和帧速率，提出了一种由中央处理器（CPU）和现场可编程门阵列（FPGA）组成的多处理器片上系统（MPSoC）。私有加密密钥安全地嵌入FPGA单元中，以避免暴露在随机存取存储器（RAM）中。这允许边缘设备安全地存储和验证密钥，保护从同一集成电路（IC）传输的数据。此外，边缘设备可以使用轻量级通信协议同时发布和路由相机流，实现每秒14帧（fps）的帧速率。MPSoC的性能与NVIDIA Jetson Nano（NJN）和Raspberry Pi 4（RPI 4）进行了比较，发现RPI 4是最具成本效益的解决方案，但具有较低的帧速率，NJN是最快的，因为它可以实现更高的帧率，但不安全，MPSoC是最佳解决方案，因为它提供平衡的帧速率，并且它是安全的，因为它从不将安全密钥暴露到存储器中。结果如下：所提出的系统成功地解决了用于监视和监控的物联网系统的安全性，可扩展性和效率的挑战。加密密钥被安全地存储和认证，边缘设备能够同时发布和路由以14 fps的高清图像的摄像头流。
2023-03-25 cs.CR cs.CV
Farm-LightSeek: An Edge-centric Multimodal Agricultural IoT Data Analytics Framework with Lightweight LLMs
School of Computer Science and Artificial Intelligence, Wuhan University of Technology（武汉理工大学计算机科学与人工智能学院）；School of Engineering, Swinburne University of Technology（斯威本科技大学工程学院）；School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院）；School of Computing, Engineering and Mathematical Sciences, La Trobe University（拉筹伯大学计算、工程与数学科学学院）
针对智能农业面临的挑战，提出Farm-LightSeek框架，将大语言模型与边缘计算集成。通过传感器收集多源数据，在边缘节点进行跨模态推理等。创新包括闭环架构等，实验表明该框架在关键任务中性能可靠，推动了智能实时农业及两者深度集成。
2026-07-28 cs.CV cs.LG
JANUS: Benchmarking Commercial and Open-Source Cloud and Edge Platforms for Object and Anomaly Detection Workloads
Purdue University（普渡大学）
随着物联网工作负载的多样化，将计算和分析放置在收集数据的地方变得越来越重要。我们试图了解在各种可用平台上对物联网数据运行分析的性能和成本影响。这些工作负载可以是计算量较小的，例如传感器数据上的异常值检测，也可以是计算密集型的，例如从无人机获得的视频馈送中进行目标检测。在我们的论文JANUS中，我们分析了计算量较小的物联网工作负载和计算密集型物联网工作负载的性能/美元以及计算与通信成本。此外，我们还研究了一些专有深度学习目标检测包的优缺点，如Amazon Rekognition，Google Vision和Azure Cognitive Services，以与开源和可调解决方案进行对比，如Faster R-CNN（FRCNN）。我们发现，与所有其他云平台相比，AWS IoT Greengrass在计算轻异常值检测工作负载方面的延迟至少降低了2倍，成本降低了1.25倍。对于计算密集型流媒体视频分析任务，与亚马逊、微软和谷歌提供的专有解决方案相比，在云虚拟机上运行的目标检测开源解决方案节省了美元成本，但在延迟方面有所损失（高达6倍）。如果它在低功耗边缘设备上运行，延迟最多可降低49倍。
2020-12-09 cs.CV cs.DC
VideoDP: A Universal Platform for Video Analytics with Differential Privacy
Illinois Institute of Technology（伊利诺伊理工学院）
大量的视频数据在个人设备和专用视频记录设施中无处不在地生成。分析这样的数据在现实世界中将是极其有益的（例如，城市交通分析、行人行为分析、视频监控）。然而，视频包含相当多的敏感信息，例如人脸、身份和活动。大多数现有的视频净化技术简单地通过检测和模糊感兴趣的区域（例如，面部、车牌、位置和时间戳），而不量化和限制净化中的隐私泄露。在本文中，据我们所知，我们提出了第一个差分私有视频分析平台（VideoDP），它灵活地支持不同的视频分析，并具有严格的隐私保证。与传统的基于噪声注入的差异隐私机制不同，给定输入视频，VideoDP随机生成实用程序驱动的隐私视频，其中添加或移除任何敏感的视觉元素（例如，人、物体）不会显着影响输出视频。然后，可以在实用程序驱动的视频上灵活地执行由不可信视频分析者请求的不同视频分析，同时确保差分隐私。最后，我们对真实视频进行了实验，实验结果表明，我们的VideoDP有效地功能视频分析具有良好的实用性。
2019-09-20 cs.CR cs.CV
Towards Live Video Analytics with On-Drone Deeper-yet-Compatible Compression
Purdue University（普渡大学）
在这项工作中，我们提出了DCC（Deeper-yet-Compatible Compression），这是一种基于现有编解码器的实时无人机边缘辅助视频分析技术。DCC解决了一个重要的技术问题，将流视频从无人机压缩到边缘，而不会牺牲在边缘执行的视频分析任务的准确性和及时性。DCC的灵感来自于这样一个事实，即并非流视频中的每一位都对视频分析具有同等价值，这为传统的分析无关视频编解码技术开辟了新的压缩空间。我们利用无人机特定的上下文和中间提示从目标检测追求自适应保真度需要保持分析质量。我们已经在一个车辆检测的示范应用中原型化了DCC，并在代表性场景中验证了其效率。DCC的传输量比基线方法减少了9.5倍，比最先进的方法减少了19-683%，检测精度相当。
2021-11-10 cs.CV cs.NI
