arXiv 2103.166042021-03-30cs.DB

VSS：用于视频分析的存储系统[技术报告]

VSS: A Storage System for Video Analytics [Technical Report]

Brandon Haynes, Maureen Daum, Dong He, Amrita Mazumdar, Magdalena Balazinska, Alvin Cheung, Luis Ceze

摘要：

我们提出了一种新的视频存储系统（VSS），旨在解耦高层次的视频操作所需的低层次的细节存储和有效地检索视频数据。VSS被设计为视频数据管理系统（VDBMS）的存储子系统，并且负责：（1）以高效的粒度格式透明地和自动地在磁盘上排列数据;（2）以最有用的格式缓存频繁检索的区域;以及（3）消除从具有重叠视场的多个摄像机捕获的视频中发现的冗余。我们的研究结果表明，VSS可以提高VDBMS读取性能高达54%，降低存储成本高达45%，并使开发人员能够专注于应用程序逻辑，而不是视频存储和检索。

英文摘要：

We present a new video storage system (VSS) designed to decouple high-level video operations from the low-level details required to store and efficiently retrieve video data. VSS is designed to be the storage subsystem of a video data management system (VDBMS) and is responsible for: (1) transparently and automatically arranging the data on disk in an efficient, granular format; (2) caching frequently-retrieved regions in the most useful formats; and (3) eliminating redundancies found in videos captured from multiple cameras with overlapping fields of view. Our results suggest that VSS can improve VDBMS read performance by up to 54%, reduce storage costs by up to 45%, and enable developers to focus on application logic rather than video storage and retrieval.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

基于学习的数据存储[Vision]（技术报告）

Learning-Based Data Storage [Vision] (Technical Report)

Kent State University（肯特州立大学）；The University of Memphis（孟菲斯大学）

深度神经网络（DNN）及其变体已广泛用于各种实际应用，如图像分类、人脸/语音识别、欺诈检测等。除了许多重要的机器学习任务外，作为模拟脑细胞功能的人工网络，DNN还显示出存储输入和输出数据之间非线性关系的能力，其表现出经由DNN存储数据的潜力。我们设想了一种新的数据存储模式，“DNN-as-a-Database”，其中数据被编码在经过良好训练的机器学习模型中。与直接以原始格式记录数据的传统数据存储相比，基于学习的结构（例如，DNN）可以隐式地编码输入和输出的数据对，并且仅在提供输入数据的情况下计算/具体化不同分辨率的实际输出数据。这种新的范例可以通过允许在不同级别上灵活的数据隐私设置来极大地增强数据安全性，实现低空间消耗和随着新硬件的加速的快速计算（例如，衍射神经网络和AI芯片），并且可以推广到基于分布式DNN的存储/计算。在本文中，我们提出了这种新的概念，基于学习的数据存储，它利用一个学习结构称为学习为基础的记忆单元（LMU），存储，组织和检索数据。作为一个案例研究，我们使用DNN作为引擎在LMU，并研究了基于DNN的数据存储的数据容量和准确性。我们的初步实验结果表明，通过实现DNN存储的高准确性（100%），基于学习的数据存储是可行的。我们探索和设计有效的解决方案，利用基于DNN的数据存储来管理和查询关系表。我们讨论如何将我们的解决方案推广到其他数据类型（例如，图）和环境，如分布…

2023-01-23cs.DBcs.LG

利用数据准备、HBase NoSQL存储和HiveQL查询COVID-19大数据分析项目

Leveraging Data Preparation, HBase NoSQL Storage, and HiveQL Querying for COVID-19 Big Data Analytics Projects

流行病学家、科学家、统计学家、历史学家、数据工程师和数据科学家正在努力寻找描述性模型和理论来解释COVID-19扩张现象，或建立分析预测模型来学习COVID-19确诊病例、康复病例和死亡演变曲线的顶点。在CRISP-DM生存周期中，75%的时间仅用于数据准备阶段，这给构建机器学习模型的科学家和数据科学家带来了大量的麻烦和压力。本文旨在通过提供详细的模式设计和数据准备技术脚本来帮助减少数据准备工作，这些脚本用于在HBase NoSQL数据存储中格式化和存储约翰霍普金斯大学的COVID-19日常数据，并以类似关系Hive SQL的风格启用HiveQL COVID-19数据查询。

2020-04-01cs.DB

基于车库电子地图的图像处理与矢量化存储研究

Research on Image Processing and Vectorization Storage Based on Garage Electronic Maps

School of electronic Information, Shanghai DianJi University（上海电机学院电子信息学院）

本研究针对大型地下车库电子地图，提出了一种室内二维地图栅格数据的矢量化分类存储方法，利用网格索引法分类元素以实现高效存储与快速查询，并通过插值算法和导航测试验证了其准确性和可靠性。

2024-06-02cs.CVcs.DB

关于大数据的抽样和分析的调查（技术报告）

A Survey on Sampling and Profiling over Big Data (Technical Report)

由于互联网技术和计算机科学的发展，数据正以指数级的速度爆炸。大数据给我们带来了新的机遇和挑战。一方面，我们可以对大数据进行分析和挖掘，发现隐藏的信息，获得更多的潜在价值。另一方面，大数据的5V特性，特别是Volume（海量数据），给存储和处理带来了挑战。对于一些传统的数据采掘算法、机器学习算法和数据剖析任务来说，处理如此大量的数据是非常困难的。大量的数据对硬件资源的要求很高，并且非常耗时。采样方法可以有效地减少数据量，并有助于加快数据处理速度。因此，采样技术已被广泛研究并用于大数据环境中，例如，确定样本量的方法，将抽样与大数据处理框架相结合。数据剖析是发现数据集的元数据的活动，并且具有许多用例，例如，对关系数据、图形数据和时间序列数据执行数据剖析任务，以进行异常检测和数据修复。然而，数据分析在计算上是昂贵的，特别是对于大型数据集。因此，本文重点研究大数据环境下的抽样和分析，并研究抽样在不同类别的数据分析任务中的应用。从这些研究的实验结果来看，从采样数据得到的结果接近甚至超过了全部数据量的结果。因此，采样技术在大数据时代扮演着重要的角色，我们也有理由相信，采样技术将成为未来大数据处理中不可或缺的一步。

2020-05-08cs.DB

用于深度学习模型诊断的采样（技术报告）

Sampling for Deep Learning Model Diagnosis (Technical Report)

University Of Washington（华盛顿大学）；Paul Allen School of Computer Science and Engineering（保罗·艾伦计算机科学与工程学院）；DiRAC Institute（DiRAC研究所）；Department of Astronomy（天文学系）

深度学习（DL）模型在许多具有高维数据（如图像、音频和文本）的领域中实现了范式改变的性能。然而，深度神经网络的黑盒性质不仅阻碍了医学诊断等应用的采用，其中可解释性是必不可少的，而且还阻碍了对表现不佳的模型的诊断。诊断或解释DL模型的任务需要计算额外的伪影，例如激活值和梯度。这些工件的体积很大，并且它们的计算、存储和查询提出了显著的数据管理挑战。在本文中，我们阐明DL诊断作为一个数据管理问题，我们提出了一个通用的，但有代表性的，一组查询，以评估系统，努力支持这一新的工作量。我们进一步开发了一种新的数据采样技术，这些模型调试查询产生近似但准确的结果。我们的采样技术利用DL模型学习的低维表示，并专注于该低维空间中数据的模型决策边界。我们在一个标准的计算机视觉和一个科学数据集上评估我们的技术，并证明我们的采样技术在查询准确性方面优于各种最先进的替代方案。

2020-02-22cs.DBcs.LG

在Twitter上使用Hadoop进行大规模分析：技术报告

Using Hadoop for Large Scale Analysis on Twitter: A Technical Report

University of Patras（帕特雷大学）；Ionian University（爱奥尼亚大学）

Twitter数据上的情感分析（或意见挖掘）最近引起了广泛关注。该系统的主要特点之一是以简单、用户友好和快速的方式与其他用户进行即时通信。因此，人们倾向于自由地表达自己的感受，这使得Twitter成为一个理想的来源，可以积累大量的意见，涉及各种各样的话题。这些信息量提供了巨大的潜力，可以用来接收对这些主题的情感倾向。然而，由于没有人可以投入无限的时间来阅读这些推文，因此有必要采用自动决策方法。然而，大多数现有的解决方案仅限于集中式环境。因此，他们最多只能处理几千条推文。由于每天发布的大量推文，这样的样本不代表定义对主题的情感极性。在本文中，我们更进一步，在MapReduce框架中开发了一种新的情感学习方法。我们的算法利用推文中的主题标签和表情符号作为情感标签，并以并行和分布式的方式对不同的情感类型进行分类。此外，我们利用Bloom过滤器来压缩中间数据的存储大小，并提高我们的算法的性能。通过广泛的实验评估，我们证明了我们的解决方案是有效的，鲁棒性和可扩展性，并确认我们的情感识别的质量。

2016-02-03cs.CLcs.DBcs.IR