Querying Incomplete Numerical Data: Between Certain and Possible Answers
具有聚合和算术运算的数据库,以及不完整的数据,在现实世界的数据库中很常见,但我们对它们应该如何交互缺乏很好的理解。一方面,基于SQL的系统为数字空值提供了专门的规则,另一方面,理论研究主要集中在某些和可能的答案的标准概念上。然而,在存在数值属性和聚合的情况下,这些答案通常是没有意义的,返回的要么太少,要么太多。我们的目标是定义一个原则性的框架,数据库与数值空和回答查询的算术和聚合。为了实现这个目标,我们假设数值属性中的缺失值由与标记空值相关的概率分布给出。这就产生了一个概率包数据库模型,其中元组不一定是独立的,因为空值可以重复。我们提供了一个通用的组合框架查询回答,然后集中在类似于标准SQL的算术和聚合查询。我们表明,这些查询是可衡量的,他们的输出有一个有限的表示。此外,由于经典形式的答案在数值设置中提供的信息很少,我们研究输出元组中的数值属于特定区间的概率。即使他们的精确计算是棘手的,我们表现出有效的近似算法来计算这样的概率。
2022-11-01 cs.DB
Pool of Experts: Realtime Querying Specialized Knowledge in Massive Neural Networks
Inha University(仁荷大学)
尽管深度学习技术取得了巨大的成功,但训练和交付实际可用的模型仍然是一个非常耗时的过程。此外,所得到的模型通常过于通用和重量级,因此基本上要经过另一个昂贵的模型压缩阶段,以适应资源有限的设备,如嵌入式系统。受移动用户专门请求的机器学习任务通常比大规模通用模型支持的任务简单得多这一事实的启发,本文提出了一个称为专家池(PoE)的框架,该框架可以立即构建一个轻量级的特定于任务的模型,而无需任何训练过程。对于一个实时的模型查询服务,PoE首先提取一个池的原始组件,称为专家,从一个训练有素的和足够通用的网络,通过利用一种新的条件知识蒸馏方法,然后执行我们的无训练知识整合,以快速组合成一个轻量级的网络为目标任务所需的专家。由于这种无训练属性,在我们全面的实证研究中,PoE可以实时构建一个相当准确但紧凑的模型,而其他训练方法每次查询需要几分钟才能达到类似的准确度。
2021-07-03 cs.AI cs.DB cs.LG
Querying with Conflicts of Interest
Oregon State University(俄勒冈州立大学);University of Illinois(伊利诺伊大学)
本文提出了一种新的查询框架,用于处理数据源与用户之间的利益冲突,通过高效算法检测和纠正偏见信息,提高查询结果的相关性。
2026-03-05 cs.DB
Sketch-based Querying of Distributed Sliding-Window Data Streams
虽然传统的数据管理系统专注于在集中式设置中评估静态数据集上的单个临时查询,但一些新兴的应用程序需要(可能是连续的)对广泛分布且不断更新的动态数据的查询的答案。此外,这样的查询答案通常需要对“陈旧”的数据打折,并且仅对最近数据到达的滑动窗口进行操作(例如,在过去24小时内发生的数据更新)。这样的分布式数据流应用要求新颖的算法解决方案,其既具有时间和空间效率(以管理高速数据流),又具有通信效率(以处理物理数据分发)。在本文中,我们考虑的问题,复杂的查询回答分布式,高维数据流的滑动窗口模型。我们介绍了一种新的草图技术(称为ECM草图),允许有效的汇总流数据在基于时间和基于计数的滑动窗口的概率精度保证。我们的草图结构使点以及内积查询,并可用于解决广泛的问题,如维护频率统计,找到重打击,计算分位数的滑动窗口模型。专注于分布式环境中,我们演示了如何ECM草图的个人,本地流可以组成生成一个(低错误)ECM草图摘要的顺序保持聚合的所有流,此外,我们展示了如何ECM草图可以利用连续监测滑动窗口查询分布式流。我们广泛的实验研究与两个现实生活中的数据集验证了我们的理论主张,并验证了我们的技术的有效性。据我们所知,我们是第一个工作,以解决高效,避免错误的复杂查询answ…[截断]。
2012-06-30 cs.DB
AskYourDB: An end-to-end system for querying and visualizing relational databases using natural language
Thoucentric
在数据库中查询正确的信息是一项耗时且容易出错的任务,通常需要经验丰富的专业人员来完成这项工作。此外,用户需要对数据库有一些先验知识。已经有各种努力来开发一种智能,可以帮助商业用户直接查询数据库。然而,已经取得了一些成功,但在为现实世界的用户测试和部署这些方面却很少。在本文中,我们提出了一种语义解析方法来解决将复杂的自然语言转换为SQL的挑战,并制定出一个productoutit.For这个目的,我们修改了国家的最先进的模型,通过各种预处理和后处理步骤,使模型部署在生产中的重要组成部分。为了使产品服务于企业,我们在查询结果上添加了一个自动可视化框架。
2022-10-16 cs.CL cs.DB cs.IR
MavVStream: Extending Database Capabilities for Situation Monitoring Using Extracted Video Contents
基于查询的视频情况检测(与手动或定制算法相反)对于各种应用至关重要,例如交通监控、监视1和其他类型的环境/基础设施监控。视频内容在完全不同的对象类型和背景信息方面是复杂的。因此,除了使用最新的视觉技术(包括基于深度学习的视觉技术)提取复杂内容之外,它们的表示和查询也带来了不同类型的挑战。一旦我们有了一个表示来容纳提取的内容,对它的特别查询将需要新的运算符,以及它们的语义和算法来进行有效的计算。扩展数据库框架(表示和实时查询)处理查询的视频内容提取只有一次是至关重要的,这项工作是朝着这个方向迈出的第一步。在本文中,我们将传统的关系扩展到R++(向量属性)和数组,以适应视频内容和扩展CQL(连续查询语言)与一些新的操作符查询情况的扩展表示。本文讨论了向后兼容性、易用性、新操作符(包括空间和时间)以及有效执行的算法。查询的类别基于它们的复杂性来识别以相对于视频内容进行评估。已经使用了大量的小型和大型视频数据集(一些来自文献)来展示我们的工作如何在可用的数据集上使用。证明了人工地面实况查询的正确性,有效的评估以及算法的鲁棒性。我们的主要贡献是为一个问题建立了一个框架,这个问题作为基于新思想的大数据分析的一部分变得非常重要。
2022-11-25 cs.DB
Development of a Large-scale Neuroimages and Clinical Variables Data Atlas in the neuGRID4You (N4U) project
大规模临床成像数据集的可用性的异常增长导致了计算基础设施的发展,为科学家提供了对图像存储库和相关临床变量数据的访问。欧盟FP 7 neuGRID及其后续neuGRID 4 You(N4 U)项目是一个领先的电子基础设施,神经科学家可以在其中找到大脑图像分析的核心服务和资源。这个电子基础设施的核心组成部分是N4 U虚拟实验室,它为神经科学家提供了一个方便的访问范围广泛的数据集和算法,管道,计算资源,服务和相关的支持服务。这个虚拟实验室的基础是一个大规模的数据存储加上信息服务,称为数据图谱,存储数据集,临床研究数据,数据字典,算法/管道定义,并提供参数化查询接口,以便神经科学家可以对所需的数据集进行分析。本文介绍了数据地图集的总体设计和开发,其相关的数据集和索引和一套检索服务,起源于欧盟FP 7 N4 U项目的N4 U虚拟实验室的开发,根据用户的需求。
2015-11-29 cs.DB
GraphVista: Interactive Exploration Of Large Graphs
通过图分析从图结构数据中获得业务洞察的潜力越来越吸引来自各个行业的公司,从网络公司到传统企业业务。为了分析图,用户通常使用专用接口-过程图编程接口或声明图查询语言来执行孤立图查询。然后使用特定的可视化技术返回并显示结果。这遵循经典的ad-hoc Query $\rightarrow$ Result交互范例,并且通常需要多次查询迭代,直到标识出图数据中的感兴趣的方面。这一方面是由图数据的模式灵活性造成的,另一方面是由声明性图查询语言的复杂性造成的。为了降低用户在没有图查询语言的先验知识的情况下探索未知图的负担,可视化图探索提供了一种有效且直观的查询接口以交互地导航通过图。我们展示了GRAPHVISTA,一个图形可视化和探索工具,可以无缝地结合在同一个查询会话中的临时查询和交互式图形探索。在我们的演示中,与会者将看到GRAPHVISTA运行在一个大型的真实世界的图形数据集上。他们将首先在ad-hoc查询的帮助下识别感兴趣的入口点,然后通过可视化图形探索交互式地发现图形。
2015-07-09 cs.DB
WarpFlow: Exploring Petabytes of Space-Time Data
WarpFlow是一个快速,交互式的数据查询和处理系统,专注于PB级时空数据集和Tesseract查询。随着智能手机和移动导航服务的快速增长,我们现在有机会从根本上改善城市移动性,减少人们和包裹在全球每分钟英里移动的摩擦。WarpFlow加速了数据工程师在这些数据集上工作的三个关键指标--获得第一个结果的时间,获得全尺寸结果的时间和机器学习训练模型的时间。
2019-02-12 cs.DB
A Modern Approach to Integrate Database Queries for Searching E-Commerce Product
电子商业是指利用电子数据传输来增强业务流程和实施业务策略。电子商业的明确组成部分包括提供售后服务、推销服务或产品到服务、处理付款、参与交易过程、确定客户需求、处理付款和创造服务或产品。近一段时间以来,电子商业的使用在民间已经变得太普遍了。然而,电子商业网站日益增长的需求使得数据库必须支持直接查询Web页面。本研究旨在探讨和评估整合数据库查询及其在电子商务产品搜索中的应用。据分析,电子商业是近几十年来在商业世界中出现的最突出的趋势之一。因此,本研究的目的是探讨整合数据库查询与电子商业产品搜索的好处。这项研究的结果表明,数据库查询是非常有价值的电子商业网站,因为他们使产品搜索更简单,更准确。在这种情况下,集成数据库查询的方法被认为是最合适和令人满意的,因为它简化了搜索的电子商业产品。
2017-07-01 cs.DB
MammoGrid: A Service Oriented Architecture based Medical Grid Application
MammoGrid项目最近交付了它的第一个概念验证原型,它使用了一个基于面向服务的体系结构(SOA)的网格应用程序来支持跨越国界的分布式计算。选择底层的Alien Grid基础设施是因为它的实用性,也是因为它作为一种潜在的基于开源标准的解决方案,用于管理和协调分布式资源。由此产生的原型预计将利用大量的医学图像数据进行流行病学研究,先进的图像处理,放射学教育,并最终,远程诊断的医疗虚拟组织的社区。MammoGrid原型包括一个用于数据采集和检查的高质量临床医生可视化工作站、一个与一组医疗服务(注释、安全、图像分析、数据存储和查询服务)兼容的DICOM接口,该接口位于所谓的网格盒上,并可安全访问通过网格中间件连接的其他网格盒网络。本文概述了MammoGrid方法在管理网格连接的乳腺X射线摄影数据库的联邦在最近交付的原型的上下文中,还将描述原型的下一阶段。
2004-05-21 cs.DB cs.DC
Partitioning, Indexing and Querying Spatial Data on Cloud
移动设备的数量(例如,智能手机、可穿戴技术)正在迅速增长。随着这一趋势的发展,大量的空间数据正在被收集,因为这些设备允许用户对用户生成的内容进行地理标记。显然,需要一个可扩展的计算基础设施来管理如此大的数据集。同时,云计算服务提供商(例如,Amazon、Google和Microsoft)允许用户租用计算资源。然而,大多数现有的空间索引技术是专为集中式的范例,这是有限的能力,一个单一的服务器。为了解决现有方法的可扩展性的缺点,我们提供了一个研究,重点是生成一个分布式的空间索引结构,不仅扩展到多个服务器,但也扩展了,因为它充分利用了多核CPU上的每个服务器使用沃罗诺伊图的分区和索引技术,我们也用来有效地处理空间查询。更具体地说,由于数据对象不断移动并向索引结构发出位置更新,因此我们收集对象的最新位置并定期生成只读索引以消除昂贵的分布式更新。我们的方法在索引构建和查询处理方面几乎是线性的,并且可以在几秒钟内为数百万个对象高效地构建索引。除了可扩展性和效率之外,我们还旨在最大限度地提高服务器利用率,从而可以用更少的服务器来支持相同的工作负载。服务器利用率是使用云计算的关键点,因为用户是根据他们保留每个服务器的总时间来收费的,而不考虑利用率。
2016-12-18 cs.DB cs.DC
A MovingObject Index for Efficient Query Processing with Peer-Wise Location Privacy
随着基于位置的服务的使用越来越多,位置隐私越来越受到用户,工业界和研究界的关注。虽然相当大的努力已经投入到发明技术,防止服务提供商知道用户的确切位置,相对较少的注意已经支付给所谓的同行明智的隐私-保护用户的位置从未经授权的同行用户。本文确定了一个重要的效率问题,在现有的同行隐私的方法,简单地应用过滤步骤,以确定位于查询范围内的用户,但不想透露自己的位置查询同行。为了解决这个问题,我们提出了一种新的,隐私政策启用索引称为PEB树,无缝集成位置接近和政策兼容性。我们提出了高效的算法,使用PEB树处理隐私感知范围和kNN查询。大量的实验表明,PEB树,使高效的查询处理。
2011-09-30 cs.DB
Compliant Self Service Access to Secondary Use Clinical Data at Stanford Medicine
本文介绍斯坦福STARR临床研究生态及其自助数据访问工具的演进,并提出合规框架,保障研究人员二次使用详细临床数据时符合相关法规。
2024-12-05 cs.DB cs.SE
Turning Transport Data to Comply with EU Standards while Enabling a Multimodal Transport Knowledge Graph
Cefriel – Politecnico of Milano(Cefriel——米兰理工大学)
遵守欧盟多式联运服务法规要求在其中一个标准中共享国家接入点数据(例如,Netex和SIRI)。这些标准很复杂,实际采用有限。这意味着数据集是以其他格式原生表达的,需要数据转换过程才能完全合规。本文介绍了解决方案,把来自意大利和西班牙的三个不同的交通利益相关者的权威数据转换成符合欧盟标准的格式,通过语义Web技术。我们的解决方案解决了这一挑战,也有助于建立一个多模式传输的相互关联和互操作的信息,使智能查询和探索,以及促进增值服务的设计知识图谱。
2020-11-12 cs.AI cs.DB
OntoKG-EQ: Evidence-boundary auditing for analytical knowledge graphs
City University of Science and Information Technology (CUSIT)(城市科学与信息技术大学(CUSIT));National University of Computer and Emerging Sciences (FAST-NUCES)(国立计算机与新兴科学大学(FAST-NUCES));University of Engineering and Technology (UET)(工程技术大学(UET))
OntoKG-EQ构建基于溯源和能力问题的知识图谱,使新兴市场分析师的查询可复现、可审计,并验证其优于传统方法,提升信任与完整性。
2026-11-03 cs.AI cs.DB cs.ET