Digging Deeper into Deep Web Databases by Breaking Through the Top-k Barrier
大量的网络数据库只能通过专有的类似表单的界面访问，这些界面要求用户通过输入一些属性的所需值来查询系统。由这样的接口强制执行的关键限制是前k个输出约束，即，当存在大量匹配元组时，通常根据专有的排名函数，只有少数（前k个）匹配元组被网站优先选择并返回。由于大多数web数据库所有者将k设置为小值，因此top-k输出约束阻止了许多有趣的第三方（例如，mashup）服务，以避免在真实世界的Web数据库上开发服务。在本文中，我们认为新的问题“深入挖掘”到这样的网络数据库。我们的主要贡献是元算法GetNext，可以检索下一个排名元组从隐藏的Web数据库中只使用Web数据库的限制性接口，而无需任何先验知识的排名功能。然后可以迭代地调用该算法来检索尽可能多的顶级元组。我们开发的原则和有效的算法，是基于生成和执行多个重构查询，并推断出下一个排名元组从他们的返回结果。我们提供了我们的算法的理论分析，以及广泛的实验结果在合成和现实世界的数据库，说明我们的技术的有效性。
2012-08-19 cs.DB
Bridging the Technology Gap Between Industry and Semantic Web: Generating Databases and Server Code From RDF
尽管语义网领域取得了巨大的进步，但工业界很少采用语义网技术及其存储和查询概念。相反，通常部署关系数据库（RDB）来存储通过REST接口访问的业务关键型数据。然而，一些企业将极大地受益于语义Web相关的数据集，这些数据集通常用资源描述框架（RDF）表示。为了弥合这一技术差距，我们提出了一种全自动的方法，可以生成合适的RDB模型，并使用REST API来访问它们。在我们的评估中，从不同的RDF数据集生成的数据库进行检查和比较。我们的研究结果表明，数据库充分反映了他们的同行，而API是能够重现相当简单的SPARQL查询。确定了改进的潜力，例如，减少生成的数据库中的数据冗余。
2020-11-16 cs.DB
A Novel Approach for Web Page Set Mining
关联规则挖掘中最耗时的步骤之一是计算数据库中项集的出现频率。哈希表索引方法通过仅扫描事务数据库一次来将事务数据库转换为哈希索引树。每当用户请求任何统一资源定位符（URL）时，请求条目都存储在服务器的日志文件中。本文提出了一种通用的、密集的哈希索引表结构，用于从服务器的日志文件中提取网页集。此哈希表提供有关原始数据库的信息。网页集挖掘（WPs-Mine）提供了原始数据库的完整表示。这种方法适用于稀疏和密集数据分布。哈希表索引支持的Web页面集挖掘表明，其性能始终与访问平面文件上的数据的算法相当，并且往往优于这些算法。增量更新是可行的，无需重新访问原始事务数据库。
2011-11-11 cs.DB
Rank-Based Inference over Web Databases
近年来，结构化数据库，特别是Web数据库中的排序检索模型得到了广泛的研究。使用此模型，搜索查询不仅根据选择条件的精确匹配返回前k个元组，而且还根据合适的排名函数返回前k个元组。本文研究了一个新的问题的隐私影响的数据库排名。动机是我们在现实世界的Web数据库中发现的一种新颖但严重的隐私泄漏，这是由排名功能设计引起的。许多这样的数据库以私有属性为特征-例如，社交网络允许用户将某些属性指定为仅对他/她自己可见而对其他人不可见。虽然这些网站通常通过不直接在搜索查询答案中显示私有属性值来尊重隐私设置，但是它们中的许多网站在排名功能设计中考虑了这样的私有属性。传统的看法可能是元组秩本身不足以揭示私有属性值。然而，我们的调查表明，事实并非如此。为了解决这个问题，我们引入了两个维度的问题空间的分类，（1）查询接口的类型和（2）对手的能力。对于每个子空间，我们开发了一种新的技术，它可以保证成功的私人属性的推理，或这样做的一个重要部分的现实世界的元组。我们通过理论分析、对真实世界数据集的广泛实验以及对具有数千万到数亿用户的网站的成功在线攻击来证明我们的技术的有效性和效率-例如，亚马逊Goodreads和人人网。
2015-04-06 cs.DB
View Selection in Semantic Web Databases
我们考虑设置的语义Web数据库，包含显式数据编码的RDF三元组，和隐含的数据，隐含的RDF语义。基于查询的工作量，我们解决的问题，选择一组要物化的数据库中的视图，最大限度地减少组合的查询处理，视图存储和视图维护成本。从现有的关系视图选择方法开始，我们设计了新的算法推荐视图集，并表明它们的规模显着超出现有的关系时，适应RDF上下文。考虑到查询答案中的隐式三元组，我们提出了一种新的RDF查询重构算法和一种创新的方式，将其纳入视图选择，以避免组合爆炸的复杂性的选择过程。我们的技术的兴趣是通过一组实验证明。
2011-10-30 cs.DB
A Cloud-based Service for Real-Time Performance Evaluation of NoSQL Databases
我们创建了一个基于云的服务，允许最终用户在多个不同的数据库上运行测试，以找到最适合他们项目的数据库。从我们的研究中，我们找不到另一个应用程序，使用户能够测试几个数据库，以衡量它们之间的差异。该应用程序允许用户选择要执行的测试类型以及要针对的数据库。应用程序还显示其他用户以前运行的不同测试的结果。还有一个地图显示所有测试运行的位置，以便用户估计位置。与传统的静态测试和报告不同，我们创建了一个Web应用程序来实时的运行和分析这些测试。这个Web应用程序评估了几个NoSQL数据库的性能。涵盖的数据库包括MongoDB、DynamoDB、CouchDB和Firebase。该网络服务可从nosqldb.nextproject.ca访问。
2017-05-23 cs.DB
DooML: A new Database & Object-Oriented Modeling Language for database-driven web application design and development
数据库驱动的Web应用程序是一个非常常见的软件解决方案，以解决日益增长的业务问题。对数据库和软件架构进行建模可能具有挑战性，因此没有一种用于数据库和软件架构的组合建模语言，特别适合于Web应用程序开发。在本文中，我们提出了数据库面向对象的建模语言（DooML）和它的主要原型图：一个符号指定的数据库模式和相应的面向对象的软件体系结构的设计。它结合了绘制实体关系图、关系模型和通用建模语言类图的语法，并创建了一个混合图，说明了数据库设计和软件设计规范。默认情况下，DooML确保高级Web应用程序开发的方法是模型驱动的，既面向数据库又面向对象。
2022-10-05 cs.DB cs.SE
Improving Web Database Access Using Decision Diagrams
在管理和商业的某些领域，特别是在电子商务（E-commerce）中，由于Web技术的进步而加速，使用形式化方法来支持决策过程是至关重要的。在电子商务应用中存在的问题有：减少数据访问的时间，使庞大的数据库可以快速检索;降低数据库设计的成本;提高数据库的可维护性。提出了应用信息论方法设计决策图以提高数据库访问速度的方法。我们表明，这种利用提供了系统的和可视化的方式应用决策方法来简化复杂的Web工程问题。
2002-07-04 cs.DB cs.LO
Supporting Exploratory Queries in Database Centric Web Applications
以数据库为中心的Web应用程序的用户，特别是在电子商务领域，经常求助于探索性的"试错“查询，因为底层数据空间是巨大的和不熟悉的，并且在这个空间中有几个搜索属性的替代方案。例如，寻找便宜的机票通常涉及提出多个查询，改变航班时间，日期和机场位置。从用户和服务器的角度来看，探索性查询都是有问题的。对于数据库服务器，它会导致有效吞吐量的急剧减少，因为在每个连续的查询中重复了许多处理。对于客户端来说，这会导致响应时间显著增加，尤其是在通过无线信道访问服务时。在本文中，我们研究的自动化技术的设计，以尽量减少重复的探索性查询的需要。具体来说，我们提出了SAUNA，服务器端查询松弛算法，给定用户的初始范围查询和所需的基数的答案集，产生一个宽松的查询，预计将包含所需数量的答案。该算法采用了范围查询特定的距离度量，加权产生所需形状的宽松的查询（例如，纵横比保持），并利用多维直方图的查询大小估计。一个详细的性能评估的SAUNA在各种多维数据集表明，其宽松的查询可以显着降低成本与探索性查询处理。
2003-10-17 cs.DB
TerraService.NET: An Introduction to Web Services
本文从主机Web站点的角度和使用Web服务的应用程序的角度探讨了地理空间Internet Web服务应用程序的设计和构造。TerraService.NET Web服务被添加到流行的TerraServer数据库和网站中，数据库没有重大的结构变化。本文讨论了Web服务设计、实现和部署概念以及设计指南。Web服务使应用程序能够聚合来自Internet规模的分布式服务器的信息和资源并与之交互。本文介绍了两个USDA应用程序的设计，它们与位于科罗拉多州柯林斯堡的数据库和Web服务资源以及位于华盛顿州图克维拉的TerraService Web服务进行互操作。
2002-08-07 cs.DB cs.DL
Leveraging Application Data Constraints to Optimize Database-Backed Web Applications
利用数据之间的关系是一种经典的查询优化技术。随着持久性数据越来越多地通过编程方式创建和维护，之前从数据统计信息推断数据关系的工作错过了一个重要的机会。我们提出了ConstrOpt，第一个通过分析数据库支持的应用程序来识别数据关系的工具。一旦确定，ConstrOpt就利用这些约束来优化应用程序的物理设计和查询执行。ConstrOpt采用枚举-测试-验证技术来自动利用发现的数据约束来改进查询执行，而不是开发一组固定的预定义重写规则。每个结果重写可证明等价于原始查询。使用14个真实世界的Web应用程序，我们的实验表明，ConstrOpt可以发现大量的数据约束，从代码分析和提高现实世界的应用程序的性能显着。
2022-12-28 cs.DB cs.PL
Scalability of Data Binding in ASP.NET Web Applications
ASP.NET Web应用程序通常使用服务器控件来提供动态网页，并使用数据绑定服务器控件来显示和维护数据库数据。大多数开发人员在开发Web应用程序时使用ASP.NET服务器控件的默认属性，这允许快速开发可行的应用程序。但是，创建高性能、多用户和可伸缩的Web应用程序需要使用自定义代码增强服务器控件。在这项实证研究中，我们评估了各种技术方法对数据驱动的ASP.NET Web应用程序中分页和排序功能的影响：Web服务器上的Web服务器控件中的自动数据分页和排序;数据库服务器上的分页和排序;索引和非索引数据库列;集群与非集群索引。当使用基于SQL存储过程和聚集索引的自定义分页时，我们观察到显著的性能改进。
2012-11-05 cs.DB cs.SE
Natural Language Web Interface for Database (NLWIDB)
University of Jaffna（贾夫纳大学）；Sri Lankan Telecom（斯里兰卡电信）
计算机用户的长期愿望是最小化计算机和人之间的通信差距。另一方面，几乎所有的信息和通信技术应用程序都将信息存储在数据库中并从中检索。从数据库中检索信息需要掌握结构化查询语言等技术语言的知识。然而，大多数与数据库交互的计算机用户没有技术背景，并且被使用SQL等语言的想法所吓倒。基于上述原因，我们开发了一个数据库的自然语言Web接口（NLWIDB）。NLWIDB允许用户通过互联网上的一个方便界面，以更接近英语的语言查询数据库。
2013-08-18 cs.CL cs.DB cs.HC
Life Under Your Feet: An End-to-End Soil Ecology Sensor Network, Database, Web Server, and Analysis Service
无线传感器网络可以通过提供以前不可能的时间和空间粒度的测量来彻底改变土壤生态学。本文介绍了一个土壤监测系统，我们开发和部署在巴尔的摩的城市森林实现这一愿景的第一步。这个网络中的微粒每分钟都在现场测量和保存土壤湿度和温度。原始测量值由传感器网关定期检索，并存储在中央数据库中，其中导出并存储校准版本。测量数据库通过Web Services接口发布。此外，分析工具让科学家分析当前和历史数据，并帮助管理传感器网络。本文介绍了系统设计，我们从部署中学到了什么，以及从传感器获得的初步结果。该系统以前所未有的时间精度测量土壤因素。然而，部署需要设备级编程，跨空间和时间的传感器校准，以及与外部源的交叉参考测量。数据库、Web服务器和数据分析设计需要大量的创新和专业知识。计算机科学家和生态学家的比例是3：1。在传感器网络能够发挥其作为科学家可以轻松部署的工具的潜力之前，这些技术问题必须得到解决，以便比率是每十个生态学家中有一个书呆子。
2007-01-26 cs.CE cs.DB
The Footprint Database and Web Services of the Herschel Space Observatory
赫歇尔空间天文台的数据免费向公众提供，但迄今为止还没有统一处理的观测目录。到目前为止，赫歇尔科学档案并不包含单个观测的确切天空覆盖范围（足迹），并且只支持基于边界圆的测量搜索。借鉴以往的经验，在实施足迹数据库，我们建立了赫歇尔足迹数据库和Web服务的赫歇尔空间天文台提供高效的搜索功能，典型的天文查询。设计该数据库时考虑到以下主要目标：（a）为所有仪器和观测模式的元数据提供统一的数据模型;（b）快速查找涵盖选定天体及其邻域的观测数据;（c）快速查找更大天空区域的每一个观测数据;（d）能够查找跨越观测场的太阳系天体。作为第一步，我们开发了一个统一的数据模型的观测所有三个赫歇尔仪器的所有指向和仪器模式。然后，利用望远镜指向信息和观测元数据，我们编制了一个足迹数据库。与使用球体像素化的方法相反，我们以精确的几何形式表示天空覆盖范围，从而可以进行精确的面积计算。为了更容易地处理具有相当复杂形状的Herschel观测足迹，实现了两种算法来减小轮廓。此外，一个新的可视化工具，绘制足迹与各种球面投影的开发。使用分层三角网格对足迹进行索引，可以快速找到基于天空覆盖，时间和元数据的观测结果。该数据库可以通过网站（http：//www.example.com）访问，也可以作为一组REST Web服务功能访问。herschel.vo.elte.hu
2016-06-13 astro-ph.IM cs.DB
SmartInt: Using Mined Attribute Dependencies to Integrate Fragmented Web Databases
许多网络数据库可以被视为提供关于世界上实体的部分和重叠的信息。为了有效地回答查询，我们需要整合关于分散在多个源中的各个实体的信息。乍一看，这只是传统数据库规范化问题的逆-而不是从通用关系到规范化表，我们希望重建给定表（源）的通用关系。重建实体的标准方法包括连接表。不幸的是，由于源是以自治和分散的方式填充的，它们通常没有主键码-外键关系。虽然表可以共享属性，但这些共享属性上的朴素连接可能会导致重建许多虚假实体，从而严重影响精度。我们的系统，\smartint \的目的是解决在这种情况下的数据集成的问题。对于给定的查询，系统使用近似函数分解（AFD）将相关表拼接成一棵树来回答，生成的结果元组能够在查准率和查全率之间取得良好的平衡。
2011-01-31 cs.DB cs.IR
aflow.org: A Web Ecosystem of Databases, Software and Tools
本文介绍aflow_org网络生态系统，以FAIR原则提供AFLOW数据库的图形化与程序化访问，并提供软件应用和材料科学教育，服务全球多样化用户。
2022-08-04 cond-mat.mtrl-sci cs.DB
Database-Backed Web Applications in the Wild: How Well Do They Work?
大多数现代数据库支持的Web应用程序都构建在对象关系映射（ORM）框架上。虽然ORM框架通过将持久数据抽象为对象来简化应用程序开发，但这种便利性通常伴随着性能成本。在本文中，我们提出了CADO，一个工具，分析应用程序的逻辑和它与数据库的交互使用Ruby on Rails的ORM框架。CADO包括一个静态程序分析器，一个剖析器和一个合成数据生成器，以提取和理解应用程序的性能特征。我们使用CADO分析了27个真实世界的开源Rails应用程序的性能问题，涵盖了在线论坛、电子商务、项目管理、博客等领域。基于结果，我们发现了一些导致应用程序性能次优的问题，包括发布查询、如何使用结果集和物理设计。我们建议可能的补救措施，为每个问题，并强调新的研究机会，从他们。
2016-11-22 cs.DB cs.PF cs.SE
Ultraverse: A System-Centric Framework for Efficient What-If Analysis for Database-Intensive Web Applications
针对现有假设分析系统孤立处理应用层与数据库层的局限，提出Ultraverse框架，通过动态符号执行同步两层语义并利用查询依赖分析跳过无关事务及支持并行重放，在未修改系统中实现7.7x至291x的加速。
2025-01-30 cs.DB cs.SE
Verifying Equivalence of Database-Driven Applications
本文讨论的问题，验证一对程序之间的等价性，操作数据库与不同的模式。这个问题在Web应用程序的上下文中尤其重要，因为Web应用程序通常会出于性能或可维护性的原因进行数据库重构。虽然Web应用程序在模式迁移之前和之后应该具有相同的外部可观察行为，但没有现有的工具可以证明这些程序的等效性。本文采取了第一步解决这个问题的形式化的等价性和细化检查问题的数据库驱动的应用程序。我们还提出了一个证明方法的基础上的概念的互模拟不变量的关系代数更新，并描述了一种技术，用于合成这种互模拟不变量。我们已经实现了所提出的技术，在一个名为中介的工具，用于验证我们的中间语言编写的数据库驱动的应用程序之间的等价性，并评估我们的工具从教科书和现实世界的Web应用程序中提取的21个基准。我们的研究结果表明，所提出的方法可以成功地验证这些基准中的20个。
2017-10-20 cs.DB cs.LO
Web3DB: Web 3.0 RDBMS for Individual Data Ownership
本文提出 Web3DB，一种结合区块链与去中心化存储的 Web 3.0 关系型数据库管理系统，通过模块化架构与密码学抽签实现安全查询，解决传统集中式数据库缺陷。
2025-04-03 cs.DB cs.DC
Relational Constraint Driven Test Case Synthesis for Web Applications
提出了一种基于关系约束驱动的Web应用测试用例自动合成技术。使用静态分析，servlet可以被建模为关系转换器，它操作后端数据库。我们提出了一个合成算法，生成一个序列的HTTP请求模拟用户会话。该算法依赖于后向符号图像计算达到一定的数据库状态，给定的代码覆盖率目标。该技术稍加修改，即可用于发现Web应用程序上的工作流攻击。
2010-09-20 cs.DB cs.SE
Development of a Web-based Research Consortium Database Management System: Advancing Data-driven and Knowledge-based Project Management
针对菲律宾CLAARRDEC研发活动监测评估难题，开发含数据管理、实时监测双模块的Web数据库系统，提升联盟数据利用效率与协作决策能力，且可推广至其他研究联盟。
2024-11-01 cs.CY cs.DB
Automatic Classification of Text Databases through Query Probing
网络上的许多文本数据库都“隐藏”在搜索界面之后，它们的文档只能通过查询来访问。搜索引擎通常会忽略这种仅用于搜索的数据库的内容。最近，类似Yahoo的目录已经开始手动地将这些数据库组织成用户可以浏览以找到这些有价值的资源的类别。我们提出了一种新的策略来自动分类的搜索只文本数据库。我们的技术首先训练一个基于规则的文档分类器，然后使用分类器的规则来生成探测查询。查询被发送到文本数据库，然后根据它们为每个查询产生的匹配数量对文本数据库进行分类。我们报告了一些初步的探索性实验表明，我们的方法是有希望的，以自动特征的文本数据库在网络上访问的内容。
2000-03-09 cs.DB cs.IR
Query Interface Integrator For Domain Specific Hidden Web
当今的网络域名准入主要依靠搜索引擎。大量的数据隐藏在数据库背后的搜索接口被称为隐藏的网络，这需要被索引，以便为用户查询。本文将数据库和数据采掘技术用于查询接口集成。查询界面必须尽可能地类似于本地界面的外观和感觉，尽管它是在没有人工支持的情况下自动生成的。这种技术将相关文档保持在相同的域中，使得文档的搜索在时间复杂度方面变得更有效。
2013-11-16 cs.DB cs.IR
Development of Semantic Web-based Imaging Database for Biological Morphome
RIKEN Center for Life Science Technologies (CLST)（日本理化学研究所生命科学技术中心）；RIKEN CLST-JEOL Collaboration Center（日本理化学研究所CLST-JEOL合作中心）；RIKEN Compass to Healthy Life Research Complex Program（日本理化学研究所健康生活研究综合体指南项目）；RIKEN BioResource Center (BRC)（日本理化学研究所生物资源中心）；Advanced Center for Computing and Communication (ACCC), RIKEN（日本理化学研究所高级计算与通信中心）
我们介绍了RIKEN显微结构成像元数据库，一个基于语义网络的成像数据库，其中图像元数据使用资源描述框架（RDF）描述，在图像中观察到的详细生物学特性可以表示为链接的开放数据。元数据被用来开发一个大规模的成像查看器，提供了一个简单的图形用户界面，以可视化一个大的微观结构平铺图像在千兆字节的水平。我们应用该数据库来积累由自动扫描电子显微镜产生的全面的显微结构成像数据。因此，我们成功地管理了大量的图像及其元数据，包括对亚细胞成分和图像中捕获的生物样品中发生的形态表型的解释。我们还讨论了先进的利用形态学成像数据，可以促进这个数据库。
2021-10-20 cs.AI cs.CV cs.DB
SODIUM: From Open Web Data to Queryable Databases
UIUC（伊利诺伊大学香槟分校）
研究针对需要整合多源网络数据的分析问题，提出SODIUM任务，通过系统化构建潜在数据库支持查询。开发SODIUM-Agent系统，采用ATP-BFS算法实现深度网络探索与结构化信息提取，准确率达91.1%。
2026-03-19 cs.AI cs.CL cs.CV
