An Agentic Approach to Metadata Reasoning
Google(谷歌)
本文提出元数据推理代理,通过检索候选表和自主咨询元数据,有效筛选数据源。在KramaBench和合成基准测试中,其在数据选择和避免低质量数据方面表现优异。
2026-10-23 cs.DB
Open Government Data Corpus for Table Search
针对现有表格搜索基准仅覆盖展示用表格、不适配大规模数据表的问题,研究者利用政府开放数据元数据构建首个大规模数据表搜索基准数据集,定义三类表关联搜索模式,支持关键词搜索基准构建,并给出传统与神经方法的基线结果。
2023-08-24 cs.DB
Reliable Curation of EHR Dataset via Large Language Models under Environmental Constraints
Duke University(杜克大学)
CELEC通过环境约束下的大型语言模型可靠地整理EHR数据集,提升数据提取和分析的准确性和隐私保护。
2026-02-12 cs.DB cs.LG stat.AP
Column2Vec: Structural Understanding via Distributed Representations of Database Schemas
Rochester Institute of Technology(罗切斯特理工学院)
我们提出了Column2Vec,一个基于列元数据的数据库列的分布式表示。我们的分布式表示有几个应用程序。使用列组的已知名称(即,表名),我们训练模型为未命名表中的列生成适当的名称。我们使用从GitHub上的开源应用程序收集的模式信息来证明我们的方法的可行性。
2019-03-20 cs.DB cs.LG
A large-scale corpus of religious radio broadcast transcripts from webstream recordings in the United States
Pew Research Center(皮尤研究中心)
本研究构建了2025年7月美国宗教广播网络流录音的大规模文字转写语料库,可用于宗教传播、社会议题分析及语音处理等相关领域研究。
2026-07-30 cs.CL cs.CY cs.SD
Zero-Shot Entity Linking by Reading Entity Descriptions
University of Michigan(密歇根大学);Google Research(谷歌研究院)
我们提出了zero-shot实体链接任务,其中提到必须链接到看不见的实体,没有在域标记的数据。其目标是实现到高度专业化的域的健壮传输,因此不需要假设元数据或别名表。在这种情况下,实体只能通过文本描述来识别,模型必须严格依赖于语言理解来解析新的实体。首先,我们证明了在大型未标记数据上预训练的强阅读理解模型可以用于推广到看不见的实体。其次,我们提出了一种简单有效的自适应预训练策略,我们称之为域自适应预训练(DAP),以解决与在新域中连接未知实体相关的域转移问题。我们在为此任务构建的新数据集上进行了实验,并表明DAP在强预训练基线(包括BERT)上有所改进。数据和代码可在https://github.com/lajanugen/zeshel上获得。
2019-06-18 cs.CL cs.LG
Humboldt: Metadata-Driven Extensible Data Discovery
Humboldt框架通过解耦元数据源与UI实现,基于声明性规范自动生成交互式数据发现界面,解决元数据更新导致UI重复开发的问题,提升可扩展性。
2024-08-20 cs.DB cs.HC
Scalable Source Selection for Machine Learning Tasks
Purdue University(普渡大学)
针对机器学习任务数据源选择中现有研究忽略源质量的问题,提出受基因剪接启发的SourceSplice等框架,实验证明其能以更少的子集探索找到高任务效用的数据源子集。
2026-11-05 cs.AI cs.DB cs.LG
TabEAno: Table to Knowledge Graph Entity Annotation
National Institute of Informatics(日本国立信息学研究所);National Institute of Advanced Industrial Science and Technology(日本国立先进工业科学技术研究所)
在开放数据时代,大量的表资源已经在Web和数据门户上可用。然而,由于实体的模糊性、名称变化、异构模式、缺失或不完整的元数据,很难直接利用这些数据。为了解决这些问题,我们提出了一种新的方法,即TabEAno,语义注释表行对知识图谱实体。具体来说,我们引入了一个“两个细胞”的查找策略的基础上,有一个现有的逻辑关系发生在知识图谱之间的两个封闭的细胞在同一行的表之间的假设。尽管该方法简单,但TabEAno在两个标准数据集(例如T2D,Limaye)和大规模维基百科表格数据集中的性能优于最先进的方法。
2020-10-05 cs.AI cs.DB
Prompt as a Data Type: In-Database LLM Prompt Management and Rewriting
Department of Computing and Mathematics University of Sao Paulo(计算机与数学系 乌拉圭圣保罗大学);Department of Information Systems University of Münster(信息系统系 梅茵斯特大学)
研究如何在数据库中管理和重写大语言模型提示。核心方法是引入PromptDB系统,将提示视为元组级数据库值,利用数据库元数据重写提示。主要贡献是创造新优化空间,经实验验证数据库引导重写可提高输出有效性并权衡成本质量。
2026-07-27 cs.DB cs.LG
TEMPLAR Wales: A georeferenced environmental and toponymic dataset of Welsh settlements
Cardiff University(卡迪夫大学);Turkish Air Force Academy, National Defence University(土耳其空军学院,国防大学)
TEMPLAR Wales是含3757条威尔士定居点记录的地理参考环境-地名数据集,关联定居点框架与词汇、环境属性,经技术验证,为多领域研究提供可复用基础。
2026-08-28 cs.CL cs.LG
Efficient and Effective Table-Centric Table Union Search in Data Lakes
Hong Kong Polytechnic University(香港理工大学);The University of Hong Kong(香港大学)
本文提出TACTUS方法,通过表级语义建模和表优先搜索策略,提升数据湖中表联合搜索的效率与效果。
2026-03-18 cs.DB
MLSkip: Data Skipping for ML Filters via Lightweight Metadata
University of Technology Nuremberg(图恩堡技术大学);Hasselt University(哈塞尔特大学);Technical University of Munich(慕尼黑技术大学)
针对ML过滤器无法应用传统数据跳过技术的问题,提出利用Parquet默认的min-max元数据以及增强的二维凸包元数据结构,实现高效的谓词剪枝,平均剪枝效果达38.31%。
2026-09-24 cs.DB cs.LG cs.LO
SANTOS: Relationship-based Semantic Table Union Search
用于可联合表搜索的现有技术使用元数据(表必须具有相同或相似的模式)或基于列的度量(例如,表中的值应该从相同的域中提取)来定义可联合性。在这项工作中,我们介绍了使用表中的列对之间的语义关系,以提高联合搜索的准确性。因此,我们引入了一个新的概念unionability考虑列之间的关系,连同列的语义,在原则上的方式。为此,我们提出了两种新的方法来发现列对之间的语义关系。第一个使用现有的知识库(KB),第二个(我们称之为“合成KB”)使用来自数据湖本身的知识。我们采用了现有的Table Union Search基准,并提出了代表小型和大型真实数据湖的新(开放)基准。我们表明,我们的新unionability搜索算法,称为SANTOS,优于国家的最先进的工会搜索,使用各种各样的基于列的语义,包括词嵌入和正则表达式。我们的经验表明,我们的合成KB提高了联盟搜索的准确性,表示关系语义,可能不包含在一个可用的KB。这一结果暗示了从具有有限KB覆盖率的数据湖创建合成KB并将其用于联合搜索的前景。
2022-09-27 cs.DB
Disentangling Structure and Semantics: How Schema Representation Affects LLM-Based SQL Generation
The University of Western Australia(西澳大学)
本文通过6×3析因实验发现,基于LLM的文本转SQL中,语义线索对性能的影响大于结构线索,有意义的标识符可弥补结构缺失,而丰富结构元数据无法改善名称不明确的情况。
2026-08-24 cs.DB
EasyTUS: A Comprehensive Framework for Fast and Accurate Table Union Search across Data Lakes
RPTU Kaiserslautern-Landau(莱茵兰-普法尔茨技术大学凯泽斯劳滕-兰道校区)
本文提出 EasyTUS 框架,利用大型语言模型通过表序列化、表表示和向量搜索三步实现跨数据湖的高效表并集搜索,并引入 TUSBench 基准,实验证明其在 MAP、数据准备和查询处理速度上均显著优于现有方法。
2025-11-04 cs.DB
ModelTables: A Corpus of Tables about Models
University of Waterloo(滑铁卢大学);University Waterloo(滑铁卢大学)
ModelTables是一个大规模结构化数据基准,用于评估模型和表格的相关性,通过表格搜索展示了改进语义检索和结构化知识组织的潜力。
2025-12-18 cs.AI cs.DB cs.IR
LakeVilla: A Modular and Non-Invasive Toolbox for Lakehouse Transactions
Technical University of Munich(慕尼黑工业大学);SAP SE(SAP公司)
LakeVilla是一个模块化、非侵入式工具箱,为Apache Iceberg和Delta Lake等开放表格式提供恢复、复杂事务和隔离,性能影响极小。
2025-10-17 cs.DB
TARGET: Benchmarking Table Retrieval for Generative Tasks
UC Berkeley(伯克利大学);Capital One(Capital One公司);CWI(荷兰代尔夫特理工大学)
针对生成式任务中合适表格检索的核心问题,提出表格检索基准TARGET,评估不同检索器性能及对下游任务影响,发现稠密嵌入检索器优于BM25,且检索性能受元数据、数据集和任务影响差异显著。
2025-05-14 cs.AI cs.CL cs.DB
Fuzzy Integration of Data Lake Tables
针对开放数据场景下等值全析取集成效果受限的问题,提出支持模糊匹配的扩展全析取方法,通过数据驱动方式实现近似连接,在不显著增加时间开销的同时提升了数据集集成效果。
2025-01-16 cs.DB cs.IR
AutoComp: Automated Data Compaction for Log-Structured Tables in Data Lakes
本文提出 AutoComp,一个面向现代数据湖的可扩展自动数据压缩框架,通过分析小文件激增的运营影响并集成 OpenHouse 控制平面,显著降低了文件数量并提升了查询性能,为未来多目标优化与数据布局优化提供了坚实基础。
2025-04-05 cs.DB
AMIDER: A Multidisciplinary Research Database and Its Application to Promote Open Science
AMIDER是一个多学科研究数据目录,通过提供统一元数据管理和可视化等高级功能,促进跨学科数据共享与开放科学,目前已在极地科学领域注册超15,000条元数据。
2025-01-29 cs.DB
HCT-QA: A Benchmark for Question Answering on Human-Centric Tables
Meta
HCT-QA提出了一种用于人类中心表格问答的基准测试,包含大量真实和合成表格数据及对应的问答对,旨在评估和比较基于LLM和VLM的查询性能。
2026-03-05 cs.AI cs.DB cs.IR
SCULPT: A Schema Language for Tabular Data on the Web
最近的工作努力的启发,由万维网联盟(W3C)的建议,在Web上的表格数据和元数据,我们在本文中提出了一个概念,表格Web数据的模式语言称为SCULPT。该语言由约束和定义表中区域结构的规则组成。这些区域是通过区域选择表达式的新形式定义的。给出了SCULPT算法的形式化模型,并给出了一个线性时间组合复杂度评估算法。此外,我们认为弱和强流SCULPT的评价,并提出了一个片段,这些流的变种。最后,我们讨论了几个扩展SCULPT包括替代语义,类型,复杂的内容,并探讨区域选择表达式作为转换语言的基础。
2014-11-11 cs.DB
Semantic SQL -- Combining and optimizing semantic predicates in SQL
本文提出 SSQL 框架,将语义查询与 SQL 中基于 ML 结果和元数据的结构化谓词相结合并联合优化,同时通过人工反馈确定相似度阈值。
2024-04-05 cs.DB
OmniMatch: Effective Self-Supervised Any-Join Discovery in Tabular Data Repositories
针对元数据缺失下表格列连接发现的难题,提出结合列对相似性度量与GNN的OmniMatch技术,利用图传递性提升召回率,自动化负例生成提高精确率,在F1和AUC上较现有方法提升最高达14%,无需依赖元数据与用户设定阈值。
2024-03-12 cs.DB
Synthetic SQL Column Descriptions and Their Impact on Text-to-SQL Performance
Linköping University(林雪平大学)
本研究利用LLM自动生成SQL列描述,基于BIRD-Bench构建数据集并评估多种模型,发现生成描述能提升text-to-SQL性能,尤其对大型模型有效,且更详细的元数据优于人工金标准。
2024-11-05 cs.AI cs.CL cs.DB
Filtered Vector Search in a Disaggregated Lakehouse: Composing Table-Format Pruning with Per-File ANN
IBM Research(IBM研究院)
本文提出在基于Apache Iceberg和Parquet的湖仓中,通过组合现有文件剪枝与逐文件IVF索引实现过滤向量搜索,在特定条件下可使ANN搜索速度提升数十倍。
2026-08-07 cs.DB cs.DC cs.ET
Relational Transformer: Toward Zero-Shot Foundation Models for Relational Data
Stanford University(斯坦福大学);Kumo AI;University of Oxford(牛津大学);SAP Labs LLC(SAP实验室有限责任公司)
关系变换器通过零样本迁移能力,为关系数据提供高效的基础模型解决方案。
2026-03-02 cs.AI cs.DB cs.LG
Less Is More? When Dataset Context Hurts LLM-Generated Dataset Descriptions
Technical University of Munich(慕尼黑工业大学);King’s College London(伦敦国王学院)
通过大规模消融实验,研究不同数据集上下文(标题、模式、代表性数据)对LLM生成数据集描述质量的影响,发现模式单独使用会降低叙事质量,而代表性数据部分改善但未提升整体面向人类的质量。
2026-06-01 cs.DB