StruBERT: Structure-aware BERT for Table Search and Matching
大量信息存储在数据表中。用户可以使用基于关键字的查询来搜索数据表。表主要由按行和列组织的数据值组成,提供隐式结构信息。表格通常附带次要信息,如标题、页面标题等,形成文本信息。理解文本信息和结构信息之间的联系是表格检索中一个重要但被忽视的方面,因为以前的方法独立地处理每个信息源。此外,用户还可以搜索与现有表相似的数据表,此设置可视为基于内容的表检索。在本文中,我们提出了Stru BERT,一个结构感知的BERT模型,融合了数据表的文本和结构信息,为数据表的文本和表格内容生成上下文感知的表示。StruBERT功能集成在一个新的端到端神经排名模型中,以解决三个与表相关的下游任务:基于关键字和内容的表检索以及表相似性。我们使用三个数据集来评估我们的方法,并且我们证明了在检索和分类指标方面比最先进的方法有了实质性的改进。
2022-03-27 cs.IR
Simulating Users in Interactive Web Table Retrieval
本研究提出基于Doc2Query的交互式查询重构策略模拟Web表格检索会话,结合用户认知状态,通过多视角评估揭示查询策略与模态对用户有效性的影响。
2023-10-18 cs.IR
AutoPK: Leveraging LLMs and a Hybrid Similarity Metric for Advanced Retrieval of Pharmacokinetic Data from Complex Tables and Documents
Kansas State University(堪萨斯州立大学);University of California-Davis(加利福尼亚大学戴维斯分校)
AutoPK通过大语言模型和混合相似性度量,实现了从复杂表格和文档中高效提取药代动力学数据,显著提升了精度和召回率,适用于兽医药理学和公共卫生决策。
2026-04-02 cs.AI cs.DB cs.IR
Table Search Using a Deep Contextualized Language Model
Lehigh University(里海大学);Zhuiyi Technology(追一科技)
预训练的上下文语言模型,如BERT,在各种自然语言处理基准测试中取得了令人印象深刻的结果。预训练模型利用多个预训练任务和大规模训练语料库,可以捕捉复杂的句法词语关系。在本文中,我们使用的深度上下文语言模型BERT的特设表检索的任务。我们研究如何编码表内容考虑到BERT的表结构和输入长度限制。我们还提出了一种方法,结合了以前的文献表检索的功能,并共同训练他们与BERT。在公共数据集上的实验中,我们证明了我们的最佳方法可以在不同的评估指标下以较大的幅度优于以前的最先进的方法和BERT基线。
2020-05-26 cs.CL cs.IR cs.LG
Fast Cosine Similarity Search in Binary Space with Angular Multi-index Hashing
University of Waterloo(滑铁卢大学)
给定一个大的数据集的二进制代码和一个二进制查询点,我们解决如何有效地找到$K$代码的数据集,产生最大的余弦相似的查询。这个问题的直接答案是将查询与数据集中的所有项进行比较,但这只适用于小数据集。一种增强搜索时间并实现次线性成本的潜在解决方案是使用填充有数据集的二进制代码的哈希表,然后查找查询的附近桶以检索最近的邻居。然而,如果代码在余弦相似性而不是汉明距离方面进行比较,则主要问题是要探测的桶的顺序不明显。为了研究这个问题,我们首先详细说明汉明距离和余弦相似性之间的联系。这样做允许我们系统地在哈希表中找到探测序列。然而,用单个表解决最近邻搜索仅对短二进制码是实用的。为了解决这个问题,我们提出了角度多索引哈希搜索算法,它依赖于建立多个哈希表的二进制代码子串。所提出的搜索算法解决了精确的角度$K$最近邻问题的时间,往往是数量级快于线性扫描基线,甚至近似方法。
2018-04-18 cs.DB cs.DS cs.IR
Table2Vec: Neural Word and Entity Embeddings for Table Population and Retrieval
University of Stavanger(斯塔万格大学)
表格以结构化的形式包含有价值的知识。我们采用神经语言建模方法将表格数据嵌入向量空间。具体来说,我们考虑不同的表元素,如标题、列标题和单元格,用于训练单词和实体嵌入。这些嵌入,然后利用在三个特定的表相关的任务,行人口,列人口和表检索,通过将它们纳入现有的检索模型作为额外的语义相似性信号。评估结果表明,表嵌入可以显着提高最先进的基线的性能。
2019-05-31 cs.CL cs.IR cs.LG
Beyond String Matching: Semantic Evaluation of PDF Table Extraction
Institute for Machine Learning and Analytics (IMLA)(机器学习与分析研究所);Offenburg University(奥芬堡大学);University of Mannheim(曼海姆大学)
提出基于LLM-as-a-judge的语义评估框架,通过合成PDF和人工验证,显著优于现有规则指标(TEDS、GriTS),并评估了21种PDF解析器。
2026-06-01 cs.AI cs.CV cs.IR
Diversed Model Discovery via Structured Table Discovery
University of Waterloo(滑铁卢大学)
本文提出了一种基于结构化表格发现的模型搜索框架,旨在通过高质证据进行检索,提升模型推荐的多样性和可比性。
2026-05-21 cs.IR
Open Domain Question Answering Using Web Tables
Microsoft Research(微软研究院);Microsoft (Bing)(微软(必应))
从Web文档中提取的表可以用于直接回答许多Web搜索查询。先前关于使用web表格的问答(QA)的工作集中于事实式查询,即,那些可以用一个短字符串回答的,比如人名或数字。然而,许多使用表可回答的查询本质上是非事实的。在本文中,我们开发了一个开放域的QA方法,使用Web表格,适用于factoid和非factoid查询。我们的关键见解是将查询和表之间基于深度神经网络的语义相似性与量化表在文档中的主导地位以及表中信息质量的特征相结合。我们对现实生活中的网络搜索查询的实验表明,我们的方法显着优于国家的最先进的基线方法。我们的解决方案已在一家大型商业网络搜索引擎的生产环境中使用,并为每月数千万次真实用户查询提供直接答案。
2020-01-10 cs.IR cs.LG
FollowTable: A Benchmark for Instruction-Following Table Retrieval
Southeast University(东南大学);Huawei Noah’s Ark Lab(华为诺亚实验室);Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education(新一代人工智能技术及其交叉应用国家重点实验室(东南大学));Its Interdisciplinary Applications (Southeast University), Ministry of Education(交叉应用(东南大学),教育部)
本文提出了一项新的表格检索任务IFTR,要求模型同时满足主题相关性和细粒度指令约束。通过引入FollowTable基准测试,评估模型在遵循指令方面的表现,发现现有检索模型在处理表格数据时存在系统性偏差。
2026-05-01 cs.CL cs.IR
Retrieve Only Relevant Tables Whether Few or Many: Adaptive Table Retrieval Method
KAIST AI(韩国科学技术院人工智能研究所)
本文提出了一种自适应表格检索方法,根据查询需求调整检索表格数量,通过自适应阈值机制和滑动窗口重排序算法,有效解决传统top-k检索策略的局限性,提升检索和下游任务性能。
2026-04-12 cs.AI cs.CL cs.IR
LANGSAE EDITING: Improving Multilingual Information Retrieval via Post-hoc Language Identity Removal
Department of Computer Science and Engineering, Korea University(韩国大学计算机科学与工程系);School of Software, Soongsil University(顺天大学软件学院)
LANGSAE 编辑通过事后移除语言身份信号,提升多语言信息检索的排名质量和跨语言覆盖性。
2026-01-08 cs.CL cs.IR
Representing Documents and Queries as Sets of Word Embedded Vectors for Information Retrieval
在IR中应用词向量嵌入的一个主要困难是设计一个有效和高效的策略来获得文本的复合单元的表示,例如整个文档(与原子词相比),用于索引和评分文档。而不是争取一个合适的方法来获得一个单一的向量表示的一个大文档的文本,我们的目标是开发一个相似性度量,利用在一个文档和查询中的各个嵌入式词向量之间的相似性。更具体地说,我们将文档和查询表示为词向量集,并使用这些集合之间的相似性度量的标准概念,计算这些集合中每个组成词对之间的相似性。然后,我们利用这种相似性度量结合标准的IR为基础的相似性文档排序。我们最初的实验研究的结果表明,我们提出的方法提高了MAP的$5.77\%$,相比标准的基于文本的语言模型相似性,TREC特设数据集。
2016-06-25 cs.IR
The Tangent Search Engine: Improved Similarity Metrics and Scalability for Math Formula Search
随着世界范围内数据数量和种类的不断增加,Web已经成为数学公式的丰富存储库。这就需要创建一个健壮的、可扩展的数学信息检索系统,用户可以使用单独的公式(按表达式查询)或关键字和公式的组合来搜索数学信息。通常,最能满足用户信息需求的页面包含的表达式只能近似匹配查询公式。对于试图定位或重新找到特定表达式、浏览相似公式或非数学专家的用户,公式的相似性更多地取决于符号的相对位置,而不是深层数学语义。我们提出了最大子树相似性(MSS)度量查询的表达式,产生直观的排名公式的基础上,他们的外观,所表示的类型和符号的相对位置。由于对大型集合中的所有公式应用度量的成本太高,因此我们首先使用元组上的倒排索引检索表达式,该元组对符号对之间的关系进行编码,使用Dice系数对命中进行排名。然后使用MSS对前k个公式进行重新排名。我们的方法在NTCIR-11维基百科公式检索基准上获得了最先进的性能,并且在索引空间和整体检索时间方面都是有效的。其他图形形式的检索系统,包括化学图表,流程图,图形和表格,也可以受益于采用我们的方法。
2015-07-22 cs.IR
ExpertLens: Visualizing Embedding Spaces for Post-Hoc Explainability in MoE Enhanced Retrievers
University of Milano-Bicocca(米兰比可卡大学);Bielefeld University(比勒费尔德大学)
ExpertLens提出一种针对MoE增强密集检索器的事后可解释框架,通过嵌入空间可视化和概念激活向量,揭示专家路由对检索效果的影响,实验验证其能改善嵌入空间结构。
2026-09-09 cs.AI cs.IR
FGTR: Fine-Grained Multi-Table Retrieval via Hierarchical LLM Reasoning
Zhejiang University of Technology(浙江工业大学);University of Aberdeen(阿伯丁大学)
本文提出FGTR,一种基于层次化LLM推理的细粒度多表检索方法,通过识别相关模式元素并检索对应单元格内容,构建与查询匹配的子表,提升检索精度和效率。
2026-03-30 cs.CL cs.IR cs.LG
Improving Robustness of Tabular Retrieval via Representational Stability
Department of Computer Science Rensselaer Polytechnic Institute(罗切斯特理工学院计算机科学系);Department of Computer Science Arizona State University(亚利桑那州立大学计算机科学系);ScaleAI
本文通过表征稳定性方法解决表格检索中不同序列化方式导致的嵌入差异问题,利用中心点平均抑制格式特定变化,提升检索鲁棒性。
2026-04-28 cs.AI cs.CL cs.IR
Representation Learning for Efficient and Effective Similarity Search and Recommendation
如何表示和操作数据对于构建有效和高效的计算解决方案至关重要。一种常见的方法是将数据对象表示为二进制向量,表示为\textit{hash codes},其需要很少的存储,并且通过直接索引到哈希表中或通过在适当空间中的相似性计算来实现有效的相似性搜索。由于散列码的可表达性有限,与实值表示相比,一个核心的开放挑战是如何生成散列码,使用少量的位来很好地捕获语义内容或潜在属性,同时确保散列码以不降低其搜索效率的方式分布。现有技术的方法使用表示学习来生成这样的散列码,集中于神经自动编码器架构,其中通过学习重构散列码的原始输入来将语义编码到散列码中。本论文解决了上述挑战,并作出了一些贡献,表示学习,(一)提高哈希码的有效性,通过更有表现力的表示和更有效的相似性措施比目前的最先进的,即汉明距离,和(ii)提高哈希码的效率,通过学习表示,特别是适合于搜索方法的选择。的贡献进行了经验验证的几个任务相关的相似性搜索和推荐。
2021-09-04 cs.AI cs.CL cs.IR
Leveraging Schema Labels to Enhance Dataset Search
Lehigh University(利哈伊大学)
搜索引擎检索所需数据集的能力对于数据共享和重用非常重要。现有的数据集搜索引擎通常依赖于将查询匹配到数据集描述。然而,用户可能没有足够的先验知识来编写一个查询使用的条款,匹配的描述文本。我们提出了一种新的模式标签生成模型,生成可能的模式标签的基础上数据集表的内容。我们将生成的模式标签到一个混合的排名模型,不仅考虑了查询和数据集元数据之间的相关性,但也查询和生成的模式标签之间的相似性。为了在真实世界的数据集上评估我们的方法,我们专门为数据集检索任务创建了一个新的基准。实验结果表明,与基线方法相比,该方法可以有效地提高数据集检索任务的精度和NDCG分数。我们还测试了一组维基百科表,以表明从模式标签生成的功能可以提高无监督和监督的Web表检索任务。
2020-01-27 cs.CL cs.IR cs.LG