发表机构
University of Bologna; I Tatti — The Harvard University Center for Italian Renaissance Studies; University of Copenhagen(博洛尼亚大学; 哈佛大学意大利文艺复兴研究中心(I Tatti); 哥本哈根大学)
机构由 AI 辅助整理,请以论文原文为准。AI 中文总结
QRAKEN 提出免训练神经符号流水线,通过离线蒸馏 TTQL 图模式描述引导 LLM 生成 SPARQL,配合确定性检查与自愈循环,在 CK25 基准上显著提升严格 F1,验证经验模式优于模式暴露。
AI 中文摘要
自然语言访问 RDF 知识图谱是语义网的核心目标。大型语言模型(LLMs)推进了 Text-to-SPARQL 技术,但在不熟悉的图谱上,它们常常生成有效但错误表示填充数据模型的查询。QRAKEN 是一个免训练、本体无关的神经符号流水线,将生成基于经验图谱证据而非模式期望。离线蒸馏器产生 TTQL,一种对填充的多跳模式、条件频率和路径条件字面量示例的紧凑描述,外加类-属性共现矩阵。在线时,TTQL 引导 LLM,而确定性语法、词汇和数据模型检查提供迭代精化的诊断。在 CK25(第一届国际 Text2SPARQL 挑战赛)上,在 QLever 快照上的匹配条件重计算下,QRAKEN 使用 GPT-4.1 mini 达到严格 F1 为 0.643 ± 0.026,使用 GPT-5.4 达到 0.652 ± 0.012:相对于最强重计算参与者分别提升 30% 和 32%,优于使用相同基础模型族的系统。消融实验确定 TTQL 模式是主要驱动因素(相对于仅形状基线提升 +0.31 严格 F1);精化循环提供了廉价的安全网,拒绝共现矩阵不支持的三元组模式。与自动派生的 SHACL 相比,TTQL 的严格 F1 高出 64%,支持经验模式超越模式暴露的价值。使用两个本地 35B 4 位开放权重模型,零边际成本,同一流水线匹配最强重计算参与者,且 TTQL 相对于仅形状和 SHACL 基线的优势持续存在。在单个相对较小的基准上的结果提供了初步经验信号;单片式 TTQL 注入到非常开放的跨域图谱上仍是主要局限。
英文摘要
Natural-language access to RDF knowledge graphs is a core Semantic Web ambition. Large language models (LLMs) have advanced Text-to-SPARQL, yet on unfamiliar graphs they often generate valid queries that misrepresent the populated data model. QRAKEN is a training-free, ontology-agnostic neurosymbolic pipeline grounding generation in empirical graph evidence rather than schema expectations. An offline distiller produces TTQL, a compact description of populated multi-hop patterns, conditional frequencies and path-conditioned literal examples, plus a class-property co-occurrence matrix. Online, TTQL guides the LLM, while deterministic syntax, vocabulary and data-model checks provide diagnostics for iterative refinement. On CK25 (First International Text2SPARQL Challenge), under matched-condition recomputation on a QLever snapshot, QRAKEN achieves strict F1 of 0.643 $\pm$ 0.026 with GPT-4.1 mini and 0.652 $\pm$ 0.012 with GPT-5.4: relative gains of 30% and 32% over the strongest recomputed participant, outperforming systems using the same base model family. Ablations identify TTQL patterns as the dominant driver (+0.31 strict F1 over a shape-only baseline); the refinement loop provides a cheap safety net, rejecting triple patterns unsupported by the co-occurrence matrix. Compared with auto-derived SHACL, TTQL yields 64% higher strict F1, supporting the value of empirical patterns beyond schema exposure. With two local 35B 4-bit open-weight models at zero marginal cost, the same pipeline matches the strongest recomputed participant, and TTQL advantages over shape-only and SHACL baselines persist. Results on a single, relatively small benchmark provide an initial empirical signal; monolithic TTQL injection on very open cross-domain graphs remains the main limitation.