RAG / 检索增强生成

Scalable and Reliable Evaluation of AI Knowledge Retrieval Systems: RIKER and the Coherent Simulated Universe

可扩展且可靠的AI知识检索系统评估：RIKER和一致性模拟宇宙

JV Roig

机构 * Kamiwaza AI 纠错

专题命中 RAG评测 ：knowledge retrieval(title)；RAG(abstract)；分类 cs.CL、cs.AI

AI总结 RIKER通过生成文档而非提取地面真实，提供了一种可扩展且抗污染的AI知识检索系统评估方法，揭示了上下文长度、跨文档聚合和事实基础能力等关键问题。

Comments 26 pages, 17 tables, 1 figure

A Generalizable Framework for Building Executable Domain-Specific LLMs under Data Scarcity: Demonstration on Semiconductor TCAD Simulation

在数据稀缺条件下构建可执行领域特定大语言模型的通用框架：以半导体TCAD仿真为例

Di Wang, Zhenhua Wu, Yu Liu, Kai Chang, Shaohua Wu

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)

AI总结 本文提出一种通用框架，在数据稀缺条件下构建可执行的领域特定大语言模型，通过生成合成数据和代码优化流程，实现领域知识灌输和脚本可执行性提升。

Comments Submitted to Nature Computational Science

SagaScale: A Realistic, Scalable, and High-Quality Long-Context Benchmark Built from Full-Length Novels

SagaScale: 一种真实、可扩展且高质量的长上下文基准，基于完整小说构建

Guancheng Du, Yong Hu, Wenqing Wang, Yaming Yang, Jiaheng Gao

专题命中 RAG评测 ：RAG(abstract)；分类 cs.CL、cs.AI

AI总结 SagaScale基于完整小说构建，提供长上下文基准，通过自动化数据收集管道，评估12个LLMs和三种方法，揭示LLM在长上下文处理中的表现差异及Agentic RAG的改进效果。