CTIConnect: A Benchmark for Retrieval-Augmented LLMs over Heterogeneous Cyber Threat Intelligence
CTIConnect:一种用于异构网络威胁情报的检索增强大语言模型基准
机构 * Virginia Tech Department of Computer Science(弗吉尼亚理工大学计算机科学系) ; University of California, Berkeley Department of Computer Science(加州大学伯克利分校计算机科学系)
AI总结 本文提出CTIConnect基准,用于评估检索增强型大语言模型在网络威胁情报任务中的表现,通过整合五个异构数据源构建了1860个专家验证的问答对,揭示了不同任务类别中跨源语义差距的差异以及检索策略和性能瓶颈的变化,展示了领域特定策略在提升性能上的优势。
Comments Accepted to KDD 2026