RAG / 检索增强生成

The Instruction Gap: LLMs get lost in Following Instruction

指令鸿沟：LLMs在遵循指令时迷失

Vishesh Tripathi, Uday Allu, Biddwan Ahmed

机构 * Vishesh Tripathi ； Uday Allu ； Biddwan Ahmed 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.CL、cs.AI

AI总结 本研究揭示了LLMs在企业部署中遵循指令的不足，通过评估13种模型发现Claude-Sonnet-4和GPT-5表现最佳，指出指令遵循能力的鸿沟及改进方向。

Better Call CLAUSE: A Discrepancy Benchmark for Auditing LLMs Legal Reasoning Capabilities

更好的CLAUSE：用于审计LLM法律推理能力的差异基准

Manan Roy Choudhury, Adithya Chandramouli, Mannan Anand, Vivek Gupta

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.AI

AI总结 CLAUSE是一个用于评估LLM法律推理能力的基准，通过生成现实扰动合同检测细微法律错误，揭示LLM在识别和解释法律缺陷方面的不足。

Comments 42 pages, 4 images

ELAIPBench: A Benchmark for Expert-Level Artificial Intelligence Paper Understanding

ELAIPBench: 一个用于专家级人工智能论文理解的基准

Xinbang Dai, Huikang Hu, Yongrui Chen, Jiaqi Li, Rihui Jin, Yuyang Zhang, Xiaoguang Li, Lifeng Shang, Guilin Qi

机构 * Southeast University（东南大学） ； Noah’s Ark Lab（诺亚实验室） 纠错

专题命中 RAG评测 ：retrieval-augmented generation(abstract)；RAG(abstract)；分类 cs.AI

AI总结 ELAIPBench通过专家编纂的多选题评估LLM对AI论文的理解能力，发现最佳模型准确率仅为39.95%，远低于人类，揭示了LLM在学术论文理解上的显著不足。

Comments 24 pages, 21 figures