arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2602.02752cs.SE
收藏

超越提示：评估领域知识策略在软件工程高维LLM优化中的应用

Beyond the Prompt: Assessing Domain Knowledge Strategies for High-Dimensional LLM Optimization in Software Engineering

North Carolina State University（北卡罗来纳州立大学）

Srinath Srinivasan, Tim Menzies

备注：
Accepted at MSR 2026 (Registered Reports Track)
阅读 PDF
arXiv 页面 ↗HTML 原文 ↗

AI总结：

本研究比较了人类与人工智能策略在生成领域知识方面的效果，通过四种不同架构评估如何利用结构化知识整合提升LLM在高维优化中的表现。

摘要：

背景/情境：大型语言模型（LLMs）在低维软件工程优化任务（≤11个特征）上表现出色，但在高维问题中却持续表现不佳，而贝叶斯方法在此方面占据主导地位。在理解如何系统整合领域知识（无论是来自人类还是自动推理）以弥合这一差距方面存在根本性的空白。目标/目的：我们比较了人类与人工智能策略在生成领域知识方面的表现。我们系统地评估了四种不同的架构，以确定结构化知识整合是否能帮助LLM生成有效的高维优化预热起点。方法：我们在按维度划分的MOOT数据集上评估了四种方法：（1）人机协同领域知识提示（H-DKP），利用异步专家反馈循环；（2）自适应多阶段提示（AMP），实现顺序约束识别和验证；（3）维度感知逐步细化（DAPR），在逐步扩大的特征子空间中进行优化；（4）混合知识-模型方法（HKMA），将统计勘探（TPE）与增强提示的RAG结合。性能通过Chebyshev距离到最优解的量化以及通过Scott-Knott聚类与已建立的LLM生成预热起点的基准进行排名。需要注意的是，本研究中进行的所有人类研究都将符合我们本地机构审查委员会的政策。

英文摘要：

Background/Context: Large Language Models (LLMs) demonstrate strong performance on low-dimensional software engineering optimization tasks ($\le$11 features) but consistently underperform on high-dimensional problems where Bayesian methods dominate. A fundamental gap exists in understanding how systematic integration of domain knowledge (whether from humans or automated reasoning) can bridge this divide. Objective/Aim: We compare human versus artificial intelligence strategies for generating domain knowledge. We systematically evaluate four distinct architectures to determine if structured knowledge integration enables LLMs to generate effective warm starts for high-dimensional optimization. Method: We evaluate four approaches on MOOT datasets stratified by dimensionality: (1) Human-in-the-Loop Domain Knowledge Prompting (H-DKP), utilizing asynchronous expert feedback loops; (2) Adaptive Multi-Stage Prompting (AMP), implementing sequential constraint identification and validation; (3) Dimension-Aware Progressive Refinement (DAPR), conducting optimization in progressively expanding feature subspaces; and (4) Hybrid Knowledge-Model Approach (HKMA), synthesizing statistical scouting (TPE) with RAG-enhanced prompting. Performance is quantified via Chebyshev distance to optimal solutions and ranked using Scott-Knott clustering against an established baseline for LLM generated warm starts. Note that all human studies conducted as part of this study will comply with the policies of our local Institutional Review Board.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

↑