面向大语言模型架构建模输出的上下文操作及其在系统工程设计中使用的评估标准
Context operations to architecture modelling output from large language models and evaluation criteria for their use in systems engineering design
- Federal University of Santa Maria（圣玛丽亚联邦大学）
- Linköping University（林雪平大学）
机构由 AI 辅助整理，请以论文原文为准。
AI总结：
本文提出一种基于大语言模型的上下文组装框架和评估方法，用于系统架构建模，以加速工程设计并评估模型输出对意图的符合度。
AI中文摘要：
生成式人工智能资源的发展为加速系统和工程设计工作提供了机遇。本文提出了一种在基于大语言模型的工程设计中组装上下文的正式操作框架。该框架涉及模块化上下文单元的组装，包括策略提示、具有持久性的参考单元以及带有提示向量的用户问题。这种方法能够对与生成模型的交互进行系统性结构化。本文还提出了一种用于评估建模即代码的大语言模型输出的正式方法，该方法能够评估大语言模型回答对意图的符合程度，从而评估大语言模型对系统架构建模的支持程度。
英文摘要：
The development of generative artificial intelligence resources enables opportunities of speeding up systems and engineering design work. This contribution introduces a framework of formal operations for assembling context in LLM-based engineering design. This framework involves the assembly of modular context units, including policy prompts, reference units with persistence, and user questions with prompt vectoring. This approach enables the systematic structuring of interactions with generative models. A formal method for evaluating modelling-as-code LLM outputs is also presented, which enables the evaluation of compliance to intent from LLM answers and thereby asses the support from LLMs for systems architecture modelling.
