Revisiting Software Engineering Education in the Era of Large Language Models: A Curriculum Adaptation and Academic Integrity Framework
本文提出一个理论框架,分析生成式AI如何改变软件工程能力,并推动教育模式向过程透明度转变,以应对大语言模型时代教育与实践的不匹配问题。
2026-01-18 cs.AI cs.SE
Invasive Context Engineering to Control Large Language Models
McGill University(麦吉尔大学)
本文提出侵入式上下文工程方法,通过在LLM上下文中插入控制句子以提升其安全性,避免长上下文场景下的数据短缺问题。
2025-12-02 cs.AI
Generative Language Models Potential for Requirement Engineering Applications: Insights into Current Strengths and Limitations
Rhineland-Palatinate Technical University of Kaiserslautern-Landau(莱茵兰-普法尔茨州凯撒斯劳滕-兰道技术大学);German Research Center for Artificial Intelligence GmbH(德国人工智能研究中心有限公司)
本文通过4个需求工程基准数据集评估 ChatGPT 与 Gemini,分析专家提示影响,发现二者仅在问答上接近或超过最优方法,其余任务均落后于专用预测器。
2024-12-01 cs.AI cs.SE
Reverse Engineering User Stories from Code using Large Language Models
Queen's University(皇后大学)
本研究探讨了利用大型语言模型从代码中自动逆向生成用户故事,发现提示设计显著影响效果,且小模型在少量示例下可媲美大模型。
2025-09-23 cs.AI cs.SE
Towards Explainable and Language-Agnostic LLMs: Symbolic Reverse Engineering of Language at Scale
Institute for Experiential AI at Northeastern University(东北大学体验人工智能研究院)
针对LLM因亚符号性质导致无法解释的局限,提出在符号环境下对语言进行大规模自下而上的逆向工程,结合符号表示与LLM成功关键,探讨该项目的实现路径。
2023-07-27 cs.AI cs.CL
Towards Automatic Support of Software Model Evolution with Large Language~Models
Siemens AG(西门子股份公司);Saarland University(萨尔大学);HKA Karlsruhe(卡尔斯鲁厄应用技术大学)
针对软件模型演化缺乏自动化辅助的问题,提出利用大语言模型实现模型补全与编辑模式挖掘的方法,经模拟仓库对照实验验证其有效性,为软件模型演化自动化提供了新方向。
2023-12-19 cs.AI cs.SE
APEER: Automatic Prompt Engineering Enhances Large Language Model Reranking
Rutgers University(新泽西罗格斯大学);University of Connecticut(康涅狄格大学)
针对大语言模型重排序依赖人工提示工程、现有自动提示算法适配性不足的问题,提出基于反馈与偏好优化的自动提示算法APEER,实验证明其性能优于现有最先进人工提示,且迁移性更佳。
2025-05-20 cs.AI
Evaluating Large Language Models for Real-World Engineering Tasks
Helmut Schmidt University(海德堡-哈雷大学)
针对现有LLM工程评估依赖简化用例、特设场景的不足,本文构建含100+真实生产工程问题的数据集,评估4款前沿LLM,发现其基础推理较强但抽象推理等能力薄弱。
2025-05-12 cs.AI cs.CL
Context operations to architecture modelling output from large language models and evaluation criteria for their use in systems engineering design
Federal University of Santa Maria(圣玛丽亚联邦大学);Linköping University(林雪平大学)
本文提出一种基于大语言模型的上下文组装框架和评估方法,用于系统架构建模,以加速工程设计并评估模型输出对意图的符合度。
2026-09-10 cs.AI cs.SE cs.SY
Large Language Model-Based Agents for Software Engineering: A Survey
Fudan University(复旦大学);Nanyang Technological University(南洋理工大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文综述了基于大型语言模型的软件工程代理,分析了其应用、挑战及未来方向。
2025-12-03 cs.AI cs.SE
Multi-level Diagnosis and Evaluation for Robust Tabular Feature Engineering with Large Language Models
Computer Science and Engineering Korea University(计算机科学与工程韩国大学)
提出多层次诊断与评估框架,从关键变量、关系和决策边界值三方面考察LLM表格特征工程的鲁棒性,发现其跨数据集差异显著,高质量特征可将少样本预测提升最高10.52%。
2025-09-20 cs.AI cs.LG
Synergy of Large Language Model and Model Driven Engineering for Automated Development of Centralized Vehicular Systems
Technical University of Munich (TUM)(慕尼黑工业大学);School of Computation, Information and Technology (CIT)(计算、信息与技术学院)
本文提出融合 MDE 与 LLM 的汽车软件开发自动化工具原型,将文本需求经 Ecore 建模、OCL 一致性检查后生成代码,并在 CARLA 紧急制动场景中验证。
2024-04-08 cs.AI cs.CL cs.SE
Representation Engineering for Large-Language Models: Survey and Research Challenges
Wisent AI;University of Warwick(华威大学);Amazon Web Services(亚马逊网络服务);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Perplexity;University of Cambridge(剑桥大学);Mila;University of Technology Sydney(悉尼科技大学)
本文综述表示工程,通过对比输入样本检测和编辑高层概念表示,使大型语言模型更可预测、安全且可个性化,并比较了替代方法及未来研究议程。
2025-02-24 cs.AI
Synthline: A Product Line Approach for Synthetic Requirements Engineering Data Generation using Large Language Models
Paris 1 Panthéon–Sorbonne University(巴黎1 Panthéon–Sorbonne大学)
本文提出Synthline产品线方法,利用大语言模型生成合成需求工程数据,实验证明合成数据与真实数据结合可显著提升缺陷识别模型的精确率和召回率,有效缓解数据稀缺问题。
2025-05-06 cs.AI cs.SE
Intelligent Understanding of Large Language Models in Traditional Chinese Medicine Based on Prompt Engineering Framework
提出整合多种预训练模型、模板、分词与文本化方法的 TCM-Prompt 框架,通过提示工程提升 LLM 在疾病分类、证候识别、中药推荐等中医任务上的性能。
2024-10-25 cs.AI cs.CL
Conceptual Engineering Using Large Language Models
University of Amsterdam(阿姆斯特丹大学)
本文提出一种基于大型语言模型的概念工程方法,通过提示实现分类程序,并在Wikidata数据上评估行星和女性的定义,展示了良好性能并有助于识别问题。
2024-11-02 cs.AI cs.CL cs.CY
Automating Structural Engineering Workflows with Large Language Model Agents
University of Alberta(阿尔伯塔大学);Duke University(杜克大学)
本文提出首个用于结构工程的多智能体系统MASSE,通过无需训练的LLM智能体实现核心工作流自动化,将专家工作量从约两小时缩减至几分钟,同时提升可靠性与准确性。
2025-10-13 cs.AI cs.CE cs.CL
Ontology engineering with Large Language Models
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
本研究通过微调GPT-3模型将自然语言自动翻译为描述逻辑以丰富本体,涵盖多种OWL语法约束,并在人工监督下生成公理,最终作为Protégé插件公开发布。
2023-07-31 cs.AI cs.CL
A Survey of Prompt Engineering Methods in Large Language Models for Different NLP Tasks
New York University(纽约大学)
本文综述了44篇研究论文,总结了29个NLP任务上的39种提示工程方法,分类讨论了这些技术在各数据集上的性能、所用LLMs及对应SoTA。
2024-07-24 cs.AI cs.CL
AutoProteinEngine: A Large Language Model Driven Agent Framework for Multimodal AutoML in Protein Engineering
Toursun Synbio(拓臻生物科技);City University of Hong Kong(香港城市大学);Shanghai Jiao Tong University(上海交通大学);Johns Hopkins University(约翰斯·霍普金斯大学)
研究针对生物学家缺乏计算知识难以应用深度学习开展蛋白质工程的问题,提出AutoProteinEngine框架,集成LLMs与AutoML,经两项任务验证其性能优于传统方法,降低了深度学习应用门槛。
2026-08-06 cs.AI q-bio.QM
Integrating Chemistry Knowledge in Large Language Models via Prompt Engineering
Tsinghua University(清华大学);University of Oxford(牛津大学)
本文提出在提示工程中嵌入领域特定知识以提升LLMs在科学领域的性能,构建了涵盖小分子、酶和晶体材料属性的基准数据集,实验证明该方法在准确率、F1等指标上优于传统策略,能有效减少幻觉并提升响应质量。
2024-04-22 cs.AI cs.CL
Prompt Engineering for Healthcare: Methodologies and Applications
School of Computer Science, Northwestern Polytechnical University(西北工业大学计算机学院);School of Automation, Northwestern Polytechnical University(西北工业大学自动化学院);School of Computing, The University of Georgia(佐治亚大学计算学院);Department of Computer Science and Engineering, Lehigh University(利哈伊大学计算机科学与工程系);Department of Radiology, Massachusetts General Hospital and Harvard Medical School(麻省总医院与哈佛医学院放射科);Department of Computer Science and Engineering, The University of Texas at Arlington(德克萨斯大学阿灵顿分校计算机科学与工程系);School of Biomedical Engineering, ShanghaiTech University(上海科技大学生物医学工程学院);Shanghai United Imaging Intelligence Co., Ltd.(上海联影智能医疗科技有限公司);Shanghai Clinical Research and Trial Center(上海临床研究与试验中心);Department of Electronic Engineering, City University of Hong Kong(香港城市大学电子工程系)
本文综述了提示工程在医疗保健自然语言处理领域的最新进展、方法与应用,旨在为研究人员提供资源与桥梁,推动该技术在医疗问答、文本摘要和机器翻译等任务中的应用。
2024-03-23 cs.AI
Towards Goal-oriented Prompt Engineering for Large Language Models: A Survey
Nanyang Technological University(南洋理工大学)
该综述梳理现有提示工程方法,指出拟人化提示设计的局限,提出目标导向提示构建可显著提升LLMs性能,构建五阶段分类框架并提出未来研究方向,凸显该方向的应用潜力。
2024-09-17 cs.AI cs.CL
Evaluating Local Language Model Agents for Data Engineering: An Empirical Software Engineering Study of Mobility Workflows
Lucentia Research(卢森西亚研究);Department of Software and Computing Systems, University of Alicante(阿利坎特大学软件与计算系统系)
本研究通过15项移动性工作流任务基准,评估本地LLM智能体生成可复现数据工程制品的能力,发现工作空间条件可提升通过率,量化90亿参数模型在低内存下表现良好,为工程智能体评估提供可复现方法。
2026-11-13 cs.AI cs.DB cs.LG
A Prompt Engineering Approach and a Knowledge Graph based Framework for Tackling Legal Implications of Large Language Model Answers
University of Liverpool(利物浦大学);Universität Mannheim(曼海姆大学);KU Leuven(鲁汶大学);University of Bari(巴里大学)
针对用户盲目信任大语言模型回答中可能引发法律风险的问题,本文提出提示重工程方法隔离法律问题,并设计基于法律知识图谱的框架自动生成法律引用以增强LLM回复。
2024-10-19 cs.AI
Toward Explaining Large Language Models in Software Engineering Tasks
University of Molise \& Politecnico di Torino Termoli Italy;University of Molise Italy;University of Molise \& Politecnico di Torino;University of Molise
FeatureSHAP为软件工程任务提供首个自动化、模型无关的可解释性框架,通过Shapley值归因模型输出,提升代码生成和总结任务的解释性与准确性。
2025-12-23 cs.AI cs.LG cs.SE
SWE-MERA: A Dynamic Benchmark for Agenticly Evaluating Large Language Models on Software Engineering Tasks
GigaCode;ITMO University(ITMO大学);MWS AI(MWS人工智能);IITU university(IITU大学)
针对现有软件工程基准测试局限性,提出SWE-MERA动态基准测试,通过自动收集GitHub问题及严格验证确保质量,最小化污染风险,利用Aider编码代理评估多个大型语言模型,展示了其强大区分能力及模型性能表现。
2026-07-14 cs.AI cs.CL cs.SE
Exploring the Intersection of Large Language Models and Agent-Based Modeling via Prompt Engineering
School of Information(信息学院);University of California, Berkeley(加州大学伯克利分校)
本文利用受Park等人(2023)启发的提示工程,将LLM用于ABM以模拟复杂人类行为,并构建双智能体谈判与六智能体谋杀之谜游戏两个场景。
2023-08-14 cs.AI cs.MA
Opportunities for Large Language Models and Discourse in Engineering Design
Forschungszentrum Jülich GmbH(于利希研究中心);RWTH Aachen University(亚琛工业大学)
本文提出以话语为核心的工程设计框架,探讨大语言模型等基础模型如何自动化创造性与推理环节,并整合仿真、实验和拓扑优化等步骤。
2023-06-15 cs.AI cs.CE cs.CL
From Concept to Manufacturing: Evaluating Vision-Language Models for Engineering Design
Massachusetts Institute of Technology(麻省理工学院);Technical University of Denmark(丹麦技术大学)
该研究针对大语言模型无法利用工程视觉工件的不足,全面评估GPT-4V、LLaVA 1.6 34B两款视觉语言模型在四大类工程设计任务中的能力与局限,还贡献了含千余条查询的基准数据集,为后续相关评估与应用奠定基础。
2024-12-09 cs.AI cs.CE
PetroBench: A Benchmark for Large Language Models in Petroleum Engineering
School of Petroleum and Natural Gas Engineering, Changzhou University(常州大学石油与天然气工程学院);China University of Petroleum (East China)(中国石油大学(华东))
针对石油工程领域,构建包含1200道题目的标准化题库,评估8种主流大语言模型,发现模型在主观题上表现优于客观题,中国模型在选择题上有优势,国际模型在简答题上略优。
2026-05-27 cs.AI
Autonomous Prompt Engineering in Large Language Models
Erasmus University(伊拉斯姆斯大学);IE University(IE大学)
本研究提出APET工具箱,使GPT-4自主应用提示工程技术,在单词排序和几何形状任务上分别提升4.4%和6.8%,虽在一步将死任务上下降14.8%,但展示了自动化提示优化的潜力,为自主AI系统奠定基础。
2024-06-25 cs.AI cs.CL cs.HC
Clinical Trials Ontology Engineering with Large Language Models
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文提出一种经济高效的方法,利用大语言模型(如GPT3.5、GPT4和Llama3)提取和整合临床试验数据以构建本体,实验表明LLM在时间、成本和质量上均表现出自动化该流程的可行性。
2024-12-18 cs.AI
Developing a Scalable Benchmark for Assessing Large Language Models in Knowledge Graph Engineering
Institute for Applied Informatics(应用信息学研究所);Leipzig University(莱比锡大学)
本文提出了一个可扩展的基准测试框架LLM-KG-Bench,用于评估大型语言模型在知识图谱工程中的性能,涵盖语法修正、事实提取和数据集生成三个挑战,并提供了自动评估与可视化工具。
2023-08-31 cs.AI cs.CL cs.DB
Prompt Engineering and the Effectiveness of Large Language Models in Enhancing Human Productivity
Department of Computer Science(计算机科学系)
本文通过243名受访者调查,研究提示结构与清晰度对LLM输出有效性的影响,发现清晰、结构化且上下文感知的提示能显著提升任务效率,凸显提示工程在最大化生成式AI价值中的关键作用。
2025-08-27 cs.AI cs.HC
Prompt Engineering and Calibration for Zero-Shot Commonsense Reasoning
University of Electronic Science and Technology of China(电子科技大学)
本文在较小语言模型上研究提示工程与校准对零样本常识推理的作用,发现各策略仅对特定模型有利,联合使用效果多为负面。
2023-04-14 cs.AI cs.CL
BuildArena: A Physics-Aligned Interactive Benchmark of LLMs for Engineering Construction
Tian Xia(夏天);Tianrun Gao(高天run);Wenhao Deng(邓文浩);Long Wei(韦龙);Xiaowei Qian(钱小伟);Chenglei Yu(于成磊);Tailin Wu(吴太林)
本研究提出BuildArena,一个首个对齐物理的LLM交互基准,用于语言驱动的工程建造,通过可扩展的任务设计策略和3D空间几何计算库,评估九个前沿LLM在语言驱动和物理基础的自动化建造中的能力。
2026-07-03 cs.AI
Knowledge Graph Modeling-Driven Large Language Model Operating System (LLM OS) for Task Automation in Process Engineering Problem-Solving
TCS Research(塔塔咨询服务公司研究院);IIT–Palakkad(帕拉卡德印度理工学院)
本文提出过程工程操作助手(PEOA)框架,通过元智能体协调动作生成器与专家模型,结合知识图谱建模与师生迁移学习,实现复杂过程工程问题的多步自动化求解与决策支持。
2024-08-23 cs.AI cs.LG
ChaosEater: Fully Automating Chaos Engineering with Large Language Models
NTT Corporation(NTT公司)
针对混沌工程中实验定义与系统改进需人工操作的问题,提出ChaosEater系统,利用大语言模型自动化整个CE周期操作,在Kubernetes系统案例中验证其能以低成本稳定完成周期且获定性认可。
2025-04-16 cs.AI cs.CL cs.DC
Interactive Evaluation of Large Language Models for Multi-Requirement Software Engineering Tasks
针对静态基准的不足,提出基于需求依赖图和面试官提示的交互式评估框架,在DevAI基准上验证,揭示LLM在多需求编程任务中的优势与弱点,强调动态评估的重要性。
2025-08-26 cs.AI
Multilingual Prompt Engineering in Large Language Models: A Survey Across NLP Tasks
New York University, CIMS(纽约大学);Cleveland State University(克利夫兰州立大学)
本文综述多语言提示工程,按任务分类39种提示技术,分析覆盖约250种语言的36篇论文及30项NLP任务,并总结LLM、SoTA方法与跨语系资源差异。
2025-05-16 cs.AI cs.CL cs.LG
A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications
Indian Institute of Technology Patna(印度理工学院巴特那分校);Stanford University(斯坦福大学);Amazon AI(亚马逊人工智能)
本文系统综述LLM与VLM提示工程技术,按应用梳理方法、模型、数据集、优劣及分类,以厘清进展、挑战与未来方向。
2025-03-16 cs.AI cs.CL cs.HC
Wordflow: Social Prompt Engineering for Large Language Models
Georgia Tech(佐治亚理工学院)
针对非专业人士难以开展提示工程的问题,研究提出社会化提示工程范式,并开发开源社会化文本编辑器Wordflow,支持普通用户协作设计、分享提示词及本地私密运行大语言模型,助力提升非专业用户与大语言模型的交互体验。
2024-01-25 cs.AI cs.CL cs.HC
Prompt Engineering Techniques for Mitigating Cultural Bias Against Arabs and Muslims in Large Language Models: A Systematic Review
本系统综述遵循PRISMA与Kitchenham方法,分析8项2021-2024年的实证研究,梳理5类缓解大模型针对阿拉伯人和穆斯林文化偏见的提示工程方法,验证其效果差异并指出未来研究方向。
2025-07-30 cs.AI cs.CL cs.CY
Large Language Models in Fire Engineering: An Examination of Technical Questions Against Domain Knowledge
Clemson University(克莱姆森大学);The Hong Kong Polytechnic University(香港理工大学);York University(约克大学)
本研究对比了ChatGPT与Bard两款大语言模型在消防工程领域的问答表现,发现ChatGPT性能更优,指出该类技术有望革新消防工程实践与教育,同时明确了后续改进方向。
2024-03-04 cs.AI cs.CL cs.LG
EngiBench: A Benchmark for Evaluating Large Language Models on Engineering Problem Solving
Nanyang Technological University(南洋理工大学);The University of Sydney(悉尼大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Loop Area Institute(深圳河套学院);The University of Hong Kong(香港大学);Hong Kong Polytechnic University(香港理工大学);AIRS
EngiBench是一个分层基准,用于评估大型语言模型在解决工程问题上的能力,涵盖基础知识检索、情境推理和开放性建模三个层次,揭示当前LLM在现实工程中仍缺乏高级推理能力。
2026-05-02 cs.AI
Adversarial Representation Engineering: A General Model Editing Framework for Large Language Models
Peking University(北京大学);Singapore Management University(新加坡管理大学)
针对大语言模型内部机制理解与修正的需求,该研究提出对抗表征工程(ARE)框架,以表征传感器为编辑预言机,实现统一可解释的概念性模型编辑且不损基准性能,多任务实验验证其有效性。
2024-11-01 cs.AI cs.CL cs.CR
When Life gives you LLMs, make LLM-ADE: Large Language Models with Adaptive Data Engineering
IRAI Labs(IRAI实验室)
本文提出LLM-ADE框架,通过动态架构调整(选择性块冻结与扩展)实现大语言模型持续预训练,解决灾难性遗忘与双下降问题,在TinyLlama上显著提升性能。
2024-04-19 cs.AI cs.CE
DesignQA: A Multimodal Benchmark for Evaluating Large Language Models' Understanding of Engineering Documentation
Massachusetts Institute of Technology(麻省理工学院);Autodesk Research(欧特克研究中心);MIT Motorsports(麻省理工学院赛车队)
本文提出DesignQA基准,通过源自Formula SAE的多模态工程文档数据评估GPT-4o等MLLMs在规则理解、合规与提取方面的能力,揭示了现有模型在检索规则、识别CAD组件及分析工程图纸上的不足,为AI辅助工程设计奠定基础。
2024-08-23 cs.AI cs.CL
Benchmarking the Capabilities of Large Language Models in Transportation System Engineering: Accuracy, Consistency, and Reasoning Behaviors
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California San Diego(加利福尼亚大学圣迭戈分校)
该研究构建涵盖多类交通工程问题的TransportBench基准,评估多款前沿LLM解答本科级交通工程问题的准确性、一致性与推理行为,揭示各模型优劣,为通用人工智能应用于交通领域迈出第一步。
2024-08-15 cs.AI cs.CL cs.LG
SeeMe: Mitigating Hallucinations in Large Vision-Language Models through Effective Visual Token Engineering
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University(北京大学计算机科学学院多媒体信息处理国家重点实验室);University of Pennsylvania(宾夕法尼亚大学);University of Electronic Science and Technology of China(电子科技大学);Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));De Artificial Intelligence Lab(德人工智能实验室)
研究大型视觉语言模型易产生幻觉问题,提出无训练框架SeeMe,引入传统机器学习特征工程概念,经三阶段令牌工程重组视觉令牌抑制幻觉源,实验证明其能减轻幻觉并提高输出一致性。
2026-07-07 cs.AI cs.CV
Large Language Model Agent for Structural Drawing Generation Using ReAct Prompt Engineering and Retrieval Augmented Generation
Lyles School of Civil and Construction Engineering(莱尔斯土木与建设工程学院);Purdue University(普渡大学);School of Mechanical Engineering(机械工程学院)
本文提出结合 ReAct 提示工程、RAG 与 LLM 智能体的结构图纸生成方法,可将自然语言描述转换为 AutoCAD 图纸,降低人工绘图负担。
2025-07-26 cs.AI cs.LG
FeRG-LLM : Feature Engineering by Reason Generation Large Language Models
Korea University(高丽大学);SK Telecom(SK电信)
提出FeRG-LLM,一种80亿参数的大语言模型,通过两阶段对话微调与DPO优化自动进行表格数据特征工程,性能媲美Llama 3.1 70B且资源消耗更低,支持本地部署。
2025-03-30 cs.AI cs.CL
Black-Box Visual Prompt Engineering for Mitigating Object Hallucination in Large Vision Language Models
Amazon AWS AI(亚马逊云科技人工智能部门);KAIST(韩国科学技术院)
针对大型视觉语言模型的物体幻觉问题,提出黑盒视觉提示工程框架,通过训练路由器模型动态选择最优视觉提示,无需访问模型内部即可有效缓解幻觉。
2025-04-30 cs.AI cs.CL cs.CV