Prompt Programming for Cultural Bias and Alignment of Large Language Models
Information Systems and Modeling, Los Alamos National Laboratory(信息系统与建模,洛斯阿拉莫斯国家实验室);Advanced Research in Cyber Systems, Los Alamos National Laboratory(网络安全系统高级研究,洛斯阿拉莫斯国家实验室);Center for National Security and International Studies(国家安全与国际研究中心);Analytics Division, Los Alamos National Laboratory(分析部门,洛斯阿拉莫斯国家实验室)
本文提出通过提示编程优化大型语言模型的文化对齐,利用DSPy框架系统调整治文化偏差,实验表明提示优化优于传统手动提示工程,提升模型响应的可转移性与稳定性。
2026-07-23 cs.AI cs.CL
Comparing large language models and human programmers for generating programming code
Columbia University(哥伦比亚大学);Duke University(杜克大学)
本研究系统评估了七种大型语言模型的代码生成能力,发现GPT-4在多种提示策略、语言和难度下显著优于其他模型,并在编码竞赛中胜过85%的人类参与者,代码效率与人类相当,显示出作为编程助手的潜力。
2024-10-05 cs.AI cs.CL cs.PL
Does Prompt Formatting Have Any Impact on LLM Performance?
Microsoft(微软公司);MIT(麻省理工学院)
本文研究了不同提示词模板(如纯文本、Markdown、JSON、YAML)对LLM性能的影响,发现格式变化可导致GPT-3.5-turbo性能差异达40%,而GPT-4更具鲁棒性,提示需重新考虑固定模板的使用。
2024-11-15 cs.CL cs.LG
Prompting Is Programming: A Query Language for Large Language Models
ETH Zurich(苏黎世联邦理工学院)
本文提出语言模型编程(LMP)思想并实现查询语言 LMQL,将文本提示与脚本和约束结合,在保持或提高下游任务准确率的同时显著降低计算成本。
2023-05-30 cs.AI cs.CL
CSEPrompts: A Benchmark of Introductory Computer Science Prompts
George Mason University(乔治梅森大学);Rochester Institute of Technology(罗切斯特理工学院);Aston University(阿斯顿大学)
本文构建 CSEPrompts 基准,汇集计算机科学入门课程中的编程题与选择题,并通过实验评估多个 LLM 生成 Python 代码及回答基础问题的能力。
2024-04-04 cs.CL
EmoLASP: Emotion Recognition with Language Models and Answer Set Programming
School of Computer Science and Engineering, University of New South Wales(新南威尔士大学计算机科学与工程学院)
EmoLASP结合语言模型与回答集编程,在IEMOCAP数据集上提升了情感预测性能,尤其对无微调的仅提示式大语言模型效果显著,可降低相关成本并保证预测一致性。
2026-09-01 cs.AI cs.CL
DETAIL Matters: Measuring the Impact of Prompt Specificity on Reasoning in Large Language Models
Emory University(埃默里大学)
本文通过DETAIL框架研究提示特定性对大语言模型推理性能的影响,发现特定性提升准确性,尤其对小型模型和程序性任务效果显著。
2025-12-01 cs.AI cs.CL
Chain of Grounded Objectives: Bridging Process and Goal-oriented Prompting for Code Generation
Electronics and Telecommunications Research Institute(电子电信研究院);Department of Computer Science and Engineering, Seoul National University(计算机科学与工程系,首尔国立大学)
本文提出基础目标链(CGO)方法,通过将功能目标嵌入输入提示并避免显式顺序过程,有效适应编程任务的结构化特性,从而提升LLM代码生成质量并克服现有顺序推理策略的局限。
2025-05-29 cs.AI cs.CL cs.SE
Prompt-Based Cost-Effective Evaluation and Operation of ChatGPT as a Computer Programming Teaching Assistant
Department of Mathematics and Computer Science, Universitat de Barcelona(数学与计算机科学系,巴塞罗那大学)
本文研究将ChatGPT用作编程教学助手的可行性,评估GPT-3.5T和GPT-4T的反馈表现,提出基于提示和上下文学习的自动化评估方法,并给出实用学习工具的实现策略。
2025-05-04 cs.AI cs.CL cs.CY
More Than a Score: Probing the Impact of Prompt Specificity on LLM Code Generation
Northeastern University(东北大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本研究提出PartialOrderEval,通过提示偏序增强代码生成基准,测量pass@1随提示特异性的变化,发现显式I/O规范、边界处理和逐步分解是提升性能的关键。
2025-08-05 cs.CL cs.LG cs.PL
Prompting Large Language Models to Tackle the Full Software Development Lifecycle: A Case Study
Shanghai AI Laboratory(上海人工智能实验室);Nanjing University(南京大学);BUPT(北京邮电大学);Dartmouth College(达特茅斯学院);Princeton University(普林斯顿大学);The University of Hong Kong(香港大学);Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团);ByteDance(字节跳动)
本研究通过DevEval基准评估LLMs在完整软件开发生命周期中的表现,发现包括GPT-4在内的现有模型无法应对其挑战,并为未来开发提供见解。
2024-12-14 cs.CL cs.SE
vLLM Hook v1: A Plug-in for Programming Model Internals on vLLM
IBM Research(IBM研究院)
vLLM Hook v0 提供了一种插件,用于编程vLLM模型的内部状态,支持被动和主动编程,以增强模型的可编程性和功能。
2026-11-04 cs.CL cs.LG cs.PL
Assessing the Impact of Prompting Methods on ChatGPT's Mathematical Capabilities
University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校)
本文评估了简单、角色和对话式三种提示方法对 ChatGPT-3.5 数学推理能力的影响,发现这些方法均未能持续提升基线表现,部分方法甚至导致性能下降,表明提示策略不一定能跨领域泛化。
2024-02-20 cs.AI cs.CL cs.LG
Green Prompting: Characterizing Prompt-driven Energy Costs of LLM Inference
School of Computing and communications(计算与通信学院)
研究通过实验分析不同提示和响应特征对LLM推理能耗的影响,发现任务语义和关键词对能耗有显著影响,提示设计优化可提升推理效率。
2026-04-27 cs.AI cs.CL cs.LG
Persona is a Double-edged Sword: Mitigating the Negative Impact of Role-playing Prompts in Zero-shot Reasoning Tasks
Pohang University of Science and Technology(浦项科技大学);Seoul National University(首尔大学)
本文研究角色扮演提示对LLM零样本推理的负面影响,并提出Jekyll & Hyde框架,通过集成角色扮演与中性提示结果并由LLM评估选择更优解,在12个推理数据集上提升推理鲁棒性。
2024-10-19 cs.CL
Confirming Our Biases? Evaluating the Capabilities, Risks, and Societal Impact of Large Language Models
University of Tübingen(蒂宾根大学)
本研究评估6个大型语言模型(LLMs)对160条跨10个主题的提示的响应,发现LLMs会系统调整响应以匹配提示框架,甚至在事实类情境中也如此,明确了其可被操纵的程度与界限。
2026-08-10 cs.CL
Exploring the Robustness of Large Language Models for Solving Programming Problems
University of Aizu(会津大学);Tohoku University(东北大学);NTT Communication Science Laboratories(NTT通信科学实验室)
本文探究了CodeGen、Codex、InstructGPT和ChatGPT等大语言模型在解决编程问题时对问题描述表面修改的鲁棒性,发现早期模型对变量名等表面线索敏感,而SOTA模型鲁棒性更强,强调了精心格式化提示的重要性。
2023-06-26 cs.AI cs.CL cs.SE
Dissecting Paraphrases: The Impact of Prompt Syntax and supplementary Information on Knowledge Retrieval from Pretrained Language Models
GESIS - Leibniz Institute for the Social Sciences(GESIS - 莱布尼茨社会科学研究所);Heinrich Heine University(海因里希·海涅大学)
本文提出包含3400万提示的探针 CONPARE-LAMA,系统比较复述句法与语义信息对预训练语言模型知识检索的独立影响,发现从句句法在多项指标上优于同位语句法,且范围信息比领域信息更能提升检索性能。
2024-04-02 cs.CL
Structured Prompts Improve Evaluation of Language Models
本文通过结构化提示方法评估语言模型,发现其能显著提升性能并改变排名,首次系统整合结构化提示至评估框架。
2026-11-04 cs.AI cs.CL cs.LG
Beyond Prompt Engineering: A Systematic Analysis of Prompt Lexical Sensitivity and Its Impacts on Quality
Shenzhen Technology University(深圳技术大学);The Hong Kong Polytechnic University(香港理工大学);Zhejiang Lab(之江实验室);The Chinese University of Hong Kong(香港中文大学);HKUST (Guangzhou)(香港科技大学(广州))
该研究针对大型语言模型的提示词词汇敏感性开展大规模机制分析,揭示提示词性能稳定性缩放定律,提出自动化提示词优化智能体,可降低代码生成任务性能方差40.7%,为鲁棒提示工程提供可解释框架。
2026-08-24 cs.AI cs.CL
Understanding Learner-LLM Chatbot Interactions and the Impact of Prompting Guidelines
Università degli Studi di Milano Bicocca(米兰比可卡大学);Universitat Pompeu Fabra(庞培法布拉大学);University of Regensburg(雷根斯堡大学);Politecnico di Milano(米兰理工大学);Istituto per le Tecnologie Didattiche (ITD-CNR)(国家研究委员会教育技术研究所);Università degli Studi di Milano(米兰大学);Institute of Science and Technology of Cognition (ISTC-CNR)(国家研究委员会认知科学与技术研究所)
本文通过教育实验比较三种提示指南,并基于107名用户的642次互动和Von NeuMidas标注分析,揭示结构化指导对学习者提示行为及LLM回答质量的影响。
2025-07-27 cs.AI cs.CL cs.HC
Exploring the Representation Manifolds of Stable Diffusion Through the Lens of Intrinsic Dimension
Pacific Northwest National Laboratory(太平洋西北国家实验室);University of Washington(华盛顿大学)
摘要已成为一种重要的机制,通过它用户可以更有效地与多种风格的基础模型进行交互。事实上,过去几年已经表明,精心打磨的提示有时可以在这些模型中释放紧急功能。虽然已经有大量的经验性的探索,在社区内的提示,相对较少的作品研究了在数学水平上的提示。在这项工作中,我们的目标是采取的第一步,了解基本的几何属性诱导的提示稳定扩散,专注于模型内的内部表示的内在维度。我们发现,提示的选择有很大的影响,在这两个层次的模型,我们探讨的内在维度的代表性,但这种影响的性质取决于层被认为是。例如,在模型的某些瓶颈层中,表示的内在维度与提示困惑(使用代理模型测量)相关,而这种相关性在潜在层中并不明显。我们的证据表明,内在维度可能是一个有用的工具,为未来的研究不同的提示对文本到图像模型的影响。
2023-02-16 cs.CL cs.CV cs.LG
Measuring The Impact Of Programming Language Distribution
New York University(纽约大学);Google Labs(谷歌实验室);Google Brain(谷歌大脑)
针对现有代码评估基准语言覆盖不全的问题,提出BabelCode框架与TP3数据集,并验证平衡训练数据中的语言分布能显著提升模型在低资源语言上的$pass@k$表现。
2023-05-24 cs.CL cs.LG cs.PL
Does Prompt Design Impact Quality of Data Imputation by LLMs?
Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文提出一种令牌感知的数据填补方法,通过结构化分组CSV提示和去除无关上下文,在类别不平衡数据集中以更小提示规模实现与基线相当或更优的填补质量。
2025-06-04 cs.ET cs.LG
Enhancing Robustness in Large Language Models: Prompting for Mitigating the Impact of Irrelevant Information
Apple(苹果公司)
针对无关信息降低大模型推理能力的问题,构建GSMIR数据集并提出ATF方法,通过分析并过滤无关信息,显著提升了大模型在含干扰信息时的推理性能。
2025-05-23 cs.CL
Dr ChatGPT, tell me what I want to hear: How prompt knowledge impacts health answer correctness
The University of Queensland(昆士兰大学);CSIRO(澳大利亚联邦科学与工业研究组织)
生成式预训练语言模型(GPLM)(如ChatGPT)将模型在预训练阶段观察到的模型参数知识进行编码。然后在推理时使用该知识来解决用户在其提示中指定的任务。例如,对于问答任务,GPLM利用在培训中学到的知识和语言模式来生成用户问题的答案。除了模型本身编码的知识之外,GPLM生成的答案还可以利用提示中提供的知识。例如,GPLM可以集成到检索然后生成的范例中,其中使用搜索引擎来检索与问题相关的文档;然后通过提示将文档的内容传输到GPLM。在本文中,我们研究了ChatGPT在单独利用模型知识与提示知识相结合时生成的答案正确性的差异。我们在消费者从模型中寻求健康建议的背景下研究这一点。除了测量ChatGPT在这种情况下的有效性外,我们还表明提示中传递的知识可以推翻模型中编码的知识,在我们的实验中,这不利于答案的正确性。这项工作具有重要的意义,更强大的和透明的问答系统的基础上生成的预训练语言模型的发展。
2023-02-23 cs.AI cs.CL cs.IR
Distinguishing Artificial from Authentic: Evaluating LLMs for Detecting LLM-Generated Content
Aalto University(阿尔托大学);University of Auckland(奥克兰大学)
研究大语言模型检测自身生成内容的能力,通过真实学生回答和模型生成答案的多种变体,评估不同提示策略和输出格式下的检测性能,发现其检测高度依赖任务,提示框架等因素影响检测效果,凸显了大语言模型自我检测的潜力与局限。
2026-07-24 cs.CL cs.CY
The Impact of Role Design in In-Context Learning for Large Language Models
Department of Electrical, Computer and Software Engineering(电气、计算机与软件工程系);Ontario Tech University(安大略技术大学)
本文研究提示中的角色设计对大语言模型 ICL 的影响,在零样本与少样本场景下用 GPT、Llama2 模型跨多类任务评估,发现角色化提示结构具有提升性能的潜力。
2025-09-27 cs.AI cs.CL
Mechanics of Bias and Reasoning: Interpreting the Impact of Chain-of-Thought Prompting on Gender Bias in LLMs
Mila – Quebec AI Institute(魁北克人工智能研究所);McGill University(麦吉尔大学);HEC Montreal(蒙特利尔HEC)
本文研究了链式推理提示对大语言模型中性别偏见的影响,结合基准测试评估与机制可解释性技术,发现链式推理并未有效减少偏见,偏见仍存在于隐藏表示中。
2026-05-19 cs.AI cs.CL
Discrete Prompt Optimization via Constrained Generation for Zero-shot Re-ranker
Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院)
针对零样本重排序器中提示优化未被探索的问题,提出无需参数更新的离散提示优化方法Co-Prompt,通过指标引导PLM生成最优提示,显著提升重排序性能与可解释性。
2023-05-23 cs.AI cs.CL cs.IR
Understanding Developer Information Needs for Software with Embedded Natural Language Prompts
Carnegie Mellon University(卡内基梅隆大学);JetBrains Research(JetBrains研究)
本文通过访谈、观察与调查构建提示编程的25项任务和51个问题分类,并对比48种工具,发现关键需求仍缺乏自动化支持。
2026-11-10 cs.AI cs.HC cs.SE
Prompts Are Programs Too! Understanding How Developers Build Software Containing Prompts
Carnegie Mellon University(卡内基梅隆大学)
本文通过访谈20名开发者,提出提示词编程概念,发现其与传统软件开发不同,开发者难以建立可靠心智模型,为提示词工具开发提供启示。
2025-04-25 cs.AI cs.HC cs.SE
Cracking the Code: Evaluating Zero-Shot Prompting Methods for Providing Programming Feedback
本研究引入评估框架评估不同零样本提示工程方法,发现分步过程提示提升精确度,省略明确数据规范改善R语言编程错误识别。
2024-12-20 cs.SE
Task-Oriented API Usage Examples Prompting Powered By Programming Task Knowledge Graph
编程教程通常是为了用代码示例演示编程任务而创建的。然而,我们对堆栈溢出问题的研究揭示了高质量编程教程的低利用率,这是由任务描述不匹配和代码信息过载引起的。文档搜索可以找到相关的教程文档,但它们通常无法找到与开发人员的任务需求相关的特定编程操作和代码解决方案。最近提出的基于知识图谱的以活动为中心的搜索支持直接搜索编程动作,但它在动作覆盖、基于自然语言的任务搜索和粗粒度代码示例推荐方面存在局限性。在这项工作中,我们提高行动的知识图谱的代码示例和更多形式的活动句子中的评论提取的行动覆盖率。为了克服任务描述不匹配的问题,我们开发了一种基于代码匹配的任务搜索方法,以找到相关的编程动作和代码示例的代码正在开发中。我们将知识图谱和任务搜索方法集成到IDE中,并开发了一个基于任务推送的工具,以提示开发人员使用面向任务的API示例。为了缓解代码信息过载问题,我们的工具基于底层知识图谱在提示的教程任务摘录和代码示例中突出显示编程操作和API信息。我们的评估证实了高质量的构造知识图谱,并表明我们的代码匹配的任务搜索可以推荐有效的代码解决方案,编程问题上提出的堆栈溢出。一个小规模的用户研究表明,我们的工具是有用的,帮助开发人员在他们的编程任务中查找和使用相关的编程教程。
2020-06-12 cs.SE
Gendered Prompting and LLM Code Review: How Gender Cues in the Prompt Shape Code Quality and Evaluation
Technische Universität Berlin(柏林工业大学);Humboldt-Universität zu Berlin(柏林洪堡大学)
研究探讨性别化提示对代码生成和审查的影响,发现性别线索在代码质量上影响有限,但对代码审查存在系统性偏见。
2026-03-25 cs.HC cs.SE
Prompt Driven Development with Claude Code: Building a Complete TUI Framework for the Ring Programming Language
King Saud University(沙特国王大学);SANS(SANS研究所)
通过Claude Code驱动开发,为环编程语言构建完整终端用户界面框架,展示了提示驱动方法在软件工程中的可行性。
2026-01-24 cs.AI cs.SE
Advancing GenAI Assisted Programming--A Comparative Study on Prompt Efficiency and Code Quality Between GPT-4 and GLM-4
The University of Sydney(悉尼大学);China Creative Studies Institute(中国创意研究院);Shanghai Jiao Tong University(上海交通大学)
本研究通过对比GPT-4与GLM-4发现,简单直接的提示策略配合CoT式初步确认步骤可显著提升代码生成成功率与效率,并指出GenAI辅助编程将推动开发者角色向监督与创新转变。
2024-02-20 cs.AI cs.SE
StepGrade: Grading Programming Assignments with Context-Aware LLMs
针对编程作业评分耗时且缺乏可解释性的问题,提出StepGrade方法,利用思维链提示的大型语言模型,在功能、代码质量和算法效率等标准上逐步推理,实验证明其评分质量和可解释性优于常规提示,有望革新编程教育。
2025-03-26 cs.SE
How Do You Feel, Developer? An Explanatory Theory of the Impact of Affects on Programming Performance
情感--情绪和心情--对个人的认知活动和工作绩效有影响。开发任务是通过认知过程进行的,然而软件工程研究缺乏关于情感及其对软件开发活动的影响的理论。在本文中,我们报告了一个解释性的研究,旨在扩大我们的理解心理学的编程方面的经验,影响,而编程,和影响编程性能。我们进行了一个定性的解释性研究的基础上:面对面的开放式访谈,在现场观察,和电子邮件交流。这使我们能够构建一个新的解释性理论的影响,发展业绩。该理论是使用一个既定的分类框架来解释的。所提出的理论建立在事件,影响,吸引,焦点,目标和性能的概念。理论和实践的影响。
2015-09-17 cs.CY cs.HC cs.SE
Copilot for Xcode: Exploring AI-Assisted Programming by Prompting Cloud-based Large Language Models
Nanyang Technological University(南洋理工大学);City University of Hong Kong(香港城市大学)
本文提出了Copilot for Xcode,一款集成云端LLM与Xcode的AI辅助编程工具,利用NLP技术实现代码生成等功能,并通过案例研究验证了其有效性。
2023-07-08 cs.AI cs.SE
Prompt Less, Smile More: Semantic Engineering in Lieu of Prompt Engineering
University of Michigan(密歇根大学);Jaseci Labs(Jaseci实验室)
通过语义工程替代提示工程,提升AI集成编程中提示的准确性与开发者效率。
2026-11-03 cs.AI cs.SE
An empirical study on the impact of IDE tool support in pair and solo programming
敏捷软件开发已被广泛采用。一种著名的敏捷方法是极限编程(XP),其中结对编程(PP)是一种相关的实践。虽然PP的各个方面已经研究,我们还没有发现,在传统的PP模型,研究使用IDE工具支持的影响。为了更好地了解使用IDE的影响,我们提出了一个对照实验的结果,暴露质量的影响,测量每小时注入的缺陷数量,和成本,测量完成编程任务所需的时间,对和单独编程,并没有使用IDE。对于质量,我们的研究结果表明,当编程任务不是很复杂时,使用IDE会导致显着更高的缺陷注入率(对和独奏)。然而,缺陷注入率似乎降低时,对工作更复杂的编程任务,无论使用的工具支持。就成本而言,编程任务对完成任务所需的时间有很大影响。最后,当使用双人或单人编程时,这两个方面(质量和成本)都以类似的方式受到影响。
2016-07-18 cs.SE
RECAP: An End-to-End Platform for Capturing, Replaying, and Analyzing AI-Assisted Programming Interactions
Carnegie Mellon University(卡内基梅隆大学)
RECAP通过记录和回放开发者与AI编程助手的交互,分析其行为模式和策略演变,为软件工程教育提供支持。
2026-05-01 cs.CL cs.HC cs.SE
Large Language Models for Code Generation from Multilingual Prompts: A Curated Benchmark and a Study on Code Quality
University of Catania(卡塔尼亚大学);North Carolina State University(北卡罗来纳州立大学);University of Sannio(萨尼奥大学)
研究多语言提示对代码生成的影响,通过460个Python和Java编码任务,将英文提示翻译成多种语言并评估生成代码,发现英文提示非最佳,提示语言影响因编程语言和大语言模型而异,提供多语言基准测试及见解。
2026-07-17 cs.AI cs.SE
Spellburst: A Node-based Interface for Exploratory Creative Coding with Natural Language Prompts
Replit(Replit公司);Stanford University(斯坦福大学)
Spellburst是一个由大语言模型驱动的创意编程环境,通过节点式界面、语义提示交互和语义-语法无缝切换,帮助艺术家更高效地进行生成艺术的探索式创作。
2023-08-07 cs.HC cs.LG cs.SE
From Prompts to Propositions: A Logic-Based Lens on Student-LLM Interactions
University of Houston(休斯顿大学);University of California, Irvine(加州大学尔湾分校);Universidad Internacional de la Rioja(里瓦达维亚国际大学);University of Southern California(南加州大学);Abilene Christian University(阿比林基督教大学);University of Auckland(奥克兰大学);Aalto University(阿尔托大学);Carnegie Mellon University(卡内基梅隆大学);Indian Institute of Technology, Kanpur(印度理工学院,坎pur)
本文提出Prompt2Constraints方法,将学生提示词转化为命题逻辑约束,系统分析203名学生的1,872个提示词,揭示提示词演变模式并识别困难学生,为计算教育提供可扩展的实时支持途径。
2025-04-25 cs.AI cs.HC cs.SE
A Regression Framework for Understanding Prompt Component Impact on LLM Performance
本文提出回归框架分析提示特征对LLM性能的影响,通过回归模型解释提示部分对模型表现的解释力,发现错误示例会阻碍模型解决算术问题,正负指令对模型性能有矛盾影响。
2026-03-27 cs.AI cs.LG cs.SE
GPTutor: a ChatGPT-powered programming tool for code explanation
National Taiwan Normal University(国立台湾师范大学);KryptoCamp;University of Toronto(多伦多大学)
本研究提出基于ChatGPT的VS Code扩展编程工具GPTutor,可结合相关源码全面分析并解释选中代码,评估显示其解释比同类工具更简洁准确,获师生好评,未来将优化性能并开展真实用户评估。
2023-06-15 cs.AI cs.CL cs.HC
AskIt: Unified Programming Interface for Programming with Large Language Models
CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室);Mitsubishi Electric Corporation(三菱电机株式会社)
本文提出AskIt,一种专为大型语言模型设计的领域特定语言,通过统一接口支持直接任务执行和代码生成,实现提示长度减少16.14%及效率提升。
2023-12-27 cs.AI cs.PL cs.SE
On the Impact of Language Selection for Training and Evaluating Programming Language Models
Delft University of Technology(代尔夫特理工大学)
本研究基于CodeBERT模型分析编程语言表征的相似性,发现C++、Python、Java的token表征相近,Mathematica和R的差异显著,建议用该相似性度量选择多语言集合以优化模型训练评估。
2023-08-25 cs.AI cs.CL cs.LG
Green Prompt Engineering: Investigating the Energy Impact of Prompt Design in Software Engineering
University of Salerno(萨莱诺大学);University of Padova(帕多瓦大学);University College Dublin (UCD)(都柏林大学学院)
本文提出绿色提示工程,通过实证研究发现提示可读性影响能源消耗和性能,简单提示可降低能耗且不显著损失F1分数,为可持续提示设计提供指导。
2025-09-26 cs.SE
MoT: Modularization-of-Thought Prompting for Effective Code Generation
Chongqing University(重庆大学)
研究针对大语言模型代码生成中现有提示技术不足,提出MoT技术,利用模块化原则分解问题,用MLR图构建推理过程,经实验对比六种基线技术,在八个基准上显著提升代码生成性能,Pass@1分数达58.1%至95.1%。
2026-07-20 cs.SE
Quantifying the Impact on Software Complexity of Composable Inductive Programming using Zoea
Zoea Ltd.(佐亚有限公司);London South Bank University(伦敦南岸大学)
在Zoea程序设计语言中实现的可组合归纳编程是软件开发的一种简单的声明式方法。在语言层面上,Zoea显然比所有主流语言都要简单。然而,到目前为止,我们只有轶事证据表明,用Zoea制作的软件也比用传统语言制作的等效软件简单。本文介绍了Zoea中实现的等效代码的软件复杂性的定量比较的结果,也在传统的程序设计语言。这项研究使用了一套不同的编程任务,从一个流行的程序设计语言chrestomathy。结果相对程序的复杂性,使用两个既定的指标,也为相对程序的大小。结果发现,Zoea程序的复杂性约为传统语言等效程序的50%,平均大小相等。结果表明,目前的程序设计语言(相对于软件需求)是软件复杂性的最大贡献者,通过归纳编程方法可以避免显着的复杂性。
2020-05-17 cs.AI cs.PL cs.SE
An Empirical Study on the Effects of System Prompts in Instruction-Tuned Models for Code Generation
William & Mary(威廉与玛丽学院)
本研究探讨了系统提示对代码生成模型性能的影响,发现提示具体性与模型规模、编程语言等因素相关,且不同语言对提示敏感性存在差异。
2026-02-16 cs.SE