The potential of large language models for improving probability learning: A study on ChatGPT3.5 and first-year computer engineering students
Rey Juan Carlos University(胡安·卡洛斯国王大学);European Commission, Joint Research Centre(欧盟委员会联合研究中心);CETINIA: Research Centre for Intelligent Information Technologies(CETINIA智能信息技术研究中心)
该研究评估ChatGPT解答计算机工程入门概率题的效能,发现其推理表达优于平均水平学生但数值运算有缺陷,用R脚本输出解答可弥补不足,证明大语言模型有潜力作为概率学习助手。
2023-10-09 cs.AI cs.CL
Can ChatGPT implement finite element models for geotechnical engineering applications?
Yonsei University(延世大学);Case Western Reserve University(凯斯西储大学)
本研究通过三个非饱和土水力-力学耦合初边值问题评估ChatGPT生成有限元代码的能力,发现其在FEniCS下仅需少量修改,而MATLAB代码需大量提示增强或人工干预,表明大语言模型可辅助但尚不能取代数值模型编程人员。
2025-01-04 cs.AI cs.NA math.NA
Examining the Potential and Pitfalls of ChatGPT in Science and Engineering Problem-Solving
Stanford University(斯坦福大学);Auburn University(奥本大学)
本研究通过让ChatGPT求解40道大学工程物理题,发现其在良定义问题上准确率为62.5%,但在欠定义问题上仅8.3%,并归纳出模型失效的三种模式,为STEM教育中利用大语言模型提供了启示。
2023-10-28 cs.AI cs.CE
Performance of ChatGPT on the US Fundamentals of Engineering Exam: Comprehensive Assessment of Proficiency and Potential Implications for Professional Environmental Engineering Practice
IIHR – Hydroscience & Engineering, University of Iowa(爱荷华大学IIHR水文科学与工程研究所);Civil and Environmental Engineering, University of Iowa(爱荷华大学土木与环境工程学院);Electrical and Computer Engineering, University of Iowa(爱荷华大学电气与计算机工程学院)
本文评估基于 GPT-4 的 ChatGPT 在美国 FE 环境考试中的表现,发现非侵入式提示词修改可显著提升准确率,并探讨其教育应用、局限及考试诚信意义。
2023-04-20 cs.AI cs.CY
A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT
Vanderbilt University(范德堡大学)
快速工程提示工程是与大语言模型(LLM)(如ChatGPT)进行有效对话所需的越来越重要的技能。指令是给予LLM的指令,用于执行规则,自动化流程,并确保生成的输出的特定质量(和数量)。脚本也是一种编程形式,可以自定义输出和与LLM的交互。本文描述了一个目录的提示工程技术模式的形式,已被应用于解决常见问题时,与LLM交谈。提示模式是一种类似于软件模式的知识转移方法,因为它们为特定上下文中面临的常见问题提供了可重用的解决方案,即,使用LLM时的输出生成和交互。本文提供了以下贡献的提示工程,应用LLM自动化软件开发任务的研究。首先,它提供了一个框架,用于记录模式,以结构化提示来解决一系列问题,以便它们可以适应不同的领域。其次,它提供了一个已成功应用于改善LLM对话输出的模式目录。第三,它解释了如何从多个模式中构建提示,并说明了与其他提示模式相结合的提示模式。
2023-02-21 cs.AI cs.SE
Assistant, Parrot, or Colonizing Loudspeaker? ChatGPT Metaphors for Developing Critical AI Literacies
本研究通过协作自传民族志分析AI隐喻,结合Selber多元素养框架,揭示隐喻反思对培养批判性AI素养的作用,提出绘制隐喻维度以辅助教育实践。
2024-01-15 cs.AI cs.CY cs.HC
Why you shouldn't fully trust ChatGPT: A synthesis of this AI tool's error rates across disciplines and the software engineering lifecycle
Queen’s University Belfast(贝尔法斯特女王大学);Azerbaijan Technical University(阿塞拜疆技术大学)
本研究通过多声文献综述综合量化了ChatGPT在跨学科领域和软件工程生命周期中的错误率,发现其可靠性因任务、领域和模型版本而异,强调在关键环境中仍需人工监督与持续验证。
2025-04-26 cs.AI cs.SE
The Lazy Student's Dream: ChatGPT Passing an Engineering Course on Its Own
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究在“最小努力”协议下用ChatGPT测试大语言模型完成本科控制系统课程的能力,覆盖115项多形式作业,模型获82.24%的B等成绩(接近班级均分84.99%),为工程教育适配AI发展提供参考。
2025-05-16 cs.AI cs.CY
To Google or To ChatGPT? A Comparison of CS2 Students' Information Gathering Approaches and Outcomes
Indian Institute of Technology Kanpur(坎普尔印度理工学院);Microsoft(微软公司);Universidad Internacional de la Rioja(拉里奥哈国际大学);University of Houston(休斯顿大学)
本研究通过受试者内混合方法实验,对比CS2学生用ChatGPT等大语言模型和Google搜索等传统在线方式学习编程的行为与效果,发现传统方法更利于学习难概念,且两类工具的查询策略存在差异。
2025-03-22 cs.AI cs.HC
Unreflected Acceptance -- Investigating the Negative Consequences of ChatGPT-Assisted Problem Solving in Physics Education
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);RPTU Kaiserslautern-Landau(凯泽斯劳滕-兰道莱茵-普法尔茨理工大学);LMU Munich(慕尼黑大学)
本研究通过对比物理专业学生使用搜索引擎与ChatGPT解题的表现,发现学生过度信任ChatGPT导致近半错误答案被接受,且交互行为缺乏反思,凸显了指导LLM使用和提升用户认知的必要性。
2023-08-21 cs.AI cs.HC physics.ed-ph
ChatGPT for PLC/DCS Control Logic Generation
ABB Research(ABB研究院)
本文通过构建100个提示探索ChatGPT(GPT-4)从自然语言生成PLC/DCS控制逻辑的能力,发现其能生成语法正确的IEC 61131-3结构化文本代码并具备推理能力,为后续LLM基准测试奠定基础。
2023-05-25 cs.AI cs.SE
Generative Language Models Potential for Requirement Engineering Applications: Insights into Current Strengths and Limitations
Rhineland-Palatinate Technical University of Kaiserslautern-Landau(莱茵兰-普法尔茨州凯撒斯劳滕-兰道技术大学);German Research Center for Artificial Intelligence GmbH(德国人工智能研究中心有限公司)
本文通过4个需求工程基准数据集评估 ChatGPT 与 Gemini,分析专家提示影响,发现二者仅在问答上接近或超过最优方法,其余任务均落后于专用预测器。
2024-12-01 cs.AI cs.SE
An Exploration of Pattern Mining with ChatGPT
Carleton University(卡尔顿大学)
本文探索使用 ChatGPT 进行模式挖掘,提出结合人类洞察与 AI 能力的八步协作流程,并通过创建集成 LLMs 的模式语言进行演示,主张将底层组件的可供性纳入模式描述。
2024-12-22 cs.AI
How Good is ChatGPT at Audiovisual Deepfake Detection: A Comparative Study of ChatGPT, AI Models and Human Perception
Academia Sinica(中央研究院);National Chengchi University(国立政治大学);National Tsing Hua University(国立清华大学)
本研究评估了ChatGPT在音视频深度伪造检测中的能力,发现结合领域知识与提示工程,它能有效解释跨模态伪影,并与最先进模型及人类感知进行了对比分析。
2024-11-14 cs.AI cs.CV cs.HC
PromptHive: Bringing Subject Matter Experts Back to the Forefront with Collaborative Prompt Engineering for Educational Content Creation
University of Toronto(多伦多大学);UC Berkeley(加州大学伯克利分校)
PromptHive 通过协作式提示编写界面帮助领域专家快速迭代提示,使非 AI 专家生成的内容质量接近人工编写材料,同时将认知负荷减半、编写时间从数月缩短至数小时。
2024-10-21 cs.AI cs.HC
The Future of ChatGPT-enabled Labor Market: A Preliminary Study in China
Career Science Lab, BOSS Zhipin(BOSS直聘职业科学实验室)
该研究从人机共生视角出发,基于中国招聘平台数据与语义增强协同过滤算法,分析并预测了劳动力市场中ChatGPT相关技能的职业需求情况,为理解AI对就业的影响提供了参考。
2023-11-04 cs.AI cs.CY
An Empirical Exploration of ChatGPT's Ability to Support Problem Formulation Tasks for Mission Engineering and a Documentation of its Performance Variability
University of Southern California(南加州大学);Stevens Institute of Technology(史蒂文斯理工学院);Virginia Tech(弗吉尼亚理工大学)
本文通过 NASA 太空任务设计挑战实证评估 ChatGPT-3.5 在任务工程问题表述中识别利益相关者的能力,发现其对人本利益相关者识别较好但对环境因素识别差、抽象层次保持不足且并行输出变异性大,表明其可靠性有限。
2025-02-05 cs.AI cs.CL cs.SE
Quo Vadis ChatGPT? From Large Language Models to Large Knowledge Models
Columbia University(哥伦比亚大学)
本文探讨了大型语言模型在科学领域的局限,提出融合第一性原理的混合AI系统——大型知识模型(LKMs),并讨论了其在化学工程中的挑战与机遇。
2024-05-29 cs.AI cs.CL
Large Language Models in Fire Engineering: An Examination of Technical Questions Against Domain Knowledge
Clemson University(克莱姆森大学);The Hong Kong Polytechnic University(香港理工大学);York University(约克大学)
本研究对比了ChatGPT与Bard两款大语言模型在消防工程领域的问答表现,发现ChatGPT性能更优,指出该类技术有望革新消防工程实践与教育,同时明确了后续改进方向。
2024-03-04 cs.AI cs.CL cs.LG
Evaluating ChatGPT-3.5 Efficiency in Solving Coding Problems of Different Complexity Levels: An Empirical Analysis
University of Southern California(南加州大学)
本文在LeetCode平台上实证评估了ChatGPT的GPT-3.5-turbo模型解决不同难度编码问题的能力,验证了难度递增导致性能下降、提示工程提升效果及流行编程语言表现更优三个假设。
2024-11-12 cs.AI cs.SE
Is ChatGPT the Ultimate Programming Assistant -- How far is it?
University of Luxembourg(卢森堡大学);The Hong Kong University of Science and Technology(香港科技大学)
本文实证评估了 ChatGPT 作为编程助手在代码生成、修复和摘要任务上的能力,发现其擅长常见问题但受限于注意力,且能推理代码意图,强调了提示工程的重要性。
2023-08-31 cs.AI cs.SE
ChatGPT for Conversational Recommendation: Refining Recommendations by Reprompting with Feedback
University of Louisville(路易斯维尔大学);Microsoft(微软)
本文研究了ChatGPT作为top-n对话式推荐系统的有效性,通过构建带反馈的重新提示流水线来精炼推荐结果,发现该策略能有效提升推荐相关性并缓解流行度偏差。
2024-01-07 cs.AI cs.CL cs.IR
Collaborative AI in Sentiment Analysis: System Architecture, Data Prediction and Deployment Strategies
Soochow University(苏州大学);Shanghai Jiaotong University(上海交通大学)
本文提出一个协同人工智能框架,通过生成式AI模型将复杂情感分析任务分解为分阶段目标,并在边缘与云端部署,以解决多模态数据处理和特征提取成本高的挑战。
2024-10-23 cs.AI cs.HC cs.SE
Log Parsing: How Far Can ChatGPT Go?
The University of Newcastle(纽卡斯尔大学);Chongqing University(重庆大学)
本文评估 ChatGPT 在自动化日志解析中的有效性及不同提示方法的影响,发现适当提示(尤其少样本提示)可取得良好效果,并总结相关挑战与机遇。
2023-08-20 cs.AI cs.SE
Can ChatGPT support software verification?
Carl-von-Ossietzky Universität Oldenburg(奥尔登堡卡尔·冯·奥西特齐大学)
本研究探索ChatGPT能否生成循环不变量以支持软件验证,实验表明其生成的不变量有效且有用,能增强Frama-C的验证能力,并提出结合大语言模型与验证器的方向。
2025-10-14 cs.AI cs.FL cs.LG
Quantifying Gender Bias in Large Language Models: When ChatGPT Becomes a Hiring Manager
Massachusetts Institute of Technology(麻省理工学院)
研究量化了LLM在招聘决策中的性别偏见,发现女性候选人更易被录用但薪酬建议较低,探讨了提示工程作为偏见缓解技术。
2026-03-10 cs.AI cs.CY
"Close...but not as good as an educator." -- Using ChatGPT to provide formative feedback in large-class collaborative learning
Centre for Digital Transformation of Health, University of Melbourne(墨尔本大学健康数字转型中心)
本研究针对大班协作学习中难以及时提供个性化形成性反馈的问题,在面向医疗从业者的数字健康评估培训中用ChatGPT提供反馈,发现反馈评价整体积极但仅少数小组用其改进方案,为教育实践和后续研究提供了参考。
2023-11-02 cs.AI cs.CY cs.HC
Generating Situated Reflection Triggers about Alternative Solution Paths: A Case Study of Generative AI for Computer-Supported Collaborative Learning
Carnegie Mellon University(卡内基梅隆大学)
本研究设计并评估了一个基于LLM的在线编程练习机器人,利用ChatGPT在数据库设计协作任务中为学生提供情境化的反思触发器,试点研究表明LLM能有效结合讨论上下文生成反思触发器,促进学生学习。
2024-04-28 cs.AI
Can ChatGPT Overcome Behavioral Biases in the Financial Sector? Classify-and-Rethink: Multi-Step Zero-Shot Reasoning in the Gold Investment
Hong Kong University of Science and Technology(香港科技大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);E Fund Management Co., Ltd(易方达基金管理有限公司)
针对零样本思维链在金融推理领域受关注不足的问题,该研究探索多种提示策略并结合语义新闻信息,首次将ChatGPT用于黄金投资任务,发现带CoT提示的ChatGPT可克服行为偏差、提升投资回报。
2025-01-16 cs.AI q-fin.ST
An Assessment of ChatGPT on Log Data
Intel(英特尔)
本文评估了ChatGPT在日志数据上的处理能力,发现其存在响应不一致和可扩展性问题,并探讨了LLMs在日志处理领域的未来改进方向。
2023-09-14 cs.AI cs.SE
Safety Analysis in the Era of Large Language Models: A Case Study of STPA using ChatGPT
University of Liverpool(利物浦大学);University of Warwick(华威大学)
本研究通过将ChatGPT应用于AEB和DSM系统的STPA安全分析案例,探究协作方案等因素对结果的影响,发现经精心设计的ChatGPT性能可超人类专家,且需开发领域特定提示工程。
2023-12-20 cs.AI cs.CL cs.CY
Which AI Technique Is Better to Classify Requirements? An Experiment with SVM, LSTM, and ChatGPT
Paris 1 Panthéon–Sorbonne University(巴黎第一先贤祠-索邦大学)
本文在五个数据集上实证比较 gpt-3.5-turbo、gpt-4 与 SVM、LSTM 的需求分类效果,发现没有一种技术在所有需求类别上始终最优,少样本主要在零样本表现较差时带来提升。
2024-04-16 cs.AI cs.SE
ChatGPT and post-test probability
University of Rochester School of Medicine and Dentistry(罗切斯特大学医学院和牙医学院);University of Rochester Medical Center(罗切斯特大学医学中心)
本研究探究 ChatGPT 在医学诊断中运用贝叶斯规则进行概率推理的能力,发现引入医学变量名会增加错误,并展示提示工程可部分规避这些错误。
2024-07-20 cs.AI stat.AP
Human-Generative AI Collaborative Problem Solving Who Leads and How Students Perceive the Interactions
本研究通过分析79名本科生的调查与反思,识别出人类与ChatGPT协作的三种类型,发现多数学生感知自身主导或贡献均衡,且积极互动体验与能动性正相关,为优化人机协作教育设计提供依据。
2024-05-19 cs.AI cs.HC
Automatic Code Summarization via ChatGPT: How Far Are We?
Nanjing University(南京大学);Nanyang Technological University(南洋理工大学);University of New South Wales(新南威尔士大学)
本文评估了ChatGPT在CSN-Python数据集上的自动代码摘要表现,发现其在BLEU和ROUGE-L指标上显著劣于NCS、CodeBERT和CodeT5等SOTA模型,并探讨了其优缺点及未来挑战。
2023-05-22 cs.AI cs.SE
Empowering ChatGPT-Like Large-Scale Language Models with Local Knowledge Base for Industrial Prognostics and Health Management
Tsinghua University(清华大学);City University of Hong Kong(香港城市大学)
针对类ChatGPT大规模语言模型缺乏工业PHM领域专业知识的局限,本研究提出结合本地知识库(LKB)的增强方法,通过LKB准备、向量化等步骤提升模型性能,实验表明该方法可增强模型在工业PHM中的准确性与实用性。
2024-11-27 cs.AI cs.CL cs.IR
Evaluating ChatGPT as a Question Answering System: A Comprehensive Analysis and Comparison with Existing Models
University of Isfahan(伊斯法罕大学)
该研究将ChatGPT作为问答系统,在多语言QA数据集上对比其与任务专用模型的性能,发现其问答效果弱于专用模型,上下文和提示工程可提升表现,且存在幻觉问题。
2023-12-11 cs.AI cs.CL
Analysis of Student-LLM Interaction in a Software Engineering Project
School of Computing, National University of Singapore(新加坡国立大学计算机学院)
本研究分析了126名本科生在13周学期中与AI助手的交互,发现学生更偏好ChatGPT而非CoPilot,且基于对话的交互能提升代码质量,强调了软件工程教育中尽早掌握LLM交互技能的重要性。
2025-02-03 cs.AI cs.SE
Embrace Opportunities and Face Challenges: Using ChatGPT in Undergraduate Students' Collaborative Interdisciplinary Learning
Nanyang Technological University(南洋理工大学)
本研究通过130名本科生的准实验,考察ChatGPT对跨学科协作学习的影响,发现其效果受主题和学科背景调节,并提出应差异化而非统一使用ChatGPT。
2023-05-23 cs.AI cs.CY
Cases of EFL Secondary Students' Prompt Engineering Pathways to Complete a Writing Task with ChatGPT
Precious Blood Secondary School(宝血女子中学);The University of Hong Kong(香港大学);Education University of Hong Kong(香港教育大学)
本文通过案例研究分析EFL中学生首次使用ChatGPT完成写作任务时的提示工程路径,揭示了试错过程中提示内容与数量的不同组合,并论证了在EFL写作课堂中开展提示工程教育的必要性。
2023-06-19 cs.AI cs.CL cs.HC
Between Search and Platform: ChatGPT Under the DSA
The Future Society(未来社会)
本文探讨ChatGPT在DSA下的法律归类,认为其应作为搜索引擎与平台的混合体,并需承担相应监管义务。
2026-02-24 cs.AI cs.CY
Can ChatGPT-like Generative Models Guarantee Factual Accuracy? On the Mistakes of New Generation Search Engines
Nanyang Technological University(南洋理工大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
本文通过分析微软、谷歌等将搜索引擎与类 ChatGPT 对话式 AI 结合的公开演示,指出其中存在大量事实错误,呼吁提升模型透明度与事实正确性。
2023-03-03 cs.AI cs.CL
Search Engines Post-ChatGPT: How Generative Artificial Intelligence Could Make Search Less Reliable
University of Washington(华盛顿大学)
本文探讨了搜索引擎整合生成式人工智能后,因事实不一致、偏见、可信度错觉、透明度下降及错误内容泛滥等问题,导致信息溯源模糊、生态系统完整性受损,最终降低搜索可靠性的挑战及未来研究方向。
2024-02-18 cs.AI cs.CY cs.IR
A Review of ChatGPT Applications in Education, Marketing, Software Engineering, and Healthcare: Benefits, Drawbacks, and Research Directions
Jordan University of Science and Technology(约旦科技大学)
该综述梳理了ChatGPT等先进AI语言模型的发展背景,分析其在教育、营销、软件工程、医疗四大领域的应用潜力、现存缺陷,并指明未来研究方向。
2023-04-29 cs.AI cs.CY
Is English the New Programming Language? How About Pseudo-code Engineering?
Universidade Luterana do Brasil (Ulbra)(巴西路德大学)
本研究通过案例分析对比自然语言与伪代码工程输入对ChatGPT多意图任务表现的影响,发现伪代码工程可显著提升响应清晰度与确定性,倡导其在需精确AI响应场景的应用潜力。
2024-04-08 cs.AI cs.CL cs.HC
ChatGPT for Robotics: Design Principles and Model Abilities
Scaled Foundations(Scaled基金会);Microsoft Autonomous Systems and Robotics Research(微软自主系统与机器人研究部)
本研究探索ChatGPT在机器人领域的应用,提出结合提示工程原则与高层函数库的适配策略,验证其在多类机器人任务中的有效性,并推出开源工具PromptCraft降低应用门槛。
2023-07-19 cs.AI cs.CL cs.HC
Comparing Software Developers with ChatGPT: An Empirical Investigation
University of Waterloo(滑铁卢大学)
本文通过实证研究对比软件工程师与ChatGPT在代码生成等任务上的表现,强调多维度评估对促进人机协作和提升AI可靠性的重要性。
2023-05-25 cs.AI cs.SE
Unraveling ChatGPT: A Critical Analysis of AI-Generated Goal-Oriented Dialogues and Annotations
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);Free University of Bozen-Bolzano(博尔扎诺自由大学)
本文探讨ChatGPT生成和标注目标导向对话的潜力,通过多类别、多模式和双语实验及人工评估,证明其生成质量与人类相当。
2023-05-23 cs.AI cs.CL
Experiments on Generative AI-Powered Parametric Modeling and BIM for Architectural Design
Texas A&M University(德克萨斯农工大学)
本文提出一种结合ChatGPT、Veras与参数化建模及BIM的建筑设计框架,旨在促进人机协作,快速探索并生成创意设计方案,提升设计效率。
2023-08-01 cs.AI cs.HC
Context Engineering for Multi-Agent LLM Code Assistants Using Elicit, NotebookLM, ChatGPT, and Claude Code
提出一种结合 Elicit、NotebookLM、ChatGPT 和 Claude Code 的多智能体上下文工程工作流,通过意图澄清、知识检索和角色分解显著提升复杂代码库中代码助手的准确性与单次成功率。
2025-08-09 cs.AI cs.SE
Collaborative Agent Reasoning Engineering (CARE): A Three-Party Design Methodology for Systematically Engineering AI Agents with Subject Matter Experts, Developers, and Helper Agents
CARE提出一种系统化方法论,通过可重用的artifacts和阶段化流程,结合领域专家、开发者和辅助智能体,提升AI智能体的开发效率和复杂查询性能。
2026-04-30 cs.AI
Inappropriate Benefits and Identification of ChatGPT Misuse in Programming Tests: A Controlled Experiment
Maranatha Christian University(玛拉纳塔基督教大学);Toyo University(东洋大学);EC-Council
针对 ChatGPT 代写编程的学术诚信问题,本文通过17名学生的两组对照实验,量化其在完成时间和表现上的影响,并结合行为识别与调查提出使用建议。
2023-08-11 cs.AI cs.CY