A Multi-Stage Hybrid Framework for Automated Interpretation of Multi-View Engineering Drawings Using Vision Language Model
Nanyang Technological University(南洋理工大学)
本文提出一种多阶段混合框架,利用视觉语言模型自动解析多视图工程图,通过布局分割、方向感知检测和语义解析提升工程图解读效率。
2026-01-23 cs.AI cs.CV cs.IR
From Drawings to Decisions: A Hybrid Vision-Language Framework for Parsing 2D Engineering Drawings into Structured Manufacturing Knowledge
Singapore Institute of Manufacturing Technology (SIMTech), Agency for Science, Technology and Research (A*STAR)(新加坡制造技术研究院,新加坡科技研究局);Advanced Remanufacturing and Technology Centre (ARTC), Agency for Science, Technology and Research (A*STAR)(先进再制造与技术中心,新加坡科技研究局);Nanyang Technological University(南洋理工大学)
提出融合YOLOv11-OBB与轻量级VLM的混合框架,从2D工程图纸中检测并解析制造注释;在1,367张机械图纸上验证,Donut取得93.5% F1。
2025-09-28 cs.AI cs.CV cs.IR
Behavioral Augmentation of UML Class Diagrams: An Empirical Study of Large Language Models for Method Generation
Chahid Cheikh Laarbi Tebessi University(切希德·谢赫·拉尔比·泰贝萨大学)
本研究评估九个大型语言模型在利用21个废物管理用例增强无方法UML类图(21类17关系)生成90个图表(3373方法)中的表现,发现LLMs能生成符合规范且命名一致的方法,支持敏捷设计,但注解与签名的不一致性仍需人工监督与提示工程改进。
2025-06-01 cs.AI cs.SE
Interactive Evaluation of Large Language Models for Multi-Requirement Software Engineering Tasks
针对静态基准的不足,提出基于需求依赖图和面试官提示的交互式评估框架,在DevAI基准上验证,揭示LLM在多需求编程任务中的优势与弱点,强调动态评估的重要性。
2025-08-26 cs.AI
Prompting Implicit Discourse Relation Annotation
Saarland University(萨尔大学);Utrecht University(乌得勒支大学)
本研究探讨多种提示技术以提升ChatGPT在隐式话语关系分类中的表现,但实验显示即使分解任务和复杂提示,准确率仍无显著提升,表明该任务在零样本或少样本下尚难解决。
2024-02-07 cs.AI cs.CL
LinguistAgent Technical Report: A Reflective Multi-Model Platform for Automated Linguistic Annotation
University of Birmingham(伯明翰大学)
LinguistAgent通过反思多模型架构实现自动化语言标注,采用双代理工作流程模拟同行评审,支持多种标注范式并提供实时评估。
2026-07-22 cs.AI cs.CL cs.MA
Context-Aware Mapping of 2D Drawing Annotations to 3D CAD Features Using LLM-Assisted Reasoning for Manufacturing Automation
Singapore Institute of Manufacturing Technology (SIMTech), A*STAR, Singapore(新加坡制造技术研究所);Advanced Remanufacturing and Technology Centre (ARTC), A*STAR, Singapore(先进再制造与技术中心);School of Mechanical and Aerospace Engineering, Nanyang Technological University(机械与航空航天工程学院)
本文提出一种基于LLM辅助推理的上下文感知框架,实现2D绘图注释到3D CAD特征的映射,提升制造自动化精度和可靠性。
2026-02-24 cs.AI cs.CE
The Differential Reasoning Router: Operationalizing Cost-Aware LLM Annotation in E-commerce
Wayfair
该研究针对电商LLM标注冷启动问题,提出DRR框架,通过联合优化模型选择与人工升级实现自适应路由,在保持准确率的同时节约60%以上推理令牌成本。
2026-09-01 cs.AI cs.CL
Engineering Serendipity through Recommendations of Items with Atypical Aspects
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
本文提出通过推荐具有非典型方面的物品来设计偶然性的新任务,构建基于LLM的系统提取非典型方面并重排序推荐列表,实验证明其排名与真实排名高度相关。
2025-05-29 cs.AI cs.IR
Magic Words or Methodical Work? Challenging Conventional Wisdom in LLM-Based Political Text Annotation
University College Dublin(都柏林大学);University of Groningen(格罗宁根大学)
本文通过控制实验检验了政治科学文本标注中模型选择、大小、学习方法和提示风格的交互影响,发现方法论主导因素影响显著,传统最佳实践在受控比较中并不稳固。
2026-03-31 cs.AI cs.CL cs.LG
MedPromptExtract (Medical Data Extraction Tool): Anonymization and Hi-fidelity Automated data extraction using NLP and prompt engineering
Indian Institute of Technology, Bombay(印度理工学院孟买分校);Sardar Patel Institute of Technology(萨达尔·帕特尔技术学院);Kokilaben Dhirubhai Ambani Hospital and Medical Research Institute(科基拉本·迪鲁巴伊·安巴尼医院与医学研究所)
提出 MedPromptExtract,结合 EIGEN 匿名化、NLP 与基于 Gemini Pro 的 LLM 提示工程,从 AKI 出院小结中高保真提取十二个临床特征。
2024-09-06 cs.AI cs.IR
DrawingVQA: A Real-World Benchmark for Multi-Depth Visual-Textual Reasoning on Construction Drawings
Louisiana State University(路易斯安那州立大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
DrawingVQA针对建筑图纸多深度视觉文本推理设计基准测试,利用图纸与问答对,提出双分类框架评估模型,揭示模型与专家表现差距,为领域特定多模态推理及AI与工程工作流程整合奠定基础。
2026-07-20 cs.AI cs.CV
TopicTag: Automatic Annotation of NMF Topic Models Using Chain of Thought and Prompt Tuning with LLMs
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Advanced Research in Cyber Systems(网络系统高级研究中心);Theoretical Division(理论部)
本文提出TopicTag方法,利用NMFk输出和提示工程驱动LLMs,自动为NMF聚类文档生成主题标签,在3.4万篇摘要上验证了其有效性。
2024-07-29 cs.AI cs.CL cs.LG
Metaphor identification using large language models: A comparison of RAG, prompt engineering, and fine-tuning
Department of Linguistics and Communication(语言学与传播学系);University of Birmingham(伯明翰大学);Centre for Arts, Memory & Communities(艺术、记忆与社区中心);Coventry University(考文垂大学)
本研究对比了检索增强生成、提示工程(含零样本、少样本、思维链策略)、微调三种大语言模型方法在全文隐喻识别任务中的表现,发现闭源大模型微调后中位F1达0.79,可部分自动化隐喻识别并支撑相关理论与协议完善。
2025-10-01 cs.AI cs.CL
Harnessing LLMs for Automated Video Content Analysis: An Exploratory Workflow of Short Videos on Depression
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Institute of High Performance Computing (IHPC), A*STAR(高性能计算研究所(A*STAR));Pennsylvania State University(宾夕法尼亚州立大学);Clark University(克拉克大学);Columbia University(哥伦比亚大学)
本研究提出了一种LLM辅助的多模态内容分析工作流,通过对25个抑郁症短视频的203个关键帧进行标注实验,验证了LLM在视频内容分析中的潜力与局限,并探讨了未来研究的机遇与伦理挑战。
2024-07-29 cs.AI cs.CY cs.HC
AECV-Bench: Benchmarking Multimodal Models on Architectural and Engineering Drawings Understanding
AECFoundry;University of New South Wales(新南威尔士大学)
AECV-Bench评估多模态模型在建筑图纸理解上的能力,发现OCR和文本问答表现最佳,但符号理解尤其是门窗计数仍存在较大误差,需改进领域特定表示和人机协作流程。
2026-01-08 cs.AI
Air Traffic Control Using Large Language Models: Prompt Engineering, Architecture, and Evaluation
The George Washington University(乔治华盛顿大学);California Institute of Technology(加州理工学院);University of California, Berkeley(加州大学伯克利分校)
该研究针对ATC仍以人工为主的问题,设计5种提示结构并在9种LLMs上实验,发现简洁提示表现最佳,注入正确历史可修复脚本严格提示的错误,明确了LLM辅助ATC的路径与局限。
2026-08-27 cs.AI
GPT Assisted Annotation of Rhetorical and Linguistic Features for Interpretable Propaganda Technique Detection in News Text
Technological University Dublin(都柏林理工大学);SFI Centre for Research Training in Machine Learning(SFI机器学习研究培训中心);School of Computer Science(计算机学院);Artificial Intelligence and Cognitive Load Research Lab(人工智能与认知负荷研究实验室)
本研究将22种修辞语言特征编码并借助RhetAnn工具人工标注,结合GPT-3.5微调实现低成本可解释宣传技巧检测,效果媲美GPT-4且成本降低十倍。
2024-07-16 cs.AI cs.CL
GeoBiked: A Dataset with Geometric Features and Automated Labeling Techniques to Enable Deep Generative Models in Engineering Design
BMW Group(宝马集团);University of Augsburg(奥格斯堡大学)
GeoBiked 数据集含 4,355 张标注自行车图像,利用超特征检测几何对应和 GPT-4o 生成描述,实现自动标注,为工程设计中的深度生成模型提供支持。
2025-05-22 cs.AI cs.CV
Creative Quality Alignment: Expert Tacit Knowledge Transfer via Chain-of-Thought Fine-Tuning
本文通过低数据成本和小基模型的严格工程条件,实证验证了校准惊喜中的创意质量度量,并发现数据偏差,提出创意质量对齐方法及理论解释。
2026-05-25 cs.AI cs.CL cs.LG
MUSE: Benchmarking Assembly Structure and Interface Geometry in Multi-Component Text-to-CAD Generation
The Hong Kong Polytechnic University(香港理工大学);Curvature Flow Co., Limited(曲率流有限公司)
提出MUSE基准,通过三阶段评估协议(代码检查、几何检查、设计意图对齐)和基于规则的语言模型评判,衡量文本到CAD生成模型在功能、制造和装配方面的实际设计质量。
2026-10-20 cs.AI
Linear Cross-document Event Coreference Resolution with X-AMR
University of Colorado(科罗拉多大学);University of Washington(华盛顿大学)
针对事件共指消解任务成本高、大语言模型应用代价大的问题,研究提出事件图形表示X-AMR与多跳共指线性化算法,构建标注数据集并评估GPT-4在该任务上的表现与局限,推动高效事件共指消解技术发展。
2024-03-25 cs.AI cs.CL
Large Language Models for Oral History Understanding with Text Classification and Sentiment Analysis
University of North Texas(北卡罗来纳州立大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一个可扩展的框架,利用 LLMs 自动化日裔美国人监禁口述历史的语义和情感标注,通过多阶段方法评估多种模型与提示策略,证明 LLMs 能有效处理大规模敏感档案,为数字人文领域提供了可复用的标注流程与实践指导。
2025-08-08 cs.AI cs.CL
Skywork-SWE: Unveiling Data Scaling Laws for Software Engineering in LLMs
Skywork-SWE: Unveiling Data Scaling Laws for Software Engineering in LLMs(Skywork-SWE:揭示软件工程中大语言模型的数据扩展规律)
本文提出自动化数据整理流程,构建含10,169个实例的SWE数据集,微调Skywork-SWE模型,发现数据缩放定律,性能随数据量持续提升,在SWE-bench上达38%和47%的准确率,创SOTA。
2025-06-24 cs.AI cs.CL
Fine-Tuning Vision-Language Model for Automated Engineering Drawing Information Extraction
Singapore Institute of Manufacturing Technology (SIMTech), Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局(A*STAR)新加坡制造技术研究院(SIMTech));Advanced Remanufacturing and Technology Centre (ARTC), Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局(A*STAR)先进再制造与技术中心(ARTC));Nanyang Technological University(南洋理工大学)
本研究通过微调开源视觉-语言模型Florence-2,实现自动化GD&T信息提取,在精确率、召回率、F1分数和幻觉率上均显著优于闭源模型GPT-4o和Claude-3.5-Sonnet,为制造领域提供了高效实用的解决方案。
2024-11-06 cs.AI cs.CV
LLM-as-a-Fuzzy-Judge: Fine-Tuning Large Language Models as a Clinical Evaluation Judge with Fuzzy Logic
University of Cincinnati(辛辛那提大学)
针对医学教育中临床技能自动化评估难与医生主观偏好对齐的问题,提出结合模糊逻辑微调LLM的LLM-as-a-Fuzzy-Judge方法,实现超80%的整体准确率及超90%的主要项准确率,推动医学教育自动化评估发展。
2025-06-12 cs.AI cs.CL cs.LO
LLM-assisted Labeling Function Generation for Semantic Type Detection
Illinois Institute of Technology(伊利诺伊理工学院);Megagon Labs(美高拱实验室)
针对数据湖表语义类型检测中人工标注困难的问题,提出利用LLMs生成标注函数并结合提示工程策略,在真实数据集上实验验证并提供了经验见解。
2024-08-28 cs.AI cs.DB
reAnalyst: Scalable Annotation of Reverse Engineering Activities
本文提出 reAnalyst 框架,通过跨工具采集截图、按键和进程等数据并进行半自动标注,解决逆向工程研究中人工收集与主观分析的问题,实验和调查验证了其识别能力、可接受性与实用性。
2025-03-15 cs.SE
Integrating the Common Variability Language with Multilanguage Annotations for Web Engineering
Web应用程序开发涉及管理以不同语言实现的高度多样性的文件和资源,如代码,页面或样式表。为了处理Web应用程序定制配置的自动生成,工业界通常采用基于注释的方法,尽管大多数研究鼓励使用基于组合的方法来实现软件产品线。最近的工作试图将这两种方法结合起来,以获得互补的好处。然而,技术公司不愿意采用新的开发范式,如面向功能的编程或面向方面的编程。此外,将这些编程模型应用于Web应用程序是极其困难的,甚至是不可能的,主要是因为它们的多语言特性,因为它们的开发涉及多种类型的源代码(Java,Groovy,JavaScript),模板(HTML,Markdown,XML),样式表文件(CSS及其变体,如SCSS)和其他文件(JSON,YML,shell脚本)。我们建议使用通用可变性语言作为一种基于组合的方法,并集成注释来管理Web应用程序的软件产品线的细粒度可变性。在本文中,我们(一)表明,现有的组合和基于注释的方法,包括一些著名的组合,是不适合建模和实现的Web应用程序的可变性;(二)提出了一种组合的方法,有效地集成到一个基于组合的方法为Web应用程序的注释。我们实现我们的方法,并显示其适用性与工业现实世界的系统。
2020-01-15 cs.SE
Can LLMs Replace Manual Annotation of Software Engineering Artifacts?
University of California, Davis(加州大学戴维斯分校);IBM Research(IBM研究院);Singapore Management University(新加坡管理大学);University of Stuttgart(斯图加特大学)
本文研究用大语言模型替代软件工程评估中昂贵的人类标注,通过在多个标注任务上验证LLM与人类评分者一致性接近,并提出模型间一致性和置信度作为选择依据,为混合评估奠定基础。
2025-02-04 cs.HC cs.LG cs.SE
A German Gold-Standard Dataset for Sentiment Analysis in Software Engineering
本文构建了首个德语软件工程情感分析金标准数据集,含5,949条开发者陈述及六类情感标注,验证了其可靠性与领域缺口。
2025-07-09 cs.SE
A Gold Standard for Emotion Annotation in Stack Overflow
软件开发人员在丰富的通信渠道生态系统中体验和分享各种各样的情感。在经验软件工程研究中出现的一个最近的趋势是利用对开发人员通信痕迹的情感分析。我们从Stack Overflow发布了一个包含4,800个问题、答案和评论的数据集,并手动注释了情绪。我们的数据集有助于建立一个共享的注释资源语料库,以支持软件开发中的情感意识研究。
2018-03-06 cs.SE
Sentiment analysis for software engineering: How far can zero-shot learning (ZSL) go?
Reem Alfayez;Manal Binkhonain
本研究探讨了零样本学习在软件工程情感分析中的潜力,通过实验评估不同ZSL技术的效果,并发现结合专家标注标签与嵌入或生成模型的方法可达到与微调Transformer模型相当的性能。
2026-04-15 cs.AI cs.SE
Characterizing the Usage, Evolution and Impact of Java Annotations in Practice
注释自Java 5开始正式引入Java。从那时起,注释被Java社区广泛用于不同的目的,例如编译器指导和运行时处理。尽管使用不断增长,但关于注释在实践中的实际使用,软件演化期间对注释的更改以及注释对代码质量的潜在影响的经验知识仍然有限。为了填补这一空白,我们对GitHub上托管的1,094个著名开源项目进行了第一次关于Java注释的大规模实证研究。我们的研究系统地调查了注释的使用,注释的演变和注释的影响,并产生了10个新的和重要的发现。我们还提出了我们的研究结果的影响,为开发人员,研究人员,工具构建者,语言或库设计人员,以改善Java注释工程的各个方面。
2019-04-05 cs.PL cs.SE
CodeLabeller: A Web-based Code Annotation Tool for Java Design Patterns and Summaries
在构建监督学习模型时,我们需要标记的示例来构建语料库并训练机器学习模型。然而,大多数研究都是手动构建标记数据集,这在许多情况下是一项艰巨的任务。为了缓解这个问题,我们构建了一个名为CodeLabeller的在线工具。CodeLabeller是一个基于Web的工具,旨在通过改进整个数据汇集过程,提供一种有效的方法来处理大规模监督学习方法的标记源代码文件的过程。CodeLabeller的测试方法是构建一个包含一千多个源文件的语料库,这些源文件是从大量的开源Java项目中获得的,并使用它们各自的设计模式和摘要对每个Java源文件进行标记。软件工程领域的25位专家使用标准用户体验问卷在线调查参与了工具的可用性评估。调查结果表明,该工具在特征质量和语用质量上均达到Good标准,使用方便,满足了监督分类器标注语料的需求。除了帮助研究人员众包标记的数据集,该工具在软件工程教育中具有实用性,并有助于建立软件人工制品的专家评级。
2023-03-13 cs.SE
Building Collaborative Learning: Exploring Social Annotation in Introductory Programming
本研究在软件工程本科入门编程课中用Perusall开展社会标注预习实践,发现参与标注的学生通过率达81%且随作业量增加上升,未参与者仅56%通过,学生普遍认可该工具并提升了学科兴趣。
2024-06-17 cs.CY cs.SE
Engineering Human Values in Software through Value Programming
在软件开发中忽视人的价值观可能会违背用户的价值观,并在软件中引入偏见,从而使用户处于不利地位。这可以通过告知开发人员他们的选择的价值含义并主动考虑软件中的人类价值来缓解。为此,我们提出了价值编程的概念,它有三个原则:(P1)注释源代码和相关的工件;(P2)检查源代码以检测导致软件中的偏差和价值违背的条件,即,(P3)提出建议,以减轻偏见和价值违规。为了促进价值编程,我们提出了一个框架,允许自动注释的软件代码相对于人类的价值观。所提出的框架为检查代码中的人类价值并提出建议以克服软件中的偏见和价值违规奠定了坚实的基础。
2020-03-10 cs.SE
Privacy Policy Analysis through Prompt Engineering for LLMs
SINTEF(辛泰夫研究院)
本文提出PAPEL框架,利用LLMs和提示工程自动化分析隐私政策,通过零样本、少样本及思维链提示实现信息提取、标注与摘要,在OPP-115基准上F1达0.8以上,减少训练需求并提升适应性。
2024-09-23 cs.CL cs.CY cs.SE
SEMODS: A Validated Dataset of Open-Source Software Engineering Models
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
SEMODS是一个包含3427个经过验证的开源软件工程模型的数据集,通过自动收集和人工标注结合大语言模型辅助,为软件开发生命周期中的任务提供标准化评估结果支持多种应用。
2026-01-02 cs.SE
Evaluating Non-English Developer Support in Machine Learning for Software Engineering
Delft University of Technology(代尔夫特理工大学)
研究评估非英语代码注释生成及现有评估方法的可靠性,发现非英语环境下生成性能显著下降,自动评估方法无法可靠区分正确与错误注释。
2026-05-07 cs.SE
SWE-Mutation: Can LLMs Generate Reliable Test Suites in Software Engineering?
State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室);University of Science and Technology of China(中国科学技术大学);Beihang University(北航);School of Mathematical Sciences, Peking University(北京大学数学科学学院);NeoShell AI;Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
本文提出SWE-Mutation基准,用于评估LLM生成的测试套件质量,通过系统性地变异解决方案来测试测试套件的可靠性,并发现当前LLM在生成可靠且具有判别力的测试套件方面存在不足。
2026-05-21 cs.AI cs.SE
Annotation-Based Static Analysis for Personal Data Protection
本文阐述了静态源代码分析在数据保护环境中的使用。该主题对于软件工程非常重要,以便软件开发人员在软件开发过程中改善对个人数据的保护。为此,本文提出了一种注释类和函数的设计,处理个人数据。该设计有两个主要目的:一方面,它为软件开发人员提供了记录其意图的方法;另一方面,它提供了自动检测潜在违规行为的工具。这种双重理由有助于遵守《通用数据保护条例》(GDPR)和其他新兴的数据保护和隐私法规。除了简要回顾数据保护背景下的静态分析的最新技术和所提出的分析方法的设计外,还介绍了一种具体的工具来演示Java程序设计语言的实际实现。
2020-03-22 cs.SE
Prompt Quality and Pull Request Outcomes: A Stage-Based Empirical Study of LLM-Assisted Development
University of Nevada Las Vegas(内华达大学拉斯维加斯分校)
通过分析265个开发者与ChatGPT的交互,研究提示结构(上下文、具体性、验证)对LLM辅助开发中代码生成、采纳和集成深度的影响,发现不同维度在不同阶段有不同作用。
2026-06-19 cs.SE
When Abstraction Breaks Physics: Rethinking Modular Design in Quantum Software
Kyushu University(九州大学)
本文探讨了量子软件中抽象与物理约束的冲突,提出基于量子语义的模块设计原则及新型类型系统等研究方向。
2026-01-20 cs.SE quant-ph
Combating Toxic Language: A Review of LLM-Based Strategies for Software Engineering
本文综述了基于大语言模型的软件工程中对抗有毒语言的策略,评估了检测、预处理和缓解方法,并通过实验验证了LLM重写在减少毒性中的有效性。
2026-01-20 cs.LG cs.SE
Engineering Pitfalls in AI Coding Tools: An Empirical Study of Bugs in Claude Code, Codex, and Gemini CLI
York University(约克大学);Concordia University(康考迪亚大学)
本文通过分析超过3800个公开报告的bug,揭示了构建AI编码工具中的常见故障模式和工程挑战,发现功能相关bug占比超67%,主要症状包括API错误、终端问题和命令失败。
2026-03-21 cs.SE
ArduCode: Predictive Framework for Automation Engineering
Siemens Corporate Technology(西门子企业技术);USC Information Sciences Institute(南加州大学信息科学研究所)
自动化工程是通过软件集成各种传感器,执行器和控制以实现现实世界过程自动化的任务。今天,自动化工程由一套软件工具支持,包括集成开发环境(IDE),硬件配置器,编译器和运行时。这些工具专注于自动化代码本身,但让自动化工程师在他们的决策过程中无人协助。这可能导致软件开发时间增加,因为决策的不完善导致软件和硬件之间的多次迭代。为了解决这个问题,本文定义了自动化工程中经常面临的多种挑战,并提出了使用机器学习的解决方案,以帮助工程师应对这些挑战。我们表明,可以利用机器学习来帮助自动化工程师对自动化进行分类,查找类似的代码片段,并对传感器和执行器的硬件选择进行推理。我们在两个真实的数据集上验证了我们的架构,其中包括2,927个Arduino项目和683个可编程逻辑控制器(PLC)项目。我们的研究结果表明,段落嵌入技术可以用于使用代码片段进行自动化分类,其精度接近人类注释,F1得分为72%。此外,我们表明,这样的嵌入技术可以帮助我们找到类似的代码片段,具有高精度。最后,我们使用自动编码器模型进行硬件推荐,并实现了0.79的p@3和0.95的p@5。
2020-07-07 cs.LG cs.SE stat.ML
An Empirical Study of Deep Learning Sentiment Detection Tools for Software Engineering in Cross-Platform Settings
软件工程(SE)中的情感检测已经显示出支持各种开发活动的前景。然而,鉴于SE平台的多样性,SE特定的情感检测工具在跨平台设置中的性能可能会受到影响。最近,发现基于深度学习(DL)的特定于SE的情感检测工具比基于浅机器学习(ML)/基于规则的工具提供更好的性能。然而,目前还不知道DL工具在跨平台设置中的性能如何。在本文中,我们研究了在跨平台设置中,特定于SE的DL情感检测器是否比基于ML/基于规则的浅情感检测器更有效。在三个数据集中,我们研究了三种DL工具(SentiMoji,BERT 4SentiSE,RNN 4SentiSE),并将其与三种基线进行比较:两种浅层学习工具(Senti 4SD,SentiCR)和一种基于规则的工具(SentistrengthSE)。我们发现(1)SE的深度学习SD工具BERT 4SentiSE在大多数情况下在跨平台设置中优于其他监督工具,但在大多数情况下,该工具优于基于规则的工具SentistrengthSE。(2)BERT 4SentiSE在三个数据集的平台内设置中大幅优于SentistrengthSE,并且在六个跨平台设置中的四个中仅略优于SentiStrengthSE。这一发现为在跨平台设置中进一步改进预训练的Transformer模型(如BERT 4SentiSE)提供了希望。(3)两个表现最好的深度学习工具(BERT 4SentiSE和Se…
2023-01-17 cs.SE
Benchmarking and Evaluating VLMs for Software Architecture Diagram Understanding
King’s College London(伦敦国王学院);British Telecom(英国电信)
本文提出SADU基准,评估VLMs在理解软件架构图作为结构化软件工程制品上的能力,揭示当前模型在图表推理和视觉关系定位方面的不足。
2026-04-05 cs.SE
Assessment of Off-the-Shelf SE-specific Sentiment Analysis Tools: An Extended Replication Study
情感分析方法在调查人类交流中已经变得流行,包括与软件项目相关的讨论。由于通用情感分析工具不能很好地适应软件开发人员交换的信息,因此已经开发了专用于软件工程(SE)的新工具。我们调查在何种程度上SE特定的情感分析工具减轻了威胁,实证研究的结论有效性在软件工程,突出了以前的研究。首先,我们复制了两项研究,探讨情绪在GitHub上的安全讨论和在Stack Overflow上的问题写作中的作用。然后,我们扩展了以前的研究,评估在何种程度上的工具同意彼此和手动注释的黄金标准的600个文件。我们发现,不同的SE特定的情感分析工具可能会导致矛盾的结果,在细粒度的水平,当使用“现成的”。相反,可能需要进行特定于平台的调优或重新训练,以考虑平台约定、行话或文档长度的差异。
2021-02-19 cs.SE
Which Programming Language and Model Work Best With LLM-as-a-Judge For Code Retrieval?
Independent Researcher(独立研究者);New York University(纽约大学)
本研究针对代码搜索人工标注成本高的问题,对比不同检索表示、编程语言与LLM-as-a-Judge模型的适配性,提出用转译器构建多语言代码基准,验证了人工与AI判定一致性可达最差人-人一致水平。
2025-09-30 cs.IR cs.LG cs.SE