A Tool for In-depth Analysis of Code Execution Reasoning of Large Language Models
本文提出了ExeRScope工具,通过分析代码执行推理框架的结果,深入理解代码属性对LLM代码执行推理的影响,使分析能推广到相似代码,避免繁琐的基准设计。
2025-01-30 cs.SE
MAP: A Map-then-Act Paradigm for Long-Horizon Interactive Agent Reasoning
University of Science and Technology of China(中国科学技术大学);Meituan(美团);Institution of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Tianjin University(天津大学)
本文提出MAP范式,通过先构建环境认知再执行任务,解决交互代理中环境感知延迟问题,实验显示在多个基准测试中表现优异。
2026-05-13 cs.AI
CodeCrash: Exposing LLM Fragility to Misleading Natural Language in Code Reasoning
The Chinese University of Hong Kong(香港中文大学);Johns Hopkins University(约翰霍普金斯大学)
提出压力测试框架CodeCrash,评估17个LLM在结构扰动和误导性自然语言下的代码推理鲁棒性,发现模型过度依赖自然语言线索导致性能显著下降,并揭示了大型推理模型在错误提示下因病态自我反思引发的推理崩溃现象。
2025-10-11 cs.AI cs.SE
ESPIRE: A Diagnostic Benchmark for Embodied Spatial Reasoning of Vision-Language Models
State Key Laboratory of General Artificial Intelligence(通用人工智能国家重点实验室)
本文提出ESPIRE基准,通过模拟环境评估视觉-语言模型在具身空间推理中的表现,改进了传统评估方法,实现了更细致的推理与行动分析。
2026-03-13 cs.CV cs.LG cs.RO
StepCodeReasoner: Aligning Code Reasoning with Stepwise Execution Traces via Reinforcement Learning
Beihang University, Beijing, China(北京航空航天大学);Peking University, Beijing, China(北京大学);Zhongguancun Laboratory, Beijing, China(中关村实验室);King's College London, United Kingdom(伦敦国王学院)
本文提出StepCodeReasoner框架,通过引入显式的中间执行状态监督,将代码推理转化为可验证的分步执行建模问题,并通过Bi-Level GRPO算法提升结构化信用分配,实验表明其在代码推理和生成任务中均优于现有方法。
2026-05-12 cs.CL cs.SE
STEPWISE-CODEX-Bench: Evaluating Complex Multi-Function Comprehension and Fine-Grained Execution Reasoning
针对现有代码基准饱和问题,提出SX-Bench基准,通过多子函数协作和计算步骤预测评估模型细粒度执行推理,实验显示其高区分性,推动代码评估向动态推理发展。
2025-08-07 cs.SE
Are Large Language Models Robust in Understanding Code Against Semantics-Preserving Mutations?
Department of Computer Science University of Oxford(计算机科学系牛津大学)
本文评估了大型语言模型在Python程序上的推理能力,通过五种语义保持的代码变异测试,发现模型在语义变换下表现出显著的脆弱性,正确预测基于 flawed reasoning 的比例在10%-50%之间,且预测稳定性差。
2026-05-07 cs.AI cs.SE
Generating Verifiable Chain of Thoughts from Exection-Traces
IBM Research, India(印度IBM研究院);IBM Research, Japan(日本IBM研究院)
本文提出通过生成执行轨迹验证的推理链,提升模型在代码推理和生成中的准确性,实验显示验证质量显著提升模型性能。
2026-04-27 cs.AI cs.PL cs.SE
Towards Structured, State-Aware, and Execution-Grounded Reasoning for Software Engineering Agents
Concordia University(康科德大学)
本文提出通过结构化、状态感知和执行导向的推理方法,提升软件工程代理在长周期任务中的推理能力和可靠性。
2026-02-04 cs.AI cs.SE
The Path Not Taken: Duality in Reasoning about Program Execution
Department of Computer Science, University of Central Florida(中央佛罗里达大学计算机科学系)
本文提出通过双重推理任务评估程序执行的因果理解,提出DexBench基准测试集,评估13种LLM,证明双路径推理能有效提升动态代码理解能力。
2026-04-22 cs.AI cs.CL cs.LG
Reasoning Through Execution: Unifying Process and Outcome Rewards for Code Generation
Peking University(北京大学);William & Mary(威廉与玛丽学院)
本文提出 ORPS,利用可执行验证、树搜索与融合运行时反馈的自我批判评分统一过程和结果监督,在多模型多基准上显著提升代码正确性与效率。
2025-06-06 cs.AI cs.CL cs.LG
VisualCoder: Guiding Large Language Models in Code Execution with Fine-grained Multimodal Chain-of-Thought Reasoning
VisualCoder 通过将多模态思维链推理与可视化控制流图对齐,并引入引用机制保证代码与执行路径一致,从而提升大语言模型在程序行为预测、错误检测和输出生成上的表现。
2025-02-09 cs.SE
Benchmarking Symbolic Execution Using Constraint Problems -- Initial Results
IIT Kanpur(印度理工学院坎普尔分校);National University of Singapore(新加坡国立大学)
符号执行是一种功能强大的bug发现和程序测试技术。它可以成功地发现真实代码中的bug。核心推理技术使用约束求解、路径探索和搜索,这些也是用于解决组合问题的相同技术,例如,有限域约束满足问题。我们提出CSP实例作为更具挑战性的基准来评估符号执行中核心技术的有效性。我们将CSP基准转换为适合测试符号执行工具的推理能力的C程序。从一个单一的CSP P,我们转换P取决于转换选择到不同的C程序。使用KLEE、Tracer-X和LLBMC工具进行的初步测试显示,转换和求解器选择在运行时存在很大差异。我们的C基准测试有效地显示了现有符号执行工具的局限性。这项工作的动机是,我们相信这种形式的基准可以刺激符号执行引擎中改进的核心推理的开发和工程。
2020-01-22 cs.AI cs.SE
Assessing Coherency and Consistency of Code Execution Reasoning by Large Language Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出CES任务,评估大语言模型在模拟程序执行和编程任务中的推理能力,引入连贯性概念以判断执行逻辑是否符合常识,提出新的度量标准以衡量推理一致性,发现LLM在编程任务中存在路径敏感分析的不足。
2026-04-07 cs.SE
Can Large Language Models Reason About Complex Execution Paths? An Empirical Study on Python
Institute for Software Chinese Academy of Sciences(中国科学院软件研究所);Peking University(北京大学);University of Alberta(阿尔伯塔大学);The University of Tokyo(东京大学)
本文实证研究大型语言模型在Python执行路径推理中的可行性,构建测试用例生成和缺陷分类任务,发现LLM能提升路径覆盖率,但强推理模型不一定优于弱模型。
2026-06-19 cs.SE
ExecVerify: White-Box RL with Verifiable Stepwise Rewards for Code Execution Reasoning
The State Key Laboratory of Blockchain and Data Security, Zhejiang University(浙江大学区块链与数据安全全国重点实验室);University College London(伦敦大学学院)
ExecVerify通过可验证的白盒奖励提升代码执行推理和生成性能
2026-03-11 cs.SE
Reasoning Provenance for Autonomous AI Agents: Structured Behavioral Analytics Beyond State Checkpoints and Execution Traces
Oracle Cloud Infrastructure(甲骨文云基础设施)
本文提出Agent Execution Record(AER),通过结构化推理溯源记录代理每个动作的选择原因、观察结论及策略影响,支持群体层面的行为分析与反事实测试。
2026-04-10 cs.AI cs.DC cs.SE
Demystifying Errors in LLM Reasoning Traces: An Empirical Study of Code Execution Simulation
York University(约克大学);Concordia University(康考迪亚大学)
本研究通过实证分析揭示LLM推理轨迹中的错误类型,开发了九类错误分类体系,并展示工具增强推理可有效提升LLM的推理能力。
2025-11-28 cs.SE
Towards Symbolic Pointers Reasoning in Dynamic Symbolic Execution
动态符号执行是一种广泛用于自动化软件测试的技术,旨在探索执行路径和检测程序错误。一个混合的方法最近变得普遍,当符号执行的主要目标是帮助模糊增加程序的覆盖率。符号执行器可以反转的分支越多,它对模糊器就越有用。程序控制流通常依赖于内存值,这些内存值是通过从用户输入计算地址索引而获得的。然而,大多数DSE工具不支持这种依赖关系,因此它们会错过一些所需的程序分支。我们实现了符号地址推理的内存读取在我们的动态符号执行工具Sydr。可能的存储器访问区域是通过分析存储器地址符号表达式,或二进制搜索与SMT求解器确定。我们提出了一种增强的线性化技术来模拟内存访问。在程序集上比较了不同的内存建模方法。我们的评估表明,符号地址处理允许发现新的符号分支,并增加程序覆盖率。
2022-03-22 cs.CR cs.SE
Initial Steps in Integrating Large Reasoning and Action Models for Service Composition
University of Stuttgart(斯图加特大学)
针对服务组合中推理与执行割裂的问题,论文提出整合LRM与LAM的架构框架,以实现由自然语言意图驱动的自动化服务推理与动态工作流执行。
2025-07-24 cs.AI cs.SE
FlowMind: Execute-Summarize for Structured Workflow Generation from LLM Reasoning
Peking University(北京大学);East China University of Technology(东华大学);National Key Laboratory of Data Space Technology and System(数据空间技术与系统国家重点实验室)
FlowMind通过执行-总结框架将LLM推理转化为结构化工作流,提高工作流的准确性和鲁棒性。
2026-02-12 cs.AI cs.SE
Execution-State-Aware LLM Reasoning for Automated Proof-of-Vulnerability Generation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
DrillAgent通过结合LLM语义推理与执行状态反馈,实现自动化漏洞证明生成,显著提升漏洞检测效率。
2026-02-14 cs.CR cs.SE
Agentic Code Reasoning
Meta, USA(Meta公司)
本文提出半形式推理方法,通过结构化提示提升代理在代码补丁验证、故障定位和问答任务中的准确性,实现无需执行的代码语义分析。
2026-03-04 cs.AI cs.PL cs.SE
Automating Android Build Repair: Bridging the Reasoning-Execution Gap in LLM Agents with Domain-Specific Tools
University of California, Davis(加州大学戴维斯分校);CodeDroid LLC(CodeDroid有限责任公司)
本文提出AndroidBuildBench基准和GradleFixer工具,通过领域特定抽象提升LLM修复Android构建错误的效率,解决LLM在低层执行中的不足。
2026-04-01 cs.AI cs.SE
CoRE: A Fine-Grained Code Reasoning Benchmark Beyond Output Prediction
School of Software Technology, Zhejiang University(浙江大学软件学院);Chinese University of Hong Kong(香港中文大学);Fudan University(复旦大学);Yale University(耶鲁大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新区(滨江)区块链与数据安全研究所)
CoRE基准通过实现不变性和过程透明性评估代码推理,揭示大语言模型在等价实现间存在显著鲁棒性差距,并发现模型可能通过表面执行达到正确输出,表明仅评估输出不足以衡量代码推理能力。
2026-04-28 cs.SE
An Execution-Verified Multi-Language Benchmark for Code Semantic Reasoning
Singapore Management University(新加坡管理大学);Monash University(墨尔本大学);Nanjing University of Science and Technology(南京理工大学);GovTech Singapore(新加坡政府科技局)
本文提出TraceEval,首个经过执行验证的多语言代码语义推理基准,通过验证执行消除标注偏差,评估10个LLM在零样本下的表现,展示了其在代码语义推理中的有效性。
2026-05-10 cs.AI cs.SE
Cerberus: Multi-Agent Reasoning and Coverage-Guided Exploration for Static Detection of Runtime Errors
University of Texas at Dallas(德克萨斯大学达拉斯分校)
Cerberus通过多智能体推理和覆盖引导探索,实现无执行的运行时错误静态检测,提高测试效率和错误发现能力。
2025-12-24 cs.LG cs.SE
Automated Reasoning and Detection of Specious Configuration in Large Systems with Symbolic Execution
配置错误是系统故障的主要原因。现有的解决方案集中于检测由用户错误引入的无效设置。但是,另一种继续困扰生产服务的错误配置类型是似是而非的配置--设置是有效的,但在生产中会导致意外的低性能。这样的错误配置是微妙的,所以即使是细心的管理员也可能无法预见它们。我们提出了一个工具,称为紫罗兰来检测这种错误配置。我们意识到似是而非的配置的关键是它导致一些缓慢的代码路径被执行,但不总是触发不良的性能影响。因此,Violet采用了一种新的方法,使用选择性符号执行来系统地推理配置参数的性能影响,它们的组合效果以及与输入的关系。Violet输出一个性能影响模型,用于自动检测不良配置设置。我们在四个大型系统上应用了Violet。为了评估Violet的有效性,我们收集了17个真实世界的似是而非的配置情况。维奥莉特发现了15个。Violet还识别了9种未知的似是而非的配置。
2020-10-05 cs.SE
RA-Gen: A Controllable Code Generation Framework Using ReAct for Multi-Agent Task Execution
School of Electronic and Computer Engineering, Peking University(电子与计算机工程学院,北京大学);Guangdong Provincial Key Laboratory of Ultra High Definition Immersive Media Technology(超高清沉浸媒体技术省重点实验室);Shenzhen Graduate School, Peking University(深圳研究生院,北京大学);Shenzhen International Graduate School, Tsinghua University(深圳国际研究生院,清华大学)
提出RA-Gen,一个基于ReAct的多智能体代码生成框架,通过规划、搜索、生成和提取四类智能体协作,实现安全可控的代码生成,在SVEN数据集上达到94.8%的安全率。
2025-10-09 cs.AI cs.SE
Do Code Semantics Help? A Comprehensive Study on Execution Trace-Based Information for Code Large Language Models
Singapore Management University(新加坡国立管理学院);Nanyang Technological University(南洋理工大学);Tianjin University(天津大学);State Key Laboratory for Novel Software Technology(新型软件技术国家重点实验室)
本研究提出通用框架将执行轨迹等语义信息集成到代码大语言模型提示中,综合探究其对监督微调和推理后阶段的作用,发现语义信息用处有限,与先前工作结论相悖。
2025-09-24 cs.AI cs.SE
Proving or Disproving likely Invariants with Constraint Reasoning
程序不变式是一种对程序的每次执行都有效的属性。最近的工作建议通过动态分析来推断可能唯一的不变量。可能不变式是一种对某些执行有效但不保证对所有执行有效的属性。在本文中,我们目前正在进行的工作,解决自动验证可能的不变量是实际的不变量的挑战性问题。我们提出了一个基于约束的推理方法,能够,不像其他方法,证明或反驳可能的不变量。在后一种情况下,我们的方法提供了反例。我们说明了一个激励的例子,自动生成的可能不变量进行验证的方法。
2005-08-24 cs.PL cs.SE
Defusing Logic Bombs in Symbolic Execution with LLM-Generated Ghost Code
Key Lab of HCST (PKU), MoE, SCS, Peking University(北京大学信息科学技术学院,复杂系统管理与控制国家重点实验室)
本文提出Gordian框架,通过LLM生成轻量级鬼代码辅助SMT求解器处理对抗性代码,提升覆盖率和效率,减少LLM使用量。
2026-09-08 cs.PL cs.SE
Execution-Anchored Hallucination Calibration Reranking for Verilog Code Generation
State Key Laboratory of Blockchain and Data Security, Zhejiang University(浙江大学区块链与数据安全全国重点实验室);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州国家高新区(滨江)区块链与数据安全研究院);School of Artificial Intelligence and Computer Science, Nantong University(南通大学人工智能与计算机学院);Department of Computer Science, Monash University(蒙纳士大学计算机科学系);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61)
该研究针对LLM生成Verilog代码时的性能问题,提出EAHC重排序框架,通过双通道架构融合执行与推理信号,解决现有方法的域迁移差和推理幻觉问题。
2026-08-25 cs.AR cs.SE
TestWeaver: Execution-aware, Feedback-driven Regression Testing Generation with Large Language Models
FPT Software AI Center(FPT软件人工智能中心);VinUniversity(越南-新加坡大学);Nanyang Tech. University(南洋理工大学);Univ. of Texas at Dallas(德克萨斯大学达拉斯分校)
TestWeaver通过整合轻量级程序分析和针对性执行上下文,提升LLM在回归测试生成中的覆盖率和效率。
2026-01-27 cs.SE
Can LLMs Reason About Runtime Behavior? A Repository-Level Dynamic Benchmark
York University(约克大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出SWE-Flux,一个包含480个实例的仓库级动态执行推理基准,通过自动采集黄金答案评估五个LLM,最佳准确率仅37%,并展示输入扰动可生成更具挑战性的变体。
2026-09-24 cs.AI cs.CL cs.SE
DuET: Dual Execution for Test Output Prediction with Generated Code and Pseudocode
ETRI(韩国电子通信研究院);Seoul National University(首尔大学);SNU-LG AI Research Center(首尔大学-LG人工智能研究中心);LG AI Research(LG人工智能研究院)
本文提出DuET框架,结合生成代码和伪代码执行,通过功能多数投票提升测试输出预测的准确性,实验表明其在LiveCodeBench上达到最优性能,Pass@1提升13.6个百分点。
2026-04-13 cs.CL cs.SE
Do AI Agents Know When a Task Is Simple? Toward Complexity-Aware Reasoning and Execution
研究探讨LLM代理缺乏任务感知执行范围估计能力,提出E3方法,在MSE-Bench基准测试及真实模型工具中验证,该方法能在保证成功率时大幅降低成本,推动迈向工程基础人工智能,还发布了框架和基准。
2026-07-15 cs.AI cs.CL cs.SE
Code Consistency Preference Optimization Verification for Language Model Alignment
University of Chinese Academy of Sciences(中国科学院大学)
提出基于依赖图和执行一致性分数的偏好优化方法,微调Llama-3-8B和DeepSeekMath-7B,在数学推理和物理推理上超越现有模型,形成CCPO模型系列。
2026-09-17 cs.CL cs.SE
CodeReasoner: Enhancing the Code Reasoning Ability with Reinforcement Learning
本文提出 CodeReasoner 框架,通过执行逻辑数据集构建、教师知识指令微调与 GRPO 强化学习,显著提升 LLM 的代码推理与泛化能力。
2025-07-23 cs.SE
Reasoning Runtime Behavior of a Program with LLM: How Far Are We?
School of Software Technology, Zhejiang University(浙江大学软件学院);York University(约克大学);Peking University(北京大学);Zhejiang University(浙江大学)
本文提出REval框架评估代码大模型在程序执行中的推理能力与一致性,实验表明现有模型在运行时行为推理和增量一致性上表现不佳,亟需加强。
2024-09-21 cs.CL cs.SE