代码大模型 / AI 编程

HR-VILAGE-3K3M: A Human Respiratory Viral Immunization Longitudinal Gene Expression Dataset for Systems Immunity

HR-VILAGE-3K3M：用于系统免疫学的人类呼吸道病毒免疫纵向基因表达数据集

Xuejun Sun, Yiran Song, Xiaochen Zhou, Ruilie Cai, Yu Zhang, Xinyi Li, Rui Peng, Jialiu Xie, Yuanyuan Yan, Muyao Tang, Prem Lakshmanane, Baiming Zou, James S. Hagood, Raymond J. Pickles, Didong Li, Fei Zou, Xiaojing Zheng

机构 * Department of Biostatistics University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校生物统计学系） ； Department of Epidemiology and Biostatistics University of South Carolina（南卡罗来纳大学流行病学与生物统计学系） ； Department of Pediatrics University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校儿科系） ； Department of Microbiology and Immunology University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校微生物学与免疫学系） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.LG

AI总结 为解决呼吸道病毒感染研究中转录组数据分散且处理不一致的问题，构建了包含3178名受试者、66项研究的HR-VILAGE-3K3M数据集，整合了疫苗接种、病毒接种和混合暴露的批量及单细胞转录组数据，并进行了统一的预处理和质量控制，以支持生物标志物发现、免疫机制研究和分析方法开发。

On the Road to Personalized Code Intelligence: Portraiting and Assisting Developers Based on Their In-IDE Behaviors

通往个性化代码智能之路：基于IDE内行为的开发者画像与辅助

Yuhong Liu, Yunhe Su, Zhipeng Peng, Zhiwen Luo, Lin Shi, Zhi Jin, Li Zhang

专题命中 代码评测 ：repository(abstract)；分类 cs.SE

AI总结 提出VirtualME数据基础设施，通过捕获和解释开发者在IDE中的动态编程行为，构建四维开发者画像，并集成到问答代理中实现个性化代码智能，实验显示平均提升33.80%。

Comments 23 pages, 6 figures, accepted by FSE`2026

A Minimal Executable Proof for Multi-Language Contract Traceability

多语言合约可追溯性的最小可执行证明

Werner Kasselman

专题命中 代码评测 ：repository(abstract)；分类 cs.SE

AI总结 本文通过一个包含六种语言实现的DAG-TOML合约的最小可执行证明，展示了合约、实现图、可追溯性链和审查门如何通过可执行见证者进行验证。

Comments 8 pages, 0 figures; executable artifact report. Code: https://github.com/verivus-oss/agent-assurance-papers Spec: https://github.com/verivus-oss/agent-assurance

HRBench: Benchmarking and Understanding Thinking-Mode Switch Strategies in Hybrid-Reasoning LLMs

HRBench：混合推理大语言模型中思维模式切换策略的基准测试与理解

Yansong Ning, Mianpeng Liu, Jingwen Ye, Weidong Zhang, Hao Liu

机构 * AI Thrust, The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）人工智能方向） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 提出HRBench统一评估框架，系统研究混合推理LLM中基于提示、外部路由和推测执行三类切换策略在四种训练机制下的效率-效果权衡，揭示策略选择随模型规模和任务领域的变化规律。

Comments Under review

InfoSynth: Information-Guided Benchmark Synthesis for LLMs

InfoSynth: 信息引导的大语言模型基准合成

Ishir Garg, Neel Kolhe, Xuandong Zhao, Dawn Song

机构 * UC Berkeley（加州大学伯克利分校） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL

AI总结 提出基于信息论（KL散度和熵）的InfoSynth框架，自动生成高难度、多样化的Python编程基准，97%的测试用例和解决方案准确。

Hide-and-Shill: A Reinforcement Learning Framework for Market Manipulation Detection in Symphony-a Decentralized Multi-Agent System

Hide-and-Shill：面向交响乐系统中市场操纵检测的强化学习框架——一个去中心化多智能体系统

Ronghua Shi, Yiou Liu, Yuchun Feng, Lynn Ai, Bill Shi, Zhuang Liu

机构 * Department of Information Systems, City University of Hong Kong（香港城市大学信息系统系） ； Business School, University of New South Wales（新南威尔士大学商学院） ； Division of Engineering Science, University of Toronto（多伦多大学工程科学系） ； ProphetAI Data Technology Co., Ltd.（ProphetAI数据技术有限公司） ； Gradient, 3 FRASER STREET DUO TOWER, SINGAPORE（Gradient新加坡办公室） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 提出一个多智能体强化学习框架，通过动态对抗博弈建模操纵者与检测者的交互，利用延迟代币价格反应识别可疑模式，并集成GRPO、理论奖励函数和多模态智能体管道，在去中心化交响乐系统中实现无需中心化预言机的鲁棒操纵检测。

The LSCD Benchmark: a Testbed for Diachronic Word Meaning Tasks

LSCD基准：一个用于历时词义任务的测试平台

Dominik Schlechtweg, Sachin Yadav, Jonas Kuhn, Nikolay Arefyev

机构 * University of Stuttgart（斯图加特大学） ； University of Oslo（奥斯陆大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL

AI总结 针对词汇语义变化检测任务中评估标准不统一的问题，提出一个标准化基准库，通过模块化设计支持WiC、WSI和LSCD子任务的评估与组合。

Comments *SEM, 9 pages

Speak-to-Structure: Evaluating LLMs in Open-domain Natural Language-Driven Molecule Generation

Speak-to-Structure：评估大语言模型在开放域自然语言驱动的分子生成中的表现

Jiatong Li, Junxian Li, Weida Wang, Yunqing Liu, Changmeng Zheng, Yatao Bian, Dongzhan Zhou, Xiao-yong Wei, Qing Li

机构 * Hong Kong Polytechnic University（香港理工大学） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Lab（上海人工智能实验室） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL

AI总结 提出Speak-to-Structure基准，通过分子编辑、优化和定制生成任务评估大语言模型在开放域自然语言驱动分子生成中的创造性能力，并引入OpenMolIns指令微调数据集使Llama3.1-8B超越GPT-4o等模型。

Comments Accepted by KDD 2026. Our codes and datasets are fully accessible through the https://github.com/phenixace/S2-TOMG-Bench and https://huggingface.co/datasets/phenixace/S2-TOMG-Bench

AOP-Wiki EMOD 3.0: Data Model Expansions and Content Evaluation Framework for Using Agentic AI to Improve Integration between AOPs and New Approach Methodologies (NAMs)

AOP-Wiki EMOD 3.0: 数据模型扩展和内容评估框架用于利用代理AI改进AOP与新方法论（NAMs）之间的整合

Virginia K. Hench, J. Harry Caufield, Sierra A. T. Moxon, Jason M. O'Brien, Stephen W. Edwards

机构 * Open BioData Modeling（开放生物数据建模） ； Environmental Genomics and Systems Biology（环境基因组学与系统生物学） ； Lawrence Berkeley National Laboratory（伯克利国家实验室） ； National Wildlife Research Centre（国家野生动物研究中心） ； UL Research Institutes - Chemical Insights（UL研究机构-化学洞察） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 本文提出AOP-Wiki EMOD 3.0，通过数据模型扩展和内容评估框架，利用代理AI改进AOP与新方法论之间的整合，为监管科学和生物医学领域提供支持。

Comments 7 Figures and 3 Supplemental Figures

OpenSeisML: Open Large-Scale Real Seismic and well-log Dataset for Generative AI

OpenSeisML: 开放式大规模真实地震和井历数据集用于生成式AI

Ipsita Bhar, Huseyin Tuna Erdinc, Thales Souza, Charles Jones, Felix J. Herrmann

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Osokey Ltd（Osokey公司） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.LG

AI总结 本文提出OpenSeisML，一个开放的大型真实地震和井历数据集，用于支持生成式AI在地震反演中的应用，通过自动化数据整理流程提供可重复的地震数据准备，以训练生成模型捕捉地下属性的统计分布，从而生成多个统计上一致的现实实现用于不确定性量化。

Comments 5 pages, 8 figures

PRISM: A Benchmark for Programmatic Spatial-Temporal Reasoning

PRISM：一个程序化空间-时间推理的基准测试

Qiran Zhang, Yuheng Wang, Runde Yang, Lin Wu, Jingru Fan, Shu Yao, Jie Zhang, Tianle Zhou, Huatao Li, Ruijie Shi, Yihan Li, Chen Qian

机构 * School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI

AI总结 本文提出PRISM基准测试，通过大规模人类校准的指令-代码对（共10,372个，比之前基准大20倍），评估语言模型生成空间正确动画输出的能力，并揭示执行成功率与空间正确率之间的显著差距。

SLEIGHT-Bench: A Benchmark of Evasion Attacks Against Agent Monitors

SLEIGHT-Bench: 一种针对代理监控的对抗攻击基准

Elle Najt, Colin Toft, Tyler Tracy, Fabien Roger, Joe Benton

机构 * Anthropic Fellows Program（Anthropic Fellow计划） ； University of Waterloo（多伦多大学） ； Redwood Research（Redwood研究） ； Anthropic 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.AI

AI总结 本文提出SLEIGHT-Bench基准，用于评估代理监控对多种攻击策略的防御能力，发现20种攻击在Opus 4.6监控下未被检测到，同时识别了多种规避策略并展示了监控性能的提升。

SkillGenBench: Benchmarking Skill Generation Pipelines for LLM Agents

SkillGenBench: 评估LLM代理技能生成流水线的基准测试

Yifan Zhou, Zhentao Zhang, Ziming Cheng, Shuo Zhang, Qizhen Lan, Zhangquan Chen, Zhi Yang, QianyuXu, Ronghao Chen, Huacan Wang, Sen Hu

机构 * SJTU（上海交通大学） ； XJTU（西安交通大学） ； NUS（新加坡国立大学） ； QuantaAlpha（量子Alpha） ； THU（清华大学） ； SUFE（上海财经大学） ； NTU（国立.ntu） ； PKU（北京大学） ； UCAS（中国科学技术大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 本文提出SkillGenBench，一个用于评估LLM代理技能生成流水线的基准测试，通过统一可控的协议评估技能生成过程，涵盖任务条件生成和任务无关生成两种模式，以及基于仓库和文档的两种程序来源，揭示技能生成在不同数据源中的表现差异。

ScarfBench: A Benchmark for Cross-Framework Application Migration in Enterprise Java

ScarfBench：企业Java应用跨框架应用迁移的基准测试

Advait Pavuluri, Bridget McGinn, Ashita Saxena, George Safta, Srikanth Tamilselvam, Raju Pavuluri, Michele Merler, Baishakhi Ray, Rahul Krishna

专题命中 代码评测 ：coding agent(abstract)；分类 cs.SE

AI总结 本文提出ScarfBench，一个用于评估企业Java应用跨框架迁移行为保持性的基准测试，通过专家编写实现三元组，涵盖Spring、Jakarta EE和Quarkus框架，生成102个变体和204个定向重构任务，评估了五种最先进的编码代理，并揭示了不同框架方向和架构层的难度差异。

EvilGenie: A Reward Hacking Benchmark

EvilGenie: 一个奖励黑客基准

Jonathan Gabor, Jayson Lynch, Jonathan Rosenfeld

机构 * Cambridge Boston Alignment Initiative（剑桥波士顿对齐倡议） ； MIT FutureTech（麻省理工 FutureTech） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.LG

AI总结 本文提出EvilGenie基准，用于评估编程环境中奖励黑客问题，通过测试用例硬编码和测试文件编辑等方法检测奖励黑客行为，并验证了LLM判断在无歧义情况下的有效性。

Evaluating Tool Cloning in Agentic-AI Ecosystems

评估代理AI生态系统中的工具克隆

Taein Kim, David Jiang, Yuepeng Hu, Yuqi Jia, Neil Gong

专题命中 代码评测 ：repository(abstract)；分类 cs.SE

AI总结 研究通过大规模测量分析代理AI生态系统中工具克隆现象，发现高相似性区域普遍存在，60%的高Jaccard候选和85%的高ssdeep候选被验证为克隆，揭示工具克隆对生态系统多样性的影响。

VLRS-Bench: A Vision-Language Reasoning Benchmark for Remote Sensing

VLRS-Bench: 一种面向遥感的视觉-语言推理基准

Zhiming Luo, Di Wang, Haonan Guo, Jing Zhang, Bo Du

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 本文提出VLRS-Bench，首个专注于复杂遥感推理的基准，包含2000个问题-答案对，涵盖14项任务和八个时间阶段，揭示现有MLLM在遥感任务中的瓶颈。

MIDST Challenge at SaTML 2025: Membership Inference over Diffusion-models-based Synthetic Tabular data

MIDST挑战赛在SaTML 2025: 基于扩散模型的合成表格数据的成员推断

Masoumeh Shafieinejad, Xi He, Mahshid Alinoori, John Jewell, Sana Ayromlou, Wei Pang, Veronica Chatrath, Gauri Sharma, Deval Pandya

机构 * Vector Institute 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.LG

AI总结 本文探讨了基于扩散模型生成的合成表格数据在隐私保护方面的有效性，重点评估其对成员推断攻击的抗性，并开发了针对这些模型的新型攻击方法。

Comments 4 page, 1 table

Formal Conjectures: An Open and Evolving Benchmark for Verified Discovery in Mathematics

形式猜想：一个开放且不断演进的数学验证发现基准

Moritz Firsching, Paul Lezeau, Salvatore Mercuri, Miklós Z. Horváth, Yaël Dillies, Calle Sönne, Eric Wieser, Fred Zhang, Thomas Hubert, Blaise Agüera y Arcas, Pushmeet Kohli

机构 * Google DeepMind（谷歌DeepMind） ； Imperial College London（帝国理工学院伦敦分校） ； Stockholms universitet（斯德哥尔摩大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI

AI总结 Formal Conjectures提供2615个形式化的数学问题，包含1029个开放猜想和836个已解决问题，用于评估自动化推理系统的能力，并通过协作项目确保正确性，推动数学证明发现的进展。

Comments 21 pages, 4 figures, 5 tables

CiteVQA: Benchmarking Evidence Attribution for Trustworthy Document Intelligence

CiteVQA：可信赖文档智能的证据归因基准测试

Dongsheng Ma, Jiayu Li, Zhengren Wang, Yijie Wang, Jiahao Kong, Weijun Zeng, Jutao Xiao, Jie Yang, Wentao Zhang, Bin Wang, Conghui He

机构 * Peking University（北京大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL

AI总结 CiteVQA通过要求模型返回元素级边界框引用，评估文档理解中的证据归因，揭示了现有评估方法的可靠性缺口，主要贡献是引入Strict Attributed Accuracy指标。

Do Androids Dream of Breaking the Game? Systematically Auditing AI Agent Benchmarks with BenchJack

安卓会为打破游戏而做梦吗？通过BenchJack系统性审计AI代理基准

Hao Wang, Hanchen Li, Qiuyang Mang, Alvin Cheung, Koushik Sen, Dawn Song

机构 * UC Berkeley（加州大学伯克利分校） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.AI

AI总结 本文提出BenchJack系统，通过自动化红队系统审计AI代理基准，发现219种奖励黑客漏洞，提升基准鲁棒性。

gwBenchmarks: Stress-Testing LLM Agents on High-Precision Gravitational Wave Astronomy

gwBenchmarks: 对高精度引力波天文学中LLM代理的应力测试

Tousif Islam, Digvijay Wadekar, Zihan Zhou

机构 * Kavli Institute for Theoretical Physics, University of California Santa Barbara, Kohn Hall, Lagoon Rd, Santa Barbara, CA 93106（加州大学圣芭芭拉分校凯弗利理论物理研究所） ； Center for Gravitational Physics, University of Texas at Austin, Austin, TX 78712, USA（德克萨斯大学奥斯汀分校引力物理中心） ； Department of Physics, Princeton University, Princeton, NJ 08540, USA（普林斯顿大学物理系） 纠错

专题命中 代码评测 ：coding agent(abstract)；分类 cs.AI

AI总结 本文研究了最先进的LLM编码代理能否完成端到端的科学建模任务，通过八个任务测试其精度和物理系统推理能力，发现代理在复杂任务上表现不佳，无法达到领域要求。

Comments 26 pages, 4 figures

CppPerf: An Automated Pipeline and Dataset for Performance-Improving C++ Commits

CppPerf：一个用于性能改进C++提交的自动化流水线和数据集

Tommy Ho, Khashayar Etemadi, Zhendong Su

专题命中 代码评测 ：repository(abstract)；分类 cs.SE

AI总结 本文提出CppPerf-Mine流水线，通过结合结构化提交过滤、LLM分类器和容器化构建测试阶段，挖掘改进执行时间的补丁，并构建包含347个手动验证补丁的CppPerf-DB数据集，评估仓库级修复工具。

jNO: A JAX Library for Neural Operator and Foundation Model Training

jNO：用于神经算子和基础模型训练的JAX库

Leon Armbruster, Rathan Ramesh, Georg Kruse, Christopher Straub

机构 * Fraunhofer Institute for Integrated Systems and Device Technology（弗劳恩霍夫整合系统与器件技术研究所） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.LG

AI总结 jNO是一个基于JAX的神经算子库，支持数据驱动和物理引导的训练，通过统一的符号语言编译优化流程，实现算子回归、网格感知残差评估和PDE约束训练的无缝切换。

PDEAgent-Bench: A Multi-Metric, Multi-Library Benchmark for PDE Solver Generation

PDEAgent-Bench: 一个多指标、多库的PDE求解器生成基准

Zhen Hang, Yushan Yashengjiang, Junhui Li, Huanshuo Dong, Yang Wei, Zhezheng Hao, Jiangtao Ma, Songlin Bai, Haozhong Kai, Xihang Yue, Gangzong Si, Dongming Jiang, Chao Yao, Zhanhua Hu, Jiangqing Zhang, Pengwei Liu, Yaomin Shen, Xingyu Ren, Lei Liu, Zikang Xu, Han Li, Qingsong Yao, Hande Dong, Hong Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； Tencent（腾讯） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） ； National University of Singapore（新加坡国立大学） ； Tsinghua University（清华大学） ； University of Texas at Dallas（德克萨斯大学达拉斯分校） ； Arizona State University（亚利桑那州立大学） ； Rice University（里士满大学） ； Technical University of Munich（慕尼黑技术大学） ； Stanford University（斯坦福大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI

AI总结 PDEAgent-Bench是首个针对PDE求解器生成的多指标、多库基准，包含645个实例，涵盖6类数学问题和11种PDE家族，评估生成求解器的可执行性、数值精度和计算效率。

GravityGraphSAGE: Link Prediction in Directed Attributed Graphs

GravityGraphSAGE：有向属性图中的链接预测

Riccardo Porcedda, Francesca Chiaromonte, Fabrizio Lillo, Andrea Vandin

机构 * Department of Excellence L’EMbeDS, Sant’Anna School of Advanced Studies（卓越部门L’EMbeDS，圣安娜高级研究学校） ； Department of Computer Science, University of Pisa（比萨大学计算机科学系） ； Department of Statistics and Huck Institutes of the Life Sciences, The Pennsylvania State University（统计学与生命科学学院，宾夕法尼亚州立大学） ； Class of Science, Scuola Normale Superiore（科学班级，正规大学） ； DTU Technical University of Denmark（丹麦技术大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.LG

AI总结 本文提出Gravity-GraphSAGE模型，通过改进GraphSAGE实现有向链接预测，优于现有图深度学习方法，在多个数据集上表现优异。

Forecasting the Maintained Score from the OpenSSF Scorecard: A Study of GitHub Repositories Linked to PyPI Packages

基于OpenSSF评分卡的维护分数预测：对与PyPI包关联的GitHub仓库的研究

Alexandros Tsakpinis, Efe Berk Ergüleç, Emil Schwenger, Alexander Pretschner

专题命中 代码评测 ：repository(abstract)；分类 cs.SE

AI总结 本文研究如何通过机器学习和深度学习模型预测OpenSSF评分卡中的维护分数，发现聚合表示如分桶分数和趋势类型能实现较高准确率。

Comments 20 pages, 8 figures, 1 table

An Empirical Security Evaluation of LLM-Generated Cryptographic Rust Code

对LLM生成的密码学Rust代码的实证安全评估

Mohamed Elsayed, Kenneth Fulton, Jeong Yang

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE

AI总结 本文评估了三种LLM生成的加密Rust代码的安全性，发现通用工具不足，提示策略对结果影响显著，且存在nonce重用等系统性问题。

Comments 10 pages, 2 figures , EASE 2026-The 6th International Workshop on Software Security Engineering

HiL-Bench (Human-in-Loop Benchmark): Do Agents Know When to Ask for Help?

HiL-Bench (Human-in-Loop Benchmark): 代理何时该请求帮助？

Mohamed Elfeki, Tu Trinh, Kelvin Luu, Guangze Luo, Nathan Hunt, Ernesto Montoya, Nandan Marwaha, Yannis He, Charles Wang, Fernando Crabedo, Alessa Castilo, Bing Liu

专题命中 代码评测 ：coding agent(abstract)；分类 cs.AI

AI总结 HiL-Bench通过评估代理在任务中何时请求帮助的能力，揭示了当前基准测试的不足。核心指标Ask-F1衡量代理在请求与猜测之间的平衡，证明判断力可通过强化学习提升。

CoRE: A Fine-Grained Code Reasoning Benchmark Beyond Output Prediction

CoRE：超越输出预测的细粒度代码推理基准

Jun Gao, Yun Peng, Qian Qiao, Changhai Zhou, Yuhua Zhou, Shiyang Zhang, Shichao Weng, Zhenchang Xing, Xiaoxue Ren

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE

AI总结 CoRE基准通过实现不变性和过程透明性评估代码推理，揭示大语言模型在等价实现间存在显著鲁棒性差距，并发现模型可能通过表面执行达到正确输出，表明仅评估输出不足以衡量代码推理能力。

Comments ACL'26 Findings