BioVerge: A Comprehensive Benchmark and Study of Self-Evaluating Agents for Biomedical Hypothesis Generation
University of California, Los Angeles(加州大学洛杉矶分校)
针对生物医学假设生成现有方法局限及LLM智能体应用缺乏标准环境问题,本文提出综合基准BioVerge与智能体BioVerge Agent,通过结构化文本数据和自评估模块,提升假设生成的新颖性与相关性。
2025-11-12 cs.CL
An Agentic Model Context Protocol Framework for Medical Concept Standardization
McWilliams School of Biomedical Informatics, The University of Texas Health Science Center at Houston(德克萨斯大学休斯顿健康科学中心麦戈文生物医学信息学院);Mayo Clinic(梅奥诊所)
针对OMOP CDM医学术语映射资源消耗大、易出错及LLM幻觉问题,提出基于MCP的零训练防幻觉映射系统,实现可解释映射,提升效率准确性,支持实时查询与结构化输出,可用于探索及生产环境。
2025-09-04 cs.AI
VRKitchen: an Interactive 3D Virtual Environment for Task-oriented Learning
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
推进面向任务的学习(如视觉任务规划和强化学习)的主要挑战之一是缺乏用于训练和测试人工智能智能体的现实和标准化环境。以前,研究人员经常依赖于特设实验室环境。在利用3D物理引擎和用于室内和室外环境的照片真实感渲染构建的虚拟系统中已经有了最新的进展,但是那些系统中的具体化代理只能与世界进行简单的交互(例如,四处走动、移动物体等)。大多数现有的系统也不允许人类参与其模拟环境。在这项工作中,我们设计和实现了一个虚拟现实(VR)系统,VRKitchen,具有集成功能,i)使现代AI方法(例如,规划、强化学习等)以在现实环境中执行涉及大范围的细粒度对象操纵的复杂任务,以及ii)允许人类教师执行演示以训练代理(即,示教学习)。我们还提供标准化的评估基准和数据汇集工具,以促进在任务导向学习和超越研究的广泛使用。
2019-03-13 cs.AI cs.CV cs.HC
Toward a Standardized and More Accurate Indonesian Part-of-Speech Tagging
Kata Research Team Kata.ai(卡塔人工智能公司卡塔研究团队);School of Informatics University of Edinburgh(爱丁堡大学信息学院)
印尼语词性(POS)标记的以前的工作很难比较,因为它们不是在一个共同的数据集上进行评估。此外,尽管神经网络模型在英语词性标注方面取得了成功,但很少在印度尼西亚语中进行探索。在本文中,我们探讨了印尼语词性标注的各种技术,包括基于规则的,CRF和基于神经网络的模型。我们在IDN标记语料库上评估了我们的模型。使用递归神经网络实现了97.47 F1评分的新的最新技术水平。为了给未来的工作提供一个标准,我们发布了我们公开使用的数据集分割。
2019-02-26 cs.CL
Towards a Playground to Democratize Experimentation and Benchmarking of AI Agents for Network Troubleshooting
University of L’Aquila(拉奎拉大学)
本文针对网络故障排除场景,提出构建一个标准化、可复现且开放的AI智能体基准测试平台,以降低实验与评估的操作成本,推动该领域研究的民主化。
2025-07-04 cs.AI cs.MA cs.NI
ProRL Agent: Rollout-as-a-Service for RL Training of Multi-Turn LLM Agents
本文提出ProRL Agent,通过API服务提供完整的代理rollout生命周期,支持多样化的代理任务,在无根HPC环境中提供标准化可扩展的沙箱环境,通过软件工程、数学、STEM和编程任务的RL训练验证其有效性。
2026-03-19 cs.AI
From paper to benchmark: agentic, framework-based reproduction of under-specified methods in machine health intelligence
EPFL(苏黎世联邦理工学院)
提出一种基于智能体和共享框架的方法,通过槽绑定接口将论文转化为可执行、可比较的基准测试实现,解决工业预测与健康管理中方法复现的困难。
2026-05-27 cs.AI cs.LG cs.SE
MCPToolBench++: A Large Scale AI Agent Model Context Protocol MCP Tool Use Benchmark
Ant Group(蚂蚁集团)
针对LLM和AI智能体在MCP工具使用评估中存在的数据集缺失、响应格式多样、成功率不稳定及上下文限制等问题,提出了大规模多领域基准MCPToolBench++,并评估了SOTA LLM的智能体能力。
2025-08-11 cs.AI
A Study on the MCP x A2A Framework for Enhancing Interoperability of LLM-based Autonomous Agents
SAMSUNG SDS(三星SDS)
针对基于大语言模型的自主智能体交互与集成难题,本研究整合分析谷歌A2A协议与Anthropic的MCP协议,探索二者互补解决互操作性问题、支撑复杂智能体生态高效协作的路径。
2025-06-09 cs.AI
ACPs: Agent Collaboration Protocols for the Internet of Agents
Beijing University of Posts and Telecommunications(北京邮电大学)
针对现有智能体通信协议碎片化、场景特定的问题,提出面向IoA的综合协议套件ACPs,含多类协议支撑可信接入等能力,经餐厅预订场景验证有效,为智能体互联网基建奠基。
2025-05-18 cs.AI cs.MA
MCP-AgentBench: Evaluating Real-World Language Agent Performance with MCP-Mediated Tools
University of Science and Technology of China(中国科学技术大学)
针对现有基准无法评估MCP新范式下语言智能体真实性能的问题,提出综合基准MCP-AgentBench,包含33个服务器、188个工具、6类共600个查询及结果导向评估方法MCP-Eval,为研究界提供标准化评估框架。
2025-09-10 cs.AI cs.CL cs.LG
Beyond Context Sharing: A Unified Agent Communication Protocol (ACP) for Secure, Federated, and Autonomous Agent-to-Agent (A2A) Orchestration
Naveen Krishnan
本文提出了一种统一的智能体通信协议(ACP),旨在通过安全、联邦化和自主的智能体到智能体编排,解决跨平台、去中心化和安全交互的挑战,提升智能体协作效率和安全性。
2026-02-11 cs.AI cs.MA
The Sim-to-Real Gap of Foundation Model Agents: A Unified MDP Perspective
Arizona State University(亚利桑那州立大学)
本文提出将基础模型智能体的评估与训练差距形式化为经典仿真到现实问题,围绕MDP四要素(观测、动作、转移、奖励)构建统一框架,并倡导采用域随机化等成熟解决方案。
2026-06-05 cs.AI cs.CL cs.ET
ColorEcosystem: Powering Personalized, Standardized, and Trustworthy Agentic Service in massive-agent Ecosystem
Shanghai Jiao Tong University(上海交通大学);OPPO
针对大规模智能体生态系统中个性化、标准化和可信性不足的问题,提出ColorEcosystem蓝图,通过智能体载体、商店和审计三大组件实现大规模可信智能体服务,并已开源部分实现。
2025-10-27 cs.CL cs.MA
AI Simulation by Digital Twins: Systematic Survey, Reference Framework, and Mapping to a Standardized Architecture
McMaster University(麦克马斯特大学);McMaster Centre for Software Certification (McSCert)(麦克马斯特软件认证中心)
针对亚符号 AI 的数据瓶颈,本文系统综述 22 项数字孪生赋能 AI 仿真研究,提出参考框架并映射至 ISO 23247 架构,同时指出未来挑战与机遇。
2025-08-29 cs.AI cs.ET cs.SE
The Natural Language Interaction Protocol and Standard for AI Agents
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Marist University(玛里斯大学);IBM(国际商业机器公司);Aitomatic, Inc.(艾托马蒂克公司);Fordham University(福特汉姆大学)
本文介绍了由多方开发并经Ecma International标准化的NLIP协议,解决异构AI智能体的互操作问题,阐述其设计、实现及与其他协议的关系。
2026-09-04 cs.AI
ARLArena: A Unified Framework for Stable Agentic Reinforcement Learning
University of California, Los Angeles(加州大学洛杉矶分校);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
研究针对智能体强化学习不稳定问题,提出ARLArena框架。先构建测试平台,将策略梯度分解为四个维度分析,据此提出稳定的智能体策略优化方法SAMPO,实现稳定训练与良好性能。
2026-07-07 cs.AI
Agent Lightning: Train ANY AI Agents with Reinforcement Learning
Microsoft Research(微软研究院)
Agent Lightning提出一种解耦智能体执行与训练的强化学习框架,通过统一数据接口和分层算法LightningRL,支持任意智能体零代码改造训练,并在多任务中实现稳定提升。
2025-08-05 cs.AI cs.LG
Agent Behavior Mining: Generative AI Agent Governance in Business Processes
SAP;Umeå University(于默奥大学)
针对生成式AI智能体在业务流程中的不可见自主性风险,提出智能体行为挖掘方法,通过事件数据模型将智能体活动转化为标准流程日志,实现决策可观测与可追溯,并验证其实用性。
2026-06-23 cs.AI cs.SE
PaperArena: An Evaluation Benchmark for Tool-Augmented Agentic Reasoning on Scientific Literature
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China(认知智能国家重点实验室,中国科学技术大学);Artificial Intelligence Research Institute, iFLYTEK Co., Ltd(人工智能研究院,iFLYTEK有限公司)
PaperArena提出一个评估基准,用于评估基于LLM的代理在跨多篇论文整合信息并使用外部工具进行推理的能力,实验显示现有代理在复杂任务上的表现有限。
2026-01-30 cs.AI
Cerebrum (AIOS SDK): A Platform for Agent Development, Deployment, Distribution, and Discovery
Rutgers(罗格斯大学)
本文提出面向 AIOS 的 Cerebrum Agent SDK,通过四层开发 SDK、Agent Hub 和交互式评估界面,标准化智能体开发、部署、分发与发现。
2025-03-14 cs.AI cs.CL cs.MA
Autonomous Incident Resolution at Hyperscale: An Agentic AI Architecture for Network Operations
Arun Malik
提出一种多智能体编排框架,通过分层分解、技能调用、知识编码和渐进自主,在超大规模云网络中实现90%以上常见事件的自主解决,并保障安全。
2026-06-08 cs.AI cs.ET cs.MA
AgentGuard: Repurposing Agentic Orchestrator for Safety Evaluation of Tool Orchestration
Georgia Institute of Technology(佐治亚理工学院);National University of Singapore(新加坡国立大学)
本文提出 AgentGuard 框架,利用 LLM 编排器自主发现、验证不安全工具工作流并生成有效安全约束,为部署阶段的智能体安全评估与加固提供基线。
2025-02-13 cs.AI cs.CR
A Production Scheduling Framework for Reinforcement Learning Under Real-World Constraints
Faculty of Management and Engineering, Rosenheim Technical University of Applied Sciences(管理与工程学院,罗森海姆应用技术大学)
针对经典作业车间调度方法难以适配真实生产复杂约束的问题,提出支持多类真实约束与多目标优化的模块化RL调度框架,配套开源JobShopLab工具,提供标准化训练与对比环境。
2025-06-17 cs.AI cs.LG
Criticality-Based Guard Rail Validation for AI Agent Decisions in Autonomous Telecom Networks
提出Guard Rail Validation框架,通过多维度评估决策关键性并应用分级验证机制,确保AI代理在自主电信网络中的安全执行。
2026-07-03 cs.AI cs.NI
Domain-driven Metrics for Reinforcement Learning: A Case Study on Epidemic Control using Agent-based Simulation
Engineering for Research (e4r)(工程研究(e4r));Thoughtworks Technologies(Thoughtworks技术)
针对强化学习在基于智能体模型中缺乏标准化评估指标的问题,提出领域驱动指标,并通过疫情控制案例验证其结合传统指标评估策略优化的有效性。
2025-08-07 cs.AI cs.LG cs.MA
Matryoshka Agent: Unfolding Sub-Agents for Long-Horizon Machine Learning Engineering
Georgia Institute of Technology(佐治亚理工学院)
针对机器学习工程长期决策难题,提出套娃智能体框架,将问题解决分解为协调层次结构,高级协调器发指令,低级子智能体执行,开发有效训练范式,实验证明该方法有效且可扩展,能提升性能。
2026-07-29 cs.AI cs.LG
$Agent^2$: An Agent-Generates-Agent Framework for Reinforcement Learning Automation
Qiyuan Lab(启元实验室)
本文提出 LLM 驱动的 Agent$^2$ 双智能体框架,通过 MDP 建模与算法优化两阶段实现端到端 RL 智能体自动生成,并在多个基准上超越人工基线。
2025-09-30 cs.AI cs.LG
SAMEP: A Secure Protocol for Persistent Context Sharing Across AI Agents
Independent Researcher(独立研究者)
针对AI智能体临时记忆限制问题,提出SAMEP框架,通过分布式记忆库、向量语义搜索与加密访问控制实现跨智能体持久安全记忆共享,显著降低冗余计算并提升上下文相关性。
2025-07-05 cs.AI cs.CR cs.DB
SW-$A^2$-Bench: Benchmarking Autonomous Software Agent Generation for Agentic Web
Shanghai Jiao Tong University(上海交通大学);The University of Tokyo(东京大学);Huazhong University of Science and Technology(华中科技大学);Shanghai Innovation Institute(上海创新研究院);Nankai University(南开大学);Singapore University of Technology and Design(新加坡科技设计大学);Queen’s University(女王大学);Fudan University(复旦大学);Zhejiang University(浙江大学)
提出首个软件智能体生成基准SW-$A^2$-Bench,通过编码智能体自动将代码仓库转化为自主软件智能体,评估生成智能体的忠实性与互操作性,以扩展智能体网络规模。
2026-06-05 cs.AI cs.MA
Plan First, Judge Later, Run Better: A DMAIC-Inspired Agentic System for Industrial Anomaly Detection
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学);Shanghai University of Finance and Economics(上海财经大学);Technische Universität München(慕尼黑技术大学);Southwestern University of Finance and Economics(西南财经大学)
提出受DMAIC启发的多智能体系统DMAIC-IAD,通过先制定标准化操作程序(SOP)再生成策略,并引入预训练的无执行评判模型来排序候选策略,无需昂贵运行时试验,在四种模态上平均检测性能提升37.76%。
2026-06-03 cs.AI cs.CE
Who is the 'I' in AI? Establishing Decentralized Identity and Accountability for Autonomous Agents
BRAC University(BRAC大学);Charles Sturt University(查尔斯史都华大学)
本文针对自主AI智能体的身份与问责问题,提出基于SSI原则的ABCD去中心化AI身份框架,通过四层机制区分人类与智能体身份,解决自主经济活动中的黑箱身份问题。
2026-10-14 cs.AI cs.CR
LLMs Can Simulate Standardized Patients via Agent Coevolution
State Key Lab of CAD & CG, Zhejiang University(浙江大学计算机辅助设计与图形学国家重点实验室);Zhejiang Polytechnic Institute, Polytechnic Institute, Zhejiang University(浙江工业大学之江学院);College of Computer Science & Technology, Zhejiang University(浙江大学计算机科学与技术学院);East China Normal University(华东师范大学);Sun Yat-sen University Cancer Center(中山大学肿瘤中心);School of Public Health, Zhejiang University(浙江大学公共卫生学院);Second Affiliated Hospital, Zhejiang University School of Medicine(浙江大学医学院第二附属医院)
提出EvoPatient框架,通过病人与医生智能体多轮诊断对话及协同进化,使其无监督学习标准化病人应答模式,在要求一致性和人类偏好上提升逾10%。
2025-06-07 cs.AI cs.CL cs.HC
A standardized Project Gutenberg corpus for statistical analysis of natural language and quantitative linguistics
Northwestern University(西北大学);University of Milan(米兰大学)
古腾堡计划(PG)作为一个文本语料库的使用已经非常流行的语言统计分析超过25年。然而,与其他具有类似重要性的主要语言数据集相比,迄今为止还没有一致同意的完整版本的PG。事实上,到目前为止,大多数PG研究要么只考虑少量手动选择的书籍,导致潜在的偏见子集,要么采用截然不同的预处理策略(通常详细说明不足),引起对已发表结果的可重复性的担忧。为了解决这些缺点,在这里,我们提出了标准化项目古腾堡语料库(SPGC),一个开放的科学方法,包含超过50,000本书和超过$3 \times 10^9$单词标记的完整PG数据的策划版本。使用不同来源的注释元数据,我们不仅提供了一个广泛的表征PG的内容,但也显示了不同的例子,突出SPGC的潜力,跨时间,主题和作者的语言变异性调查。我们详细发布了我们的方法,下载和处理数据的代码,以及在3个不同粒度级别上获得的语料库本身(原始文本,单词标记的时间序列和单词计数)。通过这种方式,我们提供了一个可复制的,预处理的,全尺寸版本的古腾堡项目作为语料库语言学,自然语言处理,和信息检索的新的科学资源。
2018-12-19 cs.CL cs.DL cs.IR
An Analysis of Deep Reinforcement Learning Agents for Text-based Games
The University of Sydney(悉尼大学)
基于文本的游戏(Text-based games,TBG)是一种允许用户或计算机Agent进行文本交互以实现游戏目标的复杂环境,在TBG Agent的设计和训练过程中,如何平衡Agent模型的效率和性能是一个主要的挑战。发现TBG Agent深度学习模块在标准化环境中的性能,并测试其在不同评价类型下的性能也是TBG Agent研究的重要内容。我们构建了一个标准化的TBG代理,没有手工制作的规则,正式分类TBG评估类型,并在我们的环境中分析了选定的方法。
2022-09-12 cs.CL
A Flexible Schema-Guided Dialogue Management Framework: From Friendly Peer to Virtual Standardized Cancer Patient
University of Rochester(罗切斯特大学)
在最近的工作中,一个模式指导的对话管理方法已被证明是有效的,在创建强大的可定制的虚拟代理能够充当友好的同行或任务助手。然而,这些方法在开放式的混合主动领域的成功应用仍然是难以捉摸的-特别是在医疗领域,如虚拟标准化患者,这种复杂的互动是司空见惯的-需要更广泛和灵活的对话管理能力比以前的系统提供。在本文中,我们描述了一个用于开发SOPHIE的通用模式引导对话管理框架,SOPHIE是一种虚拟标准化癌症患者,允许医生方便地练习与患者的互动。我们对医学生和苏菲之间的对话进行了众包评估。我们的代理人被判断为产生自然的反应,情感上适当的,并与她作为癌症患者的角色相一致。此外,它显著优于在人类标准化患者语料库上微调的端到端神经模型,证明了模式引导方法的优势。
2022-07-15 cs.AI cs.CL cs.HC
E-PDDL: A Standardized Way of Defining Epistemic Planning Problems
University of Udine(乌迪内大学);University of South Carolina(南卡罗来纳大学);Union College(联合学院);Thomas J. Watson Research Center(托马斯·J·沃森研究中心)
认知规划(EP)是指一种自动规划设置,其中智能体在知识状态空间中进行推理,并试图找到一个计划,以从当前状态达到理想的状态。它的一般形式,多智能体认知规划(MEP)问题涉及多个智能体,他们需要对世界的状态和智能体之间的信息流进行推理。在MEP问题中,最近已经开发了多种方法,具有不同的限制,例如只考虑知识的概念,而不允许信念的想法,或者不允许“复杂”模态算子,例如处理动态公共知识所需的模态算子。虽然方法的多样性导致了对问题空间的更深入理解,但缺乏独立于解决方法的标准化方法来指定MEP问题,这在比较规划者的性能,确定有前途的技术,探索集成方法等新策略以及使新研究人员易于为这一研究领域做出贡献方面造成了困难。为了解决这种情况,我们提出了一个统一的方式来指定EP问题-认知规划领域定义语言,E-PDDL。我们表明,E-PPDL可以支持领先的MEP规划,并提供相应的解析器代码,翻译EP问题中指定的E-PDDL到(M)EP问题,可以处理的几个规划。这项工作也是有用的,在建设更一般的认知规划环境,我们设想一个元认知模块,需要在E-PDDL规划问题,识别和评估其功能,并自主决定哪个规划师是最好的一个来解决它。
2021-07-19 cs.AI cs.CL
AI Agents for Photonic Integrated Circuit Design Automation
University of Toronto(多伦多大学);Max Planck Institute of Microstructure Physics(马克斯·普朗克微结构物理研究所);GDSFactory;Research Laboratory of Electronics, Massachusetts Institute of Technology(麻省理工学院电子研究实验室)
该研究提出多智能体框架PhIDO,可将自然语言PIC设计需求转换为版图掩模文件,通过测试102个设计描述比较7个大语言模型,单器件设计成功率达91%,部分模型在≤15组件设计中pass@5成功率约57%。
2025-08-18 cs.AI cs.AR physics.app-ph
Mind the Gap: Can Frontier LLMs Pass a Standardized Office Proficiency Exam?
Microsoft Research(微软研究院)
基于中国计算机等级考试(NCRE)的200个综合操作任务,评估7个前沿LLM在Word、Excel和PowerPoint自动化中的表现,发现单轮模型最高得分率36.6%,带执行反馈的智能体系统达68.8%,仍低于95.5%的社区参考分,表明可靠细粒度办公自动化仍是重大挑战。
2026-06-09 cs.AI cs.CL
Agentic Automation of BT-RADS Scoring: End-to-End Multi-Agent System for Standardized Brain Tumor Follow-up Assessment
本文提出一种端到端多智能体系统,结合大语言模型和卷积神经网络,用于自动化脑肿瘤BT-RADS评分,提高了与专家标准的一致性和准确性。
2026-03-24 cs.CL cs.MA
EPC: A Standardized Protocol for Measuring Evaluator Preference Dynamics in LLM Agent Systems
提出EPC协议,通过四阶段隔离范式标准化测量LLM智能体系统中评估者偏好耦合现象,并提供参考快照和版本约定以支持复现、比较和衰减检测。
2026-07-02 cs.CL cs.LG
Evaluating Large Language Models in Dynamic Clinical Decision-Making with Standardized Patient Cases
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出MedSP1000基准,通过标准化病人案例模拟动态临床交互,评估LLM在信息收集、治疗计划和长期管理中的表现,发现当前模型在过程级评估中远未达到临床安全标准。
2026-06-03 cs.CL
In-Situ Behavioral Evaluation for LLM Fairness, Not Standardized-Test Scores
本文提出MAC-Fairness框架,通过多轮对话评估模型在不同身份下的行为变化,揭示稳定的行为特征,超越传统标准化测试的局限。
2026-08-11 cs.AI cs.CL cs.CY
Keeping Users Engaged During Repeated Administration of the Same Questionnaire: Using Large Language Models to Reliably Diversify Questions
Northeastern University(东北大学);University of Florida(佛罗里达大学);Tufts University(塔夫茨大学);University of Chicago(芝加哥大学)
本研究提出用大语言模型生成多样化问卷版本以缓解纵向研究中重复施测导致的受访者疲劳,并通过心理测量学测试验证了LLM生成变体的信度与效度,同时提升了参与者的参与度和兴趣。
2024-07-06 cs.AI cs.CL cs.HC
FinMCP-Bench: Benchmarking LLM Agents for Real-World Financial Tool Use under the Model Context Protocol
Qwen DianJin Team, Alibaba Cloud Computing(阿里云云计算千问点睛团队);YINGMI Wealth Management(盈米财富管理);Soochow University(苏州大学)
本文提出FinMCP-Bench,用于评估LLM在解决真实金融问题时通过调用金融模型上下文协议的能力,包含613个样本,涵盖10种主要场景和33种子场景,提供真实和合成查询,评估不同任务复杂度下的模型表现。
2026-03-26 cs.AI cs.CL
OSReward: Instituting Standardized Evaluation for Cross-Platform Computer-Use Reward Models
The University of Hong Kong(香港大学);Nanjing University(南京大学);University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学);Fudan University(复旦大学)
本研究推出OSReward基准评估VLM评判者的可靠性,构建OS-Shepherd开源奖励模型缩小成本差距,为规模化可靠CUA奖励设计提供参考
2026-08-07 cs.AI cs.CL cs.CV
Orchestrating Power Grid Studies with Multi-Agent AI and MCP Servers
探讨智能体人工智能和MCP在TSO环境下对电网研究的支持,结合大语言模型等要素,介绍pypowsybl - mcp接口搭建试验台,研究智能体交互方式,讨论人工参与原则与评估策略,推动电网研究环境更具交互性、可审计性和扩展性。
2026-07-17 cs.AI cs.CL cs.MA
CR-Bench: Evaluating the Real-World Utility of AI Code Review Agents
Nutanix, Inc.(Nutanix公司)
CR-Bench通过引入基准数据集和细粒度评估流程,评估AI代码审查代理在现实世界中的效用,揭示了问题解决与假发现之间的权衡,为LLM驱动的代码审查代理发展提供基础。
2026-03-10 cs.AI cs.CL cs.SE
RF-Agent: A Practical Framework for Building Language Agents for RFIC Design
Rice University(莱斯大学);The George Washington University(乔治·华盛顿大学)
针对大语言模型在射频电路设计应用受限问题,提出RF-Agent框架,通过教科书驱动知识蒸馏创建数据集及基准,研究监督微调与检索增强生成策略,发现特定领域SFT对中小模型提升大,语义检索的RAG表现最佳,为相关工作提供基础。
2026-11-16 cs.CL eess.SP
ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents
Upstage;Opentutorials;Indiana University Bloomington(印第安纳大学布卢明顿分校);Korea University Sejong Campus(韩国大学世宗校区)
ISD-Agent-Bench通过结合经典ISD理论与现代推理方法,为评估基于LLM的教学系统设计代理提供了全面的基准。
2026-02-11 cs.CL cs.SE