Evaluating Agentic Capabilities Before Post-Training: An End-to-End Approach
Tencent Youtu Lab（腾讯优图实验室）；Shanghai Jiao Tong University（上海交通大学）
本研究提出ASAP框架，用于在预训练后评估前端到端评估大语言模型的智能体能力，可区分模型性能并生成执行轨迹，补充传统预训练基准的诊断能力。
2026-10-14 cs.AI
GameEngineBench: Evaluating Coding Agents on Real C++ Runtime Environments
Nitrode；Nexon Intelligence Labs；Dartmouth University（达特茅斯大学）；Columbia University（哥伦比亚大学）；Cornell University（康奈尔大学）
研究利用GameEngineBench在虚幻引擎5项目中评估编码智能体，核心方法是构建来自九个真实游戏仓库的基准测试集，主要贡献是揭示智能体在实时交互软件的C++开发中面临挑战，凸显游戏引擎基准测试的价值。
2026-07-16 cs.CL cs.SE
DETOUR: An Interactive Benchmark for Dual-Agent Search and Reasoning
Patronus AI；DAP Lab（DAP实验室）；Columbia University（哥伦比亚大学）
DETOUR基准通过双智能体机制评估双智能体搜索与推理能力，揭示现有模型在模糊不明确场景下的不足。
2026-01-30 cs.CL
Parachute: Evaluating Interactive Human-LM Co-writing Systems
Pennsylvania State University（宾夕法尼亚州立大学）；Carnegie Mellon University（卡内基梅隆大学）
语言模型（LM）的发展已经引起了人们对使用LM来构建共同写作系统的极大兴趣，在该系统中，人类和LM交互地贡献于共享的写作工件。然而，缺乏研究评估在互动环境中的共同写作系统。我们提出了一个以人为中心的评价框架，降落伞，交互式合作写作系统。Parachute展示了交互评估的综合视图，其中每个评估方面都由分类的实用指标组成。此外，我们提出了降落伞的一个用例来演示如何使用降落伞评估和比较共同编写系统。
2023-03-25 cs.AI cs.CL cs.HC
VISTA: A Versatile Interactive User Simulation Toolkit for Agent Evaluation
Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系）；Arklex.ai
提出VISTA工具包，通过六项指标和混合用户模拟器（UI+API）提升智能体评估的真实性与全面性，在电商和教育场景中验证有效性。
2026-10-14 cs.CL
Embodied Human Simulation for Quantitative Design and Analysis of Interactive Robotics
School of Aerospace Engineering, Tsinghua University（清华大学航天航空学院）
本文提出了一种基于仿真的具身人类仿真框架，用于交互机器人设计中的定量分析与优化，通过生理学基础的运动行为生成和大规模设计空间探索，提升人机交互的性能。
2026-03-10 cs.AI cs.RO
IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis
Peking University（北京大学）；UC Berkeley（加州大学伯克利分校）
本文提出 IDA-Bench 基准，通过 LLM 模拟用户的多轮交互场景评估数据分析智能体，发现现有顶尖编码智能体成功率不足 50%，揭示了提升多轮指令遵循与推理平衡能力的必要性。
2025-06-06 cs.AI cs.CL
Implicit Intelligence -- Evaluating Agents on What Users Don't Say
Applied Machine Learning Research（应用机器学习研究）
隐式智能框架评估AI代理在未明示约束下的推理能力，通过交互式世界模拟发现代理在复杂情境下的表现有限，揭示了改进空间。
2026-02-23 cs.AI
Ambig-SWE: Interactive Agents to Overcome Underspecificity in Software Engineering
Language Technologies Institute, Carnegie Mellon University（语言技术研究所，卡内基梅隆大学）
Ambig-SWE研究LLM代理在交互式代码生成中处理不充分指令的能力，通过检测不充分性、提问澄清和利用交互提升性能，发现交互能显著提高74%的性能。
2026-02-21 cs.AI
Braxlines: Fast and Interactive Toolkit for RL-driven Behavior Engineering beyond Reward Maximization
Google（谷歌）；Mila（米拉研究所）
连续控制的目标是综合期望的行为。在强化学习（RL）驱动的方法中，这通常是通过仔细的任务奖励工程来实现的，以实现有效的探索和运行现成的RL算法。虽然奖励最大化是RL的核心，但奖励工程并不是指定复杂行为的唯一方法，有时也不是最简单的方法。在本文中，我们介绍了\braxlines，一个工具包，用于快速和交互式的RL驱动的行为生成，超越了简单的奖励最大化，包括作曲家，一个编程API，用于生成连续的控制环境，和一组稳定的和经过良好测试的基线，用于两个系列的算法--互信息最大化（MiMax）和发散最小化（DMin）--支持无监督的技能学习和分布草图作为行为规范的其他模式。此外，我们讨论了如何标准化的指标来评估这些算法，它可以不再依赖于简单的奖励最大化。我们的实现建立在Jax中的硬件加速Brax模拟器上，只需进行最小的修改，即可在几分钟的训练内实现行为合成。我们希望Braxlines可以作为一个交互式工具包，用于快速创建和测试环境和行为，为未来的基准设计和RL驱动的行为生成及其算法研究的新模式提供爆炸性增长。
2021-10-10 cs.AI cs.LG
RiskWebWorld: A Realistic Interactive Benchmark for GUI Agents in E-commerce Risk Management
Ant Group（蚂蚁集团）
RiskWebWorld是一个用于评估GUI代理在电子商务风险管理中能力的现实交互基准，揭示了通用模型与专用模型在长周期专业任务中的显著能力差距。
2026-04-15 cs.AI cs.LG
Sketch2Code: Evaluating Vision-Language Models for Interactive Web Design Prototyping
Stanford University（斯坦福大学）；Georgia Tech（佐治亚理工学院）
Sketch2Code基准评估视觉语言模型将粗略草图转换为网页原型的能力，发现现有模型表现有限，且用户更偏好智能体主动提问而非被动接收反馈。
2024-10-21 cs.AI cs.CL
Evaluating Cognitive Age Alignment in Interactive AI Agents
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Shenzhen Children's Hospital（深圳儿童医院）；Peking University（北京大学）；Hong Kong Polytechnic University（香港理工大学）
本文提出ChildAgentEval，首个基于心理测量的交互式基准，用于评估基于多模态大语言模型的代理的认知年龄对齐，通过与年龄特定的人类发展阶段进行系统比较，揭示当前代理在模拟年龄特定认知行为方面的优劣。
2026-05-18 cs.AI
Evaluating the Impact of LLM-guided Reflection on Learning Outcomes with Interactive AI-Generated Educational Podcasts
Drexel University（德雷塞尔大学）；Michigan State University（密歇根州立大学）
本研究通过36名本科生实验，发现LLM引导的反思提示虽未显著提升学习成果，但降低了感知吸引力，呼吁加强反思性交互设计研究。
2025-08-06 cs.AI cs.HC
EcoGym: Evaluating LLMs for Long-Horizon Plan-and-Execute in Interactive Economies
OPPO-PersonalAI（OPPO-个人AI）
EcoGym提出一个通用基准，用于评估LLM在交互经济中的长周期计划与执行能力，通过三个环境展示不同策略和行动的优化挑战。
2026-05-09 cs.AI cs.CL
SWE-Together: Evaluating Coding Agents in Interactive User Sessions
Meta
提出SWE-Together基准，从真实用户-代理编码会话中重建多轮交互任务，并利用基于LLM的用户模拟器评估编码代理的协作能力，发现强代理成功率更高且干预更少。
2026-06-29 cs.AI cs.CL cs.SE
TREC iKAT 2023: A Test Collection for Evaluating Conversational and Interactive Knowledge Assistants
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）；University of Strathclyde（思克莱德大学）
TREC iKAT 2023构建了包含36个个性化对话、20个主题和PTKB的测试集，通过344轮对话及多维度评估，为对话式搜索代理研究提供基准。
2024-05-04 cs.AI cs.CL cs.IR
"My Grade is Wrong!": A Contestable AI Framework for Interactive Feedback in Evaluating Student Essays
Nanyang Technological University（南洋理工大学）；Hubei University of Technology（湖北工业大学）；Hohai University（河海大学）；Shenzhen University（深圳大学）
针对教育场景中交互式反馈耗时长、大语言模型交互式推理能力不足的问题，本文提出融合多智能体与计算论证的可申诉AI框架CAELF，经500篇作文实验验证可有效提升LLM交互反馈效果，助力教育交互式反馈普及。
2024-09-11 cs.AI cs.HC
IS-Bench: Evaluating Interactive Safety of VLM-Driven Embodied Agents in Daily Household Tasks
Xiaoya Lu 1, 2（某大学）；Zeren Chen 2, 3（某大学）；Xuhao Hu 2, 4（某大学）；Yijin Zhou 2（某大学）；Weichen Zhang 2（某大学）；Dongrui Liu 2（某大学）；Lu Sheng 3（某研究所）；Jing Shao 2（某研究所）
IS-Bench通过多模态基准评估视觉语言模型驱动的具身智能体在日常家务任务中的交互安全性，揭示现有智能体缺乏安全意识的问题。
2025-12-05 cs.AI cs.CL cs.CV
MiniAppBench: Evaluating the Shift from Text to Interactive HTML Responses in LLM-Powered Assistants
Shanghai Jiao Tong University, Shanghai, China（上海交通大学）；Carnegie Mellon University, Pittsburgh, PA, USA（卡内基梅隆大学）
本文提出MiniAppBench，首个评估原理驱动交互应用生成能力的基准，通过10M+生成数据提炼500个任务，结合MiniAppEval框架评估意图、静态和动态维度，揭示LLM在生成高质量交互应用上的不足。
2026-05-08 cs.AI
Evaluating Interactive Reasoning in Large Language Models: A Hierarchical Benchmark with Executable Games
East China Normal University（东华师范大学）；Ant Group（蚂蚁集团）
提出一个多轮交互式推理评估框架，将推理视为主动证据获取和信念更新，通过474个可执行游戏基准测试大语言模型在成功率、交互效率、上下文鲁棒性和元认知适应方面的表现。
2026-05-26 cs.AI
ConvLab-2: An Open-Source Toolkit for Building, Evaluating, and Diagnosing Dialogue Systems
Tsinghua University（清华大学）
我们提出了ConvLab-2，这是一个开源工具包，使研究人员能够使用最先进的模型构建面向任务的对话系统，进行端到端的评估，并诊断系统的弱点。作为ConvLab的继任者（Lee等人，ConvLab-2继承了ConvLab的框架，但集成了更强大的对话模型并支持更多数据集。此外，我们还开发了一个分析工具和一个交互式工具，以帮助研究人员诊断对话系统。该分析工具提供了丰富的统计数据，并从模拟对话中总结了常见错误，便于错误分析和系统改进。交互式工具提供用户界面，该用户界面允许开发者通过与系统交互并修改每个系统组件的输出来诊断组装的对话系统。
2020-04-29 cs.AI cs.CL
Evaluating Multimodal Interactive Agents
DeepMind（深度思维）
创建可以与人类自然交互的代理是人工智能（AI）研究的共同目标。然而，评估这些交互是具有挑战性的：收集在线人类-代理交互是缓慢和昂贵的，但更快的代理指标往往与交互式评估不相关。在本文中，我们评估这些现有的评价指标的优点，并提出了一种新的评价方法，称为标准化测试套件（STS）。STS使用从真实人类交互数据中挖掘的行为场景。代理看到重放的场景上下文，接收指令，然后获得控制权以离线完成交互。这些代理延续被记录并发送给人类注释者以标记为成功或失败，并且代理根据它们成功的延续的比例进行排名。由此产生的STS是快速的，可控的，可解释的，并代表自然主义的相互作用。总而言之，STS整合了我们许多标准评估指标中所需的大部分内容，使我们能够加快研究进展，生产出能够与人类自然互动的代理人。视频可以在https://youtu.be/YR1TngGORGQ上找到。
2022-07-14 cs.AI cs.LG
ICAE-Bench: Evaluating Coding Agents as Interactive Project Builders
Meituan（美团）
研究针对编码智能体在交互式项目构建中作用转变，现有基准未跟上的问题，提出ICAE-Bench基准。从模糊需求出发，经自动化用户智能体模拟动态范式，引入避免需求模糊性、确保用户模拟质量、公平评估开放式仓库的关键设计。
2026-07-24 cs.AI
Evaluating the Interpretability of Generative Models by Interactive Reconstruction
Harvard University（哈佛大学）
为了使机器学习模型在众多社会技术系统中发挥最大作用，许多人认为它们必须是人类可解释的。然而，尽管人们对可解释性的兴趣越来越大，但在如何衡量它的问题上仍然没有达成一致意见，尤其是在表示学习中，可解释性研究的重点是只适用于合成数据集的“解纠缠”措施，而不是基于人为因素。我们引入了一个任务来量化生成模型表示的人类可解释性，其中用户交互式地修改表示以重建目标实例。在合成数据集上，我们发现这项任务的性能比基线方法更可靠地区分纠缠和解纠缠模型。在一个真实的数据集上，我们发现它区分了表示学习方法，这些方法被广泛认为但从未显示出产生或多或少的可解释模型。在这两种情况下，我们在亚马逊土耳其机器人上进行了小规模的有声思维研究和大规模的实验，以确认我们的定性和定量结果是一致的。
2021-02-02 cs.AI cs.HC cs.LG
EvalLM: Interactive Evaluation of Large Language Model Prompts on User-Defined Criteria
KAIST（韩国科学技术院）；NAVER AI Lab（NAVER AI实验室）
EvalLM是一个交互式系统，让用户用自然语言定义标准并利用LLM评估器迭代优化提示，实验表明相比手动评估可检查两倍输出并以少59%的修改次数达到满意提示。
2024-02-27 cs.AI cs.CL cs.HC
Let's Have a Conversation: Designing and Evaluating LLM Agents for Interactive Optimization
Operations Research Center and Sloan School of Management, Massachusetts Institute of Technology（麻省理工学院运筹学研究中心和斯隆管理学院）；Kellogg School of Management, Northwestern University（西北大学凯洛格管理学院）
本文提出了一种可扩展的评估方法，通过对话评估优化代理，展示交互优化代理在解决学校调度问题时能获得更高质量的解决方案。
2026-04-03 cs.AI math.OC
ConDABench: Interactive Evaluation of Language Models for Data Analysis
Microsoft（微软）
ConDABench通过多智能体工作流生成1,420个对话式数据分析问题，并首次提供系统评估工具，揭示新一代LLM虽能解决更多实例，但在长期交互任务上未必更优。
2025-10-10 cs.AI cs.CL
Dashboard2Code: Evaluating Multimodal Models on Reconstructing Interactive Dashboards
Research Center for Social Computing and Interactive Robotics（社会计算与交互机器人研究院）
研究多模态模型在交互式仪表板重建任务，介绍Dashboard2Code任务，提出DashboardMimic基准及自动化评估框架，实验发现开源与闭源模型在此任务上有差距。
2026-07-07 cs.AI cs.CV cs.SE
AsgardBench -- Evaluating Visually Grounded Interactive Planning Under Minimal Feedback
Microsoft（微软）
AsgardBench旨在评估基于视觉的高阶动作序列生成和交互式规划，重点在于执行过程中基于视觉观察而非导航或低级操作的计划适应。通过限制代理输入为图像、动作历史和轻量级成功/失败信号，该基准测试强调条件分支和计划修复。
2026-03-18 cs.AI cs.CV cs.RO
KC-Bench: A Dynamic Interactive Benchmark for Evaluating Knowledge Conflicts in LLM Agents
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The University of Hong Kong（香港大学）；Xiamen University Malaysia（马来西亚厦门大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
KC-Bench是评估LLM智能体知识冲突处理能力的动态交互式基准，经筛选含238个任务，对9款模型评估发现其跨领域表现差异大，为相关安全措施开发提供可复现诊断依据。
2026-09-04 cs.AI
AQA-Bench: An Interactive Benchmark for Evaluating LLMs' Sequential Reasoning Ability
UC Santa Cruz（加州大学圣克鲁兹分校）；University of Edinburgh（爱丁堡大学）
AQA-Bench是一个交互式基准，通过二分搜索、深度优先搜索和广度优先搜索评估LLMs的顺序推理能力，发现闭源模型表现更强，且提供前驱步骤可提升小模型性能。
2025-06-20 cs.AI cs.CL cs.LG
Evaluating Empathy in Artificial Agents
Simon Fraser University（西蒙弗雷泽大学）
计算共情的新研究领域正处于起步阶段，并正在朝着开发方法和标准的方向发展。一个主要的问题是缺乏共识的评价共情在人工交互系统。尽管存在心理学、精神病学和神经科学的成熟方法，但这些方法与计算共情之间的转换并不简单。它需要集体努力来开发更适合交互式人工代理的指标。本文旨在尝试就这一重要问题展开对话。我们研究了人类同理心的评估方法，并为开发更好的指标来评估人工代理的同理心提供了建议。我们承认在一个单一的解决方案，在各种各样的交互式系统，并提出了一套系统的方法，可用于各种应用程序和系统的困难。
2019-08-14 cs.AI cs.HC
RoTA-Bench: Evaluating 3D Spatial Reasoning through Interactive Projection Alignment
Xiamen University（厦门大学）；Nanyang Technological University（南洋理工大学）；Institute of Artificial Intelligence, Xiamen University（厦门大学人工智能研究院）
研究构建RoTA-Bench评估视觉-语言模型的3D空间推理能力，发现模型在投影对齐任务中表现远逊于人类，且图像与姿态空间进展易不一致，精细控制依赖交互历史。
2026-10-19 cs.AI
CodeIF-Bench: Evaluating Instruction-Following Capabilities of Large Language Models in Interactive Code Generation
School of Computer Science & Engineering, State Key Laboratory of Complex & Critical Software Environment, Beihang University（计算机科学与工程学院、复杂与关键软件环境国家重点实验室、北京航空航天大学）；School of Software, Beihang University（软件学院、北京航空航天大学）；Huawei Cloud Computing Technologies Co., Ltd. China（华为云计算技术有限公司）
CodeIF-Bench通过九种可验证指令评估LLMs在多轮交互中的指令遵循能力，揭示了上下文管理对性能的影响。
2025-11-23 cs.AI cs.PL cs.SE
Evaluating the Efficacy of Interactive Language Therapy Based on LLM for High-Functioning Autistic Adolescent Psychological Counseling
Branksome Hall Asia（亚洲布兰克森霍尔学院）；Algorix Convergence Research Office（Algorix融合研究室）；Korea Science Academy of KAIST（韩国科学技术院附属韩国科学英才学校）；Hana Academy Seoul（首尔汉拿学院）
本研究评估LLM在高功能自闭症青少年心理咨询中的疗效，通过专家评分卡和模拟场景发现其在共情和适应性上表现良好，但个性化深度不足。
2023-11-12 cs.AI cs.HC
Interactive Evaluation of Large Language Models for Multi-Requirement Software Engineering Tasks
针对静态基准的不足，提出基于需求依赖图和面试官提示的交互式评估框架，在DevAI基准上验证，揭示LLM在多需求编程任务中的优势与弱点，强调动态评估的重要性。
2025-08-26 cs.AI
Don't Guess, Just Ask: Evaluating Interactive Requirement Clarification for Repository-Level Software Development
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
该研究提出ReqClarifyBench基准，评估LLM在仓库级软件开发中通过交互将模糊用户意图转化为明确需求的能力，发现澄清效果与文档质量无必然关联，编码智能体工具未提升需求文档质量。
2026-10-12 cs.AI cs.SE
SpatialWorld: Benchmarking Interactive Spatial Reasoning of Multimodal Agents in Real-World Tasks
Tsinghua University（清华大学）；Chongqing University（重庆大学）；Peking University（北京大学）；ZenoMind AI；Xi’an Jiaotong University（西安交通大学）；Beijing Institute of Technology（北京理工大学）；Southeast University（东南大学）；Shanghai Jiao Tong University（上海交通大学）；Joy Future Academy（京东探索研究院）；The University of Hong Kong（香港大学）
提出SpatialWorld基准，集成8种异构模拟后端，通过760个人工标注任务评估多模态智能体在视觉部分可观测环境中的交互式空间理解，发现最强模型GPT-5任务成功率仅17.4%。
2026-06-16 cs.AI cs.CL
TextQuests: How Good are LLMs at Text-Based Video Games?
Center for AI Safety（人工智能安全中心）；Carnegie Mellon University（卡内基梅隆大学）；Gray Swan AI（灰天鹅AI）
本文提出基于互动小说的基准TextQuests，通过禁止外部工具专注评估LLM智能体在长上下文探索性环境中的持续自主推理与独立解决问题能力。
2025-08-13 cs.AI cs.CL
Talking with Oompa Loompas: A novel framework for evaluating linguistic acquisition of LLM agents
BITS Pilani（比特兰学院）
提出新框架评估LLM智能体通过交互反馈习得新语言Tinkatongue的能力，发现其在100次响应内失败但采用类似人类策略，为评估基准和模型设计提供新方向。
2025-09-09 cs.AI cs.CL cs.HC
GUI-GenBench: Evaluating Image Generation Models as Interactive GUI Environments
StepFun；South China University of Technology（南方科技大学）；Peking University（北京大学）；Tsinghua University（清华大学）；Institute of Automation Chinese Academy of Sciences（中国科学院自动化研究所）；The University of Chicago（芝加哥大学）；Nanyang Technological University（南洋理工大学）
GEBench提出一个评估GUI生成模型动态交互和时间一致性的基准测试，通过五维指标揭示模型在多步交互中的瓶颈问题。
2026-09-29 cs.AI cs.CV
NLPGym -- A toolkit for evaluating RL agents on Natural Language Processing Tasks
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
强化学习（RL）最近在复杂的游戏AI和机器人任务中表现出令人印象深刻的性能。在很大程度上，这要归功于OpenAI Gym、Atari Learning Environment或Malmo等模拟环境的可用性，这些环境允许智能体通过与虚拟环境的交互来学习复杂的任务。虽然RL也越来越多地应用于自然语言处理（NLP），但没有模拟的文本环境可供研究人员在NLP任务上应用和一致地基准RL。通过这里报告的工作，我们因此发布了NLPGym，这是一个开源Python工具包，为标准NLP任务提供交互式文本环境，如序列标记，多标签分类和问答。我们还提出了6个任务的实验结果，使用不同的强化学习算法，作为进一步研究的基线。该工具包发布于https://github.com/rajcscw/nlp-gym
2020-11-16 cs.AI cs.CL
Broken Gates: Re-evaluating Web Bot Defenses in the Age of LLM Agents
Florida International University（佛罗里达国际大学）
研究在大语言模型代理时代网络机器人防御的有效性，通过系统测量研究评估基于交互式挑战与非交互式信任的防御对商业验证码解决服务和大语言模型代理的弹性，发现非交互式防御安全边界在环境层，影响机器人管理系统设计评估。
2026-11-09 cs.AI cs.CR cs.MA
Improved Explanatory Efficacy on Human Affect and Workload through Interactive Process in Artificial Intelligence
School of Computing, KAIST（韩国科学技术院计算机学院）
尽管最近在可解释的人工智能系统领域取得了进展，但用于评估此类系统可用性的具体量化措施尚不存在。确保解释性界面在与用户交互方面的成功需要人类和人工智能之间的循环共生关系。因此，我们提出了解释功效，一种新的衡量标准，用于评估强度的循环关系的接口展品。此外，在一项用户研究中，我们评估了感知的影响和工作量，并记录了参与者与我们定制的迭代解释界面互动时的EEG信号，以构建个性化推荐系统。我们发现，系统的感知驱动的迭代任务具有更大的解释功效的特点是统计上显着的半球差异的神经信号与62.4%的准确性，表明神经相关的解释功效的措施的可行性。这些发现对于旨在研究人类-人工智能伙伴关系的循环生态系统的研究人员来说是有益的。
2020-10-23 cs.AI cs.HC cs.LG
Interactive Visual Reasoning under Uncertainty
Beijing Institute of Technology（北京理工大学）；Peking University（北京大学）；Yangtze Delta Region Academy of Beijing Institute of Technology（北京理工大学长三角研究院）；BIGAI（北京通用人工智能研究院）
本文提出IVRE交互式环境，以Blicket检测为核心评估人工代理在不确定性下的视觉推理能力，发现现有学习方法明显逊于人类，呼吁未来研究构建类人智能。
2023-10-29 cs.AI cs.CV cs.LG
ClarifyCodeBench: Evaluating LLMs on Clarifying Ambiguous Requirements for Code Generation
Peking University（北京大学）
提出ClarifyCodeBench基准，通过人工标注的模糊需求、澄清问题和指标，评估LLMs主动澄清需求的能力，发现代码生成能力与需求澄清能力脱钩，且多模糊场景下性能下降。
2026-10-05 cs.AI cs.SE
Evaluating Interactive 2D Visualization as a Sample Selection Strategy for Biomedical Time-Series Data Annotation
Signal Processing Research Centre, Tampere University（塔尔皮莱大学信号处理研究中心）；BABA Center, Department of Physiology, University of Helsinki（赫尔辛基大学生理学系BABA中心）
针对生物医学时间序列标注困难，比较随机采样、最远优先遍历和基于交互式2D可视化（2DV）的三种样本选择方法，在婴儿运动评估和语音情感识别任务中，2DV在聚合标签时表现最佳，但个体标注者间标签分布差异大，随机采样最安全。
2026-06-17 cs.AI cs.HC cs.LG
Interactive Gibson Benchmark (iGibson 0.5): A Benchmark for Interactive Navigation in Cluttered Environments
Stanford University（斯坦福大学）；Robotics at Google（谷歌机器人部门）
我们提出了交互式吉布森基准，第一个全面的基准培训和评估交互式导航：机器人导航策略，允许与对象的物理交互，甚至鼓励完成一项任务。例如，如果需要，机器人可以移动物体，以便清除通向目标位置的路径。我们的基准测试包括两个新的元素：1）一个新的实验设置，交互式吉布森环境（iGibson 0.5），它模拟室内场景的高保真视觉效果，以及机器人和这些场景中常见物体的高保真物理动力学; 2）一组交互式导航指标，允许人们研究导航和物理交互之间的相互作用。我们在Interactive Gibson中提出并评估了多个基于学习的基线，并提供了对导航路径效率和周围物体干扰之间不同权衡的导航机制的见解。我们公开了我们的基准测试（https：//sites.google.com/view/interactivegibsonenv），并鼓励来自机器人领域所有学科（例如规划、学习、控制）的研究人员在Interactive Gibson中提出、评估和比较他们的交互式导航解决方案。
2021-08-09 cs.AI cs.CV cs.LG
Beyond Oracle Communication: Benchmarking Interactive Intent Alignment Under Miscommunication and Evolving User Intent
ByteDance Inc.（字节跳动公司）；University of Notre Dame（圣母大学）
针对现有基准假设用户完美通信的局限，提出Drift-Bench++基准和GRIP评估协议，研究智能体在不完美通信和意图演变下的交互式意图对齐，发现更强交互有帮助但远未达到完美性能。
2026-10-01 cs.AI cs.CL cs.LG
Imitating Interactive Intelligence
DeepMind（深度思维）
科幻小说中的一个共同愿景是，有一天机器人将居住在我们的物理空间，像我们一样感知世界，帮助我们的体力劳动，并通过自然语言与我们交流。在这里，我们研究如何设计人工代理，可以自然地与人类使用虚拟环境的简化。然而，这种设置集成了人工智能（AI）研究的许多核心挑战：复杂的视觉感知和目标导向的物理控制，接地语言理解和生产，以及多智能体社交互动。为了构建能够与人类进行鲁棒交互的智能体，我们最好在它们与人类交互时对其进行训练。然而，这目前是不切实际的。因此，我们用另一个学习过的智能体来近似人类的角色，并使用反向强化学习的思想来减少人与人之间和智能体与智能体之间交互行为的差异。严格评估我们的代理人是一个巨大的挑战，因此我们开发了各种行为测试，包括观看代理人视频或直接与他们互动的人的评估。这些评估令人信服地表明，交互式训练和辅助损失提高代理行为超越了监督学习的行动单独实现。此外，我们证明，代理能力概括超越字面经验的数据集。最后，我们训练评估模型，其评级的代理同意以及与人类的判断，从而允许新的代理模型的评估，而无需额外的努力。两者合计，我们在这个虚拟环境中的结果提供的证据表明，大规模的人类行为模仿是一个有前途的工具，创造智能，互动代理，可靠地评估这些代理的挑战是可能克服的。
2021-01-21 cs.AI cs.LG cs.MA
ProgramDistill: From Interactive Web Apps to Verifiable Reference-Guided SWE Tasks
KAIST（韩国科学技术院）；Microsoft Research Montréal（微软蒙特利尔研究院）；Microsoft AI（微软人工智能）
ProgramDistill通过交互式参考应用生成可验证的软件工程任务，构建了包含4,063个任务的基准，评估编码智能体，发现GPT-6 Astra和Claude Opus 5在完整重建中成功率分别为49.2%和28.8%，并随恢复深度增加而下降。
2026-09-17 cs.AI cs.SE
ToolSandbox: A Stateful, Conversational, Interactive Evaluation Benchmark for LLM Tool Use Capabilities
Apple（苹果公司）
针对LLM工具使用能力评估缺乏全面性的问题，提出ToolSandbox基准，包含有状态工具执行、工具间隐式依赖、在线策略对话评估等特性，揭示开源与专有模型性能差距及复杂任务挑战，为工具使用LLM能力评估提供新方法。
2025-04-16 cs.AI cs.CL cs.LG
Designing and Evaluating Malinowski's Lens: An AI-Native Educational Game for Ethnographic Learning
Leibniz Supercomputing Centre（莱比锡超算中心）；Stanford University（斯坦福大学）
本研究设计并评估了首款AI原生人类学教育游戏Malinowski's Lens，结合检索增强生成与DALL-E 3技术还原田野调查场景，经两项研究验证其学习效果、可用性与教学价值，为学术文本转化为互动体验提供可复制模型。
2025-11-10 cs.AI cs.HC
