Turning Intent into Specifications: A Benchmark and an Interactive User-Assistant Agent
Red Hat AI Innovation(红帽AI创新);MIT-IBM Watson AI Lab(MIT-IBM沃森AI实验室);IBM Core AI(IBM核心AI)
提出SpecBench基准和Buddy代理,通过形态分析分解用户意图、模拟用户评估设计选择,将焦点从代码生成转向人机协作规范制定。
2026-06-23 cs.AI cs.CL cs.HC
An Empirical Study of Proactive Coding Assistants in Real-World Software Development
College of AI, Tsinghua University(清华大学人工智能学院);Fitten Tech Co., Ltd.(Fitten科技有限公司)
本文通过大规模实证研究,分析了模拟与现实数据在主动意图预测中的差异,提出ProCodeBench基准,并指出模拟数据无法替代真实数据。
2026-05-07 cs.AI cs.SE
$π$-Bench: Evaluating Proactive Personal Assistant Agents in Long-Horizon Workflows
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);Fudan University(复旦大学);University of Science and Technology of China(中国科学技术大学);Peking University(北京大学);Nanjing University(南京大学);Zhejiang University(浙江大学);Tongji University(同济大学);Soochow University(苏州大学);The Chinese University of Hong Kong(香港中文大学)
本文提出$π$-Bench基准,用于评估个人助理代理在长周期工作流中的主动协助能力,通过100个多轮任务和5种特定领域用户角色,验证代理在未明确表达意图前识别和执行隐藏意图的能力,揭示主动协助的挑战及前期交互对后续任务的重要性。
2026-05-19 cs.AI
Proactive Assistant Dialogue Generation from Streaming Egocentric Videos
Meta;University of Michigan(密歇根大学)
本文针对流式第一人称视频下的实时主动任务引导难题,提出包含大规模合成对话数据集、经人类研究验证的自动评估指标及端到端生成模型在内的综合框架,为构建实时主动式AI助手奠定基础。
2025-06-06 cs.AI cs.CL cs.CV
Streaming Interventions: Can Video Large Language Models Correct Mistakes as They Occur?
Qualcomm AI Research(高通人工智能研究院);York University(约克大学);Vector Institute for AI(向量人工智能研究所)
提出Ego-MC-Bench基准评估视频LLM在烹饪场景中的实时干预能力,并构建Ego-CoMist反事实合成数据集提升小模型性能。
2026-11-13 cs.CV cs.LG
Plan, Watch, Recover: A Benchmark and Architectures for Proactive Procedural Assistance
Meta Reality Labs(Meta现实实验室);Meta Superintelligence Labs(Meta超智能实验室)
提出EgoProactive数据集和Pro²Bench基准,并设计解耦规划器-交互架构,用于主动式程序辅助中的实时引导和异常恢复。
2026-10-14 cs.AI cs.CV
Satori: Towards Proactive AR Assistant with Belief-Desire-Intention User Modeling
New York University(纽约大学);Adobe Research(奥多比研究院);Brown University(布朗大学)
提出Satori,一种结合BDI框架与多模态大语言模型的主动式AR辅助系统,通过建模用户心理状态和环境上下文提供引导,在无需手动配置下达到与WoZ系统相当的性能。
2025-03-31 cs.AI cs.HC
From Passive Watching to Active Learning: Empowering Proactive Participation in Digital Classrooms with AI Video Assistant
Chair of Human-Centered Technologies for Learning, TUM(慕尼黑工业大学以人为中心学习技术主席席位)
本文介绍AI视频助手SAM,通过大语言模型驱动的聊天界面促进主动学习,实验显示其显著提升知识增益,准确率达97.6%,赋能学生掌控学习。
2025-02-24 cs.AI
GOMA: Proactive Embodied Cooperative Communication via Goal-Oriented Mental Alignment
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院);Dartmouth College(达特茅斯学院);Johns Hopkins University(约翰斯·霍普金斯大学)
针对协作中信息不完整导致的心智状态不一致问题,提出GOMA框架,将言语交流建模为目标相关心智对齐的规划问题,使具身助手能主动发起自然语言交流,在两个测试环境中均提升了协作效果与用户评价。
2025-01-14 cs.AI cs.HC cs.MA
StreamBridge: Turning Your Offline Video Large Language Model into a Proactive Streaming Assistant
Apple(苹果公司);Fudan University(复旦大学)
StreamBridge 通过记忆缓冲区与轮次衰减压缩、轻量级激活模型及 Stream-IT 数据集,将离线 Video-LLM 转换为具备多轮实时理解和主动响应能力的流式助手,性能超越 GPT-4o 等专有模型。
2025-09-18 cs.AI cs.CL cs.CV
Embracing Imperfection: Simulating Students with Diverse Cognitive Levels Using LLM-based Agents
Zhejiang University(浙江大学);Hong Kong University of Science and Technology(香港科学与技术大学)
针对LLM难以模拟不同认知水平学生自然错误的问题,提出基于知识图谱构建认知原型并利用束搜索迭代优化学生解决方案的无训练框架,在Student_100数据集上实现模拟准确率100%提升。
2025-08-09 cs.CL cs.CY cs.LG
A Proactive EMR Assistant for Doctor-Patient Dialogue: Streaming ASR, Belief Stabilization, and Preliminary Controlled Evaluation
The Hong Kong Polytechnic University(香港理工大学)
本文提出一种主动电子病历助手,通过流式语音识别、标点恢复、状态提取、信念稳定化、对象化检索、行动规划和可回放报告生成,提升医生-患者对话中的病历记录效率与前瞻性支持。
2026-03-18 cs.AI cs.CL
Galaxy: A Cognition-Centered Framework for Proactive, Privacy-Preserving, and Self-Evolving LLM Agents
本文提出Galaxy框架,通过Cognition Forest统一认知架构与系统设计,实现前瞻性、隐私保护且自我进化的LLM智能体,并在基准测试中优于现有方法。
2025-08-06 cs.AI
PIRA-Bench: A Transition from Reactive GUI Agents to GUI-based Proactive Intent Recommendation Agents
Nankai University(南开大学);Huawei Research(华为研究)
PIRA-Bench通过引入主动意图推荐代理基准,推动GUI代理从反应式向主动式转变,评估多模态大语言模型在连续弱监督视觉输入中的能力。
2026-03-09 cs.AI
SocialMemBench: Are AI Memory Systems Ready for Social Group Settings?
Independent Researcher(独立研究者)
本文提出SocialMemBench,一个针对多党社交群体的AI记忆系统评估基准,通过人类验证的合成社交网络,测试记忆系统在处理共享历史、群体规范和成员退出等复杂社交场景中的能力。
2026-05-18 cs.AI cs.CL
Planning for Proactive Assistance in Environments with Partial Observability
Arizona State University(亚利桑那州立大学)
本文讨论的问题,合成的行为的人工智能智能体,提供积极主动的任务协助人类在工厂车间,他们可能共存于一个共同的环境中的设置。与请求援助的情况不同,人类可能不期望主动援助,因此,对于代理人来说,确保人类意识到援助如何影响她的任务至关重要。当人类可能既不完全了解人工智能智能体的能力,也不完全了解其活动时,这就变得更加困难。因此,我们的\textit{proactive assistant}由以下三个原则指导:\textbf{(1)},其活动降低了人类实现其目标的成本; \textbf{(2)},人类能够认识到其成本的潜在降低; \textbf{(3)},其活动优化了人类实现其目标的总成本(时间/资源)。通过实证评估和用户研究,我们证明了我们的方法的实用性。
2021-09-04 cs.AI
Pro$^2$Assist: Continuous Step-aware Proactive Assistance with Multi-modal Egocentric Perception for Long-horizon Procedural Tasks
Columbia University(哥伦比亚大学);The Chinese University of Hong Kong(香港中文大学)
本研究提出Pro²Assist,一种基于多模态自我中心感知的步骤感知主动式辅助系统,通过AR眼镜感知与持续推理提升长程流程任务辅助效果,在动作理解与主动时机准确率上优于基线,获多数用户认可。
2026-08-04 cs.AI cs.HC
Investigating and Alleviating Harm Amplification in LLM Interactions
Georgia Institute of Technology(佐治亚理工学院)
提出HarmAmp基准和TrajSafe监控器,用于评估和缓解多轮对话中大语言模型对危害的放大效应。
2026-10-27 cs.CL cs.LG
A Unified Conversational Assistant Framework for Business Process Automation
IBM Research AI(IBM研究院人工智能部门)
业务流程自动化是一个价值数十亿美元的蓬勃发展的行业,它有望通过引入自主智能体,从工人的盘子中去除卑微的任务,并释放他们的时间和脑力,以完成更具创造性和吸引力的任务。然而,成功部署这种自主智能体的一个重要组成部分是业务用户监视其性能并定制其执行的能力。一个简单和用户友好的界面,低学习曲线是必要的,以增加在银行,保险,零售和其他领域采用这种代理。因此,主动聊天机器人将在业务自动化领域发挥至关重要的作用。它们不仅可以响应用户的查询并代表他们执行操作,还可以启动与用户的通信,以通知他们系统的行为。这将为业务用户提供一个自然语言界面,以与自主智能体进行交互、监视和控制。在这项工作中,我们提出了一个多代理编排框架,通过讨论可以组成代理的技能类型以及如何编排这些代理来开发这种主动聊天机器人。通过两个旅行预批准业务流程和贷款申请业务流程的用例,定性分析提出的框架的基础上的四个标准:性能,编码开销,可扩展性和代理重叠。
2020-01-07 cs.AI
Listening Alone, Understanding Together: Collaborative Context Recovery for Privacy-Aware AI
Stony Brook University(石溪大学);Microsoft Research(微软研究院)
CONCORD框架通过协作上下文恢复技术,在隐私保护下实现对话上下文的准确恢复,通过时空上下文解析、信息缺口检测和最小化A2A查询提升隐私安全性和对话效果。
2026-04-14 cs.AI cs.CR
Do Proactive Agents Need an LLM to Decide When to Act?
Purdue University(普渡大学);Microsoft(微软);Michigan State University(密歇根州立大学);Georgia Institute of Technology(佐治亚理工学院)
提出用时间图学习(TGL)模型替代LLM作为主动智能体的触发器,通过图更新而非文本处理用户活动,实现高效、低延迟的触发决策。
2026-09-30 cs.AI cs.CL cs.HC
IntentRL: Training Proactive User-intent Agents for Open-ended Deep Research via Reinforcement Learning
Tongyi Lab, Alibaba Group(通义实验室,阿里巴巴集团)
IntentRL通过强化学习训练主动用户意图代理,提升开放性深度研究的意图识别与任务性能。
2026-02-03 cs.AI cs.LG
AI for Service: Proactive Assistance with AI Glasses
本文提出AI4Service范式及Alpha-Service框架,基于AI眼镜和多智能体系统,实现主动感知用户需求并提供实时辅助,通过案例验证其有效性。
2025-10-16 cs.AI cs.CL cs.CV
Modelling Reactive and Proactive Behaviour in Simulation
本研究调查了传统的和相结合的离散事件以及基于代理的仿真模型的仿真模型行为时,人类的反应性和主动行为,以人为中心的复杂系统建模。本研究以百货公司为研究对象,探讨女装部试衣间的运作系统。我们已研究方法,透过模拟员工对顾客的反应及主动行为,以厘定试衣间营运的新管理政策的效率。一旦完成了仿真模型的开发及其验证,我们就以敏感性分析的形式进行了验证实验。随后,我们进行了统计分析,其中混合反应性和主动行为的实验结果进行了比较与一些反应性的实验结果,从以前发表的作品。一般来说,这个案例研究发现,简单的积极主动的个人行为可以在两个模拟模型建模。此外,我们发现,传统的离散事件模型进行类似的仿真模型输出相比,结合离散事件和代理的模拟类似的人类行为建模时。
2010-06-18 cs.AI cs.CE cs.MA
Coordinated Pandemic Control with Large Language Model Agents as Policymaking Assistants
The Hong Kong University of Science and Technology, Hong Kong(香港科学与技术大学);The Hong Kong University of Science and Technology (Guangzhou), China(香港科学与技术大学(广州));Zhejiang University, China(浙江大学);University of Macau, Macau(澳门大学)
本文提出利用大语言模型多代理系统进行协调流行病防控,通过模拟和闭环过程减少感染和死亡率。
2026-01-14 cs.AI
Clarify User Expertise: Towards Proactive Conversational Agents Tailoring Responses to User Proficiency
School of Computing and Data Science, The University of Hong Kong(香港大学计算与数据科学学院);Institute of Data Science, National University of Singapore(新加坡国立大学数据科学研究所);College of Computer Science, Sichuan University(四川大学计算机学院)
本研究针对现有对话智能体无法仅通过查询判断用户专业能力的缺陷,提出PASSING方法,通过LLM自博弈生成的询问策略主动明确用户专业能力,以调整响应提升用户理解,实验显示该方法具有优越性。
2026-08-27 cs.AI cs.CL
GOD model: Privacy Preserved AI School for Personal Assistant
PIN AI
提出GOD模型,一种在设备端训练和评估个人AI助理的隐私保护框架,通过模拟查询、课程学习和代币激励解决冷启动问题,实现个性化推荐与数据安全。
2025-02-27 cs.AI cs.CR cs.LG
HiMeS: Hippocampus-inspired Memory System for Personalized AI Assistants
Tencent Inc.(腾讯公司)
HiMeS通过融合短期和长期记忆机制,提升个性化AI助手在知识密集型场景中的问答质量与用户定制能力。
2026-01-06 cs.AI
ContextAgent: Context-Aware Proactive LLM Agents with Open-World Sensory Perceptions
The Chinese University of Hong Kong(香港中文大学);Columbia University(哥伦比亚大学)
ContextAgent利用可穿戴设备的感官上下文理解用户意图并预测主动服务需求,自动调用工具提供不打扰协助;在ContextAgentBench基准上,其主动预测和工具调用准确率分别比基线高8.5%和6.0%。
2025-10-27 cs.AI cs.CL cs.HC
Image-Seeking Intent Prediction for Cross-Device Product Search
University of Oxford(牛津大学);Vienna University of Economics and Business(维也纳经济与商业大学);Amazon(亚马逊公司)
本文针对跨设备电商搜索场景,提出寻图意图预测新任务,基于大规模生产数据训练IRP模型预测语音查询的视觉展示需求,结合轻量级摘要与精准导向损失提升预测效果,支撑更流畅的跨设备购物体验。
2025-09-16 cs.AI cs.IR
SocialMind: LLM-based Proactive AR Social Assistive System with Human-like Perception for In-situ Live Interactions
The Chinese University of Hong Kong(香港中文大学);Columbia University(哥伦比亚大学)
针对现有辅助系统无法在实时社交互动中提供现场协助的问题,本研究提出首个基于LLM的主动式AR社交辅助系统SocialMind,其通过多模态类人感知提取社交线索并融入LLM推理,结合多层协作生成与主动更新机制提供及时建议,评估显示参与度提升38.3%且95%参与者愿使用。
2024-12-05 cs.AI
CogniFold: Always-On Proactive Memory via Cognitive Folding
提出CogniFold,一种受大脑启发的主动记忆系统,通过将互补学习系统扩展为三层(海马体、新皮层、前额叶意图层)并利用图拓扑自组织,实现事件流的持续认知结构涌现,在认知评估和常规记忆基准上均表现优异。
2026-08-25 cs.AI cs.CL
TIDE: Proactive Multi-Problem Discovery via Template-Guided Iteration
KAIST(韩国科学技术院);DeepAuto.ai
提出TIDE框架,通过模板引导的迭代机制主动发现用户上下文中隐藏的多个问题,并给出具体行动方案,在个人工作区和软件仓库两个场景中显著提升任务覆盖率和问题识别与解决能力。
2026-08-17 cs.AI cs.CL cs.LG
KnowU-Bench: Towards Interactive, Proactive, and Personalized Mobile Agent Evaluation
Zhejiang University(浙江大学);Apple(苹果公司);Tencent(腾讯)
KnowU-Bench通过Android仿真环境评估个性化移动代理,涵盖42个通用GUI任务、86个个性化任务和64个主动任务,验证代理在交互中获取用户偏好和主动干预的能力,发现前沿模型在模糊指令下表现下降,揭示偏好获取和干预校准的关键瓶颈。
2026-04-09 cs.AI
FaMA: LLM-Empowered Agentic Assistant for Consumer-to-Consumer Marketplace
University of Texas at Austin(德克萨斯大学奥斯汀分校);Meta Platforms, Inc(Meta平台公司)
针对C2C电商平台GUI操作繁琐的问题,提出LLM驱动的对话式智能体助手FaMA,可自动化买卖双方高摩擦工作流,实验显示其任务成功率达98%,交互速度最高提升2倍。
2025-09-04 cs.AI
VibeLifeBench: Can Your Life Agent Be Proactive and Persistent in a Living World?
Xiaohongshu Dots Studio(小红书Dots工作室);Evolvent AI(Evolvent AI公司)
本文提出VibeLifeBench基准,评估7个前沿LLM智能体在200项长周期日常生活任务中的表现,发现其主动与持续性不足,将开源相关任务、环境与评估框架。
2026-11-09 cs.AI cs.CL
Multi-trait User Simulation with Adaptive Decoding for Conversational Task Assistants
NOVA University of Lisbon(里斯本新大学);NOVA LINCS
针对对话任务助手中多样用户特质难以模拟的问题,提出 mTAD,在解码时从特质专属 LM 采样以生成多画像对话,并通过 CTA 真实对话实验验证其有效性与灵活性。
2024-10-28 cs.AI cs.CL cs.HC
Claw-Anything: Benchmarking Always-On Personal Assistants with Broader Access to User's Digital World
Beijing Institute of Technology(北京理工大学);Huawei Technologies Co., Ltd(华为技术有限公司);Peking University(北京大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
提出Claw-Anything基准测试,通过扩展长期活动历史、相互依赖的后端服务以及跨多设备的GUI和CLI交互三个维度,评估大型语言模型代理在始终在线环境下的性能,发现GPT-5.5仅达34.5% pass@1,并发布自动化数据生成管道提升基线模型23.7%。
2026-05-25 cs.AI
Creating General User Models from Computer Use
Stanford University(斯坦福大学);Microsoft Research(微软研究院)
本文提出通用用户模型(GUM),通过观察用户与计算机的任意交互构建置信度加权命题,持续推断和修订用户知识与偏好,并基于此实现上下文增强助手、通知管理和主动式智能体,验证了其推断的准确性与主动执行能力。
2025-09-21 cs.AI cs.CL cs.HC
Compliance Brain Assistant: Conversational Agentic AI for Assisting Compliance Tasks in Enterprise Environments
Meta
本文提出企业合规助手 CBA,通过查询路由器在 FastTrack 与 FullAgentic 模式间自适应选择,实验显示其相较原始 LLM 显著提升关键词匹配率和评审通过率。
2025-07-26 cs.AI
ProbGuard: Proactive Runtime Monitoring for LLM Agent Safety via Probabilistic Prediction
Singapore Management University(新加坡管理大学);Xi'an Jiaotong University(西安交通大学)
ProbGuard通过概率风险预测主动监控LLM代理安全,利用离散时间马尔可夫链建模行为动态,提前预警潜在危险,提升安全性和任务完成率。
2026-08-04 cs.AI cs.SE
Simulating Human Cognition: Heartbeat-Driven Autonomous Thinking Activity Scheduling for LLM-based AI systems
School of Computer Science, Chengdu University of Information Technology(成都信息学院计算机科学学院)
本文提出基于心跳驱动的自主思考活动调度机制,通过动态认知模块实现自适应和持续自我调节,提升LLM代理的适应性和效率。
2026-03-28 cs.AI q-bio.NC
Generative AI in Action: Field Experimental Evidence from Alibaba's Customer Service Operations
Fudan University(复旦大学);Zhejiang University(浙江大学);Dartmouth College(达特茅斯学院);Alibaba Group Inc.(阿里巴巴集团)
本研究通过大规模实地实验评估生成AI助手对电商售后客服人员绩效的影响,发现AI显著提升服务速度和服务质量,但对顶级员工产生负面影响,提示需定制化部署策略。
2026-08-03 cs.AI cs.HC
HumanLM: Simulating Users with State Alignment Beats Response Imitation
Stanford University(斯坦福大学);New York University(纽约大学)
HumanLM通过状态对齐模拟用户,优于响应模仿,显著提升对齐分数和真实用户相似性。
2026-02-07 cs.AI cs.CL
ProcAgent: An Agentic Framework for Procedural Task Guidance on Edge with Human-in-the-Loop
University of Tennessee Knoxville(田纳西大学诺克斯维尔分校);Worcester Polytechnic Institute(伍斯特理工学院)
研究针对家具组装等过程性任务,提出ProcAgent框架,利用提议与验证架构,结合多种技术,在边缘设备上实现实时自适应指导,经多维度评估及用户研究,证明能在不牺牲可用性的情况下于边缘硬件达成自适应过程性辅助。
2026-07-29 cs.AI cs.HC
SecMate: Multi-Agent Adaptive Cybersecurity Troubleshooting with Tri-Context Personalization
Ben-Gurion University of the Negev(贝加尔-戈里昂大学)
SecMate通过整合设备、用户和服务特定性,利用轻量级本地诊断工具和隐式技能推断,提升网络安全故障排查的准确性和用户满意度。
2026-04-29 cs.AI cs.CR
User Simulation for Evaluating Information Access Systems
University of Stavanger(斯塔夫港大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文探讨了用户模拟在评估信息访问系统中的应用,分析了其在任务完成和用户行为差异方面的挑战,并总结了相关技术与未来研究方向。
2024-05-23 cs.AI cs.HC cs.IR
PersonalHomeBench: Evaluating Agents in Personalized Smart Homes
LG Toronto AI Lab(LG多伦多人工智能实验室)
本文提出PersonalHomeBench,用于评估代理在个性化智能家庭中的表现,通过迭代构建家庭状态生成任务,结合工具箱支持真实交互,揭示任务复杂度增加时代理能力下降的问题。
2026-05-13 cs.AI cs.CL cs.DB