Game Plot Design with an LLM-powered Assistant: An Empirical Study with Game Designers
University of British Columbia(英属哥伦比亚大学);Microsoft Research(微软研究院);Microsoft Gaming(微软游戏);Vector Institute for AI(向量人工智能研究院)
本研究介绍LLM驱动的游戏剧情设计助手GamePlot,通过用户研究发现其能提升设计师满意度与所有权感,但LLM生成复杂创新内容能力有限,且不同用户群体对AI助手期望不同。
2024-11-05 cs.AI cs.CL cs.HC
Creative Writing with an AI-Powered Writing Assistant: Perspectives from Professional Writers
Google Research(谷歌研究院)
使用神经语言模型的自然语言生成(NLG)的最新发展使我们比以往任何时候都更接近构建人工智能驱动的创意写作工具的目标。然而,在创意写作领域,大多数关于人类与人工智能合作的先前工作都是与业余作家一起评估新系统,通常是在有限范围的人为用户研究中。在这项工作中,我们委托了13位来自不同创意写作背景的专业作家,使用Wordcraft(一种内置人工智能写作辅助工具的文本编辑器)制作故事。通过访谈和参与者日记,我们讨论了NLG在创意写作领域产生重大影响的潜力-特别是在头脑风暴,故事细节,世界建设和研究援助方面。有经验的作家,比业余作家更有经验,通常有完善的写作系统和方法,以及独特的声音和目标受众。我们的工作突出了为这些作家创作的挑战; NLG技术很难保持风格和作者的声音,而且他们缺乏对故事内容的深入理解。为了让人工智能写作助手充分发挥其潜力,他们必须考虑到人类作家的不同目标和专业知识。
2022-11-09 cs.CL cs.HC
PsyCounAssist: A Full-Cycle AI-Powered Psychological Counseling Assistant System
Beijing PsychTech Technology Co., Ltd.(北京心理科技技术有限公司);University of Hechi(贺州学院)
本文介绍PsyCounAssist,一个全周期AI心理咨询辅助系统,整合多模态情绪识别、LLM自动化报告和个性化后续支持,实验验证了其可靠性与实用性。
2025-04-23 cs.AI cs.HC
Evaluating AI-Powered Learning Assistants in Engineering Higher Education: Student Engagement, Ethical Challenges, and Policy Implications
ByWater Institute, Tulane University(杜兰大学拜沃特研究所);Office of Teaching, Learning, and Technology, University of Iowa(爱荷华大学教学、学习与技术办公室);River-Coastal Science and Engineering, Tulane University(杜兰大学河流与海岸科学与工程系)
本研究评估了在R1公立大学工程本科课程中应用的AI学习框架Educational AI Hub,通过混合方法发现学生认可其便利性但存在伦理顾虑,强调需提升可用性、伦理透明度并辅以教师指导以促进有效AI学习参与。
2025-10-27 cs.AI cs.CY cs.HC
AI-driven formative assessment and adaptive learning in data-science education: Evaluating an LLM-powered virtual teaching assistant
本文提出VITA平台,集成LLM聊天机器人BotCaptain,通过对话式辅导、xAPI数据管道和自适应路径引擎,实现数据科学教育中的形成性评价与个性化学习,并提供了架构基准和部署蓝图。
2025-09-17 cs.AI cs.CY cs.HC
DiMA: An LLM-Powered Ride-Hailing Assistant at DiDi
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Didichuxing Co. Ltd(滴滴出行有限公司)
本文介绍滴滴出行的LLM驱动网约车助手DiMA,通过时空感知订单规划、成本效益对话系统和持续微调,实现高准确率与低延迟,显著优于现有框架。
2025-10-09 cs.CL cs.CY cs.HC
Investigating Student Interaction Patterns with Large Language Model-Powered Course Assistants in Computer Science Courses
Colorado School of Mines(科罗拉多矿业学院);HiTA AI Inc.(HiTA人工智能公司);Cornell University(康奈尔大学)
本研究开发并部署了一个基于LLM的课程助手至多门计算机科学课程,分析了约2,000名学生的交互数据,发现系统有效填补了时间支持缺口,但LLM在生成高阶认知问题方面能力有限,需教育者更多参与配置以提升教学效果。
2025-09-10 cs.AI cs.CY cs.HC
Deaf and Hard of Hearing Access to Intelligent Personal Assistants: Comparison of Voice-Based Options with an LLM-Powered Touch Interface
Gallaudet University(加拉维特大学);University of California, Berkeley(加州大学伯克利分校);Pennsylvania State University(宾夕法尼亚州立大学)
本研究比较了语音识别与LLM驱动触控界面在聋人和听力障碍者使用智能个人助手中的可用性,发现两者无显著差异,但需改进对聋人语音的识别能力。
2026-01-22 cs.AI cs.HC
Mina: A Multilingual LLM-Powered Legal Assistant Agent for Bangladesh for Empowering Access to Justice
Mina通过多语言嵌入和基于RAG的工具链框架,为孟加拉国提供多语言法律助理服务,实现法律文书、引文和通俗解释的生成,经评估在法律考试中表现优异,成本显著降低。
2026-04-09 cs.CL cs.CY cs.HC
Human Thinking under Plural LLM Assistance: Mathematical Problem Solving and Open-Ended Writing
University of Toronto(多伦多大学)
本文通过两个实验探讨多代理LLM配置是否能提升学习效果,发现与单代理相比,多代理能增强学习成果并避免单一模型的同质化问题。
2026-07-03 cs.CY cs.HC
TAMIGO: Empowering Teaching Assistants using LLM-assisted viva and code assessment in an Advanced Computing Class
本文提出TAMIGO系统,利用LLM辅助助教进行口试与代码评估,发现其在生成口试问题时非常有效,反馈全面且具建设性,但存在幻觉问题且与评分标准对齐仍有改进空间。
2024-07-23 cs.CY cs.HC
ARChef: An iOS-Based Augmented Reality Cooking Assistant Powered by Multimodal Gemini LLM
Cupertino High School(库比蒂诺高中);University of California, Santa Barbara(加州大学圣巴巴拉分校)
针对传统烹饪方式的痛点及现有AR烹饪应用的不足,研究提出基于iOS的ARChef原型,结合多模态Gemini LLM、CV与ARKit实现食材识别、个性化食谱推荐等功能,经用户调研验证有效,助力减少食物浪费、优化烹饪体验。
2024-12-09 cs.AI cs.HC
Examining the Use and Impact of an AI Code Assistant on Developer Productivity and Experience in the Enterprise
本研究通过调查和测试,考察了IBM内部署的LLM代码助手WCA对开发者生产力与体验的影响,发现该工具虽能提升净生产力,但并非所有用户均能受益。
2025-03-04 cs.HC cs.SE
Thinking Assistants: LLM-Based Conversational Assistants that Help Users Think By Asking rather than Answering
提出“思考助手”概念,通过LLM基于专家知识提出反思性问题而非直接回答来增强用户认知,实验证明其能更有效引导决策,为开发更有效的LLM代理指明方向。
2024-12-24 cs.HC
"Is there anything else I can help you with?": Challenges in Deploying an On-Demand Crowd-Powered Conversational Agent
Carnegie Mellon University(卡内基梅隆大学);University of Michigan(密歇根大学);Ariel University(阿里埃勒大学)
智能会话助理,如苹果的Siri,微软的Cortana和亚马逊的Echo,已经迅速成为我们数字生活的一部分。然而,这些助手有很大的局限性,这使得用户无法像与人类对话伙伴一样与它们对话。这限制了我们观察用户真正想要如何与底层系统交互的能力。为了解决这个问题,我们开发了一个群体驱动的对话助手Chorus,并部署了它,以了解用户和工作人员在系统的调解下如何互动。随着时间的推移,Chorus通过按需招聘员工来与最终用户进行详细的对话,这反过来又决定了对每个用户句子的最佳回应。截至我们部署的第一个月,已有59名用户在320个对话会话中与Chorus进行了对话。在本文中,我们介绍了Chorus的部署,重点是四个挑战:(i)识别对话何时结束,(ii)恶意用户和工作人员,(iii)按需招聘,以及(iv)共识不够的设置。我们的观察可以帮助部署群体供电的会话系统和群体供电的系统一般。
2017-08-10 cs.AI cs.CL cs.HC
An AI-Powered Research Assistant in the Lab: A Practical Guide for Text Analysis Through Iterative Collaboration with LLMs
Universidad Externado de Colombia(哥伦比亚外部大学);Universidad de los Andes(安第斯大学);University of Michigan(密歇根大学);Rice University(莱斯大学);University of Toronto(多伦多大学);University of Southampton(南安普顿大学)
该研究提出一套研究者与LLMs迭代协作的文本分析分步教程,以个人目标文本为例演示分类体系的构建、优化、测试与应用流程,达到高编码者间信度,同时探讨了LLMs用于文本分析的潜力与局限。
2025-05-16 cs.AI cs.CL cs.HC
Tell Me: An LLM-powered Mental Well-being Assistant with RAG, Synthetic Dialogue Generation, and Agentic Planning
Fujitsu Research of America(富士通美国研究)
提出Tell Me系统,利用大语言模型通过RAG实现个性化对话、合成客户-治疗师对话生成以及智能体规划生成自我护理计划,旨在提供可及的心理支持而非替代专业治疗。
2026-06-23 cs.AI cs.CL cs.HC
"Who wants to be nagged by AI?": Investigating the Effects of Agreeableness on Older Adults' Perception of LLM-Based Voice Assistants' Explanations
Georgia Institute of Technology(佐治亚理工学院);Northeastern University(东北大学)
研究探讨了agreeableness对老年人感知基于LLM的语音助手解释的影响,发现高 agreeableness 助手在日常场景中更受信任,但在紧急情况下清晰度更重要,且可接受的老年人更严厉惩罚低 agreeableness 助手。
2026-03-09 cs.HC
Writing Assistants Should Model Social Factors of Language
Grammarly(格拉马利)
由大语言模型(LLM)驱动的智能写作助手今天比以往任何时候都更受欢迎,但次优性能阻碍了它们的进一步广泛采用。在这份立场文件中,我们认为,这种次优性能和采用的一个主要原因是一个单一的重点放在语言的信息内容,而忽略了它的社会方面。我们分析了这些社会因素的不同方面的背景下,写作助手,并提出他们的纳入建设更智能,更有效,真正个性化的写作助手,将丰富的用户体验,并有助于提高用户采用。
2023-03-28 cs.CL cs.HC
From Gaze to Guidance: Interpreting and Adapting to Users' Cognitive Needs with Multimodal Gaze-Aware AI Assistants
Microsoft Research(微软研究院);MIT Media Lab(麻省理工学院媒体实验室)
本文提出一种基于注视的多模态LLM助手,通过眼动追踪提升用户阅读行为评估的准确性与个性化,实验表明其能有效提升信息回忆能力并提高交互效率。
2026-04-09 cs.AI cs.HC
When LLMs Help -- and Hurt -- Teaching Assistants in Proof-Based Courses
Princeton University(普林斯顿大学)
本文研究了LLM在证明基础课程中助教评分与反馈中的作用,发现LLM与助教在评分上存在分歧,但其反馈对存在重大错误的提交仍具帮助。
2026-02-27 cs.HC
When Single-User-Oriented LLM-based Assistants Involve Others: A Scoping Review of Pathways, Risks, and Responses
Carnegie Mellon University(卡内基梅隆大学);North Carolina State University(北卡罗来纳州立大学);University of Hong Kong(香港大学)
本研究通过范围综述58项研究,系统梳理了面向单用户的LLM助手在多方情境中的五个操作路径、五类风险及五类应对措施,并提出关注角色变化和保持人物边界的治理与设计建议。
2026-09-15 cs.HC
"Mango Mango, How to Let The Lettuce Dry Without A Spinner?": Exploring User Perceptions of Using An LLM-Based Conversational Assistant Toward Cooking Partner
本研究探索用户使用基于LLM的烹饪对话助手Mango Mango的体验,发现其价值在于定制指令、丰富信息和动态规划,但需更适应对话,据此提出五项设计考虑。
2025-08-07 cs.HC
Will My Assistant Remember My Allergy? What Personal LLM Assistants Forget When Conversation Memory Is Compressed
Duke University(杜克大学)
研究发现,个人LLM助手在压缩对话记忆时,安全关键事实(如过敏信息)的保留率从97%骤降至0-1%,表明压缩缓存仅适用于推理复用,需额外可审计存储与主动询问界面。
2026-09-09 cs.HC
What Are You Doing? Effects of Intermediate Feedback from Agentic LLM In-Car Assistants During Multi-Step Processing
BMW Group Research and Technology(宝马集团研究与技术);Augsburg University(奥格斯堡大学);LMU Munich(慕尼黑大学)
研究探讨了代理式LLM车载助手在多步骤处理中中间反馈对用户体验的影响,发现中间反馈能提升信任和效率,同时减少任务负荷,提出适应性反馈策略以平衡透明度与效率。
2026-03-03 cs.HC
Need Help? Designing Proactive AI Assistants for Programming
本文针对聊天式AI助手被动响应的问题,设计并实现了一种基于大语言模型的主动式编程助手,通过随机实验验证其能提升程序员生产力与用户体验,并揭示了影响其有效性的关键设计因素。
2025-02-28 cs.HC
Usefulness of LLMs as an Author Checklist Assistant for Scientific Papers: NeurIPS'24 Experiment
本研究在NeurIPS'24会议上实验评估了LLM作为论文清单助手的实用性,发现超70%作者认为有用并会据其反馈修改,但也存在不准确、过度严格及可被操纵的漏洞。
2024-11-08 cs.CL cs.DL cs.HC
Harmony: A Human-Aware, Responsive, Modular Assistant with a Locally Deployed Large Language Model
本研究提出Harmony,一个基于本地部署Llama3-8B的智能家居助手,通过结构化提示和模块化智能体设计解决小模型可靠性问题,在保护隐私的同时实现与GPT-4系统相当的离线个性化交互性能。
2025-08-11 cs.HC
CodeAid: Evaluating a Classroom Deployment of an LLM-based Programming Assistant that Balances Student and Educator Needs
University of Toronto(多伦多大学);Microsoft Research(微软研究院);The University of Auckland(奥克兰大学)
本文开发并部署了不直接泄露代码答案的编程助手CodeAid,基于700名学生一学期的使用数据与师生访谈,提出四项面向未来教育AI助手的设计原则。
2024-02-25 cs.AI cs.HC
Investigating Assistant Bias in LLM User Simulators Using a Role Vector
KAIST(韩国科学技术院);University of Michigan(密歇根大学);Seoul National University(首尔大学);ETH Zürich(苏黎世联邦理工学院);SkillBench
该研究针对LLM用户模拟器的助手偏差,通过对比对话的用户与助手视角提取用户角色向量,证实偏差结构可识别且用户行为可定向分析,为优化模拟器提供了表征层面依据。
2026-10-06 cs.CL cs.HC
Applying LLM-Powered Virtual Humans to Child Interviews in Child-Centered Design
本研究针对儿童访谈挑战,提出了LLM驱动的虚拟人设计指南,开发了三种Human-AI工作流,实验证明LLM-Analyze工作流在引发回答长度、用户体验和参与度上表现最优。
2025-04-28 cs.CY cs.HC cs.MM
Human and LLM-Based Voice Assistant Interaction: An Analytical Framework for User Verbal and Nonverbal Behaviors
本文通过12名参与者的烹饪任务实验,提出了一个包含行为特征、交互阶段和阶段转换三个维度的分析框架,用于系统研究用户与LLM语音助手交互中的言语与非言语行为。
2024-09-03 cs.HC
User Misconceptions of LLM-Based Conversational Programming Assistants
University of Michigan(密歇根大学);Pontifical Catholic University of Rio de Janeiro(里约热内卢天主教大学);Heidelberg University(海德堡大学);Reykjavik University(雷克雅未克大学);IT University of Copenhagen(哥本哈根IT大学)
研究揭示了用户在使用基于大语言模型的对话式编程助手时可能存在的误解,强调了工具在明确自身能力及通过实证研究澄清编程需求的重要性。
2026-10-06 cs.AI cs.HC
Why and When LLM-Based Assistants Can Go Wrong: Investigating the Effectiveness of Prompt-Based Interactions for Software Help-Seeking
Simon Fraser University(西蒙菲莎大学);Stanford University(斯坦福大学)
通过16人实验对比基线LLM与SoftAIBot,发现提示词指南和领域上下文未能显著改善用户感知与任务完成率,强调需在LLM中引入可解释的上下文感知线索以提升软件求助效用。
2024-02-12 cs.AI cs.HC cs.LG
Plan-Then-Execute: An Empirical Study of User Trust and Team Performance When Using LLM Agents As A Daily Assistant
Delft University of Technology(代尔夫特理工大学);The University of Queensland(昆士兰大学)
本研究实证探讨了在六项日常任务中采用Plan-then-execute方式的LLM智能体,分析了用户在规划与执行阶段的参与度对信任及团队绩效的影响,为日常助手设计与人机协作提供了启示。
2025-02-03 cs.CL cs.HC
LLMs as Writing Assistants: Exploring Perspectives on Sense of Ownership and Reasoning
Shahjalal University of Science and Technology(沙贾拉勒科技大学);Independent University(独立大学);BRAC University(BRAC大学)
本文通过简短调查探讨了使用 LLMs 作为写作助手时引发的所有权意识困境与认知过程,旨在深入了解写作中的人机交互以改进写作辅助系统。
2024-10-02 cs.AI cs.CL cs.CY
User Experience with LLM-powered Conversational Recommendation Systems: A Case of Music Recommendation
本研究通过12名参与者为期三周的音乐推荐日记研究,探究大语言模型驱动的对话式推荐系统的独特用户体验,发现其可帮助明确隐性需求、支持探索及深化音乐偏好认知,为个性化用户驱动推荐的设计提供了新方向。
2025-02-24 cs.HC
Conversational AI as a Coding Assistant: Understanding Programmers' Interactions with and Expectations from Large Language Models for Coding
Khoury College of Computer Sciences, Northeastern University(东北大学科里计算机科学学院)
本研究调研程序员使用LLM驱动的对话式编程助手的模式、认知与策略,梳理了工具的优劣势与用户拒绝使用的原因,提出设计准则,为该类工具融入软件开发流程提供参考。
2025-03-14 cs.AI cs.HC
Conversational Assistants in Knowledge-Intensive Contexts: An Evaluation of LLM- versus Intent-based Systems
Delft University of Technology(代尔夫特理工大学)
该研究针对知识管理场景,对比基于LLM与基于意图的对话助手,通过用户研究验证前者在用户体验、任务完成率等多方面更优,为知识管理领域NLP技术选型提供参考。
2024-07-12 cs.AI cs.HC
User-Assistant Bias in LLMs
Harvard University(哈佛大学);University of Texas Health Science Center at Houston(德克萨斯大学健康科学中心休斯顿分校)
本文研究了大语言模型中因角色标签训练数据不一致导致的用户-助手偏见,通过UserAssist基准测试发现指令微调模型存在强用户偏见,而基础和推理模型接近中性,揭示了角色标签训练的潜在影响。
2026-04-19 cs.AI cs.CL cs.HC
AI Assistants Overassist
Stanford University(斯坦福大学);University of California, San Diego(加利福尼亚大学圣地亚哥分校);University of Washington(华盛顿大学)
研究探讨大语言模型作导师时,其干预方式对学习的影响。介绍Int-Bench基准,模拟学生解题、教师决定干预。在多领域评估大语言模型教师干预情况,并与人类对比,发现其干预频繁且倾向提供完整方案,表明为短期成功而非深层学习优化。
2026-07-24 cs.AI cs.CL cs.CY
Script&Shift: A Layered Interface Paradigm for Integrating Content Development and Rhetorical Strategy with LLM Writing Assistants
本文提出 Script&Shift 分层界面范式,通过弥合构想、语义与表达距离,将写作意图对齐 LLM 能力,在保留创作控制与自然写作流的同时支持内容开发和修辞转换。
2025-02-15 cs.HC
Designing Against Deskilling: Metacognitive Feedback Reduces Cognitive Offloading to LLM Assistants
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本研究针对AI认知卸载导致的技能退化问题,提出元认知反馈和努力奖励两种干预,实验表明元认知反馈显著减少卸载并提升测试表现,而奖励无效。
2026-09-18 cs.AI cs.HC
Hand by Hand: LLM Driving EMS Assistant for Operational Skill Learning
Zhejiang University(浙江大学)
本研究提出“对齐-分析-调整”策略并开发 FlightAxis 工具,将 LLM 与电肌肉刺激结合,通过动觉引导辅助飞行操作技能学习,实验证明用户接受度高且任务完成时间显著减少,增强了操作缺陷意识与参与度。
2025-08-08 cs.AI cs.HC
A Multimodal GUI Architecture for Interfacing with LLM-Based Conversational Assistants
本文提出一种通过MCP暴露导航图和语义的多模态GUI架构,使基于LLM的语音助手能控制界面,并评估了本地开放权重模型的可行性。
2025-10-09 cs.AI cs.HC
The Impact of LLM-Assistants on Software Developer Productivity: A Systematic Review and Mapping Study
Queen's University(女王大学)
本文通过综述39项研究,探讨LLM助手对软件开发者生产力的影响,发现多数研究显示积极效益,但存在认知卸载和团队协作风险,研究指出需更全面的评估方法。
2026-08-04 cs.AI cs.HC cs.SE
Exploring Human-AI Collaboration in Agile: Customised LLM Meeting Assistants
University of Gothenburg(哥德堡大学);Austrian Post(奥地利邮政公司)
本研究探索在敏捷会议中整合定制化LLM助手,总结成功驱动因素与经验教训,并提供评估清单以促进AI工具在敏捷环境中的整合。
2024-04-23 cs.AI cs.HC cs.SE
GeoPandas-AI: A Smart Class Bringing LLM as Stateful AI Code Assistant
针对GeoPandas使用需专业领域知识的问题,研究提出GeoPandas-AI,将LLM集成进GeoPandas工作流,改造出智能有状态GeoDataFrame类,开源实现并为代码副驾驶提供新范式。
2025-06-13 cs.HC cs.SE
Agent2Agent Threats in Safety-Critical LLM Assistants: A Human-Centric Taxonomy
BMW Group Research(宝马集团研究);Technical University Munich(慕尼黑技术大学)
本文提出AgentHeLLM框架,通过分离资产识别与攻击路径分析,为安全关键型LLM助手提供以人为中心的威胁建模方法。
2026-02-05 cs.AI cs.HC
"Excuse me, may I say something..." CoLabScience, A Proactive AI Assistant for Biomedical Discovery and LLM-Expert Collaborations
Worcester Polytechnic Institute(沃斯特理工大学);University of California, Davis(加州大学戴维斯分校);Jiangsu University(江苏大学)
本文提出CoLabScience,一种主动AI助手,通过及时的上下文感知干预提升生物医学领域AI与人类专家的协作效率,PULI框架在流式科学讨论中实现精准干预,实验表明其在干预精度和协作任务实用性上优于现有基线。
2026-04-16 cs.AI cs.CL cs.HC
OwlerLite: Scope- and Freshness-Aware Web Retrieval for LLM Assistants
University of Passau(帕绍大学);IT:U Austria(奥地利信息技术大学)
OwlerLite通过用户定义的范围和数据新鲜度提升LLM助手的检索可控性和可信度。
2026-01-25 cs.HC cs.IR
Generative Echo Chamber? Effects of LLM-Powered Search Systems on Diverse Information Seeking
Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft Research(微软研究院)
研究通过两项实验发现,相比传统搜索,LLM驱动的对话式搜索会增加用户的选择性暴露,强化用户观点的偏见LLM会进一步加剧该偏见,为系统开发与政策制定提供启示。
2024-02-10 cs.AI cs.CL cs.HC
Apprentices to Research Assistants: Advancing Research with Large Language Models
Drexel University(德雷塞尔大学)
本文通过文献综述与实验,分析LLMs在定性分析研究中的优势与局限,并提出提示优化与结合人类专业知识等策略,以推动其负责任地融入HCI数据工作。
2024-04-09 cs.AI cs.HC cs.LG
Multimodal Programming in Computer Science with Interactive Assistance Powered by Large Language Model
American International University-Bangladesh(孟加拉美国国际大学);University of South-Eastern Norway(东南挪威大学)
本文开发并部署了基于DeepSeek R1的交互式编程作业辅助系统,能在不直接给答案的前提下识别学生概念困难并提供教学化提示,同时分析了其误判等局限及改进方向。
2025-03-12 cs.CL cs.HC