A Framework for LLM-powered Design Assistants
本研究提出一种基于大语言模型(LLMs)的设计助手框架,聚焦创意探索、设计师对话、设计评估三模态,适配多种设计过程,助力设计的创意与技术层面。
2025-02-11 cs.CY cs.HC
ConversAR: Exploring Embodied LLM-Powered Group Conversations in Augmented Reality for Second Language Learners
本文提出ConversAR,一个由gpt-4o驱动的AR应用,通过两个具备视觉场景理解和实时字幕的具身LLM代理,支持第二语言学习者进行情境化群体对话练习,有效降低了说话焦虑并提升了学习自主性。
2025-05-29 cs.HC
Evorus: A Crowd-powered Conversational Assistant Built to Automate Itself Over Time
Carnegie Mellon University(卡内基梅隆大学)
人群驱动的会话助理已被证明比自动化系统更强大,但这样做的代价是更高的响应延迟和金钱成本。一个有前途的方向是将这两种方法结合起来,以获得高质量、低延迟和低成本的解决方案。在本文中,我们介绍了Evorus,这是一种基于人群的会话助手,可以通过以下方式随着时间的推移自动化:(i)允许新的聊天机器人轻松集成以自动化更多场景,(ii)重用先前的人群答案,以及(iii)学习自动批准响应候选人。我们对80名参与者和281次对话进行了长达5个月的部署,结果表明Evorus可以在不影响对话质量的情况下实现自动化。Crowd-AI架构长期以来一直被认为是降低群体驱动系统成本和延迟的一种方法; Evorus演示了如何在部署的系统中成功引入自动化。它的体系结构允许未来的研究人员在部署的开放域对话系统的上下文中对底层自动化组件进行进一步的创新。
2018-01-10 cs.AI cs.CL cs.HC
Game Plot Design with an LLM-powered Assistant: An Empirical Study with Game Designers
University of British Columbia(英属哥伦比亚大学);Microsoft Research(微软研究院);Microsoft Gaming(微软游戏);Vector Institute for AI(向量人工智能研究院)
本研究介绍LLM驱动的游戏剧情设计助手GamePlot,通过用户研究发现其能提升设计师满意度与所有权感,但LLM生成复杂创新内容能力有限,且不同用户群体对AI助手期望不同。
2024-11-05 cs.AI cs.CL cs.HC
Creative Writing with an AI-Powered Writing Assistant: Perspectives from Professional Writers
Google Research(谷歌研究院)
使用神经语言模型的自然语言生成(NLG)的最新发展使我们比以往任何时候都更接近构建人工智能驱动的创意写作工具的目标。然而,在创意写作领域,大多数关于人类与人工智能合作的先前工作都是与业余作家一起评估新系统,通常是在有限范围的人为用户研究中。在这项工作中,我们委托了13位来自不同创意写作背景的专业作家,使用Wordcraft(一种内置人工智能写作辅助工具的文本编辑器)制作故事。通过访谈和参与者日记,我们讨论了NLG在创意写作领域产生重大影响的潜力-特别是在头脑风暴,故事细节,世界建设和研究援助方面。有经验的作家,比业余作家更有经验,通常有完善的写作系统和方法,以及独特的声音和目标受众。我们的工作突出了为这些作家创作的挑战; NLG技术很难保持风格和作者的声音,而且他们缺乏对故事内容的深入理解。为了让人工智能写作助手充分发挥其潜力,他们必须考虑到人类作家的不同目标和专业知识。
2022-11-09 cs.CL cs.HC
PsyCounAssist: A Full-Cycle AI-Powered Psychological Counseling Assistant System
Beijing PsychTech Technology Co., Ltd.(北京心理科技技术有限公司);University of Hechi(贺州学院)
本文介绍PsyCounAssist,一个全周期AI心理咨询辅助系统,整合多模态情绪识别、LLM自动化报告和个性化后续支持,实验验证了其可靠性与实用性。
2025-04-23 cs.AI cs.HC
Embodied Empathy: A Multimodal AR and LLM-Powered System for Self-Attachment Psychotherapy with Self-Initiated Humour
Imperial College London(帝国理工学院);National University of Singapore(新加坡国立大学)
该研究针对心理健康从业者供给不足的问题,开发结合SIHP与SAT的多模态AR及LLM系统,经8天16人研究验证其可行性,可改善情绪并转变用户对AI对话工具的期望。
2026-08-04 cs.HC cs.MM
GOMA: Proactive Embodied Cooperative Communication via Goal-Oriented Mental Alignment
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院);Dartmouth College(达特茅斯学院);Johns Hopkins University(约翰斯·霍普金斯大学)
针对协作中信息不完整导致的心智状态不一致问题,提出GOMA框架,将言语交流建模为目标相关心智对齐的规划问题,使具身助手能主动发起自然语言交流,在两个测试环境中均提升了协作效果与用户评价。
2025-01-14 cs.AI cs.HC cs.MA
Deaf and Hard of Hearing Access to Intelligent Personal Assistants: Comparison of Voice-Based Options with an LLM-Powered Touch Interface
Gallaudet University(加拉维特大学);University of California, Berkeley(加州大学伯克利分校);Pennsylvania State University(宾夕法尼亚州立大学)
本研究比较了语音识别与LLM驱动触控界面在聋人和听力障碍者使用智能个人助手中的可用性,发现两者无显著差异,但需改进对聋人语音的识别能力。
2026-01-22 cs.AI cs.HC
Touvigation: Embodied Adaptive Object Acquisition for Blind and Low-Vision Users in Unfamiliar Indoor Environments
Stony Brook University(石溪大学);New York University(纽约大学);Brown University(布朗大学);Imperial College London(帝国理工学院);Middlebury Institute of International Studies at Monterey(明德大学蒙特雷国际研究学院);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Tongji University(同济大学);Shanghai Qibao Dwight High School(上海七宝德怀特高级中学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对盲人及低视力用户在陌生室内环境中的物体获取难题,提出结合视觉语言理解与持久空间建模的Touvigation系统,通过多阶段自适应引导,实现100%任务成功率,显著优于现有方法。
2026-09-21 cs.AI cs.HC
ARChef: An iOS-Based Augmented Reality Cooking Assistant Powered by Multimodal Gemini LLM
Cupertino High School(库比蒂诺高中);University of California, Santa Barbara(加州大学圣巴巴拉分校)
针对传统烹饪方式的痛点及现有AR烹饪应用的不足,研究提出基于iOS的ARChef原型,结合多模态Gemini LLM、CV与ARKit实现食材识别、个性化食谱推荐等功能,经用户调研验证有效,助力减少食物浪费、优化烹饪体验。
2024-12-09 cs.AI cs.HC
Evaluating AI-Powered Learning Assistants in Engineering Higher Education: Student Engagement, Ethical Challenges, and Policy Implications
ByWater Institute, Tulane University(杜兰大学拜沃特研究所);Office of Teaching, Learning, and Technology, University of Iowa(爱荷华大学教学、学习与技术办公室);River-Coastal Science and Engineering, Tulane University(杜兰大学河流与海岸科学与工程系)
本研究评估了在R1公立大学工程本科课程中应用的AI学习框架Educational AI Hub,通过混合方法发现学生认可其便利性但存在伦理顾虑,强调需提升可用性、伦理透明度并辅以教师指导以促进有效AI学习参与。
2025-10-27 cs.AI cs.CY cs.HC
Harmony: A Human-Aware, Responsive, Modular Assistant with a Locally Deployed Large Language Model
本研究提出Harmony,一个基于本地部署Llama3-8B的智能家居助手,通过结构化提示和模块化智能体设计解决小模型可靠性问题,在保护隐私的同时实现与GPT-4系统相当的离线个性化交互性能。
2025-08-11 cs.HC
Examining the Use and Impact of an AI Code Assistant on Developer Productivity and Experience in the Enterprise
本研究通过调查和测试,考察了IBM内部署的LLM代码助手WCA对开发者生产力与体验的影响,发现该工具虽能提升净生产力,但并非所有用户均能受益。
2025-03-04 cs.HC cs.SE
AI-driven formative assessment and adaptive learning in data-science education: Evaluating an LLM-powered virtual teaching assistant
本文提出VITA平台,集成LLM聊天机器人BotCaptain,通过对话式辅导、xAPI数据管道和自适应路径引擎,实现数据科学教育中的形成性评价与个性化学习,并提供了架构基准和部署蓝图。
2025-09-17 cs.AI cs.CY cs.HC
DiMA: An LLM-Powered Ride-Hailing Assistant at DiDi
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Didichuxing Co. Ltd(滴滴出行有限公司)
本文介绍滴滴出行的LLM驱动网约车助手DiMA,通过时空感知订单规划、成本效益对话系统和持续微调,实现高准确率与低延迟,显著优于现有框架。
2025-10-09 cs.CL cs.CY cs.HC
Investigating Student Interaction Patterns with Large Language Model-Powered Course Assistants in Computer Science Courses
Colorado School of Mines(科罗拉多矿业学院);HiTA AI Inc.(HiTA人工智能公司);Cornell University(康奈尔大学)
本研究开发并部署了一个基于LLM的课程助手至多门计算机科学课程,分析了约2,000名学生的交互数据,发现系统有效填补了时间支持缺口,但LLM在生成高阶认知问题方面能力有限,需教育者更多参与配置以提升教学效果。
2025-09-10 cs.AI cs.CY cs.HC
"Is there anything else I can help you with?": Challenges in Deploying an On-Demand Crowd-Powered Conversational Agent
Carnegie Mellon University(卡内基梅隆大学);University of Michigan(密歇根大学);Ariel University(阿里埃勒大学)
智能会话助理,如苹果的Siri,微软的Cortana和亚马逊的Echo,已经迅速成为我们数字生活的一部分。然而,这些助手有很大的局限性,这使得用户无法像与人类对话伙伴一样与它们对话。这限制了我们观察用户真正想要如何与底层系统交互的能力。为了解决这个问题,我们开发了一个群体驱动的对话助手Chorus,并部署了它,以了解用户和工作人员在系统的调解下如何互动。随着时间的推移,Chorus通过按需招聘员工来与最终用户进行详细的对话,这反过来又决定了对每个用户句子的最佳回应。截至我们部署的第一个月,已有59名用户在320个对话会话中与Chorus进行了对话。在本文中,我们介绍了Chorus的部署,重点是四个挑战:(i)识别对话何时结束,(ii)恶意用户和工作人员,(iii)按需招聘,以及(iv)共识不够的设置。我们的观察可以帮助部署群体供电的会话系统和群体供电的系统一般。
2017-08-10 cs.AI cs.CL cs.HC
Mina: A Multilingual LLM-Powered Legal Assistant Agent for Bangladesh for Empowering Access to Justice
Mina通过多语言嵌入和基于RAG的工具链框架,为孟加拉国提供多语言法律助理服务,实现法律文书、引文和通俗解释的生成,经评估在法律考试中表现优异,成本显著降低。
2026-04-09 cs.CL cs.CY cs.HC
Writing Assistants Should Model Social Factors of Language
Grammarly(格拉马利)
由大语言模型(LLM)驱动的智能写作助手今天比以往任何时候都更受欢迎,但次优性能阻碍了它们的进一步广泛采用。在这份立场文件中,我们认为,这种次优性能和采用的一个主要原因是一个单一的重点放在语言的信息内容,而忽略了它的社会方面。我们分析了这些社会因素的不同方面的背景下,写作助手,并提出他们的纳入建设更智能,更有效,真正个性化的写作助手,将丰富的用户体验,并有助于提高用户采用。
2023-03-28 cs.CL cs.HC
An AI-Powered Research Assistant in the Lab: A Practical Guide for Text Analysis Through Iterative Collaboration with LLMs
Universidad Externado de Colombia(哥伦比亚外部大学);Universidad de los Andes(安第斯大学);University of Michigan(密歇根大学);Rice University(莱斯大学);University of Toronto(多伦多大学);University of Southampton(南安普顿大学)
该研究提出一套研究者与LLMs迭代协作的文本分析分步教程,以个人目标文本为例演示分类体系的构建、优化、测试与应用流程,达到高编码者间信度,同时探讨了LLMs用于文本分析的潜力与局限。
2025-05-16 cs.AI cs.CL cs.HC
SurrealDriver: Designing LLM-powered Generative Driver Agent Framework based on Human Drivers' Driving-thinking Data
本文提出SurrealDriver框架,利用人类驾驶员的驾驶思维数据作为示范和反馈,构建类人LLM驱动驾驶智能体,显著降低碰撞率81.04%并提升人类相似度50%。
2024-07-22 cs.HC
Tell Me: An LLM-powered Mental Well-being Assistant with RAG, Synthetic Dialogue Generation, and Agentic Planning
Fujitsu Research of America(富士通美国研究)
提出Tell Me系统,利用大语言模型通过RAG实现个性化对话、合成客户-治疗师对话生成以及智能体规划生成自我护理计划,旨在提供可及的心理支持而非替代专业治疗。
2026-06-23 cs.AI cs.CL cs.HC
CodeAid: Evaluating a Classroom Deployment of an LLM-based Programming Assistant that Balances Student and Educator Needs
University of Toronto(多伦多大学);Microsoft Research(微软研究院);The University of Auckland(奥克兰大学)
本文开发并部署了不直接泄露代码答案的编程助手CodeAid,基于700名学生一学期的使用数据与师生访谈,提出四项面向未来教育AI助手的设计原则。
2024-02-25 cs.AI cs.HC
Conversational Challenges in AI-Powered Data Science: Obstacles, Needs, and Design Opportunities
本研究通过混合方法揭示了数据科学家在使用LLM聊天机器人时面临的上下文检索、提示词构建等挑战,并提出了数据刷选和探究式反馈循环等设计建议以改善交互。
2023-10-24 cs.HC
Situated Understanding of Errors in Older Adults' Interactions with Voice Assistants: A Month-Long, In-Home Study
本研究通过入户音频记录分析老年人使用语音助手的错误反应,并测试ChatGPT的改进效果,提出结合LLMs上下文能力以优化错误预防与管理的设计建议。
2024-09-23 cs.HC
AI-Powered Immersive Assistance for Interactive Task Execution in Industrial Environments
本研究提出一套基于大语言模型和语音转文本模型的AI驱动沉浸式VR辅助系统,通过提取专家操作的音视频信息提供分步指导,可降低工业场景下的认知负荷、提升效率与安全性。
2024-07-12 cs.HC cs.IR
Evaluating the Effectiveness of LLMs in Introductory Computer Science Education: A Semester-Long Field Study
本文通过一项为期一学期、50名学生参与的实地研究,评估LLM驱动助手CodeTutor在计算机科学入门课程中的效果,发现其能显著提升成绩,但学生对其培养批判性思维的作用存疑,且提示质量与工具效果显著相关。
2024-05-03 cs.HC
AI-Powered Learning: Making Education Accessible, Affordable, and Achievable
Georgia Institute of Technology(佐治亚理工学院)
我们开发了一个人工智能驱动的社会技术系统,使高等教育中的在线学习更容易获得,负担得起和实现。特别是,我们开发了四种新颖且相互交织的人工智能技术:(1)VERA,一个支持基于探究的科学知识学习的虚拟实验研究助理,(2)Jill Watson Q&A,一个基于包括VERA用户参考指南在内的教育文档回答问题的虚拟教学助理,(3)Jill Watson SA,一个促进在线互动的虚拟社交代理,以及(4)Agent Smith,其帮助生成Jill Watson Q&A代理以用于新文档,诸如课程大纲。结果是积极的:(i)VERA增强了生态知识,并在网上免费提供;(ii)Jill Watson问答已被超过4,000名学生在超过12个在线课程中使用,并为教师节省了超过500小时的工作;(iii)Jill Q&A和Jill Watson SA促进了学习者的参与,互动和社区;以及(iv)。代理史密斯帮助吉尔沃森Q&A生成一个新的教学大纲内~25小时。总之,这些创新技术有助于使在线学习同时更容易获得(通过在线提供材料),负担得起(通过节省教师时间)和可实现(通过提供学习帮助和培养学生参与)。
2020-06-02 cs.AI cs.CY cs.HC
A Humanoid Social Robot as a Teaching Assistant in the Classroom
Institute of Information Systems, University of Lübeck(吕贝克大学信息系统研究所)
本研究将连接ChatGPT的社交机器人Pepper作为高中课堂助教,测试其技术可行性并调查学生接受度,结果显示学生认为其教学呈现合适且使用有意义。
2025-07-25 cs.HC cs.RO
Multimodal Programming in Computer Science with Interactive Assistance Powered by Large Language Model
American International University-Bangladesh(孟加拉美国国际大学);University of South-Eastern Norway(东南挪威大学)
本文开发并部署了基于DeepSeek R1的交互式编程作业辅助系统,能在不直接给答案的前提下识别学生概念困难并提供教学化提示,同时分析了其误判等局限及改进方向。
2025-03-12 cs.CL cs.HC
Script&Shift: A Layered Interface Paradigm for Integrating Content Development and Rhetorical Strategy with LLM Writing Assistants
本文提出 Script&Shift 分层界面范式,通过弥合构想、语义与表达距离,将写作意图对齐 LLM 能力,在保留创作控制与自然写作流的同时支持内容开发和修辞转换。
2025-02-15 cs.HC
DESAMO: A Device for Elder-Friendly Smart Homes Powered by Embedded LLM with Audio Modality
MAUM AI Inc.(MAUM人工智能公司);Korea Culture Technology Institute(韩国文化科技研究所)
DESAMO是一款由嵌入式音频大语言模型驱动的适老化智能家居设备,通过直接处理原始音频,解决传统语音助手对老年人模糊语音和非语音音频处理不佳的问题,实现稳健的用户意图与关键事件理解。
2025-08-26 cs.HC cs.SD eess.AS
Systematizing LLM Persona Design: A Four-Quadrant Technical Taxonomy for AI Companion Applications
Carnegie Mellon University(卡内基梅隆大学)
本文提出四象限技术分类系统,系统化LLM人设设计,涵盖虚拟与具身、情感与功能增强,分析不同应用场景的技术挑战与核心问题。
2026-01-23 cs.AI cs.HC
Conversational AI as a Coding Assistant: Understanding Programmers' Interactions with and Expectations from Large Language Models for Coding
Khoury College of Computer Sciences, Northeastern University(东北大学科里计算机科学学院)
本研究调研程序员使用LLM驱动的对话式编程助手的模式、认知与策略,梳理了工具的优劣势与用户拒绝使用的原因,提出设计准则,为该类工具融入软件开发流程提供参考。
2025-03-14 cs.AI cs.HC
EmBARDiment: an Embodied AI Agent for Productivity in XR
本文提出 EmBARDiment,通过注意力框架融合 XR 中的用户动作、视线与情境记忆,隐式推断上下文,减少显式提示依赖并提升生产力交互体验。
2025-03-11 cs.HC cs.MA
Memento: Towards Proactive Visualization of Everyday Memories with Personal Wearable AR Assistant
Stony Brook University(石溪大学);Georgia Institute of Technology(佐治亚理工学院)
Memento通过捕捉用户语音查询及时空活动上下文,主动关联兴趣与情境,利用AR实现日常记忆的持续可视化,提升沉浸式应用体验。
2026-05-06 cs.CL cs.HC cs.IR
Validating AI-Generated Code with Live Programming
本文研究实时编程能否帮助开发者验证AI生成代码,通过构建结合AI助手与LP环境的Python编辑器并进行用户实验,发现LP可降低验证成本、缓解过度或不足依赖并减轻认知负荷。
2024-02-23 cs.HC cs.PL
Human-AI Collaborative Taxonomy Construction: A Case Study in Profession-Specific Writing Assistants
University of Minnesota(明尼苏达大学);Accenture Labs(埃森哲实验室)
本研究针对LLM在商业领域写作中理解不足的问题,提出人机协同分类法构建方法,通过专家迭代反馈与多次交互完善分类法,以提升领域特定写作助手的效能。
2024-07-16 cs.AI cs.CL cs.HC
User Misconceptions of LLM-Based Conversational Programming Assistants
University of Michigan(密歇根大学);Pontifical Catholic University of Rio de Janeiro(里约热内卢天主教大学);Heidelberg University(海德堡大学);Reykjavik University(雷克雅未克大学);IT University of Copenhagen(哥本哈根IT大学)
研究揭示了用户在使用基于大语言模型的对话式编程助手时可能存在的误解,强调了工具在明确自身能力及通过实证研究澄清编程需求的重要性。
2026-10-06 cs.AI cs.HC
"Always Nice and Confident, Sometimes Wrong": Developer's Experiences Engaging Large Language Models (LLMs) Versus Human-Powered Q&A Platforms for Coding Support
本研究通过分析1700多条Reddit帖子,对比开发者使用Stack Overflow与ChatGPT获取编程支持的体验,明确二者的优势、场景与障碍,提出未来GenAI代码助手的设计启示及结合双方优势的工作流建议。
2025-02-20 cs.HC cs.SE
Desirable Characteristics for AI Teaching Assistants in Programming Education
本研究通过部署LLM驱动的数字助教并收集813名学生的反馈,识别出编程教育中AI助教应具备即时支持、平等访问及保留学习自主性的关键特征。
2024-05-23 cs.CY cs.HC
A didactical-driven teacher assistant for a dimensional modeling course
IMT Atlantique(IMT大西洋高等电信学院)
针对维度建模课程,提出教学驱动型教师助手,无需商业大语言模型预算或GPU设施。架构含确定性模块处理多任务,大语言模型作语言执行器。评估学生问题发现标准检索不足,确定性管道精度高但覆盖有限,为教学策略提供新思路。
2026-07-28 cs.AI cs.CY cs.HC
Robi Butler: Multimodal Remote Interaction with a Household Robot Assistant
School of Computing, National University of Singapore(新加坡国立大学计算机学院);Smart Systems Institute, National University of Singapore(新加坡国立大学智能系统研究院)
本文提出Robi Butler家用机器人助手,通过Zoom实现远程多模态交互,利用大语言模型和视觉语言模型将语音、文本与手势指令零样本转化为多步动作计划,并验证其在真实家务任务中的执行效果与用户体验。
2025-03-10 cs.AI cs.HC cs.RO
Roamify: Designing and Evaluating an LLM Based Google Chrome Extension for Personalised Itinerary Planning
IIIT Delhi(德里印度信息技术学院);BITS Pilani(皮拉尼贝拉理工学院)
本文提出基于LLM的旅行助手Roamify,通过网页抓取获取实时信息、结合用户偏好生成个性化行程,经用户调查验证其在各年龄段的接受度,能简化行程规划流程。
2025-03-10 cs.AI cs.HC cs.LG
Understanding and supporting how developers prompt for LLM-powered code editing in practice
University of California Irvine(加州大学尔布雷分校);Google(谷歌);Meta
本文研究开发者在使用LLM赋能代码编辑工具时的提示行为,发现频繁重新提示表明使用困难,并提出AutoPrompter工具通过推断缺失信息提升编辑正确性27%。
2025-12-19 cs.AI cs.HC cs.SE