Code in Space: How Multimodal Human-AI Experience Can Reshape the Future of Tech Creation
JetBrains Research(JetBrains研究)
本研究通过访谈13位AI-XR专家并分析150多个主题,提出多模态人机交互体验的五个核心维度,强调需超越平面屏幕隐喻,设计管理注意力并保护用户自主权的新型交互,以重塑技术创造未来。
2026-09-15 cs.HC
From Multimodal Signals to Adaptive XR Experiences for De-escalation Training
Fraunhofer Heinrich-Hertz-Institute(弗劳恩霍夫海因里希·赫兹研究所)
本文提出了一种多模态实时通信分析系统,用于自适应VR训练的基础交互层,整合了语音、手势、情感分析、脑电波和生理信号,通过同步技术实现用户意识和无意识沟通线索的连续评估,结合社会符号学和象征互动理论,构建了连接低层信号到冲突缓解的解释层。
2026-04-13 cs.HC cs.MM
EMISSOR: A platform for capturing multimodal interactions as Episodic Memories and Interpretations with Situated Scenario-based Ontological References
我们介绍发射器:一个平台,用于捕获多模态交互,作为具有明确参考解释的情景体验的记录,还产生情景知识图谱(eKG)。该平台将多种模态的流存储为并行信号。每个信号都被分割并独立地解释。注释最终被映射到eKG中的显式身份和关系。当我们将来自不同模态的信号段接地到相同的实例表示时,我们也将不同的模态彼此接地。我们的心电图的独特之处在于,它可以接受不同的形式,来源和经验的不同解释,并支持对多模态经验可能导致的冲突信息和不确定性的推理。EMISSOR可以记录和注释虚拟和现实世界中的实验,结合数据,评估系统行为及其预设目标的性能,还可以根据这些情景经验在知识图谱中对知识和解释的积累进行建模。
2021-05-18 cs.HC
Leveraging learning analytics to enhance immersive teacher simulations: Challenges and opportunities
Seoul National University(首尔大学);The University of Alabama(阿拉巴马大学)
本研究探讨如何利用学习分析增强沉浸式教师模拟,分析其在教师专业发展中的挑战与机遇。
2026-01-13 cs.HC
Designing Conversational Multimodal 3D Printed Models with People who are Blind
本研究与视障人士共同设计融合对话界面、触觉振动与触摸的交互式3D打印太阳系模型,经用户评估后提出适配视障用户需求的多模态3D打印模型设计建议。
2023-06-12 cs.HC
AromaGen: Interactive Generation of Rich Olfactory Experiences with Multimodal Language Models
MIT Media Lab(MIT媒体实验室);Harvard Graduate School of Design(哈佛设计研究生院);MIT CSAIL(MIT计算机科学与人工智能实验室)
AromaGen利用多模态语言模型实现基于文本和视觉输入的实时嗅觉生成,通过迭代优化提升嗅觉混合物的自然度,达到与真实食物香气相似的水平。
2026-11-05 cs.AI cs.HC
Multimodal Fusion with Semi-Supervised Learning Minimizes Annotation Quantity for Modeling Videoconference Conversation Experience
New York UniversityUSA(纽约大学);Max Planck SocietyGermany(马克斯·普朗克研究所)
本文提出基于半监督学习的多模态融合方法,利用少量标注和大量未标注音视频与文本数据预测视频会议中的不流畅或不愉快时刻,在仅8%标注数据下达到监督学习全量数据性能的96%,显著降低标注成本。
2025-06-01 cs.CL cs.HC cs.LG
Chart-to-Experience: Benchmarking Multimodal LLMs for Predicting Experiential Impact of Charts
KAIST(韩国科学技术院);Adobe Research(Adobe研究院)
该研究提出Chart-to-Experience基准数据集,评估多模态大语言模型预测图表体验影响的能力,发现其在成对比较中准确可靠,但在单个图表评估上不如人类敏感。
2025-05-23 cs.CL cs.HC
Estudio de la Experiencia de Usuario mediante un Sistema de Dashboards de Análisis de Aprendizaje Multimodal
本研究提出基于网络的M2LADS系统,依托edBB平台与LOGGE工具整合多模态学习数据并以仪表板可视化,用于全面分析学习系统用户体验,以优化系统与学习体验。
2023-07-19 cs.HC cs.MM
Bridging the AI Adoption Gap: Designing an Interactive Pedagogical Agent for Higher Education Instructors
本研究采用以人为本的设计方法,通过访谈和参与式设计探究交互式教学智能体的设计,提出增强信任与社会透明度等建议以支持不同AI素养教师采用AI工具,避免扩大教学鸿沟。
2025-03-06 cs.HC
The 2nd MERCADO Workshop at IEEE VIS 2025: Multimodal Experiences for Remote Communication Around Data Online
本文提出在IEEE VIS 2025举办第二届MERCADO半日研讨会,聚焦数据丰富的多模态远程协作挑战,涵盖四大主题,旨在扩大社区、促进合作并制定研究议程。
2025-04-22 cs.HC
Impact of Multimodal and Conversational AI on Learning Outcomes and Experience
Georgia Institute of Technology(佐治亚理工学院);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究比较了三种生物学学习方法,发现多模态对话式AI在学习成果和体验上表现最佳,但文本仅对话式AI虽易用但效果最差,揭示了认知负荷理论下的学习效果与感知之间的差异。
2026-04-02 cs.AI cs.HC
The MERCADO Workshop at IEEE VIS 2023: Multimodal Experiences for Remote Communication Around Data Online
本文介绍 IEEE VIS 2023 的 MERCADO 研讨会,旨在汇聚研究者探讨围绕数据的多模态、同步、远程或混合通信与协作,以形成设计空间、综述论文及合作研究议程。
2023-04-12 cs.HC
User Experience Estimation in Human-Robot Interaction Via Multi-Instance Learning of Multimodal Social Signals
CyberAgent;Osaka University(大阪大学)
针对人机交互中用户体验多维度评估的需求,提出利用面部表情与语音、结合多示例学习框架的Transformer模型,捕捉长短时交互模式,构建数据集并验证其评估效果优于人类评估者。
2025-07-31 cs.CV cs.HC cs.RO
Multimodality in VR: A survey
本文综述VR中的多模态研究,梳理其在用户体验、跨学科应用、性能提升及技能知识迁移中的作用与价值。
2022-04-12 cs.GR cs.HC
Rethinking Wine Tasting for Chinese Consumers: A Service Design Approach Enhanced by Multimodal Personalization
San Jose State University(圣何塞州立大学);University of British Columbia(不列颠哥伦比亚大学);Shanghai Jiao Tong University(上海交通大学);Northeastern University(东北大学)
本研究针对葡萄酒品鉴适配中国语境的文化适配问题,通过情境共创的服务设计方法识别三类中国用户原型,提出结合本土美食跨模态隐喻的AI驱动品鉴原型,验证了其在参与度和理解度上的提升,为文化自适应消费体验设计提供参考。
2025-10-01 cs.HC
Dynamic Thermal Feedback in Highly Immersive VR Scenarios: a Multimodal Analysis of User Experience
Ecole Centrale de Lyon, CNRS, INSA Lyon, Universite Claude Bernard Lyon 1, LIRIS, UMR5205, ENISE(里昂中央理工学院,法国国家科学研究中心,里昂国立应用科学学院,克洛德·贝尔纳里昂大学,LIRIS实验室,UMR5205,ENISE)
本研究通过多模态分析探讨了高度沉浸式VR场景中动态热反馈对用户体验的影响,发现热反馈可提升沉浸感,但不同质量水平对用户体验的影响因人而异。
2026-01-08 cs.HC
Enhancing the Travel Experience for People with Visual Impairments through Multimodal Interaction: NaviGPT, A Real-Time AI-Driven Mobile Navigation System
针对视障人士需在多工具间切换影响导航体验的问题,研究提出整合LiDAR障碍物检测、振动反馈与LLM的NaviGPT系统,通过单系统多模态交互与传感器数据补全延迟,提供实时高效的导航辅助。
2024-10-05 cs.HC
A Comparative Assessment of Technology Acceptance and Learning Outcomes in Computer-based versus VR-based Pedagogical Agents
本文通过92名本科生的混合方法比较研究,评估基于计算机与基于VR的教学代理在学习效能和技术接受度上的差异,发现两者均有效且接受度无显著差异,为教学代理融入教育提供依据。
2024-10-23 cs.ET cs.HC
Improving Student-AI Interaction Through Pedagogical Prompting: An Example in Computer Science Education
Carnegie Mellon University(卡内基梅隆大学);University of Michigan(密歇根大学);University of Toronto(多伦多大学);Colgate University(科尔盖特大学);University of Toronto Mississauga(多伦多大学密西根分校)
本研究提出pedagogical prompting理论框架,设计交互式学习干预系统,通过场景化教学训练CS初学者有效提示LLM的求助技能,实验证明其能显著提升学习效果并改善对AI的态度。
2025-06-28 cs.AI cs.HC
Close-up and Whispering: An Understanding of Multimodal and Parasocial Interactions in YouTube ASMR videos
本研究通过分析2663个YouTube ASMR视频的交互模态与准社会吸引力及观众评论,揭示了其多模态社交连接等独特体验,并为人机交互设计提供了启示。
2023-10-23 cs.HC
VTutor: An Animated Pedagogical Agent SDK that Provide Real Time Multi-Model Feedback
本文提出开源 SDK VTutor,结合 LLM、TTS、WebGL 与 Unity 生成实时口型同步的动漫风教学代理,实验显示其在自然度和偏好等方面优于 SadTalker。
2025-05-10 cs.HC
TeamCAD -- A Multimodal Interface for Remote Computer Aided Design
针对现有CAD工具仅支持单用户的问题,提出了多模态远程协作界面TeamCAD,依托语音和手势识别接入现有设计软件,经用户测试验证其直观易用,适配不同经验水平的协作者。
2023-12-19 cs.HC
GlobalizeEd: A Multimodal Translation System that Preserves Speaker Identity in Academic Lectures
Chonnam National University(全南国立大学);FPT University(FPT大学)
针对学术讲座翻译中自动字幕缺乏教学语气且增加认知负荷的问题,提出多模态翻译系统GlobalizeEd,通过保留演讲者身份的配音格式降低认知负荷并提升沉浸感,为跨语言教育贡献了以人为中心的AI框架。
2025-10-13 cs.HC
Multimodal Machine Learning Can Predict Videoconference Fluidity and Enjoyment
New York Academy of Sciences(纽约科学院)
本研究利用多模态机器学习融合音频、面部和身体特征,预测视频会议中的低流畅性、低愉悦度及会话事件,最佳模型ROC-AUC达0.87,证明音视频信号可有效识别负面体验时刻。
2025-01-07 cs.HC cs.LG eess.AS
Can a Humorous Conversational Agent Enhance Learning Experience and Outcomes?
以前的研究已经强调了教学会话代理使用面向社会的对话与学生的好处。在这项工作中,我们研究的影响,一个会话代理人的使用亲和和自我挫败的幽默-被认为有利于社会福祉和加强人际关系-对学习者的代理人的看法和对任务的态度。使用科目之间的协议,58名参与者教一个会话代理岩石分类使用学习教学平台,Curriculum笔记本。虽然所有的代理人都是好奇和热情的,幽默的风格被操纵,使代理人要么表达一种亲和的风格,一种自我挫败的风格,或者没有幽默。结果表明,亲和幽默可以显着增加动机和努力,而自我挫败的幽默,虽然提高努力,负面影响享受。调查结果进一步强调了在使用幽默时了解学习者特征的重要性。
2021-08-25 cs.HC
Making Videos Accessible for Blind and Low Vision Users Using a Multimodal Agent Video Player
GOOGLE(谷歌);PARADIGMS OF INTELLIGENCE(智能范式);GOOGLE RESEARCH(谷歌研究院);COMPUTER SCIENCE DEPARTMENT, STANFORD UNIVERSITY(斯坦福大学计算机科学系)
本文提出一种多模态代理视频播放器,通过多层提示编排为视障和低视力用户带来交互式、可访问的视频体验,增强用户自主性和信任感。
2026-02-04 cs.HC
Prototyping Multimodal GenAI Real-Time Agents with Counterfactual Replays and Hybrid Wizard-of-Oz
Carnegie Mellon University(卡内基梅隆大学)
本文提出结合反事实视频回放提示与混合巫师法的用户中心原型设计方法,用于迭代优化多模态生成式AI实时智能体的行为,并提供实用指南与开源工具包。
2025-10-08 cs.HC
VTutor: An Open-Source SDK for Generative AI-Powered Animated Pedagogical Agents with Multi-Media Output
Carnegie Mellon University(卡内基梅隆大学);New York University(纽约大学);The University of Hong Kong(香港大学)
针对LLMs交互多为文本形式、多模态方法探索不足的问题,本文提出开源SDK VTutor,结合生成式AI与动画技术创建动画教学代理,支持多模态交互,提升学习参与度并推动可信AI教育应用。
2025-02-13 cs.AI cs.HC cs.SE
Users' Perspectives on Multimodal Menstrual Tracking Using Consumer Health Devices
本文通过一项为期三个月的50人研究,探讨用户如何利用可穿戴设备中的非常规信号(如血糖、心率)理解月经健康,并基于调查与访谈分析其对日常行为的影响,最终为多模态月经追踪器提出设计建议。
2024-09-05 cs.HC
The Legend of Holy Sword: An Immersive Experience for Concentration Enhancement
针对传统专注力提升方法缺乏自然反馈的问题,提出一种创新VR系统,通过拔圣剑体验提供多模态反馈,帮助用户直面并提升有意识控制专注力的能力。
2024-08-18 cs.HC
Transparent Adaptive Learning via Data-Centric Multimodal Explainable AI
Newcastle University(纽卡斯尔大学)
针对自适应学习系统透明度不足、现有XAI技术忽略用户需求的问题,提出融合传统XAI、生成式AI与用户个性化的混合框架,重新定义可解释性为动态沟通过程,以提升教育AI透明度并优化用户体验。
2025-08-01 cs.AI cs.HC cs.LG
Toward AI-driven Multimodal Interfaces for Industrial CAD Modeling
本文针对工业3D CAD建模中AI驱动多模态界面整合的软件、用户接受度及模型适配难题,分析相关技术应用、挑战与方向,明确其优化CAD设计流程的路径。
2025-03-21 cs.HC
Adaptive Gen-AI Guidance in Virtual Reality: A Multimodal Exploration of Engagement in Neapolitan Pizza-Making
本研究通过54人对照实验,结合视觉注意力、探索行为和言语交互等多模态指标,发现在VR披萨制作任务中中等自适应Gen-AI引导最能提升用户参与度,并为自适应教育技术设计提供建议。
2025-05-07 cs.HC
Findings of the First Teaching Monster Challenge: A Benchmark of Pedagogical Content Knowledge in AI Agents
研究推出首个以学习者角色为评估标准的教学视频生成基准“教学怪兽挑战赛”,测试发现当前AI教学系统内容适配能力不足,自动裁判存在局限,发布相关资源供后续研究。
2026-08-11 cs.AI cs.CY cs.HC
Multi-level Stress Assessment from ECG in a Virtual Reality Environment using Multimodal Fusion
Ryerson University(瑞尔森大学)
ECG是一个有吸引力的选择,以评估严重的虚拟现实(VR)的应用,由于其非侵入性。然而,现有的机器学习(ML)模型表现不佳。此外,现有的研究只进行了二元压力评估,而要开发更吸引人的基于生物反馈的应用程序,需要多层次的评估。现有的研究将单一体验(例如观看VR视频)注释并分类为单一压力水平,这再次阻碍了可以利用实时游戏内压力评估的动态体验的设计。在本文中,我们报告了我们的研究结果的VR压力评估,其中三个压力水平进行了评估。ECG数据收集自9名体验VR过山车的用户。然后,由三名评分员在10秒内将VR体验手动标记为三个压力水平。然后,我们提出了一种新的多模态深度融合模型,利用频谱图和1D ECG,可以从1秒的窗口提供压力预测。实验结果表明,该模型优于经典的基于HRV的ML模型(准确度提高9%)和基线深度学习模型(准确度提高2.5%)。我们还报告了基准WESAD数据集的结果,以显示该模型的优越性。
2021-07-09 cs.HC cs.LG eess.SP
What Social Media Use Do People Regret? An Analysis of 34K Smartphone Screenshots with Multimodal LLM
通过多模态大语言模型分析34K智能手机屏幕截图,发现用户的后悔感因意图和社交媒体活动类型而异,为改善用户体验和自主权提供了设计指导。
2025-03-05 cs.HC
MAIDR: Making Statistical Visualizations Accessible with Multimodal Data Representation
本文提出 MAIDR 系统,通过声音化、文本、盲文和审阅等多模态表示及自主交互,帮助盲人用户准确理解条形图、热力图等统计可视化。
2024-03-01 cs.GR cs.HC
Introducing CALMED: Multimodal Annotated Dataset for Emotion Detection in Children with Autism
University of Galway(戈尔韦大学);LORIA CNRS/INRIA/Université de Lorraine(洛林大学国家科学研究中心/法国国家信息与自动化研究所洛林计算机科学及其应用实验室);Université Sorbonne Paris Nord(巴黎索邦北大学);ASK - All Special Kids(ASK-所有特殊儿童)
本文介绍CALMED数据集,包含8-12岁自闭症儿童的多模态情绪标注数据,共57,012个样本,旨在促进ASD情绪检测研究。
2023-07-24 cs.AI cs.HC
MetaDecorator: Generating Immersive Virtual Tours through Multimodality
Shopify Inc.(Shopify公司);Singapore Institute of Technology(新加坡理工学院);Huawei Canada(华为加拿大公司)
MetaDecorator框架通过文本提示和图像合成技术装饰360°全景图,生成个性化虚拟空间,提升虚拟游览真实感与参与度,并探讨集成LLMs和触觉技术以增强VR沉浸感。
2025-01-27 cs.AI cs.ET cs.HC
Beyond Text: Probing K-12 Educators' Perspectives and Ideas for Learning Opportunities Leveraging Multimodal Large Language Models
Barnard College(巴纳德学院);Columbia University(哥伦比亚大学)
研究通过工作坊探讨K-12教育工作者对多模态大语言模型在教育中的应用看法,分析其面临的挑战与需求,提出两种用户导向的实施方法。
2026-08-05 cs.HC
When Generative AI Meets Workplace Learning: Creating A Realistic & Motivating Learning Experience With A Generative PCA
University of Zurich(苏黎世大学);University of Public Administration and Finance Ludwigsburg(路德维希堡公共管理与金融大学)
本文提出基于生成式AI的教学对话代理(GenPCA)用于职场沟通培训,评估显示其能提升员工自我决定学习,并讨论了局限与改进建议。
2024-05-24 cs.AI cs.HC
Enhancing Online Learning by Integrating Biosensors and Multimodal Learning Analytics for Detecting and Predicting Student Behavior: A Review
Department of Computer Science Engineering, Universidad Autónoma de Madrid(马德里自治大学计算机科学工程系);Digital Futures Institute, Teachers College Columbia University(哥伦比亚大学教师学院数字未来研究所)
本综述探讨整合生物传感器与多模态学习分析以检测和预测学生行为,基于54项研究,强调其变革潜力,旨在推动个性化自适应在线学习。
2025-09-09 cs.AI cs.CV cs.HC
Designing Interfaces for Multimodal Vector Search Applications
本文针对单一搜索栏不适应多模态向量搜索的问题,利用 CLIP 模型探索新型交互能力,并提出实现方案与设计模式,帮助用户更有效地表达信息需求。
2024-09-18 cs.HC cs.IR
Purrfessor: A Fine-tuned Multimodal LLaVA Diet Health Chatbot
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
Purrfessor 通过微调多模态 LLaVA 模型并结合视觉餐食分析,实现个性化饮食指导,实验证明其比 GPT-4 机器人更能提升用户的关怀感和兴趣。
2024-11-22 cs.AI cs.HC
From Sustainable Materials to User-Centered Sustainability: Material Experience in Art Healing
Tsinghua University(清华大学);Beijing University of Chemical Technology(北京化工大学)
研究通过水凝胶基材开发可持续材料,探讨从材料可持续性到用户中心可持续性的转变,重点在于通过材料体验实现艺术疗愈。发现美学属性对艺术疗愈影响最大,其次是内在属性,而物理属性影响较小,并提出材料体验框架以系统理解材料特性。
2026-03-02 cs.CE cs.HC
ARChef: An iOS-Based Augmented Reality Cooking Assistant Powered by Multimodal Gemini LLM
Cupertino High School(库比蒂诺高中);University of California, Santa Barbara(加州大学圣巴巴拉分校)
针对传统烹饪方式的痛点及现有AR烹饪应用的不足,研究提出基于iOS的ARChef原型,结合多模态Gemini LLM、CV与ARKit实现食材识别、个性化食谱推荐等功能,经用户调研验证有效,助力减少食物浪费、优化烹饪体验。
2024-12-09 cs.AI cs.HC