A Taxonomy of Human--MLLM Interaction in Early-Stage Sketch-Based Design Ideation
Singapore University of Technology and Design（新加坡科技设计大学）
本文提出了一种分类方法，用于描述人类与大语言模型在早期阶段基于草图的设计构想中的交互模式，揭示了人类与AI角色的动态变化。
2026-03-01 cs.HC
Enacting Constructive Conflicts with AI Agents to Enhance Reconsideration among Novice Interaction Designers
Carnegie Mellon University（卡内基梅隆大学）
该研究构建受对抗性设计理论启发的AI智能体，通过45名设计学生的实验发现，该智能体实施的建设性冲突可提升新手交互设计师的重新考量能力，推动设计改进与创意拓展。
2026-08-06 cs.HC
"We Wanted to Do Better Than the Law": Exploring UI/UX Designers' Privacy Advocacy in Practice
McGill University（麦吉尔大学）；Polytechnique Montreal（蒙特利尔理工学院）
研究探讨UI/UX设计师在隐私保护中的角色与挑战，分析其在团队协作中如何平衡隐私优先级与业务目标，提出设计师导向的工具和社区建设建议。
2026-04-27 cs.HC
Ceci N'est Pas un Drone: Investigating the Impact of Design Representation on Design Decision Making When Using GenAI
Carnegie Mellon University（卡内基梅隆大学）
本研究探讨生成式AI在无人机设计中不同表示形式对设计决策的影响，发现仅提供数值性能数据可更高效地选择最优设计。
2025-12-13 cs.HC
Co-Design with Myself: A Brain-Computer Interface Design Tool that Predicts Live Emotion to Enhance Metacognitive Monitoring of Designers
本研究提出名为Multi-Self的BCI-VR建筑设计工具，通过实时评估设计师情感并提供可视化生物反馈来增强元认知监控，24人参与的预试验显示多数参与者认为其有用。
2023-07-21 cs.HC
Does AI Save Time on Product Design? A Randomized Controlled Experiment of AI Prompt-to-Design Workflows
Figma（Figma公司）
通过随机对照实验，研究发现使用 AI 提示到设计工具 Figma Make 可缩短约 20% 的设计任务完成时间，对产品经理收益更大，可能促进其参与设计工作。
2026-09-23 cs.AI cs.HC
Drag or Traction: Understanding How Designers Appropriate Friction in AI Ideation Outputs
University of Technology Sydney（悉尼科技大学）
本文探讨设计师如何通过引入摩擦来改变AI输出，提出生成摩擦概念，分析不同摩擦类型对设计的影响，并提出摩擦倾向作为调节因素。
2026-03-29 cs.AI cs.HC
Beyond Automation: How UI/UX Designers Perceive AI as a Creative Partner in the Divergent Thinking Stages
通过对19名专业UI/UX设计师的访谈，揭示了AI在发散思维阶段发挥的四种关键支持作用，并为未来支持设计创新的AI工具提供了建议。
2025-01-30 cs.HC
MindSculpt: Using a Brain-Computer Interface to Enable Designers to Create Diverse Geometries by Thinking
MindSculpt结合脑机接口与Grasshopper参数化平台，利用SVM模型识别EEG脑电波模式，使用户通过思考即可实时生成混合几何形状，有效缩短构思与实现的延迟并促进设计创新。
2023-03-07 cs.HC
Exploring Visual Prompts: Refining Images with Scribbles and Annotations in Generative AI Image Tools
本研究通过七位专业设计师的初步研究，比较了文本提示、标注和涂鸦三种输入方法在GenAI图像细化任务中的偏好，发现标注适合空间调整、涂鸦适合指定形状大小位置、文本提示适合详细描述，并为GenAI界面设计提供改进建议。
2025-03-06 cs.HC
AI as mediator between composers, sound designers, and creative media producers
为非音乐利益相关者制作材料的音乐专业人士通常在早期构思阶段面临沟通挑战。表达音乐思想可能很困难，特别是当缺乏特定领域的词汇时。这份立场文件建议使用人工智能促进利益攸关方之间的沟通，加快建立共识的进程。其目的不是完全或部分自动化创造过程，而是通过减少用于定义预期结果的时间来为创造性提供更多时间。为了证明这一点，本文讨论了两个应用场景的交互式音乐系统的基础上，作者的研究手势到声音映射。
2023-03-02 cs.HC cs.MM
I Can Embrace and Avoid Vagueness Myself: Supporting the Design Process by Balancing Vagueness through Text-to-Image Generative AI
本研究探讨了设计过程中模糊性的管理问题，提出交互式系统CLAY，通过整合文本到图像生成式AI进行迭代提示词优化来平衡模糊性，有效缩短设计时间并扩展创意可能。
2024-11-13 cs.HC
"It's a Good Idea to Put It Into Words": Writing `Rudders' in the Initial Stages of Visualization Design
本文研究了书面语言在可视化设计过程中的应用，提出了“写作舵”概念，并通过两项研究验证了提问和撰写结论等变体对设计的积极影响，为可视化设计提供了一种轻量级的辅助策略。
2024-07-22 cs.HC
IDEA: Augmenting Design Intelligence through Design Space Exploration
针对设计决策依赖经验、缺乏数学形式化难获计算支持的问题，研究提出结构化设计空间表示与IDEA框架，结合LLM生成约束与MCTS探索设计空间，经多场景验证具备跨域适应性且能产出更优设计成果。
2025-06-12 cs.HC
AI as Friction for Reflection Support in Ideation
Univ. Lille（里尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Centrale Lille（中央里尔大学）；UMR 9189 CRIStAL
本文提出设计构思中AI应作为反思支持的阻力主体，而非促进输出的顺滑主体，其核心作用是支持设计师构建和承载创意依据。
2026-07-30 cs.AI cs.HC
Tangi: a Tool to Create Tangible Artifacts for Sharing Insights from 360$^\circ$ Video
为解决360°视频球面特性导致无法创建有形视频制品的问题，研究提出开源Web工具Tangi，将360°图像转化为有形制品以支持协同分析，评估证实其能实现有形互动并赋予空间定向与细节链接两项新能力。
2024-11-15 cs.HC
PromptInfuser: How Tightly Coupling AI and UI Design Impacts Designers' Workflows
Google Research（谷歌研究院）
本文研究了提示与UI设计耦合对设计师工作流的影响，开发了Figma插件PromptInfuser支持创建半功能模型，实验表明该方法能提升原型设计效率与沟通效果，帮助识别UI与提示的不兼容性。
2023-10-24 cs.AI cs.HC
GenQuery: Supporting Expressive Visual Search with Generative Models
本文提出 GenQuery 系统，将生成模型融入视觉搜索，通过自动细化抽象查询及生成式修改图像支持相似性搜索；用户研究表明其能提升意图表达、结果满意度、多样性与创造性体验。
2024-03-04 cs.HC
Human-in-the-Loop Optimization for Inclusive Design: Balancing Automation and Designer Expertise
本文提出一种自动化、无障碍的人机协同（HITL）设计优化流程，通过让设计师策划约束条件来高效优化无障碍设计参数，实现可扩展的个性化解决方案，并呼吁在工作坊中探讨其透明度与伦理等关键问题。
2025-06-27 cs.HC
A Novel Idea Generation Tool using a Structured Conversational AI (CAI) System
Indian Institute of Science (IISc)（印度科学学院）
针对新手设计师创意生成的初始延迟与瓶颈问题，提出集成大型语言模型的结构化对话式AI主动创意生成工具，通过试点研究验证其在创意流畅性、新颖性和多样性上的优势，证实生成式AI在设计早期阶段的潜力。
2024-09-09 cs.AI cs.HC
Imagining Design Workflows in Agentic AI Futures
The University of Melbourne（墨尔本大学）；University College London（伦敦大学学院）
本研究通过设计虚构方法，调查了十名专业设计师对协作式智能体式AI平台的期望，提出了一个概念框架，以识别人类与AI之间的权力分配，并探讨了未来设计工作流程中利用AI智能体的方向。
2025-09-25 cs.AI cs.HC
Evaluation of Sketch-Based and Semantic-Based Modalities for Mockup Generation
Politecnico di Torino（都灵理工大学）
设计模型是可视化和测试设计想法的重要工具。然而，生成模型的过程对设计师来说可能是耗时且具有挑战性的。在这篇文章中，我们提出并评估了两种不同的模式来生成模型的想法，以支持设计师在他们的工作：（1）基于草图的方法来生成基于手绘草图的模型，（2）基于语义的方法来生成基于一组预定义的设计元素的接口。为了评估这两种方法的有效性，我们对13名参与者进行了一系列实验，要求他们使用每种方式生成模型。我们的研究结果表明，基于草图的生成更直观和表达，而基于语义的生成式人工智能在质量和保真度方面获得了更好的结果。这两种方法对于UI设计人员来说都是很有价值的工具，可以提高他们的创造力和效率。
2023-03-22 cs.AI cs.HC
Progressive Ideation using an Agentic AI Framework for Human-AI Co-Creation
Department of Mechanical Engineering, Indian Institute of Science (IISc), Bangalore 560012 India（机械工程系，印度科学研究院（IISc），班加罗尔）；Department of Design and Manufacturing, Indian Institute of Science (IISc), Bangalore 560012 India（设计与制造系，印度科学研究院（IISc），班加罗尔）
MIDAS通过分布式代理AI系统，提升人机协同创造中想法生成的渐进性和新颖性。
2026-01-01 cs.AI cs.HC
Stitching the Divide: Investigating Mixed Reality as a Bridge Between Paper-Based and Digital Artifacts in UI/UX Design
Polytechnique Montréal（蒙特利尔理工大学）
通过访谈和概念探针研究，发现混合现实能实现连续混合设计工作流、减少手动重建、支持空间锚定工作区及实时跨媒介协作，并推导出未来MR系统的四个设计维度。
2026-06-18 cs.HC
Seminar Innovation Management - Winter Term 2017
本文件包含2017年冬季学期创新管理研讨会获得的结果。该团队总共提出了11个想法。在该文件中，所有11个想法都显示了未来眼科应用的改进。这11个创意分别是AR/VR眼镜与医疗应用、增强现实眼科手术、游戏诊断、智能自适应眼镜、MD Facebook、医疗人群细分、个性化人眼3D模型、光声隐形眼镜、电源智能隐形眼镜、VR角膜和眼底成像头戴式
2017-08-22 cs.HC
StoryDiffusion: How to Support UX Storyboarding With Generative-AI
针对现有生成式AI工具仅支持文本生成图像、无法覆盖UX故事板全创作流程的问题，研究迭代开发出整合文生文与文生图模型的StoryDiffusion系统，通过用户研究明确了设计师的创作策略与工具需求，为相关AI工具开发提供参考。
2024-07-10 cs.HC
Simplify, Consolidate, Intervene: Facilitating Institutional Support with Mental Models of Learning Management System Use
本研究提出使用深度（DOU）模型，通过分析弗吉尼亚理工大学30000多门课程数据，衡量教师LMS采用情况，揭示规模、互操作性和普遍访问需求驱动采用，并助力机构支持决策。
2024-06-26 cs.HC
Grasping AI: experiential exercises for designers
TU Delft（代尔夫特理工大学）
针对设计师难以平衡AI技术可能性与人类交互需求的问题，研究在交互设计课程中引入9项结合多类设计理念的AI体验式练习，证实其能帮助学生更具反思性与责任感地开展AI相关设计。
2023-10-02 cs.AI cs.HC
From Planning to Revision: How AI Writing Support at Different Stages Alters Ownership
University of Sydney（悉尼大学）；Columbia University（哥伦比亚大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Michigan（密歇根大学）
研究AI写作支持在规划、起草和修订阶段对作者所有权感的影响，发现任何AI辅助都会降低所有权感，但规划阶段影响最小，起草阶段影响最大，且AI贡献的文本和想法越多，所有权感越低。
2026-06-12 cs.HC
Flowy: Supporting UX Design Decisions Through AI-Driven Pattern Annotation in Multi-Screen User Flows
针对现有AI UX设计工具忽略跨屏交互体验的问题，研究开发了Flowy应用，结合大型多模态AI模型与高质量用户流数据集提供设计模式标注，支持UX设计构思，其设计思路可推广至其他创意任务。
2024-06-23 cs.HC
Understanding Nonlinear Collaboration between Human and AI Agents: A Co-design Framework for Creative Design
针对AI设计工具的线性运作模式违背创意设计非线性实践的问题，本研究结合专家实践构建非线性人机协同设计框架，开发原型OptiMuse并验证其能让用户将AI视为有主见的同事，促进设计探索与反思。
2024-10-08 cs.HC
CommSketch: How Speaking while Sketching Steers Human--AI Design Ideation
Singapore University of Technology and Design（新加坡科技设计大学）
本研究开发了CommSketch，一种联合解读素描与语音的AI设计界面，通过实验证明边说话边素描能增强设计意图表达、提升人机协作感知一致性，并支持共同创造力。
2026-09-30 cs.HC
LINK: A Corpus-Grounded Design Pattern Library for Educational Technologies
National Cheng Kung University（国立成功大学）；University of Michigan（密歇根大学）；Stanford University（斯坦福大学）
本研究提出LINK，一个包含27种界面模式、按九项设计承诺组织的语料库驱动设计模式库，通过用户研究验证其能帮助设计者生成界面想法并阐述理论依据。
2026-10-06 cs.HC
Design-Driven Requirements for Computationally Co-Creative Game AI Design Tools
Northeastern University（东北大学）；University of California, Santa Cruz（加利福尼亚大学圣克鲁兹分校）
游戏AI设计师必须管理AI角色、游戏世界和玩家之间的复杂交互，同时实现他们的设计愿景。计算协同创造工具可以帮助他们，但首先，人工智能和人机交互研究人员必须收集需求并确定设计策略，以构建有效的协同创造工具。在这项工作中，我们提出了一个参与式的设计研究，分类和分析游戏AI设计师的工作流程，目标和期望，这些工具。我们展示了游戏AI设计与合作创造工具设计之间的深层联系，并为未来的合作创造工具研究和开发提供了启示。
2021-07-29 cs.AI cs.HC
Evaluating Mixed-Initiative Procedural Level Design Tools using a Triple-Blind Mixed-Method User Study
Swansea University（斯旺西大学）；British University Vietnam（越南英国大学）
结果从三盲混合方法的用户研究的有效性的混合主动工具的程序生成的游戏水平。一个工具，使用交互式进化优化生成的水平被设计用于这项研究（a）是专注于支持设计师探索设计空间和（b）只需要设计师与它交互设计水平。该工具在最初的手工设计地图中识别关卡设计模式，并使用该信息驱动交互式优化算法。一个严格的用户研究的目的是比较设计师使用混合主动工具的设计师谁得到了一个工具，提供完全随机的水平建议的经验。使用混合主动工具的设计师在关卡设计任务中表现出更高的参与度，报告说它在激发新想法和设计方向方面很有效。这提供了重要的证据表明，过程内容生成可以作为一个强大的工具，以支持人类的设计过程。
2021-06-02 cs.AI cs.HC cs.NE
Improving Usability of Interactive Graphics Specification and Implementation with Picking Views and Inverse Transformations
图形化交互和编程是困难的任务，特别是因为设计师很难表达交互的动态性。本文展示了MDPC体系结构如何提高规范的可用性和图形交互的实现。该体系结构是基于使用采摘视图和逆变换从图形到数据。通过三个图形交互的例子，我们展示了如何用架构来表达它们，如何实现它们，以及如何提高编程的可用性。此外，我们表明，它可以实现图形交互，而无需场景图。这种代码可以防止由于缓存一致性管理而导致的错误。
2011-05-14 cs.HC
Elements of Robot Morphology: Supporting Designers in Robot Form Exploration
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出机器人形态要素框架及可触摸积木工具，帮助设计师系统探索机器人形态，促进协作设计与创新。
2026-02-18 cs.HC cs.RO
The Design of a Mobile App for Promotion of Physical Activity and Self-Management in Prostate Cancer Survivors: Personas, Feature Ideation and Low-Fidelity Prototyping
大多数前列腺癌幸存者都面临着疾病相关和治疗相关的副作用，影响他们的生活质量。将特定的身体活动指导与促进健康生活方式和自我管理指导相结合的工具可能是促进这些患者生活方式改变的成功方法。作为有用的健康技术的先决条件，重要的是要考虑以患者为中心的设计过程。本研究的目的是调查的背景下的问题和用户的需求，以支持一个低保真原型的工具，以促进早期前列腺癌幸存者的健康生活方式的构思。遵循以用户为中心的设计方法，涉及多学科团队。原型开发分为3个阶段。在第1阶段，通过对实践状态的2项系统性综述并咨询3名肿瘤学专家来研究背景，从而得出全球用例和主要要求。在第二阶段，基于文献研究和3位专家的验证，研究了用户的需求和障碍，从而创建了3个人物角色。在第3阶段，举行了2次会议，根据头脑风暴和选择技术构思和优先考虑可能的应用程序功能。使用Ninja Mock和Proto.io软件开发了一个低保真原型，产生了25个交互式屏幕。了解用户的需求和背景似乎是必不可少的突出关键目标，从而促进工具的构思和预期的用户任务和经验之间的桥梁。设计过程的第一阶段的结束为移动应用程序设计的未来迭代带来了有价值的细节（例如用户对技术和身体活动的障碍）。
2019-01-18 cs.HC
User-Centric Semi-Automated Infographics Authoring and Recommendation
University of Waterloo（滑铁卢大学）
设计信息图表对于非专家来说可能是一个繁琐的过程，即使对于专业设计师来说也是耗时的。基于文献和形成性研究，我们提出了一个灵活的框架，自动化和半自动化的信息图形设计。该框架捕获了信息图表中的主要设计组件，并将生成工作流程简化为三个步骤，允许用户独立控制和优化每个方面。基于该框架，我们还提出了一个交互式工具，\name{}，用于协助新手设计师创建高品质的信息图表，从输入的markdown格式提供建议的不同设计组件的信息图表。同时，更有经验的设计师可以使用画布来部分控制自动生成过程，为工具提供自定义设计和布局想法。作为我们工作的一部分，我们还贡献了一个单独的视觉组（VG）和连接设计数据集（SVG），以及一个1k完整的信息图图像数据集，其中包含分割的VG。该数据集在使我们的框架创建的信息图设计多样化方面发挥着至关重要的作用。我们评估我们的方法与类似的工具，新手和专家设计师的用户研究，和一个案例研究的比较。结果证实，我们的框架和\name{}擅长创建定制的信息图表和探索各种各样的设计。
2021-08-27 cs.CV cs.HC
The Ultimate Configuration Management Tool? Lessons from a Mixed Methods Study of Ansible's Challenges
Carnegie Mellon University（卡内基梅隆大学）；INESC-ID（信息与系统工程技术中心研究所）；IST, University of Lisbon（里斯本大学理工学院）；Faculdade de Engenharia, Universidade do Porto（波尔图大学工程学院）
本文通过混合方法研究Ansible面临的挑战，揭示了改进Ansible的关键方向，包括增强故障本地性、明确语言与模板边界、针对性文档和改进执行后端，为配置管理工具设计提供指导。
2026-04-30 cs.HC cs.SE
Inkspire: Supporting Design Exploration with Generative AI through Analogical Sketching
Carnegie Mellon University（卡内基梅隆大学）；Toyota Research Institute（丰田研究所）
针对T2I模型难以解释抽象语言且易导致设计固着的问题，开发了草图驱动工具Inkspire，通过类比灵感和“草图-设计-草图”反馈循环支持设计原型探索，实验表明其比ControlNet更能激发灵感并改善人机协同创作过程。
2025-01-30 cs.AI cs.CV cs.HC
Design Generative AI for Practitioners: Exploring Interaction Approaches Aligned with Creative Practice
LISN Université Paris-Saclay, CNRS, Inria（LISN 巴黎-萨克雷大学，法国国家科学研究中心，法国国家信息与自动化技术研究所）；UMR 9189 CRIStAL Univ. Lille, Inria, CNRS, Centrale Lille（UMR 9189 CRIStAL 利摩日大学，法国国家信息与自动化技术研究所，法国国家科学研究中心，利摩日中央理工大学）
本文提出三种交互方法，帮助设计师在不同阶段引导生成式AI与创意实践对齐，强调动态协商与主动/被动角色的适应性。
2026-03-03 cs.AI cs.HC
Speculating on the Role of Media Architecture in Post-disaster Rebuilding and Recovery: Insights from Architects and Interaction Designers
Arçelik Research Center for Creative Industries (KUAR), Koç University（阿奇利克创意产业研究中心（KUAR），科恰大学）
本文探讨媒体架构在灾后重建中的作用，提出三维框架及共推测方法，旨在促进灾后永久住房的设计与恢复。
2025-11-29 cs.CY cs.ET cs.HC
From Rights to Rites: Expectations Management in Smart-Home AI
Department of Computer Science, University of Oxford（牛津大学计算机科学系）；Institute for Ethics in AI, University of Oxford（牛津大学人工智能伦理研究所）
研究探讨智能家庭AI期望的构建与管理，通过33次访谈揭示设计中的四大矛盾，提出期望管理模型，强调道德判断与跨文化差异，为负责任的智能家庭设计提供指导。
2026-04-26 cs.AI cs.HC cs.IR
Cost-Aware Bayesian Optimization for Prototyping Interactive Devices
Aalto University Helsinki Finland；University of Cambridge Cambridge United Kingdom；Aalto University \& ELLIS Institute Helsinki Finland；Aalto University；University of Cambridge；Aalto University \& ELLIS Institute
本文提出了一种面向成本的贝叶斯优化方法，通过利用设计师估计的成本来指导原型制作，从而在降低成本的同时提高设计效率。
2026-02-02 cs.HC cs.LG
