RuleMatrix: Visualizing and Understanding Classifiers with Rules
Hong Kong University of Science and Technology（香港科技大学）；New York University（纽约大学）
随着越来越多地采用机器学习技术，对使机器学习系统更加透明和可解释的研究兴趣激增。已经开发了各种可视化来帮助模型开发人员理解、诊断和改进机器学习模型。然而，大量潜在但被忽视的用户是对机器学习知之甚少但被期望与机器学习系统一起工作的领域专家。在本文中，我们提出了一种交互式可视化技术，以帮助用户在机器学习的专业知识很少，了解，探索和验证预测模型。通过将模型视为一个黑盒，我们从其输入输出行为中提取出一个标准化的基于规则的知识表示。我们设计了RuleMatrix，一个基于矩阵的可视化规则，以帮助用户导航和验证规则和黑盒模型。我们通过两个用例和可用性研究来评估RuleMatrix的有效性。
2018-07-17 cs.AI cs.HC cs.LG
Using Visual Analytics to Interpret Predictive Machine Learning Models
New York University Tandon School of Engineering（纽约大学坦登工程学院）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
通常认为，增加机器学习模型的可解释性可能会降低其预测能力。然而，使用可视化分析检查这些模型的输入输出关系，同时将其视为黑盒，可以帮助理解结果背后的推理，而不会牺牲预测质量。我们确定了一个空间的可能的解决方案，并提供了两个例子，这些技术已成功地用于实践。
2016-06-21 cs.LG stat.ML
Towards Better Analysis of Machine Learning Models: A Visual Analytics Perspective
Tsinghua University（清华大学）
交互式模型分析是在交互式可视化的帮助下理解、诊断和精炼机器学习模型的过程，对于用户有效地解决现实世界的人工智能和数据采掘问题非常重要。大数据分析的巨大进步导致了各种各样的交互式模型分析任务。在本文中，我们提出了一个全面的分析和解释这一迅速发展的地区。具体来说，我们将相关工作分为三类：理解、诊断和细化。每个类别都以最近有影响力的工作为例。还探讨和讨论了未来可能的研究机会。
2017-02-04 cs.LG stat.ML
FairVis: Visual Analytics for Discovering Intersectional Bias in Machine Learning
Georgia Institute of Technology（佐治亚理工学院）
机器学习的能力和可访问性不断增长，导致其应用于许多现实世界的领域和关于人的数据。尽管算法系统可能带来好处，但模型可以在其输出中反映、注入或加剧隐性和显性的社会偏见，从而使某些人口亚群处于不利地位。发现机器学习模型引入了哪些偏见是一个巨大的挑战，因为公平性的定义很多，而且有大量可能受到影响的子群体。我们提出了FairVis，一个混合主动视觉分析系统，集成了一种新的子组发现技术，供用户审计机器学习模型的公平性。通过FairVis，用户可以应用领域知识来生成和调查已知的子组，并探索建议的和类似的子组。FairVis的协调视图使用户能够探索子组性能的高级概述，并随后深入到特定子组的详细调查。我们展示了FairVis如何帮助发现用于预测收入和累犯的两个真实数据集的偏差。作为一个致力于发现机器学习偏见的可视化分析系统，FairVis展示了交互式可视化如何帮助数据科学家和公众理解和创建更公平的算法系统。
2019-09-01 cs.LG stat.ML
Explainable Machine Learning for Categorical and Mixed Data with Lossless Visualization
Central Washington University（中华盛顿大学）
针对异构混合数据，提出非数值属性编码方案、无损可视化方法及SRG算法，构建准确可解释的ML模型并通过实验验证，推进了混合数据全范围ML算法的发展。
2023-11-23 cs.HC cs.LG
Can machines learn to see without visual databases?
University of Siena（锡耶纳大学）；Universitè Côte d’Azur（蔚蓝海岸大学）；Ca’ Foscari University of Venice（威尼斯大学）；University of Cagliari（卡利亚里大学）
本文坚持认为，现在是时候考虑学习机器在真正类似人类的环境中征服视觉技能了，在这种环境中，一些类似人类的对象监督只通过语音交互和指向辅助来实现。这可能需要视觉计算过程的新基础，最终目的是让机器在简单的人机语言交互下生活在自己的视觉环境中，参与视觉描述任务。这项挑战包括开发机器，学习看，而不需要处理视觉数据库。这可能会打开一扇真正的正交竞争轨道的大门，涉及视觉的深度学习技术，它不依赖于巨大的视觉数据库的积累。
2021-11-22 cs.CV cs.LG
VizML: A Machine Learning Approach to Visualization Recommendation
MIT Media Lab（麻省理工学院媒体实验室）；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
数据可视化应该让所有拥有数据的分析师都能访问，而不仅仅是少数拥有技术专长的人。可视化推荐系统旨在通过自动生成供分析师搜索和选择的结果，而不是手动指定，来降低探索基本可视化的障碍。在这里，我们展示了一种新颖的基于机器学习的可视化推荐方法，该方法从大型数据集和相关可视化中学习可视化设计选择。首先，我们确定了分析师在创建可视化时所做的五个关键设计选择，例如选择可视化类型和选择沿X轴或Y轴编码列。我们训练模型来预测这些设计选择，使用从流行的在线可视化平台收集的100万个可视化对。与基准模型相比，神经网络以高精度预测这些设计选择。我们报告和解释这些基线模型之一的功能重要性。为了评估我们的方法的通用性和不确定性，我们用众包测试集进行基准测试，并表明我们的模型在预测共识可视化类型时的性能与人类的性能相当，并且超过了其他基于ML的系统。
2018-08-14 cs.AI cs.HC cs.LG
VDMS: Efficient Big-Visual-Data Access for Machine Learning Workloads
Intel Labs（英特尔实验室）
我们引入了可视化数据管理系统（VDMS），它可以更快地访问大可视化数据并增加对可视化分析的支持。这是通过通过存储为图形的元数据搜索相关的视觉数据来实现的，并通过新的机器友好的存储格式实现对视觉数据的更快访问。VDMS与现有的大规模照片服务、视频流和文本大数据管理系统不同，因为其主要关注于支持使用视觉数据（图像、视频和特征向量）的机器学习和数据分析管道，将这些视为第一类实体。我们描述了如何通过其用户友好的界面使用VDMS，以及它如何通过机器学习管道处理医学图像来实现丰富而高效的视觉分析。我们展示了在可比设置的复杂查询中2倍的改进性能。
2018-12-11 cs.DB cs.LG
Explaining Vulnerabilities to Adversarial Machine Learning through Visual Analytics
Arizona State University（亚利桑那州立大学）；University of Virginia（弗吉尼亚大学）
机器学习模型目前被部署在各种现实世界的应用程序中，其中模型预测用于做出有关医疗保健，银行贷款和许多其他关键任务的决策。随着人工智能技术的部署变得无处不在，对手已经开始开发操纵机器学习模型的方法以获得优势也就不足为奇了。虽然可视化分析社区已经开发了打开机器学习模型黑匣子的方法，但很少有工作专注于帮助用户了解他们在对抗攻击背景下的模型漏洞。在本文中，我们提出了一个可视化的分析框架，用于解释和探索对抗攻击的模型漏洞。我们的框架采用了多方面的可视化方案，旨在支持分析的数据投毒攻击的角度模型，数据实例，功能和本地结构。我们证明了我们的框架，通过两个案例研究二进制分类器和说明模型的漏洞，不同的攻击策略。
2019-10-03 cs.CR cs.HC cs.LG
Considerations for Visualizing Uncertainty in Clinical Machine Learning Models
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；The Hospital for Sick Children（病童医院）
面向临床医生的预测模型越来越多地出现在医疗保健环境中。无论它们在性能指标方面是否成功，所有模型都具有不确定性。我们研究如何以一种可操作的、值得信赖的方式在这种环境中直观地传达不确定性。为此，我们与心脏重症监护临床医生进行了定性研究。我们的研究结果表明，临床医生的信任可能是最受影响的不确定性的程度，而是如何透明的可视化的不确定性的来源是什么。我们的研究结果表明，功能的可解释性和临床actionability之间有明确的联系。
2022-10-21 cs.HC cs.LG
AdViCE: Aggregated Visual Counterfactual Explanations for Machine Learning Model Validation
机器学习模型性能的快速改进将它们推向了数据驱动决策的前沿。与此同时，这些模型越来越多地集成到各种应用领域，进一步突出了提高可解释性和透明度的必要性。为了识别偏差、过度拟合和不正确的相关性等问题，数据科学家需要工具来解释这些模型决策的机制。在本文中，我们介绍了AdViCE，一个可视化的分析工具，旨在指导用户在黑盒模型调试和验证。该解决方案依赖于两个主要的视觉用户界面创新：（1）交互式可视化设计，可以对用户定义的数据子集进行决策比较;（2）算法和视觉设计，可以计算和可视化反事实解释-当数据特征从其原始值扰动时，描述模型结果的解释。我们提供了一个演示的工具，通过一个用例，展示了所提出的方法的能力和潜在的局限性。
2021-09-12 cs.AI cs.HC cs.LG
Machine Learning and Visualization in Clinical Decision Support: Current State and Future Directions
Columbia University（哥伦比亚大学）；Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）
深度学习是机器学习的一个领域，它将彻底改变患者护理。但它还不是护理标准的一部分，特别是在个体患者护理方面。事实上，目前还不清楚数据驱动技术在多大程度上用于支持临床决策（CDS）。因此，目前还没有对机器学习和其他类型的数据驱动技术的研究如何有效地促进临床护理以及它们可以为临床医生带来的支持类型进行审查。在本文中，我们考虑的方式，其中两个数据驱动域-机器学习和数据可视化-可以有助于下一代的临床决策支持系统。我们回顾了有关启发式知识，机器学习和可视化的方式的文献-可以-应用于三种类型的CDS。已经有大量的研究使用预测建模的警报，但目前的CDS系统没有利用这些方法。利用交互式可视化和机器学习推理来组织和审查患者数据的方法越来越受欢迎，但仍处于原型阶段，尚未投入使用。CDS系统可以受益于规定性机器学习（例如，针对特定患者的治疗建议）尚未制定。我们讨论了缺乏部署的数据驱动的方法在CDS和未来的研究方向的潜在原因。
2019-06-06 cs.CY cs.LG stat.ML
Addressing Bias in Visualization Recommenders by Identifying Trends in Training Data: Improving VizML Through a Statistical Analysis of the Plotly Community Feed
University of Maryland, College Park（马里兰大学帕克分校）
机器学习具有良好的可扩展性和代表性，是一种很有前途的可视化推荐方法。研究人员可以创建一个神经网络，通过在数据集和可视化示例的语料库上训练它来预测来自输入数据的可视化。然而，这些机器学习模型可以反映其训练数据中可能对其性能产生负面影响的趋势。我们的研究项目旨在通过统计分析来识别训练数据中的趋势，从而解决机器学习可视化推荐系统中的训练偏差。
2022-03-09 cs.HC cs.IR cs.LG
An Interactive Machine Learning Framework
University at Buffalo（布法罗大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
机器学习（ML）被认为是一种有效的工具，可以建立可靠的预测模型或从大量数据中提取有用的结构。然而，ML也因其难以解释和复杂的参数调整而受到批评。相反，可视化能够很好地组织和可视化编码数据中纠缠的信息，并引导观众进行更简单的感性推理和分析思维。但是大规模、高维的数据往往会导致许多可视化方法的失败。在本文中，我们通过ML算法与用户之间的交互来闭合ML和可视化之间的循环，因此机器智能和人类智能可以以互惠互利的方式相互合作和改进。特别地，我们提出了“透明提升树（TBT）"，它将梯度提升树学习过程中每一步的模型结构和预测统计信息可视化给用户，并将用户对树的反馈操作纳入学习过程。在TBT中，ML负责更新学习模型中的权重，并从大数据中过滤显示给用户的信息，而可视化则负责提供ML模型的可视化理解，以方便用户探索。它结合了机器学习在大数据统计方面的优势和人类在基于领域知识的决策方面的优势。我们为这种新的学习方法开发了一个用户友好的界面，并将其应用于从实际应用中收集的两个数据集。我们的研究表明，通过使用交互式可视化使ML透明可以显着改善ML算法的探索，产生ML模型的新见解，并集成机器和人类智能。
2016-10-18 cs.HC cs.LG
Visualizing Machine Learning Models for Enhanced Financial Decision-Making and Risk Management
Hanwha Q CELLS America Inc（韩华Q CELLS美国公司）；University of North Texas（北得克萨斯大学）；Pace University（佩斯大学）
本研究聚焦银行业高风险金融场景，通过可视化引导实验提升金融机器学习模型可解释性，明确投资组合再平衡频率与风险承受力负相关，还提出局部随机资产加权新方法，助力金融机器学习研究发展。
2025-02-20 cs.LG
Facilitating Machine Learning Model Comparison and Explanation Through A Radial Visualisation
University of Technology Sydney（悉尼科技大学）
为数据集构建有效的机器学习（ML）模型是一项涉及多个步骤的艰巨任务。最重要的步骤之一是比较生成的大量ML模型，以找到最适合部署的ML模型。这是具有挑战性的，比较这样的模型与动态数量的功能。比较不仅仅是发现ML模型性能的差异，用户还对特征和模型性能之间的关系感兴趣，例如ML解释的特征重要性。本文提出了RadialNet Chart，这是一种新的可视化方法，可以比较用给定数据集的不同数量的特征训练的ML模型，同时揭示隐含的依赖关系。在RadialNet Chart中，ML模型和特征分别由直线和圆弧表示。这些线是使用递归函数有效地生成的。具有动态特征数量的ML模型的依赖性被编码到可视化的结构中，其中ML模型及其依赖特征直接从相关的线连接中揭示。ML模型性能信息在RadialNet Chart中使用颜色和行宽进行编码。与可视化结构一起，特征重要性可以在RadialNet Chart中直接识别，用于ML解释。
2021-04-15 cs.HC cs.LG
explAIner: A Visual Analytics Framework for Interactive and Explainable Machine Learning
University of Konstanz（康斯坦茨大学）
我们提出了一个交互式和可解释的机器学习框架，使用户能够（1）理解机器学习模型;（2）使用不同的可解释AI方法诊断模型限制;以及（3）改进和优化模型。我们的框架将迭代XAI管道与八个全球监控和指导机制相结合，包括质量监控，来源跟踪，模型比较和信任建立。为了使框架可操作化，我们提出了explAIner，这是一个用于交互式和可解释的机器学习的可视化分析系统，它在常用的TensorBoard环境中实例化建议管道的所有阶段。我们与不同专业水平的九名参与者进行了用户研究，以检查他们对我们工作流程的看法，并收集建议以填补我们的系统和框架之间的差距。评估证实，我们紧密集成的系统导致了一个明智的机器学习过程，同时揭示了进一步扩展的机会。
2019-10-07 cs.AI cs.HC cs.LG
Perception-Driven Bias Detection in Machine Learning via Crowdsourced Visual Judgment
Department of Computer Science（计算机科学系）；Oklahoma State University（俄克拉荷马州立大学）
针对传统机器学习偏见检测依赖敏感标签、适用性受限的问题，提出利用众包视觉判断的感知驱动检测框架，通过轻量网页平台收集非专业用户的视觉判断来标记偏见，经验证该方法可靠且可扩展，为公平性审计提供了高效可解释的新途径。
2025-05-21 cs.HC cs.LG
Trust Your Gut: Comparing Human and Machine Inference from Noisy Visualizations
Indiana University Indianapolis（印第安纳大学印第安纳波利斯分校）；Argonne National Laboratory（阿贡国家实验室）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本研究通过两个实验比较人类与机器从噪声可视化中的推断，发现尽管人类整体准确度较低，但凭借内部模型过滤噪声，在面对极端样本时常优于贝叶斯智能体，为可视化分析工具设计提供了整合统计模型与人类直觉的新视角。
2024-07-23 cs.HC cs.LG
Using Machine Learning for move sequence visualization and generation in climbing
EPFL（洛桑联邦理工学院）
本文研究机器学习在运动攀岩中的应用，开发了一种巨石动作序列评估的可视化工具，并使用三种Transformer模型从岩点序列预测动作序列，为未来研究奠定基础。
2025-03-01 cs.CV cs.LG
VAR: Visual Analysis for Rashomon Set of Machine Learning Models' Performance
University of Oxford（牛津大学）
针对Rashomon集内机器学习模型缺乏横向对比可视化方法的问题，提出结合热力图与散点图的VAR可视化方案，助力开发者筛选最优模型、理解集合整体特征。
2025-07-30 cs.LG
Visual Knowledge Discovery with General Line Coordinates
Central Washington University（中央华盛顿大学）
本文提出基于无损通用线坐标的可视化知识发现方法，通过非线性扩展、交互式规则和超块规则构建可解释分类器，并开发最坏情况验证划分算法，在多个基准数据集上验证其可兼顾准确性与可解释性。
2023-05-28 cs.HC cs.LG
Multimodal Machine Translation with Visual Scene Graph Pruning
East China Normal University（东华师范大学）；Shanghai Jiao Tong University（上海交通大学）；Wenzhou University（温州大学）；Huawei Technologies Ltd（华为技术有限公司）
提出基于视觉场景图剪枝的多模态机器翻译方法，利用语言场景图指导视觉冗余节点剪枝以减少噪声，实验证明其有效性。
2025-05-26 cs.CV cs.LG
Visual Diagnosis of Dermatological Disorders: Human and Machine Performance
Simon Fraser University（西蒙弗雷泽大学）
皮肤病是一个全球性的健康问题，在因残疾而损失的年数中，皮肤病是非致命性疾病负担的第四大原因。由于皮肤病的诊断或分类可以帮助确定有效的治疗方法，皮肤科医生已经广泛研究了如何从患者的病史和病变的视觉外观来诊断病情。计算机视觉研究人员正试图将这种诊断能力编码到机器中，最近的几项研究报告称，机器水平的性能与皮肤科医生相当。这份报告回顾了机器方法来分类皮肤图像，并考虑他们的性能相比，人类皮肤科医生。在概述了常见的图像模式、皮肤科医生的诊断方法和常见任务以及公开可用的数据集之后，我们讨论了机器皮肤病变分类的方法。然后，我们回顾直接比较人类和机器性能的作品。最后，本报告讨论了基于图像的皮肤病诊断的局限性和错误来源，适用于机器和皮肤科医生在远程皮肤病学设置。
2019-06-04 cs.CV cs.LG
Developing A Visual-Interactive Interface for Electronic Health Record Labeling: An Explainable Machine Learning Approach
Sriphat Medical Center, Faculty of Medicine, Chiang Mai University（清迈大学医学院诗里帕医院）
本文提出可视化交互标注工具 XLabel，利用可解释提升机 EBM 分类并展示解释热力图，辅助电子健康记录的 NCD 标注，实验证明其可减少操作、保持高准确率并具备强抗错误标注能力。
2023-06-02 cs.HC cs.LG stat.AP
ViCE: Visual Counterfactual Explanations for Machine Learning Models
New York University Abu Dhabi（纽约大学阿布扎比分校）；NYU Tandon School of Engineering（纽约大学坦登工程学院）
机器学习模型的预测准确性的持续改进使得它们能够广泛地实际应用。然而，许多看似准确的模型做出的决策仍然需要领域专家的验证。此外，模型的最终用户还希望了解具体决策背后的原因。因此，对可解释性的需求越来越重要。在本文中，我们提出了一个交互式的可视化分析工具，ViCE，生成反事实的解释，上下文和评估模型的决策。评估每个样本，以确定翻转模型输出所需的最小更改集。这些解释旨在为最终用户提供个性化的可操作见解，以便理解，并可能质疑或改进自动化决策。结果有效地显示在一个可视化界面中，其中突出显示了反事实的解释，并为用户提供了交互式方法来探索数据和模型。该工具的功能证明了其应用程序的房屋净值信贷额度数据集。
2020-03-05 cs.AI cs.HC cs.LG
Understanding How Humans Inject Knowledge into Machine Learning Workflows through Visual Analytics
University of Oxford（牛津大学）；Istanbul Technical University（伊斯坦布尔理工大学）；Science and Technology Facilities Council（科学技术设施委员会）；Fraunhofer Institute IAIS（弗劳恩霍夫智能分析和信息系统研究所）
本文调查了200多篇VIS4ML论文，通过编码分析从ML特性、可视化、交互和动作四个视角，揭示了人类通过交互可视化向ML工作流注入知识的多种路径，并基于概念模型和信息论成本效益分析解释了VIS4ML现象。
2026-07-02 cs.HC cs.LG
RISE: Interactive Visual Diagnosis of Fairness in Machine Learning Models
University of Florida（佛罗里达大学）
RISE通过交互式可视化工具帮助诊断机器学习模型中的公平性问题，揭示准确率与公平性的权衡，支持更明智的模型选择。
2026-02-04 cs.LG
Decoding Generic Visual Representations From Human Brain Activity using Machine Learning
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
最近神经解码最令人印象深刻的应用之一是视觉表征解码，其中受试者看到或想象的物体的类别是通过观察他/她的大脑活动来推断的。尽管对上述视觉表示解码任务的兴趣越来越大，但没有广泛研究使用不同机器学习模型对解码准确性的影响。在本文中，我们为上述任务提供了几种机器学习模型的广泛评估，以及不同的相似性度量，得出了许多有趣的结论。这样，本文a）为开发更先进和准确的方法铺平了道路，b）为上述解码任务提供了广泛且易于重现的基线。
2018-11-05 cs.LG cs.NE q-bio.NC
Measuring Machine Intelligence Through Visual Question Answering
Facebook AI Research（Facebook人工智能研究院）；Virginia Tech（弗吉尼亚理工大学）；Microsoft Research（微软研究院）
随着机器变得越来越智能，人们对测量其智能的方法重新产生了兴趣。一种常见的方法是提出人类擅长的任务，但机器发现困难。然而，一个理想的任务也应该容易评估，而不是容易游戏。我们开始一个案例研究，探讨最近流行的任务图像描述和它的局限性作为一个任务，测量机器智能。另一个更有前途的任务是视觉问答，它测试机器对语言和视觉的推理能力。我们描述了一个为该任务创建的规模空前的数据集，其中包含超过760，000个人类生成的关于图像的问题。使用大约1000万个人类生成的答案，可以很容易地评估机器。
2016-08-31 cs.AI cs.CL cs.CV
HypoML: Visual Analysis for Hypothesis-based Evaluation of Machine Learning Models
Hong Kong University of Science and Technology（香港科技大学）；University of Oxford（牛津大学）
在本文中，我们提出了一个可视化的分析工具，使基于假设的评估机器学习（ML）模型。我们描述了一种新的ML测试框架，它结合了传统的统计假设检验（通常用于实证研究）与逻辑推理的结论，多个假设。该框架定义了一个受控的配置，用于测试一些假设，即关于“概念”或“特征”的一些额外信息是否以及如何有益于或阻碍ML模型。由于多个假设的推理并不总是简单的，我们提供了HypoML作为一个可视化的分析工具，使用它，多线程的测试数据被转换为一个可视化的表示，快速观察的结论和测试数据和假设之间的逻辑流程。我们已经应用HypoML的一些假设的概念，展示了直观和可解释的可视化分析的性质。
2020-02-12 cs.CV cs.HC cs.LG
A Method for Controlling Extrapolation when Visualizing and Optimizing the Prediction Profiles of Statistical and Machine Learning Models
JMP Division SAS Institute（SAS研究所JMP部门）
提出了一种新的JMP软件中预测刻画器外推控制方法。预测刻画器是一个图形化工具，用于探索统计和机器学习模型的高维预测曲面。刻画器包含模型预测曲面的交互式横截面视图或轮廓跟踪。我们的方法可以帮助用户避免探索应该被认为是外推的预测。它还使用遗传算法在避免外推的约束因子区域上执行优化。在模拟和现实世界的例子中，我们演示了如何在分析器中没有约束的最佳因子设置经常外推，以及外推控制如何帮助避免这些解决方案与无效的因子设置，可能对用户没有用。
2022-01-13 cs.LG stat.AP stat.ML
Dataset Structural Index: Leveraging a machine's perspective towards visual data
Independent Researcher.
随着视觉和感知架构的进步，我们已经意识到，与算法相比，处理数据同样重要。直到今天，我们都是根据我们的知识和对世界的看法来训练机器。数据集结构索引（DSI）的整个概念围绕着理解机器对数据集的看法。通过DSI，我展示了两个Meta值，通过它们我们可以在可视化数据集上获得更多信息，并使用它来优化数据，创建更好的架构，并能够猜测哪个模型最好。这两个值是“品种贡献率”和“相似性矩阵”。在本文中，我展示了DSI的许多应用，其中之一是如何在更少的数据量上训练相同的模型架构来实现相同的准确度。
2023-01-23 cs.CV cs.LG
Understanding the Prediction Mechanism of Sentiments by XAI Visualization
Yonsei University（延世大学）
人们经常依赖在线评论来做出购买决定。目前的工作旨在通过可视化从在线酒店评论中提取的情感效果与可解释AI（XAI）方法来理解机器学习模型的预测机制。研究1使用提取的情感作为特征，通过五种机器学习算法（knn，CART决策树，支持向量机，随机森林，梯度提升机）预测评论评级，并确定随机森林为最佳算法。研究2通过特征重要性分析了随机森林模型，并揭示了情绪快乐，厌恶，积极和消极作为最具预测性的特征。此外，加性变量属性及其预测分布的可视化显示，对于5星评级，方向和效应量的预测正确，但对于1星评级，方向和效应量不足。这些预测细节通过对四个主要特征的假设分析得到了证实。总之，机器学习模型的预测机制可以通过特定观察的可视化来揭示。比较对比地面真值的实例可以绘制预测机制的差异图，并为模型改进提供决策信息。
2020-03-03 cs.CL cs.HC cs.LG
Program synthesis performance constrained by non-linear spatial relations in Synthetic Visual Reasoning Test
University of Nottingham（诺丁汉大学）；Dalhousie University（达尔豪斯大学）；Vector Institute（矢量研究所）；Cardiff University（卡迪夫大学）
尽管机器在自动视觉识别方面取得了显着进步，但一些视觉任务对机器来说仍然具有挑战性。Fleuret等人（2011年）引入了合成视觉推理测试（SVRT）来强调这一点，该测试要求仅使用几个示例，基于隐藏的抽象规则对由随机生成的形状组成的图像进行分类。Ellis et al.（2015）证明，程序合成方法可以解决一些无监督的、少样本学习的SVRT问题，而对于用数千个样本训练的几个卷积神经网络来说，它们仍然具有挑战性。在这里，我们重新考虑了人类和机器实验，因为它们遵循不同的协议，产生不同的统计数据。因此，我们提出了一个定量的重新解释的数据之间的协议，使我们可以作出公平的比较人类和机器的性能。通过对图像解析的修正，改进了程序合成分类器，并将其结果与其他机器代理和人类受试者的性能进行了比较。根据分类的核心特征：形状规范和位置关系，我们将SVRT问题分为不同的类型。我们发现，程序合成分类器不能解决涉及形状距离的问题，因为它依赖于符号计算，其与输入维度的比例很差，并且将距离添加到这样的计算中会增加与图像中的形状数量相结合的维度。因此，尽管程序合成分类器能够进行抽象推理，但其性能受到图像解析中可访问信息的高度约束。
2019-11-19 cs.LG stat.ML
XAutoML: A Visual Analytics Tool for Understanding and Validating Automated Machine Learning
USU Software AG（USU软件股份公司）；Karlsruhe University of Applied Sciences（卡尔斯鲁厄应用技术大学）；University of Stuttgart（斯图加特大学）；Fraunhofer IPA（弗劳恩霍夫制造工程与自动化研究所）
针对用户因缺乏透明度和解释而不信任AutoML模型的问题，提出交互式可视化分析工具XAutoML，结合XAI技术使AutoML优化过程与ML流水线透明可解释，并通过用户研究验证了其有效性。
2023-11-24 cs.AI cs.HC cs.LG
AHMoSe: A Knowledge-Based Visual Support System for Selecting Regression Machine Learning Models
KU Leuven（鲁汶大学）；Pontificia Universidad Catolica de Chile（智利天主教大学）；Millennium Institute Foundational Research on Data（千禧基础数据研究所）
决策支持系统在农业领域越来越受欢迎。随着自动化机器学习的发展，农业专家现在能够使用最先进的机器学习（ML）模型进行训练、评估和预测，而不需要太多的ML知识。尽管这种自动化方法在许多情况下都取得了成功，但在某些情况下（例如，当很少有标记的数据集可用时）在具有相似性能度量的不同模型之间进行选择是一项困难的任务。此外，这些系统通常不允许用户将他们的领域知识，可以促进模型选择的任务，并获得洞察预测系统的最终决策。为了解决这些问题，在本文中，我们提出了AHMoSe，一个可视化的支持系统，让领域专家更好地理解，诊断和比较不同的回归模型，主要是通过丰富的模型不可知论的解释与领域知识。为了验证AHMoSe，我们描述了葡萄栽培领域的一个用例场景，葡萄质量预测，该系统使用户能够诊断和选择表现更好的预测模型。我们还讨论了ML和葡萄栽培专家对工具设计的反馈。
2021-11-30 cs.HC cs.LG
Towards Interpretability in Audio and Visual Affective Machine Learning: A Review
Center for Cognitive Interaction Technology (CITEC)（认知交互技术中心）；Bielefeld University（比勒菲尔德大学）
该综述针对音视频情感机器学习的可解释性开展结构化文献分析，梳理了29篇相关研究的现状与不足，并为后续研究提出建议。
2023-06-15 cs.LG
A Machine-Learning-Aided Visual Analysis Workflow for Investigating Air Pollution Data
University of California Davis（加州大学戴维斯分校）；Academia Sinica（中央研究院）
分析空气污染数据具有挑战性，因为从不同方面有各种分析重点：特征（什么），空间（哪里）和时间（何时）。在大多数地理空间分析问题中，除了高维特征之外，空气污染的时间和空间依赖性导致了执行分析的复杂性。机器学习方法，如降维，可以提取和总结数据的重要信息，以减轻理解这种复杂环境的负担。在本文中，我们提出了一种方法，利用多种机器学习方法来统一探索这些方面。通过这种方法，我们开发了一个可视化的分析系统，支持灵活的分析工作流程，允许领域专家根据他们的分析需求自由地探索不同的方面。我们展示了我们的系统和分析工作流程的能力，支持多种分析任务与多个用例。
2022-02-11 cs.LG
Visual Framing of Science Conspiracy Videos: Integrating Machine Learning with Communication Theories to Study the Use of Color and Brightness
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Stanford University（斯坦福大学）
近年来，互联网上的科学阴谋视频呈爆炸式增长，挑战了科学认识论和公众对科学的理解。学者们已经开始研究阴谋信息中使用的说服技巧，如不确定性和恐惧，但对视觉叙事的了解甚少，特别是揭穿阴谋的视频与传播阴谋的视频中的视觉叙事如何不同。本文通过使用计算方法分析来自阴谋和反阴谋YouTube视频的数百万帧来解决理解阴谋视频中视觉框架的差距。我们发现阴谋视频倾向于使用较低的颜色变化和亮度，特别是在缩略图和视频的早期部分。本文还展示了研究人员如何在机器学习模型中整合文本和视觉特征，以研究社交媒体上的阴谋，并讨论了计算建模对数字时代有兴趣研究视觉操纵的学者的影响。本文提出的视觉和文本特征的分析可能是有用的，为未来的研究重点是设计系统，以确定互联网上的阴谋内容。
2021-11-18 cs.CV cs.LG cs.MM
DimVis: Interpreting Visual Clusters in Dimensionality Reduction With Explainable Boosting Machine
Linnaeus University（林奈大学）；Utrecht University（乌得勒支大学）；Yildiz Technical University（伊尔德兹技术大学）
DimVis利用可解释提升机模型实时解释UMAP降维投影中的视觉聚类，通过特征重要性排名实现交互式高维数据分析。
2024-04-18 cs.HC cs.LG stat.CO
Interpretable Machine Learning for Self-Service High-Risk Decision-Making
Central Washington University（中央华盛顿大学）
本文通过一般线坐标（GLC）的视觉知识发现，可解释的机器学习。超块作为可解释的数据集单元和一般线坐标的概念相结合，以创建一个可视化的自助机器学习模型。提出了DSC1和DSC2无损多维坐标系。DSC1和DSC2可以使用图形构造算法将多个数据集属性映射到单个二维（X，Y）笛卡尔平面。超块分析用于确定视觉上吸引人的数据集属性顺序并减少线遮挡。结果表明，超块可以推广决策树规则，一系列的DSC1或DSC2图可以可视化一棵决策树。DSC1和DSC2图在UCI ML存储库的基准数据集上进行了测试。它们允许对数据进行视觉分类。此外，还发现了超块杂质区域，并用于建立数据集分割，突出最坏情况下模型准确性的上限估计，以指导高风险决策的模型选择。DSC1和DSC2的主要优点是它们的高度可解释性。它们允许领域专家通过视觉模式发现来控制或建立新的机器学习模型。
2022-05-09 cs.GR cs.LG
On Leveraging the Visual Modality for Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）
如何有效地利用视觉模态进行神经机器翻译（NMT）是计算语言学中的一个难题。最近，Caglayan等人认为，观察到的收益是有限的，主要是由于Multi30k数据集（当时唯一可用的多模态MT数据集）非常简单，简短，重复的句子，这使得源文本足以用于上下文。在这项工作中，我们进一步研究了一个新的大规模多模态机器翻译（MMT）数据集，How2，它的平均句子长度比Multi30k长1.57倍，没有重复。我们提出并评估了三种新的融合技术，每一种技术的目的是确保利用视觉上下文在不同阶段的序列到序列的转导管道，即使在完整的语言环境。然而，我们在完整的语言背景下仍然只获得了边际收益，并且认为从深度视觉模型（Multi30k的ResNet，How2的ResNext）中提取的视觉嵌入并不能增加NMT中标记级预测的词汇元素之间的区分度。我们通过分析注意力分布定性地证明了这一点，并通过主成分分析定量地证明了这一点，得出的结论是，在现有的MMT数据集中，需要改进的是视觉嵌入的质量，而不是句子的长度。
2019-10-07 cs.CL cs.LG
LossLens: Diagnostics for Machine Learning through Loss Landscape Visual Analytics
Arizona State University（亚利桑那州立大学）；Dartmouth College（达特茅斯学院）；University of California, Davis（加州大学戴维斯分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；ICSI（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
本文提出多尺度损失景观可视分析框架 LossLens，整合全局与局部指标以增强模型诊断，并通过 ResNet-20 和物理信息神经网络案例验证其有效性。
2024-12-17 cs.LG
Visual-Aware Representation of Web Pages for Machine Learning Applications
Brno University of Technology（布尔诺理工大学）；Faculty of Information Technology（信息技术学院）
本文提出基于FitLayout的网页视觉感知表示与机器学习平台，支持数据集准备、机器学习输入获取，可用于训练图神经网络识别网页关键内容元素，保障结果可复现。
2026-08-20 cs.IR cs.LG
ESCAPE: Countering Systematic Errors from Machine's Blind Spots via Interactive Visual Analysis
University of Pittsburgh（匹兹堡大学）；Amazon AWS（亚马逊云科技）；Meta
分类模型学习概括数据样本与其目标类之间的关联。然而，研究人员越来越多地观察到，机器学习实践很容易导致AI应用中的系统性错误，这种现象被称为AI盲点。当用训练样本训练模型时（例如，猫/狗分类），其中重要的模式（例如，黑猫）是缺失的或外围/不期望的图案（例如，有草背景的狗）会误导某个阶层。即使是更复杂的技术也不能保证捕获、推理和防止虚假的关联。在这项工作中，我们提出了ESCAPE，一个可视化的分析系统，促进了人在循环的工作流程，以对抗系统性错误。通过允许人类用户容易地检查虚假关联，该系统便于用户自发地识别与错误分类相关联的概念，并评估可以减少有偏见的关联的缓解策略。我们还提出了两种统计方法，相对概念关联，以更好地量化概念和实例之间的关联，和debias方法，以减轻虚假的关联。我们通过广泛的评估，包括定量实验，使用场景，专家访谈和控制用户实验，证明了我们提出的ESCAPE系统和统计措施的实用性。
2023-03-16 cs.AI cs.HC cs.LG
Five Points to Check when Comparing Visual Perception in Humans and Machines
University of Tübingen（图宾根大学）；Bernstein Center for Computational Neuroscience（伯恩斯坦计算神经科学中心）；Werner Reichardt Centre for Integrative Neuroscience（维尔纳·赖夏特整合神经科学中心）；Volkswagen Group Machine Learning Research Lab（大众集团机器学习研究实验室）
随着机器在复杂识别任务中的表现达到人类水平，越来越多的工作是针对人类和机器的信息处理进行比较。这些研究是一个令人兴奋的机会，通过研究一个系统来了解另一个系统。在这里，我们提出了关于如何设计，进行和解释实验的想法，以便在比较人类和机器感知时充分支持机制的研究。我们通过三个案例研究来证明和应用这些想法。第一个案例研究显示了人类偏见如何影响我们解释结果的方式，以及几种分析工具可以帮助克服这种人类参考点。在第二个案例研究中，我们强调必要和充分的视觉推理任务的机制之间的差异。因此，我们表明，与以前的建议相反，反馈机制可能不是必要的问题的任务。第三个案例研究强调了调整实验条件的重要性。我们发现，当调整实验以使人类和机器之间的条件更加公平时，先前观察到的物体识别差异并不成立。在提出人类和机器视觉推理比较研究的清单时，我们希望强调如何克服设计或推理中的潜在陷阱。
2021-04-13 cs.AI cs.CV cs.LG
Teaching Machines to Code: Neural Markup Generation with Visual Attention
我们提出了一个具有视觉注意力的神经传感器模型，该模型学习生成现实世界数学公式的LaTeX标记。应用序列建模和转导技术，已经非常成功的方式，如自然语言，图像，手写，语音和音频;我们构建了一个图像到标记模型，学习产生语法和语义正确的LaTeX标记代码超过150个单词长，并实现了89%的BLEU分数;改进了以前的最先进的Im 2Latex问题。我们还通过热图可视化演示了注意力如何帮助解释模型，并且尽管在没有任何限界框数据的情况下进行了训练，但仍然可以准确地定位（检测和定位）图像上的符号。
2018-06-15 cs.CL cs.CV cs.LG
Self-service Data Classification Using Interactive Visualization and Interpretable Machine Learning
Central Washington University（中央华盛顿大学）
机器学习算法通常会产生被最终用户和开发人员视为复杂黑盒模型的模型。他们未能解释模型的领域，他们是专为。所提出的迭代视觉逻辑分类器（IVLC）是一种可解释的机器学习算法，允许最终用户设计模型并以更高的置信度对数据进行分类，而不必牺牲准确性。这种技术在处理敏感和关键数据时特别有用，如医疗领域中的癌症数据，错误成本很高。在所提出的交互式无损多维可视化的帮助下，最终用户可以识别数据中的模式，并根据该模式做出可解释的决策。这样的选项在黑盒机器学习方法中是不可能的。交互式移位配对坐标软件系统（SPCVis）支持可解释的IVLC算法。它是一个具有用户交互功能的无损多维数据可视化系统。交互式方法为最终用户提供了灵活性，使其能够自助执行数据分类，而不必依赖于机器学习专家。在处理具有数百个维度/特征的大型数据集时，交互式模式发现变得具有挑战性。为了克服这个问题，本章提出了一个自动分类方法结合新的坐标顺序优化（COO）算法和遗传算法。COO算法自动生成最能代表数据分离的坐标对序列，而遗传算法通过自动生成用于数据分类的区域来帮助优化所提出的IVLC算法。该方法的可行性的基准数据集，包括用于数据分类的交互式和自动化过程的实验。
2021-07-11 cs.AI cs.LG
Survey of explainable machine learning with visual and granular methods beyond quasi-explanations
Central Washington University（中央华盛顿大学）；University of Washington Tacoma（华盛顿大学塔科马分校）；Kensci Inc.（Kensci公司）
本文综述了机器学习（ML）可解释性的视觉方法，重点是从ML中占主导地位的准解释转向由颗粒视觉支持的特定领域解释。ML解释基本上是一种人类活动，视觉方法更容易解释。虽然存在高维数据的有效视觉表示，但可解释信息的丢失、遮挡和混乱仍然是一个挑战，这导致了准解释。我们从动机和可解释性的不同定义开始。本文重点讨论了准解释和领域特定解释之间的明确区别，以及可解释和实际解释的ML模型之间的区别，这些对于可解释性领域至关重要。我们讨论了可解释性的基础，概述了视觉可解释性，并提出了几种类型的方法来可视化ML模型。接下来，我们将基于最近引入的通用线坐标（GLC）概念，介绍ML模型的可视化发现方法，重点是可解释的模型。这些方法采取的关键步骤，创造视觉解释，不仅是准解释，但也是特定领域的视觉解释，而这些方法本身是领域不可知的。该文件包括理论上的限制，以保持n-D距离在较低的维度，基于约翰逊-林登施特劳斯引理，点到点和点到图的GLC方法，和现实世界的案例研究的结果。本文还涵盖了理解ML模型的传统视觉方法，包括深度学习和时间序列模型。我们发现，许多这些方法是准解释，需要进一步增强，成为特定领域的解释。最后，我们概述了开放的问题和当前的研究前沿。
2020-09-21 cs.CV cs.LG
Integrating Visual and X-Ray Machine Learning Features in the Study of Paintings by Goya
Centre for Visual Computing and Intelligent Systems（视觉计算与智能系统中心）；University of Bradford（布拉德福德大学）
针对Goya画作真伪鉴定的计算挑战，提出一种对视觉和X射线图像应用相同特征提取与单类支持向量机的多模态机器学习框架，在24幅画作数据集上实现97.8%准确率，显著优于单模态方法。
2025-11-02 cs.CV cs.LG
Discovering Interpretable Machine Learning Models in Parallel Coordinates
Central Washington University（中央华盛顿大学）
本文通过平行坐标系下的可视化知识发现，研究了可解释的机器学习。超立方体和超块的概念被使用为在平行坐标中以视觉形式容易被最终用户理解。提出了混合超块和纯超块分类的Hyper算法，实现了在单个、多个、重叠和非重叠情况下交互式自动发现超块。超块与视觉模式的语言描述相结合。超模型是决策树的推广。Hyper算法在UCI ML库的基准数据上进行了测试。它允许用所有数据发现纯的和混合的HB，然后用10倍交叉验证。建立了超块、降维和可视化之间的联系。超块技术和Hyper算法的主要好处在于它们能够由最终用户发现和观察超块，包括并排可视化，使模式对所有类可见。HB集合相对于决策树的另一个优点是避免数据过度泛化和过度拟合的能力。
2021-07-04 cs.LG
Modeling correlations in spontaneous activity of visual cortex with centered Gaussian-binary deep Boltzmann machines
Institut für Neuroinformatik（神经信息学研究所）；Ruhr-Universität Bochum（波鸿鲁尔大学）
自发皮层活动-在没有有意的感觉输入的情况下进行的皮层活动-被认为在正常脑功能和精神功能障碍的许多方面起着至关重要的作用。我们提出了一个中心的高斯二进制深度玻尔兹曼机（GDBM）的早期皮层视觉区的活动建模和GDBM中的随机采样的自发皮层活动。在自然图像补丁上训练所提出的模型后，我们发现从模型的概率分布中收集的样本包含与自发活动中发现的相似的活动模式。具体地，具有相同取向偏好的滤波器在随机采样期间倾向于一起活动。我们的工作表明，中心GDBM是一个有意义的模型方法的基本感受野特性和自发活动模式的出现在早期皮层视觉区。此外，我们的经验表明，集中的GDBMs不遭受的困难，在训练过程中的GDBMs做，可以适当地训练，而无需逐层预训练。
2014-02-17 cs.LG cs.NE q-bio.NC
Holographic Visualisation of Radiology Data and Automated Machine Learning-based Medical Image Segmentation
Faculty of Science, Technology and Communication（科学、技术与传播学院）
在这篇论文中，我们提出了一个平台，结合增强现实（AR）硬件与机器学习在一个面向用户的管道，提供给医务人员一个直观的三维可视化的体积计算机断层扫描（CT）和磁共振成像（MRI）医学图像分割内的AR耳机，不需要人为干预的加载，处理和分割的医学图像。基于Microsoft HoloLens的AR可视化采用模块化且可扩展的前端-后端架构，用于在多个AR耳机上进行实时可视化。由于卷积神经网络（CNN）最近在图像语义分割的机器学习任务中表现出了卓越的性能，该管道还包括一个用于从CT扫描中分割肝脏的全自动CNN算法。该模型基于深度视网膜图像理解（DRIU）模型，该模型是一个全卷积网络，其侧输出来自不同分辨率的特征图，在网络的不同阶段提取。该算法是2.5D，这意味着输入是一组连续的扫描切片。实验已经在肝脏肿瘤分割挑战（LiTS）数据集上进行，用于肝脏分割，并表现出良好的结果和灵活性。虽然该领域存在多种方法，但只有少数方法专注于克服实际方面，这些方面仍然在很大程度上使该技术远离手术室。根据这一点，我们下一步还计划在现实环境中对医生和放射科医生进行评估。
2018-08-15 cs.CV cs.LG
