Mutual Information-driven Subject-invariant and Class-relevant Deep Representation Learning in BCI
Korea University(高丽大学)
近年来,基于深度学习的特征表示方法在基于脑电(EEG)的脑机接口(BCI)中显示出了良好的影响。然而,由于高的内部和受试者之间的变异性,许多研究解码EEG的设计在一个特定的受试者的方式,通过使用校准样本,没有考虑其实际用途,阻碍了耗时的步骤和大量的数据要求。为此,最近的研究采用了迁移学习策略,特别是领域自适应技术。其中,据我们所知,对抗性学习在BCI中显示出了其潜力。同时,已知的是,基于对抗学习的领域自适应方法倾向于负迁移,这破坏了学习适用于不同领域的广义特征表示,例如,脑机接口中的主题或会话。在本文中,我们提出了一个新的框架,以信息论的方式学习类相关和主题不变的特征表示,而不使用对抗学习。具体来说,我们在深度网络中设计了两个操作组件,用于显式估计特征表示之间的互信息;(1)将中间层中的特征分解为类相关和类不相关的特征,(2)丰富类判别特征表示。在两个大的EEG数据集上,我们通过与几种比较方法的性能比较,验证了我们提出的框架的有效性。此外,我们通过对网络中的组件进行消融研究进行了严格的分析,通过逐层相关传播解释了我们的模型对输入EEG信号的决定,并通过t-SNE可视化了学习特征的分布。
2020-08-21 cs.HC cs.LG stat.ML
On the Effectiveness of Hybrid Mutual Information Estimation
University of Amsterdam(阿姆斯特丹大学)
本文提出统一判别式与生成式方法的变分界及混合互信息估计框架,并用轻量 PQ 降低估计方差,在高维高斯和自由粒子随机过程上验证其更优。
2023-06-02 cs.IT cs.LG math.IT
Explaining Deep Neural Networks and Beyond: A Review of Methods and Applications
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);BIFOLD – Berlin Institute for the Foundations of Learning and Data(BIFOLD——柏林学习与数据基础研究所);Technische Universität Berlin(柏林工业大学);Korea University(高丽大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
随着机器学习在工业和科学领域的广泛和高度成功的应用,对可解释人工智能的需求不断增长。因此,用于更好地理解非线性机器学习(特别是深度神经网络)的问题解决能力和策略的可解释性和解释方法正受到越来越多的关注。在这项工作中,我们的目标是(1)及时概述这一活跃的新兴领域,重点是“事后”解释,并解释其理论基础,(2)使用广泛的模拟从理论和比较评估的角度对可解释性算法进行测试,(3)概述最佳实践方面,即如何最好地将解释方法纳入机器学习的标准使用中;(4)在具有代表性的应用场景选择中展示可解释AI的成功使用。最后,我们讨论了机器学习这个令人兴奋的基础领域面临的挑战和可能的未来方向。
2021-02-25 cs.AI cs.CV cs.LG
Explaining COVID-19 and Thoracic Pathology Model Predictions by Identifying Informative Input Features
Technical University of Munich(慕尼黑工业大学);Kyung Hee University(庆熙大学);Johns Hopkins University(约翰斯·霍普金斯大学)
神经网络在胸部X光片的分类和回归任务中表现出卓越的性能。为了建立对临床常规的信任,网络的预测机制需要是可解释的。解释的一个主要方法是特征归属。特征属性方法识别输入特征对输出预测的重要性。基于信息瓶颈归因(IBA)方法,对于每个预测,我们识别与网络输出具有高互信息的胸部X射线区域。原始IBA识别具有足够预测信息的输入区域。我们提出逆IBA来识别所有信息区域。因此,所有病理的预测线索都在X射线上突出显示,这是胸部X射线诊断的理想属性。此外,我们提出了回归IBA来解释回归模型。使用回归IBA,我们观察到在累积严重性评分标签上训练的模型隐式地学习不同X射线区域的严重性。最后,我们提出了多层IBA生成更高的分辨率和更详细的属性/显着性地图。我们使用以人为中心(基于地面事实)的可解释性指标和NIH胸部X射线8和BrixIA数据集上的独立于人类的特征重要性指标来评估我们的方法。该守则是公开的。
2021-08-04 cs.CV cs.LG eess.IV
A redescription mining framework for post-hoc explaining and relating deep learning models
University of Zagreb(萨格勒布大学);Ruđer Bošković Institute(鲁杰尔·博什科维奇研究所);Faculty of Electrical Engineering and Computing, University of Zagreb(萨格勒布大学电气工程与计算机学院)
本文提出一种基于重描述挖掘的事后解释框架,通过识别神经元激活的统计显著重描述,对任意深度学习模型进行队列分析、层间关联和跨模型关联,从而提升模型可解释性。
2025-01-02 cs.AI cs.LG
Explaining Graph Neural Networks for Node Similarity on Graphs
Vrije Universiteit Amsterdam(瓦赫宁根大学阿姆斯特丹);Bosch Center for Artificial Intelligence(博世人工智能中心);Abo Akademi University(阿博阿卡迪米大学);Elsevier discovery lab(埃斯勒弗发现实验室);University of Amsterdam(阿姆斯特丹大学)
本文探讨了图神经网络中节点相似性可解释性方法,评估了基于互信息和梯度的解释方法,发现梯度解释具有可操作性、一致性及可剪枝特性。
2026-05-11 cs.AI cs.LG
Conditional Mutual Information Based Diffusion Posterior Sampling for Solving Inverse Problems
University of Waterloo(滑铁卢大学)
针对扩散模型求解逆问题时似然近似损害图像质量的问题,提出最大化条件互信息的信息论后验采样方法,可无缝融入现有方法并提升定性与定量性能。
2025-01-06 cs.LG stat.ML
TCMI: a non-parametric mutual-dependence estimator for multivariate continuous distributions
Fritz Haber Institute of the Max Planck Society(马克斯·普朗克学会弗里茨·哈伯研究所);Humboldt-Universität zu Berlin(柏林洪堡大学)
相关特征的识别,即,决定过程或系统属性的驱动变量是分析具有大量变量的数据集的重要部分。量化这些特征的相关性的数学严格方法是互信息。互信息根据特征与感兴趣的属性的联合相互依赖性来确定特征的相关性。然而,互信息需要概率分布作为输入,这不能从连续分布(诸如像长度或能量的物理量)可靠地估计。在这里,我们介绍了总累积互信息(TCMI),相互依赖的相关性,扩展互信息的连续分布的基础上累积概率分布的随机变量的措施。TCMI是一种非参数的、鲁棒的和确定性的度量,其促进具有不同基数的特征集之间的比较和排名。TCMI诱导的排名允许特征选择,即,识别与感兴趣的属性在统计上非线性相关的变量集,考虑数据样本的数量以及变量集的基数。我们评估我们的措施与模拟数据的性能,比较其性能与类似的多变量依赖措施,并证明了我们的功能选择方法的有效性的一组标准数据集和材料科学中的一个典型场景。
2022-07-30 cs.IT cs.LG math.IT
Locality-Sensitive Hashing for f-Divergences: Mutual Information Loss and Beyond
Yale University(耶鲁大学);Google Research(谷歌研究院)
计算高维空间中的近似最近邻是大规模数据采掘的核心问题,在机器学习和数据科学中有着广泛的应用。近似计算最近邻居的一种流行且有效的技术是局部敏感哈希(LSH)方案。在本文中,我们的目标是开发LSH计划的距离函数,测量两个概率分布之间的距离,特别是f-发散以及概括捕捉互信息损失。首先,我们提供了一个一般的框架来设计LHS计划的f-散度距离函数和发展LSH计划的广义Jensen-Shannon散度和三角歧视在这个框架。我们证明了一个双边的近似结果的广义詹森-香农发散的Hellinger距离,这可能是独立的兴趣。接下来,我们展示了一个一般的方法,减少设计一个LSH计划的Krein内核(它可以表示为两个正定内核的差异)的问题的最大内积搜索。由于该方法在模型压缩等方面的重要应用,我们将其应用于互信息损失,从而证明了该方法的有效性。
2019-10-28 cs.DB cs.DS cs.LG
Bayesian Experimental Design for Implicit Models by Mutual Information Neural Estimation
School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
隐式随机模型,其中的数据生成分布是棘手的,但采样是可能的,是无处不在的自然科学。这些模型通常具有自由参数,需要从科学实验中收集的数据中推断出来。一个基本问题是如何设计实验,使收集的数据最有用。贝叶斯试验设计领域主张,理想情况下,我们应该选择最大化数据和参数之间的互信息(MI)的设计。然而,对于隐式模型,这种方法受到计算后验和最大化MI的高计算成本的严重阻碍,特别是当我们有超过少数的设计变量进行优化时。在本文中,我们提出了一种新的方法,贝叶斯试验设计的隐式模型,利用神经MI估计来处理这些问题的最新进展。我们表明,训练一个神经网络,以最大限度地提高MI的下限,使我们能够共同确定最佳设计和后验。模拟研究表明,这优雅地扩展贝叶斯试验设计隐式模型更高的设计维度。
2020-08-14 cs.LG stat.CO stat.ME
Explaining the Explainers in Graph Neural Networks: a Comparative Study
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);University of Venice(威尼斯大学);CNRS, Centre de Physique Theorique(国家科学研究中心,理论物理中心);University of Cambridge(剑桥大学)
本文通过系统实验比较十种解释器在八种图和节点分类架构上的表现,揭示了不同架构的可解释性差异及解释器选择的指导原则。
2024-07-01 cs.AI cs.LG
Information Subtraction: Learning Representations for Conditional Entropy
Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Tsinghua University(清华大学)
本文提出 Information Subtraction 框架,通过同时最大化和最小化信息项学习解耦表示,将条件信息移除扩展到连续变量,并在公平学习与领域泛化中验证有效。
2025-01-02 cs.LG
Sequential Bayesian Experimental Design for Implicit Models via Mutual Information
University of Edinburgh(爱丁堡大学);Queensland University of Technology(昆士兰科技大学)
贝叶斯试验设计(Bayesian Experimental Design,简称BED)是一种利用统计模型和不确定性下的决策来优化科学实验成本和性能的框架。与静态BED相反,序贯BED考虑的是我们可以通过实验中收集的数据顺序更新我们对模型参数的信念的场景。对于自然科学和医学科学特别感兴趣的一类模型是隐式模型,其中数据生成分布是棘手的,但从中采样是可能的。尽管在过去的几年里,隐式模型的静态床层展开已经有了大量的工作,但隐式模型的序贯床层展开这一出了名的难题却很少有人涉及。我们通过设计一种新颖的用于参数估计的序贯设计框架来解决文献中的这一差距,该框架使用模型参数和模拟数据之间的互信息(MI)作为效用函数来寻找最佳试验设计,这是以前没有针对隐式模型进行过的。我们的方法使用比率估计的似然自由推断,同时估计后验分布和MI。在连续的BED过程中,我们利用贝叶斯优化来帮助我们优化MI效用。我们发现,我们的框架是有效的各种隐式模型测试,产生准确的参数估计后,只有几次迭代。
2020-03-20 cs.LG stat.CO stat.ME
Information-theoretic Evolution of Model Agnostic Global Explanations
Adobe Systems(Adobe系统公司);Adobe Systems Noida Uttar Pradesh India(印度北方邦诺伊达的Adobe系统公司)
通过人类可解释的规则来解释黑盒机器学习模型的行为是一个重要的研究领域。最近的工作集中在局部解释模型行为,即特定的预测以及视觉,自然语言,强化学习和数据科学等领域的全球性。我们提出了一种新的模型不可知方法,该方法可以导出规则来全局解释在数值和/或分类数据上训练的分类模型的行为。我们的方法建立在现有的局部模型解释方法之上,提取解释模型行为的特定实例的重要条件,然后通过进化算法优化基于信息论的适应度函数,以构建解释全局模型行为的规则。我们展示了我们的方法如何在各种数据集上优于现有的方法。此外,我们还引入了一个参数来评估分布偏移情景下的解释质量。该参数评估解释如何预测先前未见过的数据分布的模型行为。我们展示了现有的解释模型的方法在全球范围内缺乏分布鲁棒性。最后,我们展示了如何通过将分布样本添加到用于学习解释的数据集来提高解释的质量,从而提高鲁棒性。我们论文中使用的所有数据集都是开放的,公开可用的。我们的方法已部署在领先的数字营销产品套件中。
2021-05-14 cs.LG
Linear cost mutual information estimation and independence test of similar performance as HSIC
Jagiellonian University(雅盖隆大学);University of Warsaw(华沙大学);Collegium Da Vinci in Poznan(波兹南 Collegium Da Vinci)
针对HSIC方法计算复杂度高、难以处理大数据样本的问题,提出线性成本的HCR方法,其依赖检测敏感度更高,还能构建联合分布模型、近似互信息,计算复杂度随维度按多项式增长。
2025-09-01 cs.LG
Fast Mutual Information Computation for Large Binary Datasets
BioISI - Biosystems and Integrative Sciences(生物系统与整合科学研究所);Faculdade de Ciências - Universidade de Lisboa(里斯本大学科学学院)
针对大型二进制数据集计算互信息(MI)时成对方法计算成本过高的问题,提出基于矩阵的算法,通过向量化和优化矩阵运算加速所有变量对的MI计算,实验显示计算时间最多减少50,000倍,扩大了MI的应用范围。
2024-11-29 cs.IT cs.LG cs.NA
Unsupervised Pairwise Causal Discovery on Heterogeneous Data using Mutual Information Measures
Alstom(阿尔斯通公司)
本文针对异构数据中的成对因果发现问题,提出一种基于稳健互信息度量的无监督方法,并提供了标准无偏基准结果,以替代依赖监督学习的现有基线,为未知环境下的因果发现提供参考。
2024-08-01 cs.AI cs.LG stat.ME
A Preference Random Walk Algorithm for Link Prediction through Mutual Influence Nodes in Complex Networks
Queensland University of Technology(昆士兰科技大学);Azarbaijan Shahid Madani University(阿塞拜疆沙希德·马达尼大学);University of Applied Science and Technology(应用科学与技术大学)
在过去的几年里,预测复杂网络中的链接一直是数据采掘和科学发现领域的重要课题之一。这个问题仍然是试图使用图中现有的链接来识别未来的、已删除的和冗余的链接。局部随机游走被认为是拟局部方法中最著名的算法之一。它采用传统的有限步随机游走遍历网络,在每一步中从重要性相等的节点中随机选择一个相邻节点。然后利用节点对之间的转移概率来计算它们之间的相似度。然而,在大多数数据集中,该方法无法准确地对非常相似的节点进行评分。本文提出了一种改进局部随机游动的有效方法,即在每一步中,鼓励随机游动向影响力较大的节点移动。因此,根据源节点的影响来选择下一个节点。为此,利用互信息,提出了节点间非对称相互影响的概念。所提出的方法和其他基于相似性的方法(本地,准本地和全球)之间的比较已经进行,并已报告的结果为11个真实世界的网络。与其他链接预测方法相比,该方法具有更高的预测精度。
2021-05-20 cs.LG cs.SI
Clustering Introductory Computer Science Exercises Using Topic Modeling Methods
Universidade Federal do Rio de Janeiro (UFRJ)(里约热内卢联邦大学)
手动确定一组问题中存在的概念是一个具有挑战性且耗时的过程。然而,这个过程是一个重要的步骤,而建模的虚拟学习环境,因为概念和问题之间的映射,使用掌握水平评估和推荐引擎是必需的。我们研究了无监督的语义模型(称为主题建模技术),以协助计算机科学教师在这项任务中,并提出了一种方法来转换计算机科学1教师提供的代码解决方案到有代表性的文本文件,包括代码结构信息。通过应用非负矩阵分解和潜在狄利克雷分配技术,我们提取问题之间的潜在关系,并使用外部数据集验证结果。我们认为,使用14所大学教授的数据学习的概念的可解释性,结果证实了六个语义连贯的集群使用当前的数据集。此外,这六个主题包括测试数据集中存在的主要概念,在归一化逐点互信息度量中达到0.75。该度量与人类评级相关,使得所提出的方法有用,并为大量未注释的代码提供语义。
2021-04-21 cs.CL cs.IR cs.LG
Explaining the physics of transfer learning a data-driven subgrid-scale closure to a different turbulent flow
Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所);Rice University(莱斯大学)
针对神经网络迁移学习在多尺度非线性系统中的物理机制不清问题,提出结合数据与网络谱分析的框架,以2D湍流亚网格建模为例揭示了TL学到的滤波器物理特性,并基于物理与网络理论事先确定最佳重训练层。
2022-06-07 cs.LG physics.comp-ph physics.flu-dyn
How to use score-based diffusion in earth system science: A satellite nowcasting example
Cooperative Institute for Research in the Atmosphere, Colorado State University, Fort Collins, CO(大气研究合作研究所,科罗拉多州立大学,福尔科尔斯)
本文通过卫星现在预报示例,展示基于分数的扩散模型在地球科学中的应用,验证了CorrDiff方法在云生成与衰减方面的优越性。
2025-12-18 cs.LG physics.ao-ph