Analyzing Latent Concepts in Code Language Models
Iowa State University(爱荷华州立大学)
针对代码大语言模型内部行为解释难题,提出CoCoA全局事后可解释性框架与混合标注流水线,结合局部归因生成概念级解释,经实验验证稳定性与微调演化规律,用户研究中可解释性提升37个百分点。
2025-10-02 cs.AI cs.LG cs.SE
Improving Latent Reasoning in LLMs via Soft Concept Mixing
School of Computer Science and Technology, Soochow University(计算机科学与技术学院,苏州大学)
通过引入Soft Concept Mixing方法,改进大语言模型的潜在推理能力,提升推理性能并保持训练稳定性。
2025-11-21 cs.CL
Do LLMs dream of elephants (when told not to)? Latent concept association and associative memory in transformers
University of Chicago(芝加哥大学);Carnegie Mellon University(卡内基梅隆大学)
本文通过实验发现LLMs的事实检索能力易受上下文操纵,提出其类似联想记忆模型的观点,还通过数学分析单层Transformer,从理论和实证上证明其用自注意力收集信息、价值矩阵实现联想记忆的特性。
2024-11-27 cs.CL cs.LG stat.ML
Planting a Latent Variable in Natural-Looking Text: a More Realistic Test of Belief States in LLMs and Their Link to Concept Geometry
Columbia University(哥伦比亚大学)
本研究在自然文本中植入可控潜在变量,训练小型Transformer追踪其贝叶斯后验信念,发现其状态按马尔可夫链排列成环,为LLM信念状态与概念几何的关联提供了实证支持。
2026-08-28 cs.CL
Single LLM Debate, MoLaCE: Mixture of Latent Concept Experts Against Confirmation Bias
Department of Computer Science University of Oxford(牛津大学计算机科学系)
MoLaCE通过混合潜在概念专家减少LLM的确认偏见,提升鲁棒性并高效实现多智能体辩论效果。
2025-12-29 cs.CL
Constructing Fair Latent Space for Intersection of Fairness and Explainability
Seoul National University(首尔大学);NextQuantum;HodooAI Labs
本文提出一种构建公平潜在空间的新模块,通过解耦和重分配标签与敏感属性,在预训练生成模型上实现公平性与可解释性的兼顾,并提供反事实解释,经多种公平性指标验证有效。
2025-01-20 cs.AI cs.CV cs.LG
Generating Synthetic Fair Syntax-agnostic Data by Learning and Distilling Fair Representation
Northeastern University(东北大学)
本文提出基于知识蒸馏的公平数据生成方法,通过小型架构蒸馏潜在空间中的公平表示,在公平性、样本质量和数据效用上分别提升5%、5%和10%。
2024-08-20 cs.AI cs.LG
Latent Space Smoothing for Individually Fair Representations
ETH Zurich(苏黎世联邦理工学院);DeepMind(深度思维)
公平表示学习将用户数据转换为一种表示,该表示确保公平性和实用性,而与下游应用无关。然而,学习单独的公平表示,即,在诸如计算机视觉的高维环境中,保证相似的个体被相似地对待仍然是具有挑战性的。在这项工作中,我们介绍LASSI,第一个表示学习方法来证明个人的公平性的高维数据。我们的关键见解是利用生成建模的最新进展来捕获生成潜在空间中的相似个体集。这使我们能够通过使用对抗训练来最小化他们的表示之间的距离,来学习单独的公平表示,将相似的个体映射到一起。最后,我们采用随机平滑来可证明地将相似的个体映射到一起,从而确保下游应用程序的本地鲁棒性验证导致端到端的公平性认证。我们对具有挑战性的真实世界图像数据的实验评估表明,我们的方法将认证的个人公平性提高了90%,而不会显着影响任务效用。
2022-07-26 cs.AI cs.CV cs.LG
Adversarial Stacked Auto-Encoders for Fair Representation Learning
Innopolis University(Innopolis 大学)
以唯一的准确性作为最终目标来训练机器学习模型可能会促进数据中嵌入的偏见和歧视行为。一种解决方案是学习满足特定公平性度量的潜在表示。采用不同类型的学习方法将数据映射到公平的表示空间。主要目的是学习数据的潜在表示,在公平性度量上得分很高,同时保持下游任务的可用性。在本文中,我们提出了一个新的公平的表示学习方法,利用不同层次的数据表示收紧学习表示的公平性界限。我们的研究结果表明,堆叠不同的自动编码器,并在不同的潜在空间执行公平性的结果在公平性的改善相比,其他现有的方法。
2021-07-27 cs.AI cs.LG
Group Fairness by Probabilistic Modeling with Latent Fair Decisions
University of California, Los Angeles(加州大学洛杉矶分校)
机器学习系统越来越多地用于做出有影响力的决策,例如贷款申请和刑事司法风险评估,因此,确保这些系统的公平性至关重要。这通常具有挑战性,因为数据中的标签是有偏见的。本文研究了通过显式建模一个代表隐藏的无偏标签的潜在变量来从有偏数据中学习公平的概率分布。特别是,我们的目标是通过在学习模型中强制执行某些独立性来实现人口均等。我们还表明,只有当用于提供这些保证的分布确实捕获了真实世界的数据时,组公平性保证才有意义。为了密切的数据分布模型,我们采用概率电路,一个富有表现力和易处理的概率模型,并提出了一个算法来学习他们从不完整的数据。我们在一个合成数据集上评估了我们的方法,在这个数据集上观察到的标签确实来自公平标签,但有额外的偏见,并证明了公平标签被成功检索。此外,我们在现实世界的数据集上表明,我们的方法不仅是一个比现有的数据生成方法更好的模型,而且还达到了有竞争力的准确性。
2020-12-17 cs.AI cs.LG stat.ML
FairGen: Controlling Sensitive Attributes for Fair Generations in Diffusion Models via Adaptive Latent Guidance
UIUC(伊利诺伊大学);AWS AI Labs(亚马逊AI实验室)
针对文本到图像扩散模型的人口群体偏见问题,提出自适应潜变量引导机制FairGen,结合记忆模块实现公平生成,并构建HBE基准,实验证明其偏见缓解效果优于现有方法。
2025-10-22 cs.AI cs.CV cs.LG
Fair Inference for Discrete Latent Variable Models
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
现在人们已经很好地理解了,机器学习模型,在没有适当照顾的情况下对数据进行训练,往往会对某些人群表现出不公平和歧视性的行为。传统的算法公平性研究主要集中在监督学习任务,特别是分类。虽然无监督学习的公平性受到了一些关注,但文献主要关注连续嵌入的公平表示学习。在本文中,我们相反地专注于使用离散潜变量的概率图模型的无监督学习。我们开发了一个公平的随机变分推理技术的离散潜变量,这是通过包括一个公平的惩罚的变分分布,旨在尊重原则的交叉性,从法律,社会科学和人文文学的公平性的关键镜头,然后优化变分参数在此处罚。我们首先展示了我们的方法在基准数据集上使用朴素贝叶斯和高斯混合模型来提高聚类的公平性和公正性方面的实用性。为了证明我们的方法的一般性及其对现实世界的影响潜力,我们开发了一个特殊用途的图形模型,用于刑事司法风险评估,并使用我们的公平方法来防止编码不公平的社会偏见的推论。
2022-09-15 cs.CY cs.LG
Counterfactual Fairness with Disentangled Causal Effect Variational Autoencoder
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
如果我们能开发出一种方法来去除分类特征中隐藏的敏感信息,那么公平分类的问题就可以得到缓解。这条分离敏感信息的线是通过因果推理发展起来的,因果推理使反事实世代能够对比相反敏感属性的假设情况。随着这种与因果关系的分离,深层潜在因果模型中的一个频繁假设定义了一个单一的潜在变量来吸收因果图的整个外生不确定性。然而,我们声称这种结构不能区分1)由干预引起的信息(即,敏感变量)和2)来自数据的与干预相关的信息。因此,本文提出了解纠缠因果效应变分自编码器(DCEVAE)来解决这一局限性,它将外生不确定性分解为两个潜在变量:1)与干预措施无关; 2)与干预措施相关而无因果关系。特别是,我们的解开方法保留了潜在的变量相关的干预措施,在生成反事实的例子。我们表明,我们的方法估计的总效果和反事实的效果没有一个完整的因果图。通过添加公平正则化,DCEVAE生成反事实公平数据集,同时丢失较少的原始信息。此外,DCEVAE仅通过翻转敏感信息来生成自然的反事实图像。此外,我们从理论上展示了DCEVAE的协方差结构的差异和以前的工作的潜在的解纠缠的角度来看。
2020-12-09 cs.AI cs.LG
Learning Fair Representation via Distributional Contrastive Disentanglement
University of Seoul(首尔大学);Korea University(高丽大学);POSTECH(浦项科技大学)
学习公平表示对于实现公平或消除敏感信息的偏见至关重要。大多数现有的作品依赖于对抗性表示学习来向表示注入一些不变性。然而,对抗性学习方法的训练相对不稳定,这可能会损害公平性和预测性之间的平衡。我们提出了一种新的方法,通过分布式对比变分自编码器(FarconVAE)学习FAIR表示,它导致潜在空间被解开成敏感和非敏感部分。我们首先构造具有不同敏感属性但具有相同标签的观测对。然后,FarconVAE强制每个非敏感潜伏期更接近,而敏感潜伏期彼此远离,并且通过对比它们的分布远离非敏感潜伏期。通过理论分析,提出了一种基于高斯核和Student-t核的分布式对比学习的对比损失模型。此外,我们采用了一种新的交换重构损失,以进一步促进解纠缠。FarconVAE在公平性、预训练模型去偏和领域泛化任务方面表现出优异的性能,这些任务来自各种模态,包括表格、图像和文本。
2022-06-17 cs.AI cs.CY cs.LG
Fair Data Pre-Processing with Imperfect Attribute Space
National University of Singapore(新加坡国立大学)
本文提出LatentPre框架,通过引入潜在属性增强公平数据处理,在不完美属性空间中实现公平与效用的平衡。
2026-03-27 cs.DB cs.LG
FairDiffuseVQVAE: Sampling-Time Fairness in Tabular Diffusion via Conditional Refinement of Vector-Quantized Latents
University of California, Irvine(加州大学欧文分校)
FairDiffuseVQVAE是将保真度与公平性解耦的两阶段表格扩散模型,在多个数据集上实现了显著的公平性提升,同时保持了优异的样本质量。
2026-08-03 cs.LG
FairDiffusion: Enhancing Equity in Latent Diffusion Models via Fair Bayesian Perturbation
Harvard Medical School(哈佛医学院);New York University(纽约大学);New York University Abu Dhabi(纽约大学阿布扎比分校);Harvard University(哈佛大学);Broad Institute of MIT and Harvard(麻省理工学院与哈佛大学博德研究所)
针对医疗文本到图像扩散模型在不同人口亚组间生成质量不公平的问题,提出公平感知模型FairDiffusion与数据集FairGenMed,通过贝叶斯扰动提升图像质量与临床特征语义相关性,显著缓解了性别、种族偏见。
2025-04-05 cs.CV cs.LG
CAD-VAE: Leveraging Correlation-Aware Latents for Comprehensive Fair Disentanglement
针对深度生成模型易编码敏感属性引发公平性问题、且天然相关因素下严格独立解耦不现实的问题,提出CAD-VAE通过相关潜码与条件互信息最小化实现公平解耦,实验验证其表征、反事实生成与公平编辑效果更优。
2025-11-15 cs.CV cs.LG stat.ME
BaBE: Enhancing Fairness via Estimation of Latent Explaining Variables
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Università di Roma “La Sapienza”(罗马第一大学(萨皮恩扎大学));Inria Saclay(法国国家信息与自动化研究所萨克雷分所);École Polytechnique(巴黎综合理工学院)
本文提出 BaBE 方法,结合贝叶斯推断与期望最大化估计潜在解释变量 E,以在敏感属性与合法属性相关时实现公平决策,实验表明其兼顾公平性与准确率。
2024-05-06 cs.AI cs.CY cs.LG
Learning Certified Individually Fair Representations
ETH Zurich(苏黎世联邦理工学院)
公平表示学习提供了一种有效的方式来实施公平性约束,而不损害下游用户的效用。一个理想的家庭这样的公平约束,每个要求类似的待遇相似的个人,被称为个人公平。在这项工作中,我们介绍了第一种方法,使数据消费者获得证书的个人公平的现有和新的数据点。其关键思想是将相似的个体映射到接近的潜在表示,并利用这种潜在的接近来证明个体的公平性。也就是说,我们的方法使数据生产者能够学习和证明一个表示,其中对于一个数据点,所有相似的个人都在$\ell_\infty$ -距离最多$ε$,从而允许数据消费者通过证明其分类器的$ε$ -鲁棒性来证明个人的公平性。我们对五个真实世界的数据集和几个公平性约束的实验评估证明了我们的方法的表达性和可扩展性。
2020-11-28 cs.AI cs.LG stat.ML
Fairness Through Causal Awareness: Learning Latent-Variable Models for Biased Data
University of Toronto(多伦多大学);Vector Institute(向量研究所)
我们如何从有偏见的数据中学习?历史数据集通常反映了历史偏见;敏感或受保护的属性可能会影响观察到的治疗和结果。负责从这些数据集准确预测结果的分类算法往往会复制这些偏差。我们提倡一种因果建模方法来从有偏见的数据中学习,探索公平分类和干预之间的关系。我们提出了一个因果模型,其中敏感属性混淆治疗和结果。基于之前在深度学习和生成建模方面的工作,我们描述了如何仅从观察数据中学习这个因果模型的参数,即使存在未观察到的混杂因素。我们的实验表明,公平意识的因果模型提供了更好的估计之间的因果关系的敏感属性,治疗和结果。我们进一步提出的证据表明,估计这些因果效应可以帮助学习更准确和公平的政策,当与历史上有偏见的数据集。
2018-12-03 cs.LG stat.ML
Disentangled Representation with Causal Constraints for Counterfactual Fairness
University of South Australia(南澳大学);Simon Fraser University(西蒙弗雷泽大学)
针对公平表示学习忽视隐变量因果关系的问题,提出CF-VAE学习符合领域知识的结构化表示,理论保证反事实公平,并在实验中同时提升公平性与预测准确性。
2023-12-16 cs.AI cs.CY cs.LG
Mitigating Bias in Concept Bottleneck Models for Fair and Interpretable Image Classification
Massachusetts Institute of Technology(麻省理工学院)
本文提出三种技术缓解概念瓶颈模型中的偏见,以提升图像分类的公平性和可解释性。
2026-03-06 cs.CV cs.LG
A Deep Latent Factor Graph Clustering with Fairness-Utility Trade-off Perspective
L3S Research Center(L3S研究所以);University of Mons(蒙斯大学);University of Koblenz(科布伦茨大学);Bundeswehr University(联邦国防军大学)
本文提出DFNMF,一种针对图的端到端深度非负三因子分解方法,通过软统计平衡正则化直接优化聚类分配,以实现公平性与效用的平衡,同时在合成和真实网络中表现出更高的群体平衡性和更高的模ularity。
2025-10-27 cs.AI cs.IT cs.LG
Prototype Based Classification from Hierarchy to Fairness
Massachusetts Institute of Technology(麻省理工学院)
人工神经网络可以表示和分类许多类型的数据,但通常是针对特定的应用程序-例如,“公平”或“分级”分类。一旦选择了一个架构,人类通常很难为新任务调整模型;例如,分层分类器无法轻松转换为屏蔽受保护字段的公平分类器。我们在这项工作中的贡献是一个新的神经网络架构,概念子空间网络(CSN),它概括了现有的专门分类器,以产生一个统一的模型,能够学习频谱的多概念关系。我们证明,CSN再现国家的最先进的结果,在公平的分类时,强制执行概念的独立性,可以转化为分层分类,甚至调和公平和层次结构在一个单一的分类。CSN的灵感来自于现有的基于原型的分类器,促进可解释性。
2022-05-27 cs.AI cs.LG
Achieving Hilbert-Schmidt Independence Under Rényi Differential Privacy for Fair and Private Data Generation
Department of Mathematics and Computer Science University of Southern Denmark(丹麦南部大学数学与计算机科学系);Department of Mathematics and Computer Science Freie Universität Berlin(柏林自由大学数学与计算机科学系);Faculty for Informatik Universität der Bundeswehr München(联邦国防军大学慕尼黑信息学院)
提出 FLIP:结合 RDP、均衡采样与 CKA 潜表示对齐的 transformer-VAE 潜扩散框架,在差分隐私下生成公平的异构表格数据。
2025-08-29 cs.LG
Concept Activation Regions: A Generalized Framework For Concept-Based Explanations
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所);UCLA(加州大学洛杉矶分校)
基于概念的解释允许通过用户指定的概念的镜头来理解深度神经网络(DNN)的预测。现有的方法假设说明概念的示例被映射在DNN的潜在空间的固定方向上。当这成立时,概念可以由指向该方向的概念激活向量(CAV)表示。在这项工作中,我们建议通过允许概念示例分散在DNN潜在空间中的不同集群来放松这一假设。然后,每个概念由DNN的潜在空间的一个区域表示,该区域包括这些聚类,我们称之为概念激活区域(CAR)。为了形式化这个想法,我们引入了一个扩展的CAV形式主义,是基于核技巧和支持向量分类器。该CAR形式主义产生基于全局概念的解释和基于局部概念的特征重要性。我们证明了用径向核建立的CAR解释在潜在空间等距下是不变的。通过这种方式,CAR将相同的解释分配给具有相同几何形状的潜在空间。我们进一步实证证明,CAR提供(1)更准确地描述概念如何分散在DNN的潜在空间中;(2)更接近人类概念注释的全局解释和(3)基于概念的特征重要性,使概念相互之间有意义地联系起来。最后,我们使用CAR来证明DNN可以自主地重新发现已知的科学概念,例如前列腺癌分级系统。
2022-09-29 cs.AI cs.LG
Latent Variable Modeling for Generative Concept Representations and Deep Generative Models
IBM(国际商业机器公司)
潜在表征是深层生成模型的本质,决定了它们的有用性和强大性。为了使潜在表示作为生成概念表示有用,它们的潜在空间必须支持潜在空间插值、属性向量和概念向量等。我们研究和讨论潜变量建模,包括潜变量模型,潜表示和潜空间,特别是层次潜表示和潜空间向量和几何。我们的重点是变分自编码器和生成对抗网络中使用的。
2018-12-26 cs.LG stat.ML
Raven's Progressive Matrices Completion with Latent Gaussian Process Priors
Fudan University(复旦大学)
抽象推理能力是人类智能的基础。它使人们能够揭示抽象概念之间的关系,并进一步从这些关系中推导出隐含的规则。Raven's Progressive Matrices(RPM)是一种著名的抽象视觉推理任务,被广泛应用于人类智商测试中。虽然对具有机器智能的RPM求解器进行了广泛的研究,但很少有研究考虑将标准答案选择(分类)问题进一步推进到更具挑战性的答案绘制(生成)问题,这可以验证模型是否确实理解了隐含规则。在本文中,我们的目标是解决后者提出了一个深潜变量模型,其中多个高斯过程作为先验的潜变量分别学习底层的抽象概念RPM,因此,所提出的模型是可解释的概念特定的潜变量。隐高斯过程也提供了一种有效的方式外推的基础上学习的概念变化规则的答案绘画。我们评估所提出的模型RPM类数据集与多个连续变化的视觉概念。实验结果表明,我们的模型只需要很少的训练样本来绘制高质量的答案,生成新的RPM面板,并通过概念特定的潜变量实现可解释性。
2023-02-17 cs.AI cs.LG
The Variational Fair Autoencoder
University of Toronto(多伦多大学);Canadian Institute for Advanced Research (CIFAR)(加拿大高等研究院);University of California, Irvine(加州大学欧文分校);University of Amsterdam(阿姆斯特丹大学)
我们研究的问题,学习表示,是不变的某些滋扰或敏感因素的变化,在数据中,同时保留尽可能多的剩余信息。我们的模型是基于一个变分自动编码架构与先验,鼓励敏感和潜在的变化因素之间的独立性。然后可以对该清除的潜在表示执行任何后续处理,诸如分类。为了去除任何剩余的依赖关系,我们根据“最大平均离散度”(MMD)度量引入了一个额外的惩罚项。我们讨论了如何在数据上有效地训练这些架构,并在实验中表明,这种方法比以前的工作更有效地去除不必要的变化来源,同时保持信息丰富的潜在表示。
2017-08-10 cs.LG stat.ML
A Fair Experimental Comparison of Neural Network Architectures for Latent Representations of Multi-Omics for Drug Response Prediction
Johannes Gutenberg University Mainz(美因茨约翰内斯·古腾堡大学)
近年来,涌现出一种新颖的神经网络架构,用于整合多组学数据进行预测。大多数架构包括单独的编码器或编码器和解码器,即,各种各样的自动编码器,将多组学数据转换为潜在的表示。一个重要的参数是集成深度:计算或合并潜在表示的点,可以是早期,中期或晚期。关于集成方法的文献正在稳步增长,然而,在公平的实验条件下,并考虑到不同的用例,这些方法的相对性能几乎一无所知。我们开发了一个比较框架,在同等条件下训练和优化多组学整合方法。我们整合了早期的集成和四种最近发布的深度学习方法:MOLI、Super.FELT、OmiEmbed和MOMA。此外,我们设计了一种新的方法,组学堆叠,结合了中期和后期集成的优势。实验在具有多个组学数据(体细胞点突变、体细胞拷贝数谱和基因表达谱)的公共药物反应数据集上进行,所述组学数据从细胞系、患者来源的异种移植物和患者样品获得。我们的实验证实,早期整合具有最低的预测性能。总的来说,集成三重态损失的架构实现了最佳结果。总体而言,很少观察到统计差异,但是,就方法的平均等级而言,Super.FELT在交叉验证设置中始终表现最佳,而Omics Stacking在外部测试设置中表现最佳。所有实验的源代码可在\url{https://github.com/kramerlab/Multi-Omics_analysis}下获得
2022-08-31 cs.LG q-bio.QM
SCALEX: Scalable Concept and Latent Exploration for Diffusion Models
University of Waterloo(滑铁卢大学)
SCALEX通过自然语言提示实现扩散模型潜在空间的可扩展自动化探索,能够检测性别偏见、评估语义对齐并揭示概念结构。
2025-11-20 cs.AI cs.LG
Bipartite Graph Variational Auto-Encoder with Fair Latent Representation to Account for Sampling Bias in Ecological Networks
agroparistech(巴黎农业学院);MNHN, CNRS, SU(法国国家自然博物馆、国家科学研究中心、苏弗尔(SU));Sorbonne Université, CNRS, IRD, INRAE, Université Paris Est Créteil, Université Paris Cité, Institute of Ecology and Environmental Sciences (iEES-Paris)(索邦大学、国家科学研究中心、国际发展研究所、法国国家农业食品研究咨询中心、巴黎东部大学、巴黎城市大学、生态与环境科学研究所(iEES-巴黎))
本文提出了一种双图变分自编码器,通过引入HSIC来处理生态网络中的采样偏差,以获得公平的潜在表示。
2025-11-20 cs.LG cs.SI stat.ML
Linking Robustness and Generalization: A k* Distribution Analysis of Concept Clustering in Latent Space for Vision Models
Kyushu University(九州大学);IBM Research(IBM研究院)
该研究提出用k*分布直接分析视觉模型潜在空间的概念聚类情况,发现泛化性、鲁棒性提升与概念分布拆分程度降低正相关,为视觉模型潜在空间的解读与对比提供了新方法。
2024-08-17 cs.AI cs.CV cs.LG
On Prediction-Modelers and Decision-Makers: Why Fairness Requires More Than a Fair Prediction Model
Ca’ Foscari University of Venice(威尼斯大学);European Centre for Living Technology(欧洲生活技术中心);University of Zurich(苏黎世大学);Zurich University of Applied Sciences(苏黎世应用科技大学)
本文区分预测与决策概念,指出公平性应归于决策系统而非预测模型,并提出框架明确预测建模者与决策者的角色及责任,以更好地理解和实施基于预测的决策中的公平性。
2023-10-09 cs.CY cs.LG
Fair4Free: Generating High-fidelity Fair Synthetic Samples using Data Free Distillation
Linköping University(林雪平大学)
针对私有或不可访问数据场景,本文提出 Fair4Free,通过教师模型学习公平表示并无数据蒸馏到小型学生模型来生成公平合成样本,在公平性、效用和合成质量上均超越现有方法。
2024-10-02 cs.AI cs.LG
Latent Introspection: Models Can Detect Prior Concept Injections
ACS Research, CTS, Charles University(ACS研究机构、CTs、查尔斯大学)
Qwen 32B模型能检测并识别先前注入的概念,通过提供准确的AI自我反思机制信息可显著提升检测效果,同时提高注入概念间的互信息。
2026-11-10 cs.AI cs.LG
Bias-Tolerant Fair Classification
Data Science Institute(数据科学研究所);University of Technology Sydney(悉尼科技大学);Tsinghua University(清华大学)
标签偏差和选择偏差被认为是阻碍机器学习结果公平性的两个原因。当标签决策受到敏感特征的干扰时,会出现标签偏差,而当数据采样过程中存在主观偏差时,会出现选择偏差。更糟糕的是,在这些数据上训练的模型可能会继承甚至加剧歧视。大多数算法公平性方法执行具有预定义公平性约束的经验风险最小化,其倾向于权衡公平性的准确性。然而,这种方法将实现所需的公平水平,牺牲受偏见影响的个人的利益(获得积极的结果)。因此,我们提出了一个Bias-TolerantFAirRegularizedLoss(B-FARL),它试图使用受标签偏差和选择偏差影响的数据来重新获得好处。B-FARL将有偏见的数据作为输入,调用一个模型,该模型近似于用公平但潜在的数据训练的模型,从而在不需要约束的情况下防止歧视。此外,我们通过分解B-FARL来显示有效组件,并利用元学习框架进行B-FARL优化。在真实世界数据集上的实验结果表明,我们的方法在提高真实但潜在标签方向的公平性方面是经验有效的。
2021-07-07 cs.CY cs.LG
Generating Counterfactual Trajectories with Latent Diffusion Models for Concept Discovery
Rheinland-Pfälzische Technische Universität Kaiserslautern-Landau(莱茵兰-普法尔茨州 Kaiserslautern-Landau 技术大学);German Research Center for Artificial Intelligence GmbH (DFKI)(德国人工智能研究中心 GmbH(DFKI))
本文提出CDCT三步框架,利用LDM生成反事实轨迹、VAE学习解耦概念并搜索相关概念,在皮肤病变分类器中发现偏差和生物标志物,且FID更优、资源效率提升12倍。
2025-01-06 cs.AI cs.LG
CASL: Concept-Aligned Sparse Latents for Interpreting Diffusion Models
University of Virginia(弗吉尼亚大学)
CASL通过监督框架将扩散模型的稀疏潜在维度与语义概念对齐,提升生成图像的解释性和编辑精度。
2026-01-21 cs.CV cs.LG
Learning Fair Representations via an Adversarial Framework
Zhejiang University(浙江大学);PPDAI GROUP Inc.(拍拍贷集团);University of Colorado Boulder(科罗拉多大学博尔德分校);University of California, Los Angeles(加州大学洛杉矶分校)
公平性已经成为我们研究界的一个核心问题,因为分类算法被应用于社会关键领域,如累犯预测和贷款审批。在这项工作中,我们考虑了基于受保护属性的潜在偏见(例如,种族和性别),并通过学习在受保护群体之间在统计上无法区分的个体的潜在表示来解决这个问题,同时充分保留用于分类的其他信息。为此,我们开发了一个极大极小对抗框架,其中包含一个生成器来捕获数据分布并生成潜在表示,以及一个评论家来确保不同保护组之间的分布是相似的。我们的框架提供了一个理论上的保证,统计平价和个人的公平。在四个真实世界数据集上的实证结果也表明,学习的表示可以有效地用于分类任务,如信用风险预测,同时阻碍与受保护群体相关的信息,特别是当删除受保护的属性不足以进行公平分类时。
2019-04-30 cs.LG stat.ML
Learning Discrete Concepts in Latent Hierarchical Models
Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);University of California San Diego(加州大学圣地亚哥分校)
该研究将概念形式化为层次化因果模型中的离散潜在因果变量,提出可识别条件以支持从无监督高维数据中学习概念,并用合成数据及潜在扩散模型相关实验验证理论。
2025-01-14 cs.AI cs.LG stat.ML
Keep Calm and Avoid Harmful Content: Concept Alignment and Latent Manipulation Towards Safer Answers
Neuraspace(Neuraspace公司)
针对大模型易受越狱攻击的问题,提出推理时方法CALM,通过修改最后一层潜在表示抑制有害概念,无需重训,实验证明能减少有害输出并优于基线。
2025-10-16 cs.LG
Perceived Fairness of the Machine Learning Development Process: Concept Scale Development
University of Nebraska(内布拉斯加大学)
本研究从社会技术视角定义并验证机器学习开发中的感知公平性,提出透明度、问责制和代表性三维框架,以指导公平ML系统的构建。
2025-01-23 cs.CY cs.HC cs.LG
Compositional Law Parsing with Latent Random Functions
Fudan University(复旦大学)
人的认知具有组合性。我们通过将场景分解为不同的概念来理解场景(例如,物体的形状和位置),并学习这些概念的各自规律,这些规律可以是自然的(例如,运动定律)或人为的(例如,游戏规则)。这些法律的自动解析表明模型的理解场景的能力,这使得法律解析在许多视觉任务中发挥着核心作用。提出了一种用于组合式LAw解析(CLAP)的深层潜变量模型,该模型通过编码-解码架构将场景中的概念表示为潜变量,实现了类似人类的组合能力。CLAP采用神经过程实例化的概念特定的潜在随机函数来捕获概念的规律。我们的实验结果表明,CLAP优于基线方法在多个视觉任务,如直观的物理,抽象的视觉推理,场景表示。通过修改样本上的特定潜在随机函数,法律操作实验说明了CLAP的可解释性。例如,CLAP从场景中移动的球中学习位置变化和外观恒定性的规律,从而可以在样本之间交换规律或将现有的规律组合成新的规律。
2023-02-25 cs.AI cs.CV cs.LG
Concept-Aware Latent and Explicit Knowledge Integration for Enhanced Cognitive Diagnosis
School of Information Science and Engineering, Shandong Normal University(山东师范大学信息科学与工程学院);School of Journalism and Communication, Shandong Normal University(山东师范大学新闻与传媒学院)
本文提出CLEKI-CD模型,通过多维向量表示、基于注意力的隐式Q矩阵生成以及隐式与显式知识集成,解决传统认知诊断模型单一维度表示和Q矩阵稀疏二值化问题,并在真实数据集上验证其优于现有模型。
2025-02-04 cs.LG
Fairness and Randomness in Machine Learning: Statistical Independence and Relativization
University of Tübingen(图宾根大学);Tübingen AI Centre(图宾根人工智能中心)
公平机器学习致力于防止在社会中嵌入的机器学习应用的背景下出现不公平。尽管公平的定义和提出的“公平算法”的各种各样,仍然存在未解决的概念问题,公平。在本文中,我们剖析了统计独立性在机器学习中经常使用的公平性和随机性概念中的作用。因此,我们被引导到一个令人惊讶的假设:随机性和公平性可以被认为是机器学习中的等价概念。特别是,我们获得了一个相对化的概念表示为统计独立的随机性呼吁冯米塞斯的百年历史的基础概率。这个概念在抽象意义上与常用的i.i.d.是“正交的”。随机性使用机器学习中的标准公平性概念(通过统计独立性定义),我们将数据的事前随机性假设与公平预测的事后要求联系起来。这种联系证明是富有成果的:我们用它来论证随机性和公平性本质上是相对的,并且这两个概念都应该反映它们作为机器学习中的建模假设的性质。
2022-11-16 cs.CY cs.LG
Discovering Concept Directions from Diffusion-based Counterfactuals via Latent Clustering
German Research Center for Artificial Intelligence GmbH (DFKI)(德国人工智能研究中心)
本文提出CDLC方法,通过潜在聚类提取概念方向,减少存储需求并加速概念发现,适用于高风险领域和多样化数据模态。
2025-11-27 cs.CV cs.LG
Disentangled Sparse Representations for Concept-Separated Diffusion Unlearning
Yonsei University(延世大学);Kookmin University(韩国釜山大学)
本文提出SAEParate,通过概念感知对比目标解耦潜在表示,提升扩散模型中特定概念撤销的精度与效果,实验显示在联合风格-物体撤销任务中表现优异。
2026-10-27 cs.AI cs.CV cs.LG
LURE: Latent Space Unblocking for Multi-Concept Reawakening in Diffusion Models
Sichuan University(四川大学);The Hong Kong Polytechnic University(香港理工大学);Nanyang Technological University(南洋理工大学);Yonsei University(延世大学)
本文提出LURE方法,通过重建潜在空间和引导采样轨迹,实现多概念的高保真重新唤醒,解决了现有方法在多概念场景下的梯度冲突和特征纠缠问题。
2026-05-18 cs.CV cs.LG
Adapting to Latent Subgroup Shifts via Concepts and Proxies
Google Research(谷歌研究院);Deepmind(深度思维);Stanford University(斯坦福大学);Gatsby Computational Neuroscience Unit(盖茨比计算神经科学中心);University College London(伦敦大学学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们解决的问题,无监督域自适应时,源域不同于目标域,因为一个潜在的子群的分布的转变。当该亚组混淆所有观察数据时,协变量偏移和标签偏移假设均不适用。我们发现,最佳的目标预测可以非参数化识别的概念和代理变量的帮助下,只有在源域,和未标记的数据从目标。识别结果是建设性的,立即提出了一种算法,用于估计目标中的最佳预测。对于连续观测,当这种算法变得不切实际时,我们提出了一个特定于当前数据生成过程的潜变量模型。我们展示了该方法如何随着移位大小的变化而退化,并验证了它优于协变量和标签移位调整。
2022-12-21 cs.AI cs.LG stat.ML
Uncovering Unique Concept Vectors through Latent Space Decomposition
University of Applied Sciences of Western Switzerland (Hes-so Valais)(瑞士西部应用科学大学(HES-SO瓦莱州分校));University of Limerick(利默里克大学);Biognosys(Biognosys公司)
本文提出一种事后无监督方法,通过奇异向量分解与无监督聚类细化层潜在空间,自动揭示深度模型所学的语义概念向量,并验证其可解释性及在异常样本与偏差发现中的效用。
2023-07-14 cs.AI cs.CV cs.LG
A Unifying Framework of Concept-based Explainable AI with Completeness Guarantees
本文提出统一理论框架,用共同数学语言描述基于概念的可解释AI方法,通过概念自编码器视图界定概念不完备性,并给出归因完备性保证。
2026-09-29 cs.AI cs.CV cs.LG
Concept-Based Explanations for Tabular Data
机器学习模型的可解释性一直是安全部署机器学习系统的重要研究领域。一种特殊的方法是将模型决策归因于人类可以理解的高级概念。然而,深度神经网络(DNN)的这种基于概念的可解释性主要是在图像域上研究的。在本文中,我们扩展TCAV,概念属性的方法,表格学习,提供了一个想法,如何定义概念的表格数据。在一个具有地面真理概念解释的合成数据集和一个真实世界的数据集上,我们展示了我们的方法在生成与人类直觉相匹配的可解释性结果方面的有效性。最重要的是,我们提出了一个基于TCAV的公平性概念,它量化了DNN的哪一层已经学习了导致模型预测偏差的表示。此外,我们实证证明TCAV为基础的公平性的一组公平的概念,人口均等的关系。
2022-09-13 cs.CV cs.LG