Model Debiasing via Gradient-based Explanation on Representation
City University of Hong Kong（香港城市大学）；Hong Kong Research Center, Huawei（华为香港研究中心）；NVIDIA Research（英伟达研究院）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出一种基于梯度解释的公平性框架，通过扰动潜在代码同时针对敏感属性和代理属性去偏，无需完全解纠缠，在非结构化和结构化数据集上实现了更好的公平-准确性权衡。
2023-09-03 cs.CY cs.LG
Learning Certified Individually Fair Representations
ETH Zurich（苏黎世联邦理工学院）
公平表示学习提供了一种有效的方式来实施公平性约束，而不损害下游用户的效用。一个理想的家庭这样的公平约束，每个要求类似的待遇相似的个人，被称为个人公平。在这项工作中，我们介绍了第一种方法，使数据消费者获得证书的个人公平的现有和新的数据点。其关键思想是将相似的个体映射到接近的潜在表示，并利用这种潜在的接近来证明个体的公平性。也就是说，我们的方法使数据生产者能够学习和证明一个表示，其中对于一个数据点，所有相似的个人都在$\ell_\infty$ -距离最多$ε$，从而允许数据消费者通过证明其分类器的$ε$ -鲁棒性来证明个人的公平性。我们对五个真实世界的数据集和几个公平性约束的实验评估证明了我们的方法的表达性和可扩展性。
2020-11-28 cs.AI cs.LG stat.ML
Causal Manifold Fairness: Enforcing Geometric Invariance in Representation Learning
Machine Learning Lab IIIT-Hyderabad（IIIT-海得拉巴第二工业大学机器学习实验室）
本文提出因果流形公平性框架，通过强制潜在空间几何不变性，解决敏感属性对数据流形几何的因果扭曲问题，实现公平性与效用的平衡。
2026-01-06 cs.AI cs.CY cs.LG
Latent Programmer: Discrete Latent Codes for Program Synthesis
Google Research（谷歌研究院）
在许多序列学习任务中，如程序合成和文档摘要，一个关键问题是在大空间的可能输出序列中搜索。我们建议学习专门用于搜索的输出表示：足够丰富以指定所需的输出，但足够紧凑以使搜索更有效。离散的潜在代码是吸引人的，因为它们自然允许复杂的组合搜索策略。使用自监督学习原理学习潜在代码，其中首先在输出序列上训练离散自动编码器，然后将所得潜在代码用作端到端序列预测任务的中间目标。基于这些见解，我们介绍了\emph{Latent Programmer}，一个程序合成方法，首先预测一个离散的潜在代码从输入/输出的例子，然后生成的程序在目标语言。我们评估潜在的程序员在两个领域：字符串转换程序的合成，并从自然语言描述的程序生成。我们证明，离散的潜在表示显着提高合成精度。
2021-08-05 cs.AI cs.LG
Deep Discrete Encoders: Identifiable Deep Generative Models for Rich Data with Discrete Latent Layers
Department of Statistics, Columbia University（哥伦比亚大学统计系）
针对深度生成模型不可识别和不可解释的问题，提出具有二元潜层的深度离散编码器（DDE），通过可识别性条件和谱初始化加惩罚EM算法，实现层次主题建模、图像表示学习和响应时间建模。
2025-08-06 cs.LG stat.ME stat.ML
Unbiased Open World Regularization for Fair Self-Supervised Learning
研究自监督学习模型易产生虚假偏差问题，提出无偏开放世界正则化框架UOWReg，从全局目标转向条件目标保证表示与属性统计独立，经实验验证能减轻偏差、保持精度，还在新任务中防止子群体崩溃。
2026-11-05 cs.LG
A Comparison of Discrete Latent Variable Models for Speech Representation Learning
University of Toronto（多伦多大学）；Facebook AI Research（脸书人工智能研究院）
神经隐变量模型能够发现语音音频数据中有趣的结构。本文提出了两种不同的方法，这是广泛的预测未来的时间步长或自动编码的输入信号的基础上进行比较。我们的研究比较了vq-wav 2 vec和vq-wav 2 vec在子词单元发现和音素识别性能方面的表征。结果表明，未来的时间步长预测与vq-wav 2 vec取得了更好的性能。最好的系统在ZeroSpeech 2019 ABX音素辨别挑战中实现了13.22的错误率
2020-10-24 cs.AI cs.LG cs.SD
Hyperbolic Residual Quantization: Discrete Representations for Data with Latent Hierarchies
Amazon（亚马逊公司）；KAUST（卡塔尔人工智能科技大学）
针对残差量化依赖欧几里得几何难以适配层级数据分支建模的问题，提出双曲残差量化方法，通过双曲流形嵌入与运算引入适配层级结构的归纳偏置，在层级建模与发现任务上性能最高提升20%，增强了潜在层级捕捉能力。
2025-05-18 cs.AI cs.LG
README: REpresentation learning by fairness-Aware Disentangling MEthod
Yonsei University（延世大学）
公平表示学习的目的是编码关于受保护属性（如性别或年龄）的不变表示。在本文中，我们设计了公平意识的解纠缠变分自编码器（FD-VAE）的公平表示学习。该网络将潜在空间分解为三个子空间，每个子空间包含独立的信息：1）目标属性信息，2）受保护属性信息，3）互属性信息。在表示学习之后，通过排除具有受保护的属性信息的子空间，该解纠缠表示被用于更公平的下游分类。我们通过在CelebA和UTK Face数据集上的大量实验证明了我们模型的有效性。我们的方法优于以前的国家的最先进的方法，在平等的机会和均衡的赔率大幅度。
2020-07-07 cs.CV cs.LG stat.ML
Constructing Fair Latent Space for Intersection of Fairness and Explainability
Seoul National University（首尔大学）；NextQuantum；HodooAI Labs
本文提出一种构建公平潜在空间的新模块，通过解耦和重分配标签与敏感属性，在预训练生成模型上实现公平性与可解释性的兼顾，并提供反事实解释，经多种公平性指标验证有效。
2025-01-20 cs.AI cs.CV cs.LG
Eliminating Latent Discrimination: Train Then Mask
Yale University（耶鲁大学）；Yale Institute for Network Science（耶鲁网络科学研究所）；School of Management（管理学院）
我们如何控制预测模型中的潜在歧视？我们怎样才能证明可以去除它？这些问题是算法公平性及其对社会影响的核心。在本文中，我们定义了一个新的操作公平性标准，在统计学和计量经济学中的省略变量偏差的概念的启发。我们的公平性概念有效地控制了敏感功能，并为偏离公平决策提供了诊断。然后，我们建立了一个公平的分类器的存在，在监督学习的上下文中的分析和算法的结果。我们的结果很容易暗示一种简单但反直觉的消除潜在歧视的策略。为了防止其他特征取代敏感特征，我们需要在训练阶段包含敏感特征，但在测试/评估阶段排除它们，同时控制它们的影响。我们评估了我们的算法在几个真实世界的数据集上的性能，并展示了如何在精度损失很小的情况下提高这些数据集的公平性。
2019-02-21 cs.CY cs.LG stat.ML
FairDiffuseVQVAE: Sampling-Time Fairness in Tabular Diffusion via Conditional Refinement of Vector-Quantized Latents
University of California, Irvine（加州大学欧文分校）
FairDiffuseVQVAE是将保真度与公平性解耦的两阶段表格扩散模型，在多个数据集上实现了显著的公平性提升，同时保持了优异的样本质量。
2026-08-03 cs.LG
Fair In-Context Learning via Latent Concept Variables
University of Arkansas（亚拉巴马大学）；Baylor University（贝勒大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对LLMs在表格数据上下文学习中的固有偏见问题，提出利用潜在概念变量的最优演示选择方法，通过数据增强降低预测与敏感变量的相关性，经内部LLM学习概念并泛化至外部LLMs，提升了表格数据集上的公平性结果。
2025-11-14 cs.AI cs.CL cs.LG
Fair Data Pre-Processing with Imperfect Attribute Space
National University of Singapore（新加坡国立大学）
本文提出LatentPre框架，通过引入潜在属性增强公平数据处理，在不完美属性空间中实现公平与效用的平衡。
2026-03-27 cs.DB cs.LG
Group Fairness by Probabilistic Modeling with Latent Fair Decisions
University of California, Los Angeles（加州大学洛杉矶分校）
机器学习系统越来越多地用于做出有影响力的决策，例如贷款申请和刑事司法风险评估，因此，确保这些系统的公平性至关重要。这通常具有挑战性，因为数据中的标签是有偏见的。本文研究了通过显式建模一个代表隐藏的无偏标签的潜在变量来从有偏数据中学习公平的概率分布。特别是，我们的目标是通过在学习模型中强制执行某些独立性来实现人口均等。我们还表明，只有当用于提供这些保证的分布确实捕获了真实世界的数据时，组公平性保证才有意义。为了密切的数据分布模型，我们采用概率电路，一个富有表现力和易处理的概率模型，并提出了一个算法来学习他们从不完整的数据。我们在一个合成数据集上评估了我们的方法，在这个数据集上观察到的标签确实来自公平标签，但有额外的偏见，并证明了公平标签被成功检索。此外，我们在现实世界的数据集上表明，我们的方法不仅是一个比现有的数据生成方法更好的模型，而且还达到了有竞争力的准确性。
2020-12-17 cs.AI cs.LG stat.ML
FairGen: Controlling Sensitive Attributes for Fair Generations in Diffusion Models via Adaptive Latent Guidance
UIUC（伊利诺伊大学）；AWS AI Labs（亚马逊AI实验室）
针对文本到图像扩散模型的人口群体偏见问题，提出自适应潜变量引导机制FairGen，结合记忆模块实现公平生成，并构建HBE基准，实验证明其偏见缓解效果优于现有方法。
2025-10-22 cs.AI cs.CV cs.LG
BaBE: Enhancing Fairness via Estimation of Latent Explaining Variables
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Università di Roma “La Sapienza”（罗马第一大学（萨皮恩扎大学））；Inria Saclay（法国国家信息与自动化研究所萨克雷分所）；École Polytechnique（巴黎综合理工学院）
本文提出 BaBE 方法，结合贝叶斯推断与期望最大化估计潜在解释变量 E，以在敏感属性与合法属性相关时实现公平决策，实验表明其兼顾公平性与准确率。
2024-05-06 cs.AI cs.CY cs.LG
Generating Synthetic Fair Syntax-agnostic Data by Learning and Distilling Fair Representation
Northeastern University（东北大学）
本文提出基于知识蒸馏的公平数据生成方法，通过小型架构蒸馏潜在空间中的公平表示，在公平性、样本质量和数据效用上分别提升5%、5%和10%。
2024-08-20 cs.AI cs.LG
Bias-Tolerant Fair Classification
Data Science Institute（数据科学研究所）；University of Technology Sydney（悉尼科技大学）；Tsinghua University（清华大学）
标签偏差和选择偏差被认为是阻碍机器学习结果公平性的两个原因。当标签决策受到敏感特征的干扰时，会出现标签偏差，而当数据采样过程中存在主观偏差时，会出现选择偏差。更糟糕的是，在这些数据上训练的模型可能会继承甚至加剧歧视。大多数算法公平性方法执行具有预定义公平性约束的经验风险最小化，其倾向于权衡公平性的准确性。然而，这种方法将实现所需的公平水平，牺牲受偏见影响的个人的利益（获得积极的结果）。因此，我们提出了一个Bias-TolerantFAirRegularizedLoss（B-FARL），它试图使用受标签偏差和选择偏差影响的数据来重新获得好处。B-FARL将有偏见的数据作为输入，调用一个模型，该模型近似于用公平但潜在的数据训练的模型，从而在不需要约束的情况下防止歧视。此外，我们通过分解B-FARL来显示有效组件，并利用元学习框架进行B-FARL优化。在真实世界数据集上的实验结果表明，我们的方法在提高真实但潜在标签方向的公平性方面是经验有效的。
2021-07-07 cs.CY cs.LG
Robust Mixture Models for Algorithmic Fairness Under Latent Heterogeneity
Duke-NUS Medical School（杜克-奈西医学院）；Peking University（北京大学）；Duke University（杜克大学）
ROME框架通过混合模型学习潜在子群体结构，结合期望最大化和混合专家方法优化最差群体性能，在保持整体准确性的同时提升公平性。
2026-09-21 cs.LG stat.ML
FairDiffusion: Enhancing Equity in Latent Diffusion Models via Fair Bayesian Perturbation
Harvard Medical School（哈佛医学院）；New York University（纽约大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）；Harvard University（哈佛大学）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学博德研究所）
针对医疗文本到图像扩散模型在不同人口亚组间生成质量不公平的问题，提出公平感知模型FairDiffusion与数据集FairGenMed，通过贝叶斯扰动提升图像质量与临床特征语义相关性，显著缓解了性别、种族偏见。
2025-04-05 cs.CV cs.LG
From Discrete to Continuous: Deep Fair Clustering With Transferable Representations
School of Information Science and Engineering, Southeast University（东南大学信息科学与工程学院）
针对现有深度公平聚类无法处理连续敏感属性且忽略表示迁移潜力的问题，提出一种基于信息瓶颈的灵活方法，在表示层面施加公平性约束，能同时处理离散与连续敏感属性，并首次实现向下游任务的可迁移性，实验证明其优于现有最先进方法。
2024-03-24 cs.CV cs.CY cs.LG
CAD-VAE: Leveraging Correlation-Aware Latents for Comprehensive Fair Disentanglement
针对深度生成模型易编码敏感属性引发公平性问题、且天然相关因素下严格独立解耦不现实的问题，提出CAD-VAE通过相关潜码与条件互信息最小化实现公平解耦，实验验证其表征、反事实生成与公平编辑效果更优。
2025-11-15 cs.CV cs.LG stat.ME
Quantifying the Cross-sectoral Intersecting Discrepancies within Multiple Groups Using Latent Class Analysis Towards Fairness
Heriot-Watt University（赫瑞斯泰特大学）
本文提出一种基于潜在类别分析的方法，用于量化不同群体间的跨部门交叉差异，并在多个数据集上验证其可靠性，为政策制定和机器学习公平性提供见解。
2025-07-03 cs.AI cs.CY cs.LG
Fairness Through Causal Awareness: Learning Latent-Variable Models for Biased Data
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
我们如何从有偏见的数据中学习？历史数据集通常反映了历史偏见;敏感或受保护的属性可能会影响观察到的治疗和结果。负责从这些数据集准确预测结果的分类算法往往会复制这些偏差。我们提倡一种因果建模方法来从有偏见的数据中学习，探索公平分类和干预之间的关系。我们提出了一个因果模型，其中敏感属性混淆治疗和结果。基于之前在深度学习和生成建模方面的工作，我们描述了如何仅从观察数据中学习这个因果模型的参数，即使存在未观察到的混杂因素。我们的实验表明，公平意识的因果模型提供了更好的估计之间的因果关系的敏感属性，治疗和结果。我们进一步提出的证据表明，估计这些因果效应可以帮助学习更准确和公平的政策，当与历史上有偏见的数据集。
2018-12-03 cs.LG stat.ML
Fair outputs, Biased Internals: Causal Potency and Asymmetry of Latent Bias in LLMs for High-Stakes Decisions
Bank of England（英格兰银行）
研究发现，尽管指令微调的语言模型在高风险决策中表现公平，但其内部表示仍保留并放大了种族相关的偏见，且这种偏见在不同群体中不对称，需通过双层测试框架进行治理。
2026-05-12 cs.AI cs.CY cs.LG
Fairness Begins with State: Purifying Latent Preferences for Hierarchical Reinforcement Learning in Interactive Recommendation
Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences（中国科学院重庆绿色智能技术研究所）；Chongqing School, University of Chinese Academy of Sciences（中国科学院大学重庆学院）；The First Affiliated Hospital, University of Science and Technology of China（中国科学技术大学第一附属医院）；City University of Hong Kong（香港城市大学）
本文提出DSRM-HRL框架，通过净化潜在偏好解决交互推荐中的公平与准确冲突，实现推荐效用与曝光公平的平衡。
2026-03-04 cs.AI cs.LG
Counterfactual Fairness with Disentangled Causal Effect Variational Autoencoder
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
如果我们能开发出一种方法来去除分类特征中隐藏的敏感信息，那么公平分类的问题就可以得到缓解。这条分离敏感信息的线是通过因果推理发展起来的，因果推理使反事实世代能够对比相反敏感属性的假设情况。随着这种与因果关系的分离，深层潜在因果模型中的一个频繁假设定义了一个单一的潜在变量来吸收因果图的整个外生不确定性。然而，我们声称这种结构不能区分1）由干预引起的信息（即，敏感变量）和2）来自数据的与干预相关的信息。因此，本文提出了解纠缠因果效应变分自编码器（DCEVAE）来解决这一局限性，它将外生不确定性分解为两个潜在变量：1）与干预措施无关; 2）与干预措施相关而无因果关系。特别是，我们的解开方法保留了潜在的变量相关的干预措施，在生成反事实的例子。我们表明，我们的方法估计的总效果和反事实的效果没有一个完整的因果图。通过添加公平正则化，DCEVAE生成反事实公平数据集，同时丢失较少的原始信息。此外，DCEVAE仅通过翻转敏感信息来生成自然的反事实图像。此外，我们从理论上展示了DCEVAE的协方差结构的差异和以前的工作的潜在的解纠缠的角度来看。
2020-12-09 cs.AI cs.LG
A Counterfactual Fair Model for Longitudinal Electronic Health Records via Deconfounder
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本文提出FLMD两阶段去混杂模型，利用未观测混杂表示与反事实公平约束，在纵向EHR预测中兼顾准确率与公平性，并通过真实、不平衡及合成数据集验证其优势。
2023-10-02 cs.CY cs.LG
Latent Imitator: Generating Natural Individual Discriminatory Instances for Black-Box Fairness Testing
Beihang University（北京航空航天大学）；Shen Yuan Honors College, Beihang University（北京航空航天大学沈元荣誉学院）；Institute of Dataspace（空间数据研究院）；Nanyang Technological University（南洋理工大学）；Zhongguancun Laboratory（中关村实验室）
本文提出潜在模仿器LIMI，利用GAN在语义潜在空间中模仿黑盒模型决策边界并生成自然的个体歧视实例，实验表明其在有效性、效率、自然性及后续公平性提升上均显著优于现有基线。
2023-05-19 cs.LG cs.SE
Counterfactually Fair Regression via Optimal Transport
Inria, Soda team（Inria，Soda团队）；Inria, FairPlay joint team（Inria，FairPlay联合团队）；CREST, ENSAE, IP Paris（CREST，ENSAE，IP巴黎）；CMAP, CNRS, Ecole Polytechnique, Institut Polytechnique de Paris（CMAP，CNRS，Polytechnique学院，巴黎理工学院）
本文采用因果不确定性视角，通过重采样噪声定义反事实公平性，提出基于最优传输的后处理估计器，并证明其有限样本公平性保证和风险界。
2026-05-27 cs.CY cs.LG stat.ML
Achieving Hilbert-Schmidt Independence Under Rényi Differential Privacy for Fair and Private Data Generation
Department of Mathematics and Computer Science University of Southern Denmark（丹麦南部大学数学与计算机科学系）；Department of Mathematics and Computer Science Freie Universität Berlin（柏林自由大学数学与计算机科学系）；Faculty for Informatik Universität der Bundeswehr München（联邦国防军大学慕尼黑信息学院）
提出 FLIP：结合 RDP、均衡采样与 CKA 潜表示对齐的 transformer-VAE 潜扩散框架，在差分隐私下生成公平的异构表格数据。
2025-08-29 cs.LG
On Learning and Enforcing Latent Assessment Models using Binary Feedback from Human Auditors Regarding Black-Box Classifiers
Missouri University of Science and Technology（密苏里科技大学）
算法公平性文献提出了许多数学概念和度量，并且还指出在同时满足它们中的一些或全部的同时在它们之间进行权衡。此外，公平概念的上下文性质使得难以在不同的算法系统中自动进行偏差评估。因此，在本文中，我们提出了一种新的模型，称为潜在的评估模型（LAM）来描述由人类审计师提供的二进制反馈，假设审计师比较分类器的输出，他或她自己的内在判断，为每个输入。我们证明，个人和团体的公平性概念是保证，只要审计师的内在判断本质上满足手头的公平性概念，并相对相似的分类器的评价。我们还证明了LAM和传统的公平概念之间的关系，在三个著名的数据集，即COMPAS，德国信贷和成人人口普查收入数据集。此外，我们还推导出获得PAC学习保证所需的最小反馈样本数，以估计黑盒分类器的LAM。这些保证也通过训练标准的机器学习算法来验证，这些算法基于400名人类审计员关于COMPAS的真实二进制反馈。
2022-02-16 cs.HC cs.LG
Fair Credit Scorer through Bayesian Approach
Johns Hopkins University（约翰斯·霍普金斯大学）
机器学习目前在信用评分、自动驾驶、疾病诊断和保险报价等领域的人们生活中发挥着越来越重要的作用。然而，在这些领域中的许多领域，机器学习模型对某些子人群（如某些特定的种族、性别和年龄组）表现出不公平的行为。这些不公平的行为可能是由于历史和社会因素导致的训练数据集中预先存在的偏见。在本文中，我们专注于现实世界中的信用评分的应用，并构建一个公平的预测模型，通过引入潜在变量，以消除受保护的属性之间的相关性，如性别和年龄，与可观察的特征输入，包括房子和工作。对于详细的实施，我们采用贝叶斯方法，包括马尔可夫链蒙特卡罗模拟，估计我们提出的公平模型。
2023-01-20 cs.CY cs.LG
Fairness Constraints in High-Dimensional Generalized Linear Models
Department of Statistics and Data Science, Cornell University（统计与数据科学系，康奈尔大学）；Department of Statistics（统计系）；Data Science, Cornell University（数据科学，康奈尔大学）
本文提出通过辅助特征推断敏感属性并将其融入模型训练，以缓解历史数据偏见，提升算法决策的公平性。
2026-07-24 cs.LG stat.ML
The Variational Fair Autoencoder
University of Toronto（多伦多大学）；Canadian Institute for Advanced Research (CIFAR)（加拿大高等研究院）；University of California, Irvine（加州大学欧文分校）；University of Amsterdam（阿姆斯特丹大学）
我们研究的问题，学习表示，是不变的某些滋扰或敏感因素的变化，在数据中，同时保留尽可能多的剩余信息。我们的模型是基于一个变分自动编码架构与先验，鼓励敏感和潜在的变化因素之间的独立性。然后可以对该清除的潜在表示执行任何后续处理，诸如分类。为了去除任何剩余的依赖关系，我们根据“最大平均离散度”（MMD）度量引入了一个额外的惩罚项。我们讨论了如何在数据上有效地训练这些架构，并在实验中表明，这种方法比以前的工作更有效地去除不必要的变化来源，同时保持信息丰富的潜在表示。
2017-08-10 cs.LG stat.ML
A Fair Experimental Comparison of Neural Network Architectures for Latent Representations of Multi-Omics for Drug Response Prediction
Johannes Gutenberg University Mainz（美因茨约翰内斯·古腾堡大学）
近年来，涌现出一种新颖的神经网络架构，用于整合多组学数据进行预测。大多数架构包括单独的编码器或编码器和解码器，即，各种各样的自动编码器，将多组学数据转换为潜在的表示。一个重要的参数是集成深度：计算或合并潜在表示的点，可以是早期，中期或晚期。关于集成方法的文献正在稳步增长，然而，在公平的实验条件下，并考虑到不同的用例，这些方法的相对性能几乎一无所知。我们开发了一个比较框架，在同等条件下训练和优化多组学整合方法。我们整合了早期的集成和四种最近发布的深度学习方法：MOLI、Super.FELT、OmiEmbed和MOMA。此外，我们设计了一种新的方法，组学堆叠，结合了中期和后期集成的优势。实验在具有多个组学数据（体细胞点突变、体细胞拷贝数谱和基因表达谱）的公共药物反应数据集上进行，所述组学数据从细胞系、患者来源的异种移植物和患者样品获得。我们的实验证实，早期整合具有最低的预测性能。总的来说，集成三重态损失的架构实现了最佳结果。总体而言，很少观察到统计差异，但是，就方法的平均等级而言，Super.FELT在交叉验证设置中始终表现最佳，而Omics Stacking在外部测试设置中表现最佳。所有实验的源代码可在\url{https://github.com/kramerlab/Multi-Omics_analysis}下获得
2022-08-31 cs.LG q-bio.QM
Learning Discrete Latent Variable Structures with Tensor Rank Conditions
School of Computer Science, Guangdong University of Technology（广东工业大学计算机学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Beijing Technology and Business University（北京工商大学）；Zhejiang University（浙江大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出基于列联表张量秩条件的离散潜变量因果结构识别方法，可定位潜变量并在结构假设下恢复潜因果结构，辅以算法与模拟验证。
2024-06-11 cs.LG
Fairness with Continuous Optimal Transport
DeepMind；UC Berkeley（加州大学伯克利分校）
虽然最优传输（OT）越来越多地被认为是一个强大的和灵活的方法来处理公平性问题，目前的OT公平性方法仅限于使用离散OT。在本文中，我们利用最新的进展，从OT文献介绍了一个随机梯度公平方法的基础上，连续OT的对偶制定。我们表明，这种方法提供了优越的性能，离散OT方法时，很少的数据可用于解决OT问题，否则类似的性能。我们还表明，连续和离散OT方法都能够不断调整模型参数，以适应ML系统在现实世界中可能出现的不同程度的不公平。
2021-01-06 cs.LG stat.ML
Fast Decoding in Sequence Models using Discrete Latent Variables
Google Brain（谷歌大脑）
基于深度神经网络（如RNN、Wavenet和Transformer）的自回归序列模型在许多任务上获得了最先进的结果。然而，它们很难并行化，因此在处理长序列时很慢。RNN在训练和解码过程中都缺乏并行性，而WaveNet和Transformer等架构在训练过程中的并行性要高得多，但在解码过程中仍然按顺序操作。受[arxiv：1711.00937]的启发，我们提出了一种使用离散潜变量扩展序列模型的方法，使解码更具并行性。我们首先将目标序列自动编码为一个较短的离散潜变量序列，该序列在推理时自回归生成，最后并行地从这个较短的潜序列解码输出序列。为此，我们介绍了一种新的方法来构建一个序列的离散潜变量，并将其与以前介绍的方法进行比较。最后，我们在神经机器翻译的任务上对我们的模型进行端到端的评估，其中它在解码时比可比的自回归模型快一个数量级。虽然BLEU比纯自回归模型低，但我们的模型比以前提出的非自回归翻译模型获得了更高的分数。
2018-06-07 cs.LG
Bipartite Graph Variational Auto-Encoder with Fair Latent Representation to Account for Sampling Bias in Ecological Networks
agroparistech（巴黎农业学院）；MNHN, CNRS, SU（法国国家自然博物馆、国家科学研究中心、苏弗尔（SU））；Sorbonne Université, CNRS, IRD, INRAE, Université Paris Est Créteil, Université Paris Cité, Institute of Ecology and Environmental Sciences (iEES-Paris)（索邦大学、国家科学研究中心、国际发展研究所、法国国家农业食品研究咨询中心、巴黎东部大学、巴黎城市大学、生态与环境科学研究所（iEES-巴黎））
本文提出了一种双图变分自编码器，通过引入HSIC来处理生态网络中的采样偏差，以获得公平的潜在表示。
2025-11-20 cs.LG cs.SI stat.ML
Discriminative conditional restricted Boltzmann machine for discrete choice and latent variable modelling
Ryerson University（瑞尔森大学）；Polytechnique Montréal（蒙特利尔高等理工学院）
估计潜在行为的传统方法通常使用主观的态度问题，并且这些调查问题可能并不总是可用的。我们假设，另一种方法可以用于潜变量估计通过无向图形模型。例如，非参数人工神经网络。在这项研究中，我们探索使用生成非参数建模方法来估计潜变量的先验选择分布，而无需传统的使用测量指标。一个受限制的玻尔兹曼机被用来表示潜在的行为因素，通过分析观察到的选择和解释变量之间的关系信息。该算法适用于离散选择场景中的潜在行为分析，我们使用一种图形化的方法来评估和理解估计参数向量值的语义含义。我们说明了我们的方法在金融工具选择数据集上，并对参数的敏感性和稳定性进行统计分析。我们的研究结果表明，通过非参数统计检验，我们可以提取有用的潜在信息的行为的潜在结构，通过机器学习方法，并提出强大的和显着的影响选择过程。此外，我们的建模框架通过采样和验证显示了输入可变性的鲁棒性。
2017-06-01 cs.LG
Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck
University at Buffalo（布法罗大学）；Criteo（Criteo公司）；Duke University（杜克大学）
变分自编码器（VAE）是端到端表示学习中必不可少的工具。然而，VAE的顺序文本生成常见的陷阱是，该模型倾向于忽略具有强大自回归解码器的潜在变量。在本文中，我们提出了一个原则性的方法来缓解这个问题，通过应用一个离散化的瓶颈，在一个更紧凑的潜在空间中执行隐式的潜在特征匹配。我们施加一个共享的离散潜在空间，每个输入都被学习选择一个潜在原子的组合作为正则化的潜在表示。我们的模型赋予一个有前途的能力，离散序列的潜在语义建模，从而提供更多的解释性潜在结构。从经验上讲，我们证明了我们的模型在广泛的任务上的效率和有效性，包括语言建模，未对齐的文本样式传输，对话响应生成和神经机器翻译。
2021-02-25 cs.CL cs.LG stat.ML
A Deep Latent Factor Graph Clustering with Fairness-Utility Trade-off Perspective
L3S Research Center（L3S研究所以）；University of Mons（蒙斯大学）；University of Koblenz（科布伦茨大学）；Bundeswehr University（联邦国防军大学）
本文提出DFNMF，一种针对图的端到端深度非负三因子分解方法，通过软统计平衡正则化直接优化聚类分配，以实现公平性与效用的平衡，同时在合成和真实网络中表现出更高的群体平衡性和更高的模ularity。
2025-10-27 cs.AI cs.IT cs.LG
Generative Modeling of Discrete Latent Structures via Dynamic Policy Gradients
University of California, Berkeley（加州大学伯克利分校）
提出GReinSS框架，使用动态缩放奖励学习潜在状态分布以最大化观测数据似然，在模拟潜在集和图重建中优于基线，并在RNA测序数据中比RSEM更准确地重建异构体。
2026-06-05 cs.LG
Latent-Augmented Discrete Diffusion Models
Inria（法国国家信息与自动化技术研究院）；PSL Research University（巴黎社会科学高等研究院）；CMAP（巴黎高等理工学院应用数学与计算科学实验室）；Ecole Polytechnique Palaiseau, France（法国巴黎高等理工学院Palaiseau分校）；Sakana AI Tokyo, Japan（日本东京Sakana AI公司）
本文提出LADD模型，通过引入可学习的辅助潜在通道，在联合（token，latent）空间进行扩散，提升离散扩散模型的性能和效率。
2026-05-12 cs.AI cs.LG stat.ML
Double Control Variates for Gradient Estimation in Discrete Latent Variable Models
DeepMind（深度思维）；Microsoft Research New England（微软新英格兰研究院）
由于梯度的高方差，离散潜变量模型的基于随机梯度的优化具有挑战性。我们介绍了一个方差减少技术的得分函数估计，利用双控制变量。这些控制变量作用于主要控制变量之上，并试图进一步减少总体估计量的方差。我们开发了一个双控制变量的REINFORCE留一法估计使用泰勒展开。对于训练离散潜变量模型，例如具有二进制潜变量的变分自编码器，与使用REINFORCE leave-one-out估计器的标准训练相比，我们的方法不会增加额外的计算成本。我们将我们的方法应用于挑战高维玩具示例和使用二进制潜变量训练变分自编码器。我们表明，我们的估计可以有较低的方差相比，其他国家的最先进的估计。
2022-06-04 cs.LG stat.ML
DisCo-Diff: Enhancing Continuous Diffusion Models with Discrete Latents
MIT（麻省理工学院）；NVIDIA（英伟达）
DisCo-Diff通过引入可学习的离散潜变量简化连续扩散模型对复杂数据分布的建模，降低生成ODE曲率，在图像合成和分子对接等任务上取得最先进性能。
2024-07-03 cs.AI cs.CV cs.LG
Learning Fair Representations via an Adversarial Framework
Zhejiang University（浙江大学）；PPDAI GROUP Inc.（拍拍贷集团）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of California, Los Angeles（加州大学洛杉矶分校）
公平性已经成为我们研究界的一个核心问题，因为分类算法被应用于社会关键领域，如累犯预测和贷款审批。在这项工作中，我们考虑了基于受保护属性的潜在偏见（例如，种族和性别），并通过学习在受保护群体之间在统计上无法区分的个体的潜在表示来解决这个问题，同时充分保留用于分类的其他信息。为此，我们开发了一个极大极小对抗框架，其中包含一个生成器来捕获数据分布并生成潜在表示，以及一个评论家来确保不同保护组之间的分布是相似的。我们的框架提供了一个理论上的保证，统计平价和个人的公平。在四个真实世界数据集上的实证结果也表明，学习的表示可以有效地用于分类任务，如信用风险预测，同时阻碍与受保护群体相关的信息，特别是当删除受保护的属性不足以进行公平分类时。
2019-04-30 cs.LG stat.ML
GraphDF: A Discrete Flow Model for Molecular Graph Generation
Texas A&M University（得克萨斯农工大学）
我们考虑使用深度模型的分子图生成的问题。虽然图是离散的，但大多数现有方法使用连续潜变量，导致离散图结构的建模不准确。在这项工作中，我们提出了GraphDF，一种新的离散潜变量模型的分子图生成的基础上规范化流方法。GraphDF使用可逆模移位变换将离散潜在变量映射到图形节点和边缘。我们表明，使用离散的潜变量降低了计算成本，消除了反量化的负面影响。综合实验结果表明，GraphDF在随机生成，属性优化和约束优化任务上优于现有方法。
2021-06-02 cs.AI cs.LG
Efficient Marginalization of Discrete and Structured Latent Variables via Sparsity
Instituto de Telecomunicações（电信研究所）；University of Amsterdam（阿姆斯特丹大学）；Instituto Superior Técnico（高等技术学院）；Unbabel（Unbabel公司）
训练具有离散（分类或结构化）潜变量的神经网络模型可能在计算上具有挑战性，因为需要在大型或组合集合上进行边缘化。为了规避这个问题，通常诉诸于真实边际的基于采样的近似，需要噪声梯度估计器（例如，得分函数估计器）或具有较低方差重新参数化梯度的连续松弛（例如，Gumbel-Softmax）。在本文中，我们提出了一种新的训练策略，取代这些估计的准确而有效的边缘化。为了实现这一点，我们参数化离散分布在潜在的分配使用可微稀疏映射：sparsemax和它的结构对应。实际上，这些分布的支持大大减少，这使得有效的边缘化成为可能。我们报告了三个任务的成功结果，涵盖了一系列潜在变量建模应用：半监督深度生成模型，潜在通信游戏和具有位向量潜在表示的生成模型。在所有情况下，我们获得了良好的性能，同时仍然实现了基于采样的近似的实用性。
2020-12-28 cs.LG stat.ML
Modal Uncertainty Estimation via Discrete Latent Representation
The Chinese University of Hong Kong（香港中文大学）
现实世界中的许多重要问题并没有独特的解决方案。因此，重要的是机器学习模型能够提出不同的合理的解决方案与有意义的概率措施。在这项工作中，我们引入了这样一个深度学习框架，它学习输入和输出之间的一对多映射，以及忠实的不确定性度量。我们称我们的框架为{ \it模态不确定性估计}，因为我们对通过一组离散潜变量生成的一对多映射进行建模，每个潜变量表示解释相应类型的输入-输出关系的潜模式假设。因此，潜在表示的离散性质使我们能够非常有效地估计任何输入的输出的条件概率分布。离散潜在空间及其不确定性估计在训练期间联合学习。我们通过当前条件生成模型中的多模态后验崩溃问题来激励我们使用离散潜在空间，然后发展理论背景，并在合成和现实任务上广泛验证我们的方法。我们的框架展示了更准确的不确定性估计比目前最先进的方法，是翔实的，方便的实际使用。
2020-07-25 cs.CV cs.LG stat.ML
Generative Modeling of Discrete Data Using Geometric Latent Subspaces
Institute for Mathematics, Heidelberg University（海德堡大学数学研究所）；Mannheim Institute for Intelligent Systems in Medicine, Heidelberg University（海德堡大学曼海姆智能医学系统研究所）；IWR, Heidelberg University（海德堡大学IWR研究所）；Research Station Geometry and Dynamics, Heidelberg University（海德堡大学几何与动力学研究站）
本文提出了一种几何潜在子空间框架，用于生成离散数据模型。通过在积流形的指数参数空间中引入潜在子空间，学习生成离散数据模型。该方法通过编码统计依赖关系并去除冗余自由度，实现了低维潜在空间。
2026-09-28 cs.LG stat.ML
Learning source-aware representations of music in a discrete latent space
Korea University（高丽大学）；Queen Mary University of London（伦敦玛丽女王大学）；Korea National Open University（韩国国立开放大学）
近年来，已经提出了基于神经网络的方法作为从音乐中生成表示的方法，但是它们不是人类可读的，并且很难被人类分析或编辑。为了解决这个问题，我们提出了一种新的方法，通过矢量量化变分自动编码器（VQ-VAE）来学习音乐的源感知表示。我们训练我们的VQ-VAE将输入混合编码成离散潜在空间中的整数张量，并将它们设计成具有分解结构的，允许人类以源感知的方式操纵潜在向量。本文还表明，我们可以产生的隐向量估计在一个离散空间中。
2021-11-26 cs.LG cs.SD eess.AS
