Zero-Shot Learning of a Conditional Generative Adversarial Network for Data-Free Network Quantization
Samsung Semiconductor Inc.（三星半导体公司）
本文提出了一种新的不使用训练数据训练条件生成对抗网络（CGAN）的方法，称为CGAN的零样本学习（Z-CGAN）。条件生成器的零样本学习只需要预先训练的判别（分类）模型，而不需要任何训练数据。具体地，条件生成器被训练以通过使用存储在预训练模型的批量归一化层中的统计数据来产生其特性模仿原始训练数据的标记的合成样本。我们展示了EST-CGAN在深度神经网络的无数据量化中的有用性。我们实现了在ImageNet数据集上训练的ResNet和MobileNet分类模型的最先进的无数据网络量化。无数据的量化使用EST-CGAN显示出最小的损失相比，通过传统的数据相关的量化获得的精度。
2022-10-26 cs.CV cs.LG cs.NE
Deep Conditional Measure Quantization
CEREMADE, Université Paris Dauphine - PSL（CEREMADE，巴黎多芬大学-PSL）
本文提出DCMQ方法，结合Huber能量核与深度神经网络，用于条件概率测度的量化，在多个示例上取得良好效果。
2023-03-24 cs.AI cs.LG math.PR
PTQ4ADM: Post-Training Quantization for Efficient Text Conditional Audio Diffusion Models
University of California, Davis（加州大学戴维斯分校）；University of California Davis Health（加州大学戴维斯健康中心）；University of South Florida（南佛罗里达大学）
提出PTQ4ADM框架，通过覆盖驱动的提示增强和激活感知校准集生成算法量化音频扩散模型，在减少70%模型大小的同时保持与全精度模型相当的合成质量。
2024-09-20 cs.LG cs.SD eess.AS
DurableUn: Quantization-Induced Recovery Attacks in Machine Unlearning
Murdoch University（默多克大学）
研究揭示在INT4量化下，即使模型通过BF16合规审计，也会系统性恢复被删除内容，提出DURABLEUN-SAF方法以实现稳定无学习性能。
2026-05-08 cs.LG
Joint Coreset Construction and Quantization for Distributed Machine Learning
Pennsylvania State University（宾夕法尼亚州立大学）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Army Research Laboratory（美国陆军研究实验室）；University College London（伦敦大学学院）
Coreset是大型数据集的小型加权摘要，旨在为机器学习（ML）任务提供可证明的误差范围，同时显着降低通信和计算成本。为了在ML误差范围和成本之间实现更好的权衡，我们提出了第一个框架，将量化技术纳入核心集构建过程。具体来说，我们从理论上分析了ML误差界所造成的coreset建设和量化的组合。在此基础上，我们制定了一个优化问题，以最大限度地减少ML错误下的固定预算的通信成本。为了提高大数据集的可扩展性，我们确定了两个代理的原始目标函数，高效的算法开发。对于多个节点上的数据的情况下，我们进一步设计了一种新的算法来分配通信预算的节点，同时最大限度地减少整体ML错误。通过在多个真实世界数据集上的广泛实验，我们证明了我们提出的算法对各种ML任务的有效性和效率。特别是，我们的算法在大多数情况下实现了超过90%的数据减少，ML性能下降不到10%。
2022-04-13 cs.LG
Efficient 8-Bit Quantization of Transformer Neural Machine Language Translation Model
Intel Corporation（英特尔公司）
在这项工作中，我们在最新的英特尔$^\circledR$ Xeon $^\circledR$ Cascade Lake处理器中利用INT 8/VNNI指令构建了一个经过训练的Transformer机器语言翻译模型，以提高推理性能，同时保持准确性下降小于0.5 $\%$。据我们所知，这是业界首次尝试对Transformer模型进行加密。这具有很高的影响力，因为它清楚地表明了量化语言翻译模型的各种复杂性。我们直接在TensorFlow中提出了新的量化技术，以利用8位整数（INT 8）取代32位浮点（FP 32）计算，并转换FP 32计算图。我们还提出了一个装箱并行处理技术，以最大限度地提高CPU利用率。总体而言，我们对INT 8/VNNI的优化比最佳FP 32性能提高了1.5倍。此外，它还揭示了提升量化深度学习推理性能的机遇和挑战，并建立了在英特尔CPU上高效运行推理的最佳实践。
2019-06-07 cs.LG
Quantifying Aleatoric and Epistemic Uncertainty in Machine Learning: Are Conditional Entropy and Mutual Information Appropriate Measures?
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文质疑了机器学习中用条件熵和互信息分别量化偶然性和认知不确定性的做法，指出其理论不协调性及总不确定性加性分解的问题，并通过计算机视觉实验验证了这些发现。
2023-06-25 cs.LG
Conditional Synthetic Data Generation for Robust Machine Learning Applications with Limited Pandemic Data
University of California, Berkeley（加州大学伯克利分校）；University of California, San Francisco（加州大学旧金山分校）
$\textbf{Background:}$在大流行（如COVID-19）开始时，可能无法获得或缺乏与新疾病对应的具有适当标签/属性的数据。机器学习（ML）模型训练的可用数据，这是有限的数量和多样性差，往往会有偏见和不准确。与此同时，旨在对抗流行病的ML算法必须具有良好的性能，并以时间敏感的方式开发。为了解决有限数据的挑战，并标记可用数据的稀缺性，我们建议生成有条件的合成数据，与真实数据一起用于开发强大的ML模型。$\textbf{Methods:}$我们提出了一个混合模型，包括一个条件生成流和一个分类器的条件合成数据生成。分类器对条件的特征表示进行分类，该特征表示被馈送到流以提取局部噪声。我们生成合成数据通过操纵本地噪声与固定的条件特征表示。我们还提出了一种半监督的方法来生成合成样本的标签的情况下，大多数可用的数据。$\textbf{Results:}$我们对对应于正常、COVID-19和肺炎患者的胸部计算机断层扫描（CT）扫描进行了条件合成生成。我们表明，我们的方法显着优于现有的模型在定性和定量性能，我们的半监督方法可以有效地合成条件样本标签稀缺。作为下游使用合成数据的一个例子，我们展示了使用条件合成数据增强的CT扫描对COVID-19检测的改进。
2021-09-14 cs.LG
Conditional Random Fields and Support Vector Machines: A Hybrid Approach
The University of Adelaide（阿德莱德大学）；The Australian National University（澳大利亚国立大学）；NICTA（澳大利亚国家信息与通信技术研究院）
我们提出了一种新的混合损失的多类和结构化的预测问题，这是一个凸组合的日志损失条件随机场（CRF）和多类铰链损失的支持向量机（SVM）。我们提供了一个充分条件时，混合损失是Fisher一致的分类。这个条件取决于标签之间的优势度量-具体来说，最可能的标签之间的每个观察概率的差距。我们还证明了Fisher一致性是必要的参数一致性时，学习模型，如CRF。我们的经验表明，混合损失通常执行至少以及-往往优于-它的各种任务的组成损失。在这样做的过程中，我们还提供了一个实证比较的概率和利润率为基础的方法，多类和结构化的预测和标签的优势对这些结果的影响。
2010-09-17 cs.LG
xplainfi: Feature Importance and Statistical Inference for Machine Learning in R
xplainfi是基于R语言mlr3生态系统的机器学习特征重要性工具包，提供全局、基于损失的特征重要性方法，包含排列特征重要性、条件特征重要性等，并支持统计推断。
2026-03-16 cs.LG
An Empirical Study of Low Precision Quantization for TinyML
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Canada ULC（高通加拿大无限责任公司）；University of Toronto（多伦多大学）
微型机器学习（tinyML）在过去几年中出现，旨在将机器学习模型部署到具有高度受限的内存和计算能力的嵌入式AI处理器中。低精度量化是一种重要的模型压缩技术，可以大大减少模型推理的内存消耗和计算量。在这项研究中，我们专注于训练后量化（PTQ）算法，该算法仅使用一小部分校准数据将模型转换为低位（小于8位）精度，并在不同的tinyML用例上进行基准测试。为了实现一个公平的比较，我们建立了一个模拟的量化框架，调查最近的PTQ算法。此外，我们将这些算法分解为基本组件，并重新组装了一个通用的PTQ管道。通过对管道中不同替代组件的烧蚀研究，我们揭示了执行低精度量化时的关键设计选择。我们希望这项工作可以提供有用的数据点，并为未来的低精度量化的研究。
2022-03-10 cs.LG
Approximation to Object Conditional Validity with Inductive Conformal Predictors
School of Computer Science, University of Nottingham Ningbo China（宁波诺丁汉大学计算机科学学院）
共形预测器是机器学习算法，其输出具有最小分布假设的有限样本的边际有效性保证的预测集。这是一个属性，使共形预测有用的机器学习任务，我们需要可靠的预测。在预测区间的有效性保持有效而不管预测对象的任何特定性质的条件的意义上，还期望在相同的设置中实现条件有效性。不幸的是，它已被证明，这样的条件有效性是不可能保证有限样本的非平凡预测问题。在这篇文章中，而不是试图实现一个强大的条件有效性的结果，实现一个近似条件有效性的较弱的目标被认为是。一种新的算法被引入到这样做，通过迭代地调整一致性措施的偏差从对象的条件有效性测量的训练数据。随着一些理论结果，实验结果提供了三个数据集，证明（1）在现实世界中的机器学习任务，缺乏条件有效性是一个可衡量的问题，（2）所提出的算法是有效的，在缓解这个问题。
2021-03-02 cs.LG
On conditional parity as a notion of non-discrimination in machine learning
University of Michigan（密歇根大学）
我们将条件奇偶校验确定为机器学习中非歧视的一般概念。事实上，最近提出的几个不歧视概念，包括一些反事实的概念，都是有条件平等的例子。我们表明，有条件的奇偶校验是服从统计分析通过研究随机化作为一种通用的机制，实现有条件的奇偶校验和基于内核的测试条件的奇偶校验。
2017-06-26 cs.CY cs.LG stat.ML
Algebraic Integer Quantization for Machine Learning Applications
Lemurian Labs（莱穆里安实验室）；University of Calgary（卡尔加里大学）
本文提出代数整数量化（AIQ）框架，可实现无误差乘累加运算，在LLM推理中达到与MX格式相当的精度，且性能接近硬件加速器最优数值方案，高阶代数整数推广具潜力。
2026-10-12 cs.LG
Neural Machine Translation with 4-Bit Precision and Beyond
University of Edinburgh（爱丁堡大学）
神经机器翻译（NMT）是资源密集型的。我们设计了一个量化过程，以压缩NMT模型更好地为有限的硬件能力的设备。由于大多数神经网络参数接近于零，我们采用对数量化代替定点量化。然而，我们发现偏置项不太适合对数量化，但注意到它们只占模型的一小部分，因此我们将其保留为未压缩。我们还建议在重新训练过程中使用错误反馈机制，以将压缩模型作为陈旧梯度保留。我们的经验表明，基于Transformer或RNN架构的NMT模型可以压缩到4位精度，而不会出现任何明显的质量下降。模型可以被压缩到二进制精度，尽管质量较低。与Transformer相比，RNN架构似乎对量化更鲁棒。
2019-09-20 cs.CL cs.LG
Modelling conditional probabilities with Riemann-Theta Boltzmann Machines
Università degli Studi di Milano（米兰大学）；INFN Sezione di Milano（意大利国家核物理研究所米兰分部）；University of Lausanne（洛桑大学）
黎曼-θ玻尔兹曼机的可见扇区的概率密度函数可以以可见单元的子集为条件。我们推导出相应的条件密度函数是由黎曼-θ玻尔兹曼机建模的原始概率密度函数的重新参数化。因此，条件密度可以直接从Riemann-Theta Boltzmann机推导出来。
2019-05-27 cs.LG hep-ph stat.ML
Discriminative conditional restricted Boltzmann machine for discrete choice and latent variable modelling
Ryerson University（瑞尔森大学）；Polytechnique Montréal（蒙特利尔高等理工学院）
估计潜在行为的传统方法通常使用主观的态度问题，并且这些调查问题可能并不总是可用的。我们假设，另一种方法可以用于潜变量估计通过无向图形模型。例如，非参数人工神经网络。在这项研究中，我们探索使用生成非参数建模方法来估计潜变量的先验选择分布，而无需传统的使用测量指标。一个受限制的玻尔兹曼机被用来表示潜在的行为因素，通过分析观察到的选择和解释变量之间的关系信息。该算法适用于离散选择场景中的潜在行为分析，我们使用一种图形化的方法来评估和理解估计参数向量值的语义含义。我们说明了我们的方法在金融工具选择数据集上，并对参数的敏感性和稳定性进行统计分析。我们的研究结果表明，通过非参数统计检验，我们可以提取有用的潜在信息的行为的潜在结构，通过机器学习方法，并提出强大的和显着的影响选择过程。此外，我们的建模框架通过采样和验证显示了输入可变性的鲁棒性。
2017-06-01 cs.LG
Geometry and Expressive Power of Conditional Restricted Boltzmann Machines
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）；Leipzig University（莱比锡大学）；Santa Fe Institute（圣塔菲研究所）
条件限制玻尔兹曼机是一种无向随机神经网络，其输入和输出单元层与隐藏单元层两部分相连。这些网络定义了给定输入设备状态的输出设备状态的条件概率分布模型，由交互权重和偏置参数化。我们解决这些模型的代表性的权力，证明结果的能力，以表示条件马尔可夫随机场和条件分布的限制支持，最小尺寸的通用逼近器，最大模型近似误差，并在一组可表示的条件分布的维度。我们贡献了新的工具，调查条件概率模型，这使我们能够改善的结果，可以从现有的工作限制玻尔兹曼机概率模型。
2015-03-12 cs.LG cs.NE stat.ML
Enhancing Machine Learning Model Efficiency through Quantization and Bit Depth Optimization: A Performance Analysis on Healthcare Data
本研究针对复杂机器学习模型执行时间过长的问题，通过量化和位深优化技术将输入数据从float64下采样至float32和int32，在医疗数据集上应用LR模型后实现时间复杂度显著降低且精度仅略有下降，为模型优化提供了先进方法。
2025-11-16 cs.AI cs.LG
Marginal and Conditional Importance Measures from Machine Learning Models and Their Relationship with Conditional Average Treatment Effect
The Hospital for Sick Children（SickKids医院（多伦多病童医院））；Dalla Lana School of Public Health（达拉·拉纳公共卫生学院）
本文提出模型无关的边际变量重要性度量（MVIM）及条件变量重要性度量（CVIM），解决了高相关预测变量下估计偏差问题，并揭示了二者与条件平均处理效应（CATE）的二次关系。
2025-01-29 cs.LG stat.ML
Generalized Learning Vector Quantization for Classification in Randomized Neural Networks and Hyperdimensional Computing
Rice University（莱斯大学）；UC Berkeley（加州大学伯克利分校）；Research Institutes of Sweden（瑞典研究院）
部署在边缘设备上的机器学习算法必须满足一定的资源约束和效率要求。随机向量函数链接（RVFL）网络由于其简单的设计和训练效率而受到此类应用的青睐。我们提出了一种改进的RVFL网络，避免了在训练过程中计算昂贵的矩阵运算，从而扩大了网络的潜在应用范围。我们的修改取代了最小二乘分类器与广义学习矢量量化（GLVQ）分类器，它只采用简单的矢量和距离计算。GLVQ分类器也可以被认为是对超维计算领域中常用的某些分类算法的改进。所提出的方法在来自UCI机器学习存储库的数据集上实现了最先进的准确性-高于先前提出的RVFL网络。我们进一步证明，我们的方法仍然实现了高精度，同时在训练迭代中受到严重限制（平均仅使用最小二乘分类器计算成本的21%）。
2021-06-17 cs.LG
Conditional Restricted Boltzmann Machines for Structured Output Prediction
University of Toronto（多伦多大学）
条件限制玻尔兹曼机（CRBM）是一种丰富的概率模型，最近已被应用于广泛的问题，包括协同过滤，分类和建模运动捕捉数据。虽然在训练非条件RBM方面取得了很大进展，但这些算法不适用于条件模型，并且几乎没有关于训练和生成结构化输出问题的条件RBM预测的工作。我们首先认为，标准的基于对比发散的学习可能不适合训练CRBM。然后，我们确定两种不同类型的结构化输出预测问题，并提出了一种改进的学习算法。第一种问题类型是输出空间具有任意结构但可能的输出配置集合相对较小的问题，例如在多标签分类中。第二个问题是输出空间是任意结构的，但输出空间的可变性要大得多，例如在图像去噪或像素标记中。我们表明，新的学习算法可以更好地工作比对比发散这两种类型的问题。
2012-02-14 cs.LG stat.ML
Extremely Low Bit Transformer Quantization for On-Device Neural Machine Translation
Samsung Research（三星研究院）
广泛使用的Transformer架构的部署是具有挑战性的，因为在推理期间的繁重计算负载和存储器开销，特别是当目标设备在计算资源方面受到限制时，例如移动或边缘设备。量化是应对这些挑战的有效技术。我们的分析表明，对于给定数量的量化位，每个块的Transformer有助于翻译质量和推理计算以不同的方式。此外，即使在一个嵌入块中，每个单词的贡献也大不相同。相应地，我们提出了一种混合精度量化策略，以通过极低数量的比特来表示Transformer权重（例如，低于3比特）。例如，对于嵌入块中的每个字，我们基于统计特性分配不同的量化比特。我们的量化Transformer模型实现了比基线模型小11.8 $\times$的模型大小，具有小于-0.5 BLEU。我们实现了8.3 $\times$减少运行时内存占用和3.5 $\times$加速（银河N10+），使我们提出的压缩策略，使设备上的NMT的有效实施。
2020-10-13 cs.CL cs.LG stat.ML
Quantitative Analysis of Performance Drop in DeepSeek Model Quantization
Unicom Data Intelligence（中国联合数据智能）；Data Science & Artificial Intelligence Research Institute（数据科学与人工智能研究院）
针对DeepSeek-R1/V3单机部署的内存限制问题，该研究首次定量评估全系列DeepSeek模型的多比特量化效果，提出动态3-bit量化方法DQ3_K_M，性能优于传统3-bit量化且接近4-bit，支持多类GPU部署并已开源。
2025-06-13 cs.AI cs.LG
Distributional Gradient Boosting Machines
Georg-August-Universität Göttingen（哥廷根大学）
我们提出了一个统一的概率梯度提升框架的回归任务，模型和预测作为协变量的函数的单变量响应变量的整个条件分布。我们的似然为基础的方法允许我们要么建模参数分布的所有条件矩，或近似的条件累积分布函数通过归一化流。作为底层的计算骨干，我们的框架是基于XGBoost和LightGBM。对整个条件分布进行建模和预测极大地增强了现有的基于树的梯度提升实现，因为它允许创建概率预测，从该概率预测可以导出感兴趣的预测区间和分位数。实证结果表明，我们的框架达到了最先进的预测精度。
2022-04-02 cs.LG stat.ML
Conditional Born machine for Monte Carlo event generation
European Organization for Nuclear Research (CERN)（欧洲核子研究组织）；University of Geneva（日内瓦大学）；Technion（以色列理工学院）
生成建模是近期量子器件的一项很有前途的任务，它可以使用量子测量的随机性质作为随机源。所谓的玻恩机是纯粹的量子模型，并承诺以量子方式生成概率分布，这是经典计算机无法实现的。本文介绍了玻恩机的应用蒙特卡罗模拟，并将其扩展到多元和条件分布。模型在（噪声）模拟器和IBM Quantum超导量子硬件上运行。更具体地说，玻恩机用于产生μ子力载体（MFC）事件，这些事件是由高能物理对撞机实验中μ子和探测器材料之间的散射过程产生的。MFC是出现在超越标准模型理论框架中的玻色子，是暗物质的候选者。经验证据表明，玻恩机可以重现从蒙特卡罗模拟的数据集的边缘分布和相关性。
2022-08-22 cs.LG hep-ex quant-ph
Conditional Restricted Boltzmann Machines for Cold Start Recommendations
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；School of Information Science and Engineering, University of Chinese Academy of Sciences（中国科学院大学信息科学与工程学院）
受限玻尔兹曼机（RBM）已经成功地应用于推荐系统中。然而，与大多数其他协同过滤技术一样，它不能解决冷启动问题，因为没有对新项目的评级。本文首先应用条件RBM（CRBM），它可以考虑额外的信息，并表明CRBM可以很好地解决冷启动问题，特别是额定值预测任务。CRBM自然地将内容和协作数据结合在一个可以有效适应的框架下。实验表明，CRBM可以媲美矩阵分解模型，而从前一个模型学习的隐藏特征更容易被解释。
2014-08-01 cs.IR cs.LG stat.ML
Deep Hierarchy Quantization Compression algorithm based on Dynamic Sampling
ShenZhen University（深圳大学）；Macquarie University（麦考瑞大学）
与传统的分布式机器学习不同，联邦学习将数据存储在本地进行训练，然后将模型聚合在服务器上，解决了传统分布式机器学习中可能出现的数据安全问题。然而，在训练过程中，模型参数的传输会对网络带宽造成很大的负载。在模型参数传递过程中，绝大多数模型参数是冗余的。本文在此基础上探索所选部分模型参数的数据分布规律，提出了一种深度层次量化压缩算法，通过模型参数的层次量化，进一步压缩模型，降低数据传输带来的网络负载。并采用动态抽样策略进行客户选择，以加快模型的收敛速度。在不同公共数据集上的实验结果表明了该算法的有效性。
2022-12-30 cs.IR cs.LG
Nonparametric Conditional Density Estimation In A Deep Learning Framework For Short-Term Forecasting
North Carolina State University（北卡罗来纳州立大学）；University of Melbourne（墨尔本大学）
短期预测是了解环境过程的一个重要工具。在本文中，我们将机器学习算法纳入一个条件分布估计的热带气旋强度预测的目的。许多机器学习技术给出了目标变量的条件分布的单点预测，这并没有给出预测可变性的完整说明。条件分布估计可以对预测的响应行为提供额外的见解，这可能会影响决策和政策。我们提出了一种技术，同时估计整个条件分布，并灵活地允许将机器学习技术。在目标变量和协变量上拟合平滑模型，并在模型输出层上应用逻辑变换以生成条件密度函数的表达式。我们提供了两个可以使用的机器学习模型的例子，多项式回归和深度学习模型。为了实现计算效率，我们提出了一个病例对照抽样近似的条件分布。对四种不同数据分布的模拟研究突出了我们的方法与其他基于机器学习的条件分布估计技术相比的有效性。然后，我们展示了我们的方法的实用性，从大西洋沿岸的热带气旋数据预测的目的。本文为我们的方法提供了概念证明，进一步的计算发展可以在更复杂的预测和其他应用中充分释放其洞察力。
2020-08-17 cs.LG stat.AP stat.ML
Quantization Robust Federated Learning for Efficient Inference on Heterogeneous Devices
Australian National University（澳大利亚国立大学）；Qualcomm AI Research（高通人工智能研究院）
联邦学习（FL）是一种机器学习范式，用于从设备上的分散数据中分布式学习机器学习模型。尽管标准的联邦优化方法取得了成功，例如FL中的联邦平均（Federated Averaging，FedAvg），但文献中并未充分考虑设备上学习的能量需求和硬件引起的约束。具体来说，设备上学习的一个基本要求是，根据联邦中的能源需求和异构硬件设计，将训练模型量化为各种位宽。在这项工作中，我们介绍了联邦平均算法的多种变体，训练神经网络对量化具有鲁棒性。这样的网络可以被量化为各种位宽，仅在全精度模型精度上有有限的降低。我们对标准FL基准进行了广泛的实验，以评估我们提出的FedAvg变体的量化鲁棒性，并为我们的量化感知变体FL提供收敛性分析。我们的结果表明，整合量化鲁棒性导致FL模型在量化设备上的推断过程中对不同的位宽具有更强的鲁棒性。
2022-06-22 cs.DC cs.LG
Impact of Low-bitwidth Quantization on the Adversarial Robustness for Embedded Neural Networks
CEA Tech（法国原子能与替代能源委员会技术中心）；Mines Saint-Etienne（圣埃蒂安矿业学院）
随着将神经网络模型部署在嵌入式系统上的意愿的增长，并且考虑到相关的存储器占用和能量消耗问题，寻找更轻的解决方案来存储神经网络，例如权重量化和更有效的推理方法成为主要的研究主题。与此同时，对抗性机器学习最近兴起，引起了令人印象深刻的关注，揭示了机器学习模型的一些关键缺陷，特别是神经网络。特别是，被称为对抗性示例的扰动输入已被证明可以欺骗模型做出错误的预测。在这篇文章中，我们研究了对抗鲁棒性的量化神经网络在不同的威胁模型下的经典监督图像分类任务。我们发现，量化不提供任何强大的保护，在严重的形式的梯度掩蔽的结果，并提出一些假设来解释它。然而，我们实验观察到穷人的可转移能力，我们解释的量化值移位现象和梯度错位，并探讨如何利用这些结果与基于集合的防御。
2020-07-06 cs.LG stat.ML
Quantamination: Dynamic Quantization Leaks Your Data Across the Batch
University of Cambridge（剑桥大学）；Google DeepMind（谷歌DeepMind）
本文揭示动态量化中存在关键漏洞，攻击者可通过量化策略窃取同一批数据中的敏感信息，主要贡献是发现4种主流框架存在数据泄露风险。
2026-04-29 cs.CR cs.LG
Conditional and Residual Methods in Scalable Coding for Humans and Machines
School of Engineering Science, Simon Fraser University（西蒙菲莎大学工程科学学院）
本文研究面向人类与机器的可扩展编码，提出条件编码与残差编码方法，利用视觉任务信息优化重建率失真性能，并设计高建模能力的熵模型，在Cityscapes和COCO数据集上验证了两种方法的有效性。
2023-07-04 cs.IT cs.LG eess.IV
Autotagging music with conditional restricted Boltzmann machines
Audience, Inc.（Audience公司）；Université de Montréal（蒙特利尔大学）；University of Toronto（多伦多大学）
本文介绍了两个应用程序的条件限制玻尔兹曼机（CRBM）的任务，自动标记音乐。第一种是训练CRBM，根据其他用户已经应用的标签来预测用户将应用于歌曲剪辑的标签。通过学习标签之间的关系，该模型能够预处理训练数据，以显着提高支持向量机（SVM）自动标注的性能。第二种是使用一种有区别的RBM（CRBM的一种）来自动标记音乐。通过同时利用标签之间以及标签与基于音频的特征之间的关系，该模型能够显著优于SVM，逻辑回归和多层感知器。为了应用于这个问题，判别RBM被推广到多标签设置和四个不同的学习算法，它进行了评估，第一次这样的深入分析，我们知道。
2011-03-15 cs.IR cs.LG cs.SD
Assessment of the conditional exchangeability assumption in causal machine learning models: a simulation study
本研究通过模拟评估了条件可交换性被违反时因果机器学习模型在估计个体化处理效应中的表现，发现此类违反会限制估计有效性，并证明阴性对照结局可作为检测亚组未测量混杂的有效诊断工具。
2025-10-30 cs.LG stat.ML
Joint Structured Learning and Predictions under Logical Constraints in Conditional Random Fields
Xerox Research Centre Europe（施乐欧洲研究中心）
本文主要研究有监督机器学习环境下的结构化机器学习。它讨论了如何对不同性质的相互依赖对象进行联合结构化学习，以及如何在预测标签时实施逻辑约束。我们解释了这种需要是如何出现在一个文件理解任务。然后，我们讨论了条件随机场（CRF）的一般扩展，并在开源PyStruct库的基础上提供了贡献的开源实现。我们评估其性能上公开可用的数据集。
2017-08-25 cs.LG stat.ML
Conditional probability calculation using restricted Boltzmann machine with application to system identification
Departamento de Control Automatico CINVESTAV-IPN (National Polytechnic Institute)（自动控制系 CINVESTAV-IPN（国家理工学院））
本文利用受限玻尔兹曼机计算条件概率用于非线性系统辨识，通过二进制编码和连续值方法改进模型，提出通用逼近分析，验证在噪声大和系统动态复杂时方法优势。
2018-06-07 cs.LG cs.SY eess.SY
Quantum Inspired Encoding Strategies for Machine Learning Models: Proposing and Evaluating Instance Level, Global Discrete, and Class Conditional Representations
本文提出并比较三种量子启发数据编码策略（ILS、GDS、CCVS），在纯经典机器学习模型中降低编码时间并保持编码正确性，通过分类任务评估其效率、准确率与计算成本，为优化经典机器学习中的量子启发数据转换提供指导。
2025-06-15 cs.AI cs.LG quant-ph
Machine learning-based conditional mean filter: a generalization of the ensemble Kalman filter for nonlinear data assimilation
RWTH Aachen University（亚琛工业大学）；Technische Universität Braunschweig（布伦瑞克工业大学）；KAUST（阿卜杜拉国王科技大学）
本文提出了基于机器学习的集成条件均值滤波器（ML-EnCMF）--一种基于条件均值滤波器（CMF）的滤波方法。CMF的更新均值与后验均值相匹配，后验均值是通过对过滤器的预测分布应用贝叶斯规则获得的。此外，我们证明了CMF的更新协方差与期望的条件协方差一致。实现EnCMF需要计算条件均值（CM）。基于似然的估计器对于小的系综尺寸容易产生显著的误差，从而导致滤波器发散。我们开发了一个系统的方法集成机器学习到EnCMF的基础上CM的正交投影属性。首先，我们使用一个人工神经网络（ANN）和一个线性函数的组合，获得基于集成卡尔曼滤波器（EnKF），近似CM，使ML-EnCMF继承EnKF的优点。其次，在估计损失函数时，我们应用适当的方差缩减技术来减少统计误差。最后，我们提出了一个模型选择过程，用于明智地选择所应用的滤波器，即，在每个更新步骤中，使用EnKF或ML-EnCMF。我们使用Lorenz-63和Lorenz-96系统证明了ML-EnCMF的性能，并表明ML-EnCMF优于EnKF和基于似然的EnCMF。
2022-08-01 cs.LG cs.NA math.NA
Optimal and Near-Optimal Adaptive Vector Quantization
UCL（伦敦大学学院）；VMware Research（VMware研究）；Harvard University（哈佛大学）
针对最优自适应量化方法运行与内存开销高、不可行的问题，该研究重新探究自适应矢量量化问题，提出了复杂度渐近优化的最优算法及面向大输入的快速近似最优算法，为其在更多机器学习场景的应用铺路。
2025-07-31 cs.DS cs.IT cs.LG
Learning In Practice: Reasoning About Quantization
University of Utah（犹他大学）
统计机器学习的标准理论分析与如何在实践中使用学习之间存在不匹配。支持该理论的基本假设是，我们可以使用实值参数表示特征和模型。然而，在实践中，我们在训练或部署期间的任何时候都不使用实数。相反，我们依赖于实数的离散和有限量化，通常是浮点数。在本文中，我们提出了一个框架，推理学习下任意量化。使用这种形式化，我们证明了感知器和弗兰克-沃尔夫算法的量化感知版本的收敛性。最后，我们报告了一个广泛的实证研究的结果，量化的影响，使用广泛的数据集。
2019-05-27 cs.LG stat.ML
Explaining predictive models with mixed features using Shapley values and conditional inference trees
Norwegian Computing Center（挪威计算中心）
解释复杂的黑箱机器学习模型变得越来越重要。虽然关于这个主题的文献越来越多，但Shapley值作为解释任何类型的机器学习模型预测的合理方法脱颖而出。用于预测解释的Shapley值的最初发展依赖于所描述的特征是独立的假设。然后扩展该方法以解释具有基础连续分布的相关特征。在本文中，我们提出了一种方法来解释混合（即连续的，离散的，有序的，和分类）依赖的功能，通过建模的依赖结构的功能，使用条件推理树。我们证明了我们提出的方法对目前的行业标准在各种模拟研究，发现我们的方法往往优于其他方法。最后，我们将我们的方法应用于2018年FICO可解释机器学习挑战赛中使用的真实财务数据集，并展示我们的解释与FICO挑战赛认可奖获奖团队的比较。
2020-07-02 cs.LG stat.ML
QMGeo: Differentially Private Federated Learning via Stochastic Quantization with Mixed Truncated Geometric Distribution
Syracuse University（雪城大学）
针对联邦学习中差分隐私与通信效率问题，提出QMGeo随机量化方法，利用混合截断几何分布在不加噪声的情况下实现DP，并给出收敛分析与实证评估。
2024-06-11 cs.AI cs.LG
ConSolv: Solvent-Conditional Machine Learning Implicit Solvent Potential
Department of Engineering Physics and Computation, TUM School of Engineering and Design, Technical University of Munich（工程物理与计算系，TUM工程与设计学院，慕尼黑技术大学）；Atomistic Modeling Center (AMC), Munich Data Science Institute (MDSI), Technical University of Munich（原子建模中心（AMC），慕尼黑数据科学研究所（MDSI），慕尼黑技术大学）
提出ConSolv，一种基于注意力机制的溶剂条件隐式溶剂机器学习势，通过结合实验溶剂化自由能和从头算数据，在66种常见有机溶剂中实现可迁移性，优于经典显式溶剂和部分隐式溶剂方法。
2026-09-28 cs.LG physics.chem-ph
Federated Conditional Stochastic Optimization
University of Pittsburgh（匹兹堡大学）；University of Virginia（弗吉尼亚大学）；University of Maryland（马里兰大学）
针对联邦学习中的非凸条件随机优化问题，提出FCSG、动量型FCSG-M及方差缩减加速算法Acc-FCSG-M，实现最优样本与通信复杂度并经实验验证。
2023-10-04 cs.AI cs.LG
Classification-based RNN machine translation using GRUs
我们报告的结果，我们的分类为基础的机器翻译模型，建立在一个循环神经网络的框架，使用门控循环单元。与试图最大化句子对句子的整体条件对数概率的其他RNN模型不同，我们的模型侧重于估计给定输入序列的下一个单词的条件概率的分类方法。人们希望这种使用GRU的简单方法可以与更复杂的RNN模型相媲美，但这种实现的成就是有限的，这种分类方法还有很大的改进空间。
2017-03-22 cs.LG cs.NE
Quantized Machine Learning Models for Medical Imaging in Low-Resource Healthcare Settings
Georgia State University（佐治亚州立大学）
本文提出了一种多策略压缩框架，用于MRI图像中的脑肿瘤分类，通过量化感知训练、从DenseNet-101教师模型到紧凑DenseNet-32学生模型的知识蒸馏以及轻量MobileNetV2骨干网络上的Float16后训练量化，实现了在低资源医疗环境中高效且准确的脑肿瘤筛查。
2026-05-19 cs.AI cs.CV cs.LG
Fully Quantized Transformer for Machine Translation
Mila, Université de Montréal（Mila（蒙特利尔大学））；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
最先进的神经机器翻译方法使用大量的参数。到目前为止，在不影响性能的情况下大幅降低这种方法的计算成本是不成功的。为此，我们提出了FullyQT：一个包罗万象的量化策略的Transformer。据我们所知，我们是第一个证明完全量化的Transformer可以避免翻译质量损失的人。事实上，与全精度相比，我们的8位模型在大多数任务上的BLEU得分更高或相等。比较自己所有以前提出的方法，我们实现了国家的最先进的量化结果。
2020-03-22 cs.CL cs.LG stat.ML
shapr: Explaining Machine Learning Models with Conditional Shapley Values in R and Python
Norwegian Computing Center（挪威计算中心）；University of Oslo（奥斯陆大学）；Indicio Technologies（Indicio科技公司）
shapr通过条件Shapley值方法，在R和Python中提供预测模型解释工具，增强模型可解释性。
2026-02-02 cs.LG stat.CO
Conditionals in Homomorphic Encryption and Machine Learning Applications
European Research Council Executive Agency（欧洲研究委员会执行局）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
同态加密的目的是允许对加密数据进行计算，而无需解密最终结果以外的内容。这可以为基于数据的应用程序（例如使用机器学习的应用程序）中的隐私保护问题提供一个优雅的解决方案，但一些开放的问题阻碍了这一计划。在这项工作中，我们评估了同态加密完全实现其程序而不依赖其他技术的可能性，例如多方计算（SMPC），这在许多用例中可能是不可能的（例如由于所需的高级别通信）。我们分两步进行：1.基于结构化程序理论（Bohm-Jacopini定理）我们确定了实现任何算法所必须执行的同态加密相关最小运算集;以及ii）我们分析了解决--并提出一个实现方案--我们分析中出现的最根本的相关问题的可能性，即，条件的实现（需要比较和选择/跳转操作）。我们展示了这个问题如何与同态加密的基本要求相冲突，并可能代表其作为一个完整的解决方案，在基于数据的应用程序，特别是机器学习的隐私保护的缺点。我们的比较方法是新颖的，完全嵌入在同态加密，而以前的研究依赖于其他技术，如SMPC，要求各方之间的高水平的通信，并从数据所有者的中间结果解密。我们的协议也是可证明安全的（共享相同的安全性的同态加密计划），不同于其他技术，如保序/揭示加密（OPE/ORE）。
2019-05-09 cs.CR cs.LG
Joint Privacy Enhancement and Quantization in Federated Learning
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
联邦学习（FL）是一种新兴的范例，用于使用边缘设备上可用的可能私有数据来训练机器学习模型。FL的分布式操作带来了集中式机器学习中没有遇到的挑战，包括需要保护本地数据集的隐私，以及由于重复交换更新模型而产生的通信负载。这些挑战通常通过在更新的模型上引起一些失真的技术来单独解决，例如，局部差分隐私（LDP）机制和有损压缩。在这项工作中，我们提出了一种新的方法联合隐私增强和量化（JoPEQ），它联合实现有损压缩和隐私增强FL设置。特别地，JoPEQ利用基于随机网格的矢量量化，这是一种通用压缩技术，其副产品失真在统计上等同于加性噪声。利用这种失真，通过用专用的多变量隐私保护噪声增强模型更新来增强隐私。我们表明，JoPEQ同时根据所需的比特率量化数据，同时保持所需的隐私级别，而不会显着影响学习模型的效用。这是通过分析LDP的保证，失真和收敛范围的推导，和数值研究。最后，我们凭经验断言，JoPEQ拆除已知利用隐私泄露的常见攻击。
2022-08-23 cs.CR cs.LG
Prediction of liquid fuel properties using machine learning models with Gaussian processes and probabilistic conditional generative learning
Federal University of Rio de Janeiro（里约热内卢联邦大学）；Queen Mary University of London（伦敦玛丽女王大学）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
在广泛的压力和温度条件下准确测定复杂混合物的燃料特性对于利用替代燃料至关重要。本工作的目的是构建廉价的计算机器学习（ML）模型作为封闭方程预测替代燃料的物理性质。这些模型可以使用来自MD模拟和/或数据融合保真度方法中的实验测量的数据库来训练。在这里，采用高斯过程（GP）和概率生成模型。GP是一种流行的非参数贝叶斯方法来建立代理模型，主要是因为它能够处理偶然和认知的不确定性。生成模型已经显示出具有相同意图的深度神经网络的能力。在这项工作中，ML分析集中在一个特定的属性，燃料密度，但它也可以扩展到其他物理化学性质。这项研究探讨了ML模型处理多保真度数据的多功能性。结果表明，ML模型可以准确地预测燃料的性质的压力和温度的范围很广的条件。
2021-10-18 cs.LG stat.ML
Conditional Adversarial Fragility in Financial Machine Learning under Macroeconomic Stress
本研究探讨了金融机器学习中宏观经济压力对对抗鲁棒性的影响，发现压力环境下模型对抗脆弱性显著增加，提出基于制度意识的评估框架及解释性治理层。
2025-12-22 cs.AI cs.CR cs.LG
Hierarchical Conditional Variational Autoencoder Based Acoustic Anomaly Detection
Hitachi Ltd.（日立有限公司）
提出了一种基于声信号的无监督机器异常检测方法。现有的方法，例如深度自动编码器（DAE）、变分自编码器（VAE）、条件变分自编码器（CVAE）等在潜在空间中具有有限的表示能力，并且因此具有差的异常检测性能。必须为每种不同类型的机器训练不同的模型，以准确地执行异常检测任务。为了解决这个问题，我们提出了一种新的方法命名为分层条件变分自编码器（HCVAE）。该方法利用已有的工业设施分类层次知识，对潜在空间表示进行细化。这些知识也有助于模型提高异常检测性能。我们证明了一个单一的HCVAE模型的泛化能力，不同类型的机器，通过使用适当的条件。此外，为了证明所提出的方法的实用性，（i）我们评估HCVAE模型在不同的领域和（ii）我们检查部分层次知识的效果。我们的研究结果表明，HCVAE方法验证了这两点，它优于基线系统的异常检测任务的最大15%的AUC得分度量。
2022-06-11 cs.AI cs.LG eess.AS
