Differentially Private Algorithms for Empirical Machine Learning
Duke University（杜克大学）
私有数据的一个重要用途是构建机器学习分类器。虽然有一个蓬勃发展的文学差异私人分类算法，我们发现，他们是不实际的，在实际应用中，由于两个原因。首先，现有的差分私有分类器在真实世界数据集上的准确性很差。第二，没有已知的差分私有算法用于在私有测试数据集上凭经验评估私有分类器。在本文中，我们开发了不同的私人算法，反映现实世界的经验机器学习工作流程。我们将私有分类器训练算法视为黑盒。我们提出了私人算法，用于选择输入到分类器的功能。虽然添加预处理步骤会从实际分类过程中带走一些隐私预算（因此可能会使其噪音更大，准确性更低），但我们证明了我们的新型预处理技术在三个真实世界数据集上显着提高了分类器的准确性。我们还提出了第一个私人的算法，经验性地构建受试者工作特征（ROC）曲线上的私人测试集。
2014-11-21 cs.LG
Machine learning and serving of discrete field theories -- when artificial intelligence meets the discrete universe
Princeton University（普林斯顿大学）
该研究提出离散场论的机器学习与服务方法，通过保结构几何算法从观测数据学习场论并预测新结果，在行星轨道等案例中验证有效性，且适配相对论场景，为AI结合物理理论提供新路径。
2019-12-03 cs.LG hep-lat physics.comp-ph
Empirical Bayes Method for Boltzmann Machines
Yamagata University（山形大学）；Tokyo Institute of Technology（东京工业大学）
在这项研究中，我们考虑了一个经验贝叶斯方法的玻尔兹曼机，并提出了一个算法。经验贝叶斯方法允许估计的超参数的玻尔兹曼机的值最大化一个特定的似然函数称为经验贝叶斯似然函数在这项研究中。然而，最大化在计算上是困难的，因为经验贝叶斯似然函数涉及配分函数的难处理的积分。该算法通过使用副本方法和Plefka展开避免了这个计算问题。我们的方法不需要任何迭代过程，并且非常简单和快速，尽管它引入了估计偏差，这表现出相对于数据集大小的不自然行为。这种特殊的行为被认为是由于Plefka展开的近似处理。一个可能的扩展，以克服这种行为也进行了讨论。
2019-09-07 cond-mat.dis-nn cs.LG stat.ML
An Empirical Accuracy Law for Sequential Machine Translation: the Case of Google Translate
在这项研究中，我们已经建立了，通过实证测试，一个法律，涉及翻译跳数的翻译精度在顺序机器翻译在谷歌翻译。精度和大小都随着跳数的增加而减小;前者显示出严格遵循幂律的减小。这样的定律允许人们预测随着社会越来越依赖自动化设备而可能建立的翻译链的行为。
2020-04-08 cs.CL cs.LG stat.ML
Discrete Choice Analysis with Machine Learning Capabilities
Massachusetts Institute of Technology（麻省理工学院）
本文讨论的能力是必不可少的模型应用于政策分析设置和现成的机器学习方法直接应用到这样的设置的局限性。为政策分析建立离散选择模型的传统计量经济学方法涉及将数据与受主题考虑指导的建模假设相结合。这种考虑通常是最有用的，在指定随机效用离散选择模型的系统组件，但通常是有限的帮助，在确定随机组件的形式。我们确定了一个领域，机器学习范例可以利用，即在指定和系统地选择最佳规格的随机组件的效用方程。我们回顾了最近的两个新的应用程序，混合整数优化和交叉验证算法选择最佳规格的随机效用组件的嵌套logit和logit混合模型的可解释性约束。
2021-01-21 cs.LG econ.EM stat.ME
Position: Why We Must Rethink Empirical Research in Machine Learning
Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；University of Tübingen（蒂宾根大学）；Department of Statistics, LMU Munich（慕尼黑大学统计系）；Institute of Informatics, LMU Munich（慕尼黑大学信息学研究所）
本文呼吁重新思考机器学习实证研究，指出当前研究多为验证性而应视为探索性，以提升结果的可复现性与可靠性。
2024-05-25 cs.LG stat.ML
Machine learning-based approach for online fault Diagnosis of Discrete Event System
CReSTIC（兰斯大学计算机科学与数字技术研究中心）；UFR Exact and Natural Sciences（精确与自然科学学院）
本文考虑的问题是在线诊断的自动化生产系统的传感器和执行器提供离散的二进制信号，可以建模为离散事件系统。尽管有许多诊断方法，但它们中没有一个能够满足实现有效诊断系统的所有标准（例如智能解决方案、平均努力、合理成本、在线诊断、更少的假警报等）。此外，这些技术需要一个正确的、鲁棒的和有代表性的系统模型，或者需要不断更新的相关数据或专家知识。在本文中，我们提出了一个基于机器学习的诊断系统的方法。它被认为是一个多类分类器，预测工厂的状态：正常或故障，以及在故障行为的情况下出现了什么故障。
2022-10-24 cs.AI cs.LG
Manipulating Predictions over Discrete Inputs in Machine Teaching
INRIA（法国国家信息与自动化研究所）；University of Sharjah（沙迦大学）
本文针对离散域机器学习教学研究有限的问题，将操纵学生模型预测的任务建模为组合优化问题，提出迭代搜索算法，在修正预测和恶意操纵场景下性能均优于传统基线。
2024-01-31 cs.AI cs.LG
Stochastic gradient descent with noise of machine learning type. Part I: Discrete time analysis
Texas A&M University（德克萨斯A&M大学）
随机梯度下降算法是现代机器学习中最流行的算法之一。在这些应用中遇到的噪声是不同的随机梯度算法的许多理论分析。在这篇文章中，我们讨论了机器学习问题中遇到的能量景观和随机噪声的一些常见属性，以及它们如何影响基于SGD的优化。特别是，我们表明，在SGD与机器学习噪声的学习率可以选择很小，但一致的积极的所有时间，如果能量景观类似于过度参数化的深度学习问题。如果目标函数满足Lojasiewicz不等式，SGD收敛到全局最小值指数快速，甚至可能有局部极小值的功能，我们建立几乎肯定收敛到全局最小值的指数速度从任何有限的能量初始化。我们在这个结果中所做的假设涉及目标函数是小还是大的行为以及梯度噪声的性质，但是能量景观在目标函数在中间区域取值的域上是相当不受约束的。
2021-09-15 cs.LG math.OC stat.ML
Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss
Microsoft Research（微软研究院）
我们考虑源自随机最优化的样本平均近似或机器学习中的经验风险最小化的分布式凸优化问题。我们假设分布式计算系统中的每台机器都可以访问本地经验损失函数，该函数由独立同分布构造。从一个共同分布中采样的数据。我们提出了一个通信效率的分布式算法，以尽量减少整体经验损失，这是平均的本地经验损失。该算法基于不精确阻尼牛顿法，其中不精确牛顿步由分布式预条件共轭梯度法计算。我们分析了它的迭代复杂度和通信效率最小化自协调经验损失函数，并讨论了分布岭回归，逻辑斯谛回归和二进制分类与平滑铰链损失的结果。在监督学习的标准设置中，算法所需的通信轮数不会随着样本量的增加而增加，只会随着机器的数量缓慢增长。
2015-01-01 cs.LG math.OC stat.ML
Data Ordering Patterns for Neural Machine Translation: An Empirical Study
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
最近的工作表明，训练数据的排序影响神经机器翻译的模型性能。分析了基于课程学习的动态数据排序和数据分片的几种方法的性能增益和更快的收敛速度。在这项工作中，我们提出了经验研究的几个排序方法的训练数据基于不同的指标，并评估其对模型性能的影响。我们的研究结果表明，基于来自预训练模型的困惑分数预先确定训练数据的顺序执行得最好，并且优于每个时期随机洗牌训练数据的默认方法。
2019-09-23 cs.CL cs.LG
Empirical Study on Deep Learning Models for Question Answering
IBM Watson（IBM沃森）
在本文中，我们探索深度学习模型与记忆组件或注意力机制的问答任务。我们结合和比较三种模型，神经机器翻译，神经图灵机，和记忆网络的模拟QA数据集。本文是第一篇将神经机器翻译和神经图灵机用于解决QA问题的论文。我们的研究结果表明，注意和记忆的结合有潜力解决某些问答问题。
2015-11-20 cs.AI cs.CL cs.LG
An Empirical Evaluation of the Rashomon Effect in Explainable Machine Learning
University of Bonn（波恩大学）；Lamarr Institute（拉马尔研究所）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；TU Dortmund University（多特蒙德工业大学）；TU Wien（维也纳工业大学）
本文实证评估了可解释机器学习中的罗生门效应，通过在多种数据集、模型、归因方法和指标上进行定量评估，发现超参数调优和指标选择对解释的可比性至关重要，为以往轶事证据提供了实证支持。
2023-06-29 cs.AI cs.LG
Discrete approach to machine learning
本文提出一种基于稀疏位向量和定长线性向量的离散编码与降维方法，以俄语、英语形态学和免疫组化标记为例研究代码空间结构，并与哺乳动物新皮层风车结构类比，推测两者组织相似性。
2025-07-19 cs.ET cs.IT cs.LG
Differentially Private and Adversarially Robust Machine Learning: An Empirical Evaluation
Imperial College London（帝国理工学院）；IBM Research Europe（IBM欧洲研究院）
针对模型可能同时面临隐私推断与规避攻击的问题，本文结合对抗训练和差分隐私训练，基于成员推理攻击实证评估 DP-Adv，证明其可在保持性能的同时达到非鲁棒隐私模型的隐私水平。
2024-01-18 cs.LG
Discriminative conditional restricted Boltzmann machine for discrete choice and latent variable modelling
Ryerson University（瑞尔森大学）；Polytechnique Montréal（蒙特利尔高等理工学院）
估计潜在行为的传统方法通常使用主观的态度问题，并且这些调查问题可能并不总是可用的。我们假设，另一种方法可以用于潜变量估计通过无向图形模型。例如，非参数人工神经网络。在这项研究中，我们探索使用生成非参数建模方法来估计潜变量的先验选择分布，而无需传统的使用测量指标。一个受限制的玻尔兹曼机被用来表示潜在的行为因素，通过分析观察到的选择和解释变量之间的关系信息。该算法适用于离散选择场景中的潜在行为分析，我们使用一种图形化的方法来评估和理解估计参数向量值的语义含义。我们说明了我们的方法在金融工具选择数据集上，并对参数的敏感性和稳定性进行统计分析。我们的研究结果表明，通过非参数统计检验，我们可以提取有用的潜在信息的行为的潜在结构，通过机器学习方法，并提出强大的和显着的影响选择过程。此外，我们的建模框架通过采样和验证显示了输入可变性的鲁棒性。
2017-06-01 cs.LG
Learning from multivariate discrete sequential data using a restricted Boltzmann machine model
Escuela Superior Politecnica del Litoral (ESPOL)（埃斯波莱大学（ESPOL））
受限玻尔兹曼机（RBM）是一种生成式神经网络模型，具有许多新颖的应用，如协同滤波和声学建模。成果管理制缺乏保持记忆的能力，因此不适合于动态数据建模，如时间序列分析。在本文中，我们解决这个问题，提出了p-RBM模型，一个推广的常规RBM模型，能够保留记忆的p过去的状态。我们进一步展示了如何使用对比散度对p-RBM模型进行训练，并在考虑NASDAQ-100指数的100只股票的股票市场方向预测问题上对我们的模型进行了测试。结果表明，p-RBM提供了有前途的预测潜力。
2018-04-28 cs.LG stat.ML
Machine Unlearning in the Era of Quantum Machine Learning: An Empirical Study
University of Bucharest, Romania（布加勒斯特大学（罗马尼亚））
本文研究了量子混合神经网络中机器反学习的行为，发现量子模型能有效支持反学习，但结果依赖于电路深度、纠缠结构和任务复杂性。
2026-04-09 cs.AI cs.CV cs.LG
A Review of the Gumbel-max Trick and its Extensions for Discrete Stochasticity in Machine Learning
Eindhoven University of Technology（埃因霍温理工大学）；Onera Health；Philips Research（飞利浦研究院）；University of Amsterdam（阿姆斯特丹大学）；ORTEC R&D（ORTEC研发部）
Gumbel-max技巧是一种从分类分布中抽取样本的方法，由其未归一化（对数）概率给出。在过去的几年里，机器学习社区已经提出了这个技巧的几个扩展，例如，在神经网络优化中抽取多个样本、从结构化域采样、或用于误差反向传播的梯度估计。这篇调查文章的目的是介绍Gumbel-max技巧的背景，并提供其扩展的结构化概述，以简化算法选择。此外，它提出了一个全面的大纲（机器学习）文献中，Gumbel为基础的算法已被利用，审查常见的设计选择，并勾勒出未来的前景。
2022-03-08 cs.LG stat.ML
Quantum vs. Classical Machine Learning: A Unified Empirical Comparison
Hebei Normal University（河北师范大学）；Kyushu University（九州大学）；University of Luxembourg（卢森堡大学）
通过七组监督学习和强化学习模型的实证比较，发现当前量子机器学习模型在预测性能、策略稳定性和训练时间上尚未超越经典基线，但在噪声过滤和假阳性控制方面具有潜力。
2026-07-03 cs.LG
Nonparametric Discrete Choice Experiments with Machine Learning Guided Adaptive Design
University of Florida（佛罗里达大学）；Warrington College of Business（沃灵顿商学院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；McCombs School of Business（麦库姆斯商学院）
提出基于梯度的调查（GBS），一种多属性产品设计的非参数离散选择实验，通过自适应配对比较获取偏好，无需参数化效用模型，在准确性和样本效率上优于现有方法，且可扩展至数百属性。
2023-10-18 cs.LG stat.AP stat.ML
Empirical Analysis of Machine Learning Configurations for Prediction of Multiple Organ Failure in Trauma Patients
UC, Davis Health（加州大学戴维斯分校健康中心）；University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
多器官衰竭（MOF）是一种危及生命的疾病。由于其紧迫性和高死亡率，早期发现对于临床医生提供适当的治疗至关重要。在本文中，我们进行定量分析的早期MOF预测与全面的机器学习（ML）配置，包括数据预处理（缺失值处理，标签平衡，功能缩放），特征选择，分类器的选择，和超参数调整。结果表明，分类器的选择影响的性能改善和变化的所有配置中。通常，包括集成方法的复杂分类器可以提供比简单分类器更好的性能。然而，盲目追求复杂的分类器是不明智的，因为它也带来了更大的性能变化的风险。
2021-04-22 cs.AI cs.LG
An Empirical Exploration of Curriculum Learning for Neural Machine Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Notre Dame（圣母大学）；Air Force Research Laboratory（空军研究实验室）；University of Maryland（马里兰大学）
基于深度神经网络的机器翻译系统的训练成本很高。课程学习的目的是通过选择训练过程中样本的呈现顺序来解决这个问题，以帮助更快地训练更好的模型。我们采用概率观点的课程学习，这使我们能够灵活地评估课程设计的影响，并进行了广泛的探索上的德英翻译任务。结果表明，它是可能的，以提高收敛时间在不损失翻译质量。然而，结果是高度敏感的样本难度标准，课程表和其他超参数的选择。
2018-11-02 cs.CL cs.LG
An analysis of machine learning approaches for enhancing decision-making in complex discrete choice tasks
本研究分析四种机器学习模型在复杂离散选择任务中学习和预测五类选择规则的性能，发现半参数及非参数模型总体优于参数模型，孪生神经网络在能源政策偏好案例中表现最佳。
2026-08-03 cs.LG
Quantum Inspired Encoding Strategies for Machine Learning Models: Proposing and Evaluating Instance Level, Global Discrete, and Class Conditional Representations
本文提出并比较三种量子启发数据编码策略（ILS、GDS、CCVS），在纯经典机器学习模型中降低编码时间并保持编码正确性，通过分类任务评估其效率、准确率与计算成本，为优化经典机器学习中的量子启发数据转换提供指导。
2025-06-15 cs.AI cs.LG quant-ph
Empirical Privacy Evaluations of Generative and Predictive Machine Learning Models -- A review and challenges for practice
Netherlands eScience Center（荷兰eScience中心）；Institute of Data Science, Maastricht University（马斯特里赫特大学数据科学学院）
本文综述了生成式和预测式机器学习模型的经验隐私评估方法，指出其在百万级训练记录场景下存在计算可行性与威胁模型现实性之间的关键权衡，并为未来研究提出建议。
2024-11-19 cs.LG
Integrating Machine Learning with Discrete Event Simulation for Improving Health Referral Processing in a Care Management Setting
State University of New York at Binghamton（纽约州立大学宾汉姆顿分校）；Virtua Health（Virtua医疗集团）
出院后护理管理协调病人的转介，以改善他们出院后的健康状况，特别是老年人和长期病患者。在护理管理环境中，健康转介由管理式护理组织（MCO）中的专门部门处理，该组织与许多其他实体（包括住院医院，保险公司和出院后护理提供者）相互作用。在本文中，提出了一个机器学习引导的离散事件仿真框架，以改善健康转诊处理。基于随机森林的预测模型被开发来预测服务水平和转诊类型。两个仿真模型被构造为表示作为是配置的转诊处理系统和智能系统后，将预测功能，分别。通过为转诊处理系统纳入一个预测模块，以规划转诊和确定转诊的优先次序，在减少平均转诊创建延迟时间方面提高了整体性能。这项研究将强调出院后护理管理在提高健康质量和降低相关成本方面的作用。此外，本文还演示了如何使用集成系统工程方法对复杂的医疗保健系统进行流程改进。
2022-06-25 cs.LG
An Efficient Epileptic Seizure Detection Technique using Discrete Wavelet Transform and Machine Learning Classifiers
National Institute of Technology, Durgapur（印度杜尔加普尔国家理工学院）；GNIT, Kolkata（加尔各答GNIT学院）
本文提出一种基于离散小波变换与主成分分析特征融合的癫痫检测方法，结合SVM、KNN和朴素贝叶斯分类器，在Bonn数据库上实现最高100%识别准确率。
2021-12-30 cs.LG eess.SP
An Empirical Risk Minimization Approach for Offline Inverse RL and Dynamic Discrete Choice Model
Foster School of Business, University of Washington（华盛顿大学福斯特商学院）
本文提出了一种基于经验风险最小化（ERM）的逆强化学习/动态离散选择模型框架，该方法无需显式估计贝尔曼方程中的状态转移概率，适用于高维和无限状态空间，并在理论上有Polyak-Lojasiewicz条件的支持，从而保证了快速的全局收敛性。
2026-06-04 cs.AI cs.LG econ.EM
Beyond General Purpose Machine Translation: The Need for Context-specific Empirical Research to Design for Appropriate User Trust
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）
机器翻译（MT）有可能帮助人们克服语言障碍，并广泛应用于医院等高风险场景。然而，为了可靠和安全地使用机器翻译，用户需要了解何时信任机器翻译输出，以及如何评估往往不完美的翻译结果的质量。在本文中，我们讨论的研究方向，以支持用户校准信任MT系统。我们分享了一项实证研究的结果，在这项研究中，我们对20名临床医生进行了半结构化访谈，以了解他们如何跨越语言障碍与患者沟通，以及他们是否以及如何使用MT系统。基于我们的研究结果，我们主张对MT系统如何在实践中使用的实证研究作为重要的第一步，以解决在用户和MT工具之间建立适当的信任的挑战。
2022-05-13 cs.AI cs.HC cs.LG
Discrete Factorization Machines for Fast Feature-based Recommendation
Shandong University（山东大学）；National University of Singapore（新加坡国立大学）；University of Electronic Science and Technology of China（电子科技大学）；Nanyang Technological University（南洋理工大学）
辅助信息的用户特征和项目特征是实现准确推荐的关键。然而，大量的特征尺寸，例如，通常大于10^7，导致昂贵的存储和计算成本。这阻碍了快速推荐，特别是在计算资源非常有限的移动应用程序上。在本文中，我们开发了一个通用的基于特征的推荐模型，称为离散因子分解机（DFM），快速和准确的推荐。DFM将实值模型参数（例如，float32）嵌入到二进制代码中的每个特征（例如，布尔值），并因此支持高效存储和快速用户项得分计算。为了避免严重的量化损失的二值化，我们提出了一个收敛的更新规则，解决了具有挑战性的离散优化的DFM。通过对两个真实世界数据集的广泛实验，我们表明：1）DFM始终优于最先进的二进制推荐模型，2）DFM与其实值版本（FM）相比表现出非常有竞争力的性能，证明了最小化的量化损失。这项工作被IJCAI 2018接受。
2018-09-19 cs.IR cs.LG stat.ML
Consumer-Driven Explanations for Machine Learning Decisions: An Empirical Study of Robustness
IBM Research（IBM研究院）
许多解释机器学习预测的方法实际上很难让非技术消费者理解。本文建立在另一种消费者驱动的方法，称为TED，要求在训练数据中提供解释，以及目标标签。使用半合成数据从信贷审批和员工保留的应用程序，实验进行了调查与TED的一些实际考虑，包括其性能与不同的分类算法，不同数量的解释，和解释的变化。针对某些训练样本没有解释的情况，提出了一种新的算法。我们的研究结果表明，TED是强大的越来越多的解释，嘈杂的解释，和大部分的缺失的解释，从而使其实际部署的进步。
2020-01-13 cs.AI cs.LG stat.ML
Discrete-Time Nonlinear Feedback Linearization via Physics-Informed Machine Learning
Scuola Superiore Meridionale（南方高等学校）；Johns Hopkins University（约翰斯·霍普金斯大学）；Worcester Polytechnic Institute（伍斯特理工学院）；Università degli Studi di Napoli “Federico II”（那不勒斯费德里科二世大学）
提出了一种基于物理信息的机器学习（PIML）方法，用于非线性离散动力系统的反馈线性化。PIML发现的非线性变换规律，从而确保通过极点配置的稳定性，在一个步骤。为了促进非线性变换律中存在陡梯度时的收敛，我们提出了一种贪婪训练过程。我们通过一个基准的非线性离散映射，反馈线性化变换法可以推导出解析的建议PIML方法的性能进行评估;该例子的特点是陡峭的梯度，由于奇异性的存在，在感兴趣的域。我们表明，建议的PIML优于，在数值逼近精度方面，传统的数值实现，其中涉及的建设-和解决方案的幂级数展开的系数-一个系统的同调方程，以及在整个域的PIML的实施，从而突出了连续技术的重要性，在训练过程中的PIML。
2023-03-15 cs.LG cs.NA math.DS
Interpretable Diagnostics and Adaptive Data Assimilation for Neural ODEs via Discrete Empirical Interpolation
School of Mechanical Engineering, Purdue University（普渡大学机械工程学院）；Mathematics and Computer Science Division, Argonne National Laboratory（阿贡国家实验室数学与计算机科学部）
本文提出利用DEIM方法对神经ODE进行可解释分析，通过诊断发现流体结构并改进数据同化策略，提升模型预测稳定性与准确性。
2026-04-02 cs.LG physics.flu-dyn
Topological data analysis using persistent discrete homology
提出持久离散同调用于拓扑数据分析，讨论其优势，通过实证表明它在非度量数据中比Vietoris - Rips复形的持久同调更抗噪。
2026-07-07 cs.LG math.AT math.CO
Empirical Analysis of the Inductive Bias of Recurrent Neural Networks by Discrete Fourier Transform of Output Sequences
University of Tokyo（东京大学）
本研究通过将模型输出视为离散时间信号进行频域分析，直接计算输出序列频率，揭示了LSTM和GRU偏向低频模式而Elman RNN偏向高频模式的归纳偏置，并发现该偏置受层数和隐藏层大小影响。
2023-05-16 cs.LG
An Empirical Study of Generation Order for Machine Translation
Google Research（谷歌研究院）；University of California, Berkeley（加州大学伯克利分校）
本文对机器翻译的生成顺序进行了实证研究。基于插入建模的最新进展，我们首先介绍了一个软订单奖励框架，使我们能够训练模型遵循任意的预言机生成策略。然后，我们利用这个框架来探索各种各样的生成订单，包括不知情的订单，基于位置的订单，基于频率的订单，基于内容的订单，和基于模型的订单。奇怪的是，我们发现，对于WMT'14英语$\to$德语翻译任务，顺序对输出质量没有实质性影响，不直观的排序，如字母顺序和最短优先匹配标准Transformer的性能。这表明，传统的从左到右生成并不是实现高性能所必需的。另一方面，WMT'18英语$\to$中文任务的结果往往变化更大，这表明翻译不太对齐的语言对可能对生成顺序更敏感。
2019-10-29 cs.CL cs.LG
A Reliable Cryptographic Framework for Empirical Machine Unlearning Evaluation
University of Michigan, Ann Arbor（密歇根大学安阿伯分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出将机器遗忘评估建模为遗忘算法与成员推理攻击之间的密码学博弈，从而导出具有可证明保证的可靠评估指标，并给出实用高效近似方法，为经验评估遗忘算法提供新框架。
2025-11-05 cs.AI cs.LG
Evaluations of Machine Learning Privacy Defenses are Misleading
ETH Zurich（苏黎世联邦理工学院）
本文揭示现有机器学习经验性隐私防御评估存在严重缺陷，通过5个案例研究表明先前评估将隐私泄露低估一个数量级，并证明这些防御均无法与调优后的DP-SGD基线竞争。
2024-09-05 cs.CR cs.LG
Software Engineers vs. Machine Learning Algorithms: An Empirical Study Assessing Performance and Reuse Tasks
Pontifical Catholic University of Rio de Janeiro（里约热内卢天主教大学）；University of Waterloo（滑铁卢大学）
最近有几篇论文包含了关于将机器学习（ML）应用于软件工程（SE）任务自动化的报告，例如项目管理，建模和开发。然而，似乎没有方法比较软件工程师如何与应用于特定软件开发任务的机器学习算法进行比较。这种比较对于了解哪些任务由人类更好地执行，哪些任务由机器学习更好地执行以及如何更有效地实现协作工作或人在回路流程至关重要。在本文中，我们提出了一项实证研究，比较软件工程师和机器学习算法如何执行和重用任务。实证研究涉及的自主路灯应用程序的控制结构的合成。我们的方法包括四个步骤。首先，我们使用机器学习来确定特定的性能和重用任务，从而解决了这个问题。其次，我们要求具有不同领域知识水平的软件工程师为相同的任务提供解决方案。第三，我们比较了软件工程师在基于能耗和安全等标准完成性能和重用任务时如何对抗机器学习算法。最后，我们分析了结果，以了解哪些任务由人类或算法更好地执行，以便它们可以更有效地协同工作。这样的理解和由此产生的人在环方法，考虑到人类和机器学习算法的长处和短处，不仅是为支持软件工程的合作工作提供基础，而且在其他领域也是至关重要的。
2018-02-07 cs.AI cs.HC cs.LG
Learning Disentangled Discrete Representations
University of Mannheim（曼海姆大学）；Max Planck Institute for Biogeochemistry（马克斯·普朗克生物地球化学研究所）；University of Stuttgart（斯图加特大学）；NEC Laboratories Europe（NEC欧洲实验室）
本文通过用定制的分类变分自编码器替换标准高斯VAE，探索离散潜在空间与解耦表示的关系，证明其网格结构能缓解旋转不变性问题，并提出首个偏好解耦表示的无监督模型选择策略。
2023-07-26 cs.LG stat.ML
Machine Learning with Multi-Site Imaging Data: An Empirical Study on the Impact of Scanner Effects
Imperial College London（帝国理工学院）；ETH Zurich（苏黎世联邦理工学院）
这是一项实证研究，旨在研究在多站点神经成像数据上使用机器学习时扫描仪效应的影响。我们利用结构T1加权脑MRI从两个不同的研究，Cam-CAN和英国生物银行。为了我们的研究目的，我们构建了一个由592名年龄和性别匹配的个体的大脑扫描组成的数据集，每个原始研究中有296名受试者。我们的研究结果表明，即使在使用最先进的神经成像管道进行仔细的预处理之后，分类器也可以很容易地以非常高的准确度区分数据的来源。我们的性别分类的例子应用的分析表明，目前的方法来协调数据无法消除扫描仪特定的偏见，导致过于乐观的性能估计和泛化能力差。我们的结论是，多站点数据协调仍然是一个开放的挑战，在使用这些数据与先进的机器学习方法进行预测建模时需要特别小心。
2019-10-10 cs.CV cs.LG eess.IV
Empirical observation of negligible fairness-accuracy trade-offs in machine learning for public policy
Carnegie Mellon University（卡内基梅隆大学）
在政策和社会影响环境中越来越多地使用机器学习，引起了人们对公平影响的担忧，特别是对少数民族。这些问题引起了机器学习和人工智能研究人员的极大兴趣，他们开发了新的方法并建立了提高公平性的理论界限，重点关注源数据，正则化和模型训练，或对模型分数的事后调整。然而，很少有工作研究在现实世界中的公平性和准确性之间的实际权衡，以了解这些界限和方法如何转化为政策选择和对社会的影响。我们的实证研究填补了这一空白，通过调查减少差异对准确性的影响，重点是使用机器学习的共同背景，以告知教育，心理健康，刑事司法和住房安全等资源受限项目的利益分配。在这里，我们描述的应用工作中，我们发现公平性和准确性的权衡是可以忽略不计的实践。在研究的每一个设置中，明确地关注实现公平，并使用我们提出的事后差异缓解方法，公平性得到了大幅提高，而不牺牲准确性。这一观察结果在所研究的政策背景、可用于干预的资源规模、时间和受保护群体的相对规模方面都是稳健的。这些实证结果挑战了一个普遍持有的假设，即减少差异要么需要接受一个明显的下降，准确性或开发新的，复杂的方法，使减少这些应用程序中的差异更实际。
2021-09-03 cs.CY cs.LG
Rare but Severe Neural Machine Translation Errors Induced by Minimal Deletion: An Empirical Study on Chinese and English
Haverford College（哈弗福德学院）
该实证研究发现在中英神经机器翻译中，仅删除源文本单个字符即可诱发严重错误，并比较了删字与删词的影响及训练数据规模的作用。
2022-09-17 cs.AI cs.CL cs.LG
Methods for Class-Imbalanced Learning with Support Vector Machines: A Review and an Empirical Evaluation
Toronto Metropolitan University（多伦多都会大学）；Deakin University（迪肯大学）；University of Windsor（温莎大学）
本文综述并实证比较了SVM类别不平衡学习的重采样、算法和融合三类方法，发现融合方法性能最优但计算成本高，算法方法效率高但性能稍逊。
2024-06-12 cs.LG
A bi-partite generative model framework for analyzing and simulating large scale multiple discrete-continuous travel behaviour data
Ryerson University（瑞尔森大学）
数据驱动的需求分析的出现导致越来越多地使用生成建模来学习随机变量之间的概率依赖关系。虽然近年来它们的明显用途主要限于图像识别和分类，但生成机器学习算法可以通过数据结构的底层属性复制旅行行为，成为旅行行为研究的强大工具。在本文中，我们研究使用生成机器学习方法来分析多个离散连续（MDC）的旅行行为数据。我们提供了一个合理的角度来看，我们如何利用机器学习技术来解释数据中的潜在异质性。我们表明，生成模型在概念上类似的选择选择行为过程中，通过信息熵和变分贝叶斯推断。不失一般性，我们认为一个限制玻尔兹曼机（RBM）的算法与多个离散连续层，制定为变分贝叶斯推断优化问题。我们系统地描述了所提出的机器学习算法，并开发了一个从生成学习的角度分析旅行行为数据的过程。我们在一个开放数据集上进行了模型分析和模拟测试，从293，330个观测的数据大小中获得了多个离散-连续维度的参数稳定性。为了便于解释，我们推导出条件概率、弹性，并对潜在变量进行统计分析。我们表明，我们的模型可以生成统计上相似的数据分布，用于旅行预测和预测，并且在验证中比纯粹的判别方法表现得更好。我们的研究结果表明，生成模型中的潜在结构可以准确地表示联合分布一致的MDC数据。
2020-05-08 cs.LG stat.ML
DVAE#: Discrete Variational Autoencoders with Relaxed Boltzmann Priors
D-Wave Systems Inc.（D-Wave系统公司）
玻尔兹曼机是一种强大的分布，已经被证明是变分自动编码器（VAE）中二进制潜变量的有效先验。然而，以前用于训练离散VAE的方法使用了证据下限，而不是更严格的重要性加权界限。我们提出了两种方法放松玻尔兹曼机的连续分布，允许训练与重要性加权的界限。这些松弛是基于广义重叠变换和高斯积分技巧。MNIST和OMNIGLOT数据集上的实验表明，这些弛豫优于以前的离散VAE与玻尔兹曼先验。可在www.example.com上获得再现这些结果的实现。
2018-10-15 cs.LG stat.ML
Reveal-or-Obscure: A Differentially Private Sampling Algorithm for Discrete Distributions
Department of Statistics and Data Science（统计与数据科学系）；Yale University（耶鲁大学）；Technion---Institute of Technology（技术学院---技术研究所）
本文提出了一种差分隐私采样算法ROO，通过随机揭示或掩盖经验分布实现隐私保护，并改进为DS-ROO以提升隐私与效用的平衡。
2026-02-17 cs.CR cs.DS cs.IT
Data vs. Model Machine Learning Fairness Testing: An Empirical Study
Delft University of Technology（代尔夫特理工大学）
本文通过实证研究发现数据公平性与模型公平性指标之间存在线性关系，表明在训练前进行公平性测试可作为一种低成本且有效的方法，用于及早发现数据偏见和漂移，减少训练成本。
2024-01-15 cs.CY cs.LG cs.SE
A Benchmark Time Series Dataset for Semiconductor Fabrication Manufacturing Constructed using Component-based Discrete-Event Simulation Models
Arizona State University（亚利桑那州立大学）；Intel Corporation（英特尔公司）
本研究基于英特尔半导体工厂基准模型，采用并行离散事件系统规范与DEVS-Suite仿真器构建了半导体制造时间序列基准数据集，可用于代理模型开发与行为分析。
2024-08-17 cs.AI cs.LG
On Using Retrained and Incremental Machine Learning for Modeling Performance of Adaptable Software: An Empirical Comparison
Nottingham Trent University（诺丁汉特伦特大学）
考虑到可适应软件系统的复杂性不断增加，以及它们通常隐藏的内部信息（例如，软件在公共云中运行），基于机器学习的性能建模已经获得了评估、理解和预测软件性能的动力，这有助于更好地了解自适应。随着性能数据在软件运行期间的积累，更新性能模型变得必要。为此，有两种传统的建模方法：重新训练的建模总是丢弃旧模型并使用所有可用数据重新训练新模型;或者增量建模保留现有模型并使用一个新到达的数据样本对其进行调整。通常，基于机器学习的自适应软件性能建模的文献根据一般信念选择这些方法中的任一种，但它们提供的证据或参考不足以证明它们的选择。本文是第一个全面的实证研究报告，研究两种建模方法下的不同领域的适应性软件，5个性能指标，8个学习算法和设置，涵盖了1,360个不同的条件。我们的研究结果挑战了一般的信念，这被证明是只有部分正确的，并揭示了一些重要的，统计上显着的因素，往往被忽视，在现有的工作，提供基于证据的见解的选择。
2019-03-25 cs.LG cs.SE
Empirical Study of Straggler Problem in Parameter Server on Iterative Convergent Distributed Machine Learning
Chinese University of Hong Kong（香港中文大学）
本研究实证评估了参数服务器架构下多种落后者缓解技术，在矩阵分解、多项逻辑回归和潜在狄利克雷分配等迭代收敛机器学习算法中的有效性，为后续研究提供比较平台。
2023-07-28 cs.DC cs.LG
Contextuality, Holonomy and Discrete Fiber Bundles in Group-Valued Boltzmann Machines
Lepage Research Institute（莱帕奇研究所）
本文提出受限玻尔兹曼机的几何扩展，允许权重取值于抽象群，并引入基于群值和乐的语境性指标以量化全局不一致性，为AI领域引入了曲率感知学习与拓扑正则化等新方向。
2025-09-05 cs.LG physics.data-an quant-ph
Machine Learning for the Multi-Dimensional Bin Packing Problem: Literature Review and Empirical Evaluation
Shanghai Jiao Tong University（上海交通大学）；National University of Defense Technology（国防科技大学）
本文对面向多维装箱问题的机器学习方法开展首次系统性综述，完成问题形式化、方法梳理、基准测试与挑战展望。
2023-12-13 cs.DS cs.LG
