ACRoBat: Optimizing Auto-batching of Dynamic Deep Learning at Compile Time
Carnegie Mellon University（卡内基梅隆大学）；OctoAI
针对动态深度学习中控制流分歧导致批处理优化困难的问题，提出ACRoBat框架，通过混合编译优化与端到端张量代码生成实现高效自动批处理，性能较现有最优框架最高提升8.5倍。
2024-05-17 cs.LG
Graph Neural Networks for Automatic Addition of Optimizing Components in Printed Circuit Board Schematics
University of Kassel（卡塞尔大学）；CELUS GmbH（CELUS公司）；Intelligent Embedded Systems, University of Kassel（智能嵌入式系统，卡塞尔大学）
针对PCB原理图手动添加优化组件效率低、易被忽视的问题，提出将原理图表示为二分图、用基于GNN的节点对预测模型实现自动添加的方法，在真实数据集上验证了高精度与省时降本的潜力。
2025-06-12 cs.LG
Automatic mixed precision for optimizing gained time with constrained loss mean-squared-error based on model partition to sequential sub-graphs
Intel Corporation/Habana（英特尔公司/ Habana）
本研究针对推理阶段训练后量化的最优混合精度自动选择问题，提出基于损失MSE的逐层灵敏度指标与顺序子图硬件感知时间增益预测方法，通过整数规划在精度约束下最大化时间增益，在多个LLM上得到验证。
2025-05-19 cs.LG
Optimizing Dialogue Management with Reinforcement Learning: Experiments with the NJFun System
Syntek Capital（辛泰克资本）；University of Pittsburgh（匹兹堡大学）；University of Pennsylvania（宾夕法尼亚大学）
设计口语对话系统的对话策略涉及许多重要的选择。本文提出了一种用于自动优化对话策略的强化学习方法，该方法解决了将强化学习应用于与人类用户的工作对话系统的技术挑战。我们报告的设计，建设和实证评估NJFun，实验口语对话系统，为用户提供有关有趣的事情在新泽西州做的信息。我们的研究结果表明，通过强化学习优化其性能，NJFun显著提高了系统性能。
2011-06-03 cs.AI cs.LG
Towards Robust and Automatic Hyper-Parameter Tunning
University of Toronto（多伦多大学）；University of New Brunswick（新不伦瑞克大学）
超参数优化（HPO）的任务是负担沉重的计算成本，由于难以同时优化模型的权重和超参数。在这项工作中，我们介绍了一类新的HPO方法，并探讨如何低秩因式分解的卷积神经网络的中间层的卷积权重可以用来定义一个分析响应面优化超参数，只使用训练数据。我们量化了这个表面如何作为模型性能的替代品，并可以使用信任区域搜索算法来解决，我们称之为autoHyper。该算法的性能优于最先进的贝叶斯优化算法，并在模型、优化器和数据集选择方面具有普遍性。我们的代码可以在\url{https://github.com/MathieuTuli/autoHyper}中找到。
2021-12-12 cs.AI cs.LG
Optimizing Streaming Parallelism on Heterogeneous Many-Core Architectures: A Machine Learning Based Approach
National University of Defense Technology（国防科技大学）；University of Leeds（利兹大学）
本文提出了一种自动化的方法来快速获得一个很好的解决方案，硬件资源划分和任务粒度的基于任务的并行应用程序的异构众核架构。我们的方法采用了一个性能模型来估计目标应用程序在给定的资源分区和任务粒度配置下的性能。该模型被用作在运行时快速搜索良好配置的实用程序。我们采用机器学习技术来自动学习分析模型，而不是手工制作分析模型，因为这需要专家对底层硬件细节的深入了解。我们首先使用训练程序离线学习预测模型。然后，学习的模型可以用于预测运行时任何看不见的程序的性能。我们将我们的方法应用于39个代表性的并行应用程序，并在两个代表性的异构众核平台上进行评估：一个CPU-XeonPhi平台和一个CPU-GPU平台。与单流版本相比，我们的方法在XeonPhi和GPU平台上平均分别实现了1.6倍和1.1倍的加速。这些结果转化为理论上完美的预测器所提供的性能的93%以上。
2020-03-05 cs.DC cs.LG cs.PF
Optimizing Sparse Matrix Multiplications for Graph Neural Networks
University of Leeds（利兹大学）；Alibaba Group（阿里巴巴集团）
图神经网络（GNN）正在成为一种强大的图结构建模技术。由于真实世界图数据的稀疏性，GNN的性能受到计算中涉及的大量稀疏矩阵乘法（SpMM）操作的限制。虽然正确的稀疏矩阵存储格式因输入数据而异，但现有的深度学习框架采用单一的静态存储格式，这留下了很大的改进空间。本文研究了稀疏矩阵存储格式的选择如何影响GNN的性能。我们观察到，选择合适的稀疏矩阵存储格式可以显着提高GNN的训练性能，但正确的格式取决于输入工作负载，并且可以随着GNN在输入图上的迭代而变化。然后，我们开发了一个预测模型，根据输入矩阵动态选择GNN层使用的稀疏矩阵存储格式。我们的模型首先使用训练矩阵样本进行离线训练，经过训练的模型可以应用于任何输入矩阵和具有SpMM计算的GNN内核。我们在PyTorch之上实现了我们的方法，并将其应用于使用真实和合成数据集在多核CPU上运行的5个代表性GNN模型。实验结果表明，我们的方法为GNN运行时间提供了1.17倍（高达3倍）的平均加速比。
2021-10-30 cs.LG
Optimizing ML Training with Metagradient Descent
MIT（麻省理工学院）；Stanford（斯坦福大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
针对大规模ML训练配置难的问题，提出元梯度计算算法与平滑训练框架，用元梯度下降优化训练设置，在数据集选择、抗投毒、学习率调度上取得显著效果。
2025-03-17 cs.AI cs.LG stat.ML
Optimizing Sales Forecasts through Automated Integration of Market Indicators
Bielefeld University of Applied Sciences and Arts（比勒费尔德应用科学与艺术大学）
本文研究自动选择 Eurostat 宏观经济指标并整合至 Neural Prophet 与 SARIMAX，以改进企业销售预测；前向特征选择在多个数据集上稳定提升精度，而两模型误差无显著差异。
2024-05-15 cs.LG econ.EM q-fin.GN
Deep Kernels for Optimizing Locomotion Controllers
KTH Royal Institute of Technology（KTH皇家理工学院）；Carnegie Mellon University（卡内基梅隆大学）
在优化运动控制器的参数时，样本效率是重要的，因为硬件实验耗时且昂贵。贝叶斯优化，一个样本有效的优化框架，最近被广泛应用于解决这个问题，但样本效率的进一步改进是现实世界的机器人和高维控制器的实际适用性所需要的。为了解决这个问题，先前的工作提出了使用领域的专业知识来构建自定义的距离度量的运动。在这项工作中，我们将展示如何自动学习这样的距离度量。我们使用一个神经网络来学习一个知情的距离度量从高保真模拟获得的数据。我们在两种不同的控制器和机器人架构上进行实验。首先，我们证明了在ATRIAS机器人硬件上优化5维控制器时样本效率的提高。然后，我们进行仿真实验，以优化一个16维控制器的7连杆机器人模型，并获得显着的改善，即使在扰动环境中优化。这表明，我们的方法是能够提高样本效率为两个不同的控制器，因此是一个合适的候选人，在未来的进一步实验的硬件。
2017-11-08 cs.LG cs.RO
Tetra-AML: Automatic Machine Learning via Tensor Networks
Terra Quantum AG（泰拉量子公司）
针对大型神经网络优化部署的资源问题，提出Tetra-AML工具箱，通过自定义张量列优化算法TetraOpt实现架构搜索与超参数优化，结合压缩技术，在CIFAR-10上性能优于贝叶斯优化，压缩ResNet-18内存减14.5倍且精度损失小，还支持硬件扩展。
2023-03-28 cs.LG quant-ph
Optimizing Diffusion Rate and Label Reliability in a Graph-Based Semi-supervised Classifier
University of São Paulo（圣保罗大学）
半监督学习受到了研究人员的关注，因为它允许人们利用未标记数据的结构来实现具有竞争力的分类结果，并且标签比监督方法少得多。局部和全局一致性（LGC）算法是最著名的基于图的半监督（GSSL）分类器之一。值得注意的是，它的解可以写成已知标签的线性组合。该线性组合的系数取决于参数$α$，该参数确定在随机游走中到达标记顶点时奖励随时间的衰减。在这项工作中，我们讨论了如何去除标记实例的自影响可能是有益的，以及它如何与留一错误相关。此外，我们建议使用自动微分来最小化这种留一损失。在这个框架内，我们提出了方法来估计标签的可靠性和扩散率。优化扩散速率是更有效地完成与光谱表示。结果表明，标签的可靠性方法与强大的L1-范数方法的竞争，删除对角条目降低过拟合的风险，并导致合适的标准参数选择。
2022-01-10 cs.LG
uGLAD: Sparse graph recovery by optimizing deep unrolled networks
Microsoft Research（微软研究院）；Georgia Institute of Technology（佐治亚理工学院）
概率图模型（ProbabilityGraphicalModels，PGMs）是复杂系统的生成模型。它们依赖于变量之间的条件独立假设来学习稀疏表示，这些表示可以以图形的形式可视化。这些模型用于在不太了解的领域中进行领域探索和结构发现。这项工作介绍了一种新的技术，通过优化深度展开网络来执行稀疏图恢复。假设输入数据$X\in\mathbb{R}^{M\times D}$来自底层多元高斯分布，我们在$X$上应用深度模型，该模型输出精度矩阵$\hatΘ$，该精度矩阵也可以被解释为邻接矩阵。我们的模型uGLAD建立在最先进的模型GLAD的基础上，并将其扩展到无监督环境。我们的模型的主要优点是（1）uGLAD自动优化稀疏相关的正则化参数，导致比现有算法更好的性能。(2)我们引入了基于多任务学习的“共识”策略，用于在无监督环境中对缺失数据进行鲁棒处理。我们评估了合成高斯数据，基因调控网络生成的非高斯数据的模型结果，并提出了厌氧消化的案例研究。
2022-10-12 cs.LG stat.ML
Automatic Hyper-Parameter Optimization Based on Mapping Discovery from Data to Hyper-Parameters
Harbin Institute of Technology（哈尔滨工业大学）
机器学习算法在人工智能领域取得了令人瞩目的成就。然而，大多数机器学习算法对超参数敏感。人工优化超参数是超参数整定的常用方法。然而，这是昂贵的和经验依赖。自动超参数优化（autoHPO）由于其有效性而受到青睐。然而，目前的autoHPO方法通常只对某一类问题有效，并且时间成本很高。在本文中，我们提出了一种有效的自动参数优化方法，这是基于从数据到相应的超参数的映射。为了描述这种映射，我们提出了一个复杂的网络结构。为了获得这样的映射，我们开发了有效的网络分割算法。在映射的应用过程中，我们还设计了进一步优化映射结果的策略。大量的实验结果表明，所提出的方法优于国家的最先进的approaches显着。
2020-03-03 cs.LG stat.ML
TensorIR: An Abstraction for Automatic Tensorized Program Optimization
Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）；OctoML（OctoML公司）；University of Washington（华盛顿大学）；UC Berkeley（加州大学伯克利分校）；Amazon Web Services（亚马逊云科技）
在各种设备上部署深度学习模型已经成为一个重要的课题。硬件专业化的浪潮为多维张量计算带来了各种各样的加速原语。这些新的加速原语，以及新兴的机器学习模型，带来了巨大的工程挑战。在本文中，我们提出了TensorIR，一个编译器抽象优化程序与这些张量计算原语。TensorIR概括了现有机器学习编译器中使用的循环嵌套表示，将张量计算作为一等公民。最后，我们在我们的抽象之上构建了一个端到端框架，以自动优化给定张量计算原语的深度学习模型。实验结果表明，TensorIR编译自动使用给定硬件后端的张量计算原语，并提供与跨平台的最先进手动优化系统竞争的性能。
2022-10-27 cs.AI cs.LG cs.PL
Automatic Representation for Lifetime Value Recommender Systems
Microsoft ILDC（微软创新学习中心）
许多现代商业网站采用推荐系统向用户推荐相关内容。虽然大多数系统都专注于最大化即时收益（点击，购买或评级），但更好的成功概念是用户-系统交互的生命周期价值（LTV）。LTV方法考虑项目推荐的未来影响，并寻求随着时间的推移最大化累积收益。强化学习（RL）框架是随着时间的推移优化累积成功的标准公式。然而，RL在实践中很少使用，因为它的相关表示，优化和验证技术可能很复杂。在本文中，我们提出了一种将RL与推荐系统相结合的新架构，无需手动调整功能，从而使状态空间表示构建过程自动化。我们分析了在这个配方的实际困难，并测试我们的解决方案批量离线现实世界的推荐数据。
2017-02-23 cs.LG stat.ML
Large Language Models for Constructing and Optimizing Machine Learning Workflows: A Survey
Shanghai Jiao Tong University（上海交通大学）；Stanford University（斯坦福大学）
本文综述了大语言模型在构建和优化机器学习工作流中的最新进展，涵盖数据与特征工程、模型选择与超参数优化及工作流评估，并讨论了其优势、局限与未来研究方向。
2024-12-25 cs.AI cs.LG
Towards Automatic Bayesian Optimization: A first step involving acquisition functions
贝叶斯优化是用于优化黑盒的最先进技术，即，函数，我们不能访问它们的解析表达式，也不能访问它的梯度，它们的计算代价很高，而且它的计算是嘈杂的。最流行的应用是机器学习算法的自动超参数调整，其中我们通过优化这些算法的泛化误差的估计来获得机器学习算法的最佳配置。尽管成功地应用，但生物学优化方法也具有需要配置的超参数，例如所使用的概率代理模型或采集函数。对这些超参数的配置的错误决策意味着获得质量差的结果。通常，这些超参数是通过对我们想要评估的目标函数进行假设来调整的，但在某些情况下，我们没有关于目标函数的任何先验信息。在本文中，我们提出了第一次尝试，通过探索几个自动调整的采集功能的baidu优化。我们在一组基准问题和一个机器学习算法的超参数调整问题中说明了这些方法的有效性。
2021-01-12 cs.AI cs.LG stat.ML
Analyzing Machine Learning Models for Credit Scoring with Explainable AI and Optimizing Investment Decisions
Institute of Financial Service Analytics（金融服务分析研究所）；Alfred Lerner College of Business and Economics（阿尔弗雷德·勒纳商业与经济学院）；University Of Delaware（特拉华大学）
本文探讨了与可解释AI（XAI）实践相关的两个不同但相关的问题。机器学习（ML）在金融服务中越来越重要，例如预批准，信贷承销，投资以及各种前端和后端活动。机器学习可以自动检测训练数据中的非线性和相互作用，从而促进更快、更准确的信贷决策。然而，机器学习模型是不透明的，难以解释，这是建立可靠技术所需的关键要素。该研究比较了各种机器学习模型，包括单分类器（逻辑回归，决策树，LDA，QDA），异构集成（AdaBoost，随机森林）和顺序神经网络。结果表明，集成分类器和神经网络优于。此外，两种先进的事后模型不可知性解释技术- LIME和SHAP使用美国P2P借贷平台Lending Club提供的开放获取数据集来评估基于ML的信用评分模型。在这项研究中，我们还使用机器学习算法来开发新的投资模型，并探索能够最大限度地提高盈利能力同时最小化风险的投资组合策略。
2022-09-19 cs.CY cs.LG stat.ML
