Deep Neural Architecture Search with Deep Graph Bayesian Optimization
Jilin University（吉林大学）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education（教育部符号计算与知识工程重点实验室）
贝叶斯优化（BO）是寻找黑箱函数全局最优解的一种有效方法。最近，BO已被应用于神经结构搜索，并显示出比纯进化策略更好的性能。这些方法都采用高斯过程（GP）作为代理函数，以手工相似性度量作为输入。在这项工作中，我们提出了一个贝叶斯图神经网络作为一个新的代理，它可以自动从深度神经架构中提取特征，并使用这些学习到的特征来拟合和表征黑盒目标及其不确定性。基于新的代理，我们开发了一个图贝叶斯优化框架，以解决深度神经架构搜索的挑战性任务。实验结果表明，我们的方法显着优于基准任务的比较方法。
2019-05-14 cs.LG stat.ML
Optimization Landscapes of Wide Deep Neural Networks Are Benign
Ruhr-University Bochum（波鸿鲁尔大学）
我们分析了具有广泛网络的深度学习的优化景观。我们强调了约束的重要性，这样的网络，并表明，约束-以及无约束-在这样的网络的风险最小化没有限制点，也就是说，次优参数，难以逃脱。因此，我们的理论证实了一个共同的信念，即广泛的神经网络不仅具有高度的表达能力，而且易于优化。
2021-01-13 cs.LG stat.ML
Preference Optimization with Multi-Sample Comparisons
Meta GenAI；University of Chicago（芝加哥大学）
针对单样本比较在偏好优化中的不足，提出多样本直接偏好优化（mDPO）和多样本身份偏好优化（mIPO），通过群体特征优化提升生成模型的多样性和偏差控制，并在标签噪声下更稳健。
2026-10-06 cs.CL cs.LG stat.ML
Query Complexity of Derivative-Free Optimization
University of Wisconsin（威斯康星大学）
本文提供了无导数优化（DFO）的收敛速度与噪声函数评估的下限，暴露了一个基本的和不可避免的差距与访问梯度的算法的性能和那些只访问函数评估。然而，也有DFO是不可避免的情况下，对于这种情况下，我们提出了一个新的DFO算法，被证明是接近最优的一类强凸目标函数。该算法的一个显著特点是它只使用布尔值函数比较，而不是函数求值。这使得该算法在更广泛的应用中是有用的，例如基于来自人类受试者的配对比较的优化。我们还表明，无论DFO是基于噪声函数的评价或布尔值函数的比较，收敛速度是相同的。
2012-09-11 cs.LG stat.ML
A comparison of Deep Learning performances with other machine learning algorithms on credit scoring unbalanced data
National Bank Of Canada（加拿大国家银行）
在高度不平衡的数据上训练模型是机器学习算法的一项挑战性任务。目前对深度学习的研究主要集中在具有平衡类标签或不平衡数据的数据集上，但具有大量可用的样本，如语音识别。然而，深度学习在小样本不平衡数据上的能力在文献中没有深入研究，而它在许多行业中是一个非常常见的应用背景。为了填补这一空白，本文比较了几种流行的机器学习算法的性能，这些算法以前成功地应用于不平衡数据集与深度学习算法。我们在一个高度不平衡的数据集上进行这些实验，用于信用评分。我们评估各种配置，包括神经网络优化技术，并试图确定他们的能力时，他们与不平衡的语料库。
2020-02-25 cs.LG stat.ML
Efficient Computation of Probabilistic Dominance in Robust Multi-Objective Optimization
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（弗里德里希-亚历山大大学埃尔兰根-纽伦堡分校（FAU））
现实世界的问题通常需要同时优化几个经常相互冲突的目标。这些多目标优化问题中的许多问题的特征在于其决策变量或目标函数中的大范围的不确定性，这进一步增加了优化的复杂性。为了应对这些不确定性，鲁棒优化被广泛研究，旨在区分候选解与由置信区间，概率分布或采样数据指定的不确定目标。然而，现有的技术大多没有考虑实际的分布或假设不确定性的均匀或高斯分布的实例。本文介绍了一种经验的方法，使一个有效的比较候选解决方案与不确定的目标，可以遵循任意分布。给定两个候选解进行比较，该算子计算一个解在每个不确定目标方面优于另一个解的概率。它可以替代现有优化技术（如进化算法）的标准比较算子，以发现具有多个不确定目标的问题的鲁棒解决方案。本文还提出了将各种不确定性，在著名的多目标问题，提供一个基准评估不确定性感知优化技术。所提出的比较算子和基准套件集成到现有的优化工具中，该工具具有多目标优化问题和算法的选择。实验结果表明，与现有技术相比，该方法在较低的开销下获得了较高的优化质量。
2019-10-18 cs.LG cs.NE stat.ML
Do optimization methods in deep learning applications matter?
Cukurova University（丘库罗瓦大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Energy Sciences Network（能源科学网络）
随着深度学习的发展、指数数据增长和模型复杂性的增加，开发高效的优化方法吸引了大量的研究关注。一些实现倾向于使用共轭梯度（CG）和随机梯度下降（SGD）作为实现快速收敛的实用且优雅的解决方案，然而，这些优化过程也在跨深度学习应用的学习中存在许多限制。最近的研究正在探索高阶优化函数作为更好的方法，但这些方法在实际应用中存在非常复杂的计算挑战。在本文中，我们的实验表明，Levemberg-Marquardt（LM）显着取代最优收敛，但遭受非常大的处理时间，增加了训练的复杂性，分类和强化学习问题。我们的实验在标准CIFAR、MNIST、CartPole和FlappyBird实验中比较了现成的优化函数（CG、SGD、LM和L-BFGS）。本文提出了关于使用哪些优化函数以及哪些函数将受益于并行化工作以提高预训练时间和学习率收敛的论点。
2020-02-28 cs.LG stat.ML
Comparison of non-linear activation functions for deep neural networks on MNIST classification task
University of Edinburgh（爱丁堡大学）
激活函数在神经网络中起着关键的作用，因此了解它们的优点和缺点以获得更好的性能成为基础。本文将首先介绍非线性激活函数的常见类型，这是众所周知的sigmoid函数的替代品，然后评估它们的特性。此外，将分析更深的神经网络，因为与较浅的网络相比，它们对最终性能有积极影响。它们还严格依赖于权重初始化，因此将分析从高斯和均匀分布中提取权重的效果，特别注意到节点的传入和传出连接的数量如何影响整个网络。
2018-04-08 cs.LG stat.ML
Stage-based Hyper-parameter Optimization for Deep Learning
Seoul National University（首尔国立大学）
随着深度学习技术比以往任何时候都进步，超参数优化是深度学习集群中新的主要工作负载。虽然超参数优化在训练深度学习模型以获得高模型性能方面至关重要，但有效执行这样的计算繁重的工作量仍然是一个挑战。我们观察到，从现有的超参数优化算法发出的许多试验共享共同的超参数序列前缀，这意味着有冗余的计算，从训练相同的超参数序列多次。我们提出了一个基于阶段的执行策略，有效地执行超参数优化算法。我们的策略通过将试验的超参数序列分成同质阶段，并通过合并公共前缀生成阶段树来消除训练过程中的冗余。我们的初步实验结果表明，将基于阶段的执行应用于超参数优化算法的性能优于原始的基于试验的方法，所需的GPU时间和端到端训练时间分别节省了6.60倍和4.13倍。
2019-11-24 cs.LG stat.ML
DeepCO: Offline Combinatorial Optimization Framework Utilizing Deep Learning
Hitachi, Ltd.（株式会社日立）
组合优化在许多现代工业应用中起着重要作用。由于安全和/或成本问题，大量的问题是离线设置。虽然基于模拟的方法似乎很难实现复杂的系统，在这项研究中，我们提出了DeepCO，一个利用深度学习的离线组合优化框架。我们也设计了旅行商问题（TSP）的离线变化模型仓库操作序列优化问题进行评估。在历史数据有限的情况下，本文提出的分布正则化优化方法在离线TSP实验中的性能优于现有的基线方法，平均减少路径长度5.7%，在现实问题中显示出巨大的潜力。
2020-07-20 cs.LG math.OC stat.ML
Neural Optimization Kernel: Towards Robust Deep Learning
Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）
深度神经网络（NN）在许多应用中取得了巨大的成功。然而，为什么深度神经网络在过度参数化状态下获得良好的泛化能力仍然不清楚。为了更好地理解深度NN，我们建立了深度NN和一个新的内核家族之间的联系，即，神经优化内核（NOK）。NOK的结构化近似的架构执行隐式正则化问题的单调下降更新。我们可以通过使用不同的激活函数来隐式地选择正则化问题，例如，ReLU、最大池化和软阈值。我们进一步建立了一个新的泛化界，我们的深度结构近似NOK架构。我们的无监督结构化近似NOK块可以作为一个简单的插件流行的骨干，对输入噪声的良好推广。
2021-12-01 cs.LG stat.ML
A Survey of Techniques All Classifiers Can Learn from Deep Networks: Models, Optimizations, and Regularization
Department of Computer Science（计算机科学系）；Pullman, WA 99163（普尔曼，华盛顿州 99163（注：此为地址，非机构））
深度神经网络为机器学习社区引入了新颖而有用的工具。其他类型的分类器也可以潜在地利用这些工具来提高它们的性能和通用性。本文回顾了在深度神经网络之外使用的深度学习分类器技术的当前发展水平。非网络分类器可以采用在深度神经网络架构中发现的许多组件。在本文中，我们回顾了构成深度网络技术核心的特征学习、优化和正则化方法。然后，我们调查非神经网络学习算法，使创新地利用这些方法来改善分类。由于仍然存在许多机遇和挑战，我们讨论了可以追求的方向，以扩展各种分类算法的深度学习领域。
2019-09-27 cs.LG stat.ML
Optimization Methods for Supervised Machine Learning: From Linear Models to Deep Learning
Lehigh University（理海大学）
本教程的目标是介绍与使用优化方法解决机器学习中出现的问题相关的关键模型、算法和开放性问题。它是为INFORMS的读者而写的，特别是那些熟悉优化算法基础，但不太熟悉机器学习的读者。我们首先推导出一个监督学习问题的公式，并展示它如何导致各种优化问题，这取决于上下文和基本假设。然后，我们讨论这些优化问题的一些独特特征，重点是逻辑斯谛回归和深度神经网络的训练的例子。本教程的后半部分重点介绍优化算法，首先是凸逻辑斯谛回归，我们讨论了一阶方法，随机梯度方法，方差减少随机方法和二阶方法的使用。最后，我们讨论了如何将这些方法用于深度神经网络的训练，强调了这些模型的复杂非凸结构所带来的困难。
2017-06-30 cs.LG stat.ML
Deep Inverse Optimization
Concordia University（康考迪亚大学）
给定由优化过程生成的一组观测，逆优化的目标是确定该过程的可能参数。我们将逆优化视为深度学习的一种形式。我们的方法称为深度逆优化，是展开迭代优化过程，然后使用反向传播来学习生成观测值的参数。我们证明，通过内点算法的反向传播，我们可以学习的系数确定成本向量和约束，独立或联合，为非参数和参数线性规划，从一个或多个观察。通过这种方法，逆优化可以利用来自深度学习的概念和算法。
2018-12-03 cs.LG math.OC stat.ML
DEEP-BO for Hyperparameter Optimization of Deep Networks
Seoul National University（首尔大学）；UNIST（蔚山科学技术院）
深度神经网络（DNN）的性能对超参数的特定选择非常敏感。更糟糕的是，当使用像batchnorm这样的技术时，学习曲线的形状会受到显着影响。因此，深度网络的超参数优化可能比传统的机器学习模型更具挑战性。在这项工作中，我们从众所周知的贝叶斯优化解决方案开始，并提供专门为深度网络的超参数优化设计的增强策略。DEEP-BO（Diversified，Early-termination-Enabled，and Parallel Bayesian Optimization）是一种基于贝叶斯优化的算法。当在六个DNN基准测试中进行评估时，DEEP-BO的表现轻松优于或表现出与一些知名解决方案相当的性能，包括GP-Hedge，Hyperband，BOHB，中位数停止规则和学习曲线外推。所使用的代码可在https://github.com/snu-adsl/DEEP-BO上公开获取。
2019-05-23 cs.DC cs.LG stat.ML
DLOPT: Deep Learning Optimization Library
Universidad de Málaga（马拉加大学）
深度学习超参数优化是一项艰巨的任务。找到合适的网络配置是成功的关键，但大多数时候这项工作都是粗略完成的。在这项工作中，我们引入了一个新的库来解决这个问题，深度学习优化库：DLOPT。我们简要描述了它的架构，并提出了一组使用示例。这是一个在GNU GPL v3许可下开发的开源项目，可在https://github.com/acamero/dlopt上免费获得
2018-07-10 cs.LG cs.NE stat.ML
Bayesian Optimization using Deep Gaussian Processes
Université de Lille（里尔大学）；CNRS/CRIStAL（法国国家科学研究中心/CRIStAL实验室）；Inria Lille（法国里尔国家信息与自动化研究所）
使用高斯过程的贝叶斯优化是处理昂贵的黑盒函数优化的流行方法。然而，由于经典高斯过程的协方差阵的平稳性是先验的，这种方法可能不适用于非平稳函数的优化问题。为了克服这个问题，提出了一种新的贝叶斯优化方法。它基于深度高斯过程作为代理模型，而不是经典的高斯过程。这种建模技术通过简单地考虑平稳高斯过程的功能组成来增加表示的能力以捕获非平稳性，从而提供多层结构。本文提出了一种耦合深度高斯过程和贝叶斯优化的全局优化算法。这种优化方法的特殊性进行了讨论，并突出了学术测试案例。分析测试用例和航空航天设计优化问题的性能评估所提出的算法相比，最先进的静态和非静态的贝叶斯优化方法。
2019-05-07 cs.CE cs.LG stat.ML
A Comparison of First-order Algorithms for Machine Learning
Graz University of Technology（格拉茨技术大学）
利用优化算法解决机器学习问题是当前科学领域的主流之一。在这项工作中，我们展示了一些国家的最先进的凸优化问题的一阶优化算法在机器学习的全面比较。我们专注于几个光滑和非光滑的机器学习问题的损失函数加上正则化。整体实验结果表明，原始-对偶算法在解决机器学习问题的优势，从易于构建，运行时间和准确性的角度。
2014-04-26 cs.LG
Gradient Descent based Optimization Algorithms for Deep Learning Models Training
Information Fusion and Mining Laboratory（信息融合与挖掘实验室）
在本文中，我们旨在介绍用于学习深度神经网络模型的基于梯度下降的优化算法。涉及多个非线性投影层的深度学习模型的训练非常具有挑战性。目前，大部分的深度学习模型训练实际上仍然依赖于反向传播算法。在反向传播中，将迭代地更新模型变量，直到利用基于梯度下降的优化算法收敛。除了传统的vanilla梯度下降算法外，近年来还提出了许多梯度下降变体来提高学习性能，包括Momentum，Adagrad，Adam，Gadam等，本文将分别介绍这几种方法。
2019-03-11 cs.AI cs.LG stat.ML
Comparison between DeepESNs and gated RNNs on multivariate time-series prediction
University of Pisa（比萨大学）
我们提出了深度回声状态网络（DeepESN）和门控递归神经网络（RNN）在多变量时间序列预测任务上的实验比较。特别是，我们比较了水库和完全训练的RNN，它们能够表示具有多个时间尺度动态特征的信号。在4个复调音乐任务的效率和预测精度方面进行了分析。我们的研究结果表明，DeepESN在预测准确性和效率方面能够优于ESN。然而，在完全训练的方法之间，门控递归单元（GRU）在大多数情况下优于长短期记忆（LSTM）和简单的RNN模型。总体而言，DeepESN比其他RNN方法效率更高，并且在4个任务中的3个任务的预测准确性方面是最佳解决方案。
2019-11-20 cs.LG cs.NE stat.ML
A Comparison of Handcrafted and Deep Neural Network Feature Extraction for Classifying Optical Coherence Tomography (OCT) Images
Universitas Diponegoro（迪波内戈罗大学）
光学相干断层扫描允许眼科医生获得眼睛视网膜的横截面成像。借助数字图像分析方法，可以进行有效的疾病检测。存在从OCT图像提取特征的各种方法。这项研究旨在比较手工制作和深度神经网络特征的有效性。评估的数据集包括32339例分布在四个类，即CNV，DME，DRUSEN和NORMAL。这些方法是方向梯度直方图（HOG），局部二进制模式（LBP），DenseNet-169和ResNet 50。因此，基于深度神经网络的方法优于手工特征，DenseNet和ResNet的准确率分别为88%和89%，而HOG和LBP的准确率分别为50%和42%。基于深度神经网络的方法在代表性不足的类上也表现出更好的结果。
2018-09-02 cs.CV cs.LG stat.ML
Comparison of Single- and Multi- Objective Optimization Quality for Evolutionary Equation Discovery
ITMO University（圣彼得堡国立信息技术机械与光学大学）
本文比较了演化微分方程发现中的单目标与多目标优化，后者额外考虑方程复杂性，并在Burgers、波动和KdV方程等经典模型上验证了其效果。
2023-06-29 cs.LG cs.NE
GADAM: Genetic-Evolutionary ADAM for Deep Neural Network Optimization
Florida State University（佛罗里达州立大学）
深度神经网络学习可以用公式表示为非凸优化问题。现有的优化算法，例如，Adam可以快速学习模型，但可能很容易陷入局部最优。在本文中，我们介绍了一种新的优化算法，即GADAM（遗传进化亚当）。GADAM基于多个单元模型逐代学习深度神经网络模型：用Adam训练单元模型，用遗传算法进化到新的代。我们将证明GADAM在学习过程中可以有效地跳出局部最优，获得更好的解决方案，并证明GADAM也可以实现非常快的收敛。在各种基准数据集上进行了大量的实验，学习结果将证明GADAM算法的有效性和效率。
2019-03-10 cs.LG cs.NE stat.ML
McTorch, a manifold optimization library for deep learning
Microsoft（微软）；The University of Electro-Communications（电气通信大学）
在本文中，我们介绍了McTorch，这是一个用于深度学习的流形优化库，它扩展了PyTorch。它旨在为希望在深度学习应用程序中使用多种约束的用户降低障碍，即，当参数被约束为位于流形上时。这些约束包括流行的正交性和秩约束，并且最近已在深度学习的许多应用中使用。McTorch遵循PyTorch的架构，并简化了流形定义和优化器，即，一旦添加了新的歧管，它就可以与任何现有的优化器一起使用，反之亦然。McTorch可在https://github.com/mctorch上获得。
2018-10-04 cs.AI cs.LG stat.ML
Prasatul Matrix: A Direct Comparison Approach for Analyzing Evolutionary Optimization Algorithms
National Institute of Technology Silchar（西尔恰尔国家理工学院）
个体进化优化算法的性能主要是根据统计数据来衡量的，例如均值、中位数和标准差等，计算的最佳解决方案获得的算法的几个线索。为了比较两种算法的性能，比较这些统计量的值，而不是直接比较解决方案。这种比较缺乏对不同算法所得解的直接比较。例如，两个算法的最佳解（或最差解）的比较是不可能的。此外，算法的排名主要是在解决方案的质量方面，尽管算法的收敛性也是一个重要因素。本文提出了一种直接比较的方法来分析进化优化算法的性能。一个直接比较矩阵称为\emph{Prasatul Matrix}的准备，它帐户的直接比较结果的最佳解决方案获得了两个算法的特定数量的试验。基于Prasatul矩阵设计了五种不同的性能指标，以评估算法在最优性和解的可比性方面的性能。这些分数被用来开发一个分数驱动的方法，用于比较多个算法的性能，以及在解决方案的质量和收敛性分析的理由进行排名。提出的方法进行了分析与6个进化优化算法的25个基准函数。还进行了非参数统计分析，即Wilcoxon配对秩和检验，以验证所提出的直接比较方法的结果。
2022-12-01 cs.AI cs.LG cs.NE
Deep semantic gaze embedding and scanpath comparison for expertise classification during OPT viewing
University of Tübingen（图宾根大学）；Leibniz-Institut für Wissensmedien（莱布尼茨知识媒体研究所）；University Hospital Tübingen（图宾根大学医院）
对指示专业行为的眼动进行建模在用户评估中具有决定性意义。然而，任务语义对注视行为的影响是无可争议的。我们提出了一种新的方法，凝视扫描路径比较，结合卷积神经网络（CNN）处理场景信息的固定水平。图像补丁链接到各自的固定被用作输入的CNN和由此产生的特征向量提供必要的扫描路径similaritycomparison.We的时间和空间的凝视信息评估我们提出的方法从专家和新手牙医解释牙科X光片使用本地对齐相似性得分的凝视数据。我们的方法是能够区分专家与新手93%的准确率，同时结合图像语义。此外，我们的扫描路径比较使用图像补丁功能有可能纳入任务语义从各种任务
2020-03-31 cs.HC cs.LG stat.ML
Stochastic Optimization for Deep CCA via Nonlinear Orthogonal Iterations
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
深度CCA是最近提出的对传统典型相关分析（CCA）的深度神经网络扩展，并且已经在多个领域中成功地用于多视图表示学习。然而，深度CCA目标的随机优化并不简单，因为它不会在训练样本上解耦。以前的深度CCA优化器要么是基于批处理的算法，要么是使用大型小批量的随机优化，这可能会占用很高的内存。在本文中，我们解决了随机优化的问题，深CCA与小minibatches，基于迭代解决方案的CCA目标，并表明，我们可以实现良好的性能，因为以前的优化，从而减轻内存需求。
2015-10-07 cs.LG
Lecture Notes on Linear Neural Networks: A Tale of Optimization and Generalization in Deep Learning
Tel Aviv University（特拉维夫大学）
本讲义基于普林斯顿大学讲座，提出线性神经网络理论，利用动态数学工具研究深度学习中的优化与泛化，并讨论实际应用。
2024-11-06 cs.AI cs.LG stat.ML
Fixed-point optimization of deep neural networks with adaptive step size retraining
Seoul National University（首尔国立大学）
深度神经网络的定点优化在基于硬件的设计和低功耗实现中起着重要作用。许多深度神经网络在通过再训练微调量化权重时，即使具有2或3位精度也显示出相当好的性能。我们提出了一种改进的定点优化算法，估计量化步长动态再训练过程中。此外，还测试了一种渐进量化方案，该方案从高精度到低精度依次应用定点优化。针对前馈深度神经网络（FFDNN）、卷积神经网络（CNN）和递归神经网络（RNN）进行实验。
2017-02-27 cs.LG
A comparison of deep networks with ReLU activation function and linear spline-type methods
Leiden University（莱顿大学）
深度神经网络（DNN）生成的函数空间比浅网络丰富得多。由于浅网络诱导的函数空间有几个近似理论的缺点，这并不一定解释了深网络的成功。在这篇文章中，我们采取了另一种方法，将DNN与ReLU激活函数的表达能力与分段线性样条方法进行比较。我们发现，MARS（多元自适应回归样条）是不适当的学习DNN的意义上，对于任何给定的功能，可以表示为一个功能的MARS与$M$参数存在一个多层神经网络与$O(M \log (M/\varepsilon))$参数，近似这个功能，以超范数误差$\varepsilon.$我们显示了类似的结果扩展相对于Faber-Schauder系统。在此基础上，我们推导出风险比较不等式，约束的统计风险拟合的神经网络基于样条函数的方法。这表明深度网络的性能比所考虑的样条方法更好或仅略差。给出了函数逼近的构造性证明。
2018-09-24 cs.LG stat.ME stat.ML
Algorithms for solving optimization problems arising from deep neural net models: smooth problems
结合多层学习网络的机器学习模型已被视为为各种分类问题提供有效的模型。然而，求解使经验风险最小化的最优向量的所得最优化问题是高度非线性的。这对应用和开发用于解决该问题的适当优化算法提出了挑战。在本文中，我们总结了所涉及的主要挑战，并提出了一个基于牛顿的方法纳入负曲率方向的情况下，包括有前途的数值结果所产生的数据安全异常检测。
2018-06-30 cs.LG math.OC stat.ML
Optimization of Molecules via Deep Reinforcement Learning
Stanford University（斯坦福大学）；Google AI Applied Science（谷歌人工智能应用科学部）
我们提出了一个框架，我们称之为分子深度$Q$网络（MolDQN），通过结合化学领域知识和最先进的强化学习技术（双$Q$学习和随机价值函数）进行分子优化。我们直接定义分子上的修饰，从而确保100%的化学有效性。此外，我们在没有对任何数据集进行预训练的情况下进行操作，以避免该集合的选择可能产生的偏差。受药物化学铅优化过程中面临的问题的启发，我们用多目标强化学习扩展了我们的模型，该模型在保持与原始分子相似性的同时最大化了药物相似性。我们进一步展示了通过化学空间实现分子优化的路径，以了解模型是如何工作的。
2019-03-01 cs.AI cs.LG stat.ML
Optimization under Uncertainty in the Era of Big Data and Deep Learning: When Machine Learning Meets Mathematical Programming
Cornell University（康奈尔大学）
本文通过现代数据镜头回顾了不确定性优化领域的最新进展，强调了数据驱动优化的关键研究挑战和前景，该优化将机器学习和数学规划有机地集成到不确定性决策中，并确定了潜在的研究机会。首先简要回顾了经典的数学规划技术对冲不确定性，以及它们在过程系统工程中的广泛应用。然后对数据驱动的分布鲁棒优化、数据驱动的机会约束规划、数据驱动的鲁棒优化和数据驱动的基于分布鲁棒优化的相关出版物进行了全面的回顾和分类。本文还为未来的研究确定了丰富的途径，重点是闭环数据驱动的优化框架，该框架允许从数学编程到机器学习的反馈，以及利用深度学习技术的力量进行基于神经网络的优化。展望在线学习基于数据驱动的多级优化与学习，同时优化计划。
2019-04-03 cs.LG math.OC stat.ML
Deep2Lead: A distributed deep learning application for small molecule lead optimization
Georgia Institute of Technology（佐治亚理工学院）
先导化合物优化是药物发现的关键步骤，是产生有效和选择性化合物的关键步骤。从历史上看，计算机筛选和基于结构的小分子设计促进了这一过程。尽管最近深度学习在药物发现中的应用试验了其在计算机上应用铅优化步骤的可能性，但由于工具的可用性，缺乏现实世界的应用。在这里，我们开发了一个单一的用户界面应用程序，称为Deep2Lead。我们的基于网络的应用程序集成了VAE和DeepPurpose DTI，允许用户在没有编程经验的情况下快速执行电极导线优化任务。
2021-08-09 cs.LG q-bio.QM
Feedback Descent: Open-Ended Text Optimization via Pairwise Comparison
Stanford University（斯坦福大学）
Feedback Descent通过结构化文本反馈实现开放式文本优化，优于现有方法并在分子发现中表现突出。
2025-12-31 cs.LG
A comparison of mixed-variables Bayesian optimization approaches
CEA（法国原子能和替代能源委员会）；LETI（原子能与替代能源委员会电子与信息技术实验室）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；LIMOS（计算机科学、建模与优化实验室）；CNRS（法国国家科学研究中心）；Mines Saint-Etienne（圣艾蒂安国立高等矿业学校）；UCA（克莱蒙奥弗涅大学）；INSA Toulouse（图卢兹国立应用科学学院）；COSYS（系统与组件建模与设计部）；Université Gustave Eiffel（古斯塔夫·埃菲尔大学）；CEA-DAM（法国原子能和替代能源委员会军事应用局）
大多数真正的最优化问题定义在一个混合的搜索空间，其中的变量是离散和连续的。在工程应用中，目标函数的计算通常采用数值代价高昂的黑箱模拟，因此，一般的混合和代价高昂的最优化问题具有很大的实际意义，但它们的求解在很大程度上仍然是一个开放的科学问题。在这篇文章中，昂贵的混合问题，通过高斯过程，离散变量放松到连续的潜变量。连续空间比混合空间更容易被经典贝叶斯优化技术收获。离散变量被恢复或者随后的连续优化，或同时与一个额外的连续离散相容性约束，处理与增广拉格朗日。这种贝叶斯混合优化的几种可能的实现进行了比较。特别是，连续潜变量的问题的重新表述与直接在混合空间中工作的搜索竞争。在涉及潜变量和增广拉格朗日的算法中，特别注意的是拉格朗日乘子的局部和全局估计技术进行了研究。的比较是基于三个分析功能和梁的设计问题的重复优化。
2022-05-03 cs.LG math.OC stat.AP
Geometry of Optimization and Implicit Regularization in Deep Learning
Toyota Technological Institute at Chicago（芝加哥丰田技术学院）；MSR Cambridge（微软研究院剑桥）；Carnegie Mellon University（卡内基梅隆大学）
我们认为，通过隐式正则化，优化在深度学习模型的泛化中起着至关重要的作用。我们这样做是通过证明泛化能力不是由网络大小控制，而是由其他一些隐式控制。然后，我们展示了如何改变经验优化过程可以提高泛化，即使实际的优化质量不受影响。我们通过研究深度网络的参数空间的几何形状来实现这一点，并设计出一种与这种几何形状相协调的优化算法。
2017-05-08 cs.LG
Data Optimization in Deep Learning: A Survey
National Center for Applied Mathematics, Tianjin University（天津大学应用数学中心）；Nankai University（南开大学）
本文综述了深度学习中的数据优化方法，构建了涵盖数据增强、logit perturbation、样本加权和数据凝缩等技术的全面分类法，揭示了方法间联系并展望了未来方向，旨在推动数据优化成为独立分支。
2023-10-25 cs.LG
Deep-ELA: Deep Exploratory Landscape Analysis with Self-Supervised Pretrained Transformers for Single- and Multi-Objective Continuous Optimization Problems
Paderborn University（帕德博恩大学）；TU Dresden（德累斯顿工业大学）；ScaDS.AI Dresden/Leipzig（德累斯顿/莱比锡数据科学与人工智能中心）；University of Twente（特文特大学）
针对ELA特征存在强相关性且难以用于多目标优化的问题，提出混合方法Deep-ELA，通过在数百万随机生成的优化问题上预训练四个Transformer学习景观深度表征，开箱即用或微调用于单/多目标连续优化问题的分析与算法行为理解。
2024-07-29 cs.LG
Deep learning models for predictive maintenance: a survey, comparison, challenges and prospect
Mondragon Unibertsitatea（蒙德龙大学）；Electronics and Computer Science（电子与计算机科学（此处按要求不细拆到系，保留原机构粒度））
鉴于全球工业数据空间的不断增长，深度学习解决方案已成为预测性维护的热门，它可以监控资产以优化维护任务。鉴于文献中的示例数量，为每个用例选择最合适的架构是复杂的。这项工作旨在通过审查最先进的深度学习架构以及它们如何与预测性维护阶段集成以满足工业公司的要求（即异常检测，根本原因分析，剩余使用寿命估计）来促进这项任务。它们在工业应用中进行了分类和比较，解释了如何填补它们的空白。最后，开放的挑战和未来的研究路径。
2020-10-07 cs.LG
Deep Gaussian Process Proximal Policy Optimization
深度高斯过程近端策略优化通过利用深度高斯过程来近似策略和价值函数，在保持性能的同时提供校准的不确定性估计，以促进更安全有效的探索。
2025-12-19 cs.LG
A Survey of Geometric Optimization for Deep Learning: From Euclidean Space to Riemannian Manifold
East China Normal University（华东师范大学）
尽管深度学习（DL）在复杂的人工智能（AI）任务中取得了成功，但它存在各种臭名昭著的问题（例如，特征冗余和消失或爆炸梯度），因为更新欧几里德空间中的参数不能完全利用解空间的几何结构。作为一种有前途的替代解决方案，基于黎曼的DL使用几何优化来更新黎曼流形上的参数，并可以利用底层的几何信息。因此，本文提出了一个全面的调查应用几何优化DL。本文首先介绍了几何优化的基本过程，包括各种几何优化器和黎曼流形的一些概念。随后，本文研究了几何优化在不同DL网络中的应用，例如，卷积神经网络、递归神经网络、迁移学习和最优传输。此外，还讨论了实现流形优化的典型公共工具箱。最后，本文对不同深度几何优化方法在图像识别场景下的性能进行了比较。
2023-02-16 cs.LG
Combination of Hyperband and Bayesian Optimization for Hyperparameter Optimization in Deep Learning
Blippar
深度学习在许多问题上取得了令人印象深刻的成果。然而，它需要高度的专业知识或大量的经验来很好地调整超参数，并且这种手动调整过程很可能是有偏差的。此外，在深度学习中尝试与在其他机器学习场景中一样多的不同超参数配置是不切实际的，因为在深度学习中评估每个单个超参数配置将意味着训练深度神经网络，这通常需要相当长的时间。Hyperband算法在深度学习领域的各种超参数优化问题上实现了最先进的性能。然而，Hyperband算法没有利用以前探索的超参数配置的历史信息，因此找到的解决方案是次优的。我们建议将Hyperband算法与贝叶斯优化（在对下一个试验配置进行采样时不忽略历史）相结合。实验结果表明，该方法优于包括Hyperband算法在内的其他超参数优化方法。
2018-01-05 cs.AI cs.CV cs.LG
Conjugate-gradient-based Adam for stochastic optimization and its application to deep learning
Meiji University（明治大学）
将Adam算法与非线性共轭梯度法相结合，提出了一种基于共轭梯度的Adam算法，并给出了收敛性分析。文本分类和图像分类的数值实验表明，与现有的自适应随机最优化算法相比，该算法能够在更少的时期内训练深度神经网络模型。
2020-03-03 cs.LG math.OC
An empirical analysis of the optimization of deep network loss surfaces
AIFounded Inc.（AIFounded公司）；Janelia Research Campus, HHMI（HHMI珍妮莉亚研究园区）；University of Toronto（多伦多大学）
深度神经网络的成功取决于我们准确有效地优化高维非凸函数的能力。在本文中，我们实证研究了最先进的网络的损失函数，以及常用的随机梯度下降变量如何优化这些损失函数。为此，我们通过将损失函数投影到基于不同优化算法的收敛点选择的低维空间来可视化损失函数。我们的观察表明，优化算法在许多鞍点遇到并选择不同的下降方向，以找到不同的最终权重。基于我们在相同随机优化算法的重新运行中观察到的一致性，我们假设每个优化算法在这些鞍点处做出特征选择。
2017-12-07 cs.LG
Comparison of Deep learning models on time series forecasting : a case study of Dissolved Oxygen Prediction
University of Pennsylvania（宾夕法尼亚大学）
最近，深度学习在序列学习领域取得了令人印象深刻的预测性能。溶解氧预测作为一种时间序列预测，适合于该技术。虽然许多研究者已经开发出基于深度学习技术的混合模型或变体模型，但目前还没有对该领域的深度学习模型进行全面、合理的比较。此外，以前的大多数研究都集中在使用小数据集进行一步预测。由于可以方便地获取高频数据，本文通过使用向前走验证来比较多步深度学习预测。具体来说，我们基于2012 - 2016年长江固定观测点自动记录的实时数据，对卷积神经网络（CNN）、时间卷积网络（TCN）、长短期记忆（LSTM）、门控递归单元（GRU）、双向递归神经网络（BiRNN）进行了测试。通过比较各时间步的均方根误差（RMSE）、平均绝对误差（MAE）和决定系数的平均累积统计度量，发现对于多步时间序列预测，各时间步的平均性能并不是线性下降的。GRU优于其他型号，具有显著优势。
2019-11-21 cs.LG eess.SP stat.AP
Large-Scale Deep Learning Optimizations: A Comprehensive Survey
National University of Singapore（新加坡国立大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
深度学习在广泛的人工智能应用中取得了可喜的成果。更大的数据集和模型始终会产生更好的性能。然而，我们通常会在更多的计算和通信上花费更长的训练时间。在本次调查中，我们的目标是提供一个关于大规模深度学习在模型准确性和模型效率方面的优化的清晰草图。我们研究了最常用于优化的算法，阐述了大批量训练中出现的泛化差距这一有争议的话题，并回顾了SOTA在解决通信开销和减少内存占用方面的策略。
2021-11-02 cs.LG
Theory of Deep Learning IIb: Optimization Properties of SGD
Center for Brains, Minds, and Machines, McGovern Institute for Brain Research, Massachusetts Institute of Technology（麻省理工学院大脑、心智与机器中心，麦戈文脑科学研究所）；University of Pennsylvania（宾夕法尼亚大学）
在理论IIb中，我们用理论和实验的混合来表征深度卷积网络通过随机梯度下降的优化。本文的主要新结果为以下关于SGD的猜想提供了理论和实验证据：SGD集中在概率上-像经典的Langevin方程一样-在大体积，“平坦”极小值上，选择具有非常高概率的平坦极小值也是全局极小值
2018-01-07 cs.LG
Deep CNN frameworks comparison for malaria diagnosis
Télécom SudParis（高等电信学院（巴黎综合理工学院成员））；Institut Polytechnique de Paris（巴黎综合理工学院）
我们比较了深度卷积神经网络（DCNN）框架，即AlexNet和VGGNet，用于在只有少量训练集的情况下，对大型、灰度、低质量和低分辨率显微图像中的健康和疟疾感染细胞进行分类。实验结果提供了有希望的结果的路径上快速，自动和精确的分类未染色的图像。
2019-09-06 cs.CV cs.LG eess.IV
Deep learning based Meta-modeling for Multi-objective Technology Optimization of Electrical Machines
Robert Bosch GmbH（罗伯特·博世有限公司）
针对旋转电机优化耗时且不同技术需分别优化的问题，提出基于VAE的元建模方法，通过统一潜空间用深度神经网络和解码器分别预测KPI、生成新设计，实现两种电机并行多目标优化，且性能优于经典深度学习直接预测方法。
2023-07-24 cs.LG
Performance Comparison of Design Optimization and Deep Learning-based Inverse Design
Sookmyung Women’s University（淑明女子大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；Narnia Labs（纳尼亚实验室）
针对工程设计领域，本文通过多场景基准问题对比传统设计优化与基于深度学习的逆向设计的性能，提出后者的应用指导原则以提升其实用性。
2023-08-23 cs.LG math.OC
Iterative Surrogate Model Optimization (ISMO): An active learning algorithm for PDE constrained optimization with deep neural networks
SINTEF（挪威科学与工业研究基金会）；ETH Zürich（苏黎世联邦理工学院）；University of Southern California（南加州大学）；TIFR Centre for Applicable Mathematics（塔塔基础研究院应用数学中心）
提出了一种新的主动学习算法--迭代代理模型优化算法（ISMO），用于求解偏微分方程约束最优化问题的鲁棒、高效的数值逼近。该算法基于深度神经网络，其关键特征是通过深度神经网络和任何底层标准优化算法之间的反馈循环迭代选择训练数据。在适当的假设下，我们证明了所得到的优化收敛指数快速（和指数衰减方差），相对于训练样本的数量增加。最优控制，参数识别和形状最优化问题的偏微分方程的数值例子提供验证所提出的理论，并说明ISMO显着优于基于代理优化算法的标准深度神经网络。
2020-08-13 cs.LG cs.NA math.NA
Scalable Nested Optimization for Deep Learning
University of Toronto（多伦多大学）
针对深度学习中的双层嵌套优化问题（如超参数优化和GAN），本文提出了一套可扩展的嵌套优化工具，以解决经典方法在大规模场景下失效的问题。
2024-07-01 cs.AI cs.LG cs.NE
CMA-ES for Hyperparameter Optimization of Deep Neural Networks
Univesity of Freiburg（弗莱堡大学）
深度神经网络的超参数通常通过网格搜索、随机搜索或贝叶斯优化来优化。作为替代方案，我们建议使用协方差矩阵自适应演化策略（CMA-ES），该策略以其在无导数优化中的最新性能而闻名。CMA-ES具有一些有用的不变性性质，并且对于解的并行计算是友好的。我们提供了一个玩具例子，比较了CMA-ES和最先进的贝叶斯优化算法，用于在30个GPU上并行调整MNIST数据集的卷积神经网络的超参数。
2016-04-25 cs.LG cs.NE
