Convex optimization for actionable \& plausible counterfactual explanations
Bielefeld University(比勒费尔德大学)
透明性是部署在现实世界中的基于机器学习的决策系统的基本要求。通常,给定系统的透明度是通过提供给定系统的行为和预测的解释来实现的。反事实解释是对决策系统的特定直觉解释的一个突出实例。虽然存在许多不同的计算反事实解释的方法,但只有很少的工作(除了因果关系领域的工作)考虑了特征依赖性以及可能限制可能的反事实解释集的可解释性。在这项工作中,我们加强了我们以前的工作,凸建模计算反事实的解释,确保actionability和actionability的机制,所产生的反事实的解释。
2021-05-17 cs.AI cs.LG
Deep Learning Generalization and the Convex Hull of Training Sets
Yale University(耶鲁大学);VA Connecticut Healthcare System(康涅狄格州退伍军人事务医疗系统)
我们研究了深度学习模型与其训练集的凸包的泛化。训练的图像分类器基本上通过决策边界划分其域,并为每个分区分配一个类。训练集的凸包内的决策边界的位置可以相对于训练样本进行研究。然而,我们的分析表明,在标准图像分类数据集中,所有测试图像都在该凸包之外,在像素空间中,在小波空间中,以及在深度网络学习的内部表示中。因此,训练模型的性能部分取决于其决策边界如何扩展到其训练数据的凸包之外。从这个以前没有研究过的角度来看,深度学习模型的过度参数化可能被认为是形成决策边界扩展的必要条件。同时,过度参数化应该伴随着特定的训练机制,以便产生不仅适合训练集而且其决策边界期望地延伸到凸包之外的模型。为了说明这一点,我们调查的决策边界的神经网络,不同程度的参数,内部和外部的凸包的训练集。此外,我们使用一个多项式决策边界研究过参数化的必要性和训练制度的影响,在塑造其扩展的凸包的训练集。
2021-01-25 cs.LG math.DG
Zeroth-Order Methods for Convex-Concave Minmax Problems: Applications to Decision-Dependent Risk Minimization
University of California, Berkeley(加州大学伯克利分校);University of Washington, Seattle(西雅图华盛顿大学)
最小最大优化正在成为一个关键的框架,用于分析问题的鲁棒性,以战略和对抗性生成的数据。提出了一种基于随机重排的无梯度乐观梯度下降-上升算法,用于求解具有有限和结构的凹凸极大极小问题。证明了该算法具有与求解凸极小化问题的零阶算法相同的收敛速度。我们进一步专门的算法来解决分布鲁棒性,决策相关的学习问题,梯度信息是不容易获得的。通过说明性的模拟,我们观察到,我们提出的方法学习的模型,同时对敌对的分布变化和战略决策的数据源,并优于现有的方法从战略分类文献。
2022-02-19 cs.LG math.OC
Parameterized Convex Universal Approximators for Decision-Making Problems
Seoul National University(首尔国立大学);Institute of Advanced Aerospace Technology(先进航空航天技术研究所)
针对一般决策问题,提出了参数化极大仿射(PMA)网络和参数化对数和指数(PLSE)网络。建议的逼近器推广现有的凸逼近器,即,最大仿射(MA)和对数和指数(LSE)网络,通过考虑条件和决策变量的函数参数,并将MA和LSE网络的网络参数替换为关于条件变量的连续函数。证明了PMA和PLSE的普适逼近定理,表明PMA和PLSE是参数化凸连续函数的保形普适逼近器。提供了将深度神经网络纳入PMA和PLSE网络的实用指南。数值模拟表明所提出的逼近器的性能。仿真结果表明,PLSE优于其他现有的逼近器的最小值和最优值误差的可扩展性和高效的计算高维情况下。
2022-07-13 cs.LG cs.NE math.OC
Online Adaptive Decision Fusion Framework Based on Entropic Projections onto Convex Sets with Application to Wildfire Detection in Video
Bilkent University(比尔肯特大学);Texas A&M University at Qatar(德州农工大学卡塔尔分校)
本文提出了一种基于熵泛函的在线自适应决策融合(EADF)框架,用于图像分析和计算机视觉应用。在这个框架中,假设复合算法由几个子算法组成,每个子算法产生自己的决策,作为以零为中心的实数,表示该特定子算法的置信水平。决策值与权值线性组合,权值根据一种基于熵投影到描述子算法的凸集上的主动融合方法在线更新。它是假设有一个预言家,通常是一个人的操作员,提供反馈的决策融合方法。一个基于视频的野火检测系统的开发,以评估该算法在处理数据顺序到达的问题的性能。在这种情况下,预言机是森林了望塔的安全警卫,验证组合算法的决定。仿真结果。EADF框架还使用标准数据集进行了测试。
2011-01-25 cs.CV cs.LG
Convex Polytope Trees
Department of Statistics, Texas A&M University(得克萨斯农工大学统计系);McCombs School of Business, The University of Texas at Austin(得克萨斯大学奥斯汀分校麦克库姆斯商学院)
决策树通常被限制为使用单个超平面来在其每个内部节点处分割协变量空间。它通常需要大量的节点来实现高精度,损害了其可解释性。在本文中,我们提出了凸多面体树(CPT),扩大家庭的决策树的解释一般化的决策边界。CPT的每个节点处的分裂函数基于不同加权的概率线性决策者的社区的逻辑析取,其在几何上也对应于协变量空间中的凸多面体。我们在每个节点使用非参数贝叶斯先验来推断社区的大小,通过缩小多面体面的数量来鼓励更简单的决策边界。当树结构给定时,我们开发了一种贪婪的方法来有效地构造CPT和可扩展的树参数的端到端训练算法。我们经验证明CPT的效率超过现有的国家的最先进的决策树在几个现实世界的分类和回归任务,从不同的领域。
2020-10-21 cs.LG stat.ML
Numerical Methods for Convex Multistage Stochastic Optimization
Georgia Institute of Technology(佐治亚理工学院)
在随机规划、随机最优控制和马尔可夫决策过程中,研究了随机环境下的序列决策最优化问题。在本文中,我们主要集中在SP和SOC建模方法。在这些框架中,有自然的情况下,所考虑的问题是凸的。序列优化的经典方法是基于动态规划的。它具有所谓的“非线性诅咒”问题,即其计算复杂性随状态变量维数的增加而呈指数增长。凸多阶段随机问题的最新进展是基于动态规划方程的成本(价值)函数的截平面近似。动态环境下的割平面类算法是本文的主要研究内容之一。我们还讨论了应用于多阶段随机最优化问题的随机逼近型方法。从计算复杂性的角度看,这两类方法似乎是相辅相成的。割平面型方法可以处理具有大量阶段的多阶段问题,但状态(决策)变量的数量相对较少。另一方面,随机逼近型方法只能处理少量的阶段,但却处理大量的决策变量。
2023-03-28 cs.AI cs.LG math.OC
On the convex formulations of robust Markov decision processes
HEC Paris(巴黎高等商学院);University of New Hampshire(新罕布什尔大学)
本研究首次提出经典矩形假设下鲁棒马尔可夫决策过程的凸优化形式,通过熵正则化与指数变量替换推导多项式规模的凸形式,并针对三类不确定集简化为锥规划,为该领域开辟新方向。
2023-12-13 cs.LG math.OC
Learning Deterministic Surrogates for Robust Convex QCQPs
University of Edinburgh(爱丁堡大学)
提出双隐层模型,通过求解确定性代理和评估最坏情况,实现不确定凸QCQP的鲁棒决策聚焦学习,并以松弛处理不确定约束,实验验证其正则化有效性。
2023-12-19 cs.AI cs.LG math.OC
Connecting Concept Convexity and Human-Machine Alignment in Deep Neural Networks
Technical University of Denmark(丹麦技术大学);Technische Universität Berlin(柏林工业大学);Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所)
该研究基于行为数据分析预训练与微调 vision transformer,发现潜在表征凸性与人机对齐相关但关系复杂,为可解释、可靠 AI 提供新视角。
2024-09-10 cs.AI cs.LG
Mitigating Gradient Overlap in Deep Residual Networks with Gradient Normalization for Improved Non-Convex Optimization
Stony Brook University(石溪大学)
针对ResNets中跳跃连接导致的梯度重叠和高估问题,提出利用Z-score Normalization(ZNorm)调整梯度尺度并跨层标准化,有效改善了非凸优化场景下的训练效率与大规模数据处理的准确性。
2024-11-15 cs.AI cs.LG
Decision boundaries and convex hulls in the feature space that deep learning functions learn from images
Yale Center for Medical Informatics(耶鲁医学信息学中心);VA CT Healthcare System(康涅狄格州退伍军人医疗保健系统)
深度神经网络在图像分类和学习方面的成功可以部分归因于它们从图像中提取的特征。人们经常猜测模型从图像中提取和学习的低维流形的属性。然而,对这种低维空间的认识无论是从理论上还是从经验上都还不充分。对于图像分类模型,它们的最后一个隐藏层是每个类别的图像与其他类别分开的那一层,并且它也具有最少数量的特征。在这里,我们开发了方法和公式来研究任何模型的特征空间。我们研究了在特征空间中的域的划分,确定区域保证有一定的分类,并调查其对像素空间的影响。我们观察到,与像素空间相比,特征空间中的决策边界的几何排列显着不同,从而提供了有关对抗性漏洞、图像变形、外推、分类模糊性以及对图像分类模型的数学理解的见解。
2022-05-03 cs.AI cs.CV cs.LG
Latency and Ordering Effects in Online Decisions
针对在线决策中存在的延迟反馈与顺序敏感非交换动态问题,本文基于Bregman散度推导超额损失结构化下界,扩展至非凸场景并给出项估计监测方案,为真实系统调优提供可解释框架。
2025-11-17 cs.AI cs.LG
Decision-making at Unsignalized Intersection for Autonomous Vehicles: Left-turn Maneuver with Deep Reinforcement Learning
Chongqing University(重庆大学);Chongqing University Three Gorges Hospital(重庆大学三峡医院)
决策模块使自主车辆能够在复杂的城市环境中,特别是在交叉路口的情况下达到适当的机动。提出了一种基于深度强化学习(DRL)的无人驾驶汽车无信号交叉口左转决策框架。研究的目标是在一个四向无信号交叉口的自动车辆进行高效和安全的左转机动。已开发的DRL方法包括深度Q学习(DQL)和双DQL。仿真结果表明,该决策策略能有效降低碰撞率,提高传输效率。本研究亦显示所建构之左转控制结构具有良好之即时性。
2022-12-21 cs.AI cs.LG
Gradient boosting for convex cone predict and optimize problems
University of Toronto(多伦多大学)
本文提出通用框架 dboost,将梯度提升与凸二次锥规划结合,并通过自定义不动点映射的隐式微分训练,以降低“先预测、后优化”任务的样本外决策遗憾。
2023-06-07 cs.LG math.OC stat.ML
Convex Is Back: Solving Belief MDPs With Convexity-Informed Deep Reinforcement Learning
TU Munich(慕尼黑工业大学);College of Engineering Penn State University(宾夕法尼亚州立大学工程学院)
本文提出在POMDP的深度强化学习中利用信念空间价值函数的凸性,通过硬强制和软强制凸性两种方法提升智能体性能与鲁棒性,并在两个标准环境中验证了其有效性。
2025-03-12 cs.LG
Convex Regularization in Monte-Carlo Tree Search
Technische Universität Darmstadt(达姆施塔特工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
蒙特卡洛规划和强化学习(RL)是顺序决策的基础。最近的AlphaGo和AlphaZero算法已经展示了如何成功地将这两种范式结合起来,以解决大规模的顺序决策问题。这些方法利用了著名的UCT算法的一个变体来权衡利用良好的动作和探索未访问的状态,但它们的经验成功是以样本效率差和计算时间长为代价的。在本文中,我们通过在蒙特卡罗树搜索(MCTS)中考虑凸正则化来克服这些限制,该算法已成功地用于RL以有效地驱动探索。首先,我们介绍了一个统一的理论在MCTS中使用通用凸正则化,得出遗憾分析和指数收敛速度提供保证。其次,我们利用我们的理论框架,引入新的正规化备份运营商的MCTS,基于相对熵的政策更新,和Tsallis熵的政策。最后,我们实证评估建议的运营商在AlphaGo和AlphaZero上的问题,增加维度和分支因子,从一个玩具的问题,几个雅达利游戏,显示其优越性w.r.t.代表性基线。
2021-02-16 cs.AI cs.LG
Dueling Deep Q Network for Highway Decision Making in Autonomous Vehicles: A Case Study
College of Automotive Engineering, Chongqing University(重庆大学汽车工程学院);School of Vehicle and Mobility, Tsinghua University(清华大学车辆与 mobility学院);University of Waterloo(滑铁卢大学)
本文利用深度强化学习(DRL)优化自动驾驶汽车的高速公路决策策略。首先,构建公路驾驶环境,其中包括本车、周围车辆和道路车道。然后将自动驾驶汽车的超车决策问题转化为一个最优控制问题。然后阐述了相关的控制动作、状态变量和优化目标。最后,深度Q网络被应用于获得自我车辆的智能驾驶策略。仿真结果表明,经过学习和训练后,自主车辆能够安全、高效地完成驾驶任务。
2020-07-16 cs.AI cs.LG
Chasing Convex Bodies and Functions with Black-Box Advice
California Institute of Technology(加州理工学院)
我们考虑的问题,凸函数追逐与黑盒的建议,在线决策者的目标是最小化的总成本,决策和切换之间的决策在赋范向量空间,辅助黑盒的建议,如机器学习算法的决定。决策者寻求与执行良好的建议(称为$\textit{consistency}$)相当的成本,同时即使建议是对抗性的,也要确保最坏情况下的$\textit{robustness}$。我们首先考虑的共同范例的算法之间切换的决定的建议和竞争力的算法,这表明在这类算法可以提高3-一致性,同时保持稳健。然后,我们提出了两个新的算法,绕过这个限制,利用问题的凸性。第一个,INTERP,实现$(\sqrt{2}+ε)$ -一致性和$\mathcal{O}(\frac{C}{ε^2})$ -鲁棒性的任何$ε> 0$,其中$C$是凸函数追逐算法或其子类的竞争比。第二个,BDINTERP,实现$(1+ε)$ -一致性和$\mathcal{O}(\frac{CD}ε)$ -鲁棒性的问题有界直径$D$。此外,我们表明,BDINTERP实现近最佳的一致性鲁棒性权衡的特殊情况下,成本函数是$α$ -多面体。
2022-06-23 cs.DS cs.LG math.OC
Online Convex Optimization with Memory and Limited Predictions
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(人工智能与自动化学院,华中科技大学);College of Automation and College of Artificial Intelligence, Nanjing University of Posts and Telecommunications(自动化学院和人工智能学院,南京邮电大学)
本文提出了一种具有记忆和有限预测的在线凸优化算法,通过截断高斯平滑技术实现指数衰减的动态遗憾,并在一般凸优化中达到线性收敛速度。
2025-12-25 cs.LG math.OC
Convex Density Constraints for Computing Plausible Counterfactual Explanations
CITEC - Cognitive Interaction Technology Bielefeld University(比勒费尔德大学认知交互技术中心)
随着机器学习的部署以及欧盟GDPR等法律法规的不断增加,需要对机器学习模型提出的决策进行用户友好的解释。反事实解释被认为是解释模型的特定决策的最流行的技术之一。虽然“任意”反事实解释的计算已经得到了很好的研究,但如何有效地计算合理可行的反事实解释仍然是一个开放的研究问题。我们建立在最近的工作,并提出和研究一个正式的定义似是而非的反事实的解释。特别是,我们研究了如何使用密度估计,以加强可验证性和可行性的反事实的解释。为了有效计算的目的,我们提出了凸密度约束,以确保所得到的反事实位于高密度的数据空间的区域。
2020-08-03 cs.AI cs.LG stat.ML
Recent Advances in Non-convex Smoothness Conditions and Applicability to Deep Linear Neural Networks
University of Wisconsin(威斯康星大学)
本文综述了深度学习非凸优化中的新光滑性条件,对其进行排序并给出判定准则,评估其在深度线性神经网络二分类训练中的适用性。
2024-09-20 cs.LG math.OC
Convex Distillation: Efficient Compression of Deep Networks via Convex Optimization
Stanford University(斯坦福大学)
针对传统深度网络压缩方法保留非凸性、需大量微调且依赖全标注数据的问题,提出基于凸优化的蒸馏方法,仅用原始模型中间激活值即可无标注压缩且无需后微调,数据有限时性能优于标准非凸蒸馏,为边缘部署及凸优化与深度学习交叉研究提供新方向。
2024-10-09 cs.LG
Online Convex Optimization with Unbounded Memory
Cornell University(康奈尔大学)
本文提出具有无界记忆的在线凸优化框架,引入p-有效记忆容量H_p量化历史决策影响,证明策略遗憾的O(√(H_pT))上下界,并应用于在线线性控制与执行预测等问题。
2024-03-29 cs.LG math.OC stat.ML
Global Optimality Beyond Two Layers: Training Deep ReLU Networks via Convex Programs
Stanford University(斯坦福大学)
理解深度神经网络成功背后的基本机制是现代机器学习文献中的关键挑战之一。尽管进行了多次尝试,但尚未开发出可靠的理论分析。在本文中,我们开发了一个新的统一框架,通过凸优化的镜头揭示隐藏的正则化机制。我们首先证明了使用权重衰减正则化的多个三层ReLU子网络的训练可以等效地转换为高维空间中的凸优化问题,其中稀疏性通过组$\ell_1$ -范数正则化来实现。因此,ReLU网络可以被解释为高维特征选择方法。更重要的是,我们证明了等价的凸问题可以全局优化的标准凸优化求解器的多项式时间复杂度的样本数和数据维数时,网络的宽度是固定的。最后,我们通过涉及合成和真实数据集的实验,数值验证了我们的理论结果。
2022-01-13 cs.AI cs.CC cs.LG
Deep Recurrent Q-Learning vs Deep Q-Learning on a simple Partially Observable Markov Decision Process with Minecraft
Ynov Informatique(Ynov信息技术学院)
在过去的几年里,深度Q学习已经成功地应用于各种各样的任务。然而,香草Deep Q-Network的架构不适合处理部分可观察的环境,如3D视频游戏。为此,Deep Q-Network中添加了递归层,以允许它处理过去的依赖关系。我们在这里使用Minecraft的定制优势,并设计了两个非常简单的任务,可以作为部分可观测马尔可夫决策过程的框架。我们在这些任务中比较了深度Q网络和深度递归Q网络,以了解后者是否总是最好的架构,当代理必须处理部分可观测性时,后者更棘手,训练时间更长。
2019-04-11 cs.AI cs.LG cs.NE
Deep Reinforcement Learning for Clinical Decision Support: A Brief Survey
National University of Singapore(新加坡国立大学);National University Hospital(国立大学医院)
由于人工智能特别是深度学习的最新进展,已经实现了许多数据驱动的决策支持系统,以促进医生提供个性化护理。本文重点研究了深度强化学习(DRL)模型。DRL模型在计算机视觉和游戏(如围棋和Atari游戏)中表现出了人类水平甚至更高的性能。然而,深度强化学习技术在临床决策优化中的采用仍然很少见。我们提出了第一个调查,总结了强化学习算法与深度神经网络(DNN)的临床决策支持。我们还讨论了一些案例研究,其中不同的DRL算法被应用于解决各种临床挑战。我们进一步比较和对比各种DRL算法的优点和局限性,并提出了一个初步的指导,如何选择合适的DRL算法的特定的临床应用。
2019-07-22 cs.AI cs.LG stat.ML
From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity
Stanford University(斯坦福大学)
本文基于几何(Clifford)代数与凸优化,证明深度ReLU网络的最优权重由训练样本楔积给出,将训练简化为楔积特征的凸优化,为理解网络内部机制与隐藏层作用提供了新视角。
2024-03-22 cs.AI cs.LG cs.NE
Path Regularization: A Convexity and Sparsity Inducing Regularization for Parallel ReLU Networks
Stanford University(斯坦福大学)
本文研究并行 ReLU 网络的训练问题,提出路径正则化以揭示隐藏凸性并诱导群稀疏,同时给出全多项式时间近似算法及全局最优性保证。
2023-09-26 cs.AI cs.LG stat.ML
A Convexity-dependent Two-Phase Training Algorithm for Deep Neural Networks
Institute of Computer Science, University of St.Gallen (HSG)(施普伦格尔大学计算机科学学院);Institute of Computer Science in Vorarlberg, University of St.Gallen (HSG)(沃斯堡大学计算机科学研究所)
该研究提出基于损失函数从非凸向凸转变假设的两阶段训练算法,用Adam和CG分别对应不同阶段,实验证实可显著提升深度神经网络的收敛性与准确率。
2025-10-30 cs.AI cs.LG math.OC
ConvGeN: Convex space learning improves deep-generative oversampling for tabular imbalanced classification on smaller datasets
University of Rostock(罗斯托克大学);Leibniz-Institute for Food Systems Biology(莱布尼茨食品系统生物学研究所);Technical University of Munich(慕尼黑工业大学);Technische Universität Dresden(德累斯顿工业大学)
数据通常以表格格式存储。一些研究领域倾向于使用不平衡的表格数据。由于类别不平衡,对此类数据进行监督机器学习通常很困难。合成数据生成,即,过采样是用于提高分类器性能的常用补救措施。最先进的线性插值方法,如LoRAS和ProWRAS,可用于从少数类的凸空间生成合成样本,以提高此类情况下的分类器性能。深度生成网络是用于合成样本生成的常见深度学习方法,广泛用于合成图像生成。然而,它们在不平衡分类背景下生成综合表格数据的范围没有得到充分探讨。在这篇文章中,我们表明,与基于线性插值的方法相比,现有的深度生成模型在较小的表格数据集上的不平衡分类问题上表现不佳。为了克服这个问题,我们提出了一个深度生成模型ConvGeN,它将凸空间学习的思想与深度生成模型相结合。ConvGeN学习少数类样本的凸组合的系数,使得合成数据与多数类足够不同。我们的基准测试实验表明,与现有的深度生成模型相比,我们提出的模型ConvGeN改善了这种小数据集上的不平衡分类,同时与现有的线性插值方法相当。此外,我们还讨论了我们的模型如何用于一般的合成表格数据生成,即使在数据不平衡的范围之外,也可以提高凸空间学习的整体适用性。
2022-07-13 cs.LG
Lane Change Decision-Making through Deep Reinforcement Learning
由于交通环境的复杂性和波动性,自动驾驶决策是一个非常困难的问题。在这个项目中,我们使用深度Q网络,以及基于规则的约束来做出换道决策。通过将高级横向决策与低级基于规则的轨迹监测相结合,可以获得安全且有效的车道变换行为。预计智能体在训练了总共100集之后,将在类似真实世界的udacity模拟器中执行适当的变道操作。结果表明,基于规则的DQN方法比DQN方法具有更好的性能。基于规则的DQN实现了0.8的安全率和47 MPH的平均速度
2021-12-24 cs.AI cs.LG cs.RO
Convex Dominance in Deep Learning I: A Scaling Law of Loss and Learning Rate
FAIR, Meta Superintelligence Labs(FAIR,Meta超智能实验室);Independent Researcher(独立研究者)
本研究通过凸性视角构建了深度学习中损失与学习率的缩放定律,揭示了训练初期弱凸特性及学习率调度对损失预测的影响。
2026-02-06 cs.CL cs.LG math.OC
Augmenting Organizational Decision-Making with Deep Learning Algorithms: Principles, Promises, and Challenges
ETH Zurich(苏黎世联邦理工学院)
当前人工智能在管理和组织研究中的理论和研究的扩展使组织决策的理论和研究重新焕发了活力。特别是,深度学习(DL)算法的最新进展有望为组织内的决策带来好处,例如帮助员工进行信息处理,从而增强他们的分析能力,并可能帮助他们过渡到更具创造性的工作。
2020-11-02 cs.LG
COVID-Net US-X: Enhanced Deep Neural Network for Detection of COVID-19 Patient Cases from Convex Ultrasound Imaging Through Extended Linear-Convex Ultrasound Augmentation Learning
University of Waterloo(滑铁卢大学);McGill University(麦吉尔大学);St. Mary’s Hospital(圣玛丽医院);Waterloo AI Institute(滑铁卢人工智能研究院);DarwinAI Corp.(达尔文人工智能公司)
随着全球人口继续面临持续的COVID-19大流行的重大负面影响,床旁超声(POCUS)成像作为COVID-19临床工作流程中低成本且有效的成像方式的选择的使用越来越多。在COVID-19临床工作流程中广泛采用POCUS的一个主要障碍是缺乏能够解释POCUS检查结果的专家临床医生,这导致人们对深度学习驱动的临床决策支持系统产生了极大的兴趣,以应对这一挑战。使用POCUS构建用于COVID-19筛查的深度神经网络的一个主要挑战是用于捕获超声图像的探头类型的异质性(例如,凸探头与线性探头),这可能导致非常不同的视觉外观。在这项研究中,我们探索了利用扩展的线性凸超声增强学习对生成用于COVID-19评估的增强型深度神经网络的影响,其中我们对凸探头数据以及已转换为更好地类似凸探头数据的线性探头数据进行数据增强。使用通过机器驱动的设计探索策略设计的高效深柱状抗锯齿卷积神经网络(我们将其命名为COVID-Net US-X)的实验结果表明,所提出的扩展线性凸超声增强学习显着提高了性能,测试精度提高了5.1%,AUC提高了13.6%。
2022-04-29 cs.CV cs.LG eess.IV
Convex Optimization with an Interpolation-based Projection and its Application to Deep Learning
TU Darmstadt(达姆施塔特工业大学);Télécom Paris(巴黎高等电信学院)
凸优化器作为深度神经架构中的可微层有许多应用。这些凸层的一个应用是将点投影到凸集中。然而,这些凸层的前向和后向传递的计算都比典型的神经网络的计算要昂贵得多。在本文中,我们调查是否一个不准确的,但更便宜的投影,可以驱动下降算法的最佳。具体来说,我们提出了一个插值为基础的投影,计算成本低,易于计算给定的凸,域定义,功能。然后,我们提出了一个优化算法,遵循梯度的组成的目标和投影,并证明其收敛性的线性目标和任意凸和Lipschitz域定义的不等式约束。除了理论上的贡献,我们证明经验的插值投影的实际利益时,结合神经网络在强化学习和监督学习设置。
2020-11-13 cs.LG math.OC stat.ML
Unveiling Hidden Convexity in Deep Learning: a Sparse Signal Processing Perspective
Department of Electrical Engineering, Stanford University(斯坦福大学电气工程系)
本文从稀疏信号处理角度探讨深度学习中隐藏的凸性,通过分析ReLU网络的凸等价关系,解决训练和理解神经网络的挑战。
2026-03-25 cs.LG eess.SP stat.ML
Extended convexity and smoothness and their applications in deep learning
College of Electronics and Information Engineering, Tongji University(电子信息工程学院,同济大学)
本文扩展了强凸性和Lipschitz平滑性概念以阐明深度学习非凸优化机制,证明经验风险最小化等价于优化局部梯度范数与结构误差,并揭示SGD与跳跃连接等技术可有效优化这两者。
2025-04-30 cs.DS cs.LG math.OC
Horospherical Decision Boundaries for Large Margin Classification in Hyperbolic Space
University of Florida(佛罗里达大学);National Taiwan University(台湾大学)
针对双曲空间大间隔分类中决策边界导致非凸优化的问题,提出基于超球面决策边界的分类器,实现测地凸优化并保证全局最优,实验显示性能与SOTA相当。
2023-09-28 cs.LG stat.ML
ROMAX: Certifiably Robust Deep Multiagent Reinforcement Learning via Convex Relaxation
在多机器人系统中,许多网络物理攻击(例如,通信劫持、观察扰动)可以挑战代理的鲁棒性。这种鲁棒性问题在多智能体强化学习中存在,因为存在由同时学习的智能体引起的环境的非平稳性,其改变的策略影响过渡和奖励函数。在本文中,我们提出了一个极大极小MARL方法来推断其他代理的最坏情况下的政策更新。由于极大极小化公式在计算上难以求解,我们应用神经网络的凸松弛来解决内部极小化问题。这样的凸松弛使鲁棒性与对等代理,可能有显着不同的行为,也实现了原始优化问题的认证边界进行交互。我们评估了我们在多个混合合作竞争任务上的方法,并表明我们的方法优于之前在该主题上的最新方法。
2021-09-14 cs.LG
Revealing the Structure of Deep Neural Networks via Convex Duality
Stanford University(斯坦福大学)
我们研究了正则化深度神经网络(DNN),并引入了一个凸分析框架来表征隐藏层的结构。我们表明,一组最佳的隐藏层权重的范数正则化DNN训练问题,可以明确地找到一个凸集的极值点。对于深度线性网络的特殊情况,我们证明了每个最优权重矩阵通过对偶与前一层对齐。更重要的是,我们将相同的特征应用于具有白化数据的深度ReLU网络,并证明了相同的权重对齐。作为推论,我们还证明了范数正则化的深度ReLU网络可以为一维数据集生成样条插值,这在以前只适用于双层网络。此外,我们提供了封闭形式的解决方案时,数据是排名一或白化的最佳层的权重。同样的分析也适用于使用批量归一化的架构,即使是针对任意数据。因此,我们得到了一个完整的解释最近的经验观察称为神经崩溃类手段崩溃的顶点的一个单一的等角紧框架。
2021-06-11 cs.LG stat.ML
Convex Formulation of Overparameterized Deep Neural Networks
Shenzhen Research Institute of Big Data(深圳大数据研究院);Princeton University(普林斯顿大学);HKUST(香港科技大学)
过参数神经网络的分析近年来引起了人们的广泛关注。结果表明,这种系统的行为像凸系统下各种restrictedsettings,如两个层次的神经网络,当学习只局限于本地在所谓的神经切线核空间周围专门的初始化。然而,没有理论技术可以分析在实践中遇到的完全训练的深度神经网络。本文通过研究这种经过充分训练的过参数化深度神经网络来解决这个基本问题。我们推广了一种称为神经特征重新填充的新技术,最初在(Fang et al.,2019 a)用于两级神经网络,以分析深度神经网络。研究表明,在合适的表示下,过参数化深度神经网络本质上是凸的,当优化时,系统可以在温和的条件下学习适合底层学习任务的有效特征。这种新的分析与经验观察一致,即深度神经网络能够学习有效的特征表示。因此,这篇论文高度出乎意料的结果可以令人满意地解释深度神经网络的实际成功。实证研究证实,我们的理论预测是一致的,在实践中观察到的结果。
2019-11-18 cs.LG stat.ML
Study on Supply Chain Finance Decision-Making Model and Enterprise Economic Performance Prediction Based on Deep Reinforcement Learning
University of San Francisco(旧金山大学);Brown University(布朗大学);Cornell University(康奈尔大学);JPMorgan Chase(摩根大通)
本文提出结合深度学习与智能粒子群优化的决策模型,通过深度强化学习优化后端冗余供应链网络,仿真表明该模型有效降低资源消耗并提升动态环境下的实时决策与鲁棒控制能力。
2025-10-31 cs.LG
Characterizing the Decision Boundary of Deep Neural Networks
Michigan State University(密歇根州立大学)
深度神经网络,特别是深度神经分类器已经成为许多现代应用的组成部分。尽管它们在实践中取得了成功,但我们对它们如何工作的了解仍然有限,对这种了解的需求正在不断增长。在这方面,深度神经网络分类器可以帮助我们加深对其决策行为的了解的一个关键方面是调查其决策边界。然而,这取决于是否能够接触到决策边界附近区域的样本。为了实现这一点,我们提出了一种新的方法,我们称之为深度决策边界实例生成(DeepDIG)。DeepDIG利用基于对抗性示例生成的方法作为在任何深度神经网络模型的决策边界附近生成样本的有效方式。然后,我们引入了一组重要的原则性特征,这些特征利用决策边界附近生成的实例来提供对深度神经网络的多方面理解。我们在各种深度神经网络模型的多个代表性数据集上进行了广泛的实验,并描述了它们的决策边界。该代码可在https://github.com/hamidkarimi/DeepDIG/上公开获取。
2020-06-03 cs.CV cs.LG stat.ML
Regret and Cumulative Constraint Violation Analysis for Distributed Online Constrained Convex Optimization
KTH Royal Institute of Technology(瑞典皇家理工学院);Digital Futures(数字未来);Tongji University(同济大学);Shanghai Research Institute for Intelligent Autonomous Systems(上海自主智能无人系统科学中心);Northeastern University(东北大学);Nanyang Technological University(南洋理工大学)
研究了智能体网络上的分布式在线时变约束凸优化问题。这是一个序列决策问题的两个序列的任意变化的凸损失和约束函数。在每一轮,每个代理从决策集中选择一个决策,然后只有一部分的损失函数和约束函数的坐标块在这一轮是私人透露给这个代理。网络的目标是最小化随着时间的推移而积累的网络范围内的损失。提出了完全信息和强盗反馈两种分布式在线算法。该算法分析了动态和静态网络遗憾界,并采用网络累积约束违反来度量约束违反,排除了严格可行约束可以补偿违反约束影响的情况.特别是,我们表明,所提出的算法实现$\mathcal{O}(T^{\max\{κ,1-κ\}})$静态网络遗憾和$\mathcal{O}(T^{1-κ/2})$网络累积约束违反,其中$T$是时间范围和$κ\in(0,1)$是一个用户定义的权衡参数。此外,如果损失函数是强凸的,则静态网络遗憾界可以约化为$\mathcal{O}(T^κ)$ .最后,通过数值模拟验证了理论结果的有效性。
2022-12-27 cs.LG math.OC
A Theory of Regularized Markov Decision Processes
Google Research(谷歌研究院);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
许多最近成功的(深度)强化学习算法利用正则化,通常基于熵或Kullback-Leibler散度。我们提出了一个一般的正则化马尔可夫决策过程的理论,概括这些方法在两个方向:我们考虑一个更大的类的正则化,我们认为一般修改的政策迭代方法,包括政策迭代和值迭代。该理论的核心构建块是正则化Bellman算子和Legendre-Fenchel变换的概念,Legendre-Fenchel变换是凸优化的经典工具。这种方法允许一般的算法方案的错误传播分析,其中(可能的变种)的经典算法,如信赖域策略优化,软Q学习,随机演员批评或动态策略编程的特殊情况。这也与近端凸优化,特别是镜像下降相关联。
2019-06-04 cs.LG stat.ML
Generalized Convexity and Smoothness via Conjugate Duality, with Applications to Deep Network Training
College of Electronics and Information Engineering Tongji University(同济大学电子与信息工程学院);Zhejiang Yuying College of Vocational Technology(浙江育英职业技术学院)
该研究通过Legendre函数与凸共轭构建DNN训练的统一优化框架,引入广义凸性与光滑性,推导广义梯度类优化器的收敛速率,定量分析训练影响因素,实验验证理论与训练动态的一致性。
2026-10-21 cs.LG
Building Decision Forest via Deep Reinforcement Learning
College of Computer Science(计算机学院);Chongqing University(重庆大学)
以决策树为基分类器的包围学习方法通常属于bagging或boosting。然而,以前的工作从来没有建立集成分类器,最大限度地提高长期回报,以我们所知的。提出了一种基于深度强化学习的二值分类决策森林构建方法MA-H-SAC-DF。首先,建立过程被建模为一个分散的部分可观测马尔可夫决策过程,一组合作的代理人共同构建所有的基分类器。其次,基于父结点和当前位置信息定义全局状态和局部观测。最后,国家的最先进的深度强化方法混合SAC扩展到CTDE架构下的多智能体系统,以找到一个最佳的决策森林建设政策。实验表明,MA-H-SAC-DF算法在平衡数据集上与随机森林、Adaboost和GBDT算法性能相当,在非平衡数据集上优于它们。
2022-04-01 cs.LG
Deep neural network initialization with decision trees
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Texas A & M University(得克萨斯农工大学);University of Notre Dame(圣母大学)
在这项工作中,提出了一种基于决策树构建和初始化深度前馈神经网络的新的自动化过程。所提出的算法将在数据上训练的决策树的集合映射到初始化的神经网络的集合,其中网络的结构由树的结构确定。树通知初始化充当神经网络训练过程的热启动,从而产生有效训练的准确网络。这些模型被称为“深度联合信息神经网络“(DJINN),对各种回归和分类数据集表现出高预测性能,并以较低的计算成本显示出与贝叶斯超参数优化相当的性能。通过将决策树模型的用户友好特性与深度神经网络的灵活性和可扩展性相结合,DJINN是一种有吸引力的算法,用于在广泛的复杂数据集上训练预测模型。
2018-07-03 cs.LG
Decision Stream: Cultivating Deep Decision Trees
Russian Research Center of Huawei Technologies(华为技术俄罗斯研究中心);ETH Zurich(苏黎世联邦理工学院)
决策树的各种修改由于其高效率和可解释性在过去的几年中得到了广泛的应用。基于相关特征选择的决策树节点划分是决策树学习的关键步骤,同时也是其主要缺点:递归节点划分导致叶节点数据量几何减少,导致模型复杂度过高和数据过拟合。在本文中,我们提出了一种新的架构-决策流,-旨在克服这个问题。在学习过程中,我们提出了合并节点从不同的分支,而不是建立一个树结构的基础上,他们的相似性,估计与两个样本的测试统计,这导致生成的决策规则,可以包括数百个级别的深度有向无环图。为了评估所提出的解决方案,我们在几个常见的机器学习问题上进行了测试-信用评分,twitter情感分析,飞机飞行控制,MNIST和CIFAR图像分类,合成数据分类和回归。我们的实验结果表明,所提出的方法在回归和分类任务上都显着优于标准的决策树学习方法,预测误差降低高达35%。
2017-09-03 cs.LG
Policy Testing in Markov Decision Processes
CyberAgent;National Tsing Hua University(国立清华大学);KTH, Digital Futures(KTH数字未来)
本文研究了在固定置信度下,通过生成模型进行静态采样时,如何在最小化样本数的情况下判断给定策略的价值是否超过指定阈值。提出了一种新算法,通过将问题转化为反向马尔可夫决策过程中的策略优化任务,解决了非凸约束带来的挑战。
2026-04-20 cs.LG math.ST stat.ML
Deep Online Convex Optimization by Putting Forecaster to Sleep
加速梯度下降等来自凸优化的方法被广泛用作深度学习算法的构建块。然而,他们的经验成功的原因尚不清楚,因为神经网络不是凸的,标准的保证不适用。本文首次在卷积网络上建立了在线凸优化和误差反向传播之间的严格联系。第一步是介绍昼夜节律游戏,一个温和的推广凸游戏具有类似的收敛特性。主要结果是卷积网络上的误差反向传播相当于玩一场昼夜节律游戏。游戏中玩家(神经网络中的单元)的觉醒后悔控制着网络的整体收敛速度。最后,我们探讨了结果的一些含义:(i)我们从理论上描述了神经网络游戏学习的表示,(ii)提出了一种可以插入深度架构的单个单元的学习设置,以及(iii)提出了一种新的自适应模型选择方法,通过应用强盗算法来选择每轮唤醒哪些玩家。
2016-04-08 cs.GT cs.LG cs.NE
Deep Nonparametric Convexified Filtering for Computational Photography, Image Synthesis and Adversarial Defense
Zhipu AI(智谱AI)
提出深度非参数凸化滤波(DNCF)框架,通过非参数网络模拟图像形成物理方程,实现计算摄影图像恢复,具有强泛化性、对抗鲁棒性及10倍加速,可实时防御图像分类对抗攻击。
2023-09-14 cs.CV cs.LG eess.IV
Deep Hedging Under Non-Convexity: Limitations and a Case for AlphaZero
Dalle Molle Institute for Artificial Intelligence (IDSIA) - SUPSI/USI(达摩多人工智能研究所(IDSIA)- SUPSI/USI)
本文研究了深度对冲在非凸性环境下的局限性,提出AlphaZero方法在复制策略上表现更优,具有更高的样本效率。
2025-12-07 cs.LG stat.ML