Unleashing Uncertainty: Efficient Machine Unlearning for Generative AI
ITI, Centre for Research \& Technology Hellas, Greece;University of Amsterdam, Netherlands
本文提出基于信息论的SAFEMax方法,通过最大化生成熵并调控早期扩散步骤,使扩散模型对不允许类别停止去噪并输出高斯噪声,实现高效机器遗忘。
2025-08-28 cs.AI cs.CV cs.LG
Draw with Thought: Unleashing Multimodal Reasoning for Scientific Diagram Generation
Nanjing University of Information Science \& Technology Nanjing China;East China Normal University Shanghai China;The Hong Kong University of Science;Brown University Providence America;Southwest Jiaotong University Chengdu China;Nanjing University of Information Science \& Technology;East China Normal University;Brown University;Southwest Jiaotong University
提出无需训练的框架Draw with Thought,通过认知思维链推理将科学图表重建为可编辑的mxGraph XML代码,并发布Plot2XML基准,实验证明该方法能生成高保真且结构有效的重建结果。
2025-10-13 cs.AI cs.CL
Power Plays: Unleashing Machine Learning Magic in Smart Grids
Westcliff University(韦斯特克利夫大学);Pioneer Alpha(先锋阿尔法);Clark Atlanta University(克拉克亚特兰大大学)
本文研究机器学习在智能电网中的应用,通过集成多种ML算法优化能源分配、需求预测和故障检测,并分析各算法优缺点及未来前景,以提升电网效率、可靠性与可持续性。
2024-10-20 cs.AI cs.LG
State Machine of Thoughts: Leveraging Past Reasoning Trajectories for Enhancing Problem Solving
Kuaishou Technology(快手科技);Hefei University of Technology(合肥工业大学)
针对大语言模型智能体推理轨迹复用效率低的问题,提出SMoT框架,用状态机记录过往推理的成败经验,选择最优子解,在24点游戏和出租车导航强化学习任务中显著提升问题求解能力。
2024-03-09 cs.AI
FedSym: Unleashing the Power of Entropy for Benchmarking the Algorithms for Federated Learning
GATE Institute(GATE研究所)
针对联邦学习数据划分缺乏精度和渐进挑战性的问题,本文提出利用熵和对称性构建难度可控的数据分布,并引入异构性度量与转换技术,通过实验证明其优于现有方法。
2023-10-11 cs.LG
Do Vision-Language-Models show human-like logical problem-solving capability in point and click puzzle games?
Institute of Artificial Intelligence, University of Stuttgart, Stuttgart, Germany(斯图加特大学人工智能研究所)
本文提出VLATIM基准测试,用于评估在经典物理谜题游戏The Incredible Machine 2中人类般的逻辑问题解决能力,发现尽管大模型在规划方面表现优异,但精确的视觉定位仍存在问题,尚未达到人类水平。
2026-05-17 cs.AI
Agent0: Unleashing Self-Evolving Agents from Zero Data via Tool-Integrated Reasoning
Stanford University(斯坦福大学);Salesforce Research(Salesforce研究院)
Agent0通过多步骤共进化和工具集成,在无需外部数据的情况下自主提升代理性能,显著增强推理能力。
2026-09-23 cs.LG
Abstract Visual Reasoning: An Algebraic Approach for Solving Raven's Progressive Matrices
Singapore University of Technology and Design(新加坡科技设计大学);Nanyang Technological University(南洋理工大学);Singapore Polytechnic(新加坡理工学院)
我们介绍代数机器推理,一个新的推理框架,非常适合抽象推理。有效地,代数机器推理减少了新的问题解决常规代数计算的困难过程。基本的代数对象的兴趣是理想的一些适当的初始化多项式环。我们将解释如何解决乌鸦的渐进矩阵(RPM)可以实现为计算问题的代数,其中结合了各种著名的代数子程序,包括:计算格罗布纳基的理想,检查理想的包容性等至关重要的是,额外的代数结构满足理想允许更多的操作理想以外的集理论操作。我们的代数机器推理框架不仅能够从给定的答案集中选择正确的答案,而且还能够仅用给定的问题矩阵生成正确的答案。在I-RAVEN数据集上的实验产生了整体$93.2\%$准确度,其显著优于当前最先进的$77.0\%$准确度,并且在$84.4\%$准确度方面超过了人类表现。
2023-03-21 cs.AI cs.CV cs.SC
Rep-MTL: Unleashing the Power of Representation-level Task Saliency for Multi-Task Learning
The Hong Kong University of Science and Technology(香港科技大学);Zhejiang University(浙江大学)
针对多任务优化偏重梯度冲突而忽视共享表征互补的问题,本文提出Rep-MTL,通过表征级任务显著性、熵惩罚和样本级跨任务对齐缓解负迁移并促进共享。
2025-07-28 cs.CV cs.LG
Unleashing the Expressive Power of Pulse-Based Quantum Neural Networks
Tsinghua University(清华大学);Center for Intelligent and Networked Systems(智能与网络系统中心)
本文从量子控制理论出发,证明基于脉冲的量子神经网络在系综可控条件下可逼近任意非线性函数,并通过数值模拟展示其比基于门电路的模型具有更强的表达能力,为NISQ设备上的QML模型设计奠定理论基础。
2024-06-26 cs.ET cs.LG quant-ph
Unleashing the Power of Randomization in Auditing Differentially Private ML
Google Research(谷歌研究院);Northeastern University(东北大学);University of Washington(华盛顿大学)
本文提出基于提升差分隐私(LiDP)的审计框架,通过随机化金丝雀设计和利用多重统计检验的新置信区间,显著降低了审计差分隐私机器学习算法所需的样本复杂度。
2023-05-29 cs.CR cs.IT cs.LG
Eco-Friendly AI: Unleashing Data Power for Green Federated Learning
DEIB, Politecnico di Milano(迪埃比学院,米兰理工学院)
针对联邦学习能耗与碳排放问题,本文提出以数据为中心的绿色FL方法,通过数据质量分析、子集优选和低影响节点选择构建交互式配置推荐系统,并在时间序列分类中验证其减排效果。
2025-07-23 cs.AI cs.DB cs.DC
Unleashing the power of computational insights in revealing the complexity of biological systems in the new era of spatial multi-omics
West China Biomedical Big Data Center, West China Hospital(华西生物医学大数据中心,华西医院);Med-X Center for Informatics, Sichuan University(四川大学Med-X信息学中心);School of Life Science and Technology, Xidian University(西安电子科技大学生命科学技术学院);Center for Computational Systems Medicine, School of Biomedical Informatics, The University of Texas Health Science Center at Houston(德克萨斯大学休斯顿健康科学中心生物医学信息学院计算系统医学中心);Department of Laboratory Medicine, West China Hospital, Sichuan University(四川大学华西医院实验医学科);Clinical Laboratory Medicine Research Center, West China Hospital, Sichuan University(四川大学华西医院临床检验医学研究中心);Sichuan Clinical Research Center for Laboratory Medicine(四川省临床检验医学研究中心);McGovern Medical School, The University of Texas Health Science Center at Houston(德克萨斯大学休斯顿健康科学中心麦戈文医学院);School of Dentistry, The University of Texas Health Science Center at Houston(德克萨斯大学休斯顿健康科学中心牙科学院)
本综述系统概述了空间多组学技术与计算算法的进展,强调先进机器学习与多组学整合建模在解码细胞空间组织及肿瘤机制中的关键作用,并展望了其在精准医学中的未来方向。
2025-09-16 cs.LG q-bio.QM
An Overview and Discussion of the Suitability of Existing Speech Datasets to Train Machine Learning Models for Collective Problem Solving
Stony Brook University(石溪大学)
本报告评估了现有语音数据集对训练协作问题求解机器学习模型的适宜性,基于认知、社交和情感指标分析了口语理解数据集,并提出未来数据集的开发要求。
2024-12-24 cs.AI cs.LG
Studying Accuracy of Machine Learning Models Trained on Lab Lifting Data in Solving Real-World Problems Using Wearable Sensors for Workplace Safety
NIOSH(美国国家职业安全与健康研究所)
本文研究将实验室训练的举重识别ML模型迁移至现实工作场所安全场景,针对性能下降问题探究原因并提出四种提升模型性能的解决方案。
2023-09-11 cs.AI cs.LG
Predictive Machine Learning of Objective Boundaries for Solving COPs
Simula Research Laboratory(Simula研究院)
求解约束优化问题(COPs)可以通过边界估计来大大简化,即提供成本函数的严格边界。通过向监督机器学习(ML)模型馈送由已知边界和COP的提取特征组成的数据,可以训练模型以估计新COP实例的边界。在本文中,我们首先概述了现有的ML约束编程(CP)知识体系,它从问题实例中学习。其次,我们介绍了一个边界估计框架,作为一种工具,以支持CP求解器。在此框架内,不同的ML模型进行了讨论和评估,其适用性的边界估计,并采取对策,以避免不可行的估计,避免求解器找到一个最佳的解决方案。第三,我们提出了一个实验研究,不同的CP求解器上七个COP。我们的研究结果表明,接近最优的边界可以学习这些COP只有很少的开销。这些估计的边界将目标域的大小减少了60-88%,并且可以帮助求解器在搜索过程中尽早找到接近最优的解决方案。
2021-11-04 cs.AI cs.LG
Tsetlin Machine for Solving Contextual Bandit Problems
McGill University(麦吉尔大学);University of Agder(阿格德大学)
本文介绍了一个可解释的上下文强盗算法使用Tsetlin机,它解决了复杂的模式识别任务使用命题逻辑。建议的强盗学习算法依赖于简单的位操作,从而简化计算和解释。然后,我们提出了一种机制,执行汤普森采样与Tsetlin机,鉴于其非参数性质。我们的实证分析表明,Tsetlin机器作为一个基本的上下文强盗学习者优于其他流行的基本学习者的八个九个数据集。我们进一步分析了我们的学习者的可解释性,研究如何根据模拟上下文的命题表达式选择武器。
2022-02-04 cs.AI cs.LG cs.NE
Machine Learning Methods in Solving the Boolean Satisfiability Problem
Shanghai Jiao Tong University(上海交通大学)
本文综述了利用机器学习求解布尔可满足性问题(SAT)的最新进展,涵盖从手工特征分类器到端到端求解器(如NeuroSAT)以及CDCL和局部搜索与机器学习的结合,并指出了当前局限与未来方向。
2022-03-02 cs.AI cs.LG cs.LO
DeePoly: A High-Order Accuracy Scientific Machine Learning Framework for Function Approximation and Solving PDEs
Institute of Applied Physics and Computational Mathematics(应用物理与计算数学研究院)
针对深度神经网络求解偏微分方程缺乏收敛保证与效率的问题,提出两阶段框架DeePoly,结合DNN全局特征提取与多项式基高精度修正,兼具高阶精度、效率与无网格特性。
2025-06-13 cs.AI cs.LG
Solving hybrid machine learning tasks by traversing weight space geodesics
Caltech(加州理工学院)
机器学习问题具有内在几何结构,因为包括神经网络的权重空间的中心对象和与特定任务相关联的损失函数可以被视为对给定机器学习问题的内在几何结构进行编码。因此,几何概念可以应用于分析和理解机器学习策略的理论特性以及开发新的算法。在本文中,我们通过基于微分几何的统一框架来解决机器学习中三个看似无关的开放问题。具体来说,我们将神经网络的权重空间视为具有黎曼度量的流形,该度量对特定任务的性能进行编码。通过定义一个度量,我们可以在权重空间中构建测地线,最小长度路径,这些路径代表了在特定任务上具有等效或接近等效功能性能的网络集。然后,我们遍历测地线路径,同时确定满足第二个目标的网络。受几何洞察力的启发,我们将测地线框架应用于3个主要应用:(i)网络稀疏化(ii)通过构建一系列目标上的高性能网络来减轻灾难性遗忘,以及(iii)在非凸损失景观中找到连接深度网络的不同局部最优值的高精度路径。我们的结果是在MNIST,CIFAR-10/100上训练的各种网络架构(MLP,VGG 11/16)上获得的。广义上,我们介绍了一个几何框架,统一了一系列的机器学习目标,并可以应用于多个类别的神经网络架构。
2021-06-05 cs.AI cs.LG
Matching Problems to Solutions: An Explainable Way of Solving Machine Learning Problems
Université du Québec à Montréal(蒙特利尔魁北克大学)
本文提出一种可解释的机器学习问题求解工作台,通过表示领域问题与解决方案制品,并利用启发式匹配函数,帮助非专家领域专家选择最合适的算法族。
2024-09-18 cs.AI cs.LG
Machine Learning and Optimization Techniques for Solving Inverse Kinematics in a 7-DOF Robotic Arm
University of Salford(索尔福德大学)
针对7自由度冗余机械臂的逆运动学求解问题,研究13种优化技术并提出一种融合机器学习探索能力与数值方法开发能力的新方法,速度比传统粒子群优化快200倍以上。
2024-06-18 cs.AI cs.LG cs.RO
DeepSeek vs. ChatGPT vs. Claude: A Comparative Study for Scientific Computing and Scientific Machine Learning Tasks
Brown University(布朗大学)
本文系统比较了 DeepSeek、ChatGPT 和 Claude 及其推理优化版本在科学计算与科学机器学习任务中的表现,发现推理类模型显著优于非推理模型,且 ChatGPT o3-mini-high 推理速度最快。
2025-03-08 cs.AI cs.LG
Solving Partial Differential Equations with Equivariant Extreme Learning Machines
Paderborn University(帕德博恩大学);KTH(皇家理工学院);University of Oslo(奥斯陆大学)
本研究提出用等变极限学习机求解偏微分方程,通过划分状态空间窗口单模型分别预测,仅需少量数据甚至单快照即可实现高精度长时间预测,还能利用对称性提升样本效率并保证等变性。
2024-08-17 cs.LG
Solving machine learning optimization problems using quantum computers
U.S. Army Research Laboratory(美国陆军研究实验室);U.S. Military Academy(美国军事学院);Army Cyber Institute(陆军网络研究所)
机器学习中的经典优化算法在应用于多维问题时通常需要很长的计算时间,并且需要大量的CPU和GPU资源。量子并行有可能加速机器学习算法。我们描述了一个通用的数学模型来利用量子并行来加速机器学习算法。我们还将量子机器学习和量子并行应用于随时间变化的$3$维图像。
2019-11-17 cs.LG quant-ph stat.ML
Induction of High-level Behaviors from Problem-solving Traces using Machine Learning Tools
本文将机器学习技术应用于学生建模。它提出了一种方法,发现高层次的学生行为,从一个非常大的一组低层次的痕迹对应的学习环境中的问题解决行动。基本操作被编码到称为case的依赖于域的属性-值模式集合中。然后,一个领域独立的层次聚类确定我们所谓的一般态度,产生自动诊断表示自然语言,在原则上向教师。该方法可以应用于单个学生或整个团体,如班级。我们展示了这个系统的例子,适用于成千上万的学生的行动领域的代数变换。
2009-04-05 cs.LG stat.ML
Multimodal Late Fusion Model for Problem-Solving Strategy Classification in a Machine Learning Game
TUD Dresden University of Technology(德累斯顿技术大学);RWTH Aachen University(亚琛工业大学)
针对数字学习隐性评估现有方法易忽略细微行为线索的问题,提出融合屏幕视觉数据与游戏动作序列的多模态晚期融合模型,在149名中学生的教育游戏试点中分类准确率较单模态基线提升超15%,为策略敏感型评估与自适应支持提供新思路。
2025-07-30 cs.LG
Quantum Architecture Search for Solving Quantum Machine Learning Tasks
本工作提出RL-QAS框架,利用强化学习自动发现适用于分类任务的量子线路架构,在Iris和二值MNIST数据集上实现了高准确率的低复杂度设计,验证了RL在量子机器学习架构搜索中的可行性。
2025-09-14 cs.AI cs.LG quant-ph
Solving Machine Learning Problems
MIT(麻省理工学院);MIT Media Lab(麻省理工学院媒体实验室);University of Waterloo(滑铁卢大学)
机器能学习机器学习吗?这项工作训练了一个机器学习模型来解决大学本科课程中的机器学习问题。我们生成了一组新的训练问题和答案,包括课程练习、作业和来自麻省理工学院6.036机器学习入门课程的测验问题,并训练一个机器学习模型来回答这些问题。我们的系统展示了96%的开放式回答问题和97%的多项选择题的整体准确率,而麻省理工学院学生的平均水平为93%,在课程中实现了A级的表现,所有这些都是实时的。问题涵盖了课程中教授的所有12个主题,不包括编码问题或图像问题。主题包括:(i)基本机器学习原理;(ii)感知器;(iii)特征提取和选择;(iv)逻辑回归;(v)回归;(vi)神经网络;(vii)高级神经网络;(viii)卷积神经网络;(ix)递归神经网络;(x)状态机和MDP;(xi)强化学习;以及(xii)决策树。我们的系统使用Transformer模型的编码器-解码器架构与图形和树表示。我们的方法的一个重要方面是一个数据增强计划产生新的例子问题。我们还训练了一个机器学习模型来生成问题提示。因此,我们的系统自动生成跨主题的新问题,回答开放式回答问题和多项选择题,对问题进行分类,并生成问题提示,推动了STEM教育的AI。
2021-07-02 cs.LG
Solving dynamic multi-objective optimization problems via support vector machine
Xiamen University(厦门大学);City University of Hong Kong(香港城市大学)
动态多目标优化问题是指目标函数随时间变化的优化问题。求解DMOP意味着可以准确地找到不同时刻的Pareto最优集(POS),由于优化问题的动态性,这是一项非常困难的工作。过去获得的POS可以帮助我们更快更准确地找到下一次的POS。因此,本文提出了一种基于支持向量机的动态多目标进化优化算法SVM-DMOEA。该算法利用已获得的POS对SVM进行训练,然后利用训练好的SVM对下一时刻的动态优化问题的解进行分类,从而生成由训练好的SVM识别的不同个体组成的初始种群。初始种群可以被馈送到任何基于种群的优化算法中,例如,非支配排序遗传算法II(NSGA-II),得到此时的POS。实验结果表明了该方法的有效性。
2019-10-19 cs.AI cs.LG cs.NE
UNIFY: a Unified Policy Designing Framework for Solving Constrained Optimization Problems with Machine Learning
University of Bologna(博洛尼亚大学)
机器学习(ML)和约束优化(CO)之间的相互作用最近已经成为越来越多的兴趣的主题,导致一个新的和多产的研究领域,涵盖(例如)决策聚焦学习与约束强化学习。这种方法致力于解决多个阶段的不确定性下的复杂决策问题,涉及显式(成本函数,约束)和隐式知识(来自数据),并可能受到执行时间的限制。虽然已经取得了很大程度的成功,但现有的方法在适用性和有效性方面仍然存在局限性。对于这类问题,我们提出了一个统一的框架来设计复杂决策问题的解决方案。我们的方法依赖于将策略巧妙地分解为两个阶段,即无约束ML模型和CO问题,以利用每种方法的优势,同时弥补其弱点。通过一点设计工作,CRAYY可以概括几种现有的方法,从而扩展它们的适用性。我们证明了两个实际问题,即能源管理系统和设置多覆盖随机覆盖要求的方法的有效性。最后,我们强调了我们的方法和未来的研究方向,可以受益于这两个领域的交叉施肥的一些当前的挑战。
2022-10-25 cs.AI cs.LG math.OC
A machine learning framework for neighbor generation in metaheuristic search
Polytechnique Montreal(蒙特利尔综合理工学院);Jacobs Technion-Cornell Institute(雅各布斯特克尼恩-康奈尔研究所);Cornell Tech(康奈尔科技校区);Technion - IIT(以色列理工学院)
本文提出了一种将机器学习技术集成到元分析中来解决组合最优化问题的方法。也就是说,我们提出了一个通用的机器学习框架的邻居生成元启发式搜索。首先,我们定义了一个有效的邻域结构,通过应用变换从当前的解决方案的变量的一个选定的子集。然后,所提出的方法的关键是通过选择一个真子集的变量,包含在解空间中的下降的目标,以产生有前途的邻居。为了学习一个好的变量选择策略,我们将问题制定为一个分类任务,该任务利用问题的特征和高质量解决方案的结构信息。我们验证了我们的方法上的两个元启发式应用程序:禁忌搜索方案解决无线网络最优化问题和大邻域搜索启发式解决混合的搜索程序。实验结果表明,我们的方法是能够实现一个令人满意的折衷之间的探索一个更大的解决方案空间和开发高质量的解决方案区域的应用程序。
2022-12-22 cs.AI cs.LG math.OC
On a Randomized Multi-Block ADMM for Solving Selected Machine Learning Problems
Stanford University(斯坦福大学);The University of Edinburgh(爱丁堡大学);Oracle Labs(甲骨文实验室)
乘法器的交替方向法(ADMM)由于其相对简单的特点,在解决大规模机器学习和信号处理问题中得到了广泛的关注。然而,经典ADMM的两块结构仍然限制了实际问题的规模。当通过变量分裂强制形成两块以上的结构时,收敛速度大大减慢,这与实际情况是一致的。最近,随机组装循环多块ADMM(RAC-MBADMM)的作者提出了解决一般的凸和非凸二次最优化问题,其中的块的数量可以去大于2,使每个子问题具有较小的规模,可以更有效地解决。在本文中,我们将这种方法应用于解决一些与凸二次优化相关的机器学习问题,如线性回归,LASSO,弹性网络和SVM。我们证明了该算法在标准的统计数据假设下线性收敛于期望。我们使用我们的通用求解器进行多个数值测试,解决合成和大规模的基准问题。我们的研究结果表明,RAC-MBADMM可以显着优于,在解决时间和质量,其他优化算法/代码来解决这些机器学习问题,并匹配的最佳定制的方法,如Glmnet或LIBSVM的性能。在某些问题区域,RAC-MBADMM甚至实现了优于定制方法的性能。
2020-03-20 cs.LG math.OC stat.ML
Multiphysics Bench: Benchmarking and Investigating Scientific Machine Learning for Multiphysics PDEs
xLeaF Lab, Hong Kong University of Science and Technology (Guangzhou)(xLeaF实验室,香港科技大学(广州));National University of Singapore(新加坡国立大学);AI for Science, Shanghai AI Lab(AI for Science,上海人工智能实验室)
针对多物理场偏微分方程求解,构建首个通用多物理场数据集Multiphysics Bench,系统评估多种机器学习求解器性能,并总结实用技巧与见解,推动复杂耦合物理系统研究。
2025-05-23 cs.LG
Solving the Conjugacy Decision Problem via Machine Learning
CUNY Graduate Center(纽约市立大学研究生中心);NYCCT(纽约市立技术学院)
机器学习和模式识别技术已经成功地应用于自由群中的算法问题。在本文中,我们试图将这些技术扩展到非交换的非自由群,特别强调非交换密码学感兴趣的多环和亚阿贝尔群。作为一个典型的例子,我们利用监督学习方法来构建分类器,可以解决共轭判定问题,即,判断一个特定群中的一对元素是否共轭。使用决策树,随机森林和N元组神经网络模型创建的分类器的准确性进行评估,为几个非自由群。这些分类器的非常高的准确性表明了测试组中共轭性的潜在数学关系。
2018-02-21 cs.LG math.GR
Enhancing Column Generation by a Machine-Learning-Based Pricing Heuristic for Graph Coloring
RMIT University(皇家墨尔本理工大学);University of Melbourne(墨尔本大学);Monash University(莫纳什大学)
列生成是求解大规模最优化问题的一种有效方法。CG通过用列的子集(即,变量),并逐渐包括可以改进当前子问题的解决方案的新列。新列是根据需要通过反复求解定价问题生成的,这通常是NP难的,是CG方法的瓶颈。为了解决这个问题,我们提出了一个基于机器学习的定价启发式(MLPH),可以有效地生成许多高质量的列。在CG的每次迭代中,我们的MLPH利用ML模型来预测定价问题的最优解,然后将其用于指导采样方法以有效地生成多个高质量列。使用图着色问题,我们实证表明,与六种最先进的方法相比,MLPH显着增强了CG,并且CG的改进可以导致分支和价格精确方法的性能显着更好。
2022-03-08 cs.AI cs.LG math.OC
A Physics-Informed Machine Learning Approach for Solving Heat Transfer Equation in Advanced Manufacturing and Engineering Applications
University of Washington(华盛顿大学);DuoTech LLC.(DuoTech有限责任公司)
开发了一种物理信息神经网络,用于求解在烘箱中加热零件的制造和工程应用中的传导热传递偏微分方程(PDE)以及作为边界条件(BC)的对流热传递PDE。由于对流系数通常是未知的,目前的分析方法的基础上试错有限元(FE)模拟是缓慢的。基于误差定义了损失函数,使其满足偏微分方程、边界条件和初始条件。一个自适应的归一化方案,同时减少损失项。此外,热传递理论被用于特征工程。通过与有限元计算结果的比较,验证了一维和二维情况下的预测结果。结果表明,使用工程功能,可以预测超出训练区的传热。经过训练的模型允许快速评估一系列BC以开发反馈回路,实现基于传感器数据的主动制造控制的工业4.0概念。
2020-09-28 cs.LG
The Limits of Computation in Solving Equity Trade-Offs in Machine Learning and Justice System Risk Assessment
本文探讨了在机器学习中,特别是在司法环境中,种族平等的不同想法如何能够提出难以通过计算解决的权衡。机器学习通常用于司法环境中,以创建风险评估,用于确定干预措施,资源和惩罚措施。这些基于机器学习的工具的整体方面和性能,例如分数分布、按水平的结果率以及假阳性和真阳性的频率,在按种族群体进行检查时可能会有问题。当这些分数和等级与个人自由的限制和更广泛的种族不平等直接相关时,产生不同分数分布或产生不同等级与结果关系的模型就有问题了。虽然计算可以帮助突出这些方面,但数据和计算不太可能解决这些问题。本文探讨了价值观和使命可能必须填补计算留下的空间。
2021-02-08 cs.LG stat.AP stat.ML
Solving the Data Sparsity Problem in Predicting the Success of the Startups with Machine Learning Methods
Sinovation Ventures(创新工场)
预测创业公司的成功对于创业公司和投资者都非常重要。由于缺乏可用的数据和适当的一般方法,这是困难的。有了像Crunchbase这样的数据平台,可以聚合初创公司的信息,用机器学习算法进行预测。现有的研究受到数据稀疏问题的困扰,因为大多数早期创业公司没有太多的数据可供公众使用。我们试图利用最近的算法来解决这个问题。我们研究了几个机器学习算法与Crunchbase的大数据集。结果表明,LightGBM和XGBoost表现最好,分别达到53.03%和52.96%的F1分数。我们从特征贡献的角度来解释预测。我们根据模型构建投资组合,并取得了很高的成功率。这些发现对机器学习方法如何帮助初创公司和投资者具有重大意义。
2021-12-15 cs.CL cs.LG econ.EM
A Physics-Informed Machine Learning Approach for Solving Distributed Order Fractional Differential Equations
本文提出一种物理信息机器学习方法,通过扩展支持向量回归并结合Gegenbauer多项式核函数,高效求解Caputo型分布阶分数阶常微分和偏微分方程。
2024-09-05 cs.LG cs.NA math.NA
MOD-Net: A Machine Learning Approach via Model-Operator-Data Network for Solving PDEs
Shanghai Jiao Tong University(上海交通大学);Shanghai Center for Brain Science and Brain-Inspired Technology(上海脑科学与类脑研究中心);Peking University(北京大学);AI for Science Institute(北京科学智能研究院)
在本文中,我们提出了一个机器学习方法,通过模型-算子-数据网络(MOD-Net)求解偏微分方程。一个MOD网络是由一个模型驱动的,用于基于数据正则化的算子表示来求解偏微分方程。对于线性偏微分方程,我们使用DNN来参数化格林函数,并根据格林方法获得近似解的神经算子。为了训练DNN,经验风险由具有最小二乘公式或控制方程和边界条件的变分公式的均方损失组成。对于复杂问题,经验风险还包含少量标签,在粗网格点上计算,计算成本低廉,显著提高了模型精度。直观地说,除了模型约束之外,标记数据集还可以作为正则化。MOD-Net解决了一族偏微分方程,而不是一个特定的偏微分方程,并且比原始的神经算子更有效,因为需要很少的昂贵标签。数值计算表明,MOD-Net在求解泊松方程和一维辐射传输方程方面是非常有效的。对于非线性偏微分方程,非线性MOD-Net可以类似地用作求解非线性偏微分方程的模拟器,例如求解几个非线性偏微分方程问题,如Burgers方程。
2021-12-28 cs.LG cs.NA math.NA
Machine Learning-assisted High-speed Combinatorial Optimization with Ising Machines for Dynamically Changing Problems
Toshiba Corporation(东芝公司)
针对动态组合优化问题中伊辛机延迟高、参数需逐次调优的问题,提出结合定制模拟分岔伊辛机架构与机器学习参数估计的嵌入式高速求解方法,在TDMA调度场景中验证了速度优势。
2025-04-02 cs.ET cs.LG
Frequency Shift Physics-Informed Extreme Learning Machine for Solving High-Frequency Partial Differential Equations
School of Mathematics and Statistics, Northwestern Polytechnical University(西北工业大学数学与统计学院);College of Science, Shijiazhuang University(石家庄学院理学院);Department of Engineering Mechanics, Northwestern Polytechnical University(西北工业大学工程力学系);Department of Aeronautical Engineering, Northwestern Polytechnical University(西北工业大学航空工程系);MIIT Key Laboratory of Dynamics and Control of Complex Systems, Northwestern Polytechnical University(西北工业大学工信部复杂系统动力学与控制重点实验室)
提出频移物理信息极限学习机(FS-PIELM),通过平移权重分布均值而非缩放方差来缓解谱偏差,在七个基准问题上相比现有方法精度提升1至近5个数量级。
2026-07-03 cs.LG
Solving Recurrence Relations using Machine Learning, with Application to Cost Analysis
Universidad Politécnica de Madrid(马德里理工大学);IMDEA Software Institute(IMDEA软件研究所);University of California, Merced(加州大学默塞德分校);Spanish Council for Scientific Research(西班牙国家研究委员会)
针对当前静态代价分析中递推关系求解的瓶颈,提出一种结合机器学习稀疏回归、SMT求解器和CAS的通用方法,能有效求解现有工具无法处理的任意带约束递推关系并找到闭式解。
2023-08-30 cs.LG cs.PL
Solving a Machine Learning Regression Problem Based on the Theory of Random Functions
本文基于随机函数理论提出一种从无偏假设出发的回归方法,推导出与广义多项谐波样条一致的核形式,证明其在无限维函数空间上的最优性。
2025-12-14 cs.LG cs.NA math.NA
Thinking Out of the Box: Hybrid SAT Solving by Unconstrained Continuous Optimization
Department of Computer Science, Rice University(计算机科学系,里士大学);Department of Applied Mathematics and Statistics, Colorado School of Mines(应用数学与统计系,科罗拉多矿业学院);Department of Mathematics, University of California, Los Angeles(数学系,加州大学洛杉矶分校)
本文针对混合SAT求解问题,提出基于惩罚项的无约束连续优化公式,并通过理论与实验证明Adam等无约束优化器能有效提升混合基准上的SAT求解性能。
2025-05-31 cs.AI cs.LG cs.LO
Solving adversarial examples requires solving exponential misalignment
研究通过分析神经网络的感知流形维度,揭示对抗样本的起源与机器与人类感知的指数级不一致,并提出维度一致是提升对抗鲁棒性的关键。
2026-03-11 cond-mat.dis-nn cs.LG q-bio.NC
Solving the Online Assignment Problem with Machine Learned Advice
University of the Philippines Diliman(菲律宾大学迪利曼分校)
在线指派问题在运筹学和计算机科学中有着重要的地位,因此提高其解的质量一直是人们关注的焦点。由于输入信息的不完全,在线算法很难产生最优解。在线算法的解决方案的质量是使用竞争比来衡量的。没有一个在线确定性算法可以达到比(2n-1)更好的竞争比。结果表明,在线计算中的建议提高了在线问题的竞争比的下限。在线计算中的建议可以被解释为在线算法的附加信息,以补偿关于整个输入序列的信息的缺乏。在这项研究中,我们研究了如何引入机器学习的建议可以提高这个问题的竞争率。我们通过模拟预先预测整个输入的机器学习算法,为在线分配问题提供了一个在线算法。我们利用一个最佳的离线算法,以提供一个匹配的解决方案,从预测的输入。此外,我们研究了机器学习的预测误差如何影响在线算法的竞争比。我们利用基准数据集进行实证分析。我们表明,随着机器学习预测误差的增加,解决方案的质量下降。此外,误差的大小与输入的大小成正比。这个结果类似于在线分配问题的最佳确定性算法的竞争比,也依赖于参数n。
2022-08-08 cs.CC cs.LG
A Machine Learning Framework for Solving High-Dimensional Mean Field Game and Mean Field Control Problems
Emory University(埃默里大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
平均场博弈(MFG)和平均场控制(MFC)是多智能体模型的关键类别,用于有效分析大量相互作用的智能体。它们的应用领域涵盖经济学、金融学、博弈论、工业工程、人群运动等主题。在本文中,我们提供了一个灵活的机器学习框架的数值解的潜在MFG和MFC模型。用于解决此类问题的最先进的数值方法利用导致维数灾难的空间离散化。我们通过结合拉格朗日和欧拉观点并利用机器学习的最新进展来近似解决高维问题。更确切地说,我们的工作与拉格朗日制定的问题,并执行基本的汉密尔顿-雅可比-贝尔曼(HJB)方程,是从欧拉制定。最后,一个定制的神经网络参数化的MFG/MFC解决方案,帮助我们避免任何空间离散化。我们的数值计算结果包括近似解的100维实例的最佳运输和人群运动的问题,在一个标准的工作站和验证使用欧拉求解器在两个维度。这些结果打开了大门,备受期待的应用程序的MFG和MFC模型,超出了现有的数值方法。
2020-02-15 cs.LG cs.NA math.NA
Self-Adaptive Physics-Informed Quantum Machine Learning for Solving Differential Equations
RWTH Aachen University(亚琛工业大学);Forschungszentrum Jülich(于利希研究中心);University of Cologne(科隆大学)
该研究将切比雪夫多项式与自适应物理信息神经网络结合,在量子机器学习框架下求解多种微分方程,并通过量子关联测量和纠缠层提升精度,为量子设备求解微分方程提供了新途径。
2025-01-20 cs.LG physics.comp-ph quant-ph
Newton vs the machine: solving the chaotic three-body problem using deep neural networks
University of Edinburgh(爱丁堡大学);University of Cambridge(剑桥大学);Instituto de Telecomunicações(电信研究所);Leiden University(莱顿大学)
自从艾萨克·牛顿爵士提出这个理论以来,求解三个物体在它们自己的引力作用下的运动方程的问题实际上一直没有得到解决。目前,给定初始化的解决方案只能通过执行费力的迭代计算来找到,由于系统的混沌性质,迭代计算具有不可预测和潜在的无限计算成本。我们表明,使用任意精度的数值积分器获得的解的集合可以用于训练深度人工神经网络(ANN),该深度人工神经网络在有界时间间隔内以固定的计算成本提供精确的解,并且比最先进的求解器快1亿倍。我们的研究结果提供的证据表明,对于相空间的计算挑战区域,经过训练的人工神经网络可以取代现有的数值求解器,使多体系统的快速和可扩展的模拟能够揭示突出的现象,如黑洞二元系统的形成或致密星团中核心崩溃的起源。
2019-10-16 astro-ph.GA astro-ph.SR cs.LG
RAMS: Residual-based adversarial-gradient moving sample method for scientific machine learning in solving partial differential equations
Department of Civil and Environmental Engineering, Hong Kong Polytechnic University(香港理工大学土木与环境工程系);Department of Statistics and Data Science, Yale University(耶鲁大学统计与数据科学系)
针对科学机器学习中求解偏微分方程时样本量提升与计算成本增加的权衡问题,提出基于残差的对抗梯度移动样本方法RAMS,可高效适配高维PDE及算子学习任务,是首个算子学习领域的高效自适应采样方法。
2025-09-01 cs.CE cs.LG physics.comp-ph
Fast Multilevel Support Vector Machines
Clemson University(克莱姆森大学)
在大规模训练数据上求解支持向量机的不同类型的优化模型(包括参数拟合)通常是一项昂贵的计算任务。本文提出了一种多级算法框架,有效地扩展到非常大的数据集。不是在一个优化过程中求解整个训练集,而是在数据的多个粗糙度级别上获得并逐渐细化支持向量。拟议框架包括:(a)大规模数据粗略表示的层次结构的构造,以及(b)在整个该层次结构中更新超平面的局部处理。我们的多级框架大大提高了计算时间,而不会失去分类器的质量。该算法被证明为定期和加权支持向量机。平衡和不平衡分类问题的实验结果。已观察到若干不平衡数据集的质量有所改善。
2014-10-13 cs.LG stat.ML
Recent Developments in Machine Learning Methods for Stochastic Control and Games
University of California, Santa Barbara(加州大学圣巴巴拉分校);NYU Shanghai(纽约大学上海分校)
本综述聚焦随机控制与博弈领域的深度学习方法,介绍了基于神经网络的高维PDE/BSDE求解方法、无模型强化学习等前沿技术,总结了该交叉领域的最新研究进展,突破了传统数值方法的高维复杂场景局限。
2024-03-11 cs.LG math.OC