Automatic Discovery of Composite SPMD Partitioning Strategies in PartIR
DeepMind（深度思维）
大型神经网络模型通常通过在单程序多数据（SPMD）范例中组合高级并行策略来训练。例如，训练大型Transformer模型需要组合数据、模型和管道分区;以及优化器分片技术。然而，识别许多模型架构和加速器系统的有效组合需要大量的手动分析。在这项工作中，我们提出了一个自动分区器，通过面向目标的搜索识别这些组合。我们的主要发现是，一个基于蒙特卡罗树搜索的分区利用特定分区的编译器分析直接进入搜索和指导目标匹配专家级的各种模型的战略。
2022-10-07 cs.DC cs.LG cs.NE
Automatic Discovery of Multi-perspective Process Model using Reinforcement Learning
Dongeui University（东义大学）；Pusan National University（釜山国立大学）
流程挖掘是一种基于事件日志的流程模型推导和分析方法。当使用流程挖掘来分析业务流程时，流程发现步骤、一致性检查步骤和增强步骤被重复。如果用户希望从多个角度（例如活动角度、发起者角度和时间角度）分析过程，则必须一遍又一遍地重复上述过程，这是不方便的。虽然过去的研究涉及过程挖掘应用了详细的逐步方法，没有尝试已被纳入和优化多角度的过程挖掘程序。本文有助于开发一个解决这个问题的方法。首先，我们提出了一个基于深度Q-Learning的多视角流程模型自动发现框架。我们的双体验重放与体验分布（DERED）方法可以自动执行流程模型发现步骤、一致性检查步骤和增强步骤。其次，我们提出了一种新的方法，进一步优化经验重放（ER）方法，深度Q学习的关键算法之一，以提高强化学习代理的学习性能。最后，我们使用在港口物流、钢铁制造、金融、IT和政府管理中收集的六个真实事件数据集来验证我们的方法。我们表明，我们的DERED方法可以为用户提供多角度，高质量的过程模型，可以更方便地采用多角度的过程挖掘。
2022-11-30 cs.AI cs.LG
Determining the best attributes for surveillance video keywords generation
The University of Queensland（昆士兰大学）
自动视频关键词生成是减轻安全人员分析监控视频负担的关键因素之一。关键词或属性通常是基于监视的专家知识手动选择的。大多数现有的作品主要针对依赖于广泛的手动标记或分层概率模型的监督学习方法，假设使用词袋方法提取的功能，从而限制了其他功能的利用。为了解决这个问题，我们把注意力转向自动属性发现方法。然而，目前还不清楚哪种自动发现方法可以发现最有意义的属性。此外，很少有人研究如何比较和选择最好的自动属性发现方法。在本文中，我们提出了一种新的方法，基于有意义的属性之间表现出的共享结构，使我们能够比较不同的自动属性发现方法。然后，我们通过比较各种属性发现方法，如PiCoDeS在两个属性数据集上验证我们的方法。评估表明，我们的方法是能够选择的自动发现方法，发现最有意义的属性。然后，我们采用最好的发现方法来生成从监控系统记录的视频的关键字。这项工作表明，它是可能的，以大量减少手工工作量，在生成视频关键字，而不限于一个特定的视频特征描述符。
2016-02-21 cs.AI cs.LG
Automatic Hyper-Parameter Optimization Based on Mapping Discovery from Data to Hyper-Parameters
Harbin Institute of Technology（哈尔滨工业大学）
机器学习算法在人工智能领域取得了令人瞩目的成就。然而，大多数机器学习算法对超参数敏感。人工优化超参数是超参数整定的常用方法。然而，这是昂贵的和经验依赖。自动超参数优化（autoHPO）由于其有效性而受到青睐。然而，目前的autoHPO方法通常只对某一类问题有效，并且时间成本很高。在本文中，我们提出了一种有效的自动参数优化方法，这是基于从数据到相应的超参数的映射。为了描述这种映射，我们提出了一个复杂的网络结构。为了获得这样的映射，我们开发了有效的网络分割算法。在映射的应用过程中，我们还设计了进一步优化映射结果的策略。大量的实验结果表明，所提出的方法优于国家的最先进的approaches显着。
2020-03-03 cs.LG stat.ML
Automatic Expert Discovery in LLM Upcycling via Sparse Interpolated Mixture-of-Experts
Thomson Reuters（汤森路透）；Zhejiang University（浙江大学）
本研究提出SIMoE指令微调算法，可将稠密预训练LLM自动转化为多专业领域的MoE模型，在指定稀疏约束下识别结构稀疏的领域专家并学习输入依赖的专家合并策略，在常用基准上实现SOTA性能与最优性能-计算权衡。
2025-06-14 cs.LG
ArtifactLinker: Linking Scientific Artifacts for Automatic State-of-the-Art Discovery
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Allen Institute for AI（人工智能算法研究所）
本文提出ArtifactLinker框架，通过图神经网络和大语言模型预测模型-数据集链接，并通过编码实验验证，以实现自动发现最新研究成果
2026-08-11 cs.LG
Timeline-based Process Discovery
Humboldt-Universität zu Berlin（柏林洪堡大学）；SAP Signavio
针对现有自动流程发现技术常忽略显式表示时间轴的问题，提出一种自动构建与时间轴显式对齐的流程模型方法，并在直接跟随图中验证，使用多个数据集证明其优于标准布局技术。
2023-12-21 cs.CV cs.HC cs.LG
Position-aware Automatic Circuit Discovery
Technion – Israel Institute of Technology（以色列理工学院）；Northeastern University（东北大学）
本文针对现有电路发现方法忽略位置信息的问题，提出位置感知的自动电路发现方法，通过扩展边归因修补和引入数据集模式，实现位置敏感电路的全自动发现，并在电路规模与忠实度之间取得更好平衡。
2025-02-07 cs.CL cs.LG
Model-free feature selection to facilitate automatic discovery of divergent subgroups in tabular data
IBM Research Africa（IBM非洲研究院）
以数据为中心的人工智能鼓励对数据的清理和理解，以实现可信赖的人工智能。AutoML等现有技术使自动设计和训练模型变得更容易，但缺乏类似水平的功能来提取以数据为中心的见解。按特征手动分层表格数据（例如，性别）被限制为按比例放大更高的特征维度，这可以使用自动发现不同的子组来解决。尽管如此，这些自动发现技术通常在可以使用前面的特征选择步骤来简化的特征的潜在指数组合上进行搜索。现有的用于表格数据的特征选择技术通常涉及拟合特定模型以便选择重要特征。然而，这种基于模型的选择除了需要额外的资源来设计、微调和训练模型之外，还容易出现模型偏差和虚假相关。在本文中，我们提出了一个无模型和基于稀疏性的自动特征选择（SAFS）框架，以促进自动发现不同的子群。与基于过滤器的选择技术不同，我们利用特征值之间客观度量的稀疏性来对特征进行排序和选择。我们在两个公开的数据集（MIMIC-III和Allstate索赔）上验证了SAFS，并将其与六种现有的特征选择方法进行了比较。SAFS实现了特征选择时间的81倍和104倍的减少，分别在MIMIC-III和索赔数据集中的现有方法的平均值。SAFS选择的特征也被示出为实现有竞争力的检测性能，例如，SAFS在Claims数据集中选择的18.3%的特征检测到的发散样本与使用Jaccard相似度为0.95的整体特征检测到的样本相似，但检测时间减少了16倍。
2022-03-08 cs.AI cs.IT cs.LG
Towards Automatic Discovery of Cybercrime Supply Chains
New York University（纽约大学）；University of Cambridge（剑桥大学）；International Computer Science Institute（国际计算机科学研究所）
网络犯罪论坛使现代犯罪企业家能够与其他犯罪分子合作，进行日益高效和复杂的犯罪活动。了解不同产品和服务之间的联系往往可以阐明有效的干预措施。然而，产生这种对供应链的理解目前需要耗时的人工努力。在本文中，我们提出了一种语言无关的方法来自动提取网络犯罪论坛帖子和回复的供应链。我们的供应链检测算法可以在主要的英语和俄语论坛中分别识别出36%和58%的相关链，分别比基线提高了13%和36%。我们对自动生成的供应链的分析显示了这些论坛中产品和服务之间的潜在联系。例如，摘录的供应链说明了黑客出租服务与出售稀有和有价值的“OG”账户之间的联系，这种联系最近才有报道。对产品和服务之间联系的理解揭示了潜在的有效干预点。
2018-12-04 cs.CL cs.CR cs.LG
Automatic Symmetry Discovery with Lie Algebra Convolutional Network
Northwestern University（西北大学）；Northeastern University（东北大学）；University of California San Diego（加州大学圣地亚哥分校）
现有的等变神经网络需要对称群的先验知识和连续群的离散化。我们建议使用李代数（无穷小生成元）而不是李群。我们的模型，李代数卷积网络（L-conv）可以自动发现对称性，并且不需要离散化组。我们表明，L-conv可以作为一个积木来构建任何组等变前馈架构。CNN和图卷积网络都可以用适当的群表示为L-conv。我们发现了L-conv与物理学的直接联系：（1）群不变损失推广了场论;（2）Euler-Lagrange方程度量了鲁棒性;（3）等变导致守恒律和Noether流，这些联系为设计更一般的等变网络并将其应用于物理科学中的重要问题开辟了新的途径
2021-11-01 cs.AI cs.LG math.GR
Optimizing Neural Networks through Activation Function Discovery and Automatic Weight Initialization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cognizant（高知特）
本文提出通过发现更强大的激活函数和建立更稳健的权重初始化技术来优化神经网络，证明了针对特定任务定制方案、联合优化组件及使用学习表示的有效性，推动了全自动化机器学习的发展。
2023-04-06 cs.LG
AutoSGNN: Automatic Propagation Mechanism Discovery for Spectral Graph Neural Networks
Xidian University（西安电子科技大学）；Guangzhou Institute of Technology, Xidian University（西安电子科技大学广州研究院）
针对单个图神经网络难以同时处理不同类型图的问题，提出自动化框架AutoSGNN，结合大语言模型与进化策略统一谱GNN搜索空间以自动生成适应各类图的架构，在九个数据集上性能与效率均优于现有方法。
2024-12-18 cs.LG
Does Twitter know your political views? POLiTweets dataset and semi-automatic method for political leaning discovery
Wroclaw University of Science and Technology（弗罗茨瓦夫理工大学）
每天，世界上都充斥着在Twitter或Facebook上发布的数百万条信息和声明。社交媒体平台试图保护用户的个人数据，但仍然存在滥用的风险，包括选举操纵。你知道吗，只有13篇文章涉及社会上重要或有争议的话题，就足以预测一个人的政治倾向，F1分数为0.85？为了研究这一现象，我们创建了一种新的半自动政治学习发现的通用方法。它依赖于一个人工智能数据注释程序，该程序被评估为与人类注释者达到0.95的一致性（作为准确性度量）。我们还介绍了POLiTweets -第一个公开开放的波兰数据集，用于在多方设置中发现政治派别，包括来自近10 k波兰写作用户的147 k推文，以及来自166个用户的近40 k推文，作为测试集手动注释。我们使用我们的数据来研究主题背景下的领域转移方面和内容作者的类型-普通公民与专业政治家。
2022-06-14 cs.CL cs.LG cs.SI
Automatic Discovery of Interpretable Planning Strategies
在做决策时，人们往往会忽视关键信息，或者被无关信息过度左右。减轻这些偏见的一种常见方法是为决策者，特别是医生等专业人员提供决策辅助工具，如决策树和流程图。设计有效的决策辅助工具是一个难题。我们建议，最近开发的强化学习方法，发现聪明的策略，良好的决策，可以部分利用，以协助人类专家在这个设计过程中。利用上述方法的最大障碍之一是，他们学到的政策对人们来说是不透明的。为了解决这个问题，我们引入了AI-Interpret：一种将特殊策略转换为简单且可解释的描述的通用方法。我们的算法结合了模仿学习和程序归纳的最新进展，一个新的聚类方法，用于识别一个大的子集的演示，可以准确地描述了一个简单的，高性能的决策规则。我们评估我们的新算法，并采用它来翻译通过元级强化学习发现的信息获取策略。大型行为实验的结果表明，将AI-Interpret生成的决策规则作为流程图提供，可以显着改善人们在三种不同类别的顺序决策问题中的规划策略和决策。此外，另一项实验表明，这种方法比通过给人们提供绩效反馈来培训他们更有效。最后，一系列的消融研究证实了AI解释对于发现可解释的决策规则至关重要。我们的结论是，本文提出的方法和研究结果是利用自动策略发现来改善人类决策的重要一步。
2021-04-10 cs.AI cs.CY cs.HC
AutoPref: Automatic Discovery of Task-Specific Preference Objectives for Neural Combinatorial Optimization
该研究提出首个LLM引导的AutoPref框架，将偏好目标分解为成对损失与集合感知加权程序，通过分阶段条件搜索策略实现自动发现，在TSP等四类组合优化问题上性能优于手动设计基线。
2026-07-31 cs.LG
Asymmetric self-play for automatic goal discovery in robotic manipulation
OpenAI
我们训练一个单一的，目标条件的政策，可以解决许多机器人的操作任务，包括以前看不见的目标和对象的任务。我们依赖于非对称的自我游戏来进行目标发现，其中两个代理，Alice和Bob，进行游戏。爱丽丝被要求提出具有挑战性的目标，鲍勃的目标是解决这些问题。我们表明，这种方法可以发现高度多样化和复杂的目标，而无需任何人类先验知识。鲍勃可以只接受稀疏的奖励，因为爱丽丝和鲍勃之间的互动会产生一个自然的课程，鲍勃可以从爱丽丝的轨迹中学习，当爱丽丝被重新标记为目标条件演示时。最后，我们的方法可以扩展，从而产生一个单一的策略，可以推广到许多看不见的任务，如设置一个表，堆叠块，并解决简单的难题。学习策略的视频可在https://robotics-self-play.github.io上获得。
2021-01-13 cs.AI cs.CV cs.LG
Automatic Discovery of Privacy-Utility Pareto Fronts
University of Southern California（南加州大学）；Microsoft Research（微软研究院）；Amazon Research Cambridge（亚马逊剑桥研究院）；University of Cambridge（剑桥大学）；DeepMind
差分隐私是隐私保护数据分析的数学框架。改变差异隐私算法的超参数可以让人们以原则性的方式权衡隐私和效用。提前量化这种权衡对于决策者至关重要，他们的任务是决定在特定应用程序中可以提供多少隐私，同时保持可接受的效用。分析效用保证提供了一个严格的工具来推理这种权衡，但通常只适用于相对简单的问题。对于更复杂的任务，例如在差分隐私下训练神经网络，给定算法实现的效用只能凭经验衡量。本文提出了一种贝叶斯优化方法，有效地表征隐私-效用权衡的任何差分隐私算法只使用经验测量其效用。我们的方法的多功能性说明了一些机器学习任务，涉及多个模型，优化器和数据集。
2020-07-21 cs.LG stat.ML
AED: Automatic Discovery of Effective and Diverse Vulnerabilities for Autonomous Driving Policy with Large Language Models
AED 利用大语言模型自动发现自动驾驶策略的有效且多样的漏洞，提升漏洞发现的多样性和有效性。
2025-11-30 cs.AI cs.CR cs.LG
Automatic Discovery of Disease Subgroups by Contrasting with Healthy Controls
NeuroSpin（神经旋）；Université Paris-Saclay（巴黎-萨克勒大学）；CEA（法国原子能委员会）；LTCI；Institut Polytechnique de Paris（巴黎高等理工学院）
本文提出了一种通过对比患者与健康对照组来发现可解释且同质的疾病亚组的方法，该方法在医学影像数据集上展示了改进的亚组估计质量。
2026-05-20 cs.CV cs.LG
Automatic Discovery of Families of Network Generative Processes
Centre Marc Bloch Berlin（柏林马克·布洛赫中心）；Humboldt Universität（洪堡大学）；CNRS（法国国家科学研究中心）；MAE（法国外交部）
设计合理的网络模型通常需要学者对网络形成的关键驱动因素形成先验直觉。通常情况下，这些直觉是支持的统计估计选择的网络演变过程，这将形成的基础上的模型开发。最近引入了机器学习技术来辅助生成模型的自动发现。这些方法可以更广泛地被描述为“符号回归”，其中基本网络动态功能，而不仅仅是参数，通过遗传编程进化。本章首先旨在回顾这一方向的原则、努力和新兴文献，这与创造人工科学家的想法非常一致。然后，我们的贡献更具体地针对我们最近开发的方法[Menezes \& Roth，2014]，以证明可以通过类似的生成过程描述的网络家族的存在。换句话说，符号回归可以用于根据其推断的基因型（在生成过程方面）而不是其观察到的表型（在统计/拓扑特征方面）对网络进行分组。我们的实证案例基于238个匿名的以自我为中心的Facebook朋友网络的原始数据集，进一步深入了解社交网络的形成。
2019-06-26 cs.LG cs.NE cs.SI
Automatic Discovery and Optimization of Parts for Image Classification
Brown University（布朗大学）；University of Oxford（牛津大学）
基于部分的表示已经被证明是非常有用的图像分类。学习基于部分的模型通常被视为两个阶段的问题。首先，使用促进部分独特性和多样性的分类法发现信息部分的集合，然后在部分响应的向量上训练分类器。在本文中，我们统一了这两个阶段，并共同学习图像分类器和一组共享的部分。我们通过随机抽样部分候选对象并使用L1/L2正则化选择一个好的子集来生成初始部分池。所有步骤都是由同一个目标“直接”驱动的，即训练集上的分类损失。这让我们摆脱了工程设计的障碍。我们还引入了“负部分”的概念，旨在作为与一个或多个类负相关的部分。负相关部分与其他方法发现的部分是互补的，其他方法只寻找正相关。
2015-04-11 cs.CV cs.LG
Generative Models for Automatic Chemical Design
Massachusetts Institute of Technology（麻省理工学院）
材料发现对于解决与能源、环境、医疗保健和许多其他方面相关的紧迫挑战具有决定性意义。在化学领域，传统的创新方法通常依赖于昂贵的增量策略来优化分子结构的性质。另一方面，逆方法将性质映射到结构，从而加快了新的有用化合物的设计。在本章中，我们将研究当前的深层生成模型如何解决逆化学发现范式。我们首先回顾早期的逆向设计算法。然后，我们介绍了分子系统的生成模型，并根据它们的结构和分子表示进行分类。使用这种分类，我们回顾了文献中报道的重要分子生成方案的演变和性能。最后，我们总结了生成模型作为材料发现中的前沿工具的前景和挑战。
2019-07-02 cs.LG physics.chem-ph stat.ML
AnalogGenie: A Generative Engine for Automatic Discovery of Analog Circuit Topologies
Northeastern University（东北大学）；The George Washington University（乔治·华盛顿大学）
本文提出生成式引擎AnalogGenie，通过构建综合数据集与可扩展的图表示方法，实现模拟电路拓扑的自动发现，推动模拟IC设计向生成式AI驱动的自动化转变。
2025-02-28 cs.AR cs.LG
Towards Training-free Automatic Proxy Discovery via Large Language Models for Mixed Precision Quantization
School of Computer and Communication Engineering, Northeastern University（东北大学计算机与通信工程学院）；School of Software Engineering, Beijing Jiaotong University（北京交通大学软件工程学院）；School of Software, Northeastern University（东北大学软件学院）
本文提出TAP框架，利用大语言模型和进化搜索策略，实现无训练的自动代理发现，提升混合精度量化的性能。
2026-09-22 cs.CV cs.LG
LLM4ED: Large Language Models for Automatic Equation Discovery
College of Engineering（工学院）；Peking University（北京大学）；Ningbo Institute of Digital Twin（宁波数字孪生研究院）；Eastern Institute of Technology（东方理工学院）；School of Environmental Science and Engineering（环境科学与工程学院）；Southern University of Science and Technology（南方科技大学）；National Center for Applied Mathematics Shenzhen (NCAMS)（深圳国家应用数学中心）
本文提出LLM4ED框架，利用自然语言提示引导大语言模型自动发现控制方程，通过生成与交替优化策略，在偏微分和常微分方程上验证了有效性，降低了方程发现的应用门槛。
2024-07-22 cs.AI cs.LG cs.SC
AutoQD: Automatic Discovery of Diverse Behaviors with Quality-Diversity Optimization
University of Southern California（南加州大学）；Archimedes AI
AutoQD通过自动生成行为描述符，利用随机傅里叶特征近似MMD，实现无需预定义描述符的多样化策略发现。
2026-03-04 cs.AI cs.LG cs.NE
Reasoning through Evolution: Automatic Meta-path Discovery for LLM-based Fake News Detection
Beihang University（北京航空航天大学）；Chinese Academy of Sciences（中国科学院）；Beijing University of Posts and Telecommunications（北京邮电大学）；Duke-NUS Medical School National University of Singapore（杜克-新加坡国立大学医学院）；Nanyang Technological University（南洋理工大学）
提出多智能体遗传演化框架MAGER，自动发现元路径压缩传播图，使冻结大语言模型在零样本和少样本下实现结构感知的假新闻检测。
2026-09-17 cs.AI cs.LG
Improving Automated Distractor Generation for Math Multiple-choice Questions with Overgenerate-and-rank
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Eedi
针对数学选择题自动生成干扰项的难题，提出基于过度生成-排序的新方法，训练排序模型预测学生选择概率，实验证明其提升了与人工干扰项的一致性。
2024-05-13 cs.CY cs.LG
Measuring Progress in Reasoning Toward Mathematical Discovery with Automatic Verification
University of Oxford（牛津大学）；Benchmark；Harvard University（哈佛大学）；Princeton University（普林斯顿大学）；Ellison Institute of Technology（Ellison技术研究所）
HorizonMath通过自动验证框架评估AI在数学发现中的进展，针对需要深入数学洞察但验证简单的难题，发现部分模型提出改进现有结果的解决方案。
2026-09-11 cs.LG
Automatic and effective discovery of quantum kernels
University of Verona（维罗纳大学）；University of Udine（乌迪内大学）；European Organization for Nuclear Research (CERN)（欧洲核子研究组织（CERN））
本文提出一种借鉴神经架构搜索和AutoML的元启发式优化方法，将量子核电路作为组合对象自动搜索，并在高能物理问题上验证其可达到或超越手动设计的测试精度。
2024-12-26 cs.LG quant-ph
Unsupervised Skill Discovery for Robotic Manipulation through Automatic Task Generation
NAVER LABS Europe（NAVER欧洲实验室）；TU Darmstadt（达姆施塔特工业大学）；EPITA Research Laboratory (LRE)（EPITA研究实验室）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Center for Cognitive Science, TU Darmstadt（达姆施塔特工业大学认知科学中心）；Hessian Center for Artificial Intelligence (Hessian.ai)（黑森州人工智能中心）
针对机器人操作技能学习需求，提出一种通过自动生成大量任务、结合非对称自博弈与乘法组合策略的无监督技能发现方法，可生成交互性更强的可组合技能，适配仿真与真实平台的未知操作任务。
2024-10-07 cs.AI cs.LG cs.RO
Efficient Exploration through Intrinsic Motivation Learning for Unsupervised Subgoal Discovery in Model-Free Hierarchical Reinforcement Learning
University of California, Merced（加州大学默塞德分校）
如何有效地发现子目标是分层强化学习（HRL）中的一个挑战性问题。在本文中，我们表明，内在动机学习提高了探索的效率，导致成功的子目标发现。本文提出了一种基于无监督学习的无模型子目标发现方法。此外，我们还提供了一种统一的方法来学习无模型HRL中的表示。
2019-11-18 cs.AI cs.LG stat.ML
Automatic Attack Discovery for Few-Shot Class-Incremental Learning via Large Language Models
School of Computer and Communication Engineering（计算机与通信工程学院）；School of Information and Communication（信息与通信学院）；University of Electronic Science and Technology of China（电子科学与技术大学）；Department of Strategic and Advanced Interdisciplinary Research（战略与先进跨学科研究部）；Pengcheng Laboratory（鹏城实验室）
本文提出ACraft方法，利用大语言模型自动发现针对少样本类增量学习的最优攻击方法，有效提升攻击性能并降低成本。
2025-12-03 cs.LG
Automatic Meta-Path Discovery for Effective Graph-Based Recommendation
The University of Hong Kong（香港大学）；Southern University of Science and Technology（南方科技大学）；TCL Research（TCL研究院）；The University of Western Australia（西澳大学）
异构信息网络（HIN）是描绘不同类型的实体（例如，用户、电影和导演）。对于HIN，基于元路径的路由器（MPR）利用元路径（即，由节点和链接类型组成的抽象路径）来预测用户偏好，并且由于其可解释性和性能而吸引了很多关注。我们观察到，MPR的性能是高度敏感的元路径，他们使用，但现有的作品手动选择元路径从许多可能的。因此，为了自动发现有效的元路径，我们提出了基于强化学习的元路径选择（RMS）框架。具体来说，我们定义了元路径的向量编码，并设计了一个策略网络来扩展元路径。该策略网络根据下游推荐任务的结果进行训练，并提出了一种提前停止近似策略以加快训练速度。RMS是一个通用的模型，它可以与所有现有的MPR。我们还提出了一个新的MPR称为RMS-HRec，它使用一个注意力机制，从元路径的信息聚合。我们在真实数据集上进行了大量的实验。与手动选择的元路径相比，RMS识别的元路径一致地提高了推荐质量。此外，RMS-HRec在命中率方面平均优于最先进的推荐系统7%。代码和数据集可在https://github.com/Stevenn9981/RMS-HRec上获得。
2022-09-07 cs.IR cs.LG
Discrete Lagrangian Neural Networks with Automatic Symmetry Discovery
University of Oxford（牛津大学）；University of Cambridge（剑桥大学）；Paderborn University（帕德博恩大学）
本文提出一种基于李群理论的框架，从离散运动观测中同时学习离散拉格朗日量及其对称群，从而自动识别守恒量，无需速度或动量数据，并通过变分后向误差分析与连续模型关联，在含噪情况下仍能提升模型性能。
2025-01-27 cs.LG math.SG
Topic Discovery via Latent Space Clustering of Pretrained Language Model Representations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
主题模型是从文本语料库中自动发现主题的重要工具。尽管它们的有效性，主题模型遭受的几个限制，包括无法建模文档中的单词排序信息，将外部语言知识的困难，以及缺乏准确和有效的推理方法来近似棘手的后验。最近，预训练的语言模型（PLM）由于其出色的文本表示，为各种各样的任务带来了惊人的性能提升。有趣的是，还没有标准的方法来部署PLM进行主题发现，作为主题模型的更好的替代品。在本文中，我们首先分析了使用PLM表示的主题发现的挑战，然后提出了一个联合潜在空间学习和聚类框架建立在PLM嵌入。在潜在空间中，主题词和文档主题分布的联合建模，使发现的主题可以解释的连贯性和独特的条款，同时作为有意义的摘要的文件。我们的模型有效地利用了强大的表示能力和高超的语言特征所带来的PLM主题发现，是概念上比主题模型简单。在不同领域的两个基准数据集上，我们的模型生成的主题比强主题模型更加连贯和多样化，并基于自动和人工评估提供了更好的主题文档表示。
2022-02-09 cs.CL cs.IR cs.LG
AI Research Associate for Early-Stage Scientific Discovery
PARC（帕洛阿尔托研究中心）
几十年来，人工智能（AI）在科学活动中的应用越来越多;然而，在科学过程中，它仍然远远不是一个有洞察力和值得信赖的合作者。大多数现有的人工智能方法要么过于简单，无法解决科学家面临的实际问题，要么过于专业化（甚至教条化），扼杀了变革性的发现或范式转变。我们提出了一个早期科学发现的人工智能研究助理，基于（a）一个新的基于物理的建模的最小偏差本体，它是上下文感知的，可解释的，并且可以在经典和相对论物理学中推广;（b）自动搜索可行和简约的假设，在高级别（通过域不可知结构）表示，具有内置的不变量，例如，由预先假定的时空拓扑隐含的守恒原理的假定形式;以及（c）将所列举的假设自动编译为领域特定的、可解释的和可训练/可测试的基于张量的计算图以学习现象学关系，例如，本构或材料的法律，从稀疏（和可能的噪音）的数据集。
2022-02-02 cs.AI cs.LG cs.SC
On sparse regression, Lp-regularization, and automated model discovery
Stanford University（斯坦福大学）；Hamburg University of Technology（汉堡工业大学）
本文研究如何利用结合Lp正则化与物理约束的本构神经网络实现自动模型发现，通过大量实验表明L0正则化能最佳平衡可解释性与预测性，从而同时发现可解释模型和具有物理意义的参数。
2024-01-16 cs.LG
Automated discovery of interpretable gravitational-wave population models
Flatiron Institute（熨斗研究所）；Princeton University（普林斯顿大学）
我们提出了一个自动的方法来发现分析人口模型的引力波（GW）事件的数据。随着更多的引力波（GW）事件被检测到，灵活的模型，如高斯混合模型已变得更加重要，在拟合GW属性的分布，由于他们的表达。然而，灵活的模型带有许多缺乏物理动机的参数，使得解释这些模型的含义具有挑战性。在这项工作中，我们证明了符号回归可以补充灵活的模型，通过蒸馏的后验预测分布，这种灵活的模型到可解释的分析表达式。我们恢复常见的GW人口模型，如幂律加高斯，并找到一个新的经验人口模型相结合的准确性和简单性。这展示了一种在不断增长的GW目录中自动发现可解释的人口模型的策略，该策略可以应用于其他天体物理现象。
2022-07-25 astro-ph.HE astro-ph.IM cs.LG
Weakly-supervised Discovery of Visual Pattern Configurations
University of California, Berkeley（加州大学伯克利分校）
随着弱标记数据的日益突出，对能够应对最小监督的目标检测方法的需求不断增长。我们提出了一种方法，自动识别的视觉模式的特征是一个给定的对象类的歧视性配置。我们制定的问题作为一个受约束的子模块优化问题，并证明了发现的配置在纠正错误定位和寻找信息丰富的积极和消极的训练样本的好处。总之，这些导致了具有挑战性的PASCAL VOC数据集上最先进的弱监督检测结果。
2014-06-25 cs.CV cs.LG
AutoMatBench: An Automatic Optimization Toolkit for the Acceleration of Material Properties Prediction Benchmarking
Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China（中国科学院计算技术研究所）；University of Chinese Academy of Sciences, Beijing, China（中国科学院大学）
研究针对MatBench缺乏反映AI预测模型在分布外材料数据上性能能力的问题，结合MatBench流程与OOD性能评估研究，提出自动工具包AutoMatBench，经实验验证其能节省成本并获相似结果，对新材料发现有积极贡献。
2026-07-14 cs.AI cs.LG
Options Discovery with Budgeted Reinforcement Learning
Sorbonne Universités（索邦大学）；UPMC Univ Paris 06（巴黎第六大学）
我们考虑的问题，学习层次策略的强化学习能够发现选项，一个选项对应于一组原始动作的子策略。在过去十年中提出了不同的模式，这些模式通常依赖于一套预先确定的备选方案。我们专门解决的问题，自动发现决策过程中的选项。我们描述了一种新的学习模型，称为期权神经网络（BONN）能够发现基于预算的学习目标的选项。BONN模型在不同的经典RL问题上进行了评估，展示了定量和定性的有趣结果。
2017-02-22 cs.AI cs.LG
