Does Twitter know your political views? POLiTweets dataset and semi-automatic method for political leaning discovery
Wroclaw University of Science and Technology(弗罗茨瓦夫理工大学)
每天,世界上都充斥着在Twitter或Facebook上发布的数百万条信息和声明。社交媒体平台试图保护用户的个人数据,但仍然存在滥用的风险,包括选举操纵。你知道吗,只有13篇文章涉及社会上重要或有争议的话题,就足以预测一个人的政治倾向,F1分数为0.85?为了研究这一现象,我们创建了一种新的半自动政治学习发现的通用方法。它依赖于一个人工智能数据注释程序,该程序被评估为与人类注释者达到0.95的一致性(作为准确性度量)。我们还介绍了POLiTweets -第一个公开开放的波兰数据集,用于在多方设置中发现政治派别,包括来自近10 k波兰写作用户的147 k推文,以及来自166个用户的近40 k推文,作为测试集手动注释。我们使用我们的数据来研究主题背景下的领域转移方面和内容作者的类型-普通公民与专业政治家。
2022-06-14 cs.CL cs.LG cs.SI
Do LLMs "Feel"? Emotion Circuits Discovery and Control
本研究通过构建受控数据集SEV,提取LLMs中上下文无关的情感方向,并整合局部神经元和注意力头形成全局情感电路,首次系统发现并验证了情感电路,直接调节该电路实现了99.65%的情感表达准确率。
2025-10-13 cs.AI cs.CL
ADAG: Automatically Describing Attribution Graphs
Stanford University(斯坦福大学);Transluce
ADAG通过自动化方法描述归因图,利用归因轮廓和聚类算法生成可解释的电路结构,并发现Llama 3.1 8B Instruct中的有害建议 jailbreak聚类。
2026-04-08 cs.CL
CircuitKIT : Circuit Discovery, Evaluation, and Application Toolkit for Mechanistic Interpretability
介绍CircuitKIT工具包,用于机理可解释性的电路分析。它通过可序列化表示连接工作流程,提供发现算法、声明式接口、电路诊断及应用模块,为电路分析提供通用基础设施,解决了现有方法碎片化问题。
2026-07-22 cs.CL cs.ET cs.LG
MechRL: Reinforcement Learning Agents Perform Circuit Discovery for Mechanistic Interpretability
The University of Southern Mississippi(美国密西西比州立大学)
提出将电路发现转化为强化学习问题,使用PPO策略在GPT-2 small的144个注意力头上进行零消融和对比奖励,成功在训练任务和未见任务上恢复标准电路,验证了强化学习在机械可解释性中的有效性。
2026-06-28 cs.LG
Circuit Fingerprints: How Answer Tokens Encode Their Geometrical Path
Korea Advanced Institute of Science and Technology(韩国科学技术院)
通过几何对齐实现电路发现,揭示transformer电路本质上是几何结构,实现可控引导并提升情感分类准确率。
2026-02-10 cs.CL cs.LG
Attribution Patching Outperforms Automated Circuit Discovery
University of Maryland, College Park(马里兰大学帕克分校)
针对神经网络自动可解释性中的电路发现问题,提出基于归因修补的简单方法,仅需两次前向和一次反向传播,通过线性近似估计边重要性并修剪不重要的边,在电路恢复的AUC上优于现有方法。
2023-11-20 cs.AI cs.CL cs.LG
Automatic Business Process Structure Discovery using Ordered Neurons LSTM: A Preliminary Study
IBM Research China(IBM中国研究院);IBM Research India(IBM印度研究院)
从文本流程文档中自动发现流程对于减少组织中业务流程管理(BPM)实施的时间和成本是非常必要的。然而,现有的自动过程发现方法主要集中在识别活动的文档。推导活动之间的结构关系,这在整个过程发现范围内是重要的,仍然是一个挑战。事实上,业务流程具有潜在的语义层次结构,它定义了不同层次的细节以反映复杂的业务逻辑。神经机器学习领域的最新研究成果表明,通过语言建模和结构学习相结合的方法,可以得到有意义的语言结构。受这些发现的启发,我们建议通过构建一个神经网络来检索文本业务流程文档中存在的潜在层次结构,该网络利用一种新的递归架构,有序神经元LSTM(ON-LSTM),具有流程级语言模型目标。我们测试了我们的实际机器人过程自动化(RPA)项目的过程描述文档(PDD)的数据集所提出的方法。初步实验显示了有希望的结果。
2020-01-05 cs.CL cs.LG
Formal Mechanistic Interpretability: Automated Circuit Discovery with Provable Guarantees
School of Computer Science and Engineering, The Hebrew University of Jerusalem(计算机科学与工程系,耶路撒冷希伯来大学)
本文提出具有可证明保证的自动电路发现算法,通过三种保证类型提升电路的鲁棒性和最小性,为机制可解释性提供理论基础。
2026-02-18 cs.LG cs.LO
IBCircuit: Towards Holistic Circuit Discovery with Information Bottleneck
Department of Systems Engineering;Engineering Management, The Chinese University of Hong Kong, Hong Kong, China;DAMO Academy, Alibaba Group, Hangzhou, China;Hong Kong University of Science;Hupan Lab, Hangzhou, China;Department of Computer Science, Hong Kong Baptist University, Hong Kong, China;School of Artificial Intelligence, Shenzhen University, Shenzhen, China;Tencent, Shenzhen, China
IBCircuit基于信息瓶颈原理,提出端到端方法实现整体电路发现,适用于任意任务,提升电路识别的准确性和效率。
2026-02-26 cs.LG
PAHQ: Accelerating Automated Circuit Discovery through Mixed-Precision Inference Optimization
King Abdullah University of Science and Technology(卡布斯大学);Harbin Institute of Technology(哈尔滨工业大学)
本文提出PAHQ方法,通过混合精度量化优化激活修补操作,加速自动电路发现,减少高达80%运行时间和30%内存,同时保持分析忠实性,并可与现有技术集成。
2025-10-27 cs.AI cs.LG
Dictionary Learning Improves Patch-Free Circuit Discovery in Mechanistic Interpretability: A Case Study on Othello-GPT
OpenMOSS Team(OpenMOSS团队);Fudan University(复旦大学)
提出一种基于稀疏字典学习的无补丁电路发现框架,通过分解残差流模块的字典特征追踪其对模型行为的贡献,在Othello任务上高效发现细粒度可解释电路。
2024-02-19 cs.LG
Evaluating Brain-Inspired Modular Training in Automated Circuit Discovery for Mechanistic Interpretability
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文评估了脑启发模块化训练(BIMT)方法在自动电路发现中的应用,发现其能显著提升电路发现的效率、质量、稀疏性并克服人工局限,推动透明可信AI系统的发展。
2024-01-08 cs.LG cs.NE
Towards Automated Circuit Discovery for Mechanistic Interpretability
UCL(伦敦大学学院);University of Cambridge(剑桥大学);FAR AI
本文系统化机制可解释性流程,并提出ACDC等算法自动发现Transformer计算图中实现指定行为的电路,在GPT-2 Small的Greater-Than电路上成功复现人工发现结果。
2023-10-28 cs.LG
Discovering Transformer Circuits via a Hybrid Attribution and Pruning Framework
Algoverse AI Research(Algoverse AI研究)
针对现有Transformer回路发现算法速度与忠实度难以兼顾的问题,提出混合归因与剪枝框架HAP,在保证回路忠实度的前提下比基线快46%,可助力机制可解释性研究向大模型扩展。
2025-09-28 cs.CL cs.LG
Slaying the Hydra: Interaction-Aware Circuit Discovery in Language Models
Basis Research Institute(基础研究所);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);MIT(麻省理工学院)
本文提出WISE估计量和JuntaLearner方法,用于在语言模型中高效发现考虑组件间交互的电路,显著提升电路识别性能并支持大规模模型。
2026-10-06 cs.AI cs.CL cs.LG
Demystifying Variance in Circuit Discovery of LLMs
Laboratory for Information and Inference Systems (LIONS), École Polytechnique Fédérale de Lausanne (EPFL), Lausanne, Switzerland(信息与推理系统实验室(LIONS),洛桑联邦理工学院(EPFL),瑞士洛桑)
本文研究LLM电路发现中的重采样、重述和样本方差,提出CEAP方法减少重采样方差,并分析重述方差源于不同模板激活不同电路,样本方差主要由不忠定义导致。
2026-06-16 cs.AI cs.LG
Discursive Circuits: How Do Language Models Understand Discourse Relations?
Web IR / NLP Group (WING)(网络信息检索与自然语言处理组)
研究通过引入CuDR任务和构建最小对比对语料库,发现Transformer模型中约占0.2%的稀疏回路(discursive circuits)能恢复并泛化话语理解能力,且模型不同层分工处理语言学特征与话语级抽象。
2025-10-13 cs.CL cs.LG
Rethinking Circuit Completeness in Language Models: AND, OR, and ADDER Gates
Hang Chen School of Computer Science and Technology Xi’an Jiaotong University(Hang Chen 计算机科学与技术学院 西安交通大学);Jiaying Zhu School of Computer Science and Engineering The Chinese University of Hong Kong(Jiaying Zhu 计算科学与工程学院 香港中文大学);Xinyu Yang School of Computer Science and Technology Xi’an Jiaotong University(Xinyu Yang 计算机科学与技术学院 西安交通大学);Wenya Wang School of Computer Science and Engineering Nanyang Technological University(Wenya Wang 计算科学与工程学院 新加坡国立大学)
本文针对电路发现不完备问题,引入AND、OR和ADDER门分解电路,提出结合噪声与去噪干预的框架,实现电路忠实性、完备性和稀疏性,并揭示逻辑门属性。
2025-09-25 cs.LG
Closure-Validated Circuit Discovery in Attention Heads: Co-activation Proposes, Ablation Disposes
通过共激活聚类提出注意力头电路假设,并用因果消融验证闭包性,发现该方法在密集模型有效但在MoE模型失效,表明共激活仅是电路提议而非确认。
2026-06-08 cs.AI cs.LG
Towards Automatic Discovery of Cybercrime Supply Chains
New York University(纽约大学);University of Cambridge(剑桥大学);International Computer Science Institute(国际计算机科学研究所)
网络犯罪论坛使现代犯罪企业家能够与其他犯罪分子合作,进行日益高效和复杂的犯罪活动。了解不同产品和服务之间的联系往往可以阐明有效的干预措施。然而,产生这种对供应链的理解目前需要耗时的人工努力。在本文中,我们提出了一种语言无关的方法来自动提取网络犯罪论坛帖子和回复的供应链。我们的供应链检测算法可以在主要的英语和俄语论坛中分别识别出36%和58%的相关链,分别比基线提高了13%和36%。我们对自动生成的供应链的分析显示了这些论坛中产品和服务之间的潜在联系。例如,摘录的供应链说明了黑客出租服务与出售稀有和有价值的“OG”账户之间的联系,这种联系最近才有报道。对产品和服务之间联系的理解揭示了潜在的有效干预点。
2018-12-04 cs.CL cs.CR cs.LG
Are We Recovering Mechanisms? Objective-Level Recovery Gaps in Mechanistic Interpretability
University of Toronto(多伦多大学);McGill University(麦吉尔大学)
本研究揭示机械可解释性中目标级恢复差距:干预定义的忠实度可能偏好行为复现较差的电路,导致发现算法错误排序,恢复信号可修复多数错误排序。
2026-10-14 cs.LG
AtlasD: Automatic Local Symmetry Discovery
University of California San Diego(加州大学圣地亚哥分校);IBM Research(IBM研究院);Northeastern University(东北大学)
针对现有对称性发现方法忽略局部邻域对称性的问题,本文提出AtlasD流程,将局部对称形式化为地图集等变,通过训练局部预测器并学习其等变的李群基发现局部对称群,可提升多类下游任务性能。
2025-06-13 cs.LG
AnalogFed: Privacy-Preserving Discovery of Analog Circuits at Scale with Federated Generative AI
Department of Electrical and Computer Engineering, The George Washington University(电气与计算机工程系,乔治·华盛顿大学)
提出AnalogFed,首个结合联邦学习和生成式AI的隐私保护框架,用于大规模模拟电路拓扑发现,通过虚拟令牌注入和同态加密防御成员推理和模型反转攻击,实现高效协作设计。
2026-06-17 cs.AI cs.LG
Differentiable Logical Programming for Quantum Circuit Discovery and Optimization
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
本文提出一种神经符号框架,将量子电路设计转化为可微逻辑编程问题,通过梯度下降优化逻辑公理,实现高保真量子电路的发现与优化,展示了在4量子位QFT发现和IBM Fez处理器上的应用效果。
2026-04-09 cs.LG quant-ph
AutoAdapt: Automatic Domain Discovery Enables Low-Cost Extensibility
University of Limerick(利莫瑞克大学)
AutoAdapt通过自动发现潜在领域并独立训练每个领域的LoRA适配器,实现无需全模型重训的模块化扩展,在14个基准上达到与全局训练相当的性能。
2026-10-08 cs.LG
EXP-CAM: Explanation Generation and Circuit Discovery Using Classifier Activation Matching
EXP-CAM通过分类器激活匹配生成最小且忠实的图像解释,揭示模型内部计算机制。
2025-11-28 cs.LG
Estimation of Convex Polytopes for Automatic Discovery of Charge State Transitions in Quantum Dot Arrays
University of Copenhagen(哥本哈根大学)
在基于自旋的量子点阵列中,材料或制造的不精确性会影响器件的行为,在控制器件时必须考虑这一点。这需要测量特定凸多面体的形状。在这项工作中,我们提出了一个算法,自动发现的凸多面体的小平面从测量的数量,形状和大小。模拟设备以及真实的2x2自旋量子比特阵列的结果表明,我们可以可靠地找到凸多面体的刻面,包括尺寸与测量精度相当的小刻面。
2022-05-24 cond-mat.mes-hall cs.LG
Scaling up the Automatic Statistician: Scalable Structure Discovery using Gaussian Processes
University of Oxford(牛津大学);DeepMind
自动化统计建模是人工智能领域的一个具有挑战性的问题。自动统计学家在这个方向上迈出了第一步,通过采用高斯过程(GP)的核搜索算法为回归问题提供可解释的统计模型。但是,由于模型选择的$O(N^3)$运行时间,这不会扩展。我们提出了可扩展的内核组成(SKC),一个可扩展的内核搜索算法,扩展自动统计更大的数据集。在这样做时,我们推导出一个便宜的上限的GP边际似然,三明治的边际似然与变分下限。我们表明,上界是显着更紧密的下界,因此有用的模型选择。
2018-02-14 cs.LG stat.ML
Explaining the Explainer: Understanding the Inner Workings of Transformer-based Symbolic Regression Models
University of Amsterdam(阿姆斯特丹大学)
本文提出PATCHES算法用于发现符号回归模型中的电路,通过因果评估验证了其有效性,并展示了机理可解释性在SR中的应用潜力。
2026-02-03 cs.AI cs.LG
RelP: Faithful and Efficient Circuit Discovery in Language Models via Relevance Patching
Machine Learning Group, Technische Universität Berlin(柏林技术大学机器学习组);BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究院)
激活补丁是一种标准的方法,用于定位负责特定行为的模型组件的机械可解释性,但它是计算昂贵的规模应用。归因修补提供了一种更快的基于梯度的近似,但在深度、高度非线性的网络中会受到噪声和可靠性降低的影响。在这项工作中,我们介绍了相关修补(RelP),它取代了本地梯度的属性修补与传播系数来自逐层相关传播(LRP)。LRP通过层向后传播网络的输出,根据本地传播规则将相关性重新分配到较低级别的组件,以确保相关性守恒或改善信噪比等属性。与属性修补一样,RelP只需要两次向前传递和一次向后传递,在保持计算效率的同时提高了忠诚度。我们在一系列模型和任务中验证了RelP,表明它比标准属性修补更准确地近似于激活修补,特别是在分析间接对象识别(IOI)任务中的残留流和MLP输出时。例如,对于GPT-2 Large中的MLP输出,归因修补实现了0.006的Pearson相关性,而RelP达到了0.956,突出了RelP提供的改进。此外,我们比较了由RelP和集成电路(IG)确定的稀疏特征电路的忠实性,表明RelP实现了相当的忠实性,而无需与IG相关的额外计算成本。
2025-10-30 cs.LG
Scalable Variational Quantum Circuits for Autoencoder-based Drug Discovery
The Pennsylvania State University(宾夕法尼亚州立大学)
药物分子的从头设计被认为是一个耗时且昂贵的过程,并且计算方法已应用于药物发现管道的每个阶段。变分自动编码是一种基于分子数据库探索化学空间的计算机辅助设计方法。量子机器学习已经成为一种非典型的学习方法,由于其强大的表达能力,它可能会加速一些经典的学习任务。然而,近期量子计算机的量子比特数量有限,这阻碍了高维空间中的表示学习。我们提出了一个可扩展的量子生成自动编码器(SQ-VAE),用于同时重建和采样药物分子,以及相应的香草变体(SQ-AE),用于更好的重建。提出了混合量子经典网络的结构策略,如可调量子层深度、异构学习速率和补丁量子线路,用于学习高维数据集,如配体靶向药物。广泛的实验结果报告不同的尺寸,包括8x8和32 x32后,选择合适的架构策略。量子生成式自编码器的性能进行了比较,在整个实验中与相应的经典对应。结果表明,对于归一化的低维分子,可以实现量子计算的优势,而在相同的学习周期内,量子生成自编码器生成的高维分子具有更好的药物性质。
2021-11-15 cs.ET cs.LG quant-ph
Self-Supervised Discovery of Neural Circuits in Spatially Patterned Neural Responses with Graph Neural Networks
Department of Electronic Engineering(电子工程系);Department of Artificial Intelligence(人工智能系);Hanyang University(翰阳大学)
本研究提出一种基于图神经网络的模型,通过自监督结构学习同时预测神经活动并推断潜在连接,在合成与真实数据上验证了其恢复准确连接权重的能力。
2025-10-25 cs.LG q-bio.NC q-bio.QM
Automatic Expert Discovery in LLM Upcycling via Sparse Interpolated Mixture-of-Experts
Thomson Reuters(汤森路透);Zhejiang University(浙江大学)
本研究提出SIMoE指令微调算法,可将稠密预训练LLM自动转化为多专业领域的MoE模型,在指定稀疏约束下识别结构稀疏的领域专家并学习输入依赖的专家合并策略,在常用基准上实现SOTA性能与最优性能-计算权衡。
2025-06-14 cs.LG
Automatic Discovery of Composite SPMD Partitioning Strategies in PartIR
DeepMind(深度思维)
大型神经网络模型通常通过在单程序多数据(SPMD)范例中组合高级并行策略来训练。例如,训练大型Transformer模型需要组合数据、模型和管道分区;以及优化器分片技术。然而,识别许多模型架构和加速器系统的有效组合需要大量的手动分析。在这项工作中,我们提出了一个自动分区器,通过面向目标的搜索识别这些组合。我们的主要发现是,一个基于蒙特卡罗树搜索的分区利用特定分区的编译器分析直接进入搜索和指导目标匹配专家级的各种模型的战略。
2022-10-07 cs.DC cs.LG cs.NE
Automatic Discovery of Multi-perspective Process Model using Reinforcement Learning
Dongeui University(东义大学);Pusan National University(釜山国立大学)
流程挖掘是一种基于事件日志的流程模型推导和分析方法。当使用流程挖掘来分析业务流程时,流程发现步骤、一致性检查步骤和增强步骤被重复。如果用户希望从多个角度(例如活动角度、发起者角度和时间角度)分析过程,则必须一遍又一遍地重复上述过程,这是不方便的。虽然过去的研究涉及过程挖掘应用了详细的逐步方法,没有尝试已被纳入和优化多角度的过程挖掘程序。本文有助于开发一个解决这个问题的方法。首先,我们提出了一个基于深度Q-Learning的多视角流程模型自动发现框架。我们的双体验重放与体验分布(DERED)方法可以自动执行流程模型发现步骤、一致性检查步骤和增强步骤。其次,我们提出了一种新的方法,进一步优化经验重放(ER)方法,深度Q学习的关键算法之一,以提高强化学习代理的学习性能。最后,我们使用在港口物流、钢铁制造、金融、IT和政府管理中收集的六个真实事件数据集来验证我们的方法。我们表明,我们的DERED方法可以为用户提供多角度,高质量的过程模型,可以更方便地采用多角度的过程挖掘。
2022-11-30 cs.AI cs.LG
ArtifactLinker: Linking Scientific Artifacts for Automatic State-of-the-Art Discovery
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Allen Institute for AI(人工智能算法研究所)
本文提出ArtifactLinker框架,通过图神经网络和大语言模型预测模型-数据集链接,并通过编码实验验证,以实现自动发现最新研究成果
2026-08-11 cs.LG
Determining the best attributes for surveillance video keywords generation
The University of Queensland(昆士兰大学)
自动视频关键词生成是减轻安全人员分析监控视频负担的关键因素之一。关键词或属性通常是基于监视的专家知识手动选择的。大多数现有的作品主要针对依赖于广泛的手动标记或分层概率模型的监督学习方法,假设使用词袋方法提取的功能,从而限制了其他功能的利用。为了解决这个问题,我们把注意力转向自动属性发现方法。然而,目前还不清楚哪种自动发现方法可以发现最有意义的属性。此外,很少有人研究如何比较和选择最好的自动属性发现方法。在本文中,我们提出了一种新的方法,基于有意义的属性之间表现出的共享结构,使我们能够比较不同的自动属性发现方法。然后,我们通过比较各种属性发现方法,如PiCoDeS在两个属性数据集上验证我们的方法。评估表明,我们的方法是能够选择的自动发现方法,发现最有意义的属性。然后,我们采用最好的发现方法来生成从监控系统记录的视频的关键字。这项工作表明,它是可能的,以大量减少手工工作量,在生成视频关键字,而不限于一个特定的视频特征描述符。
2016-02-21 cs.AI cs.LG
Beyond Transfer Accuracy: Mechanism-Guided Controlled Adaptation for Low-Resource Languages
Monash University Indonesia(印度尼西亚墨尔本大学);Institute Teknologi Bandung(Bandung理工大学);MBZUAI(MBZUAI研究所);Boston University(波士顿大学)
提出基于上下文分解的电路发现方法(CD-T),通过标签平衡激活均值和任务方向相关性评分实现无反事实电路发现,并利用电路目标监督微调(CT-SFT)在低资源跨语言情感迁移中最小化灾难性遗忘,优于全局微调。
2026-09-03 cs.AI cs.CL cs.LG
Automatic Hyper-Parameter Optimization Based on Mapping Discovery from Data to Hyper-Parameters
Harbin Institute of Technology(哈尔滨工业大学)
机器学习算法在人工智能领域取得了令人瞩目的成就。然而,大多数机器学习算法对超参数敏感。人工优化超参数是超参数整定的常用方法。然而,这是昂贵的和经验依赖。自动超参数优化(autoHPO)由于其有效性而受到青睐。然而,目前的autoHPO方法通常只对某一类问题有效,并且时间成本很高。在本文中,我们提出了一种有效的自动参数优化方法,这是基于从数据到相应的超参数的映射。为了描述这种映射,我们提出了一个复杂的网络结构。为了获得这样的映射,我们开发了有效的网络分割算法。在映射的应用过程中,我们还设计了进一步优化映射结果的策略。大量的实验结果表明,所提出的方法优于国家的最先进的approaches显着。
2020-03-03 cs.LG stat.ML
Toward Semi-Automatic Misconception Discovery Using Code Embeddings
North Carolina State University(北卡罗来纳州立大学)
了解学生的错误概念对有效的教学和评估非常重要。然而,手动发现这样的误解可能是费时费力的。自动化的误解发现可以通过突出学生数据中的模式来解决这些挑战,然后领域专家可以检查这些模式以识别误解。在这项工作中,我们提出了一种新的方法,从学生的程序代码在计算课程中的问题特定的误解的半自动发现,使用一个国家的最先进的代码分类模型。我们在基于块的编程数据集上训练模型,并使用学习的嵌入来聚类不正确的学生提交。我们发现这些集群对应于对问题的特定误解,并且不容易通过现有方法发现。我们还讨论了我们的方法的潜在应用,以及这些误解如何告知特定领域的见解到学生的学习过程。
2021-03-07 cs.CY cs.LG cs.SE
Graph Neural Networks for Automatic Addition of Optimizing Components in Printed Circuit Board Schematics
University of Kassel(卡塞尔大学);CELUS GmbH(CELUS公司);Intelligent Embedded Systems, University of Kassel(智能嵌入式系统,卡塞尔大学)
针对PCB原理图手动添加优化组件效率低、易被忽视的问题,提出将原理图表示为二分图、用基于GNN的节点对预测模型实现自动添加的方法,在真实数据集上验证了高精度与省时降本的潜力。
2025-06-12 cs.LG
Optimizing Neural Networks through Activation Function Discovery and Automatic Weight Initialization
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Cognizant(高知特)
本文提出通过发现更强大的激活函数和建立更稳健的权重初始化技术来优化神经网络,证明了针对特定任务定制方案、联合优化组件及使用学习表示的有效性,推动了全自动化机器学习的发展。
2023-04-06 cs.LG
Separating Ansatz Discovery from Deployment on Larger Problems: Reinforcement Learning for Modular Circuit Design
Politecnico di Milano(米兰理工大学)
本文提出了一种用于模块化电路设计的强化学习方法,通过在小规模实例上学习可重用的模块化结构,从而在更大问题上实现更高效的ansatz设计。
2026-03-01 cs.LG quant-ph
AutoSGNN: Automatic Propagation Mechanism Discovery for Spectral Graph Neural Networks
Xidian University(西安电子科技大学);Guangzhou Institute of Technology, Xidian University(西安电子科技大学广州研究院)
针对单个图神经网络难以同时处理不同类型图的问题,提出自动化框架AutoSGNN,结合大语言模型与进化策略统一谱GNN搜索空间以自动生成适应各类图的架构,在九个数据集上性能与效率均优于现有方法。
2024-12-18 cs.LG
Timeline-based Process Discovery
Humboldt-Universität zu Berlin(柏林洪堡大学);SAP Signavio
针对现有自动流程发现技术常忽略显式表示时间轴的问题,提出一种自动构建与时间轴显式对齐的流程模型方法,并在直接跟随图中验证,使用多个数据集证明其优于标准布局技术。
2023-12-21 cs.CV cs.HC cs.LG
Automatic Symmetry Discovery with Lie Algebra Convolutional Network
Northwestern University(西北大学);Northeastern University(东北大学);University of California San Diego(加州大学圣地亚哥分校)
现有的等变神经网络需要对称群的先验知识和连续群的离散化。我们建议使用李代数(无穷小生成元)而不是李群。我们的模型,李代数卷积网络(L-conv)可以自动发现对称性,并且不需要离散化组。我们表明,L-conv可以作为一个积木来构建任何组等变前馈架构。CNN和图卷积网络都可以用适当的群表示为L-conv。我们发现了L-conv与物理学的直接联系:(1)群不变损失推广了场论;(2)Euler-Lagrange方程度量了鲁棒性;(3)等变导致守恒律和Noether流,这些联系为设计更一般的等变网络并将其应用于物理科学中的重要问题开辟了新的途径
2021-11-01 cs.AI cs.LG math.GR
Model-free feature selection to facilitate automatic discovery of divergent subgroups in tabular data
IBM Research Africa(IBM非洲研究院)
以数据为中心的人工智能鼓励对数据的清理和理解,以实现可信赖的人工智能。AutoML等现有技术使自动设计和训练模型变得更容易,但缺乏类似水平的功能来提取以数据为中心的见解。按特征手动分层表格数据(例如,性别)被限制为按比例放大更高的特征维度,这可以使用自动发现不同的子组来解决。尽管如此,这些自动发现技术通常在可以使用前面的特征选择步骤来简化的特征的潜在指数组合上进行搜索。现有的用于表格数据的特征选择技术通常涉及拟合特定模型以便选择重要特征。然而,这种基于模型的选择除了需要额外的资源来设计、微调和训练模型之外,还容易出现模型偏差和虚假相关。在本文中,我们提出了一个无模型和基于稀疏性的自动特征选择(SAFS)框架,以促进自动发现不同的子群。与基于过滤器的选择技术不同,我们利用特征值之间客观度量的稀疏性来对特征进行排序和选择。我们在两个公开的数据集(MIMIC-III和Allstate索赔)上验证了SAFS,并将其与六种现有的特征选择方法进行了比较。SAFS实现了特征选择时间的81倍和104倍的减少,分别在MIMIC-III和索赔数据集中的现有方法的平均值。SAFS选择的特征也被示出为实现有竞争力的检测性能,例如,SAFS在Claims数据集中选择的18.3%的特征检测到的发散样本与使用Jaccard相似度为0.95的整体特征检测到的样本相似,但检测时间减少了16倍。
2022-03-08 cs.AI cs.IT cs.LG
AutoQC: Automated Synthesis of Quantum Circuits Using Neural Network
Kyushu University(九州大学)
虽然构建量子计算机的能力正在显着提高,但开发量子算法是有限的,并且依赖于人类的洞察力和独创性。虽然已经开发了许多量子程序设计语言,但对于不熟悉量子计算的软件开发人员来说,学习和使用这些语言是具有挑战性的。因此,有必要开发工具来支持自动开发新的量子算法和程序。本文提出了AutoQC,一种利用神经网络从输入输出对自动综合量子电路的方法。我们认为一个量子电路的序列的量子门和概率合成的量子电路优先级与神经网络在每一步。实验结果突出了AutoQC以较低成本合成一些基本量子电路的能力。
2022-10-06 cs.LG cs.PL cs.SE
AutoPref: Automatic Discovery of Task-Specific Preference Objectives for Neural Combinatorial Optimization
该研究提出首个LLM引导的AutoPref框架,将偏好目标分解为成对损失与集合感知加权程序,通过分阶段条件搜索策略实现自动发现,在TSP等四类组合优化问题上性能优于手动设计基线。
2026-07-31 cs.LG
autoAx: An Automatic Design Space Exploration and Circuit Building Methodology utilizing Libraries of Approximate Components
Brno University of Technology(布尔诺理工大学);Vienna University of Technology (TU Wien)(维也纳工业大学(TU Wien))
近似计算是用于开发诸如各种加速器的高能效计算系统的新兴范例。在文献中,已经提出了许多基本近似电路库来简化近似加速器的设计过程。由于这些库包含从几十到几千的近似实现一个单一的算术运算,它是难以找到一个最佳的组合,即使是在图书馆的近似电路的应用程序组成的几个操作。一个开放的问题是“如何有效地结合这些库中的电路来构建复杂的近似加速器”。本文提出了一种新的方法,搜索,选择和组合最合适的近似电路从一组可用的库,以产生一个近似加速器为给定的应用。为了实现快速设计空间生成和探索,该方法利用机器学习技术来创建计算模型,以估计处理的总体质量和硬件成本,而无需在加速器级别执行完全合成。使用该方法,我们构建了数百个近似加速器(用于Sobel边缘检测器),显示了处理质量和硬件成本之间不同但相关的权衡,并确定了相应的帕累托边界。此外,当搜索由17个算术运算组成的通用高斯滤波器的近似实现时,所提出的方法允许我们在几个小时内从$10^{23}$可能的解决方案中识别出大约$10^3$非常重要的实现,而穷举搜索在高端处理器上需要四个月。
2019-04-01 cs.DC cs.LG
Alpha-RF: Automated RF-Filter-Circuit Design with Neural Simulator and Reinforcement Learning
University of California, Davis(加州大学戴维斯分校);Keysight Technologies, Inc.(Keysight技术公司)
Alpha-RF通过神经模拟器和强化学习实现自动射频滤波器电路设计,显著提升设计效率和精度。
2026-02-18 cs.LG eess.SP
Automatic Discovery of Privacy-Utility Pareto Fronts
University of Southern California(南加州大学);Microsoft Research(微软研究院);Amazon Research Cambridge(亚马逊剑桥研究院);University of Cambridge(剑桥大学);DeepMind
差分隐私是隐私保护数据分析的数学框架。改变差异隐私算法的超参数可以让人们以原则性的方式权衡隐私和效用。提前量化这种权衡对于决策者至关重要,他们的任务是决定在特定应用程序中可以提供多少隐私,同时保持可接受的效用。分析效用保证提供了一个严格的工具来推理这种权衡,但通常只适用于相对简单的问题。对于更复杂的任务,例如在差分隐私下训练神经网络,给定算法实现的效用只能凭经验衡量。本文提出了一种贝叶斯优化方法,有效地表征隐私-效用权衡的任何差分隐私算法只使用经验测量其效用。我们的方法的多功能性说明了一些机器学习任务,涉及多个模型,优化器和数据集。
2020-07-21 cs.LG stat.ML
Automatic Discovery of Disease Subgroups by Contrasting with Healthy Controls
NeuroSpin(神经旋);Université Paris-Saclay(巴黎-萨克勒大学);CEA(法国原子能委员会);LTCI;Institut Polytechnique de Paris(巴黎高等理工学院)
本文提出了一种通过对比患者与健康对照组来发现可解释且同质的疾病亚组的方法,该方法在医学影像数据集上展示了改进的亚组估计质量。
2026-05-20 cs.CV cs.LG