Auto-HeG: Automated Graph Neural Network on Heterophilic Graphs
Monash University（莫纳什大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Shenzhen University（深圳大学）；Chinese Academy of Sciences（中国科学院）；Griffith University（格里菲斯大学）
图神经结构搜索（NAS）在自动设计功能强大的图神经网络（GNN）方面已经得到了广泛的应用，从而减轻了人类的努力。然而，现有的图NAS方法主要在同构假设下工作，而忽略了另一个重要的图属性，即，异质性，这广泛存在于各种现实世界的应用。到目前为止，基于NAS的自动化异形图学习仍然是一个有待填补的研究空白。由于异嗜图的复杂性和多样性，异嗜图NAS的关键挑战主要在于开发异嗜特定的搜索空间和策略。因此，在本文中，我们提出了一种新型的基于异嗜图的自动化图神经网络，即Auto-HeG，来自动构建具有表达学习能力的异嗜GNN模型。具体而言，Auto-HeG将异质性纳入自动异质图学习的所有阶段，包括搜索空间设计，超网训练和架构选择。通过微观与宏观相结合的多种消息传递机制，首先构建了一个全面的异质GNN搜索空间，使Auto-HeG能够集成复杂多样的异质图.采用渐进式超网训练策略，根据异质性的逐层变化动态收缩初始搜索空间，从而得到紧凑高效的超网。以异性感知距离准则为指导，我们在留一模式下进行异性结构选择，从而可以衍生出专门的和表达性的异性GNN结构。大量的实验说明了Auto-HeG在开发优秀的异嗜性GNN方面的优越性，以人类设计的模型和图形NAS模型。
2023-02-23 cs.LG cs.SI
EvoAAA: An evolutionary methodology for automated \neural autoencoder architecture search
Universidad de Jaén（哈恩大学）
当向机器学习模型提供策划的功能时，它们会更好地工作。特征工程方法通常被用作预处理步骤，以获得或构建合适的特征集。近年来，自编码器（一种特定类型的对称神经网络）已被广泛用于执行表示学习，证明了其与经典特征工程算法的竞争力。使用自动编码器的主要障碍是找到一个好的架构，这是大多数专家手动面对的过程。本文提出了一种基于进化方法的自动编码器结构搜索方法。该方法针对九个异构数据集进行了测试。所得到的结果表明，这种方法能够找到更好的架构，能够集中在一个最小化的编码，在减少的时间大部分有用的信息。
2023-01-15 cs.AI cs.LG cs.NE
Combinatorial Optimization with Automated Graph Neural Networks
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；Hangzhou Yugu Technology Co., Ltd（杭州宇谷科技有限公司）；Zhejiang University（浙江大学）；Guangzhou University（广州大学）；Zhejiang Lab（之江实验室）
本文提出AutoGNP，通过图神经架构搜索自动设计用于求解混合整数线性规划和二次无约束二值优化等NP难组合优化问题的GNN，并利用两跳算子、模拟退火和严格早停策略避免局部最优，在基准问题上表现优越。
2024-06-10 cs.AI cs.LG
Towards Automated Deep Learning: Efficient Joint Neural Architecture and Hyperparameter Search
University of Freiburg（弗莱堡大学）
虽然神经架构搜索（NAS）的现有工作在一个单独的后处理步骤中调整超参数，但我们证明了架构选择和其他超参数设置以一种可以使这种分离次优的方式相互作用。同样，我们证明了在主NAS期间使用非常少的时期和在后处理步骤期间使用大量时期的常见做法是低效的，因为这两种训练方案的相对排名几乎没有相关性。为了解决这两个问题，我们建议使用贝叶斯优化和Hyperband的最新组合，以实现高效的联合神经架构和超参数搜索。
2018-07-18 cs.AI cs.CV cs.LG
Automated Scoring of Graphical Open-Ended Responses Using Artificial Neural Networks
Boston College（波士顿学院）
免费绘画或图像作为响应的自动评分尚未用于大规模的学生成绩评估。在这项研究中，我们提出了人工神经网络来分类这些类型的图形反应，从基于计算机的国际数学和科学评估。我们正在比较卷积和前馈方法的分类精度。我们的研究结果表明，卷积神经网络（CNN）在损失和准确性方面都优于前馈神经网络。CNN模型将高达97.71%的图像响应分类到适当的评分类别中，这与典型的人类评分员相当，如果不是更准确的话。最准确的CNN模型正确地分类了一些被人类评分员错误评分的图像反应，这一观察结果进一步加强了这些发现。作为一个额外的创新，我们概述了一种方法来选择人类额定响应的训练样本的基础上的应用程序的预期响应函数来自项目响应理论。本文认为，基于CNN的图像响应自动评分是一种高度准确的程序，可以替代第二个人类评分员进行大规模评估的工作量和成本，同时提高复杂构建响应项目评分的有效性和可比性。
2022-01-05 cs.AI cs.CV cs.LG
Diagnostics for Deep Neural Networks with Automated Copy/Paste Attacks
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
针对深度神经网络可解释监督难的问题，提出全自动发现复制/粘贴对抗攻击的SNAFUE方法，用其对ImageNet分类器红队测试，复现已有攻击并发现数百个新漏洞，全程无需人工参与。
2023-05-05 cs.AI cs.CR cs.LG
Automated Detection of Acute Lymphoblastic Leukemia Subtypes from Microscopic Blood Smear Images using Deep Neural Networks
City University（城市大学）
据估计，每年有30万例新的白血病病例被诊断出来，占所有新癌症病例的2.8%，而且患病率正在日益上升。最危险和致命的白血病类型是急性淋巴细胞白血病（ALL），它影响所有年龄组的人，包括儿童和成人。在这项研究中，我们提出了一个自动化系统，使用深度神经网络（DNN）从显微镜血液涂片图像中检测各种形状的ALL原始细胞。该系统可以以98%的准确率检测ALL细胞的多种亚型。此外，我们已经开发了一个远程诊断软件，提供实时支持，以诊断所有亚型从显微镜血涂片图像。
2022-07-30 cs.AI cs.CV cs.LG
The Effectiveness of a Dynamic Loss Function in Neural Network Based Automated Essay Scoring
本文提出一种动态损失函数，通过激励模型预测正确分布和数值来解决自动作文评分中回归模型的欠拟合问题，且在ASAP-AES数据集上取得0.752的QWK分数而不牺牲性能。
2023-05-15 cs.AI cs.CL
An Automated SQL Query Grading System Using An Attention-Based Convolutional Neural Network
Marist College（玛丽斯特学院）；Baylor University（贝勒大学）
针对SQL查询评分耗时繁琐的问题，本文提出一种基于注意力卷积神经网络的自动化评分方法，通过参数共享的独特架构生成多类知识表示，提升SQL语句理解能力，弥补现有系统的不足。
2024-06-22 cs.AI cs.CY cs.DB
A Graph Neural Network Approach to Automated Model Building in Cryo-EM Maps
MRC Laboratory of Molecular Biology（MRC分子生物学实验室）
电子冷冻显微镜（冷冻电子显微镜）产生生物大分子（包括蛋白质）静电势的三维（3D）图。连同关于成像分子的知识，冷冻电子显微镜图允许从头原子建模，这通常通过费力的手动过程来完成。从机器学习应用于蛋白质结构预测的最新进展中获得灵感，我们提出了一种图神经网络（GNN）方法，用于在冷冻电子显微镜图谱中自动构建蛋白质模型。GNN作用于一个图，其中节点分配给单个氨基酸，边表示蛋白质链。结合来自基于体素的冷冻电子显微镜数据的信息、氨基酸序列数据和关于蛋白质几何形状的先验知识，GNN细化蛋白质链的几何形状并对其每个节点的氨基酸进行分类。应用到28个测试案例表明，我们的方法优于国家的最先进的和近似的冷冻电子显微镜地图的分辨率优于3.5 μ m的手动建设。
2023-02-08 cs.AI cs.LG q-bio.BM
Neural Network Tire Force Modeling for Automated Drifting
Stanford University（斯坦福大学）
本文提出神经网络轮胎力模型替代物理模型，用于自动漂移车辆控制，在非线性模型预测控制器中跟踪漂移轨迹，实验表明其在前轴制动时显著提升路径跟踪性能，能表达未建模的潜在动力学。
2024-07-18 cs.AI cs.SY eess.SY
LaF: Labeling-Free Model Selection for Automated Deep Neural Network Reusing
University of Luxembourg（卢森堡大学）；Luxembourg Institute of Science and Technology（卢森堡科学技术研究院）；Singapore Management University（新加坡管理大学）
将深度学习应用于科学领域是近年来的一个新趋势，这使得深度学习工程成为一个重要的问题。虽然训练数据准备、模型结构设计和模型训练是建立深度学习模型的常规过程，但这些过程都是复杂和昂贵的。因此，重用开源的预训练模型是开发人员绕过这一障碍的实用方法。给定一个特定的任务，开发人员可以从公共资源中收集大量预先训练好的深度神经网络，以供重用。然而，测试性能（例如，准确性和鲁棒性），并推荐应该使用哪个模型是具有挑战性的，因为标记数据的稀缺性和对领域专业知识的需求。在本文中，我们提出了一个无标签（LaF）的模型选择方法，以克服标签的自动化模型重用工作的局限性。其主要思想是统计学习贝叶斯模型，仅根据预测的标签来推断模型的专业性。我们使用9个基准数据集（包括图像、文本和源代码）和165个DNN来评估LaF，同时考虑模型的准确性和鲁棒性。实验结果表明，LaF优于基线方法高达0.74和0.53斯皮尔曼的相关性和肯德尔的$τ$，分别。
2023-01-20 cs.AI cs.LG cs.SE
CathAI: Fully Automated Interpretation of Coronary Angiograms Using Neural Networks
冠心病（CHD）是美国和世界范围内成人死亡的主要原因，冠状动脉造影术是诊断和临床管理决策的主要途径。冠状动脉血管造影片解读的标准治疗取决于医生操作员的专门目视评估。然而，血管造影片的特别视觉解释可重复性差、高度可变且易于偏倚。在这里，我们第一次展示了使用一系列深度神经网络算法来估计冠状动脉狭窄的全自动血管造影片解释是可能的。我们开发的算法流水线-称为CathAI-在完成自动解释真实世界血管造影片所需的一系列任务中实现了最先进的性能。CathAI（算法1-2）显示出阳性预测值、灵敏度和F1评分>=90%，以识别总体投影角度，并且>=93%用于左或右冠状动脉血管造影检测（主要感兴趣解剖结构）。为了预测阻塞性冠状动脉狭窄（>=70%狭窄），CathAI（算法4）显示出0.862（95% CI：0.843-0.880）的受试者工作特征曲线下面积（AUC）。当在另一个国家的医疗保健系统中进行外部验证时，CathAI AUC为0.869（95% CI：0.830-0.907），可预测阻塞性冠状动脉狭窄。我们的研究结果表明，多个专用的神经网络可以依次运行，以完成自动分析真实世界血管造影片所需的一系列复杂任务。CathAI的部署可能有助于提高冠状动脉狭窄评估的标准化和再现性，同时为完成算法血管造影解释的未来任务提供坚实的基础。
2021-06-14 cs.AI cs.CV cs.LG
Automated pulmonary nodule detection using 3D deep convolutional neural networks
University of California, Irvine（加州大学欧文分校）；University of California, Irvine School of Medicine（加州大学欧文分校医学院）
在计算机断层扫描（CT）图像中早期发现肺结节对于肺癌患者的成功结局至关重要。人们对基于深度卷积神经网络（DCNN）的方法给予了很大的关注，但模型至少部分依赖于固有3D数据的2D或2.5D组件。在本文中，我们介绍了一种新的DCNN方法，包括两个阶段，即完全三维端到端，并利用最先进的目标检测。首先，使用U-Net启发的3D Faster R-CNN识别结节候选者，该3D Faster R-CNN使用在线硬否定挖掘进行训练。其次，通过在候选人筛选期间产生的困难示例上训练的3D DCNN分类器来执行假阳性减少。最后，我们介绍了一种方法，从两个阶段通过共识集成模型，给出最终的预测。通过使用这个框架，我们在阿里巴巴2017年天池医疗AI竞赛第一季的2887支队伍中排名第一。
2019-03-23 cs.AI cs.CV cs.LG
Towards Selection and Transition Between Behavior-Based Neural Networks for Automated Driving
TU Clausthal（克劳斯塔尔工业大学）；Institute for Software and System Engineering（软件与系统工程研究所）
提出一种行为选择器，利用多个小型ANN管理不同驾驶任务并动态切换，解决了端到端系统复杂难懂的问题，在AirSim中验证了其能确保行为平滑过渡并提升稳定性与安全性。
2024-12-21 cs.AI cs.RO
ASFGNN: Automated Separated-Federated Graph Neural Network
Ant Group（蚂蚁集团）
图神经网络（GNNs）通过利用图数据取得了显著的性能。GNN模型的成功总是依赖于丰富的特征和相邻关系。然而，在实践中，这些数据通常被不同的数据所有者（客户端）隔离，因此可能是非独立和相同分布的（非IID）。同时，考虑到数据所有者的网络状态有限，在数据隔离场景下，协同学习方法的超参数优化是耗时的。为了解决这些问题，我们提出了一个自动分离联邦图神经网络（ASFGNN）的学习范式。ASFGNN由两个主要部分组成，即，GNN的训练和超参数的调整。具体来说，为了解决数据非IID问题，我们首先提出了一种分离式联邦GNN学习模型，该模型将GNN的训练分为两部分：由客户单独完成的消息传递部分和由客户联邦学习的损失计算部分。为了解决耗时的参数调整问题，我们利用贝叶斯优化技术来自动调整所有客户端的超参数。我们在基准数据集上进行了实验，结果表明，ASFGNN在准确性和参数调整效率方面明显优于朴素联邦GNN。
2020-11-06 cs.DC cs.LG
Formal Reasoning About Confidence and Automated Verification of Neural Networks
Indian Institute of Technology Bombay（印度理工学院孟买分校）；TCS Research（塔塔咨询服务公司研究院）；CNRS（法国国家科学研究中心）
本文提出了一种通用框架，用于在神经网络中正式推理置信度与鲁棒性，通过添加额外层实现统一验证，实验表明其优于传统方法。
2026-02-14 cs.AI cs.CV cs.LO
An Automated Compatibility Prediction Engine using DISC Theory Based Classification and Neural Networks
VIT Chennai（韦洛尔理工大学金奈校区）
传统上，心理测量测试被用来分析新来的工人。这些方法使用DISC分析方法将人分为不同的人格类型，这些类型进一步用于预测一个人是否可能适合组织文化。通过引入一种新的技术来预测一对特定的即将到来的工人和被分配的经理在心理尺度上是否相容，进一步扩展了这一概念。这是使用多层感知器神经网络，它可以自适应地训练，以展示兼容性指数的真实性质。所提出的原型模型用于量化相关属性，使用它们来训练预测引擎，并定义所需的数据管道。
2017-09-02 cs.AI cs.NE
Enabling Automated FPGA Accelerator Optimization Using Graph Neural Networks
University of California - Los Angeles（加利福尼亚大学洛杉矶分校）
高级综合（HLS）使计算机架构师从用非常低级语言开发他们的设计中解放出来，并且不需要精确地指定数据应该如何在寄存器级传输。在HLS的帮助下，硬件设计人员只需描述设计的高级行为流程。尽管如此，开发一个高性能的架构仍然需要几周的时间，主要是因为在更高的级别上有许多设计选择，需要更多的时间来探索。从HLS工具获得关于每个设计候选者的质量的反馈也需要几分钟到几个小时。在本文中，我们提出了解决这个问题的建模HLS工具与图神经网络（GNN），被训练用于广泛的应用。实验结果表明，通过采用基于GNN的模型，我们能够在毫秒内以高精度估计设计质量，这可以帮助我们非常快速地搜索解决方案空间。
2021-11-22 cs.AR cs.LG
Automated Skin Lesion Classification Using Ensemble of Deep Neural Networks in ISIC 2018: Skin Lesion Analysis Towards Melanoma Detection Challenge
在本文中，我们广泛研究了基于不同深度学习的方法来检测黑色素瘤和皮肤病变癌症。黑色素瘤是一种恶性皮肤癌，对健康威胁很大。在早期阶段正确诊断黑色素瘤对于完全治愈的成功率至关重要。皮肤癌的良性和恶性形式的皮肤镜图像可以通过计算机视觉系统进行分析，以简化皮肤癌检测的过程。在这项研究中，我们实验了各种神经网络，这些网络采用了最近的基于深度学习的模型，如PNASNet-5-Large，InceptionResNetV 2，SENet 154，InceptionV 4。皮肤镜图像在输入网络之前会经过适当的处理和增强。我们在国际皮肤成像合作组织（ISIC）2018挑战数据集上测试了我们的方法。我们的系统在PNASNet-5-Large模型中获得了0.76的最佳验证分数。进一步改进和优化所提出的方法，更大的训练数据集和精心选择的超参数可以提高性能。代码可在https://github.com/miltonbd/ISIC_2018_classification下载
2019-01-30 cs.AI cs.CV
A New Approach to Automated Epileptic Diagnosis Using EEG and Probabilistic Neural Network
Texas Tech University（德州理工大学）
癫痫是最常见的神经系统疾病之一，严重影响患者的日常生活。传统的癫痫诊断依赖于神经科医生从冗长的EEG记录中进行繁琐的视觉筛选，需要癫痫发作（发作）活动的存在。现在，有许多系统可以帮助神经科医生通过自动癫痫发作检测快速找到长信号的有趣片段。然而，我们注意到，这是非常困难的，如果不是不可能的，以获得长期的癫痫患者的癫痫发作活动的EEG数据的地区缺乏医疗资源和训练有素的神经科医生。因此，我们建议使用发作间期EEG数据来研究自动癫痫诊断，这比发作数据更容易收集。作者尚未发现任何关于自动脑电图诊断系统能够准确区分患者发作间期脑电图和正常人脑电图的报道。因此，本文提出的研究旨在开发一种自动诊断系统，该系统可以使用发作间期EEG数据来诊断患者是否患有癫痫。这种系统还应检测癫痫发作活动，以便医生进一步调查和潜在的病人监测。为了开发这样一个系统，我们从EEG数据中提取四类特征，并建立一个概率神经网络（PNN）与这些功能美联储。留一交叉验证（LOO-CV）在一个广泛使用的癫痫正常数据集反映了令人印象深刻的99.5%的准确率，我们的系统区分正常人的EEG患者的发作间期EEG。我们还发现我们的系统可以用于患者监护（癫痫发作检测）和癫痫发作病灶定位，在数据集上的准确率分别为96.7%和77.5%。
2008-07-05 cs.AI cs.CV
Two-Steps Neural Networks for an Automated Cerebrovascular Landmark Detection
Institut du Thorax（胸科研究所）；Polytech（理工学院）；CHU Angers（昂热大学医院）
本文提出一种两步神经网络方法，先检测感兴趣区域再用带深度监督的改进U-Net精确定位威利斯环分叉，在内部和公共MRA数据集上取得最优分叉检测性能。
2025-07-03 cs.AI cs.CV
Automatic Intersection Management in Mixed Traffic Using Reinforcement Learning and Graph Neural Networks
Robert Bosch GmbH（罗伯特·博世有限公司）；Ulm University（乌尔姆大学）
本研究提出基于强化学习和图场景表示的协作多智能体规划方法，用于解决混合交通中的自动交叉口管理问题，显著提升了车辆通行量并减少了交互延误。
2023-07-28 cs.LG cs.RO
Automated Intracranial Artery Labeling using a Graph Neural Network and Hierarchical Refinement
University of Washington（华盛顿大学）
自动标注颅内动脉（ICA）的解剖名称有利于特征提取和颅内血管结构的详细分析。由于自然和病理原因，ICA存在显著变化，这使得自动标记具有挑战性。然而，用于评价解剖标记的现有公共数据集有限。我们构建了一个全面的数据集与729磁共振血管造影扫描，并提出了一个图神经网络（GNN）的方法来标记动脉分类类型的节点和边缘的属性关系图。此外，一个分层细化框架的发展，以进一步改善GNN的输出，以纳入结构和相关知识的ICA。我们的方法实现了97.5%的节点标记的准确性，63.8%的扫描正确标记的所有环威利斯节点，在测试集的105扫描与健康和患病的受试者。这是对现有技术方法的显著改进。自动动脉标记有望最大限度地减少人工描述复杂ICA网络的工作量，并为识别血管疾病的几何风险因素提供有价值的信息。我们的代码和数据集可以在https://github.com/clatfd/GNN-ARTLABEL上找到。
2020-07-11 cs.CV cs.LG eess.IV
Automated flow for compressing convolution neural networks for efficient edge-computation with FPGA
LeapMind, Inc.（LeapMind 公司）
基于深度卷积神经网络（CNN）的解决方案是计算机视觉任务的当前最先进技术。由于这些模型的尺寸很大，它们通常在CPU或GPU集群上运行。然而，功率要求和成本预算可能是物联网应用采用CNN的主要障碍。最近的研究强调，CNN在其结构中包含显著的冗余，并且可以量化以降低位宽参数和激活，同时保持可接受的精度。由于二进制化CNN中涉及的逐位逻辑运算，低位宽尤其是单位宽（二进制）CNN特别适合于基于FPGA实现的移动应用。此外，向较低位宽的过渡为性能优化和模型改进开辟了新的途径。在本文中，我们提出了一个自动流程，从训练的TensorFlow模型到FPGA片上系统实现二值化CNN。该流程涉及模型参数和激活的量化，嵌入式C中网络和模型的生成，然后自动生成用于二进制卷积的FPGA加速器。通过在低成本、低功耗的Cyclone-V FPGA器件上实现二进制化的“YOLOV 2”来演示自动化流程。使用二值化YOLOV 2的目标检测实验表明，与CPU和移动CPU平台相比，FPGA上的模型大小和推理速度具有显着的性能优势。此外，从训练模型到FPGA合成的整个自动化流程可以在一小时内完成。
2017-12-18 cs.AI cs.AR cs.NE
AutoSTF: Decoupled Neural Architecture Search for Cost-Effective Automated Spatio-Temporal Forecasting
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
针对自动化时空预测中神经架构搜索开销高的问题，本文提出解耦框架 AutoSTF，通过时空搜索空间分离、表示压缩、参数共享及多块迁移提升效率与精度。
2025-01-08 cs.AI cs.LG
Automated Discovery of Conservation Laws via Hybrid Neural ODE-Transformers
Independent Researcher（独立研究者）
提出一种混合Neural ODE-Transformer框架，通过学习系统动力学、生成符号候选不变量并进行符号-数值验证，从噪声轨迹数据中自动发现守恒量，显著优于基线方法。
2025-10-30 cs.AI cs.LG
Automated Search-Space Generation Neural Architecture Search
Microsoft（微软）
针对现有神经架构搜索依赖手工构建搜索空间、需大量人工干预的问题，提出ASGNAS方法，可自动生成搜索空间、通过H2SPG算法优化并构建子网络，在多个网络和基准数据集上取得了有竞争力甚至更优的性能。
2023-10-05 cs.AI cs.CV cs.LG
Automated proof synthesis for propositional logic with deep neural networks
National Institute of Informatics（国立情报学研究所）；Kyoto University（京都大学）
这项工作探索了深度学习的应用，深度学习是一种以深度神经网络（DNN）为核心的机器学习技术，它可以用于自动定理证明（ATP）问题。为此，我们构建了一个统计模型，量化的可能性，证明确实是一个正确的一个给定的命题。基于这个模型，我们给出了一个证明合成过程，搜索的顺序的可能性的证明。这个过程使用一个估计的可能性的推理规则被应用在每一步的证明。作为估计器的实现，我们提出了一个命题证明架构，这是一个DNN定制的自动证明合成问题。为了实证证明它的有用性，我们应用我们的模型来合成命题逻辑的证明。我们使用命题证明对的训练数据集训练命题证明模型。对基准集的评价显示了非常高的准确性和改进最近的工作的神经证明合成。
2018-05-30 cs.AI cs.LG cs.LO
Exploring Deep Spiking Neural Networks for Automated Driving Applications
Valeo（法雷奥）；Heilbronn University（海尔布隆大学）
神经网络已成为自动驾驶中各种计算机视觉任务的标准模型，包括语义分割，运动目标检测，深度估计，视觉里程计等。常用的神经网络的主要类型是卷积（CNN）和递归（RNN）。尽管嵌入式处理器发展迅速，但功耗和成本仍然是一个瓶颈。脉冲神经网络（SNN）正逐步发展成为具有高效率潜力的低功耗事件驱动硬件架构。在本文中，我们探讨了深度脉冲神经网络（SNN）在自动驾驶应用中的作用。我们概述了SNN的进展，并讨论了它如何能够很好地适合自动驾驶应用。
2019-01-11 cs.CV cs.LG cs.NE
AutoDEUQ: Automated Deep Ensemble with Uncertainty Quantification
Argonne National Laboratory（阿贡国家实验室）；Université Paris-Saclay（巴黎萨克雷大学）
深度神经网络是各种任务的强大预测器。然而，它们并不直接反映不确定性。使用神经网络集成来量化不确定性与基于贝叶斯神经网络的方法具有竞争力，同时受益于更好的计算可扩展性。然而，构建神经网络的集成是一项具有挑战性的任务，因为除了为集成的每个成员选择正确的神经架构或超参数之外，还需要增加训练每个模型的成本。我们提出AutoDEUQ，一种自动生成深度神经网络集成的方法。我们的方法利用联合神经架构和超参数搜索来生成集成。我们使用总方差定律将深度集合的预测方差分解为任意（数据）和认知（模型）的不确定性。我们表明，AutoDEUQ优于概率反向传播，蒙特卡罗辍学，深度集成，分布自由集成，超集成方法在一些回归基准。
2022-07-04 cs.LG
Event Representations for Automated Story Generation with Deep Neural Nets
Georgia Institute of Technology（佐治亚理工学院）
自动故事生成是自动选择可以作为故事讲述的事件、动作或词语的序列的问题。我们试图开发一个系统，可以通过学习它需要知道的一切从文本故事语料库生成的故事。迄今为止，在字符、单词或句子层面学习语言模型的递归神经网络在生成连贯的故事方面几乎没有成功。我们探讨的问题，提供了一个中等水平的抽象之间的单词和句子，以保留原始数据的语义信息，同时最大限度地减少事件稀疏的事件表示。我们提出了一种技术，用于将文本故事数据预处理成事件序列。然后，我们提出了一种技术，自动生成的故事，我们分解成连续的事件（event2event）和自然语言句子的事件（event2sentence）的生成问题。我们给出了实证结果，比较了不同的事件表示及其对事件后继生成和事件到自然语言的翻译的影响。
2017-09-12 cs.AI cs.CL cs.LG
Automated Evolutionary Optimization for Resource-Efficient Neural Network Training
针对神经网络训练的资源效率挑战，提出AutoML框架PETRA，通过进化优化架构与训练策略，结合剪枝、量化和正则化，在金融、图像和时间序列基准上实现模型大小减少75%、延迟降低33%、吞吐量提升13%且性能不降。
2025-10-10 cs.LG
Automated identification of neural cells in the multi-photon images using deep-neural networks
Yonsei University College of Medicine（延世大学医学院）；Yonsei University（延世大学）
神经科学成像技术的进步产生了前所未有的神经细胞成像数据，这需要自动化处理。特别地，从双光子图像中识别细胞需要从各种材料中分割神经细胞并根据其细胞类型对分割的细胞进行分类。为了自动分割神经细胞，我们使用U-Net模型，然后使用迁移学习技术对兴奋性和抑制性神经元以及胶质细胞进行分类。对于迁移学习，我们测试了三个公共模型resnet 18，resnet 50和inceptionv 3，在将完全连接层替换为三个类之后。最好的分类性能被发现与inceptionv 3的模型。深度学习技术的拟议应用有望为神经科学大数据时代的细胞识别提供一种关键方法。
2019-09-25 cs.LG cs.SY eess.IV
Eco-Driving Control of Connected and Automated Vehicles using Neural Network based Rollout
The Ohio State University（俄亥俄州立大学）；Motional
针对网联自动驾驶汽车生态驾驶问题，提出基于神经网络的分层多时域优化框架，通过学习全路线价值函数近似终端成本，在真实路线上达到与强化学习相当的节能性能，且无需复杂训练和大量内存。
2023-10-16 cs.LG
Automated Marble Plate Classification System Based On Different Neural Network Input Training Sets and PLC Implementation
Technical University of Sofia（索非亚技术大学）
大理石板材的表面纹理分选是大理石板材自动化生产中的一项重要任务。如今，大理石行业中的一些自动化分类任务的检测系统过于昂贵，并且仅与工厂中的特定技术设备兼容。本文提出了一种基于不同神经网络输入训练集的大理石板材自动分类系统（AMPCS）的设计方法，其目的是在简单的处理和标准设备的应用下获得高的分类精度。它是基于训练一个分类MLP神经网络与三个不同的输入训练集：提取的纹理直方图，离散余弦和小波变换的直方图。该算法在PLC中实现实时操作。系统的性能评估与输入训练集的每一个。分类精度和快速操作的实验测试结果表示和讨论。
2012-08-16 cs.LG cs.NE
Towards Automated Neural Interaction Discovery for Click-Through Rate Prediction
Texas A&M University（德州农工大学）；Facebook Inc.（Facebook公司）
点击率（CTR）预测是推荐系统中最重要的机器学习任务之一，为数十亿消费者提供个性化体验。神经网络结构搜索（NAS）作为一个新兴的领域，在发现功能强大的神经网络结构方面表现出了强大的能力，这促使我们探索其在CTR预测方面的潜力。由于1）多样的非结构化特征交互，2）异构的特征空间，以及3）高数据量和固有的数据随机性，有效地构造、搜索和比较推荐模型的不同架构是具有挑战性的。为了解决这些挑战，我们提出了一个自动交互架构发现框架的CTR预测命名AutoCTR。通过将简单但有代表性的交互模块化为虚拟构建块并将其连接到直接非循环图空间中，AutoCTR在架构级别进行进化架构探索，并使用低保真度模型实现加速。实证分析证明了AutoCTR在不同数据集上的有效性，与人工构建的架构相比。所发现的体系结构也享有不同的数据集之间的通用性和可移植性。
2020-06-29 cs.IR cs.LG
A Generative Neural Network Framework for Automated Software Testing
基于搜索的软件测试（SBST）是一种流行的自动化测试技术，它使用反馈机制来搜索软件中的错误。尽管它很受欢迎，但它在设计、构建和解释反馈方面存在根本性的挑战。近年来，神经网络（NN）在广泛的任务中非常受欢迎。我们认为，它们可以解决共同的SBST方法所固有的许多问题。不幸的是，神经网络需要大量具有代表性的训练数据集。在这项工作中，我们提出了一个SBST框架的基础上，去卷积生成神经网络。它不仅保留了使NN适合SBST任务的有益品质，而且还产生了自己的训练数据，从而避免了获取限制NN使用的训练数据集的问题。我们通过一系列的实验证明，这种架构是可能的和实用的。它生成多样化的，合理的程序输入，同时探索程序行为的空间。它还创建了一个有意义的程序行为排序，并能够找到崩溃的执行。这一切都是在没有任何程序知识的情况下完成的。我们相信这个概念证明为SBST和神经网络的交叉点的未来工作开辟了新的方向。
2020-06-29 cs.LG cs.SE
AutoQC: Automated Synthesis of Quantum Circuits Using Neural Network
Kyushu University（九州大学）
虽然构建量子计算机的能力正在显着提高，但开发量子算法是有限的，并且依赖于人类的洞察力和独创性。虽然已经开发了许多量子程序设计语言，但对于不熟悉量子计算的软件开发人员来说，学习和使用这些语言是具有挑战性的。因此，有必要开发工具来支持自动开发新的量子算法和程序。本文提出了AutoQC，一种利用神经网络从输入输出对自动综合量子电路的方法。我们认为一个量子电路的序列的量子门和概率合成的量子电路优先级与神经网络在每一步。实验结果突出了AutoQC以较低成本合成一些基本量子电路的能力。
2022-10-06 cs.LG cs.PL cs.SE
NeuroEvo: A Cloud-based Platform for Automated Design and Training of Neural Networks using Evolutionary and Particle Swarm Algorithms
Johns Hopkins University（约翰斯·霍普金斯大学）
进化算法为复杂搜索空间中的神经网络优化提供了独特的优势。本文介绍了一种新的网络平台，NeuroEvo（neuroevo.io），它允许用户交互式设计和训练神经网络分类器使用进化和粒子群算法。分类问题和训练数据由用户提供，在完成训练过程后，最佳分类器可供下载并在Python，Java和JavaScript中实现。NeuroEvo是一个基于云的应用程序，它利用GPU并行化来提高独立进化步骤（如变异，交叉和适应度评估）在整个种群中执行的速度。本文概述了训练算法和机会，为用户指定的设计决策和超参数设置。本文描述的算法也可作为Python包neuroevo（PyPI：https：//pypi.org/project/neuroevo/）提供。
2022-10-01 cs.LG cs.NE
Is Automated Topic Model Evaluation Broken?: The Incoherence of Coherence
University of Maryland（马里兰大学）
主题模型评估，就像其他无监督方法的评估一样，可能会有争议。然而，该领域已经围绕主题连贯性的自动估计进行了合并，这依赖于参考语料库中单词共现的频率。根据这些指标，当代神经主题模型超过了经典模型。与此同时，主题模型评估存在验证差距：为经典模型开发的自动一致性尚未使用神经模型的人类实验进行验证。此外，主题建模文献的元分析揭示了自动主题建模基准测试中的实质性标准化差距。为了解决验证差距，我们比较了自动连贯性与两个最广泛接受的人类判断任务：主题评级和单词入侵。为了解决标准化的差距，我们在两个常用的数据集上系统地评估了一个占主导地位的经典模型和两个最先进的神经模型。自动评估宣布一个获胜的模型，而相应的人类评估没有，这就质疑了独立于人类判断的全自动评估的有效性。
2021-10-27 cs.CL cs.LG
Automated Search for Configurations of Deep Neural Network Architectures
SnT, University of Luxembourg（卢森堡大学SnT）
深度神经网络（DNN）被广泛用于解决各种复杂问题。虽然功能强大，但此类系统需要手动配置和调优。为此，我们将DNN视为可配置的系统，并提出了一个端到端的框架，允许配置，评估和自动搜索DNN架构。因此，我们的贡献是三方面的。首先，我们用一个特征模型（FM）对DNN架构的可变性进行建模，该模型概括了现有架构。FM的每个有效配置对应于可以构建和训练的有效DNN模型。其次，我们在Tensorflow之上实现了一个自动化过程，用于部署、训练和评估已配置模型的性能。第三，我们提出了一种搜索配置的方法，并证明了它可以产生良好的DNN模型。我们通过将其应用于图像分类任务（MNIST，CIFAR-10）来评估我们的方法，并表明，在有限的计算和训练量下，我们的方法可以识别高性能的架构（具有高精度）。我们还证明了我们的性能优于ML研究人员手工制作的现有最先进的架构。我们的FM和框架已经发布%，并公开提供，以支持复制和未来的研究。
2019-04-09 cs.CV cs.LG
AutoPrivacy: Automated Layer-wise Parameter Selection for Secure Neural Network Inference
Indiana University Bloomington（印第安纳大学伯明顿分校）；Kyoto University（京都大学）
混合隐私保护神经网络（Hybrid Privacy-Preserving Neural Network，HPPNN）采用同态加密（Homomorphic Encryption，HE）实现线性层，采用乱码电路（Garbled Circuit，GC）实现非线性层，是新兴的机器学习即服务（Machine Learning as a Service，MLaaS）最有前途的安全解决方案之一。不幸的是，HPPNN遭受长的推理延迟，例如，$\sim100$秒/图像，这使得MLaaS不能令人满意。因为HPPNN的基于HE的线性层以$93\%$推理延迟为代价，所以选择一组HE参数以最小化线性层的计算开销是至关重要的。现有的HPPNN过于悲观地选择巨大的HE参数来维持大的噪声预算，因为它们对于整个网络使用相同的HE参数集合并且忽略网络的容错能力。在本文中，为了快速准确地进行安全的神经网络推理，我们提出了一种自动逐层参数选择器AutoPrivacy，它利用深度强化学习来自动确定HPPNN中每个线性层的HE参数集。基于学习的HE参数选择策略优于传统的基于规则的HE参数选择策略。与之前的HPPNN相比，AutoPrivacy优化的HPPNN将推理延迟减少了$53\%\sim70\%$，而准确性损失可以忽略不计。
2020-10-15 cs.CR cs.LG
Automated Architecture Synthesis for Arbitrarily Structured Neural Networks
New York University（纽约大学）；Shenzhen University of Technology（深圳技术大学）
本文提出一种受生物神经网络启发的框架，在训练中从完全图学习任意图结构，并通过神经模块组织与正则化技术实现节点自由通信、减少过拟合和提升并行计算效率。
2025-06-04 cs.LG
Automated Assessment of Transthoracic Echocardiogram Image Quality Using Deep Neural Networks
University of West London（西伦敦大学）
二维超声心动图中的标准视图已得到很好的建立，但采集图像的质量高度依赖于操作者的技能，并进行主观评估。本研究旨在通过定义一组新的特定领域质量指标，为超声心动图图像质量提供客观评估管道。因此，图像质量评估因此可以自动化以增强临床测量、解释和实时优化。我们开发了深度神经网络，用于自动评估从11，262名成人患者中随机抽样的超声心动图帧。私人超声心动图数据集包括33，784帧，之前在2010年至2020年期间采集。使用深度学习方法提取时空特征，并根据平均绝对误差评估图像质量指标。我们的质量指标包含解剖和病理元素，分别为解剖可见性、清晰度、深度增益和透视短缩提供多变量评估评分。
2022-09-02 cs.CV cs.LG cs.NE
Automated Primary Hyperparathyroidism Screening with Neural Networks
Ball State University（鲍尔州立大学）；Illinois State University（伊利诺伊州立大学）；Norman Parathyroid Center（诺曼甲状旁腺中心）
原发性甲状旁腺功能亢进症（PHPT）是一种相对常见的疾病，每1,000名成年人中就有一人受到影响。然而，筛查PHPT可能很困难，这意味着它经常长时间未被诊断出来。虽然独立查看特定的血液检测结果可以帮助指示患者是否患有PHPT，但尽管患者患有PHPT，这些血液结果水平通常都在其各自的正常范围内。本文基于临床实际数据，提出了一种基于神经网络（NN）结构的PHPT筛查方法，以常见血液指标为输入，准确率达到97%以上。此外，我们提出了第二个模型，实现了99%以上的准确性与额外的实验室测试值作为输入。此外，与传统的PHPT筛选方法相比，我们的NN模型可以将传统筛选方法的假阴性降低99%。
2021-05-06 cs.LG q-bio.QM
Automated detection of Alzheimer disease using MRI images and deep neural networks- A review
JSS Academy of Higher Education and Research（JSS高等教育与研究学院）；University of Delhi（德里大学）
早期发现阿尔茨海默病对于部署干预措施和减缓疾病进展至关重要。在过去的十年中，人们探索了许多机器学习和深度学习算法，旨在建立阿尔茨海默病的自动检测。数据增强技术和先进的深度学习架构的进步开辟了该领域的新前沿，研究正在快速发展。因此，这项调查的目的是概述最近关于阿尔茨海默病诊断的深度学习模型的研究。除了对众多数据源、神经网络架构和常用评估指标进行分类外，我们还对实现和可重复性进行了分类。我们的目标是帮助感兴趣的研究人员跟上最新的发展，并复制早期的调查作为基准。此外，我们还指出了该课题未来的研究方向。
2022-09-22 cs.CV cs.LG eess.IV
Terra: Imperative-Symbolic Co-Execution of Imperative Deep Learning Programs
Seoul National University（首尔大学）；FriendliAI；Samsung Research（三星研究院）；University of California, Berkeley（加州大学伯克利分校）
命令式编程允许用户轻松实现他们的深度神经网络（DNN），并已成为最近深度学习（DL）框架的重要组成部分。最近，已经提出了几个系统，结合命令式编程的可用性与符号图执行的优化性能。这样的系统将命令式Python DL程序转换为优化的符号图并执行它们。但是，它们不能完全支持命令式编程的可用性。例如，如果命令式DL程序包含没有相应符号表示的Python功能（例如，第三方库调用或不支持的动态控制流），它们无法执行程序。为了克服这一限制，我们提出了Terra，一个命令符号协同执行系统，可以处理任何命令DL程序，同时实现符号图执行的优化性能。为了实现这一点，Terra通过将DL操作与Python功能解耦来构建符号图。然后，Terra进行命令式执行以支持所有Python功能，同时将解耦操作委托给符号执行。我们评估了Terra的性能改进和覆盖率，其中包括针对几种DNN架构的十个强制性DL程序。结果表明，Terra可以加速所有十个命令式DL程序的执行，而最先进的系统之一AutoGraph无法执行其中的五个。
2022-01-23 cs.LG cs.PL
HyperNOs: Automated and Parallel Library for Neural Operators Research
Department of Mathematics, University of Pavia（数学系，帕维亚大学）
HyperNOs是一个用于神经算子研究的自动化并行库，通过超参数优化和多种功能实现高效探索和先进结果。
2025-03-23 cs.LG cs.NA math.NA
NeuNetS: An Automated Synthesis Engine for Neural Network Design
IBM Watson AI Platform（IBM沃森人工智能平台）；IBM Research AI（IBM研究院人工智能部门）
将神经网络应用于各种实际应用正在改变人工智能在实践中的应用方式。通过API或使用客户数据定制训练预构建神经网络架构的能力提供的预训练神经网络模型使开发人员对AI的使用变得更加简单，并导致这些复杂AI模型的广泛采用。虽然预构建的网络模型存在于某些场景中，但为了尝试满足每个应用程序所特有的约束，人工智能团队需要考虑开发自定义神经网络架构，以满足准确性和内存占用之间的权衡，以实现其独特用例的严格约束。然而，只有一小部分数据科学团队拥有从头开始创建神经网络所需的技能和经验，需求远远超过供应。在本文中，我们介绍了NeuNetS：一个自动化的神经网络合成引擎，用于定制神经网络设计，可作为IBM的AI OpenScale产品的一部分。NeuNetS可用于文本和图像领域，可以为特定任务构建神经网络，所需时间仅为当今人工努力的一小部分，准确性与人类设计的AI模型相似。
2019-01-17 cs.LG cs.SE stat.ML
Automated Robustness with Adversarial Training as a Post-Processing Step
IBM Research Europe（IBM欧洲研究院）；IBM Technology Campus, Damastown Ind. Park（IBM科技园区，达马斯敦工业园区）
对抗性训练是一项计算代价高昂的任务，因此寻找以鲁棒性为标准的神经网络架构可能具有挑战性。作为迈向实用自动化的一步，这项工作探索了一个简单的后处理步骤在产生强大的深度学习模型方面的功效。为了实现这一目标，我们采用对抗训练作为从神经架构搜索算法获得的优化网络架构的后处理步骤。采用特定的策略来调整不同步骤的超参数，从而产生用于生成对抗性鲁棒的深度学习模型的全自动管道。我们证明了建议的管道的有用性，在11个图像分类和9个文本分类任务进行了广泛的实验。
2021-09-06 cs.LG
Deep Convolutional Neural Network for Automated Detection of Mind Wandering using EEG Signals
University of North Texas（北德克萨斯大学）
走神是一种普遍存在的现象，它反映了注意力从与任务相关的思维转移到与任务无关的思维。有一个智能接口，可以重新定位注意力时，MW检测到由于其对性能和生产力的不利影响的需要。在本文中，我们提出了一个深度学习模型，用于使用脑电图（EEG）信号进行MW检测。具体来说，我们开发了一个通道式深度卷积神经网络（CNN）模型，用于对从EEG信号中提取的聚焦状态和MW的特征进行分类。这是第一项采用CNN仅使用EEG数据自动检测MW的研究。在所收集的数据集上的实验结果显示出良好的性能，准确率为91.78%，灵敏度为92.84%，特异性为90.73%。
2019-02-05 cs.HC cs.LG eess.SP
Convolutional Neural Networks based automated segmentation and labelling of the lumbar spine X-ray
Zentralklinik Bad Berka（巴特贝尔卡中央临床医院）
本研究的目的是调查730手动注释的腰椎侧位X线片上训练的不同分割网络的分割精度。实例分割网络进行了比较，语义分割网络。研究队列包括病变脊柱和金属植入物术后图像。对于性能最好的实例分割模型，平均平均准确度和平均交集（IoU）最多提高3%，对于性能最好的语义分割模型，平均像素准确度和加权IoU稍好。此外，实例分割模型的推理更容易实现，用于临床决策支持中的进一步处理管道。
2020-04-04 cs.CV cs.LG eess.IV
Automated SNOMED CT Concept Annotation in Clinical Text Using Bi-GRU Neural Networks
Informatics and Analytics, University of North Carolina Greensboro（信息学与分析，北卡罗来纳大学格林斯堡分校）；Department of Computer Science, University of Nebraska Omaha（计算机科学系，内布拉斯加大学奥马哈分校）
本研究提出基于Bi-GRU的神经序列标注方法，利用MIMIC-IV数据实现SNOMED CT概念自动识别，以90% F1分数超越传统规则系统，并以更低计算成本达到神经模型性能。
2025-08-04 cs.CL cs.LG
