Language models and Automated Essay Scoring
在本文中,我们提出了一个新的比较研究自动作文评分(AES)。在这项工作中使用了当前最先进的自然语言处理(NLP)神经网络架构,以在公开可用的Kaggle AES数据集上实现高于人类水平的准确性。我们比较了两个强大的语言模型,BERT和XLNet,并描述了这些模型中的所有层和网络架构。我们使用清晰的符号和图表阐明了BERT和XLNet的网络架构,并解释了Transformer架构相对于传统递归神经网络架构的优势。线性代数符号用于阐明Transformers和注意力机制的功能。我们将结果与更传统的方法进行了比较,例如词袋(BOW)和长短期记忆(LSTM)网络。
2019-09-18 cs.CL cs.LG stat.ML
Deep Automated Multi-task Learning
University of California, San Diego(加利福尼亚大学圣迭戈分校)
多任务学习(MTL)最近有助于学习更好的表示服务于各种NLP任务。MTL旨在通过对次要任务的联合培训来提高主要任务的性能。本文介绍了自动化的任务,利用连续性的输入数据,作为次要任务的MTL模型。我们探索下一个单词预测,下一个字符预测,和遗漏的单词完成潜在的自动化任务。我们的研究结果表明,在一个主要任务上并行训练一个次要的自动化任务,可以提高主要任务的收敛速度和准确性。我们提出了两种方法来增强现有网络的自动化任务,并建立更好的性能,在主题预测,情感分析,和标签推荐。最后,我们证明了MTL模型可以在小而口语化的数据集上表现良好。
2017-09-19 cs.LG stat.ML
Automated Testing for Deep Learning Systems with Differential Behavior Criteria
GEICO Headquarter(GEICO总部);Clemson University(克莱姆森大学)
在这项工作中,我们进行了一项研究,建立一个自动化测试系统的深度学习系统的基础上,差分行为准则。通过联合优化两个目标函数来实现自动化测试目标:最大化被测模型的差异行为和最大化神经元覆盖率。通过在每次测试迭代期间观察来自三个预训练模型的差异行为,触发错误反馈的输入图像被注册为角情况。生成的角点情况可以用于检查DNN的鲁棒性,从而提高模型的准确性。一个名为DeepXplore的项目也被用作基线模型。在我们完全实现和优化基线系统之后,我们探索了它作为新生成的角落案例的增强训练数据集的应用。使用GTRSB数据集,通过基于自动生成的角点案例重新训练模型,三种通用模型的准确率分别提高了259.2%,53.6%和58.3%。此外,为了扩展自动化测试的能力,我们探索了基于差分行为标准的其他方法,以生成用于深度学习系统的照片般逼真的图像。一种方法是对深度学习框架的种子图像应用各种变换。另一种方法是利用生成对抗网络(GAN)技术,该技术在MNIST和Driving数据集上实现。已经观察到风格转移能力在添加额外的视觉效果、替换图像元素和风格转换(虚拟图像到真实图像)方面非常有效。基于GAN的测试样本生成系统被证明是深度学习系统自动化测试的下一个前沿。
2019-12-31 cs.LG stat.ML
Automated Search for Configurations of Deep Neural Network Architectures
SnT, University of Luxembourg(卢森堡大学SnT)
深度神经网络(DNN)被广泛用于解决各种复杂问题。虽然功能强大,但此类系统需要手动配置和调优。为此,我们将DNN视为可配置的系统,并提出了一个端到端的框架,允许配置,评估和自动搜索DNN架构。因此,我们的贡献是三方面的。首先,我们用一个特征模型(FM)对DNN架构的可变性进行建模,该模型概括了现有架构。FM的每个有效配置对应于可以构建和训练的有效DNN模型。其次,我们在Tensorflow之上实现了一个自动化过程,用于部署、训练和评估已配置模型的性能。第三,我们提出了一种搜索配置的方法,并证明了它可以产生良好的DNN模型。我们通过将其应用于图像分类任务(MNIST,CIFAR-10)来评估我们的方法,并表明,在有限的计算和训练量下,我们的方法可以识别高性能的架构(具有高精度)。我们还证明了我们的性能优于ML研究人员手工制作的现有最先进的架构。我们的FM和框架已经发布%,并公开提供,以支持复制和未来的研究。
2019-04-09 cs.CV cs.LG
Automated Architecture Search for Brain-inspired Hyperdimensional Computing
University of New Mexico(新墨西哥大学);George Mason University(乔治梅森大学);Villanova University(维拉诺瓦大学)
本文代表了第一次努力探索超维计算(HDC),一种大脑启发的神经网络的自动架构搜索。目前,HDC的设计主要是以特定于应用的ad-hoc方式进行的,这大大限制了其应用。此外,该方法导致较低的准确性和效率,这表明HDC无法与深度神经网络竞争。在这里,我们提出了一个彻底的研究,制定一个HDC架构搜索空间。在搜索空间的基础上,我们应用了搜索学习来自动探索HDC架构。搜索的HDC架构在涉及药物发现数据集和语言识别任务的案例研究中表现出竞争力。在Clintox数据集上,该数据集试图从由于毒性原因通过/失败的临床试验的开发药物中学习特征,搜索的HDC架构获得了最先进的ROC-AUC评分,比手动设计的HDC高0.80%,比传统的神经网络高9.75%。在语言识别任务上也取得了类似的结果,比传统方法高出1.27%。
2022-02-11 cs.LG
Automated Justification Production for Claim Veracity in Fact Checking: A Survey on Architectures and Approaches
Université de Sherbrooke(谢布鲁克大学)
本文综述了自动事实核查中为声明真实性判定自动生成理由的架构与方法,提出分类体系并展望可解释性提升方向。
2024-07-09 cs.AI cs.CL cs.IR
Deep learning architectures for automated image segmentation
UNIVERSITY OF CALIFORNIA(加利福尼亚大学);LOS ANGELES(洛杉矶)
图像分割被广泛应用于各种计算机视觉任务中,例如目标定位和识别、边界检测和医学成像。本论文提出了深度学习架构,以改进自然图像中显著对象分割和2D医学图像分割的自动对象定位和边界划定。首先,我们提出并评估了一种新的扩张密集编码器-解码器架构,该架构具有自定义扩张空间金字塔池块,以准确定位和描绘显著对象分割的边界。膨胀提供了更好的空间理解,而密集连接保留了在网络的较浅层次上学习的特征,以更好地定位。在三个公开可用的数据集上进行测试,我们的架构在一个方面优于最先进的技术,在另外两个方面非常有竞争力。其次,我们提出并评估了一个自定义的2D扩张密集UNet架构,用于医学图像中的准确病变定位和分割。该架构可以作为一个独立的分割框架,或作为一个丰富的特征提取骨干,以帮助其他模型在医学图像分割。我们的架构优于所有基线模型,可在新数据集上进行准确的病变定位和分割。我们还探讨了3D医学图像分割应考虑的主要因素,其中包括预处理技术和专门的损失函数。
2019-09-19 cs.LG eess.IV stat.ML
Towards Automated Neural Interaction Discovery for Click-Through Rate Prediction
Texas A&M University(德州农工大学);Facebook Inc.(Facebook公司)
点击率(CTR)预测是推荐系统中最重要的机器学习任务之一,为数十亿消费者提供个性化体验。神经网络结构搜索(NAS)作为一个新兴的领域,在发现功能强大的神经网络结构方面表现出了强大的能力,这促使我们探索其在CTR预测方面的潜力。由于1)多样的非结构化特征交互,2)异构的特征空间,以及3)高数据量和固有的数据随机性,有效地构造、搜索和比较推荐模型的不同架构是具有挑战性的。为了解决这些挑战,我们提出了一个自动交互架构发现框架的CTR预测命名AutoCTR。通过将简单但有代表性的交互模块化为虚拟构建块并将其连接到直接非循环图空间中,AutoCTR在架构级别进行进化架构探索,并使用低保真度模型实现加速。实证分析证明了AutoCTR在不同数据集上的有效性,与人工构建的架构相比。所发现的体系结构也享有不同的数据集之间的通用性和可移植性。
2020-06-29 cs.IR cs.LG
LAMP: Large Deep Nets with Automated Model Parallelism for Image Segmentation
NVIDIA(英伟达)
深度学习(DL)模型正在变得越来越大,因为模型大小的增加可能会提供显着的准确性增益。为了能够训练大型深度网络,数据并行和模型并行是并行训练的两种众所周知的方法。但是,数据并行无助于减少每个设备的内存占用。在这项工作中,我们引入了具有自动模型并行(LAMP)的大型深度3D ConvNets,并研究了输入和深度3D ConvNets的大小对分割精度的影响。通过自动化模型并行,可以用大的输入块甚至整个图像来训练大型深度3D ConvNet。大量的实验表明,通过自动化的模型并行,可以通过增加模型大小和输入上下文大小来提高分割精度,并且与小块的滑动窗口相比,大输入在推理中会产生显著的推理加速。代码为\footnote{https://monai.io/research/lamp-automated-model-parallelism}。
2020-09-15 cs.CV cs.DC cs.LG
DeepLung: 3D Deep Convolutional Nets for Automated Pulmonary Nodule Detection and Classification
University of California, Irvine(加州大学尔湾分校);Baidu Research(百度研究院)
在这项工作中,我们提出了一个完全自动化的肺癌CT诊断系统,DeepLung。DeepLung包含两个部分,结节检测和分类。考虑到肺部CT数据的三维特性,设计了两个三维网络分别用于结节检测和分类。具体来说,3D Faster R-CNN被设计用于结节检测,具有类似U网的编码器-解码器结构,以有效地学习结节特征。对于结节分类,提出了具有3D双路径网络(DPN)特征的梯度提升机(GBM)。结节分类子网络在LIDC-IDRI的公共数据集上进行了验证,其性能优于最先进的方法,并超过了四位经验丰富的医生的平均性能。对于DeepLung系统,首先通过结节检测子网络检测候选结节,并通过分类子网络进行结节诊断。大量的实验结果表明,DeepLung在LIDC-IDRI数据集上的结节级别和患者级别诊断方面与经验丰富的医生相当。
2017-09-16 cs.CV cs.LG cs.NE
WindDragon: Enhancing wind power forecasting with Automated Deep Learning
INRIA Lille Nord Europe(法国里尔北欧信息、自动化与计算机科学研究所(INRIA里尔北欧欧洲中心));Sorbonne Université(索邦大学);EDF R&D(法国电力公司研发中心)
本文提出WindDragon方法,将自动化深度学习与数值天气预报风速图相结合,在国家层面实现1至6小时短期风电功率的准确预测,以应对风电波动性和不确定性对电网运行的挑战。
2024-02-22 cs.LG physics.ao-ph stat.ML
Auto-Meta: Automated Gradient Based Meta Learner Search
SK T-Brain;Yale University(耶鲁大学)
完全自动化机器学习管道是当前人工智能研究的关键挑战之一,因为实际的机器学习通常需要昂贵且耗时的人力流程,例如模型设计,算法开发和超参数调整。在本文中,我们验证了自动化架构搜索与基于梯度的元学习的效果协同作用。我们采用渐进式神经结构搜索\cite{liu:pnas_google:DBLP:journals/corr/abs-1712-00559}来寻找元学习器的最佳结构。基于梯度的元学习器的架构是自动发现的,它在5次5路Mini-ImageNet分类问题上取得了最先进的结果,具有$74.65\%$精度,这是$11.54\%$对第一个基于梯度的元学习器MAML \cite{finn:maml:DBLP:conf/icml/FinnAL17}获得的结果的改进。据我们所知,这项工作是在元学习的背景下第一个成功的神经架构搜索实现。
2018-12-10 cs.AI cs.CV cs.LG
Automated Robustness with Adversarial Training as a Post-Processing Step
IBM Research Europe(IBM欧洲研究院);IBM Technology Campus, Damastown Ind. Park(IBM科技园区,达马斯敦工业园区)
对抗性训练是一项计算代价高昂的任务,因此寻找以鲁棒性为标准的神经网络架构可能具有挑战性。作为迈向实用自动化的一步,这项工作探索了一个简单的后处理步骤在产生强大的深度学习模型方面的功效。为了实现这一目标,我们采用对抗训练作为从神经架构搜索算法获得的优化网络架构的后处理步骤。采用特定的策略来调整不同步骤的超参数,从而产生用于生成对抗性鲁棒的深度学习模型的全自动管道。我们证明了建议的管道的有用性,在11个图像分类和9个文本分类任务进行了广泛的实验。
2021-09-06 cs.LG
Deep Architectures for Automated Seizure Detection in Scalp EEGs
使用临床脑电图的自动癫痫发作检测是一个具有挑战性的机器学习问题,因为多通道信号通常具有极低的信噪比。感兴趣的事件(例如癫痫发作)容易与信号伪影(例如,眼球运动)或良性变体(例如,慢)。商业上可获得的系统遭受不可接受的高误报警率。由于缺乏大数据资源,采用高维模型的深度学习算法以前并不有效。在本文中,我们使用TUH EEG癫痫发作语料库来评估各种混合深层结构,包括卷积神经网络和长短期记忆网络。我们引入了一种新的递归卷积架构,每24小时提供7个假警报的30%灵敏度。我们还评估了我们的系统在杜克大学癫痫发作语料库的基础上举行了评估集,并证明性能趋势是类似的TUH EEG癫痫发作语料库。这是一个重要的发现,因为杜克语料库是在不同的医院用不同的仪器收集的。我们的工作表明,整合空间和时间背景的深度学习架构对于实现最先进的性能至关重要,并将实现新一代临床可接受的技术。
2017-12-28 cs.LG eess.SP q-bio.NC
Deep Learning for Automated Medical Image Analysis
Microsoft Research(微软研究院);TuSimple(图森未来);Baidu Research(百度研究院);Tencent Medical AI Labs(腾讯医疗AI实验室);PingAn Tech(平安科技)
医学成像是许多医学应用领域的重要工具,用于诊断和治疗。然而,阅读医学图像和做出诊断或治疗建议需要经过专门培训的医学专家。目前读取医学图像的实践是劳动密集型的,耗时的,昂贵的,并且容易出错。更希望有一个计算机辅助系统,可以自动作出诊断和治疗建议。深度学习的最新进展使我们能够重新思考基于医学图像的临床诊断方法。在这篇论文中,我们将介绍1)用于检测乳腺癌的乳房X线照片,这是美国女性最常诊断的实体癌,2)用于检测肺癌的肺部CT图像,这是最常诊断的恶性肿瘤,3)用于放射治疗中危险器官自动描绘的头颈部CT图像。首先,我们将展示如何使用对抗性概念来生成改进乳房X线照片肿块分割的硬示例。其次,我们将演示如何通过有效地设计用于多实例学习的深度学习,将弱标记数据用于乳房X光检查乳腺癌诊断。第三,本文将走查DeepLung系统,它结合了深度3D ConvNets和GBM用于自动肺结节检测和分类。第四,我们将展示如何通过将深度学习与概率图形模型相结合,使用弱标记数据来改进现有的肺结节检测系统。最后,我们将展示AnatomyNet,它比以前的自动解剖分割方法快数千倍,更准确。
2019-03-12 cs.CV cs.LG cs.NE
DeepPicker: a Deep Learning Approach for Fully Automated Particle Picking in Cryo-EM
Huazhong University of Science and Technology(华中科技大学);Tsinghua University(清华大学)
颗粒拾取是单颗粒分析中耗时的步骤,并且通常需要用户的显著干预,这已成为未来自动化电子冷冻显微镜(冷冻电子显微镜)的瓶颈。在这里,我们报告了一个名为DeepPicker的深度学习框架,以解决这个问题,并填补目前的空白,实现全自动冷冻电子显微镜管道。DeepPicker采用了一种新的跨分子训练策略,从先前分析的显微照片中捕获粒子的共同特征,因此在粒子拾取过程中不需要任何人为干预。对最近发表的三个复合物的冷冻电子显微镜数据的测试表明,我们基于深度学习的方案可以成功完成人类水平的粒子拾取过程,并识别出足够数量的粒子,这些粒子与人类专家手动识别的粒子相当。这些结果表明,DeepPicker可以提供一个实用的工具,以显着减少单粒子分析所花费的时间和手动工作,从而大大促进高分辨率冷冻电子显微镜结构确定。
2016-05-06 cs.LG q-bio.QM
Efficient Automated Deep Learning for Time Series Forecasting
Leibniz University Hannover(汉诺威莱布尼茨大学);Ludwig-Maximilian University(路德维希-马克西米利安大学);Fraunhofer Institute for Integrated Circuits (IIS)(弗劳恩霍夫集成电路研究所);University of Freiburg(弗莱堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
近年来,自动机器学习(AutoML)的效率得到了极大的提高,特别是自动深度学习(AutoDL)系统,但最近的工作集中在表格,图像或NLP任务上。到目前为止,很少有人注意到一般的AutoDL框架的时间序列预测,尽管在应用不同的新架构,这些任务的巨大成功。在本文中,我们提出了一种有效的方法,用于联合优化神经结构和超参数的整个数据处理管道的时间序列预测。与常见的NAS搜索空间相比,我们设计了一种新的神经架构搜索空间,覆盖各种最先进的架构,允许在不同的DL方法上进行有效的宏搜索。为了有效地搜索在这样一个大的配置空间,我们使用贝叶斯优化与多保真度优化。我们实证研究了几种不同的预算类型,使有效的多保真度优化不同的预测数据集。此外,我们将我们的系统(称为\system)与几个已建立的基线进行了比较,并表明它在几个数据集上的性能明显优于所有基线。
2022-07-22 cs.LG
DeepLung: Deep 3D Dual Path Nets for Automated Pulmonary Nodule Detection and Classification
University of California, Irvine(加州大学欧文分校);Baidu Research(百度研究院);Tencent Medical AI Lab(腾讯医疗人工智能实验室)
在这项工作中,我们提出了一个全自动的肺部计算机断层扫描(CT)癌症诊断系统,DeepLung。DeepLung由两个部分组成,结节检测(识别候选结节的位置)和分类(将候选结节分类为良性或恶性)。考虑到肺部CT数据的三维特性和双路径网络(DPN)的紧凑性,设计了两个深度三维DPN分别用于结节检测和分类。具体而言,具有卷积神经网络的3D快速区域(R-CNN)被设计用于具有3D双路径块和类似U网的编码器-解码器结构的结节检测,以有效地学习结节特征。对于结节分类,提出了具有三维双路径网络特征的梯度提升机(GBM)。结节分类子网络在LIDC-IDRI的公共数据集上进行了验证,其性能优于最先进的方法,并超过了基于图像模态的经验丰富的医生的性能。在DeepLung系统中,首先通过结节检测子网络检测候选结节,然后通过分类子网络进行结节诊断。大量的实验结果表明,DeepLung在LIDC-IDRI数据集上的结节级和患者级诊断方面的性能与经验丰富的医生相当。\footnote{https://github.com/uci-cbcl/DeepLung.git}
2018-01-25 cs.CV cs.LG cs.NE
Automated Learning for Deformable Medical Image Registration by Jointly Optimizing Network Architectures and Objective Functions
Dalian University of Technology(大连理工大学);Guilin University of Electronic Technology(桂林电子科技大学);University of Pennsylvania(宾夕法尼亚大学)
本文提出 AutoReg 自动化配准算法,通过三层框架联合搜索并优化网络架构与训练目标,使临床用户可在多中心医学体数据上获得最先进且更高效的配准模型。
2023-08-12 cs.CV cs.LG
AutoSTF: Decoupled Neural Architecture Search for Cost-Effective Automated Spatio-Temporal Forecasting
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
针对自动化时空预测中神经架构搜索开销高的问题,本文提出解耦框架 AutoSTF,通过时空搜索空间分离、表示压缩、参数共享及多块迁移提升效率与精度。
2025-01-08 cs.AI cs.LG
A Five-Layer MLOps Architecture for Connected Automated Driving
Institute for Automotive Engineering (ika), RWTH Aachen University(汽车工程研究所(ika),亚琛工业大学)
本文提出五层MLOps架构,旨在通过集体学习提升自动驾驶系统安全性和性能,支持车队运营商等利益相关者设计实现MLOps流程,通过多级自我评估降低边缘案例风险。
2026-05-12 cs.LG cs.RO
Computer Architecture's AlphaZero Moment: Automated Discovery in an Encircled World
NVIDIA Research(英伟达研究院)
计算机架构面临摩尔定律终结的挑战,传统方法已无法满足性能需求,本文提出通过自动化系统加速架构设计,显著提升效率。
2026-03-31 cs.AR cs.CY cs.LG
Automated Copper Alloy Grain Size Evaluation Using a Deep-learning CNN
Moog Inc.(穆格公司)
穆格公司使用深度学习卷积神经网络(CNN)自动评估铜(Cu)合金晶粒尺寸。概念验证自动化图像采集和批量图像处理提供了显著减少劳动力、提高晶粒评估准确性和减少批准用于飞行关键飞机硬件的铜合金棒料的总体周转时间的潜力。对Cu合金试样的各个子图像的分类准确率达到91.1%。过程开发包括最小化所获取的图像颜色、亮度和分辨率的变化,以创建具有12300个子图像的数据集,然后使用统计实验设计(DoE)优化该数据集上的CNN超参数。在自动化Cu合金晶粒尺寸评估的开发过程中,基于将大的原始图像分解成许多较小的数据集子图像,通过经由检查来自各个较小子图像的分类结果来解释CNN整体图像输出的能力,实现了人工智能(XAI)输出中的一定程度的“可解释性”。
2020-05-20 cond-mat.mtrl-sci cs.CV cs.LG
AutoDEUQ: Automated Deep Ensemble with Uncertainty Quantification
Argonne National Laboratory(阿贡国家实验室);Université Paris-Saclay(巴黎萨克雷大学)
深度神经网络是各种任务的强大预测器。然而,它们并不直接反映不确定性。使用神经网络集成来量化不确定性与基于贝叶斯神经网络的方法具有竞争力,同时受益于更好的计算可扩展性。然而,构建神经网络的集成是一项具有挑战性的任务,因为除了为集成的每个成员选择正确的神经架构或超参数之外,还需要增加训练每个模型的成本。我们提出AutoDEUQ,一种自动生成深度神经网络集成的方法。我们的方法利用联合神经架构和超参数搜索来生成集成。我们使用总方差定律将深度集合的预测方差分解为任意(数据)和认知(模型)的不确定性。我们表明,AutoDEUQ优于概率反向传播,蒙特卡罗辍学,深度集成,分布自由集成,超集成方法在一些回归基准。
2022-07-04 cs.LG
GANDALF: Gated Adaptive Network for Deep Automated Learning of Features
Walmart Global Tech(沃尔玛全球技术);Delhi Technological University(德里理工大学)
本文提出面向表格数据的GANDALF架构,通过带门控与内置特征选择的GFLU单元实现高效可解释的特征学习,在多个公开基准上达到或超越XGBoost、SAINT等SOTA方法。
2024-01-10 cs.LG
An Automated Deep Learning Approach for Bacterial Image Classification
Munzur University(Munzur大学)
从显微图像中自动识别和分类细菌种类在临床微生物学中具有重要意义。细菌分类通常由生物学家利用细菌种类的不同形状和形态特征手动进行。从显微镜图像中手动分类细菌类型是耗时的,即使是经验丰富的生物学家也是一项具有挑战性的任务。在这项研究中,提出了一种基于自动深度学习的分类方法,将细菌图像分类为不同的类别。ResNet-50预训练的CNN架构已被用于将数字细菌图像分类为33个类别。采用迁移学习技术加速网络的训练过程,提高网络的分类性能。该方法实现了99.2%的平均分类准确率。实验结果表明,所提出的技术超越了文献中最先进的方法,可用于任何类型的细菌分类任务。
2019-12-04 cs.CV cs.LG eess.IV
Automated Assessment of Transthoracic Echocardiogram Image Quality Using Deep Neural Networks
University of West London(西伦敦大学)
二维超声心动图中的标准视图已得到很好的建立,但采集图像的质量高度依赖于操作者的技能,并进行主观评估。本研究旨在通过定义一组新的特定领域质量指标,为超声心动图图像质量提供客观评估管道。因此,图像质量评估因此可以自动化以增强临床测量、解释和实时优化。我们开发了深度神经网络,用于自动评估从11,262名成人患者中随机抽样的超声心动图帧。私人超声心动图数据集包括33,784帧,之前在2010年至2020年期间采集。使用深度学习方法提取时空特征,并根据平均绝对误差评估图像质量指标。我们的质量指标包含解剖和病理元素,分别为解剖可见性、清晰度、深度增益和透视短缩提供多变量评估评分。
2022-09-02 cs.CV cs.LG cs.NE
Predictive Crypto-Asset Automated Market Making Architecture for Decentralized Finance using Deep Reinforcement Learning
Nanyang Polytechnic(南洋理工学院);Singapore Management University(新加坡管理大学)
该研究提出了一个报价驱动的预测自动做市商(AMM)平台,具有链上托管和结算功能,以及链下预测强化学习功能,以改善现实世界AMM的流动性供给。拟议的AMM架构是对加密货币AMM协议Uniswap V3的增强,通过利用新的市场均衡定价来减少分歧和滑点损失。此外,所提出的架构涉及预测AMM功能,利用深度混合的长短期记忆(LSTM)和Q学习强化学习框架,通过更好地预测流动性集中范围来提高市场有效性,因此流动性在资产价格变动之前开始向预期集中范围移动,从而提高流动性利用率。增强的协议框架预计将具有实际的现实意义,通过(i)减少流动性提供者的分歧损失,(ii)减少加密资产交易者的滑点,同时(iii)提高AMM协议流动性供给的资本效率。据我们所知,目前还没有已知的协议或文献提出类似的深度学习增强AMM,可以为实际的现实应用实现类似的资本效率和损失最小化目标。
2023-01-26 cs.AI cs.LG q-fin.CP
Automated Search-Space Generation Neural Architecture Search
Microsoft(微软)
针对现有神经架构搜索依赖手工构建搜索空间、需大量人工干预的问题,提出ASGNAS方法,可自动生成搜索空间、通过H2SPG算法优化并构建子网络,在多个网络和基准数据集上取得了有竞争力甚至更优的性能。
2023-10-05 cs.AI cs.CV cs.LG
Deep Convolutional Neural Network for Automated Detection of Mind Wandering using EEG Signals
University of North Texas(北德克萨斯大学)
走神是一种普遍存在的现象,它反映了注意力从与任务相关的思维转移到与任务无关的思维。有一个智能接口,可以重新定位注意力时,MW检测到由于其对性能和生产力的不利影响的需要。在本文中,我们提出了一个深度学习模型,用于使用脑电图(EEG)信号进行MW检测。具体来说,我们开发了一个通道式深度卷积神经网络(CNN)模型,用于对从EEG信号中提取的聚焦状态和MW的特征进行分类。这是第一项采用CNN仅使用EEG数据自动检测MW的研究。在所收集的数据集上的实验结果显示出良好的性能,准确率为91.78%,灵敏度为92.84%,特异性为90.73%。
2019-02-05 cs.HC cs.LG eess.SP
DeepCAVE: An Interactive Analysis Tool for Automated Machine Learning
Leibniz University Hannover(汉诺威莱布尼茨大学);University of Freiburg(弗赖堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
自动化机器学习(AutoML)比以往任何时候都更常用于支持用户确定有效的超参数、神经架构甚至完整的机器学习管道。然而,由于缺乏透明度,用户往往不信任优化过程及其结果,使得手动调优仍然很普遍。我们介绍DeepCAVE,这是一个交互式框架,可以轻松地分析和监控AutoML的最新优化过程。DeepCAVE旨在实现完全和可访问的透明度,在用户和AutoML之间建立了一座桥梁,并有助于建立信任。我们的框架的模块化和易于扩展的性质为用户提供自动生成的文本,表格和图形可视化。我们在异常值检测的示例用例中展示了DeepCAVE的价值,在该用例中,我们的框架可以轻松识别问题,比较多次运行并解释优化过程。该软件包可在GitHub https://github.com/automl/DeepCAVE上免费获得。
2022-07-11 cs.LG
ResBuilder: Automated Learning of Depth with Residual Structures
University of Wuppertal(伍珀塔尔大学);Control Expert(Control Expert公司);TU-Berlin(柏林工业大学)
提出神经架构搜索算法 ResBuilder,可从零构建或修改 ResNet,在图像分类上以更低计算成本接近 SOTA,且参数可跨数据集乃至工业欺诈检测任务泛化。
2023-08-16 cs.CV cs.LG
Toward Attention-based TinyML: A Heterogeneous Accelerated Architecture and Automated Deployment Flow
针对 tinyML 难以支持 Transformer 的问题,本文提出 RISC-V 八核集群与量化 Attention 硬连线加速器耦合的异构架构及自动化部署流程,实现端到端 8 位推理并取得领先能效与吞吐量。
2025-01-05 cs.AR cs.LG
Exploring Recurrent, Memory and Attention Based Architectures for Scoring Interactional Aspects of Human-Machine Text Dialog
Educational Testing Service R&D(教育考试服务中心研发部)
使英语语言学习者能够提高他们的会话能力的重要一步是自动评分的多个方面的intermittent能力和随后的有针对性的反馈。本文建立在以前的工作,在这个方向上,调查多个神经架构-经常性的,注意力和记忆为基础的-随着功能设计的模型,自动评分的文本对话数据的intermittent和主题开发方面。我们在人类学习者与基于云的对话系统交互的文本对话的对话数据库上进行了实验,这些对话在会话熟练度的多个维度上进行了三重评分。我们发现,相对于专家评分员协议,多个架构的融合在我们的自动评分任务上表现出色,(i)手工设计的功能传递给支持向量学习器,(ii)基于transformer的架构对融合的贡献最大。
2020-05-20 cs.HC cs.LG cs.SD
Integrating Large Language Models into a Tri-Modal Architecture for Automated Depression Classification on the DAIC-WOZ
本文提出首个将大语言模型GPT-4整合到基于BiLSTM的三模态架构中,利用临床访谈的音频、视频和文本进行抑郁症二元分类,在DAIC-WOZ数据集上准确率达91.01%,超越现有基线与多个最先进模型。
2024-10-11 cs.AI cs.CV cs.LG
Deep learning facilitates fully automated brain image registration of optoacoustic tomography and magnetic resonance imaging
ShanghaiTech University(上海科技大学);University of Zürich(苏黎世大学);ETH Zürich(苏黎世联邦理工学院)
多光谱光声断层成像(MSOT)是一种新兴的光学成像方法,可以提供来自啮齿动物大脑的多重分子和功能信息。磁共振成像(MRI)可以提供出色的软组织对比度和高分辨率的大脑解剖结构,从而大大增强其功能。然而,多模态图像的配准仍然具有挑战性,主要是由于这些模态呈现的完全不同的图像对比度。以前报道的配准算法主要依赖于手动用户依赖的大脑分割,这损害了数据解释和准确量化。在这里,我们提出了一种由深度学习授权的MSOT-MRI多模态成像的全自动配准方法。自动化工作流程包括基于神经网络的图像分割,以生成合适的掩模,随后使用附加的神经网络进行配准。该算法的性能与横截面MSOT和高场MRI临床前扫描仪采集的数据集一起展示。自动配准方法进一步验证与手动和半自动配准,证明其鲁棒性和准确性。
2021-09-04 cs.CV cs.LG eess.IV
Automated Vulnerability Detection in Source Code Using Deep Representation Learning
Draper(德雷珀实验室);Boston University(波士顿大学)
每年都有越来越多的软件漏洞被发现,无论它们是公开报告的还是在专有代码中内部发现的。这些漏洞可能会造成严重的利用风险,并导致系统受损、信息泄露或拒绝服务。我们利用丰富的C和C++开源代码,使用机器学习开发了一个大规模的函数级漏洞检测系统。为了补充现有的标记漏洞数据集,我们编译了一个包含数百万个开源函数的庞大数据集,并使用三个不同的静态分析器精心挑选的结果进行标记,这些结果表明潜在的漏洞利用。标记的数据集可在https://osf.io/d45bw/上获得。使用这些数据集,我们开发了一个快速和可扩展的漏洞检测工具,基于深度特征表示学习,直接解释lexed源代码。我们评估了我们的工具的代码从两个真正的软件包和NIST SATE IV基准数据集。我们的研究结果表明,源代码的深度特征表示学习是一种很有前途的自动化软件漏洞检测方法。
2018-11-28 cs.AI cs.LG cs.SE
Iterative Refinement Strategy for Automated Data Labeling: Facial Landmark Diagnosis in Medical Imaging
The University of Melbourne(墨尔本大学)
针对医学影像面部关键点诊断中的自动标注难题,本文提出结合反馈机制与先进算法的迭代优化策略,以减少人工干预并提升标签质量及深度学习性能。
2024-04-08 cs.AI cs.CV cs.LG
A Deep-Learning Approach for Operation of an Automated Realtime Flare Forecast
Kwasan and Hida Observatories, Kyoto University(京都大学花山天文台与飞驒天文台);RIKEN Advanced Institute for Computational Science(理化学研究所计算科学研究院);Unit of Synergetic Studies for Space, Kyoto University(京都大学空间协同研究单元);BroadBand Tower, Inc.(BroadBand Tower 公司)
自动化预报在空间天气科学中发挥着重要作用,可从统计学角度深入了解耀斑触发机制,并可进行量身定制的预报和高频预报。只有通过实时预报,我们才能在实验上测量耀斑预报方法的性能,同时自信地避免过度学习。我们自2015年8月开始运营无人值守的耀斑预报服务,每12分钟提供一次太阳耀斑的24小时预报。我们报告的方法和预测结果的系统。
2016-06-06 astro-ph.SR cs.LG
Improved Automated Machine Learning from Transfer Learning
Duke University(杜克大学)
在本文中,我们提出了一个神经架构搜索框架的基础上,一些基线任务和目标任务之间的相似性度量。我们首先定义的概念的任务相似性的基础上的Fisher信息矩阵的对数行列式。接下来,我们计算每个基线任务与目标任务的任务相似度。通过利用目标和一组学习的基线任务之间的关系,可以显著地减小用于目标任务的架构的搜索空间,使得在GPU天数方面,在可能架构的集合中发现最佳候选者是易处理的和高效的。该方法消除了对于给定目标任务从头开始训练网络的要求,并且在搜索空间的初始化中引入了来自人类领域的偏差。
2022-01-29 cs.CV cs.LG
GateNet: A novel Neural Network Architecture for Automated Flow Cytometry Gating
University of Münster(明斯特大学);University and University Hospital Münster(明斯特大学及明斯特大学医院)
针对流式细胞术手动设门繁琐易错的问题,提出无需校正批次效应的端到端自动设门神经网络GateNet,在多数据集上达到人类水平性能,且样本需求低、推理速度快。
2023-12-12 cs.LG
Automated detection of Alzheimer disease using MRI images and deep neural networks- A review
JSS Academy of Higher Education and Research(JSS高等教育与研究学院);University of Delhi(德里大学)
早期发现阿尔茨海默病对于部署干预措施和减缓疾病进展至关重要。在过去的十年中,人们探索了许多机器学习和深度学习算法,旨在建立阿尔茨海默病的自动检测。数据增强技术和先进的深度学习架构的进步开辟了该领域的新前沿,研究正在快速发展。因此,这项调查的目的是概述最近关于阿尔茨海默病诊断的深度学习模型的研究。除了对众多数据源、神经网络架构和常用评估指标进行分类外,我们还对实现和可重复性进行了分类。我们的目标是帮助感兴趣的研究人员跟上最新的发展,并复制早期的调查作为基准。此外,我们还指出了该课题未来的研究方向。
2022-09-22 cs.CV cs.LG eess.IV
Automated Deep Learning: Neural Architecture Search Is Not the End
University of Technology Sydney(悉尼科技大学);Google Research(谷歌研究院)
深度学习(DL)已被证明是在不同环境中开发模型的高效方法,包括视觉感知、语音识别和机器翻译。然而,应用DL的端到端过程并不简单。它需要解决问题的表述和上下文理解、数据工程、模型开发、部署、持续监控和维护等问题,而且,这些步骤中的每一个通常都严重依赖于人类,无论是在知识还是交互方面,这阻碍了DL的进一步发展和民主化。因此,为了应对这些问题,在过去几年中出现了一个新的领域:自动化深度学习(AutoDL)。这一努力旨在最大限度地减少人类参与的需要,并以其在神经结构搜索(NAS)方面的成就而闻名,这一主题一直是几项调查的焦点。也就是说,NAS不是AutoDL的全部和最终目的。因此,本次审查采用了一个总体的角度来看,研究工作自动化在整个原型DL工作流程。在这样做的时候,这项工作还提出了一套全面的十个标准,以评估现有的工作,在个别出版物和更广泛的研究领域。这些标准是:新颖性、解决方案质量、效率、稳定性、可解释性、可再现性、工程质量、可扩展性、可推广性和生态友好性。因此,最终,本次审查提供了AutoDL在21世纪20年代初的评估概述,确定未来可能存在的进步机会。
2022-05-17 cs.LG
Automated proof synthesis for propositional logic with deep neural networks
National Institute of Informatics(国立情报学研究所);Kyoto University(京都大学)
这项工作探索了深度学习的应用,深度学习是一种以深度神经网络(DNN)为核心的机器学习技术,它可以用于自动定理证明(ATP)问题。为此,我们构建了一个统计模型,量化的可能性,证明确实是一个正确的一个给定的命题。基于这个模型,我们给出了一个证明合成过程,搜索的顺序的可能性的证明。这个过程使用一个估计的可能性的推理规则被应用在每一步的证明。作为估计器的实现,我们提出了一个命题证明架构,这是一个DNN定制的自动证明合成问题。为了实证证明它的有用性,我们应用我们的模型来合成命题逻辑的证明。我们使用命题证明对的训练数据集训练命题证明模型。对基准集的评价显示了非常高的准确性和改进最近的工作的神经证明合成。
2018-05-30 cs.AI cs.LG cs.LO
An Ensemble Method of Deep Reinforcement Learning for Automated Cryptocurrency Trading
Northwestern University(西北大学)
提出一种深度强化学习集成方法,通过多验证期模型选择和混合分布策略,提升日内加密货币交易策略的泛化性能,优于单一强化学习及被动投资基准。
2023-07-27 cs.LG q-fin.TR
Self-Supervised Action-Space Prediction for Automated Driving
Robert Bosch GmbH(罗伯特·博世股份有限公司);Research Center for Information Technology (FZI)(信息技术研究中心(FZI))
做出明智的驾驶决策需要可靠地预测其他车辆的轨迹。在本文中,我们提出了一种新的学习多模态轨迹预测架构的自动驾驶。它通过将学习问题投射到加速度和转向角度的空间来实现运动学上可行的预测-通过执行动作空间预测,我们可以利用有价值的模型知识。此外,动作流形的维数低于状态流形的维数,其内在相关的状态更难以以学习的方式捕获。对于动作空间预测,我们提出了简单的前馈空间预测(FFW-ASP)架构。然后,我们建立在这个概念,并介绍了新的自我监督的空间预测(SSP-ASP)的架构,输出未来的环境背景下的功能,除了轨迹。自我监督架构中的一个关键要素是,基于观察到的动作历史和过去的上下文特征,在未来轨迹之前预测未来的上下文特征。所提出的方法在包含城市交叉口和环形交叉口的真实数据集上进行了评估,并显示出准确的预测,在几个预测指标中优于最先进的运动学可行预测。
2021-09-21 cs.CV cs.LG cs.RO
A3C-S: Automated Agent Accelerator Co-Search towards Efficient Deep Reinforcement Learning
Rice University(莱斯大学)
针对 DRL 端侧部署中智能体复杂性与硬件资源受限的矛盾,提出 A3C-S 框架,自动协同搜索匹配的智能体与加速器,以同时提升测试分数和硬件效率。
2025-01-04 cs.LG
Assessing the Performance of Deep Learning for Automated Gleason Grading in Prostate Cancer
University of Augsburg(奥格斯堡大学);University Hospital Augsburg(奥格斯堡大学医院);Neu-Ulm University of Applied Sciences(新乌尔姆应用科学大学);Bavarian Cancer Research Center(巴伐利亚癌症研究中心);BioM Biotech Cluster Development GmbH(BioM生物技术集群发展有限公司)
本研究基于AUCMEDI框架和34,264个标注组织块,评估了11种深度神经网络架构在前列腺癌自动化Gleason分级中的性能,发现ConvNeXt在复杂性与泛化性间实现了最佳平衡且表现最优。
2024-03-25 cs.CV cs.LG eess.IV
Automated GI tract segmentation using deep learning
本文提出用深度学习自动化胃肠道分割,以加速放疗中器官勾画,缩短治疗时间,使更多患者受益。
2023-09-05 cs.CV cs.LG eess.IV
Automated data processing and feature engineering for deep learning and big data applications: a survey
Cape Coast Technical University(海岸角技术大学);University of Mines and Technology(矿业与技术大学)
该综述全面梳理了深度学习与大数据应用中自动化数据处理与特征工程的方法,涵盖数据预处理、增强及特征工程,并探讨了AutoML在端到端流水线优化中的作用。
2024-03-19 cs.AI cs.DB cs.LG
Automated visual inspection of CMS HGCAL silicon sensor surface using an ensemble of a deep convolutional autoencoder and classifier
CERN(欧洲核子研究中心)
超过一千个8”硅传感器将在CERN CMS实验的高粒度量热计组装之前的质量控制期间进行目视检查,以寻找其表面上的异常。开发了一种基于深度学习的算法,可以实时预选传感器表面的潜在异常图像,以自动进行视觉检测。异常检测是由独立的深度卷积神经网络集成完成的:自动编码器和分类器。在生产中获取的图像上评估性能。预先选择将需要人工检查的图像数量减少了85%,召回率为97%。生产中收集的数据可用于持续学习,以逐步提高准确性。
2023-03-09 cs.CV cs.LG physics.ins-det
Towards automated Capability Assessment leveraging Deep Learning
Fraunhofer Institute for Manufacturing Engineering and Automation IPA(弗劳恩霍夫制造工程与自动化研究所)
为了提高制造业的经济效率,提高自动化程度是一个关键因素。然而,评估专用工艺的自动化装配解决方案的技术可行性是困难的,并且通常由给定产品零件的几何形状决定。其中,自动化可行性的决定性标准是分离和隔离单个部件的能力或在最终位置的部件自对准的能力。为了评估的可行性,一个基于问卷的评估方案已经开发和应用弗劳恩霍夫研究人员。然而,结果强烈地依赖于执行评估的单个工程师的隐含知识和经验。本文介绍了NeuroCAD,一个软件工具,使用体素化技术自动化的评估。该方法可以通过基于CAD文件的深度学习来评估抽象和生产相关的几何特征。
2022-01-28 cs.GR cs.LG cs.RO
Automated Fusion of Multimodal Electronic Health Records for Better Medical Predictions
Pennsylvania State University(宾夕法尼亚州立大学);Dalian University of Technology(大连理工大学);Stony Brook University(石溪大学)
针对多模态EHR建模依赖手工架构的问题,本文提出AutoFM神经架构搜索框架,自动搜索模态编码与融合架构,并在真实数据上验证其性能与架构发现能力。
2024-01-20 cs.AI cs.LG
AutoML4ETC: Automated Neural Architecture Search for Real-World Encrypted Traffic Classification
University of Waterloo(滑铁卢大学);Orange Labs(Orange实验室)
针对深度学习加密流量分类器在生产环境中性能衰减且手动调整架构耗时的问题,提出AutoML4ETC工具自动设计高效神经架构,在真实和基准数据集上准确率优于现有方法且参数量更轻。
2023-10-13 cs.AI cs.CR cs.LG