Understanding Reconstruction Attacks with the Neural Tangent Kernel and Dataset Distillation
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文提出更强数据集重构攻击，证明无限宽度下可恢复全部训练数据，并揭示攻击成功依赖对神经正切核极限的偏离，且重构图像多为离群点，可用于数据集蒸馏。
2023-11-09 cs.AI cs.LG cs.NE
Kernel-Level Energy-Efficient Neural Architecture Search for Tabular Dataset
The Arctic University of Norway（挪威北极大学）
本文提出面向表格数据集的核级节能神经架构搜索方法，直接以最小化能耗为目标，在保持可接受准确率的同时，相比常规NAS推荐的架构最高可降低92%的能耗。
2025-04-11 cs.AI cs.LG
A Benchmark Suite for Evaluating Neural Mutual Information Estimators on Unstructured Datasets
LG AI Research（LG人工智能研究院）；Seoul National University（首尔大学）
本研究提出了一个评估神经互信息估计器在图像和文本等非结构化数据集上性能的全面基准套件，通过同类采样和二元对称信道技巧精确操纵真实互信息值，并研究了七个挑战性场景以揭示估计器的可靠性。
2024-10-14 cs.AI cs.LG stat.ML
Distilling Dataset into Neural Field
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
本文提出了一种名为 DDiF 的数据集蒸馏新型参数化框架，利用神经场存储大规模数据集信息，在同等预算下展现出更强表达能力，并在图像、视频、音频和 3D 体素等多个基准数据集上取得卓越性能。
2025-03-05 cs.AI cs.CV cs.LG
Insights from the Use of Previously Unseen Neural Architecture Search Datasets
Newcastle University（纽卡斯尔大学）；Durham University（杜伦大学）；The Alan Turing Institute（艾伦·图灵研究所）
针对NAS研究长期局限于少量代表性不足数据集的问题，本文发布八个面向NAS挑战赛的新未见数据集，并给出标准深度学习基线与参赛者最佳结果。
2024-04-02 cs.AI cs.CV cs.LG
Neural Processes with Stochastic Attention: Paying more attention to the context dataset
KAIST AI（韩国科学技术院人工智能学院）
神经过程（NP）旨在基于给定的上下文数据集随机完成看不见的数据点。NP本质上利用给定的数据集作为上下文表示来为新任务导出合适的标识符。为了提高预测精度，许多NP的变体已经研究了上下文嵌入方法，这些方法通常设计新颖的网络架构和满足排列不变的聚合函数。在这项工作中，我们提出了一个随机注意力机制的NP捕捉适当的上下文信息。从信息论的角度来看，我们证明了所提出的方法鼓励上下文嵌入与目标数据集区分开来，允许NP独立地考虑目标数据集和上下文嵌入中的特征。我们观察到，所提出的方法可以适当地捕捉上下文嵌入，即使在嘈杂的数据集和有限的任务分布，典型的NP遭受缺乏上下文嵌入。我们的经验表明，我们的方法大大优于传统的NP在各个领域，通过一维回归，捕食者-猎物模型，图像完成。此外，所提出的方法也验证了MovieLens-10 k数据集，一个现实世界的问题。
2022-04-11 cs.AI cs.LG
NAS-HPO-Bench-II: A Benchmark Dataset on Joint Optimization of Convolutional Neural Network Architecture and Training Hyperparameters
Yokohama National University（横滨国立大学）
神经架构搜索（NAS）的基准数据集已经开发出来，以减轻计算上昂贵的评估过程，并确保公平的比较。最近的NAS基准测试只关注架构优化，尽管训练超参数影响所获得的模型性能。构建用于架构和训练超参数联合优化的基准数据集对于进一步的NAS研究至关重要。现有的NAS-HPO-Bench是联合优化的基准，但它没有考虑现代NAS算法中所做的网络连接设计。本文介绍了第一个用于网络连接和训练超参数联合优化的基准数据集，我们称之为NAS-HPO-Bench-II。我们收集了在CIFAR-10数据集上训练的基于4K细胞的卷积神经网络架构的性能数据，这些架构具有不同的学习率和批量大小设置，从而产生了192K配置的数据。该数据集包括12个epoch训练的确切数据。我们进一步建立代理模型预测200个epoch训练后的准确率，以提供更长训练epoch的性能数据。通过对NAS-HPO-Bench-II的分析，我们确认了体系结构和训练超参数之间的依赖性以及联合优化的必要性。最后，我们使用NAS-HPO-Bench-II演示了基准优化算法。
2021-10-19 cs.AI cs.LG
Deep Representational Similarity Learning for analyzing neural signatures in task-based fMRI dataset
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Alberta（阿尔伯塔大学）；Purdue University Fort Wayne（普渡大学韦恩堡分校）
相似性分析是大多数功能磁共振成像研究的关键步骤之一。表征相似性分析（RSA）可以测量由不同认知状态产生的神经信号的相似性。本文开发了深度表征相似性学习（DRSL），这是RSA的深度扩展，适用于分析具有大量受试者的fMRI数据集中各种认知任务之间的相似性，以及高维性-例如全脑图像。与以前的方法不同，DRSL不受线性变换或受限固定非线性核函数（如高斯核）的限制。DRSL利用多层神经网络将神经响应映射到线性空间，该网络可以分别为每个受试者实现定制的非线性变换。此外，在DRSL中使用基于梯度的优化可以显着减少大型数据集上的分析运行时间，因为它在每次迭代中使用一批样本，而不是所有神经响应来找到最佳解决方案。多主题的fMRI数据集与各种任务的实证研究-包括视觉刺激，决策，风味，和工作记忆-证实，所提出的方法实现了优越的性能比其他国家的最先进的RSA算法。
2020-09-28 cs.AI cs.LG eess.IV
Evaluation and Analysis of Deep Neural Transformers and Convolutional Neural Networks on Modern Remote Sensing Datasets
本文评估了五种Transformer和六种卷积网络在三个高分辨率遥感数据集上的目标检测性能，通过训练33个模型，展示了Transformer架构的先进表现，并分析了不同特征提取方法的影响。
2025-08-04 cs.AI cs.CV cs.LG
NAAP-440 Dataset and Baseline for Neural Architecture Accuracy Prediction
Smart Shooter（智能射手公司）
神经架构搜索（NAS）已成为针对不同目标平台和目的开发和发现新神经架构的常用方法。然而，扫描搜索空间包括许多候选架构的长训练过程，这在计算资源和时间方面是昂贵的。回归算法是预测候选体系结构准确性的常用工具，它可以大大加快搜索过程。我们的目标是提出一个新的基线，将支持回归算法的发展，可以预测一个架构的准确性只是从它的计划，或只训练它的最小数量的时期。因此，我们引入了440个神经架构的NAAP-440数据集，这些数据集使用固定的配方在CIFAR 10上进行了训练。我们的实验表明，通过使用现成的回归算法并运行高达10%的训练过程，不仅可以相当精确地预测架构的准确性，而且为架构预测的值也以最小数量的单调性违规保持其准确性顺序。这种方法可以作为一个强大的工具，加速基于NAS的研究，从而大大提高其效率。研究中使用的数据集和代码已经公开。
2022-09-28 cs.CV cs.LG cs.NE
Robust COVID-19 Detection from Cough Sounds using Deep Neural Decision Tree and Forest: A Comprehensive Cross-Datasets Evaluation
University of Chittagong（吉大港大学）；Charles Sturt University（查尔斯斯图尔特大学）
本研究提出基于深度神经决策树与森林的COVID-19咳嗽声检测方法，经特征选择、超参优化等处理，在多个数据集上取得优于现有方法的AUC得分，跨数据集分析揭示差异并验证数据集整合的价值。
2025-01-02 cs.AI cs.LG cs.SD
Understanding Recurrent Neural Architectures by Analyzing and Synthesizing Long Distance Dependencies in Benchmark Sequential Datasets
ADAPT Research Centre（ADAPT研究中心）；Technological University Dublin（都柏林理工大学）
为了构建高效的深度递归神经架构，必须分析建模数据集的长距离依赖（LDD）的复杂性。在本文中，我们提出了各种数据集所表现出的依赖衰减曲线的详细分析。从类似过程（例如，自然语言，顺序MNIST，逐段语言等）中采样的数据集显示依赖性衰减曲线的属性变化。我们的分析揭示了导致这些变化的因素;例如（i）数据集中唯一符号的数量，（ii）数据集的大小，（iii）给定LDD内相互作用符号的数量，以及（iv）相互作用符号之间的距离。我们测试这些因素通过生成合成的数据集的cultlyk-Piecewise语言。这些合成数据集的另一个优点是，它们能够对深度递归神经架构进行有针对性的测试，以模拟具有不同特征的LDD。我们还证明，分析依赖性衰减曲线可以为SOTA深度递归神经架构的最佳超参数选择提供信息。这种分析可以直接有助于更准确和有效的序列模型的发展。
2020-12-08 cs.LG stat.ML
Remember the Past: Distilling Datasets into Addressable Memories for Neural Networks
Princeton University（普林斯顿大学）
我们提出了一种算法，压缩到紧凑的可寻址存储器的大型数据集的关键信息。然后可以调用这些记忆来快速重新训练神经网络并恢复性能（而不是存储和重新训练完整的原始数据集）。在数据集蒸馏框架的基础上，我们进行了一个关键的观察，即共享的公共表示允许更高效和有效的蒸馏。具体地说，我们学习一组基础（又名"记忆“），这些基础在类之间共享，并通过学习灵活的寻址函数进行组合，以生成一组不同的训练样本。这带来了几个好处：1）压缩数据的大小不一定随着类的数量线性增长; 2）实现了总体更高的压缩率和更有效的提取;以及3）除了调用原始类之外，还允许更一般化的查询。我们在六个基准测试中展示了数据集蒸馏任务的最新结果，其中包括在蒸馏CIFAR 10和CIFAR 100时分别提高了16.5%和9.7%的保留精度。然后，我们利用我们的框架来执行持续学习，在四个基准测试中取得了最先进的结果，在MANY上的准确率提高了23.2%。代码发布在我们的项目网页https://github.com/princetonvisualai/RememberThePast-DatasetDistillation上。
2022-11-19 cs.AI cs.CV cs.LG
IMB-NAS: Neural Architecture Search for Imbalanced Datasets
Georgia Institute of Technology（佐治亚理工学院）
类不平衡是现实世界数据分布中普遍存在的现象。为了克服它对训练准确分类器的不利影响，现有的工作遵循三个主要方向：类重新平衡，信息传输和表示学习。在本文中，我们提出了一个新的补充方向，以提高长尾数据集的性能-通过神经架构搜索（NAS）优化骨干架构。我们发现，一个架构的准确性得到一个平衡的数据集并不表示良好的性能不平衡的。这就需要在长尾数据集上运行一个完整的NAS，因为长尾数据集可能会迅速变得计算密集。为了减轻这种计算负担，我们的目标是有效地适应NAS超级网络从一个平衡的源数据集到一个不平衡的目标。在几种自适应策略中，我们发现最有效的一种是重新训练线性分类头，重新加权损失，同时冻结在平衡源数据集上训练的骨干NAS超级网络。我们在多个数据集上进行了广泛的实验，并提供了具体的见解，以优化长尾数据集的架构。
2022-09-30 cs.CV cs.LG
A Large-Scale 3D Face Mesh Video Dataset via Neural Re-parameterized Optimization
POSTECH（浦项科技大学）；Krafton Inc.（Krafton公司）；Yonsei University（延世大学）
针对野外动态视频难生成可靠3D人脸标签的问题，研究提出NeuFace神经重参数化优化方法，构建大规模标注的NeuFace-dataset，可提升3D人脸重建精度并助力人脸运动先验学习。
2023-10-06 cs.AI cs.CV
Russian Natural Language Generation: Creation of a Language Modelling Dataset and Evaluation with Modern Neural Architectures
ITMO University（圣彼得堡国立信息技术机械与光学大学）；Peter the Great St.Petersburg Polytechnic University（圣彼得堡彼得大帝理工大学）
生成连贯、语法正确且有意义的文本非常具有挑战性，然而，它对许多现代NLP系统至关重要。到目前为止，研究主要集中在英语语言上，对于其他语言，标准化数据集以及最先进模型的实验都很少见。在这项工作中，我们i）为俄语建模提供了一个新的参考数据集，ii）实验了流行的现代文本生成方法，即变分自编码器和生成对抗网络，我们在新数据集上进行了训练。我们评估所生成的文本有关的指标，如困惑，语法正确性和词汇多样性。
2020-05-05 cs.CL cs.LG
TabNAS: Rejection Sampling for Neural Architecture Search on Tabular Datasets
Google Research（谷歌研究院）；Stanford University（斯坦福大学）
给定机器学习问题的最佳神经架构取决于许多因素：不仅数据集的复杂性和结构，而且还取决于资源约束，包括延迟，计算，能耗等。以前的NAS算法设计的图像搜索空间将资源约束直接到强化学习（RL）的奖励。然而，对于表格数据集上的NAS，此协议通常会发现次优架构。本文开发了TabNAS，这是一种新的更有效的方法，可以使用RL控制器来处理表格NAS中的资源约束，该控制器的灵感来自拒绝采样的思想。TabNAS会立即丢弃任何违反资源约束的架构，而无需对该架构进行培训或学习。TabNAS对RL策略梯度更新使用基于蒙特卡罗的校正，以解决此额外筛选步骤。在多个表格数据集上的结果证明了TabNAS相对于以前的奖励整形方法的优越性：它找到了更好的遵守约束的模型。
2022-10-20 cs.LG stat.ML
Rapid Neural Architecture Search by Learning to Generate Graphs from Datasets
KAIST（韩国科学技术院）；AITRICS
尽管最近的神经架构搜索（NAS）方法在各种任务上取得了成功，这些任务已经显示出输出的网络在很大程度上优于人类设计的网络，但传统的NAS方法主要解决了搜索单个任务（数据集）的网络架构的优化问题，这在多个任务（数据集）之间并没有很好地推广。此外，由于这种特定于任务的方法从零开始为每个给定的任务搜索神经架构，因此它们产生了很大的计算成本，当时间和金钱预算有限时，这是有问题的。在本文中，我们提出了一个高效的NAS框架，该框架在由数据集和预训练网络组成的数据库上训练一次，并且可以快速搜索新数据集的神经架构。提出的MetaD 2A（Meta Dataset-to-Architecture）模型可以通过使用摊销元学习学习的跨模态潜在空间从给定集合（数据集）随机生成图（架构）。此外，我们还提出了一个元性能预测器来估计和选择最佳架构，而无需直接对目标数据集进行训练。实验结果表明，我们的模型在NAS-Bench 201搜索空间的ImageNet-1 K子集和架构上进行了元学习，成功地推广到了多个看不见的数据集，包括CIFAR-10和CIFAR-100，平均搜索时间为33 GPU秒。即使在MobileNetV 3搜索空间下，MetaD 2A也比可转移NAS方法NSGANetV 2快5.5K倍，性能相当。我们相信MetaD 2A为快速NAS提出了一个新的研究方向，以及如何利用过去几年积累的丰富数据集和架构…
2021-07-02 cs.CV cs.LG
CodeMark: Imperceptible Watermarking for Code Datasets against Neural Code Completion Models
Beihang University（北京航空航天大学）；Monash University（莫纳什大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对代码数据集版权保护缺失的问题，提出基于自适应语义保持变换的不可感知水印方法CodeMark，可嵌入水印追踪代码数据集在神经代码补全模型训练中的使用，且具备无害性、可验证性等实用水印特性。
2023-08-28 cs.AI cs.SE
On the Importance of Building High-quality Training Datasets for Neural Code Search
Monash University（莫纳什大学）；Tongji University（同济大学）
神经代码搜索的性能受到神经模型所源自的训练数据的质量的显著影响。为了建立从自然语言到程序设计语言的精确映射，需要大量高质量的查询和代码对。由于可用性有限，大多数广泛使用的代码搜索数据集都是在折衷的情况下建立的，例如使用代码注释作为查询的替代。我们对一个著名的代码搜索数据集的实证研究表明，超过三分之一的查询包含噪音，使他们偏离自然用户查询。通过噪声数据训练的模型在应用于现实世界场景时面临严重的性能下降。提高数据集质量，使其样本的查询与真实用户查询语义一致，是神经代码搜索实用性的关键。在本文中，我们提出了一个数据清洗框架，包括两个后续的过滤器：基于规则的语法过滤器和基于模型的语义过滤器。这是第一个将语义查询清理应用于代码搜索数据集的框架。实验上，我们评估了我们的框架的有效性，两个广泛使用的代码搜索模型和三个手动注释的代码检索基准。使用我们框架中过滤后的数据集训练流行的DeepCS模型，其性能平均提高了19.2%的MRR和21.3%的MRR@1，这是三个验证基准测试的平均值。
2022-02-14 cs.AI cs.SE
DiVa-360: The Dynamic Visual Dataset for Immersive Neural Fields
Brown University（布朗大学）；IIIT Hyderabad（印度信息技术学院海得拉巴分校）；I3S-CNRS/Université Côte d’Azur（法国国家科学研究中心/蔚蓝海岸大学I3S研究所）
针对动态3D场景神经场捕捉因缺乏大规模多视角真实数据集导致性能落后的问题，提出含1740万帧的DiVa-360真实360°动态视觉数据集，包含多种序列及辅助数据，并以此基准测试先进方法，为相关研究提供支撑。
2024-03-26 cs.AI cs.CV
Airfoil2Vec: Spectral Geometry-Conditioned Neural Surrogate Models for Airfoil Aerodynamics and a Downforce-Generating CFD Dataset
Ratio Labs（雷迪奥实验室）
本文提出Airfoil2Vec，一种结合谱几何编码的神经代理模型，用于快速预测翼型流场，并在新数据集上验证了其高效性与泛化能力。
2026-10-01 cs.LG physics.flu-dyn
Neural Attentive Bag-of-Entities Model for Text Classification
Studio Ousia；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN AIP（理化学研究所AIP）
本研究提出了一个神经注意袋的实体模型，这是一个神经网络模型，使用知识库中的实体进行文本分类。实体提供了明确的和相关的语义信号，有利于捕捉文本中的语义。我们结合简单的高召回实体检测的基础上的字典，检测实体的文件，与一种新的神经注意力机制，使模型能够专注于少量的明确和相关的实体。我们使用两个标准文本分类数据集（即，20个新闻组和R8数据集）和基于琐事问答游戏的流行的事实问答数据集。因此，我们的模型在所有数据集上都取得了最先进的结果。所提出的模型的源代码可在https://github.com/wikipedia2vec/wikipedia2vec上在线获得。
2019-09-10 cs.CL cs.LG
Meta-learning Convolutional Neural Architectures for Multi-target Concrete Defect Classification with the COncrete DEfect BRidge IMage Dataset
Goethe University（歌德大学）；Egnatia Odos A. E.（埃格纳蒂亚公路公司）
识别混凝土基础设施中的缺陷，特别是桥梁中的缺陷，是评估结构完整性的关键第一步，成本高，耗时长。混凝土材料的外观变化很大，不断变化的照明和天气条件，各种可能的表面标记以及不同类型的缺陷重叠的可能性，使其成为一项具有挑战性的现实任务。在这项工作中，我们介绍了新的COncrete DEfect BRidge图像数据集（CODEBRIM）的多目标分类的五个常见的混凝土缺陷。我们研究并比较了两种基于强化学习的元学习方法，MetaQNN和高效的神经结构搜索，以找到合适的卷积神经网络架构，用于这一具有挑战性的多类多目标任务。我们发现，与在我们的应用背景下评估的文献中流行的神经架构相比，学习的架构除了产生更好的多目标准确性外，还具有更少的总体参数。
2019-04-02 cs.CV cs.LG stat.ML
Investigating Neural Architectures by Synthetic Dataset Design
Centre Borelli（博雷利中心）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）
近年来，出现了许多新的神经网络结构（架构和层）。为了解决一个给定的任务，网络需要在其结构中反映出一定的能力。所需的能力取决于每项任务。到目前为止，还没有系统的研究所提出的神经结构的实际能力。每个结构能够和不能实现什么的问题只能部分地通过其在共同基准上的表现来回答。事实上，自然数据包含复杂的未知统计线索。因此，不可能知道给定的神经结构在这些数据中利用了什么线索。在这项工作中，我们勾勒出一种方法来衡量每个结构对网络的能力的影响，通过设计特设的合成数据集。每个数据集都是为评估给定的能力而定制的，并被简化为最简单的形式：每个输入都包含解决任务所需的信息量。我们通过构建三个数据集来评估以下三个网络属性中的每一个来说明我们的方法：a）将本地线索与远距离推断联系起来的能力，b）平移协方差和c）将具有相同特征的像素分组并在其中共享信息的能力。使用第一个简化的深度估计数据集，我们查明了严重的非本地赤字的U-网。然后，我们评估如何通过将其结构嵌入非局部层来解决这一限制，这允许计算具有远程依赖关系的复杂特征。使用第二个数据集，我们比较了不同的位置编码方法，并使用结果来进一步改进深度估计任务上的U-Net。第三个介绍的数据集用于证明需要自我注意的机制，解决更现实的深度估计任务。
2022-04-23 cs.AI cs.CV
ECNR: Efficient Compressive Neural Representation of Time-Varying Volumetric Datasets
University of Notre Dame（圣母大学）
针对传统神经体数据压缩采用单一大MLP导致训练推理慢的问题，提出基于拉普拉斯金字塔多尺度结构、多小MLP均衡并行加深度压缩的ECNR方案，在多个数据集上性能优于现有前沿方法，为体数据压缩提供新选择。
2024-03-09 cs.CV cs.GR cs.LG
Self-Supervised Neural Architecture Search for Imbalanced Datasets
EPFL（洛桑联邦理工学院）
神经架构搜索（NAS）在经过精心策划的带有注释标签的数据集上进行训练时，可提供最先进的结果。然而，注释数据或甚至具有平衡数量的样本对于来自不同科学领域的从业者来说可能是奢侈的，例如，在医学领域。为此，我们提出了一个基于NAS的框架，它具有三方面的贡献：（a）我们专注于自我监督的场景，即，其中不需要标签来确定体系结构，并且（b）我们假设数据集是不平衡的，（c）我们将每个组件设计为能够在资源受限的设置上运行，即，在单个GPU上（例如Google Colab）。我们的组件建立在自监督学习~ \citep{zbontar2021barlow}、自监督NAS~ \citep{kaplan2020self}的最新发展之上，并将其扩展到不平衡数据集的情况。我们在CIFAR-10的（人工）不平衡版本上进行实验，我们证明了我们提出的方法优于标准神经网络，同时使用$27\times$更少的参数。为了验证我们对自然不平衡数据集的假设，我们还对ChestMNIST和COVID-19 X射线进行了实验。结果表明，该方法可以用于不平衡的数据集，而它可以完全运行在一个单一的GPU。代码可用\href{https://github.com/TimofeevAlex/ssnas_imbalanced}{here}。
2021-09-20 cs.CV cs.LG eess.IV
Neural Label Search for Zero-Shot Multi-Lingual Extractive Summarization
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Microsoft Research Asia（微软亚洲研究院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
在zero-shot多语言抽取式文本摘要中，通常在英语摘要数据集上训练模型，然后将其应用于其他语言的摘要数据集。给定英文黄金摘要和文档，用于提取摘要的摘要级标签通常使用语法生成。然而，在英语数据集上创建的这些单语标签在其他语言的数据集上可能不是最佳的，因为不同语言之间存在句法或语义差异。通过这种方式，可以将英语数据集翻译为其他语言，并使用语法学再次获得不同的标签集。为了充分利用这些不同标签集的信息，我们提出了NLSSum（用于摘要的神经标签搜索），它与我们的摘要模型一起学习这些不同标签集的分层权重。我们在MLSUM和WikiLingua数据集上进行了多语言zero-shot摘要实验，并在这两个数据集上使用人工和自动评估实现了最先进的结果。
2022-04-29 cs.AI cs.CL
SUTD-PRCM Dataset and Neural Architecture Search Approach for Complex Metasurface Design
Singapore University of Technology and Design（新加坡科技设计大学）；Zhejiang University（浙江大学）
超颖表面因其在电磁波操控方面的多样性而受到广泛关注。满足具有非线性约束的多个目标的高级设计已经激励研究人员使用机器学习（ML）技术，如深度学习（DL）来加速元表面的设计。对于元表面，如果没有在图像分类等许多学科中使用的通用但复杂的数据集，就很难在不同的ML模型之间进行定量比较。许多研究都是针对相对受限的数据集，这些数据集仅限于元表面中指定的模式或形状。在本文中，我们提出了我们的SUTD极化反射复杂元表面（SUTD-PRCM）数据集，其中包含大约260，000个从电磁模拟创建的复杂元表面样本，并已用于基准我们的DL模型。元表面图案被分成不同的类以促进不同程度的复杂性，这涉及识别和利用图案与电磁响应之间的关系，该关系可以在使用不同DL模型时进行比较。随着SUTD-PRCM数据集的发布，我们希望它将有助于对ML社区中开发的现有或未来DL模型进行基准测试。我们还提出了一个分类问题，是很少遇到的，并应用神经架构搜索有一个潜在的修改的神经架构，这将提高DL模型的预测初步了解。我们的发现表明，卷积堆叠不再是神经架构的主导元素，这意味着低级特征优于传统的深层高级特征，从而解释了为什么基于深度卷积神经网络的模型在我们的数据集中表现不佳。
2022-02-24 cs.LG physics.app-ph physics.comp-ph
Chickenpox Cases in Hungary: a Benchmark Dataset for Spatiotemporal Signal Processing with Graph Neural Networks
The University of Edinburgh（爱丁堡大学）；University of Cambridge（剑桥大学）；Central European University（中欧大学）；Obuda University（欧布达大学）；Corvinus University of Budapest（布达佩斯考文纽斯大学）
递归图卷积神经网络是用于时空信号处理的高效机器学习技术。新提出的图神经网络架构在标准任务（如交通或天气预报）上进行重复评估。在本文中，我们提出了匈牙利水痘病例数据集作为一个新的数据集比较图神经网络架构。我们的时间序列分析和预测实验表明，在匈牙利的水痘病例数据集是足够的比较新的经常性图神经网络架构的预测性能和预测能力。
2021-02-16 cs.AI cs.LG
You are AllSet: A Multiset Function Framework for Hypergraph Neural Networks
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
超图被用来模拟代理之间的高阶交互，并且存在许多实际相关的超图数据集实例。为了能够有效地处理超图结构的数据，已经提出了几个超图神经网络平台，用于学习超图的属性和结构，特别关注节点分类。然而，几乎所有现有的方法都使用启发式传播规则，并在许多数据集上提供次优性能。我们提出了AllSet，一种新的超图神经网络范式，它代表了（超）图神经网络的一个高度通用的框架，并首次将超图神经网络层实现为两个多集函数的组合，可以有效地学习每个任务和每个数据集。此外，AllSet利用了超图神经网络与多集函数深度学习的最新进展之间的新联系。特别是，所提出的架构利用深集和集Transformer架构，允许显着的建模灵活性，并提供高的表达能力。为了评估AllSet的性能，我们进行了迄今为止最广泛的实验，涉及十个已知的基准数据集和三个新策划的数据集，这些数据集代表了超图节点分类的重大挑战。结果表明，AllSet具有独特的能力，在测试数据集上始终匹配或优于所有其他超图神经网络。
2022-03-28 cs.AI cs.LG
Optimizing Neural Network Weights using Nature-Inspired Algorithms
University of Regina（里贾纳大学）
本研究旨在使用自然启发的优化算法优化深度前馈神经网络（DFNN）训练，如PSO，MTO及其变体MTOCL。我们展示了这些算法在从数据中学习时如何有效地更新DFNN的权重。我们使用三个威斯康星州的乳腺癌数据集，原始，诊断和预后，在不同的实验方案下，DFNN融合优化算法的性能进行评估。实证分析表明，MTOCL是最好的表现在大多数情况下，在三个数据集。此外，MTOCL与过去的原始数据集的权重优化算法相当，并且优于其他数据集，特别是对于具有挑战性的预后数据集。
2021-05-20 cs.AI cs.LG
Younger: The First Dataset for Artificial Intelligence-Generated Neural Network Architecture
Research Center of Distributed Systems（分布式系统研究中心）；University of Chinese Academy of Sciences（中国科学院大学）；Guangxi Normal University（广西师范大学）；Inspur Group Co Ltd（浪潮集团有限公司）；Jinan Inspur Data Technology Co Ltd（济南浪潮数据技术有限公司）
该研究推出首个面向人工智能生成神经网络架构的数据集Younger，包含7629种独特架构，支持全局和局部两种设计范式，可用于架构生成研究与图神经网络基准测试。
2024-06-20 cs.AI cs.LG
Constructing a Natural Language Inference Dataset using Generative Neural Networks
Jožef Stefan Institute（约瑟夫·斯蒂芬研究所）；Jožef Stefan International Postgraduate School（约瑟夫·斯蒂芬国际研究生院）
自然语言推理是自然语言理解的一项重要任务。它涉及两个句子之间的逻辑关系的分类。在本文中，我们提出了几个文本生成神经网络生成文本假设，它允许构建新的自然语言推理数据集。为了评估模型，我们提出了一个新的度量标准-在生成的数据集上训练的分类器的准确性。我们最好的生成模型获得的准确率仅比在原始人工数据集上训练的分类器的准确率低2.7%。此外，与原始数据集相结合的最佳生成数据集实现了最高的准确性。最佳模型为每个训练样本学习映射嵌入。通过比较各种指标，我们表明，获得更高的ROUGE或METEOR分数的数据集不一定会产生更高的分类精度。我们还分析了一个好的数据集的特征，包括从原始数据集生成的数据集的可重复性。
2017-03-27 cs.AI cs.CL cs.NE
Dataset and Neural Recurrent Sequence Labeling Model for Open-Domain Factoid Question Answering
Baidu Research - Institute of Deep Learning（百度研究院 - 深度学习研究所）
近年来，基于神经网络的问答（QA），即神经QA，取得了可喜的成果，但缺乏大规模的真实问答数据集仍然是开发和评估神经QA系统的一个挑战。为了缓解这个问题，我们提出了一个大规模的人类注释的真实世界的QA数据集WebQA超过42 k的问题和556 k的证据。由于现有的神经QA方法将QA解决为序列生成或分类/排名问题，因此它们面临着昂贵的softmax计算，看不见的答案处理或单独的候选答案生成组件的挑战。在这项工作中，我们将神经QA转换为序列标记问题，并提出了一个端到端的序列标记模型，克服了上述所有挑战。在WebQA上的实验结果表明，我们的模型在基于单词的输入下的F1得分为74.69%，显著优于基线，并且在更具有挑战性的基于字符的输入下，性能仅下降3.72 F1点。
2016-09-01 cs.AI cs.CL cs.NE
Towards Speaker Identification with Minimal Dataset and Constrained Resources using 1D-Convolution Neural Network
Shahjalal University of Science and Technology（沙赫贾拉勒科技大学）
本文提出一种轻量级1D-CNN，结合数据增强在最小数据集上实现97.87%的说话人识别准确率，并开源代码、数据集与模型以支持复现。
2024-11-22 cs.AI cs.LG cs.SD
Confidence-Nets: A Step Towards better Prediction Intervals for regression Neural Networks on small datasets
Southeast University（东南大学）；University of Naples Federico II（那不勒斯费德里科二世大学）；University of Khartoum（喀土穆大学）
近十年来，深度学习和神经网络的流行程度大幅上升。这些算法打破了许多以前的记录，取得了显著的效果。他们的出色表现大大加快了人工智能的进展，到目前为止，各种里程碑都比预期的要早。然而，在相对小的数据集的情况下，与其他机器学习模型相比，深度神经网络（DNN）的性能可能会受到准确性降低的影响。此外，在处理回归任务时，很难构建预测区间或评估预测的不确定性。在本文中，我们提出了一种集成方法，试图估计预测的不确定性，提高其准确性，并提供一个预期的变化的区间。与仅提供预测的传统DNN相比，我们提出的方法可以通过结合DNN，极端梯度提升（XGBoost）和相异度计算技术来输出预测区间。尽管设计简单，但这种方法显著提高了小数据集的准确性，并且不会给神经网络的架构带来太多复杂性。所提出的方法在各种数据集上进行了测试，并在神经网络模型的性能显着改善。该模型的预测区间可以在90%和55%的训练大小上分别以71%和78%的平均比率包括地面真值。最后，我们重点介绍了该方法在实验误差估计中的其他方面和应用，以及迁移学习的应用。
2022-10-31 cs.AI cs.LG
Domain Adaptation for Neural Networks by Parameter Augmentation
SONY（索尼公司）；University of Tokyo（东京大学）
我们提出了一个简单的领域自适应方法的神经网络在监督设置。有监督领域自适应是一种利用源领域数据集提高目标领域泛化性能的方法，假设两个数据集都被标记。最近，递归神经网络已被证明是成功的各种NLP任务，如字幕生成;然而，现有的领域自适应技术是有限的（1）调整模型参数的目标数据集训练后，由源数据集，或（2）设计的网络具有双重输出，一个用于源域和目标域的另一个。本文对Daume（2007）提出的领域自适应方法进行了改进，提出了一种简单的领域自适应方法，该方法可应用于交叉熵损失下训练的神经网络。在字幕数据集上，我们显示了比其他领域自适应方法性能的提高。
2016-07-01 cs.AI cs.CL cs.LG
Enriching Neural Network Training Dataset to Improve Worst-Case Performance Guarantees
Technical University of Denmark（丹麦技术大学）
机器学习算法，尤其是神经网络（NN），是一种用于近似非线性关系的有价值的工具，如AC最优潮流（AC-OPF），具有相当高的精度-并且在部署使用时实现几个数量级的加速。在电力系统文献中，通常使用在训练过程之前生成的固定数据集来训练NN。在本文中，我们证明了在训练过程中调整NN训练数据集可以提高NN的性能，并大大减少其最坏情况下的违规行为。本文提出了一种算法，识别和丰富的训练数据集与关键数据点，减少最坏情况下的违规行为，并提供一个神经网络与改善的最坏情况下的性能保证。我们证明了我们的算法在四个测试电源系统，从39总线到162总线的性能。
2023-03-23 cs.AI cs.LG cs.SY
Veriphi: Attack-Guided Neural Network Verification with Dataset-Dependent Training Methods
TU Wien（维也纳工业大学）
提出Veriphi系统，结合快速对抗攻击与α,β-CROWN形式化边界验证，实验表明训练方法有效性依赖数据集特性，IBP在MNIST上有效但在CIFAR-10上失效，PGD对抗训练在小扰动下达到94%认证准确率，并实现5倍验证加速。
2026-06-18 cs.AI cs.LG
Harnessing Synthetic Datasets: The Role of Shape Bias in Deep Neural Network Generalization
ETH Zürich（苏黎世联邦理工学院）
本研究探讨合成数据训练中神经网络的形状偏好，发现其因架构和监督类型而异，不可靠地预测泛化，并提出将其作为估计数据集多样性的新工具。
2023-11-10 cs.AI cs.CV cs.LG
Applying convolutional neural networks to extremely sparse image datasets using an image subdivision approach
University of Copenhagen（哥本哈根大学）
目的：这项工作的目的是证明卷积神经网络（CNN）可以通过对原始图像数据集进行细分来应用于极其稀疏的图像库。研究方法：从传统的数码相机的图像数据集创建和扫描电子显微镜（SEM）测量，从文献中获得。对图像数据集进行细分，并在细分数据集的部分上训练CNN模型。结果：利用所提出的图像细分方法，CNN模型能够分析极其稀疏的图像数据集。此外，还可以直接评估特定API或外观占主导地位的各个地区。
2020-10-25 cs.AI cs.CV
Bayesian Neural Network Versus Ex-Post Calibration For Prediction Uncertainty
Monash University（莫纳什大学）
来自神经网络的概率预测在分类期间解释预测不确定性，这在许多现实世界和高影响决策制定设置中是至关重要的。然而，在实践中，大多数数据集都是在非概率神经网络上训练的，默认情况下，这些神经网络不捕获这种固有的不确定性。这个众所周知的问题导致了事后校准程序的发展，例如普拉特缩放（逻辑），等渗和β校准，将分数转换为校准良好的经验概率。校准方法的一个合理替代方案是使用贝叶斯神经网络，它直接对预测分布进行建模。虽然它们已被应用于图像和文本数据集，但它们在表格和小数据领域的应用有限。在本文中，我们证明了贝叶斯神经网络产生竞争力的性能相比，校准的神经网络，并在广泛的数据集进行实验。
2022-09-29 cs.AI cs.LG stat.ML
Transfer Learning for Named-Entity Recognition with Neural Networks
MIT（麻省理工学院）
最近的方法基于人工神经网络（ANN）的命名实体识别（NER）显示出有前途的结果。为了实现高性能，ANN需要在大型标记数据集上进行训练。然而，对于用户想要执行NER的数据集，可能难以获得标签：标签稀缺性对于患者笔记去识别（这是NER的一个实例）尤其明显。在这项工作中，我们分析了迁移学习在多大程度上可以解决这个问题。特别是，我们证明了将在大型标记数据集上训练的ANN模型转移到具有有限数量标签的另一个数据集上，可以改善两个不同数据集上的最新结果，用于患者笔记去识别。
2017-05-17 cs.AI cs.CL cs.NE
Training Deep Neural Networks with Different Datasets In-the-wild: The Emotion Recognition Paradigm
Imperial College London（帝国理工学院）；University of Oulu（奥卢大学）
本文提出了一种新的方法，用于训练深度卷积和递归神经网络，同时考虑可用的训练数据集和从使用其他相关数据集训练的类似网络中提取的一些信息。该信息被包括在用于网络训练的扩展的损失函数中，使得网络在应用于其他数据集时可以具有改进的性能，而不会忘记从原始数据集学习的知识。在野外的面部表情和情感识别是用于演示使用所提出的方法实现的改进性能的测试床应用程序。在这个框架中，我们提供了一个实验研究的分类情感识别使用的数据集，从最近的相关情感识别的挑战。
2018-09-12 cs.AI cs.HC cs.LG
kdehumor at semeval-2020 task 7: a neural network model for detecting funniness in dataset humicroedit
Toyohashi University of Technology（丰桥技术科学大学）
本文介绍了我们对SemEval-2020任务7的贡献：评估编辑新闻标题中的幽默。在这里，我们提出了一种基于深度神经网络的方法。近年来，幽默的产生和感知受到了相当多的关注。我们的团队KdeHumor采用了包括双向LSTM（BiLSTM）在内的循环神经网络模型。此外，我们利用最先进的预训练句子嵌入技术。我们分析了我们的方法的性能，并展示了我们的架构的每个组件的贡献。
2021-05-11 cs.AI cs.CL
Quantum Convolutional Neural Network: A Hybrid Quantum-Classical Approach for Iris Dataset Classification
BRAC University（BRAC大学）
本文提出一种量子-经典混合的量子卷积神经网络（QCNN），通过4-qubit量子电路与经典神经网络集成对Iris数据集进行分类，在20个epochs训练后于测试集达到100%准确率，证明了量子增强模型在监督学习中的潜力。
2024-10-21 cs.AI quant-ph
Generation of Human-aware Navigation Maps using Graph Neural Networks
Aston University（阿斯顿大学）；University of Extremadura（埃斯特雷马杜拉大学）
最大限度地减少机器人在社交场合中导航时造成的不适对它们被接受至关重要。本文提出了一种基于机器学习的框架，该框架引导现有的一维数据集以生成成本地图数据集，并提出了一种结合图神经网络和卷积神经网络层的模型，以实时生成用于人类感知导航的成本地图。所提出的框架进行评估，对原始的一维数据集和模拟导航任务。考虑到数据集的准确性和使用的导航指标，结果优于类似的最先进的方法。所提出的框架的应用不仅限于人类感知的导航，它可以应用到其他领域的地图生成是必要的。
2020-11-10 cs.AI cs.RO
A Data-Centric Approach for Training Deep Neural Networks with Less Data
NVIDIA（英伟达）
虽然大型数据集的可用性被认为是训练深度神经网络的关键要求，但可以用相对较少的数据训练此类模型。然而，弥补大型数据集的缺失需要采取一系列行动，以提高现有样本的质量并生成新样本。本文总结了我们在“以数据为中心的人工智能”竞赛中的获奖作品。我们讨论了在使用小数据集进行训练时出现的一些挑战，提供了一种系统性数据质量增强的原则性方法，并提出了一种基于GAN的解决方案来合成新的数据点。我们的评估表明，拟议的管道生成的数据集提供了5%的准确性提高，同时显着小于基线。
2021-10-29 cs.AI
A Neural Network Classifier of Volume Datasets
University of Siegen（锡根大学）
许多最先进的可视化技术必须针对特定类型的数据集、其模态（CT、MRI等），记录的对象或解剖区域（头部、脊柱、腹部等）以及与数据采集过程相关的其它参数。虽然部分信息（成像模态和采集序列）可以从与体积扫描一起存储的元数据中获得，但存在未明确存储的重要信息（解剖区域、跟踪化合物）。此外，元数据可能不完整、不适当或只是缺失。本文提出了一种新的和简单的方法来确定从先前定义的类别的数据集的类型。基于数据集的强度和梯度幅度的2D直方图被用作神经网络的输入，该神经网络将其分类为训练所用的几个类别之一。所提出的方法是一个重要的构建块的可视化系统被自主使用的非专家。该方法已在80个数据集上进行了测试，分为3个类和一个“休息”类。一个重要的结果是系统在仅用该类的一个数据集进行训练后将数据集分类到特定类中的能力。该方法的其他优点是其易于实现和高计算性能。
2009-06-12 cs.AI cs.GR
Train your classifier first: Cascade Neural Networks Training from upper layers to lower layers
Toshiba Research Europe Limited（东芝欧洲研究有限公司）
虽然深度神经网络的较低层学习跨数据集可转移的特征，但这些层在同一数据集内不可转移。也就是说，一般来说，在同一数据集上冻结训练的特征提取器（下层）和重新训练分类器（上层）会导致更差的性能。在本文中，我们首次证明了冻结分类器在同一数据集内是可转移的。我们开发了一种新的自上而下的训练方法，它可以被看作是一种搜索高质量分类器的算法。我们测试了这种方法的自动语音识别（ASR）的任务和语言建模任务。该方法持续改进了《华尔街日报》上的递归神经网络ASR模型、Switchboard上的自注意力ASR模型和WikiText-2上的AWD-LSTM语言模型。
2021-02-09 cs.AI cs.SD eess.AS
XNet: A convolutional neural network (CNN) implementation for medical X-Ray image segmentation suitable for small datasets
Durham University（杜伦大学）
X射线图像增强以及许多其他医学图像处理应用需要将图像分割为骨骼、软组织和开放射束区域。我们应用一个机器学习的方法来解决这个问题，提出了一个端到端的解决方案，导致强大和有效的推理。由于医疗机构通常没有资源来处理和标记神经网络训练所需的大量X射线图像，我们为小型数据集设计了一个端到端解决方案，同时实现了最先进的结果。我们的实现产生了92%的整体准确度，F1得分为0.92，AUC为0.98，超过了经典的图像处理技术，如聚类和基于熵的方法，同时提高了现有的神经网络的输出用于在非医疗背景下的分割。用于该项目的代码可在线获得。
2019-04-20 cs.AI cs.CV physics.med-ph
