Exploring Multilingual Text Data Distillation
本文针对多语言文本分类任务提出多种基于语言模型的数据蒸馏方法，重点提升跨架构泛化能力，并分析分类性能与语言公平性。
2023-08-09 cs.AI cs.CL
Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures
DeepMind（深度思维）；University of Toronto（多伦多大学）；Google Brain（谷歌大脑）；University College London（伦敦大学学院）
误差反向传播算法（BP）不可能在真实的大脑中实现。然而，最近深度网络在机器学习和人工智能领域的成功，激发了人们对理解大脑如何跨多个层次学习以及如何近似BP的建议。到目前为止，这些建议都没有在BP引导的深度学习被证明至关重要的任务中进行严格的评估，或者在比简单的全连接网络更结构化的架构中进行评估。在这里，我们展示了在数据集上扩展生物动机的深度学习模型的结果，这些数据集需要具有适当架构的深度网络来实现良好的性能。我们在MNIST、CIFAR-10和ImageNet数据集上展示了结果，并探索了目标传播（TP）和反馈对齐（FA）算法的变体，并探索了完全连接和局部连接架构的性能。我们还介绍了重量运输的差异目标传播（DTP）修改，以消除反向传播的倒数第二层的自由变种。其中许多算法在MNIST中表现良好，但对于CIFAR和ImageNet，我们发现TP和FA变体的表现明显不如BP，特别是对于由局部连接单元组成的网络，这就引发了一个问题，即是否需要新的架构和算法来扩展这些方法。我们的研究结果和实施细节有助于为生物学驱动的深度学习计划建立基准。
2018-11-20 cs.AI cs.LG cs.NE
Earthformer: Exploring Space-Time Transformers for Earth System Forecasting
Hong Kong University of Science and Technology（香港科技大学）；Amazon Web Services（亚马逊云科技）；Rutgers University（罗格斯大学）
传统上，地球系统（例如，天气和气候）预报依赖于具有复杂物理模型的数值模拟，因此计算昂贵并且需要领域专业知识。随着时空地球观测数据在过去十年中的爆炸性增长，应用深度学习（DL）的数据驱动模型在各种地球系统预测任务中表现出令人印象深刻的潜力。作为一种新兴的深度学习架构，Transformer尽管在其他领域取得了广泛的成功，但在该领域的采用却有限。在本文中，我们提出了Earthformer，一个用于地球系统预测的时空Transformer。Earthformer基于一个通用的，灵活的和高效的时空注意力块，称为立方体注意力。其思想是将数据分解为长方体，并并行应用长方体级别的自注意力。这些长方体进一步与全局向量的集合相连接。我们在MovingMNIST数据集和一个新提出的混沌N体MNIST数据集上进行实验，以验证立方体注意力的有效性，并找出Earthformer的最佳设计。对两个真实世界的降水临近预报和厄尔尼诺/南方涛动（ENSO）预报基准的实验表明，Earthformer达到了最先进的性能。代码可用：https://github.com/amazon-science/earth-forecasting-transformer。
2023-03-01 cs.AI cs.CV cs.LG
Dendritic Neural Networks with Equilibrium Propagation
Department of Computer Science（计算机科学系）
本文探讨了将树突神经网络与平衡传播结合的方法，发现其在复杂任务中性能优于传统平衡传播，且在深度模型中表现更佳。
2026-05-01 cs.LG
Exploring Deep Hybrid Tensor-to-Vector Network Architectures for Regression Based Speech Enhancement
Georgia Institute of Technology（佐治亚理工学院）；University of Enna（恩纳大学）；Tencent Corporation（腾讯公司）
本文研究了不同的权衡模型参数的数量和增强的语音质量之间采用几个深度张量到矢量回归模型的语音增强。我们发现，一个混合架构，即CNN-TT，是能够保持一个良好的质量性能与减少模型参数的大小。CNN-TT由底部的几个卷积层组成，用于特征提取以提高语音质量，顶部的张量训练（TT）输出层用于减少模型参数。我们首先推导出一个新的上界的卷积神经网络（CNN）的基于向量到向量回归模型的泛化能力。然后，我们在爱丁堡噪声语音语料库上提供实验证据，证明在单通道语音增强中，CNN以较小的模型大小增量为代价优于DNN。此外，CNN-TT仅利用了CNN模型参数的32%，略优于CNN。此外，如果将CNN-TT参数的数目增加到CNN模型大小的44%，则可以进一步提高性能。最后，我们的多通道语音增强的模拟噪声WSJ 0语料库上的实验表明，我们提出的混合CNN-TT架构取得了更好的效果比DNN和CNN模型在更好的增强语音质量和更小的参数大小。
2020-08-03 cs.CL cs.LG cs.NE
Eliminating Catastrophic Interference with Biased Competition
University of Manchester（曼彻斯特大学）
我们在这里提出了一个模型，利用复杂数据集的多任务性质，通过偏置网络中的竞争交互，学习以端到端的方式分离任务和子任务。此方法不需要对数据集中的数据进行额外的标记或重新格式化。我们提出了一个替代的观点，单片一个任务适合所有的学习多任务的问题，并描述了一个模型的基础上，神经元注意力理论从神经科学，提出Desimone。我们创建并展示了一个新的玩具数据集，MNIST数据集的基础上，我们称之为MNIST-QA，在低维环境中测试视觉问答架构，同时保留更困难的组件的视觉问答任务，并证明了建议的网络架构在这个新的数据集，以及COCO-QA和DAQUAR-FULL。然后，我们证明，该模型消除了新创建的玩具数据集上的任务之间的灾难性干扰，并在视觉问答空间中提供了有竞争力的结果。我们提供了进一步的证据表明，视觉问答可以接近作为一个多任务的问题，并证明，这种新的架构的基础上的偏见竞争模型是能够学习分离和学习的任务，在一个端到端的方式，而不需要任务标签。
2020-07-03 cs.CV cs.LG
SketchTransfer: A Challenging New Task for Exploring Detail-Invariance and the Abstractions Learned by Deep Networks
MILA（蒙特利尔学习算法研究所）；Aalto University（阿尔托大学）；Google Brain（谷歌大脑）
深度网络在感知任务中取得了优异的成绩，但它们在训练过程中没有看到的变化的能力受到了越来越多的关注。在这项工作中，我们专注于他们的能力，有不变性对存在或不存在的细节。例如，人类能够观看缺少许多视觉细节的卡通片，而无需进行明确的训练。作为另一个例子，3D渲染软件是一个相对较新的发展，但人们能够理解这样的渲染场景，即使他们缺少细节（考虑像玩具总动员电影）。机器学习算法未能做到这一点，表明人类能力和深度网络能力之间在泛化方面存在显著差距。我们提出了一个数据集，这将使它更容易具体地研究细节不变性问题。我们为此产生了一个具体的任务：SketchTransfer，我们表明，最先进的域转移算法仍然在努力完成这项任务。在MNIST $\xrightarrow{}$ SVHN转换上达到95%以上的最新技术在SketchTransfer任务上仅达到59%的准确率，这比随机（11%的准确率）好得多，但低于直接在标记草图上训练的分类器的87%的准确率。这表明，这项任务是接近今天的最好的方法，但有很大的改进空间。
2019-12-25 cs.CV cs.LG stat.ML
A Neural Architecture Search Method using Auxiliary Evaluation Metric based on ResNet Architecture
Key Laboratory of Intelligent Computing；Information Processing, Ministry of Education, School of Computer Science \& School of Cyberspace Security, Xiangtan University Xiangtan Hunan China；Information Processing, Ministry of Education, School of Computer Science \& School of Cyberspace Security, Xiangtan University
本文提出基于ResNet框架的神经架构搜索空间，将验证集损失值作为辅助优化目标，在MNIST、Fashion-MNIST和CIFAR100数据集上成功找到了具竞争力的网络架构。
2025-05-02 cs.AI cs.CV cs.LG
Geometric instability of out of distribution data across autoencoder architecture
Johns Hopkins University Applied Physics Lab（约翰斯·霍普金斯大学应用物理实验室）；Johns Hopking University（约翰斯·霍普金斯大学）
我们研究了在MNIST上训练的一系列自动编码器学习的地图，并对根据十种不同分布随机选择像素值创建的十个不同数据集进行了评估。具体来说，我们研究了在每个训练和评估点处由自动编码器的权重矩阵定义的雅可比矩阵的特征值。对于足够高的潜在维度，我们发现每个自动编码器将所有评估数据集重建为相似的\emph{generalized characters}，但是这种重建的\emph{generalized character}在自动编码器之间变化。特征值分析表明，即使重建图像似乎是一个MNIST字符的所有分布数据集，并不是所有的潜在表示，接近潜在表示的MNIST字符。总而言之，特征值分析证明了自动编码器的大量几何不稳定性，无论是作为分布输入的函数，还是同一组输入的跨架构。
2022-01-28 cs.LG
Overhead-MNIST: Machine Learning Baselines for Image Classification
PeopleTec, Inc.（PeopleTec 公司）
对23种机器学习算法进行了训练，然后进行评分，以建立基线比较指标，并选择一种值得嵌入关键任务卫星成像系统的图像分类算法。Overhead-MNIST数据集是卫星图像的集合，其风格类似于机器学习文献中普遍存在的MNIST手写数字。在PyCaret一般比较中，CatBoost分类器、轻度梯度提升机器和极端梯度提升模型产生了最高的准确度、曲线下面积（AUC）和F1分数。单独的评估表明，深度卷积架构是最有前途的。我们将整体性能最佳算法的结果作为边缘可部署性和未来性能改进的基线：卷积神经网络（CNN）在看不见的测试数据上的分类准确度为0.965。
2021-10-19 cs.AI cs.CV cs.LG
Convolutional Neural Networks and Vision Transformers for Fashion MNIST Classification: A Literature Review
ReGIM-Lab. REsearch Groups in Intelligent Machines（ReGIM-Lab 智能机器研究组）
本文综述比较了CNNs与ViTs在Fashion MNIST服装分类中的性能，指出结合两者局部模式识别与全局上下文优势是提升电子商务图像分类的有效策略。
2024-06-05 cs.CV cs.LG
Rethinking Layer-wise Feature Amounts in Convolutional Neural Network Architectures
Goethe University（歌德大学）；Frankfurt Institute for Advanced Studies（法兰克福高等研究院）
我们根据每层特征的相对数量来表征卷积神经网络。使用一个偏正态分布作为一个参数化的框架，我们调查的共同假设单调增加的功能计数与更高层次的架构设计。我们在MNIST、Fashion-MNIST和CIFAR-10图像分类基准上对具有VGG类型层的模型进行的评估提供了证据，促使我们重新思考我们的共同假设：有利于较大早期层的架构似乎会产生更好的准确性。
2018-12-14 cs.CV cs.LG stat.ML
In Two Minds about Lifelong Learning: Exploring Hemispheric Redundancy and Specialisation in Neural Models
Monash University（莫纳什大学）；CSIRO（联邦科学与工业研究组织）；Cerenaut（塞雷诺特公司）
本文针对机器学习的持续学习挑战，提出4MAS架构，结合经验重放、REM睡眠与双侧性，利用不对称半球的长短时记忆机制，在三个分割数据集上取得有竞争力的准确率。
2026-09-29 cs.AI cs.LG
Exploring Robust Architectures for Deep Artificial Neural Networks
Rowan University（罗文大学）；University of Minnesota（明尼苏达大学）
深度人工神经网络（DANN）的架构被常规地研究以提高其预测性能。然而，DANN的结构与其对噪声和对抗攻击的鲁棒性之间的关系却很少被探索。我们研究了DANN的鲁棒性与其底层图形架构或结构的关系。本研究：（1）从使用图论鲁棒性度量探索DANN体系结构的设计空间开始;（2）将图转换为DANN体系结构，以对各种图像分类任务进行训练/验证/测试;（3）探索训练的DANN对噪声和对抗攻击的鲁棒性与通过图论度量估计的其底层体系结构的鲁棒性之间的关系。我们发现，拓扑熵和Olivier-Ricci曲率的基础图可以量化的DANN的鲁棒性性能。对于复杂任务和大型DANN，上述关系更强。我们的工作将允许autoML和神经架构搜索社区探索健壮和准确的DANN的设计空间。
2022-04-05 cs.AI cs.LG
Putting a bug in ML: The moth olfactory network learns to read MNIST
University of Washington（华盛顿大学）
我们试图（i）描述在生物神经网络中用于在非常少的样本上训练的学习架构，以及（ii）将这些算法结构移植到机器学习环境中。蛾嗅觉网络是最简单的可以学习的生物神经系统之一，其架构包括生物神经网络中广泛存在的关键结构元素和机制，例如级联网络，竞争抑制，高内在噪声，稀疏性，奖励机制和Hebbian可塑性。这些结构性的生物元素结合在一起，使快速学习成为可能。MothNet是蛾嗅觉网络的计算模型，与蛾已知的生物物理学和从蛾学习新气味收集的体内电极数据密切相关。我们给这个模型分配了学习阅读MNIST数字的任务。我们证明了MothNet在很少的训练样本（每个类1到10个样本）下成功地学习阅读。在这种少样本的情况下，它优于标准的机器学习方法，如最近邻、支持向量机和神经网络（NN），并与专门的一次性迁移学习方法相匹配，但不需要预先训练。MothNet架构说明了如何使用源自生物大脑的算法结构来构建替代NN，这些NN可以避免当前工程NN的一些学习率限制。
2019-01-26 cs.LG cs.NE q-bio.NC
MNIST-NET10: A heterogeneous deep networks fusion based on the degree of certainty to reach 0.1 error rate. Ensembles overview and proposal
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Universidad Politécnica de Cartagena（卡塔赫纳理工大学）
为了提高最优单分类模型的分类效果，聚类方法得到了广泛的应用.大量的作品主要是通过使用一种特定的集成方法获得了较好的性能。然而，很少有工作探索复杂的融合方案，使用异源系综与新的聚合策略。本文件有三个方面：1）概述了目前最流行的集成方法; 2）分析了以MNIST为指导思想的几种融合方案; 3）介绍了一种基于确定度聚合方法的复杂异构融合体系结构MNIST-NET 10，它从数据、模型和融合策略三个方面对两种异构融合方案进行了融合。MNIST-NET 10在MNIST中创下新纪录，只有10张错误分类的图像。我们的分析表明，这种基于确定性程度的复杂异构融合架构可以被认为是从多样性中获益的一种方式。
2020-04-07 cs.LG stat.ML
A Hybrid Multi-Well Hopfield-CNN with Feature Extraction and K-Means for MNIST Classification
A. Farooq（Ahmed Farooq）
本研究提出一种结合CNN与多井Hopfield网络的混合模型，通过CNN提取特征并用k-means生成原型作为吸引子进行分类，在MNIST数据集上实现了99.2%的准确率。
2025-07-11 cs.AI cs.CV cs.LG
Exploring the Limits of Epistemic Uncertainty Quantification in Low-Shot Settings
German Research Center for Artificial Intelligence（德国人工智能研究中心）
神经网络中的不确定性量化有望提高人工智能系统的安全性，但目前尚不清楚性能如何随训练集大小而变化。在本文中，我们评估了七种不确定性方法对时尚MNIST和CIFAR10，因为我们子样本和产生不同的训练集大小。我们发现，校准误差和分布外检测性能强烈依赖于训练集的大小，与大多数方法被误校准的测试集与小的训练集。基于认知的方法似乎很难估计认知的不确定性，并且受训练集大小的影响最大。我们希望我们的结果可以指导未来的研究不确定性量化，并帮助从业者选择基于他们特定的可用数据的方法。
2021-11-18 cs.CV cs.LG
Exploring the Hierarchical Reasoning Model for Small Natural-Image Classification Without Augmentation
Department of Data, Mathematical and Statistical Sciences, University of Central Florida（数据、数学与统计科学系，中央佛罗里达大学）
本文探究带Transformer模块的层次推理模型HRM在无增强小型图像分类任务中的性能，发现其优化稳定但因图像归纳偏置不足泛化性差，性能不及简单卷积网络，同时指出模型改进仍有提升空间。
2025-10-04 cs.CV cs.LG
Bridging the Gap: Exploring the Capabilities of Bridge-Architectures for Complex Visual Reasoning Tasks
本研究探索桥接架构在NLVR2复杂视觉推理任务上的性能，发现添加对象级特征无益，多模态预训练是关键，并分析了LLaVA的零样本表现。
2023-07-31 cs.AI cs.CL cs.CV
QNAS: A Neural Architecture Search Framework for Accurate and Efficient Quantum Neural Networks
Department of Computer Engineering, Amirkabir University of Technology（阿米尔卡比尔理工大学计算机工程系）；eBRAIN Lab, Division of Engineering, New York University Abu Dhabi (NYUAD)（纽约大学阿布扎比分校工程学院eBRAIN实验室）；Center for Quantum and Topological Systems (CQTS), NYUAD Research Institute, NYUAD（纽约大学阿布扎比分校NYUAD研究所量子与拓扑系统中心）
QNAS通过统一硬件感知评估、多目标优化和切割开销意识，解决量子神经网络在准确性和部署性上的挑战，发现平衡精度、效率和实际部署的架构。
2026-04-08 cs.LG quant-ph
Improving Expert Specialization in Mixture of Experts
TU Wien（维也纳工业大学）
混合专家模型（MoE）是20多年前提出的最简单的门控模块化神经网络架构。MoE重新引起了人们的兴趣，因为条件计算只允许在每次推理过程中使用网络的一部分，正如最近在大规模自然语言处理模型中所证明的那样。MoE还可能有利于持续学习，因为专家可能被重新用于新任务，并引入新专家。MoE架构中的门学习任务分解，并且各个专家学习适合于门分解的更简单的函数。在本文中：（1）我们证明了原始的MoE体系结构及其训练方法不能保证直观的任务分解和良好的专家利用率，实际上，即使对于简单的数据，如MNIST和FashionMNIST，它们也可能严重失败;（2）我们引入了一种新的门控体系结构，类似于注意力，它提高了性能并导致更低的熵任务分解;以及（3）我们引入了一种新的数据驱动的正则化，提高了专家专业化。我们在MNIST，FashionMNIST和CIFAR-100数据集上实证验证了我们的方法。
2023-02-28 cs.AI cs.LG cs.NE
Neuromodulated Neural Architectures with Local Error Signals for Memory-Constrained Online Continual Learning
Argonne National Laboratory（阿贡国家实验室）
从输入数据流中持续学习而不发生灾难性遗忘的能力对于设计智能系统至关重要。许多现有的持续学习方法依赖于随机梯度下降及其变体。然而，这些算法必须实现各种策略，例如存储器缓冲器或重放，以克服随机梯度下降方法在稳定性、贪婪和短期记忆方面的众所周知的缺点。为此，我们开发了一个生物启发的轻量级神经网络架构，它结合了本地学习和神经调节，使输入处理数据流和在线学习。接下来，我们解决的挑战，是不知道的任务，提前实现转移元学习：使用贝叶斯优化，探索设计空间跨越多个本地学习规则和他们的超参数，我们确定高性能的配置在经典的单任务在线学习，我们将它们转移到持续学习任务与任务相似性的考虑。我们证明了我们的方法在单一任务和持续学习设置的有效性。对于单任务学习设置，我们在MNIST，Fashion MNIST和CIFAR-10数据集上展示了优于其他本地学习方法的性能。使用高性能的配置元在单任务学习设置，我们实现了优越的持续学习性能分裂MNIST，和分裂CIFAR-10数据相比，其他内存受限的学习方法，并匹配的最先进的内存密集型重放为基础的方法。
2021-03-13 cs.LG stat.ML
ProdSumNet: reducing model parameters in deep neural networks via product-of-sums matrix decompositions
IBM Research AI（IBM研究院人工智能部门）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们考虑一个通用框架，通过将线性算子分解为简单线性算子之和的乘积，来减少深度学习网络中可训练模型参数的数量。最近提出的深度学习架构，如CNN，KFC，扩张的CNN等都包含在这个框架中，我们在这个框架内说明了其他类型的神经网络架构。我们表明，MNIST和时尚MNIST的良好的准确性，可以使用相对较少的可训练参数。此外，由于卷积层的实现是资源密集型的，因此我们考虑在变换域中采用一种方法来消除对卷积层的需求。这种一般框架优于现有方法的优点之一是可训练参数的数量不是固定的，并且可以任意变化。特别是，我们说明了不同的可训练变量的数量和相应的出错率的权衡。作为一个例子，通过在具有超过3x10^6个可训练参数的MNIST的参考CNN架构上使用这种分解，我们能够仅使用3554个可训练参数获得98.44%的准确度。
2019-05-23 cs.LG stat.ML
Empirical analysis of non-linear activation functions for Deep Neural Networks in classification tasks
University of Edinburgh（爱丁堡大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提供了在神经网络架构中的几个非线性激活函数的概述，这些函数在许多机器学习应用中已经被证明是成功的。我们进行了实证分析的有效性使用这些功能的MNIST分类任务，目的是澄清哪些功能产生最好的结果。基于这第一组结果，我们研究了构建具有越来越多隐藏层的更深架构的影响。我们还调查的影响，在同一个任务，不同的初始化方案的权重，我们的神经网络。使用这些实验集作为基础，我们得出结论，提供了一个最佳的神经网络架构，产生令人印象深刻的结果，在MNIST分类任务的准确性。
2017-10-30 cs.LG stat.ML
From MNIST to ImageNet: Understanding the Scalability Boundaries of Differentiable Logic Gate Networks
针对可微分逻辑门网络（DLGNs）仅在小类别数据集测试的局限，研究其在大型多类数据集上的表达能力与可扩展性，验证温度调优的作用及Group-Sum层在最多2000类分类任务中的应用条件。
2025-09-30 cs.AI cs.CV cs.LG
QBDC: Query by dropout committee for training deep supervised architecture
Univ. Nice Sophia Antipolis（尼斯索菲亚·安提波利斯大学）；I3S, UMR UNS-CNRS 7271（I3S（法国国家科学研究中心与尼斯索菲亚·安提波利斯大学联合研究单位，UMR 7271））
虽然目前的趋势是增加神经网络的深度以提高其性能，但其训练数据库的大小必须相应地增长。我们注意到大量数据库的出现，尽管提供标签来构建训练集仍然是一项非常昂贵的任务。我们以在线方式处理选择要贴标签的样品的问题。本文提出了一种基于委员会查询和丢弃技术的主动学习策略来训练卷积神经网络（CNN）。我们推导出部分CNN的commmittee，其产生于初始CNN上的分批退出运行。我们在MNIST基准测试上评估了CNN的主动学习策略，特别是从注释数据库中选择不到30%就足以获得与在MNIST上使用完整训练集相似的出错率。我们还研究了我们的方法对对抗性示例的鲁棒性。
2015-11-26 cs.CV cs.LG
Building Efficient Lightweight CNN Models
Federal University of Technology, Akure（阿库里科技大学）
本文提出一种结合双输入输出模型与渐进式解冻迁移学习的两阶段训练方法，构建了在MNIST等数据集上保持高准确率的轻量级CNN模型，适用于资源受限的实时应用。
2025-01-26 cs.AI cs.CV cs.LG
PhD Thesis: Exploring the role of (self-)attention in cognitive and computer vision architecture
Université Toulouse 3 Paul Sabatier（图卢兹第三大学保罗·萨巴蒂埃大学）；CerCo（CerCo研究中心）；Princeton University（普林斯顿大学）；DeepMind（深度思维）；Brown University（布朗大学）；ANITI（ANITI研究所）
本文研究了注意力和记忆在复杂推理任务中的作用，通过将自注意力与ResNet50结合及提出结合注意力和记忆的认知架构GAMR，高效解决了视觉推理任务，并在样本效率、鲁棒性和零样本泛化上表现优异。
2023-06-28 cs.AI cs.CV cs.LG
The Neural Division of Labor: Biologically-Inspired Modular Architectures for Robust Neuromorphic Computing
University of California San Diego（加州大学圣地亚哥分校）；University of Alberta（阿尔伯塔大学）；University of Alabama（阿拉巴马大学）
本文提出可分解脉冲神经网络（D-SNN），采用生物启发模块化架构，在减少参数与突触操作的同时，实现鲁棒性与决策透明性，为边缘神经形态计算提供高效方案。
2026-08-11 cs.LG
An Architecture Combining Convolutional Neural Network (CNN) and Support Vector Machine (SVM) for Image Classification
卷积神经网络（CNN）类似于“普通”神经网络，因为它们由具有“可学习”参数的神经元组成的隐藏层组成。这些神经元接收输入，执行点积，然后以非线性跟随它。整个网络表达了原始图像像素与其类得分之间的映射。通常，Softmax函数是在该网络的最后一层使用的分类器。然而，已经有研究（Alalshekmusic和Smith，2013; Agarap，2017; Tang，2013）对这一规范提出了挑战。所引用的研究介绍了在人工神经网络架构中使用线性支持向量机（SVM）。这个项目是对这个主题的又一次尝试，灵感来自（Tang，2013）。经验数据表明，使用MNIST数据集，CNN-SVM模型能够实现约99.04%的测试准确度（LeCun，Cortes和Burges，2010）。另一方面，CNN-Softmax能够使用相同的数据集实现约99.23%的测试准确度。这两个模型也在最近发布的Fashion-MNIST数据集上进行了测试（Xiao，Rasul和Vollliant，2017），这被认为是比MNIST更难的图像分类数据集（Zalandoresearch，2017）。事实证明，CNN-SVM的测试准确率达到了~ 90.72%，而CNN-Softmax的测试准确率达到了~ 91.86%。如果在数据集上采用数据预处理技术，并且如果基础CNN模型比本研究中使用的模型相对更复杂，则所述结果可能会得到改善。
2019-02-07 cs.CV cs.LG cs.NE
Examining Redundancy in the Context of Safe Machine Learning
ZHAW（苏黎世应用科技大学）；Institute of Applied Mathematics（应用数学研究所）；Institute of Embedded Systems（嵌入式系统研究所）
本文介绍了一组实验与神经网络分类器的MNIST数据库的数字。目的是研究冗余架构的简单实现，作为迈向安全可靠的机器学习的第一步。我们报告的一组测量使用MNIST数据库，最终用于强调预期的困难，在安全可靠的系统中使用NN分类。
2020-07-03 cs.LG stat.ML
Exploring Various Sequential Learning Methods for Deformation History Modeling
Tallinn University of Technology（塔林理工大学）；Aalto University（阿尔托大学）；Nasa Research Glenn Center（美国国家航空航天局格伦研究中心）；Bogazici University（博阿齐奇大学）；College of Science and Engineering, Hamad Bin Khalifa University（哈马德·本·哈利法大学科学与工程学院）
本研究评估了1D卷积、递归和基于transformer的架构在基于变形历史预测变形局部化中的适用性，并详细分析了表现最佳的模型中预测过程的数学计算与变形路径物理属性实际值之间的不兼容问题。
2025-04-04 cs.AI cs.CE cs.LG
Fine-Tuning DARTS for Image Classification
Korea Advanced Institute of Science and Technology (KAIST)（韩国高等科学技术院（KAIST））
神经结构搜索（NAS）由于其优越的分类性能而受到关注。差分结构搜索（DARTS）是一种计算量小的方法。为了限制计算资源，DARTS进行了许多近似。这些近似值导致性能较差。我们建议微调DARTS使用固定的操作，因为它们是独立的这些近似。我们的方法提供了一个很好的权衡参数和分类精度之间的数量。与最先进的方法相比，我们的方法将Fashion-MNIST，CompCars和MIO-TCD数据集的前1精度分别提高了0.56%，0.50%和0.39%。在CIFAR-10、CIFAR-100、Fashion-MNIST、CompCars和MIO-TCD数据集上，我们的方法的性能优于DARTS，与DARTS相比，准确率分别提高了0.28%、1.64%、0.34%、4.5%和3.27%。
2020-06-16 cs.AI cs.CV cs.LG
Exploring Dual Encoder Architectures for Question Answering
Google Inc（谷歌公司）；Meta AI
双编码器已被用于问答（QA）和信息检索（IR）的任务，具有良好的效果。以前的研究集中在两种主要类型的双编码器，暹罗双编码器（暹罗），与两个编码器共享的参数，和非对称双编码器（ADE），与两个不同的参数化编码器。在这项工作中，我们探讨了不同的方式，在双编码器可以被构造，并评估这些差异如何影响他们的效率方面的QA检索任务。通过对MS MARCO，开放域NQ和MultiReQA基准测试的评估，我们表明，CORBA的性能明显优于ADE。我们进一步提出了三种不同的改进版本的ADE共享或冻结两个编码器塔之间的架构的一部分。我们发现，共享投影层中的参数将使ADE能够与PDE竞争或优于PDE。我们进一步探索和解释为什么投影层中的参数共享显著提高了双编码器的效率，通过使用t-SNE算法直接探测两个编码器塔的嵌入空间。
2022-11-15 cs.CL cs.IR cs.LG
Exploring Recurrent, Memory and Attention Based Architectures for Scoring Interactional Aspects of Human-Machine Text Dialog
Educational Testing Service R&D（教育考试服务中心研发部）
使英语语言学习者能够提高他们的会话能力的重要一步是自动评分的多个方面的intermittent能力和随后的有针对性的反馈。本文建立在以前的工作，在这个方向上，调查多个神经架构-经常性的，注意力和记忆为基础的-随着功能设计的模型，自动评分的文本对话数据的intermittent和主题开发方面。我们在人类学习者与基于云的对话系统交互的文本对话的对话数据库上进行了实验，这些对话在会话熟练度的多个维度上进行了三重评分。我们发现，相对于专家评分员协议，多个架构的融合在我们的自动评分任务上表现出色，（i）手工设计的功能传递给支持向量学习器，（ii）基于transformer的架构对融合的贡献最大。
2020-05-20 cs.HC cs.LG cs.SD
Variational Depth Search in ResNets
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）；The Alan Turing Institute（艾伦·图灵研究所）
单次神经架构搜索允许权重和网络架构的联合学习，降低了计算成本。我们将搜索空间限制在残差网络的深度，并制定了一个分析上易于处理的变分目标，允许在一次射击中获得深度上的无偏近似后验。我们提出了一个启发式修剪我们的网络基于此分布。我们将我们提出的方法与MNIST，Fashion-MNIST，SVHN数据集上的网络深度手动搜索进行比较。我们发现，修剪网络不会导致损失的预测性能，获得准确性与unpruned网络竞争。边缘化深度使我们能够在一次向前传递中获得比常规网络更好的校准测试时间不确定性估计。
2020-04-01 cs.LG stat.ML
Visual Context-aware Convolution Filters for Transformation-invariant Neural Network
Samsung R&D Institute, Bangalore（三星班加罗尔研发中心）
我们提出了一种新的视觉上下文感知过滤器生成模块，它将图像中的上下文信息纳入卷积神经网络（CNN）。与传统的CNN相比，我们不会对所有输入图像实例使用相同的学习卷积滤波器集。我们提出的输入条件卷积滤波器与多实例学习和最大池技术相结合，产生了一个变换不变的神经网络。我们研究了我们提出的框架在三种MNIST变体上的性能，其中包括旋转和缩放方差，并在MNIST-rot-12 k上实现了1.13%的误差，在半旋转MNIST上实现了1.12%的误差，在缩放MNIST上实现了0.68%的误差，这明显优于最先进的结果。我们利用可视化来进一步证明我们的视觉上下文感知卷积过滤器的有效性。我们提出的可视化上下文感知卷积滤波器生成框架也可以作为任何基于CNN的架构的插件，并增强其建模能力。
2019-06-15 cs.CV cs.LG stat.ML
Exploring the Design Space of Deep Convolutional Neural Networks at Large Scale
University of California, Berkeley（加州大学伯克利分校）
近年来，研究界发现，深度神经网络（DNN）和卷积神经网络（CNN）可以产生比以前所有解决广泛机器学习问题的解决方案更高的准确性。据我们所知，没有单一的CNN/DNN架构可以最佳地解决所有问题。相反，“正确的”CNN/DNN架构取决于手头的应用。CNN/DNN包括巨大的设计空间。定量地，我们发现CNN设计空间的一个小区域包含300亿个不同的CNN架构。在本论文中，我们开发了一种方法，使CNN的设计空间的系统探索。我们的方法包括以下四个主题。1.明智地选择基准和指标。2.快速训练CNN模型。3.定义和描述CNN设计空间。4.探索CNN架构的设计空间。综合起来，这四个主题构成了一个有效的方法，用于发现“正确的”CNN架构，以满足实际应用的需求。
2016-12-20 cs.CV cs.LG cs.NE
Beyond Uniform Scaling: Exploring Depth Heterogeneity in Neural Architectures
Nyun AI；Transmute AI Lab（Transmute AI实验室）
本文提出一种利用二阶损失景观信息的自动化缩放方法，在视觉Transformer中引入深度异质性，无需额外训练迭代即可联合缩放与训练，在DeiT-S上实现2.5%准确率提升和10%参数效率改进。
2024-02-19 cs.AI cs.LG cs.NE
Exploring the Synergies of Hybrid CNNs and ViTs Architectures for Computer Vision: A survey
Beihang University（北京航空航天大学）；Beijing Institute of Technology（北京理工大学）；Tianjin University（天津大学）
本文综述最先进的混合 CNN-ViT 计算机视觉架构，系统分类其融合设计、任务协同、性能比较、挑战与未来方向。
2024-02-05 cs.CV cs.LG
Is attention required for ICL? Exploring the Relationship Between Model Architecture and In-Context Learning Ability
University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文实证评估了十三种因果语言模型架构在合成任务上的上下文学习能力，发现注意力替代方案有时可媲美或超越Transformer，但没有一种架构能在所有任务上保持一致表现。
2024-04-02 cs.LG
Rethinking Attention: Exploring Shallow Feed-Forward Neural Networks as an Alternative to Attention Layers in Transformers
ETH Zurich（苏黎世联邦理工学院）
本研究探讨用浅层前馈网络替代Transformer注意力层，通过知识蒸馏训练，在IWSLT2017上验证其性能媲美原架构，并通过消融实验证明该方法可行，为简化序列到序列模型提供新思路。
2024-02-04 cs.CL cs.LG
Improving Classification Neural Networks by using Absolute activation function (MNIST/LeNET-5 example)
本文提出在分类神经网络中使用 Absolute 激活函数，并通过改进 ADAM 训练算法稳定训练，在 MNIST 的类 LeNet-5 架构上实现参数减少与准确率提升。
2023-04-23 cs.CV cs.LG
Exploring Protein Language Model Architecture-Induced Biases for Antibody Comprehension
本研究探讨了蛋白质语言模型架构对抗体理解偏差的影响，通过对比不同模型在抗体靶向预测中的表现，揭示了架构选择对生物特征提取的关键作用。
2025-12-10 cs.LG
Exploring the Loss Landscape in Neural Architecture Search
Carnegie Mellon University（卡内基梅隆大学）
在过去的几年里，神经结构搜索（NAS）的兴趣急剧上升。NAS的许多算法包括通过迭代选择架构来搜索架构空间，通过训练来评估其性能，并使用所有先前的评估来提出下一个选择。评估步骤是有噪声的-最终精度根据权重的随机初始化而变化。以前的工作集中在设计新的搜索算法来处理这种噪声，而不是量化或理解架构评估中的噪声水平。在这项工作中，我们证明了（1）最简单的爬山算法是NAS的强大基线，（2）当流行的NAS基准数据集中的噪声降低到最低限度时，爬山算法的性能优于许多流行的最先进的算法。我们进一步支持这一观察表明，局部极小值的数量大幅减少，噪声的减少，并通过给出一个理论表征的本地搜索在NAS中的性能。根据我们的研究结果，对于NAS研究，我们建议（1）使用本地搜索作为基线，（2）尽可能对训练管道进行去噪。
2021-06-16 cs.LG stat.ML
Exploring Deep and Recurrent Architectures for Optimal Control
Stanford University（斯坦福大学）
本文探讨了将深度和循环神经网络应用于连续高维运动控制任务，通过强化学习算法训练控制器，比较不同架构的性能，并讨论深度学习在最优控制中的应用前景。
2013-11-07 cs.AI cs.LG cs.NE
Exploring the Potential of Polynomial Basis Functions in Kolmogorov-Arnold Networks: A Comparative Study of Different Groups of Polynomials
University of Tehran（德黑兰大学）
本文调查了18种多项式作为Kolmogorov-Arnold网络基函数的适用性，在MNIST数据集上评估发现Gottlieb-KAN模型在各项指标表现最佳，为复杂任务提供了新方案。
2024-10-14 cs.AI cs.CV cs.LG
DeepSwarm: Optimising Convolutional Neural Networks using Swarm Intelligence
Department of Computing Science, University \ Aberdeen, Aberdeen AB24 3UE, UK
在本文中，我们提出了DeepSwarm，一种基于群体智能原理的新型神经结构搜索（NAS）方法。DeepSwarm的核心是使用蚁群优化（ACO）来生成蚂蚁种群，蚂蚁种群使用信息素信息来集体搜索最佳神经架构。此外，通过使用局部和全局信息素更新规则，我们的方法确保开发和探索之间的平衡。最重要的是，为了使我们的方法更有效，我们将渐进式神经架构搜索与权重可重用性相结合。此外，由于ACO的性质，我们的方法可以结合启发式信息，可以进一步加快搜索过程。经过系统和广泛的评估，我们发现，在三个不同的数据集（MNIST，Fashion-MNIST和CIFAR-10）相比，现有的系统，我们提出的方法表现出竞争力的性能。最后，我们将DeepSwarm开源为NAS库，希望它能被更多的深度学习研究者和实践者使用。
2019-05-17 cs.LG cs.NE stat.ML
Should we hard-code the recurrence concept or learn it instead ? Exploring the Transformer architecture for Audio-Visual Speech Recognition
Trinity College Dublin（都柏林圣三一学院）
视听语音融合策略AV Align在具有挑战性的LRS2数据集上的视听语音识别（AVSR）中表现出显着的性能改进。性能提高范围在7%到30%之间，具体取决于除了听觉模态之外还利用语音的视觉模态时的噪声水平。这项工作提出了AV Align的一个变体，其中经常性的长短期记忆（LSTM）计算块被最近提出的Transformer块取代。我们比较了这两种方法，更详细地讨论了它们的优点和缺点。我们发现，Transformers也学习跨模态单调对齐，但与LSTM模型一样存在视觉收敛问题，需要对机器学习中的主导模态问题进行更深入的研究。
2020-05-19 cs.LG eess.AS
DartsReNet: Exploring new RNN cells in ReNet architectures
TU Kaiserslautern（凯泽斯劳滕工业大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
本文提出 DartsReNet，利用 DARTS 神经架构搜索为 ReNet 架构自动设计适用于二维图像分类的新型 RNN 单元，在 CIFAR-10 和 SVHN 上优于基于 LSTM 和 GRU 的标准单元，并展现出跨数据集的泛化能力。
2023-04-11 cs.AI cs.CV cs.LG
An end-to-end trainable hybrid classical-quantum classifier
National Taiwan University（台湾大学）
我们引入了一个混合模型，结合量子启发张量网络和变分量子线路来执行监督学习任务。这种架构允许同时训练模型的经典和量子部分，提供端到端的训练框架。我们表明，相比主成分分析，张量网络的基础上的矩阵产品状态与低键维表现更好的特征提取器的输入数据的变分量子线路在二进制和三进制分类的MNIST和时尚MNIST数据集。该体系结构具有很强的适应性，并且通过利用张量网络和量子线路之间的对应关系，可以根据量子资源的可用性调整经典-量子边界。
2021-02-04 cs.LG quant-ph
Exploring Machine Learning Privacy/Utility trade-off from a hyperparameters Lens
NYU Abu Dhabi（纽约大学阿布扎比分校）；Queen’s University Belfast（贝尔法斯特女王大学）
机器学习（ML）架构已经应用于涉及敏感数据的几个应用程序，其中需要保证用户的数据隐私。差分隐私随机梯度下降（DPSGD）是训练隐私保护模型的最新方法。然而，DPSGD带来相当大的准确性损失，导致次优的隐私/效用权衡。为了研究更好的隐私-效用权衡的新基础，这项工作提出了以下问题：（i）模型的超参数是否对ML模型的隐私保护属性有任何内在影响，以及（ii）模型的超参数是否对差异隐私模型的隐私/效用权衡有任何影响。我们提出了一个全面的设计空间探索不同的超参数，如激活函数的选择，学习率和使用批量归一化。有趣的是，我们发现，效用可以通过使用有界的Bounded Bounded Bounded U作为具有相同隐私保护特性的激活函数来提高。通过对激活函数的直接替换，我们在MNIST（96.02\%）、FashionMnist（84.76\%）和CIFAR-10（44.42\%）上实现了新的最先进的准确性，而无需对DPSGD的学习过程基础进行任何修改。
2023-03-03 cs.CR cs.CV cs.LG
Exploring Parallelism in FPGA-Based Accelerators for Machine Learning Applications
Western New England University（韦斯滕新英格兰大学）；Rice University（Rice大学）
针对神经网络训练加速问题，本工作在MNIST数据集上用OpenMP实现推测反向传播，通过多线程重叠前向与反向传播步骤，CPU实验获24%整体加速比及35%单步最大加速比，计划在FPGA上综合以验证硬件加速潜力。
2025-11-09 cs.AR cs.DC cs.LG
