How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks
Massachusetts Institute of Technology (MIT)（麻省理工学院（MIT））；University of Maryland（马里兰大学）；University of Washington（华盛顿大学）；National Institute of Informatics (NII)（信息学研究所（NII））
我们研究了通过梯度下降训练的神经网络如何外推，即，他们在培训分发的支持之外学到了什么。以前的工作报告混合的经验结果时，外推与神经网络：而前馈神经网络，又名。尽管多层感知器（MLP）在某些简单任务中不能很好地外推，但图神经网络（GNN）--具有MLP模块的结构化网络--在更复杂的任务中已经显示出一些成功。在理论上的解释工作，我们确定的条件下，MLP和GNN外推良好。首先，我们量化了ReLU MLP沿着原点的任何方向快速收敛到线性函数的观察结果，这意味着ReLU MLP不会外推大多数非线性函数。但是，当训练分布足够“多样化”时，它们可以证明学习线性目标函数。其次，在分析GNN的成功和局限性方面，这些结果提出了一个我们提供理论和经验证据的假设：GNN在将算法任务外推到新数据方面的成功（例如，更大的图或边权重）依赖于对架构或特征中的特定于任务的非线性进行编码。我们的理论分析建立在过参数化网络与神经切线核的连接上。从经验上讲，我们的理论适用于不同的训练环境。
2021-03-02 cs.AI cs.CV cs.LG
A Heuristic for Efficient Reduction in Hidden Layer Combinations For Feedforward Neural Networks
National University of Singapore（新加坡国立大学）
在本文中，我们描述了机器学习领域的超参数搜索问题，并提出了一种启发式方法，试图解决它。在大多数学习算法中，一组超参数必须在训练开始之前确定。超参数的选择可以显著影响最终模型的性能，但是在大多数情况下，确定超参数的良好选择是复杂的，并且消耗大量的计算资源。在本文中，我们展示了一个详尽的搜索超参数和启发式搜索之间的差异，并表明，有一个显着减少所需的时间来获得的模型与边际差异的评估指标相比，基准的情况下。
2020-01-11 cs.LG
Feedforward Initialization for Fast Inference of Deep Generative Networks is biologically plausible
Université de Montréal（蒙特利尔大学）；Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；University of Bern（伯尔尼大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
我们考虑深层多层生成模型，如玻尔兹曼机或Hopfield网，其中计算（实现推理）是递归和随机的，但递归不是为了模拟序列结构，只是为了执行计算。我们发现条件下，一个简单的前馈计算是一个非常好的初始化推理，后的输入设备被钳位到观察值。这意味着在前馈初始化之后，递归网络非常接近网络动力学的不动点，其中能量梯度为0。主要条件是连续的层形成良好的自动编码器，或者更一般地说，单元中的不同输入组（特别是，一方面是自下而上的输入，另一方面是自上而下的输入）彼此一致，从而对输入的总加权和产生相同的贡献。在生物学术语中，这将对应于使每个树突分支正确地预测来自所有树突分支的聚合输入，即，体细胞潜能这与预测一致，即训练到树突分支（诸如锥体细胞的顶端树突和基底树突的那些）中的突触权重以最小化当目标是体细胞活动时由树突分支产生的预测误差。虽然以前的工作已经展示了如何在预测性递归模型中实现快速负相推理（当模型被打开时），但这一贡献有助于在这种递归神经模型中实现快速正相推理（当目标输出被钳制时）。
2016-06-28 cs.LG cs.NE q-bio.NC
Deep Learning Techniques for Music Generation -- A Survey
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Universidade Federal do Estado do Rio de Janeiro（里约热内卢州联邦大学）；Pontifícia Universidade Católica do Rio de Janeiro（里约热内卢天主教大学）；Sony Computer Science Laboratories（索尼计算机科学实验室）；Spotify Creator Technology Research Lab（Spotify创作者技术研究实验室）
本文是对使用深度学习（深度人工神经网络）生成音乐内容的不同方法的调查和分析。我们提出了一种方法，基于五个维度为我们的分析：目标-什么音乐内容是要生成的？例如：旋律，复调，伴奏或对位。- 目的地和用途是什么？由人（在乐谱的情况下）或由机器（在音频文件的情况下）执行。代表性-什么是要操纵的概念？例如：波形、声谱图、音符、和弦、节拍和节拍。- 使用什么格式？例如：钢琴曲、钢琴卷或文本。- 如何对表示进行编码？例如：标量、one-hot或many-hot。架构-使用什么类型的深度神经网络？例如：前馈网络、递归网络、自动编码器或生成对抗网络。挑战-有哪些限制和开放的挑战？例如：可变性、互动性和创造性。战略-我们如何建模和控制生成过程？例如：单步前馈、迭代前馈、采样或输入操作。对于每个维度，我们进行了各种模型和技术的比较分析，我们提出了一些尝试性的多维类型。这种类型学是自下而上的，基于对从相关文献中选择的用于音乐生成的许多现有的基于深度学习的系统的分析。这些系统的描述，并用于解释各种选择的目标，代表性，架构，挑战和战略。最后一部分是讨论和展望。
2019-08-07 cs.LG cs.SD
Binary output layer of feedforward neural networks for solving multi-class classification problems
Dalian University of Technology（大连理工大学）
本文研究了解决r类（大于或等于3）样本多类分类问题的前馈神经网络输出层节点的设计。输出层的常见和常规设置，在本文中称为“一对一方法”，如下：输出层包含r个输出节点，对应于r个类。对于第i类的输入样本，第i个输出节点的理想输出为1，所有其他输出节点的理想输出为0。本文提出了一种新的“二进制方法”：假设r为（2^（q减1），2 ^q]，q大于或等于2，则我们让输出层包含q个输出节点，并让r个类的理想输出以二进制方式设计。在本文中进行的数值实验表明，我们的二进制方法做同样好的工作，但使用更少的输出节点比，传统的一对一的方法。
2018-01-22 cs.LG math.CT
Universal Solutions of Feedforward ReLU Networks for Interpolations
本文提供了一个关于前馈ReLU网络插值解决方案的理论框架，根据所谓的插值矩阵，这是我们之前三项工作的总结，扩展和推广，期望工程解决方案可以包含在这个框架中并最终理解。针对三层网络，对不同类型的解进行分类，并以规范化的形式进行建模;从数据、网络和训练三个维度考察解的发现;解释了一类过参数化解的机理。对于深层网络，我们提出了一个一般性的结果，称为稀疏矩阵原理，它可以描述深层网络的一些基本行为，并解释与脑科学相关的工程应用中出现的稀疏激活模式现象，该原理体现了深层网络相对于浅层网络的优势。作为应用，利用该原理构造了一个用于分类的深度神经网络的一般解，并利用该原理研究了编码器的数据解纠缠特性。类似于三层的情况下，深层的解决方案也通过几个维度进行了探索。从插值矩阵的角度解释了多输出神经网络的机理。
2022-12-12 cs.LG cs.NA math.NA
Non-Reference Quality Monitoring of Digital Images using Gradient Statistics and Feedforward Neural Networks
Space and Upper Atmosphere Research Commission（空间与高层大气研究委员会）；University of Engineering and Technology, Lahore（拉合尔工程技术大学）
数字图像包含大量的冗余，因此，压缩被应用于减小图像尺寸而不损失合理的图像质量。这在包含图像序列的视频的情况下变得更加突出，并且在低吞吐量网络中实现更高的压缩比。在这种情况下的图像质量的评估变得特别感兴趣。在大多数情况下，主观评价变得不可行，因此客观评价是首选。在三种客观质量度量中，全参考和减少参考方法需要以某种形式的原始图像来计算质量分数，这在广播或IP视频等场景中是不可行的。因此，提出了一种非参考质量度量来评估数字图像的质量，该质量度量计算亮度和多尺度梯度统计以及减去平均值的对比度归一化产品作为特征，以训练具有尺度共轭梯度的前馈神经网络。经过训练的网络提供了良好的回归和R2措施，并在LIVE图像质量评估数据库版本2上进行了进一步测试，结果显示出良好的效果。Pearson、Kendall和Spearman的相关性在预测和实际质量分数之间进行计算，其结果与最先进的系统相当。此外，所提出的度量是计算速度比它的同行，可用于图像序列的质量评估。
2021-12-27 cs.CV cs.LG eess.IV
Learned-Norm Pooling for Deep Feedforward and Recurrent Neural Networks
Université de Montréal（蒙特利尔大学）
在本文中，我们提出并研究了一种新的非线性单元，称为$L_p$单元，用于深度神经网络。所提出的$L_p$单元从下面的层中的单元的子集的若干投影接收信号，并且计算归一化的$L_p$范数。我们注意到对$L_p$单元的两种有趣的解释。首先，所提出的单元可以被理解为许多常规池化运算符的一般化，诸如在例如卷积神经网络（CNN）、HMAX模型和新认知器中广泛使用的平均、均方根和最大池化。此外，$L_p$单元在某种程度上类似于最近提出的maxout单元（Goodfellow等人，2013），其在许多基准数据集上实现了最先进的对象识别结果。其次，我们提供了一个几何解释的激活函数的基础上，我们认为，$L_p$单元是更有效地表示复杂的，非线性分离边界。每个$L_p$单元定义一个超椭圆边界，其精确形状由顺序$p$定义。我们声称，这使得通过组合几个不同阶次的$L_p$单元可以更有效地对任意形状的弯曲边界进行建模。这种见解证明了需要为模型中的每个单元学习不同的订单。我们经验评估建议的$L_p$单位在一些数据集上，并表明多层感知器（MLP）组成的$L_p$单位达到国家的最先进的结果在一些基准数据集。此外，我们在最近提出的深度循环神经网络（RNN）上评估了所提出的$L_p$单元。
2014-09-02 cs.LG cs.NE stat.ML
"Parallel Training Considered Harmful?": Comparing series-parallel and parallel feedforward network training
Department of Electronic Engineering at Universidade Federal de Minas Gerais (UFMG) - Av. Ant\ o nio Carlos 6627, 31270-901, Belo Horizonte, MG, Brazil
本文比较了系列-并行和并行前馈网络训练方法，探讨了其在鲁棒性、计算成本和收敛性方面的表现，发现并行训练在更现实的场景中表现更优。
2018-08-14 cs.LG cs.SY eess.SY
What's a good imputation to predict with missing values?
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；IJCLab（直线加速器实验室）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Ecole Polytechnique（巴黎综合理工学院）；IP Paris（巴黎理工学院）
如何在有缺失值的数据上学习一个好的预测器？大多数努力集中在第一次插补，以及可能和第二次学习的完整的数据，以预测结果。然而，这种普遍的做法没有理论基础。在这里，我们表明，对于几乎所有的插补函数，一个强大的学习器的插补然后回归过程是贝叶斯最优的。这一结果适用于所有缺失值机制，与传统的统计结果相反，传统的统计结果需要随机缺失设置才能在概率建模中使用插补。此外，它意味着完美的条件填补是不需要良好的预测渐近。事实上，我们证明了在完全插补数据上，最好的回归函数通常是不连续的，这使得它很难学习。相反，精心设计插补以保持回归函数不变，只是将问题转移到学习不连续插补上。相反，我们建议，它是更容易学习插补和回归联合。我们提出了这样一个程序，适应NeuMiss，一个神经网络捕获的条件链接观察到的和未观察到的变量无论丢失值的模式。实验证明，联合填补和回归通过NeuMiss是优于各种两步程序在我们的实验中，有限数量的样本。
2021-11-30 cs.AI cs.LG stat.ML
Autoregressive Models: What Are They Good For?
自回归（AR）模型已经成为无监督学习的流行工具，实现了最先进的对数似然估计。我们研究了AR模型在两种情况下作为密度估计器的使用-作为图像翻译的学习信号，以及作为离群值检测器-并发现这些密度估计比以前认为的要不可靠得多。我们从经验和理论的角度来研究潜在的优化问题，并提供了一个玩具的例子来说明这个问题。绝大多数情况下，我们发现密度估计与感知质量无关，对下游任务毫无帮助。
2019-10-17 cs.LG stat.ML
Bias in Machine Learning -- What is it Good for?
Umeå University（于默奥大学）
在公共媒体和科学出版物中，术语\emph{bias}在许多不同的上下文中与机器学习结合使用，并具有许多不同的含义。本文通过调查机器学习的主要科学文献，提出了这些不同含义、术语和定义的分类。在某些情况下，我们建议扩展和修改，以促进明确的术语和完整性。调查之后，分析和讨论了不同类型的偏见是如何相互联系和相互依赖的。我们的结论是，在导致模型的机器学习管道中发生的偏见与模型的最终偏见（通常与社会歧视有关）之间存在复杂的关系。前者的偏见可能会也可能不会影响后者，有时是坏的，有时是好的。
2020-09-20 cs.AI cs.LG
What makes ImageNet good for transfer learning?
Berkeley Artificial Intelligence Research (BAIR) Laboratory（伯克利人工智能研究实验室）；UC Berkeley（加州大学伯克利分校）
ImageNet训练的深度特征在广泛的传输任务上取得的巨大成功引出了一个问题：ImageNet数据集的哪些属性对于学习良好的通用特征至关重要？这项工作提供了这个问题的各个方面的实证调查：更多的预训练数据总是更好？特征质量如何取决于每个类的训练样本数量？添加更多的对象类是否会提高性能？对于相同的数据预算，应该如何将数据划分为类？细粒度识别对于学习好的特征是必要的吗？给定相同数量的训练类，是粗类好还是细类好？哪一个更好：更多的类还是每个类更多的例子？为了回答这些问题和相关问题，我们在ImageNet数据集的各个子集上预训练了CNN特征，并评估了PASCAL检测、PASCAL动作分类和SUN场景分类任务的传输性能。我们的总体研究结果表明，大多数的变化，在选择前训练数据长期认为是至关重要的不显着影响转移性能。给定相同数量的训练类，是粗类好还是细类好？哪一个更好：更多的类还是每个类更多的例子？
2016-12-10 cs.AI cs.CV cs.LG
What Makes a "Good" Data Augmentation in Knowledge Distillation -- A Statistical Perspective
Northeastern University（东北大学）；MERL（三菱电机研究实验室）
知识蒸馏（KD）是一种通用的神经网络训练方法，它使用教师模型来指导学生模型。现有的工作主要从网络输出侧（例如，试图设计一个更好的KD损失函数），而很少有人试图从输入端理解它。特别是，它与数据增强（DA）的相互作用还没有得到很好的理解。在本文中，我们问：为什么有些DA方案（例如，CutMix）在KD中固有地表现得比其他人好得多？是什么让一个“好”的检察官在KD？我们的调查从统计的角度表明，一个好的DA计划应该减少师生交叉熵的协方差。一个实用的度量，教师的平均概率（T。stddev），进一步提出并充分证明经验。除了理论上的理解，我们还介绍了一个新的基于熵的数据混合DA计划，CutMixPick，进一步提高CutMix。广泛的实证研究支持我们的主张，并证明我们如何可以收获相当大的性能收益，只是通过使用一个更好的DA计划在知识蒸馏。
2023-02-21 cs.AI cs.CV cs.LG
What Makes a Reward Model a Good Teacher? An Optimization Perspective
Some Institute（某些研究所）
从优化角度研究奖励模型的有效性，发现奖励方差对优化效率至关重要，准确性不足以保证模型效果。
2026-02-27 cs.AI cs.CL cs.LG
What's a Good Prediction? Challenges in evaluating an agent's knowledge
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；DeepMind（深度思维）
通过学习与任务无关的世界模型来构建通用知识，可以帮助智能体解决具有挑战性的问题。然而，构建和评估这些模型仍然是一个开放的挑战。评估模型的最常见方法是评估其相对于可观察值的准确性。然而，普遍依赖估计的准确性作为知识有用性的代理，有可能使我们误入歧途。我们展示了准确性和实用性之间的冲突，通过一系列说明性的例子，包括思想实验和经验的例子在MineCraft，使用一般价值函数框架（GVF）。在确定了评估代理的知识的挑战，我们提出了一种替代的评价方法，不断出现在网上持续学习设置，我们建议通过检查内部学习过程，特别是GVF的功能的相关性，预测任务在手的评价。本文通过使用预测，预测知识的一个组成部分，这是尚未探索的第一次看评估预测。
2021-04-13 cs.AI cs.LG
What Makes a Good Diffusion Planner for Decision Making?
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
通过在离线强化学习下训练评估超6000个扩散模型，系统研究了扩散规划的关键组件，发现反常规设计能提升性能，并据此提出了在标准基准上达到最先进水平的基线。
2025-03-01 cs.AI cs.LG
What Makes Good Contrastive Learning on Small-Scale Wearable-based Tasks?
Nanyang Technological University（南洋理工大学）
自监督学习建立了一个新的范式，学习表示少得多，甚至没有标签注释。近年来，需要大量计算资源的大规模对比学习模型取得了显著的进展，但这种模型对于小规模任务并不是最佳的。为了填补这一空白，我们的目标是研究基于可穿戴设备的活动识别任务的对比学习。具体而言，我们从算法级和任务级两个角度对对比学习进行了深入研究。对于算法级分析，我们将对比模型分解为几个关键组件，并进行严格的实验评估，以更好地理解对比学习背后的有效性和原理。更重要的是，对于任务级分析，我们表明，基于可穿戴设备的信号给现有的对比模型带来了独特的挑战和机遇，这些挑战和机遇无法通过现有的算法轻松解决。我们全面的实证研究提出了重要的实践，并阐明了未来的研究挑战。同时，本文还介绍了一个开源的PyTorch库\texttt{CL-HAR}，可作为研究人员的实用工具。该库高度模块化，易于使用，为将来快速探索新的对比模型开辟了途径。
2022-02-12 cs.AI cs.LG
What's in a Name? Are BERT Named Entity Representations just as Good for any other Name?
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
我们评估命名实体表示的BERT为基础的NLP模型，通过调查他们的鲁棒性，从输入中的相同类型的类的替代品。我们强调，在一些任务中，虽然这种扰动是自然的，但最先进的训练模型却出奇地脆弱。即使是最近的实体感知BERT模型，这种脆弱性也在继续。我们还试图找出这种非鲁棒性的原因，考虑到诸如令牌化和发生频率等因素。然后，我们提供了一个简单的方法，集成多个替换的预测，同时联合建模类型注释和标签预测的不确定性。在三个NLP任务上的实验表明，我们的方法增强了鲁棒性，提高了自然和对抗数据集的准确性。
2020-07-14 cs.CL cs.LG
What is a Good Metric to Study Generalization of Minimax Learners?
Massachusetts Institute of Technology（麻省理工学院）
极大极小优化已经成为许多机器学习（ML）问题的核心。虽然优化算法的收敛行为在极大极小设置中已经被广泛研究，但是它们在随机极大极小优化问题中的推广保证，即，在经验数据上训练的解决方案如何在看不见的测试数据上执行，已经相对地探索不足。一个基本的问题仍然是难以捉摸的：什么是一个很好的指标来研究推广的极大极小学习者？在本文中，我们的目的是回答这个问题，首先表明，原始风险，一个普遍的度量研究推广的最小化问题，最近也被采用研究推广的极大极小的，失败在简单的例子。因此，我们提出了一个新的度量来研究推广的极小极大学习者：原始差距，定义为原始风险之间的差异，其最小的所有模型，以规避问题。接下来，我们推导出非凹凸设置的原始间隙的推广误差界。作为我们分析的副产品，我们还解决了两个悬而未决的问题：建立原始风险和原始-对偶风险的泛化误差界，另一个现有的度量只有在全局鞍点存在时才有明确的定义，在强意义上，即，没有强约束或假设最大化和期望可以互换，而文献中需要这两个假设之一。最后，我们利用这个新的度量比较两个流行的算法-梯度下降上升（GDA）和梯度下降最大（GDMax）在随机极大极小优化的泛化行为。
2022-06-20 cs.LG math.OC stat.ML
Occam's Razor for Self Supervised Learning: What is Sufficient to Learn Good Representations?
FAIR, META（元公司FAIR研究院）；Cold Spring Harbor Laboratory（冷泉港实验室）；Brown University（布朗大学）
本文发现对于中小规模预训练数据集，自监督学习中的投影网络、正视图、师生网络等额外设计并未提升表示质量，表明SSL的训练敏感性问题源于设计本身而非缺乏监督，从而简化了SSL部署并为现有理论研究提供支持。
2024-06-15 cs.AI cs.LG
What Makes a Good Curriculum? Disentangling the Effects of Data Ordering on LLM Mathematical Reasoning
Dartmouth College（达特茅斯学院）
本研究通过统一框架分解课程难度为五个维度，实验发现课程策略效果依赖模型与任务，挑战普遍最优课程概念，并提供针对性指导。
2025-10-24 cs.AI cs.LG
What Level of Automation is "Good Enough"? A Benchmark of Large Language Models for Meta-Analysis Data Extraction
School of Mathematical and Computational Sciences（数学与计算科学学院）；Massey University（梅西大学）；Auckland, New Zealand（新西兰奥克兰）
本文评估了三种大型语言模型在医疗领域数据提取中的性能，发现定制提示能显著提升召回率，提出三层次指南以平衡自动化与专家监督。
2025-07-20 cs.AI cs.CL cs.LG
What makes a good BIM design: quantitative linking between design behavior and quality
Tsinghua University（清华大学）；Key Laboratory of Digital Construction and Digital Twin, Ministry of Housing and Urban-Rural Development（住房和城乡建设部数字建造与数字孪生重点实验室）
本研究首次基于BIM定量分析了设计行为与设计质量的关系，通过特征工程和机器学习建模，发现极随机树模型在测试集上R2达0.88，并识别出设计师技能和设计意图变化对质量有显著影响。
2024-11-14 cs.LG
What Makes a Good Explanation?: A Harmonized View of Properties of Explanations
John A. Paulson School of Engineering and Applied Sciences（约翰·A·保尔森工程与应用科学学院）；Harvard University（哈佛大学）
针对机器学习解释属性术语不统一、难以跨方法比较和场景匹配的问题，研究调研整合了可解释ML论文中的属性定义，梳理其表述权衡，为属性选型与领域标准化提供支撑。
2024-07-12 cs.LG
What Makes a Good Example? Modeling Exemplar Selection with Neural Network Representations
Department of Psychology, University of Southern California（心理学系，南加州大学）；Department of Statistics and Data Science, University of California, Los Angeles（统计与数据科学系，加州大学洛杉矶分校）
本文通过神经网络表示和原则性子集选择标准建模人类实例选择，发现联合代表性与多样性结合的策略最能反映人类判断，且转换器表示比卷积网络更符合人类行为。
2026-02-03 cs.LG
What Makes for Good Views for Contrastive Learning?
MIT（麻省理工学院）；Google（谷歌）；Brown University（布朗大学）；Google Research（谷歌研究院）
数据的多个视图之间的对比学习最近在自监督表示学习领域中实现了最先进的性能。尽管它的成功，不同的观点选择的影响已经很少研究。在本文中，我们使用理论和实证分析，以更好地理解视图选择的重要性，并认为，我们应该减少互信息（MI）之间的视图，而保持任务相关的信息完整。为了验证这一假设，我们设计了无监督和半监督的框架，旨在减少他们的MI学习有效的意见。我们还考虑数据增强作为一种方式，以减少MI，并表明，增加数据增强确实会导致减少MI，提高下游分类精度。作为副产品，我们在ImageNet分类的无监督预训练中实现了新的最先进的准确性（使用ResNet-50的$73\%$ top-1线性读出）。此外，将我们的模型转移到PASCAL VOC目标检测和COCO实例分割始终优于监督预训练。代码：http://github.com/HobbitLong/PyContrast
2020-12-18 cs.CV cs.LG
Why Neural Networks Work
CableLabs（有线电视实验室）
我们认为，全连接前馈神经网络（FCNN），也称为多层感知器（MLP）的许多属性，是可以解释从一对操作的分析，即随机投影到一个更高的维度空间比输入，其次是稀疏化操作。为了方便起见，我们按照Dasgupta的术语将这对连续操作称为扩展和稀疏。我们展示了扩展和稀疏化如何解释文献中讨论过的观察到的现象，例如所谓的彩票假设，随机初始化的未训练神经网络令人惊讶的良好性能，Dropout在训练中的功效，最重要的是，过度参数化模型的神秘泛化能力，首先由Zhang等人强调，随后由Belkin等人甚至在非神经网络模型中识别。
2022-11-26 cs.CY cs.LG cs.NE
Tell Me What Is Good About This Property: Leveraging Reviews For Segment-Personalized Image Collection Summarization
Warsaw University of Technology（华沙理工大学）
本文提出CrossSummarizer，利用房产评论提取用户关注点，在无需标注的情况下生成符合用户意图的个性化图像集摘要，实验证明其优于无个性化和图像聚类基线。
2023-10-30 cs.CV cs.LG
What Are Good Positional Encodings for Directed Graphs?
Georgia Institute of Technology（佐治亚理工学院）
本文提出多q磁拉普拉斯位置编码，用于表征定向图的行走特征，解决了现有方法在表示行走特征上的不足，并在排序网络可满足性和通用电路基准上验证了其有效性。
2026-03-12 cs.LG
What is my quantum computer good for? Quantum capability learning with physics-aware neural networks
Sandia National Laboratories（桑迪亚国家实验室）
本文提出一种量子物理感知的神经网络架构，结合图神经网络与错误物理近似，用于学习量子计算机能力模型，在实验和模拟数据上相比CNN模型将平均绝对误差降低约50%。
2025-02-26 cs.LG quant-ph
Residual Random Neural Networks
Unlimited Analytics Inc.（无限分析公司）
本文打破随机权重单层前馈神经网络需大量隐藏神经元的传统假设，提出迭代残差训练方法并扩展至核版本，还给出可保护数据与模型的加密方法。
2025-02-21 cs.CR cs.LG
