Hamiltonian Neural Networks for Robust Out-of-Time Credit Scoring
本文提出基于哈密顿力学的神经网络信用评分方法，通过专用优化器和损失函数提升跨时间预测的鲁棒性与判别能力，并在Freddie Mac数据集上验证了其优势。
2025-03-12 cs.LG
Protein-Ligand Scoring with Convolutional Neural Networks
University of Pittsburgh（匹兹堡大学）；The College of New Jersey（新泽西学院）
药物发现的计算方法可以减少与实验测定相关的时间和成本，并能够筛选新的化学型。基于结构的药物设计方法依赖于评分函数来排名和预测结合亲和力和姿态。不断扩大的蛋白质-配体结合和结构数据量使得能够使用深度机器学习技术进行蛋白质-配体评分。我们描述了卷积神经网络（CNN）评分函数，该函数将蛋白质-配体相互作用的全面3D表示作为输入。CNN评分函数自动学习与结合相关的蛋白质-配体相互作用的关键特征。我们训练和优化我们的CNN评分函数，以区分正确和不正确的绑定姿势以及已知的绑定器和非绑定器。我们发现，我们的CNN评分功能优于AutoDock Vina评分功能时，排名姿势预测和虚拟筛选。
2016-12-08 cs.LG q-bio.BM stat.ML
Survival Regression with Proper Scoring Rules and Monotonic Neural Networks
University of Oxford（牛津大学）
我们考虑了右删失生存回归模型常用的评分规则，如时间依赖一致性、生存CRPS、综合Brier评分和综合二项式对数似然，并证明了它们都不是一个合适的评分规则。这意味着真实的生存分布可能比不正确的分布评分更差，导致估计不准确。我们证明，与这些分数相比，右删失对数似然是一个适当的评分规则，即，最高的期望分数由真实分布实现。尽管如此，现代前馈神经网络的生存回归模型无法训练和验证直接对右删失对数似然，由于其棘手性，并诉诸上述替代方案，即，不正确的评分规则。因此，我们提出了一个简单的新的生存回归方法，能够直接优化对数似然使用单调限制的时间依赖的权重，创造生存单调网（SuMo网）。SuMo-net在多个数据集上实现了最先进的对数似然分数，与现有的最先进的神经方法相比，在推理上具有20- 100 $\times$的计算加速，并且很容易适用于具有数百万个观测值的数据集。
2022-02-02 cs.LG stat.ML
Visualizing Convolutional Neural Network Protein-Ligand Scoring
University of Pittsburgh（匹兹堡大学）
蛋白质配体评分是基于结构的药物设计流程中的重要步骤。选择正确的结合姿势和预测蛋白质-配体复合物的结合亲和力使得能够进行有效的虚拟筛选。机器学习技术可以利用越来越多的结构化数据，这些数据正变得公开可用。卷积神经网络（CNN）评分函数特别地在蛋白质-配体复合物的姿态选择和亲和力预测中显示出前景。神经网络以难以解释而闻名。了解特定网络的决策可以帮助调整参数和训练数据，以最大限度地提高性能。神经网络的可视化有助于将复杂的评分函数分解成更容易被人类解析的图片。在这里，我们提出了三种方法来可视化如何通过3D卷积神经网络解释单个蛋白质-配体复合物。我们还提供了卷积滤波器及其权重的可视化。我们描述了这些可视化提供的直觉如何帮助网络设计。
2018-03-06 cs.LG q-bio.BM stat.ML
Gaining Momentum: Uncovering Hidden Scoring Dynamics in Hockey through Deep Neural Sequencing and Causal Modeling
David B. Falk College of Sport and Human Dynamics, Syracuse University（雪城大学大卫·B·福尔克体育与人类动力学学院）
提出统一数据驱动框架，结合LSTM与因果推断量化职业冰球进攻动量与预期进球，发现最优序列和阵型使得分潜力提升15%。
2025-11-01 cs.LG
LINC: Decoupling Local Consequence Scoring from Hidden Matching in Constructive Neural Routing
Beijing University of Posts and Telecommunications（北京邮电大学）
LINC通过显式计算局部后果，解耦局部评分与隐藏匹配，提升构造性神经路由在CVRPTW、TSP和CVRP中的性能，缩小与基准算法的差距。
2026-11-05 cs.LG
LG-Sleep: Local and Global Temporal Dependencies for Mice Sleep Scoring
University of Rochester（罗切斯特大学）；University of Copenhagen（哥本哈根大学）；Goergen Institute for Data Science（戈根数据科学研究所）
提出LG-Sleep深度神经网络架构，通过时间分布卷积神经网络和长短期记忆模块提取EEG信号的局部与全局时间依赖性，以自动编码器-解码器方式优化，实现小鼠睡眠评分并在有限样本下表现优异。
2024-12-19 cs.LG
Stacking Neural Network Models for Automatic Short Answer Scoring
Universitas Islam Indonesia（印尼伊斯兰大学）；Universitas Gadjah Mada（加札马达大学）
简答题自动评分是在考试过程中对学生答案进行自动评分的文本分类问题之一。在制作自动简答题评分系统时可能会出现几个挑战，其中之一是数据的数量和质量。数据标记过程并不容易，因为它需要一个在其领域中是专家的人类注释者。此外，数据不平衡过程也是一个挑战，因为正确答案的标签数量总是比错误答案少得多。在本文中，我们提出了一种基于神经网络和XGBoost的堆叠模型的分类过程与句子嵌入功能。我们还提出了使用数据上采样方法来处理不平衡类和超参数优化算法来自动找到一个鲁棒的模型。我们使用Ukara 1.0 Challenge数据集，我们的最佳模型获得了0.821的F1分数，超过了以前在同一数据集上的工作。
2020-10-21 cs.CL cs.LG
Monotonic Neural Additive Models: Pursuing Regulated Machine Learning Models for Credit Scoring
Zu Chongzhi Center for Mathematics
信用违约风险预测是一个活跃的研究领域。从历史上看，逻辑回归一直被用作主要工具，因为它符合监管要求：透明度，可解释性和公平性。近年来，研究人员越来越多地使用复杂而先进的机器学习方法来提高预测准确性。尽管机器学习方法可能会提高模型的准确性，但它会使简单的逻辑回归复杂化，降低可解释性，并且经常违反公平性。在不符合监管要求的情况下，即使是高度准确的机器学习方法也不太可能被公司接受用于信用评分。在本文中，我们介绍了一类新的单调神经可加性模型，它通过简化神经网络结构和增强单调性来满足监管要求。利用神经可加性模型的特殊结构特征，单调神经可加性模型可以有效地惩罚单调性违反。因此，训练单调神经可加性模型的计算成本类似于训练神经可加性模型的计算成本，作为免费的午餐。我们通过实证结果证明，我们的新模型是准确的黑盒全连接神经网络，提供了一个高度准确和规范的机器学习方法。
2022-09-21 cs.LG q-fin.CP
Phrase-Level Adversarial Training for Mitigating Bias in Neural Network-based Automatic Essay Scoring
Eötvös Lorand University（厄特沃什·罗兰大学）；University of Groningen（格罗宁根大学）
本文提出一种与模型无关的短语级对抗作文生成与数据增强方法，以缓解AES模型对高频样本的偏见，并在多种神经网络评分模型上验证其稳健性与性能提升。
2024-09-07 cs.AI cs.CL cs.LG
Automated Scoring of Graphical Open-Ended Responses Using Artificial Neural Networks
Boston College（波士顿学院）
免费绘画或图像作为响应的自动评分尚未用于大规模的学生成绩评估。在这项研究中，我们提出了人工神经网络来分类这些类型的图形反应，从基于计算机的国际数学和科学评估。我们正在比较卷积和前馈方法的分类精度。我们的研究结果表明，卷积神经网络（CNN）在损失和准确性方面都优于前馈神经网络。CNN模型将高达97.71%的图像响应分类到适当的评分类别中，这与典型的人类评分员相当，如果不是更准确的话。最准确的CNN模型正确地分类了一些被人类评分员错误评分的图像反应，这一观察结果进一步加强了这些发现。作为一个额外的创新，我们概述了一种方法来选择人类额定响应的训练样本的基础上的应用程序的预期响应函数来自项目响应理论。本文认为，基于CNN的图像响应自动评分是一种高度准确的程序，可以替代第二个人类评分员进行大规模评估的工作量和成本，同时提高复杂构建响应项目评分的有效性和可比性。
2022-01-05 cs.AI cs.CV cs.LG
Automatic Text Scoring Using Neural Networks
University of Cambridge（剑桥大学）
自动文本评分（ATS）为人工标记提供了一种具有成本效益且一致的替代方案。然而，为了实现良好的性能，系统的预测功能需要由人类专家手动设计。我们引入了一个模型，通过学习特定单词对文本分数的贡献程度来形成单词表示。使用长短期记忆网络来表示文本的含义，我们证明了一个完全自动化的框架能够在类似的方法上取得优异的结果。为了使我们的结果更具可解释性，并受到可视化神经网络的最新进展的启发，我们引入了一种新的方法来识别模型发现更具歧视性的文本区域。
2016-06-16 cs.CL cs.LG cs.NE
Automatic Sleep Stage Scoring with Single-Channel EEG Using Convolutional Neural Networks
Imperial College London（帝国理工学院）
我们使用卷积神经网络（CNN）进行基于单通道脑电图（EEG）的自动睡眠阶段评分，以在不使用先验领域知识的情况下学习用于分类的任务特定过滤器。我们使用了来自20名健康年轻人的公开数据集进行评估，并应用了20倍交叉验证。我们在CNN的随机梯度下降（SGD）优化中使用了类平衡随机采样，以避免偏向最具代表性的睡眠阶段的性能。我们在所有受试者中实现了较高的平均F1评分（81%，范围79-83%），各个睡眠阶段的平均准确率（82%，范围80-84%）和总体准确率（74%，范围71-76%）。通过分析和可视化我们的CNN学习的过滤器，我们发现过滤器学习的规则与人类专家遵循的美国睡眠医学学会（AASM）手册中的睡眠评分标准相对应。我们的方法的性能是跨类平衡，我们的结果是与手工设计的功能的最先进的方法相媲美。我们表明，在不使用先验领域知识的情况下，CNN可以自动学习区分不同的正常睡眠阶段。
2016-10-05 cs.LG stat.ML
Ligand Pose Optimization with Atomic Grid-Based Convolutional Neural Networks
University of Pittsburgh（匹兹堡大学）
对接是计算药物发现中的一种重要工具，旨在通过位姿评分和优化相结合来预测配体与靶蛋白的结合位姿。相对于原子位置可微分的评分函数可以用于对接的姿态的评分和基于梯度的优化。使用可微分的基于网格的原子表示作为输入，我们证明了通过训练卷积神经网络（CNN）来识别绑定姿势的评分函数也可以应用于姿势优化。我们还表明，一个迭代训练的CNN，包括在其训练集中的第一个CNN优化的姿势，在优化随机初始化的姿势比第一个CNN评分函数或AutoDock Vina更好。
2017-10-20 cs.LG q-bio.BM stat.ML
TransGAT: Transformer-Based Graph Neural Networks for Multi-Dimensional Automated Essay Scoring
Department of Computer Science, King Abdulaziz University（计算机科学系，国王阿卜杜勒阿齐兹大学）；English Language Institute, King Abdulaziz University（英语语言学院，国王阿卜杜勒阿齐兹大学）
针对现有自动作文评分方法语义捕捉不足、忽略多维度写作指标的问题，提出融合微调Transformer与图注意力网络的双流模型TransGAT，在ELLIPSE数据集上取得更优的多维度评分效果。
2025-09-01 cs.CL cs.LG
Cosine Scoring with Uncertainty for Neural Speaker Embedding
The Hong Kong Polytechnic University（香港理工大学）
针对传统余弦评分无法处理说话人嵌入不确定性的问题，本文提出前端不确定性估计并传播至后端余弦评分的方法，在 VoxCeleb 和 SITW 上显著降低 EER 与 minDCF。
2024-03-11 cs.LG cs.SD eess.AS
Toward domain generalized pruning by scoring out-of-distribution importance
Nanyang Technological University（南洋理工大学）；City University of Hong Kong（香港城市大学）
滤波器修剪已被广泛用于压缩卷积神经网络，以减少部署阶段的计算成本。最近的研究表明，滤波器修剪技术可以实现深度神经网络的无损压缩，减少冗余滤波器（内核）而不牺牲精度性能。然而，当训练和测试数据来自相似的环境条件（独立且同分布）时进行评估，并且过滤器修剪技术如何影响跨领域泛化（分布外）性能在很大程度上被忽略。我们进行了大量的实证实验，并揭示了过滤修剪后，虽然可以保持域内的性能，跨域的性能将在很大程度上衰减。由于过滤器的重要性评分是修剪的核心问题之一，我们设计的重要性评分估计使用域级风险的方差考虑修剪风险在看不见的分布。因此，我们可以保留更多的域广义过滤器。实验表明，在相同的剪枝率下，该方法比基线滤波剪枝方法具有更好的跨领域泛化性能。作为第一次尝试，我们的工作揭示了领域泛化和过滤器修剪研究的联合问题。
2022-10-25 cs.LG
A Hierarchical Reasoning Graph Neural Network for The Automatic Scoring of Answer Transcriptions in Video Job Interviews
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
我们解决的任务，自动评分的能力的候选人的文本特征的基础上，从自动语音识别（ASR）transmitting在异步视频求职面试（AVI）。关键的挑战是如何构建问题和答案之间的依赖关系，并进行语义级的互动，为每个问答（QA）对。然而，目前对AVI的研究大多集中在如何更好地表示问题和答案上，而忽略了问题和答案之间的依赖信息和相互作用，这对QA评估至关重要。在这项工作中，我们提出了一种分层推理图神经网络（HRGNN）来自动评估问答对。具体而言，我们构建了一个句子级关系图神经网络来捕获问题和答案之间的句子依赖信息。基于这些图，我们采用语义级推理图注意力网络模型的互动状态的当前QA会话。最后，我们提出了一个门控递归单元编码器来表示最终预测的时间问答对。在CHNAT（一个真实世界的数据集）上进行的实证结果验证了我们提出的模型显着优于基于文本匹配的基准模型。烧蚀研究和10个随机种子的实验结果也表明了我们的模型的有效性和稳定性。
2020-12-22 cs.CL cs.LG
Likelihood-Free Inference with Generative Neural Networks via Scoring Rule Minimization
University of Oxford（牛津大学）；University of Warwick（华威大学）
贝叶斯似然自由推理方法产生后验近似的模拟器模型与棘手的可能性。近年来，许多工作训练神经网络来逼近难以处理的似然或后验。大多数建议使用归一化流，即神经网络参数化可逆映射，用于从底层基本度量转换样本;然后可以访问转换样本的概率密度，并且可以通过模拟参数-观测对的极大似然训练归一化流。最近的一项工作[拉梅什等人，2022]用生成网络近似后验，这降低了可逆性要求，因此是一类更灵活的分布，可以扩展到高维和结构化数据。然而，生成网络只允许从参数化分布中采样;因此，Ramesh et al.[2022]遵循对抗训练的常见解决方案，其中生成网络与"批评者"网络进行最小-最大游戏。这个过程是不稳定的，可能导致一个学习的分布低估了不确定性-在极端情况下崩溃到一个点。在这里，我们建议使用通过评分规则最小化训练的生成网络来近似后验，这是一种被忽视的无对抗方法，可以实现平滑训练和更好的不确定性量化。在模拟研究中，评分规则方法在对抗框架方面具有更短的训练时间，从而产生更好的性能。
2022-05-31 cs.LG stat.CO stat.ME
KAA: Kolmogorov-Arnold Attention for Enhancing Attentive Graph Neural Networks
Zhejiang University（浙江大学）；Shanghai Jiaotong University（上海交通大学）；FinVolution Group（FinVolution集团）
本文提出 Kolmogorov-Arnold 注意力（KAA），将 KAN 架构融入注意力 GNN 的评分过程，并通过最大排序距离证明其表达能力显著优于线性变换和 MLP 评分函数，实验显示性能提升可达 20% 以上。
2025-03-11 cs.AI cs.LG
Interpretable and Adaptive Node Classification on Heterophilic Graphs via Combinatorial Scoring and Hybrid Learning
Department of Computer Science, New Jersey Institute of Technology（计算机科学系，新泽西理工学院）
本文提出一种基于组合评分和混合学习的可解释且自适应的节点分类方法，通过显式推断和轻量级神经模型提升异质图上的性能与可解释性。
2025-12-22 cs.LG cs.SI
Ensemble of Convolution Neural Networks on Heterogeneous Signals for Sleep Stage Scoring
CITIC；University of A Coruna（拉科鲁尼亚大学）；INIBIC；Complexo Hospitalario Universitario de A Coruña（拉科鲁尼亚大学综合医院）；Faculty of Computer Science（计算机科学学院）
多年来，有几种方法试图解决对睡眠阶段进行自动评分的问题。虽然任何多导睡眠图通常收集十几种不同的信号，但这个特殊的问题主要是通过使用这些记录中的脑电图来解决的。另一方面，其他记录的信号主要被大多数作品所忽略。本文探讨和比较了使用脑电以外的附加信号的便利性。更具体地说，这项工作使用了SHHS-1数据集，其中有5，804名患者包含同时记录为两个脑电图的肌电图。为了比较结果，首先，使用不同的输入信号及其所有可能的组合来评估相同的架构。这些测试表明，使用多个信号，特别是如果它们来自不同的来源，如何提高分类的结果。此外，获得的一个或多个信号的每个组合的最佳模型已被用于集成模型，其性能进行了比较，显示使用这些多信号模型，以提高分类的便利性。最好的整体模型，一个集成的深度分离卷积神经网络，已经达到了86.06\%的准确度与科恩的Kappa值为0.80和$F_{1}$为0.77。到目前为止，这些是完整数据集上的最佳结果，并且对于数据集中最不常见的类，它在精度和召回率方面都有显着提高。
2021-07-23 cs.LG eess.SP
COVID-Net S: Towards computer-aided severity assessment via training and validation of deep neural networks for geographic extent and opacity extent scoring of chest X-rays for SARS-CoV-2 lung disease severity
University of Waterloo（滑铁卢大学）；DarwinAI Corp.（DarwinAI公司）；Stony Brook School of Medicine（石溪大学医学院）；Montefiore Medical Center（蒙蒂菲奥里医疗中心）；Albert Einstein College of Medicine（阿尔伯特·爱因斯坦医学院）
背景资料：严重急性呼吸道综合征冠状病毒2型（SARS-CoV-2）是COVID-19大流行的原因，其有效护理和治疗计划的关键步骤是评估疾病进展的严重程度。胸部X线检查（CXR）通常用于评估SARS-CoV-2的严重程度，两个重要的评估指标是肺部受累程度和混浊程度。在这项概念验证研究中，我们评估了使用深度学习系统对SARS-CoV-2肺部疾病严重程度的CXR进行计算机辅助评分的可行性。材料和方法：数据包括来自SARS-CoV-2阳性患者病例的396个CXR。地理范围和不透明程度由两名委员会认证的专家胸部放射科医生（具有20年以上的经验）和一名第二年的放射科住院医师进行评分。本研究中使用的深度神经网络，我们将其命名为COVID-Net S，基于COVID-Net网络架构。使用来自研究的CXR的随机子集独立学习了100个版本的网络（50个用于执行地理范围评分，50个用于执行不透明度范围评分），并且我们使用分层Monte Carlo交叉验证实验评估了网络。调查结果：在分层蒙特卡罗交叉验证实验中，COVID-Net S深度神经网络在地理范围和不透明度范围的预测评分和放射科医师评分之间分别产生0.664 $\pm$ 0.032和0.635 $\pm$ 0.044的R $^2$。表现最好的网络实现了预测分数和放射科医师分数之间的R $^2$分别为0.739和0.741的地理范围和不透明度范围。释…
2021-04-16 cs.CV cs.LG eess.IV
OneShot: Index-in-Ranking with Neural Scoring for Large-Scale Retrieval
Meta Platforms, Inc.（元平台公司）
本研究针对推荐系统检索阶段排序目标与索引结构不一致的问题，提出OneShot框架，将索引学习与排序目标联合，突破点积瓶颈，部署于Instagram短视频推荐系统，提升了召回率与效率。
2026-08-03 cs.IR cs.LG
Neural Autoregressive Flows for Markov Boundary Learning
Edith Cowan University（埃德温·考文大学）
本文提出利用条件熵作为评分标准，设计新型掩码自回归网络，结合并行贪心策略实现高效马尔可夫边界发现，提升因果发现任务的性能。
2026-03-21 cs.LG
A multi-level interpretable sleep stage scoring system by infusing experts' knowledge into a deep network architecture
University of California, Irvine（加州大学欧文分校）
近年来，深度学习在包括计算机视觉、图像和信号处理在内的广泛领域显示出潜力和效率。然而，由于缺乏算法决策和结果的可解释性，用户应用程序仍然面临翻译挑战。这种黑箱问题对于高风险应用（如医疗相关决策）尤其成问题。目前的研究目标是设计一个可解释的深度学习系统，用于睡眠阶段评分的脑电图（EEG）时间序列分类，作为设计透明系统的一步。我们开发了一种可解释的深度神经网络，它包括一个基于内核的层，该层基于人类专家在多导睡眠图记录的视觉分析中用于睡眠评分的一组原则。基于内核的卷积层被定义并用作系统的第一层，并可供用户解释。从EEG信号的微观结构（如训练的核和每个核对检测阶段的影响）到宏观结构（如阶段之间的过渡），在四个层次上解释训练的系统及其结果。所提出的系统表现出更大的性能比以前的研究和解释的结果表明，该系统学习的信息是一致的专家知识。
2022-07-11 cs.LG
Scoring Time Intervals using Non-Hierarchical Transformer For Automatic Piano Transcription
University of Rochester（罗切斯特大学）
本文提出一种基于非层次Transformer的区间评分方法，用于自动钢琴转录，通过缩放内积操作模拟注意力机制，在Maestro数据集上取得最先进性能。
2024-11-09 cs.LG cs.SD eess.AS
Addressing database variability in learning from medical data: an ensemble-based approach using convolutional neural networks and a case of study applied to automatic sleep scoring
Haaglanden Medisch Centrum（哈格兰登医疗中心）；University of A Coruña（拉科鲁尼亚大学）
在这项工作中，我们研究了一些与机器学习模型的发展相关的问题，其目标是在常见的任务多数据库场景中实现强大的泛化能力。被称为“数据库变异性问题”，我们专注于一个特定的医疗领域（睡眠分期睡眠医学），以显示翻译的估计模型的本地泛化能力到独立的外部数据库的非平凡。我们分析了当多个数据库数据被用作训练单个学习模型的输入时的一些可扩展性问题。然后，我们介绍了一种新的方法的基础上集成的本地模型，我们展示了它的优势，在数据库间的泛化性能和数据的可扩展性。此外，我们分析了不同的模型配置和数据预处理技术，以确定其对整体泛化性能的影响。为此，我们进行了涉及多个睡眠数据库的实验，并评估了基于卷积神经网络的不同机器学习模型
2020-03-19 cs.LG eess.SP stat.ML
Scoring Black-Box Models for Adversarial Robustness
Stanford University（斯坦福大学）
深度神经网络易受对抗性输入的影响，并且已经提出了各种方法来在不同的扰动模型下保护这些模型免受对抗攻击。通过构造模型的对抗性输入，然后在构造的对抗性输入上测试模型的性能，分析了模型对对抗攻击的鲁棒性。这些攻击中的大多数都要求模型是白盒的，需要访问数据标签，并且查找对抗性输入可能在计算上非常昂贵。我们提出了一个简单的黑盒模型的评分方法，表明其对对抗性输入的鲁棒性。我们发现，相反更强大的模型有一个更小的$l_1$规范的LIME权重和更清晰的解释。
2022-10-31 cs.AI cs.LG
Statistical Measures For Defining Curriculum Scoring Function
Indian Institute of Technology Gandhinagar（印度理工学院甘地纳加尔分校）
课程学习是一种训练策略，它根据训练样本的难度对它们进行排序，并逐渐将它们暴露给学习者以提高网络性能。出于我们的见解，从内隐课程排序，我们首先介绍了一个简单的课程学习策略，使用统计措施，如标准差和熵值评分的难度数据点的真实图像分类任务。我们在多个真实图像数据集上用卷积和全连接神经网络实证地展示了其性能的改进。我们还提出并研究了一个动态的课程学习算法的性能。我们的动态课程算法试图在任何训练步骤中减少网络权重与最佳权重之间的距离，方法是对具有指向最佳权重的梯度的示例进行greenhouse采样。此外，我们使用我们的算法来讨论为什么课程学习是有帮助的。
2021-07-27 cs.LG
Distilled Neural Networks for Efficient Learning to Rank
University of Pisa（比萨大学）；ISTI–CNR（ISTI-CNR研究所）
本文结合知识蒸馏、结构化剪枝与快速稀疏矩阵乘法，从回归树集成中获得高效浅层排序神经网络，并通过评分时间预测模型设计满足效率约束的架构，在两个公开数据集上实现最高4倍加速且不损失排序质量。
2022-02-22 cs.AI cs.IR cs.LG
Holographic Neural PCFG for Unsupervised Parsing
Ritsumeikan University（立命馆大学）；The Institute of Statistical Mathematics（统计数学研究所）；Kyoto University（京都大学）
研究无监督成分句法分析，提出全息神经PCFG，将规则评分转为代数关系建模，采用全息嵌入赋予规则概率封闭形式。该方法在六种语言中达最优性能，大幅减少参数且训练稳定，还能直接从字符解析日语。
2026-07-10 cs.CL cs.LG
Data Selection Curriculum for Neural Machine Translation
Nanyang Technological University（南洋理工大学）；Meta AI
神经机器翻译（NMT）模型通常在连接和随机混洗的异构数据上训练。然而，并非所有的训练数据对模型都同样有用。课程培训旨在以有意义的顺序向NMT模型提供数据。在这项工作中，我们为NMT引入了一个两阶段的课程培训框架，在该框架中，我们对数据子集的基础NMT模型进行了微调，这些数据子集是通过使用预训练方法的确定性评分和考虑新兴NMT模型预测分数的在线评分来选择的。通过对WMT'21中低资源和高资源语言组成的六种语言对进行全面实验，我们已经证明，我们的课程策略始终表现出更好的质量（高达+2.2 BLEU改进）和更快的收敛（更新减少约50%）。
2022-03-25 cs.CL cs.LG
Convolutional Neural Networks for Sleep Stage Scoring on a Two-Channel EEG Signal
University of A Coruna（拉科鲁尼亚大学）；Instituto de Investigacion Biomedica de A Coruña (INIBIC)（拉科鲁尼亚生物医学研究所）；Complexo Hospitalario Universitario de A Coruña (CHUAC)（拉科鲁尼亚大学医院）
睡眠问题已成为世界范围内的主要疾病之一。为了解决这个问题，专家使用的基本工具是多导睡眠图，这是睡眠期间记录的不同信号的集合。在记录之后，专家必须根据标准指南之一对不同的信号进行评分。此过程是手动执行的，这可能非常耗时并且非常容易出现注释错误。因此，多年来，人们探索了许多方法，试图支持专家完成这项任务。在本文中，基于卷积神经网络的方法，其中进行了深入的比较，以确定使用多个信号同时作为输入的方便性。此外，这些模型还被用作总体模型的一部分，以检查是否可以从双信号模型无法识别的时间处的单个信号处理中提取任何有用的信息。已经通过使用称为扩展睡眠EDF的众所周知的数据集进行了测试，该数据集是最常用的数据集，作为该问题的基准。这些测试是在患者身上进行的留一交叉验证，这确保了培训和测试之间没有可能的污染。由此产生的建议是一个比以前发表的网络更小的网络，但它克服了以前任何模型在同一数据集上的结果。最好的结果表明，与人类专家相比，准确率为92.67%，Cohen's Kappa值超过0.84。
2021-03-30 cs.AI cs.LG
EWS-GCN: Edge Weight-Shared Graph Convolutional Network for Transactional Banking Data
Sberbank（俄罗斯联邦储蓄银行）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
在本文中，我们讨论了如何将现代深度学习方法应用于银行客户的信用评分。我们表明，客户之间的连接的基础上，他们之间的资金转移的信息，使我们能够显着提高信用评分的质量相比，仅使用有关目标客户的信息的方法。作为最终的解决方案，我们开发了一个新的图神经网络模型EWS-GCN，它通过注意力机制结合了图卷积和递归神经网络的思想。由此产生的模型允许强大的训练和大规模数据的有效处理。我们还证明了我们的模型优于最先进的图神经网络，取得了优异的效果
2020-09-30 cs.LG stat.ML
Connection Sensitivity Matters for Training-free DARTS: From Architecture-Level Scoring to Operation-Level Sensitivity Analysis
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
本文提出免训练可微架构搜索框架FreeDARTS，通过定义零成本操作敏感性ZEROS评分，在初始化时衡量DARTS中操作重要性，避免参数密集性偏差，并证明其与泛化界负相关，实验验证其高效可靠。
2023-05-12 cs.CV cs.LG
Criticality-Constrained Iterative Pruning for Energy-Efficient Spiking Neural Networks via Combined Importance Scoring
Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）
提出CQP方法，融合权重幅度和代理梯度临界性形成精确重要性指标，通过迭代剪枝与梯度掩蔽消除伪影，实现高稀疏度下SNN的高精度和低能耗。
2026-07-01 cs.LG cs.NE
Rank Projection Trees for Multilevel Neural Network Interpretation
Yale University（耶鲁大学）
已经提出了各种方法来解释深度神经网络中的节点，这些方法通常涉及关于较低层的节点对较高层节点的输出的影响对较低层的节点进行评分（其中较低层和较高层分别更接近输入层和输出层）。然而，我们可能感兴趣的是根据输入子集对输出节点的重要性，在一系列尺度上挑选出一个优先级较高的输入子集集合，而不仅仅是将输入作为单例进行优先级排序。这种情况可能出现在生物学应用中，例如，我们对确定感兴趣的性状的基因组之间的上位效应感兴趣。在这里，我们概述了一个灵活的框架，可用于生成多尺度网络的解释，使用任何以前定义的评分函数。我们证明了我们的方法能够挑选出生物学上重要的基因和基因集在癌症和精神病基因组学领域。
2018-12-01 cs.LG stat.ML
Scoring Graspability based on Grasp Regression for Better Grasp Prediction
Siléane；University of Lyon, Ecole Centrale de Lyon, LIRIS, CNRS UMR 5205（里昂大学，里昂中央理工学院，LIRIS，CNRS UMR 5205）
抓取物体是机器人与环境交互所需要掌握的最重要的能力之一。当前最先进的方法依赖于深度神经网络，所述深度神经网络被训练以联合预测可抓握性分数以及相对于抓握参考参数的偏移的回归。然而，这两个预测是独立执行的，这可能导致在应用预测的偏移时实际可抓握性分数的降低。因此，在本文中，我们扩展了一个国家的最先进的神经网络的评分器，评估一个给定的位置的可抓握性，并引入了一种新的损失函数，相关的抓地力得分参数的回归。我们发现，这种新的架构将性能从最先进的抓取检测网络的82.13%提高到Jobserver数据集的85.74%。当学习到的模型被转移到一个真正的机器人，所提出的方法相关的可抓取性和把握回归达到了92.4%的率相比，88.1%的基线训练没有相关性。
2021-03-31 cs.AI cs.LG cs.RO
Revisiting Simple Neural Networks for Learning Representations of Knowledge Graphs
R.V. College of Engineering（R.V. 工程学院）；Indian Institute of Science（印度科学理工学院）
我们解决的问题，学习向量表示的实体和关系的知识图谱（KG）知识库完成（KBC）。这个问题在过去几年中受到了极大的关注，并提出了多种方法。文献中现有的方法大多使用预定义的特征评分函数来评估KG三元组的正确性。这些评分函数区分正确的三元组（高分）和不正确的三元组（低分）。然而，它们的性能在不同的数据集上有所不同。在这项工作中，我们证明了一个简单的基于神经网络的评分函数可以在多个数据集上始终实现接近最先进的性能。我们还定量地证明了标准基准数据集的偏差，并强调需要执行跨各种数据集的评估。
2018-01-08 cs.AI cs.LG stat.ML
Probabilistic Forecasting with Generative Networks via Scoring Rule Minimization
University of Oxford（牛津大学）；Southern University of Science and Technology（南方科技大学）；University of Warwick（华威大学）；European Centre for Medium-Range Weather Forecasts（欧洲中期天气预报中心）
针对生成网络对抗训练不稳定、不适用于概率预测的问题，提出通过最小化预序评分规则训练生成网络的方法，证明其在依赖数据下的一致性，实验表明该方法在概率校准等方面优于现有对抗方法且调优成本更低。
2024-02-13 cs.LG stat.ML
Probabilistic Self-supervised Learning via Scoring Rules Minimization
LMU Munich（慕尼黑大学）；MCML（慕尼黑机器学习中心）
提出ProSMIN，一种通过评分规则最小化的概率自监督学习方法，利用双网络蒸馏和适当评分规则损失，增强表示质量并缓解坍缩，在多个下游任务上超越基线。
2023-09-05 cs.LG stat.ML
Active Learning for Deep Detection Neural Networks
Computer Vision Center (CVC)（计算机视觉中心（CVC））；Univ. Autònoma de Barcelona (UAB)（巴塞罗那自治大学（UAB））
为数百万张图像绘制对象边界框（即标记）的成本非常高。例如，在普通城市图像中标记行人平均需要35秒。主动学习旨在通过仅选择那些信息丰富的图像来降低标记成本，以提高检测网络的准确性。提出了一种基于卷积神经网络的目标检测器主动学习方法。我们提出了一个新的图像级评分过程来排名未标记的图像自动选择，这显然优于经典的分数。所提出的方法可以应用于视频和静止图像集。在前一种情况下，时间选择规则可以补充我们的评分过程。作为一个相关的用例，我们广泛研究了我们的方法在行人检测任务上的性能。实验结果表明，该方法的性能优于随机选择。我们的代码可在www.gitlab.com/haghdam/deep_active_learning上公开获取。
2019-11-20 cs.CV cs.LG
Fast Contextual Adaptation with Neural Associative Memory for On-Device Personalized Speech Recognition
Google（谷歌）
快速上下文自适应已被证明可以有效地改善罕见单词的自动语音识别（ASR），并且当与设备上的个性化训练相结合时，它可以产生更好的识别结果。然而，传统的基于外部语言模型的重新评分方法在个性化训练过程中容易出现分歧。在这项工作中，我们介绍了一个基于模型的端到端的上下文自适应方法，是解码器不可知的，并服从设备上的个性化。我们的设备上的模拟实验表明，所提出的方法优于传统的重新评分技术的12%的相对WER和15.7%的实体提到特定的F1分数在一个持续的个性化场景。
2021-10-07 cs.AI cs.CL cs.LG
Double-Scoring: Reliable Extraction of Strong Lottery Tickets
University of North Dakota（北达科他大学）
研究彩票票号假说中强彩票票号提取难题，提出双评分方法，通过增强分数空间参数化优化取代逐层稀疏性搜索，相比其他方法显著改进强票号提取，提升性能并降低对稀疏超参数的敏感性。
2026-07-24 cs.LG math.OC
Subset Scanning Over Neural Network Activations
IBM Research（IBM研究院）；Carlson School of Management, University of Minnesota（明尼苏达大学卡尔森管理学院）
这项工作将神经网络视为数据生成系统，并将异常模式检测技术应用于该数据，以检测网络何时处理异常输入。检测异常是包括检测对抗性噪声在内的多个机器学习问题的关键组成部分。更广泛地说，这项工作是朝着赋予神经网络识别分布外样本的能力迈出的一步。这是首次将“子集扫描”方法从异常模式检测领域引入到神经网络异常输入检测任务中。子集扫描将检测问题视为搜索节点激活的最异常子集（即，根据非参数扫描统计的最高得分子集）。这些评分函数的数学特性允许搜索在对数线性而不是指数时间内完成，同时仍然保证网络中最异常的节点子集被识别为给定的输入。提供了一个简单的卷积神经网络上的CIFAR-10图像检测和表征对抗性噪声的定量结果。我们观察到一个“干涉”图案，在浅层的异常激活抑制激活结构的原始图像在较深的层。
2018-10-19 cs.AI cs.LG stat.ML
Automated Classification of Sleep Stages and EEG Artifacts in Mice with Deep Learning
Emory University（埃默里大学）；University Hospital Tübingen（图宾根大学医院）；University of Tübingen（图宾根大学）；Technische Universität Dresden（德累斯顿工业大学）；German Center for Neurodegenerative Diseases (DZNE)（德国神经退行性疾病中心）；FH Aachen University of Applied Sciences（亚琛应用技术大学）
睡眠评分是睡眠研究中一项必要且耗时的任务。在动物模型（如小鼠）或人类中，将这一繁琐的过程自动化有望促进长期研究，并促进睡眠生物学成为一个数据驱动的领域。我们引入了一个深度神经网络模型，该模型能够从EEG和EMG记录中预测小鼠的不同意识状态（清醒，非REM，REM），并对样本外数据进行了出色的评分。预测是在4秒长度的时期上进行的，并且时期被分类为无伪影或无伪影。模型架构借鉴了深度学习和卷积神经网络研究的最新进展。与以前的自动睡眠评分方法相比，我们的模型不依赖于手动定义的数据特征，而是自动学习预测特征。我们希望像我们这样的深度学习模型能够广泛应用于不同的领域，自动化许多以前难以解决的重复性认知任务。
2018-09-22 cs.LG q-bio.QM
Sleep Stage Scoring Using Joint Frequency-Temporal and Unsupervised Features
如果睡眠障碍患者了解自己的特殊情况，他们可以更好地管理自己的生活方式。通常可以通过分析从患者收集的多个生命信号来检测这种睡眠障碍。为了简化这项任务，已经提出了许多自动睡眠阶段识别（ASSR）方法。这些方法中的大多数使用已经从生命信号中提取的时间-频率特征。然而，由于睡眠信号的非平稳性质，这样的方案不会导致可接受的精度。最近，人们提出了一些ASSR方法，这些方法使用深度神经网络进行无监督特征提取。在本文中，我们提出了结合这两种思想，并同时使用时频和无监督特征。为了提高时间分辨率，每个标准历元被分割成5个子历元。此外，为了提高准确率，我们采用了三个不同属性的分类器，然后使用集成方法作为最终的分类器。仿真结果表明，该方法提高了传统ASSR方法的准确性。
2020-04-10 cs.LG eess.SP
Automated scoring of pre-REM sleep in mice with deep learning
FH Aachen University of Applied Sciences（亚琛应用科学大学）；University of Tübingen（蒂宾根大学）
对动物睡眠进行评分的劳动密集型手动任务的可靠自动化可以促进长期睡眠研究的分析。近年来，基于深度学习的系统从数据中学习最佳特征，提高了清醒、REM和非REM等经典睡眠阶段的评分准确性。同时，人们已经认识到，过渡阶段的统计数据，如前快速眼动，发现之间的非快速眼动和快速眼动，可能持有额外的洞察睡眠的生理学，现在正在生动的调查。我们提出了一个分类系统的基础上，一个简单的神经网络架构，评分的经典阶段，以及前REM睡眠小鼠。当仅限于经典阶段时，优化的网络显示出最先进的分类性能，在雄性C57 BL/6 J小鼠中的样本外F1得分为0.95。当不受限制时，与经典阶段相比，网络在REM前表现出较低的F1分数（0.5）。这一结果与之前对其他物种过渡阶段的评分（如大鼠的过渡睡眠或人类的N1睡眠）相当。然而，我们观察到，包括REM前的预测序列通常从非REM过渡到REM，反映了人类评分员观察到的睡眠动态。我们的研究结果为过渡睡眠阶段的评分难度提供了进一步的证据，这可能是因为这些睡眠阶段在典型的数据集中代表性不足，或者显示出较大的评分者间差异。我们还提供了源代码和在线平台，以便使用我们经过训练的网络进行预测。
2021-06-16 cs.LG q-bio.QM
Intra- and Inter-epoch Temporal Context Network (IITNet) Using Sub-epoch Features for Automatic Sleep Scoring on Raw Single-channel EEG
Korea Atomic Energy Research Institute（韩国原子能研究院）；Gwangju Institute of Science and Technology (GIST)（光州科学技术院）
提出了一种名为IITNet的深度学习模型，用于从原始单通道EEG中学习时期内和时期间的时间上下文以进行自动睡眠评分。为了从半分钟的EEG中对睡眠阶段进行分类，称为一个时期，睡眠专家调查了与睡眠相关的事件，并考虑了所发现的事件之间的过渡规则。类似地，IITNet通过残差神经网络在子时期级别提取代表性特征，并通过双向LSTM从特征序列中捕获时期内和时期间的时间上下文。当序列长度（L）从1增加到10时，针对三个数据集研究性能。IITNet实现了与其他国家的最先进的结果相媲美的性能。SleepEDF（L=10）、MASS（L=9）和SHHS（L = 10）的最佳准确度、MF 1和Cohen's kappa（$κ$）分别为83.9%、77.6%、0.78、86.5%、80.7%、0.80和86.7%、79.8%、0.81。虽然用了四个纪元，但性能仍然相当。与使用单个时期相比，平均而言，N1、N2和REM的准确度和MF1分别增加了2.48%p和4.90%p，F1分别增加了16.1%p、1.50%p和6.42%p。四个时期以上，性能改善不显著。研究结果表明，考虑到最新的两分钟原始单通道EEG可以是通过深度神经网络进行睡眠评分的合理选择，具有效率和可靠性。此外，基线实验表明，引入具有深度残差网络的时间内上下文学习有助于提高整体性能，并与时间间上下文学习具有积极的协同效应。
2020-06-10 cs.LG eess.SP stat.ML
Graph Neural Networks Meet Neural-Symbolic Computing: A Survey and Perspective
UFRGS（里约热内卢联邦大学）；City, University of London（伦敦城市大学）；University of Siena（锡耶纳大学）；Université Côte d’Azur（蔚蓝海岸大学）；Rice University（莱斯大学）
神经符号计算现在已经成为学术和工业研究实验室感兴趣的主题。图神经网络在关系和符号领域有着广泛的应用，在组合优化、约束满足、关系推理等科学领域有着广泛的应用。一般来说，需要改进人工智能系统的可解释性，可解释性和信任度，这需要有原则的方法，正如神经符号计算所建议的那样。在本文中，我们回顾了使用GNN作为神经符号计算模型的最新技术。这包括GNN在几个领域的应用，以及它与神经符号计算当前发展的关系。
2021-06-12 cs.AI cs.CL cs.LG
ParaVS: A Simple, Fast, Efficient and Flexible Graph Neural Network Framework for Structure-Based Virtual Screening
Global Health Drug Discovery Institute（全球健康药物研发中心）
基于结构的虚拟筛选（SBVS）是一种将计算方法集成到药物设计中的有前途的计算机技术。在SBVS中广泛使用的方法是分子对接。然而，由于该方法采用经典力学评分函数来逼近量子力学精度，难以达到量子力学精度，因此很难同时保证计算效率和精确度。为了降低蛋白质-配体评分过程的计算成本并使用数据驱动方法来提高评分函数的准确性，我们引入了基于对接的SBVS方法，此外，还引入了一种基于深度学习的非对接方法，该方法能够避免对接过程的计算成本。然后，我们尝试将这两种方法集成到一个易于使用的框架，ParaVS，为研究人员提供两种选择。ParaVS中采用了图神经网络（GNN），我们解释了我们内部的GNN如何工作以及如何对配体和分子靶标进行建模。为了验证我们的方法，交叉验证实验在两个数据集上进行，一个开放的数据集有用的诱饵目录：增强（DUD.E）和一个内部专有的数据集没有计算生成的人工诱饵（NoDecoy）。在DUD.E上，我们实现了0.981的最先进AUC和36.2的2%的最先进富集因子;在NoDecoy上，我们实现了0.974的AUC。我们进一步完成了一个开放的数据库，烯胺REAL数据库（RDB），其中包括超过13.6亿分子在4050核心小时使用我们的ParaVS非对接方法（ParaVS-ND）的推断。ParaVS-ND的推理速度约为3.6e5个分子/核心-小时，而传统的基于对接的方法的这个数量约为20个…
2021-02-08 cs.LG q-bio.BM q-bio.QM
