Human Action Recognition and Assessment via Deep Neural Network Self-Organization
Universität Hamburg（汉堡大学）
对人的行为进行鲁棒的识别和评估是人机交互领域的关键。虽然最先进的动作感知模型在大规模动作数据集中显示出显著的效果，但它们大多缺乏在自然HRI场景中操作所需的灵活性、鲁棒性和可扩展性，这些场景需要连续获取感官信息以及实时的分类或评估人体模式。在本章中，我将介绍一组分层模型，用于通过使用神经网络自组织来从深度图和RGB图像中学习和识别动作。这些模型的一个特点是使用不断增长的自组织网络，快速适应非平稳分布，并实现专用的机制，从时间相关的输入持续学习。
2020-02-16 cs.CV cs.LG cs.RO
BDANet: Multiscale Convolutional Neural Network with Cross-directional Attention for Building Damage Assessment from Satellite Images
当发生自然灾害（例如，地震、飓风等）罢工。在部署救援工作之前，从卫星图像评估建筑物损坏至关重要。建筑物损毁评估的目的是利用一对灾前和灾后的卫星图像，预测建筑物的损毁程度。深度神经网络具有强大的特征表示能力，已成功应用于建筑物损伤评估。大多数现有的工作只是将灾前和灾后的图像连接起来作为深度神经网络的输入，而没有考虑它们的相关性。在本文中，我们提出了一种新的两阶段卷积神经网络的建筑物损伤评估，称为BDANet。在第一阶段中，使用U-Net来提取建筑物的位置。然后，第一阶段的网络权值在第二阶段进行建筑物损伤评估。在第二阶段中，一个两分支的多尺度的U-网络作为骨干，在灾前和灾后的图像分别送入网络。提出了一个横向注意模块，以探索灾害前和灾后图像之间的相关性。此外，利用CutMix数据增强来应对困难类的挑战。该方法在大规模数据集xBD上实现了最先进的性能。该代码可在https://github.com/ShaneShen/BDANet-Building-Damage-Assessment上获得。
2021-05-16 cs.CV cs.LG eess.IV
A Systematic Assessment of Deep Learning Models for Molecule Generation
University of Padua（帕多瓦大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
近年来，科学界投入了大量精力开发深度学习模型，以生成具有理想特性的新分子（即药物）。这在文学中产生了许多建议。然而，不同的VAE方法之间的系统比较仍然缺失。出于这个原因，我们提出了一个广泛的测试平台，用于评估药物发现的生成模型，我们提出了许多文献中提出的模型所获得的结果。
2020-08-20 cs.LG q-bio.QM
COBRA: Context-aware Bernoulli Neural Networks for Reputation Assessment
Nanyang Technological University（南洋理工大学）；Missouri University of Science and Technology（密苏里科技大学）
信任和声誉管理（TRM）在多代理系统（MAS）和物联网（IoT）等大规模在线环境中发挥着越来越重要的作用。TRM的一个主要目标是实现对代理或物联网服务提供商等实体的准确信任评估。然而，这遇到了一个准确性，隐私的困境，我们在本文中确定，我们提出了一个框架，称为上下文感知伯努利神经网络的信誉评估（COBRA），以解决这一挑战。COBRA将代理交互或事务封装在机器学习模型中，这些交互或事务易于隐私泄漏，并且使用伯努利神经网络来聚合多个这样的模型以预测代理的信任得分。COBRA通过机器学习模型保护代理隐私并保留交互上下文，并实现比完全连接的神经网络更准确的信任预测。COBRA还可以抵御注入虚假机器学习模型的代理的安全攻击;值得注意的是，它可以抵抗51%的攻击。COBRA的性能通过我们使用真实数据集的实验进行了验证，并且通过我们的模拟，我们还表明COBRA优于其他最先进的TRM系统。
2020-01-06 cs.LG cs.MA
A Neural Pairwise Ranking Model for Readability Assessment
University of Toronto（多伦多大学）
自动可读性评估（ARA），即为文本分配阅读水平的任务，传统上被视为自然语言处理研究中的分类问题。在本文中，我们提出了第一个神经，成对的排名方法ARA和现有的分类，回归和（非神经）排名方法进行比较。我们建立我们的模型的性能进行实验，三个英语，法语和西班牙语数据集。我们证明了我们的方法在单语单/跨语料库测试场景中表现良好，并且在英语数据上训练时，法语和西班牙语的zero-shot跨语言排名准确率超过80%。此外，我们还发布了一个新的英语和法语双语可读性数据集。据我们所知，本文提出了第一个神经成对排序模型的ARA，并显示了跨语言，zero-shot评估ARA与神经模型的第一个结果。
2022-03-14 cs.AI cs.CL cs.LG
Pediatric Bone Age Assessment using Deep Learning Models
Manipal Institute of Technology, MAHE（玛尼帕尔高等教育学院马尼帕尔理工学院）
骨龄评估（BAA）是确定骨骼年龄和实际年龄之间年龄差异的标准方法。手工流程很复杂，需要专家的专门知识。这就是深度学习发挥作用的地方。在这项研究中，使用VGG-16、InceptionV 3、XceptionNet和MobileNet等预训练模型来评估输入数据的骨龄，并比较和评估它们的平均误差，以确定哪种模型预测效果最好。
2022-07-20 cs.CV cs.LG eess.IV
Echocardiographic Image Quality Assessment Using Deep Neural Networks
University of West London（西伦敦大学）；Imperial College（帝国理工学院）
超声心动图图像质量评估在经胸检查中不是一个微不足道的问题。随着心脏结构的活体检查在心脏诊断中的重要性日益突出，已经证实左心室功能的准确诊断在很大程度上取决于回波图像的质量。到目前为止，超声图像的视觉评估是高度主观的，需要在临床病理下进行特定的定义。虽然低质量的图像会影响量化和诊断，但超声心动图图像质量标准的固有差异表明了不同观察者之间面临的复杂性，并为临床试验下的不一致评估提供了明显的证据，特别是经验不足的心脏病专家。在这项研究中，我们的目标是分析和定义专家们主要讨论的特定质量属性，并提出一个经过充分训练的卷积神经网络模型，用于客观地评估这些质量特征。
2022-09-02 cs.CV cs.LG eess.IV
An empirical assessment of deep learning approaches to task-oriented dialog management
深度学习在与会话界面相关的领域（如语音识别）提供了非常积极的结果，但其对对话管理的潜在好处尚未得到充分研究。在本文中，我们使用来自不同应用领域的三个对话语料库对深度学习对话管理的不同配置进行了评估，这些对话语料库的大小、维度和可能的系统响应各不相同。我们的研究结果使我们能够确定可能对准确性产生影响的几个方面，包括用于特征提取的方法，输入表示，上下文考虑和所采用的深层神经网络的超参数。
2021-08-07 cs.CL cs.HC cs.LG
Dynamic directed functional connectivity as a neural biomarker for objective motor skill assessment
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University at Buffalo（布法罗大学）；Uniformed Services University of the Health Sciences（卫生科学 uniformed 大学）；U.S. Army Futures Command, Combat Capabilities Development Command Soldier Center STTC（美国陆军未来司令部作战能力发展司令部士兵中心 STTC）；University of Birmingham（伯明翰大学）；Florida A&M University-Florida State University（佛罗里达农工大学-佛罗里达州立大学）
本文提出以EEG动态有向功能连接为神经生物标志物，结合注意力LSTM的非线性Granger因果分析、HTA与CNN，实现腹腔镜手术技能的客观子任务级分类。
2025-02-19 cs.LG q-bio.NC
RoMA: a Method for Neural Network Robustness Measurement and Assessment
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
神经网络模型已经成为分类、语言处理、蛋白质折叠等各种任务的主要解决方案。然而，它们的可靠性受到对抗性输入的严重困扰：小的输入扰动会导致模型产生错误的输出。当系统的环境行为随机时，即使在没有恶意对手的情况下，对抗性输入也会自然发生，并且当试图在关键系统中部署神经网络时，这是一个严重的问题。在本文中，我们提出了一种新的统计方法，称为鲁棒性测量和评估（RoMA），它可以衡量预期的神经网络模型的鲁棒性。具体来说，RoMA确定随机输入扰动可能导致误分类的概率。该方法使我们能够提供有关训练模型在部署后将遇到的预期错误频率的正式保证。我们的方法可以应用于大规模的，黑盒神经网络，这是一个显着的优势相比，最近提出的验证方法。我们应用我们的方法在两个方面：比较不同的模型的鲁棒性，以及测量模型的鲁棒性是如何受到输入扰动的大小的影响。通过这项工作获得的一个有趣的见解是，在分类网络中，不同的输出标签可以表现出非常不同的鲁棒性水平。我们把这种现象称为类别鲁棒性。我们在分类基础上执行风险和鲁棒性评估的能力为风险缓解打开了大门，这可能被证明是安全关键应用中神经网络认证的重要一步。
2022-10-01 cs.AI cs.LG
Automated Assessment of Transthoracic Echocardiogram Image Quality Using Deep Neural Networks
University of West London（西伦敦大学）
二维超声心动图中的标准视图已得到很好的建立，但采集图像的质量高度依赖于操作者的技能，并进行主观评估。本研究旨在通过定义一组新的特定领域质量指标，为超声心动图图像质量提供客观评估管道。因此，图像质量评估因此可以自动化以增强临床测量、解释和实时优化。我们开发了深度神经网络，用于自动评估从11，262名成人患者中随机抽样的超声心动图帧。私人超声心动图数据集包括33，784帧，之前在2010年至2020年期间采集。使用深度学习方法提取时空特征，并根据平均绝对误差评估图像质量指标。我们的质量指标包含解剖和病理元素，分别为解剖可见性、清晰度、深度增益和透视短缩提供多变量评估评分。
2022-09-02 cs.CV cs.LG cs.NE
Deep Superpixel-based Network for Blind Image Quality Assessment
School of Electronic Information, Wuhan University（武汉大学电子信息学院）
盲图像质量评价模型的目标是模拟人眼对图像的评价过程，准确地评价图像的质量。虽然许多方法可以有效地识别退化，但它们没有充分考虑图像中的语义内容，从而导致失真。为了填补这一空白，我们提出了一种基于超像素的深度自适应网络，即DSN-IQA，以评估基于多尺度和超像素分割的图像质量。DSN-IQA可以自适应地接受任意尺度的图像作为输入图像，使得评估过程类似于人类的感知。该网络使用两个模型来提取多尺度语义特征并生成超像素邻接图。这两个元素通过特征融合结合在一起，以准确预测图像质量。在不同基准数据库上的实验结果表明，该算法在评估具有挑战性的真实图像数据库时具有很强的竞争力。此外，由于自适应深度超像素网络，我们的模型可以准确评估具有复杂失真的图像，就像人眼一样。
2021-10-13 cs.CV cs.LG
Individualized Risk Assessment of Preoperative Opioid Use by Interpretable Neural Network Regression
University of Michigan（密歇根大学）
据报告，术前阿片类药物使用与术前阿片类药物需求量较高、术后结局较差以及术后医疗保健利用和支出增加相关。了解术前使用阿片类药物的风险有助于建立以患者为中心的疼痛管理。在机器学习领域，深度神经网络（DNN）因其超强的预测能力而成为风险评估的有力手段;然而，黑箱算法可能使结果不如统计模型可解释。为了弥合统计和机器学习领域之间的差距，我们提出了一种新的可解释神经网络回归（INNER），它结合了统计和DNN模型的优势。我们使用拟议的INNER对术前阿片类药物使用进行个体化风险评估。在镇痛结局研究（AOS）中，对34，186名预期手术的患者进行了深入的模拟和分析，结果表明，拟议的INNER不仅可以使用术前特征作为DNN准确预测术前阿片类药物的使用，而且还可以估计患者使用阿片类药物而没有疼痛的特定几率以及阿片类药物使用的比值比报告的整体身体疼痛增加一个单位，导致对使用阿片类药物的倾向比DNN更直接的解释。我们的研究结果确定了与阿片类药物使用密切相关的患者特征，并且与以前的研究结果基本一致，证明INNER是术前阿片类药物使用个体化风险评估的有用工具。
2022-05-07 cs.LG stat.AP
Towards a Systematic Risk Assessment of Deep Neural Network Limitations in Autonomous Driving Perception
FZI Research Center for Information Technology, Germany（德国弗劳恩霍夫信息技术研究所）；Karlsruhe Institute of Technology, Germany（德国卡尔斯鲁厄理工学院）
本文提出结合ISO 26262和ISO/SAE 21434标准的风险评估流程，系统分析深度神经网络在自动驾驶感知中的固有局限性带来的风险。
2026-04-21 cs.CR cs.CY cs.LG
A generic physics-informed neural network-based framework for reliability assessment of multi-state systems
University of Maryland（马里兰大学）；The Hong Kong Polytechnic University（香港理工大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
在本文中，我们利用物理信息神经网络（PINN）的最新进展，并开发了一个通用的PINN为基础的框架来评估多状态系统（MSS）的可靠性。拟议的方法包括两个主要步骤。在第一步中，我们使用PINN的框架将MSS的可靠性评估转化为一个机器学习问题。构造了一个具有两个独立损失群的前向神经网络，用于对MSS中由常微分方程（ODE）控制的初始条件和状态转移进行编码。接下来，我们从多任务学习的角度来解决PINN中反向传播梯度幅度的高度不平衡问题。特别是，我们把损失函数中的每个元素作为一个单独的任务，并采用一个梯度手术的方法命名为投影冲突梯度（PCGrad），其中一个任务的梯度投影到任何其他任务的范数平面上，有一个冲突的梯度。梯度投影操作显著减轻了训练PINN时梯度干扰造成的不利影响，从而加快了PINN向MSS可靠性评估的高精度解的收敛速度。与建议PINN为基础的框架，我们调查其应用程序MSS可靠性评估在几个不同的情况下，时间无关或依赖的状态转换和系统规模从小到中。结果表明，基于PINN的框架在MSS可靠性评估中表现出了通用性和显著性，PINN中引入PCGrad后，求解质量和收敛速度都有了显著提高.
2021-12-01 cs.AI cs.LG
Variational Resampling Based Assessment of Deep Neural Networks under Distribution Shift
Ludwig Maximillian University of Munich（慕尼黑路德维希·马克西米利安大学）；U.S. Food and Drug Administration（美国食品药品监督管理局）；Technical University of Munich（慕尼黑工业大学）
提出了一种新的基于变分推理的递归框架，以评估深度学习模型对分布偏移的鲁棒性和泛化能力。我们使用自动编码变分贝叶斯来找到数据的潜在表示，在该表示上应用变分高斯混合模型，通过将数据集划分为不同的聚类来故意创建分布偏移。Wasserstein距离用于表征所生成的数据分割之间的分布偏移的程度。我们比较了几种流行的卷积神经网络（CNN）架构和贝叶斯CNN模型在Fashion-MNIST数据集上的图像分类，以评估它们在故意创建的分布偏移以及随机交叉验证下的鲁棒性和泛化行为。我们创建单个数据集的人工域分割的方法也可以用于建立机器学习中的新模型选择标准和评估工具，以及领域自适应和领域泛化方法的基准方法。
2019-10-27 cs.LG stat.ML
Towards automated Capability Assessment leveraging Deep Learning
Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所）
为了提高制造业的经济效率，提高自动化程度是一个关键因素。然而，评估专用工艺的自动化装配解决方案的技术可行性是困难的，并且通常由给定产品零件的几何形状决定。其中，自动化可行性的决定性标准是分离和隔离单个部件的能力或在最终位置的部件自对准的能力。为了评估的可行性，一个基于问卷的评估方案已经开发和应用弗劳恩霍夫研究人员。然而，结果强烈地依赖于执行评估的单个工程师的隐含知识和经验。本文介绍了NeuroCAD，一个软件工具，使用体素化技术自动化的评估。该方法可以通过基于CAD文件的深度学习来评估抽象和生产相关的几何特征。
2022-01-28 cs.GR cs.LG cs.RO
Deep Neural Networks for the Assessment of Surgical Skills: A Systematic Review
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Raytheon BBN Technologies（雷神BBN科技公司）；Army Research Laboratory（陆军研究实验室）
医学院住院医师项目中的外科培训遵循学徒模式。学习和评估过程本质上是主观和耗时的。因此，需要客观的方法来评估手术技能。在这里，我们使用系统性综述和荟萃分析（PRISMA）指南的首选报告项目，系统地调查了关于使用深度神经网络进行自动化和客观手术技能评估的文献，重点关注运动学数据作为手术能力的假定标记。由于强大的算法、多个数据集（其中一些是公开可用的）以及用于训练和托管它们的高效计算硬件的可用性，最近对深度神经网络（DNN）有相当大的兴趣。我们回顾了530篇论文，其中我们选择了25篇进行系统评价。基于这篇综述，我们得出结论，DNN是使用运动学和视频数据进行自动化、客观手术技能评估的强大工具。该领域将受益于大型的、公开可用的、注释的数据集，这些数据集代表了外科实习生和专家的人口统计数据以及运动学和视频之外的多模态数据。
2021-03-03 cs.AI cs.CV cs.LG
A Standardized Benchmark for Skeleton-Based Rehabilitation Assessment Using Deep Learning
Universite de Haute-Alsace（上阿尔萨斯大学）；University of Florence（佛罗伦萨大学）；Monash University（莫纳什大学）
研究针对骨骼康复评估领域缺乏标准化基准等问题，通过聚合数据集成Rehab-Pile，提出通用基准框架并对多架构进行广泛基准测试，为自动康复评估研究奠定基础，推动可靠、可及和个性化康复方案发展。
2026-07-20 cs.CV cs.LG
Applying Incremental Deep Neural Networks-based Posture Recognition Model for Injury Risk Assessment in Construction
The Pennsylvania State University（宾夕法尼亚州立大学）
监测尴尬的姿势是预防建筑中肌肉骨骼疾病（MSD）的一种积极措施。机器学习（ML）模型已经显示出用于可穿戴传感器的姿势识别的有希望的结果。然而，还需要进一步的研究：i）增量学习（IL），其中训练的模型适应学习新的姿势并控制对已学习姿势的遗忘; ii）对已识别姿势的MSD评估。本研究提出了一个增量卷积长短期记忆（CLN）模型，研究了有效的IL策略，并评估MSDs评估使用公认的姿势。对9名工人的测试表明，具有浅卷积层的CLN模型在个性化（0.87）和广义（0.84）建模下实现了高识别性能（F1得分）。在多对一IL方案下的广义浅层CLN模型可以平衡学习对象的适应（0.73）和遗忘（0.74）。使用从增量CLN模型识别的姿势进行的MSD评估与地面实况存在微小差异，这表明在施工中自动化MSD监测的潜力很大。
2020-08-04 cs.CV cs.LG eess.IV
Mammography Assessment using Multi-Scale Deep Classifiers
New York University（纽约大学）；Northwell Health（诺斯韦尔健康）
将深度学习方法应用于乳房X线摄影评估仍然是一个具有挑战性的话题。密集的噪声与稀疏的表达式，百万像素的原始数据分辨率，缺乏多样的例子都是影响性能的因素。缺乏像素级的地面实况，特别是限制了分割方法在推动超越近似边界区域。我们提出了一种基于高性能组织评估的分类方法，作为一体化定位和评估模型的替代方案，该模型也能够精确定位因果像素。首先，在局部组织分类器的上下文中形式化乳房X线摄影评估任务的目标。然后，在不同尺度下对具有可疑发现的组织块进行分类时评估卷积神经网络的准确性，其中获得的最高AUC高于$0.9$。一个这样的专家组织分类器的局部评估用于增强热图回归模型的结果，并且另外以高分辨率恢复确切的因果区域作为适合于临床设置的显著性图像。
2018-06-30 cs.CV cs.LG stat.ML
Quantum Powered Credit Risk Assessment: A Novel Approach using hybrid Quantum-Classical Deep Neural Network for Row-Type Dependent Predictive Analysis
IIM Mumbai（印度管理学院孟买分校）
本研究提出一种结合量子深度学习与自适应建模的混合框架，通过行类型依赖预测分析为不同贷款类别定制模型，探索其在银行业信用风险评估中的可行性与性能，为相关预测建模发展提供见解。
2025-02-06 cs.AI cs.LG q-fin.CP
Multi-task convolutional neural network for image aesthetic assessment
University of Leuven (KU Leuven)（鲁汶大学）
本文提出一种多任务卷积神经网络，通过联合学习美学属性与整体评分提升图像美学评估性能，在多个基准上达到接近人类水平且参数更少、计算更高效。
2024-01-15 cs.CV cs.LG
Clustering with Fast, Automated and Reproducible assessment applied to longitudinal neural tracking
Rice University（莱斯大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Department of Electrical and Computer Engineering, Rice University（莱斯大学电气与计算机工程系）；Department of Mathematics, University of Texas at Austin（德克萨斯大学奥斯汀分校数学系）
在许多领域，从神经跟踪到数据库实体解析，人类专家对聚类的手动评估是快速开发可扩展和专业聚类方法的瓶颈。为了解决这个问题，我们开发了C-FAR，一种新的方法，快速，自动化和可重复的多层次聚类算法同时评估。我们的算法需要任何数量的层次聚类树作为输入，然后策略性地查询对人类的反馈，并输出这些树提名的最佳聚类。虽然它适用于任何利用成对比较进行评估的领域中的大型数据集，但我们的旗舰应用是尖峰排序中的聚类聚合步骤，即将记录中的波形（尖峰）分配给神经元的任务。在96个神经元的模拟数据上，包括漂移和25%的黑障，我们的算法产生了相对于地面真实值的接近完美的跟踪。我们的运行时线性缩放输入树的数量，使其成为一个有竞争力的计算工具。这些结果表明，C-FAR非常适合作为聚类任务中的模型选择和评估工具。
2020-03-19 cs.LG q-bio.QM stat.ML
A Comparative Re-Assessment of Feature Extractors for Deep Speaker Embeddings
University of Eastern Finland（东芬兰大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
现代自动说话人验证在很大程度上依赖于在梅尔频率倒谱系数（MFCC）特征上训练的深度神经网络（DNN）。虽然有基于相位，韵律和长期时间操作的替代特征提取方法，但它们尚未被基于DNN的方法广泛研究。我们的目标是通过对VoxCeleb和SITW数据集上的14个特征提取器进行广泛的重新评估来填补这一空白。我们的研究结果表明，配备频谱质心，群延迟函数和综合噪声抑制等技术的功能为深层说话人嵌入提取提供了有前途的替代方案。实验结果表明，等错误率（EER）相对于基线降低了16.3%（VoxCeleb）和25.1%（SITW）。
2020-07-30 cs.LG cs.SD eess.AS
Assessment of Neural Networks for Stream-Water-Temperature Prediction
Technical University of Munich（慕尼黑工业大学）
气候变化导致空气和水温改变。增加影响物理化学特性，如氧浓度，并可能改变物种分布和生存，对生态系统功能和服务产生影响。这些生态系统服务对人类具有不可或缺的价值，预计将在气候变暖的情况下发生变化。对驱动因素和预期变化幅度的机械理解对于确定系统复原力和缓解措施至关重要。在这项工作中，我们提出了一个选择的国家的最先进的神经网络（NN）在德国的六个流的水温预测。我们表明，使用的方法，比较观测值和预测值，举例说明与均方根误差（RMSE），是不够的，他们的评估。因此，我们为我们的模型引入了额外的分析方法，以补充最先进的指标。这些分析评估NN的鲁棒性，可能的最大值和最小值，以及单个输入参数对输出的影响。因此，我们有助于理解NN内的过程，并帮助申请人选择可靠的水温预测模型的架构和输入参数。
2021-10-08 cs.LG physics.ao-ph
Detection and Initial Assessment of Lunar Landing Sites Using Neural Networks
Embry-Riddle Aeronautical University（安柏瑞德航空大学）；Intuitive Machines（直觉机器公司）
机器人和人类登月是NASA未来任务的重点。精确的着陆能力对于保证任务的成功以及着陆器和机组人员的安全至关重要。在接近地面的过程中，存在与危险相对导航相关的多种挑战，以确保安全着陆。本文将重点介绍一个被动自主危险探测和回避子系统，以产生一个初步评估可能的着陆区域的制导系统。该系统使用单个摄像头和MobileNetV2神经网络架构来检测和区分安全着陆点和岩石、阴影和陨石坑等危险。然后，来自运动的单目运动恢复结构将重新创建表面，以提供坡度和粗糙度分析。
2022-07-23 cs.CV cs.LG cs.RO
Image Quality Assessment Guided Deep Neural Networks Training
Nanyang Technological University（南洋理工大学）；City University of Hong Kong（香港城市大学）；National Astronomical Observatories, Chinese Academy of Sciences（中国科学院国家天文台）；China University of Mining and Technology（中国矿业大学）
对于许多计算机视觉问题，基于输入图像是原始的（即，无伪像）。然而，数字图像在实际应用场景中受到广泛的失真，而在高层次视觉信息理解中关于图像质量的实际问题在很大程度上被忽视。本文针对大多数广泛部署的深度学习模型容易受到各种图像失真的影响这一事实，在深度神经网络训练过程中，将失真图像用于数据增强，以学习实际应用的可靠模型。特别地，提出了一种基于图像质量评价的标签平滑方法，用于调整神经网络学习过程中的目标函数，该方法的目的是使训练图像的标签分布规则化。实验结果表明，该方法在典型的图像分类任务中，对低质量和高质量图像都是有效的。
2017-08-13 cs.CV cs.LG cs.MM
Vision-Based Assessment of Parkinsonism and Levodopa-Induced Dyskinesia with Deep Learning Pose Estimation
University of Toronto（多伦多大学）；Toronto Rehabilitation Institute, University Health Network（大学健康网络多伦多康复研究所）；University of Ottawa（渥太华大学）
目的：将深度学习姿势估计算法应用于帕金森综合征和左旋多巴诱导的运动障碍（LID）的视觉评估。研究方法：9名患有帕金森病（PD）和LID的参与者完成了左旋多巴输注方案，其中使用统一运动障碍评定量表（UDysRS）和统一帕金森病评定量表（UDysRS）定期评估症状。使用最先进的深度学习姿势估计方法从PD评估的视频中提取运动轨迹。使用随机森林，运动轨迹的特征被用于检测和估计帕金森综合征和LID的严重程度。沟通和饮酒任务用于评估LID，而腿部敏捷性和脚趾敲击任务用于评估帕金森症。还结合任务的特征集来预测总UDysRS和UDysRS第三部分评分。结果：对于LID，交流任务对运动障碍产生了最好的结果（严重程度估计：r = 0.661，检测：AUC = 0.930）。对于帕金森症，腿部敏捷性对于严重程度估计具有更好的结果（r = 0.618），而脚趾敲击对于检测更好（AUC = 0.773）。预测UDysRS和ADRS第III部分评分的相关系数分别为r = 0.741和0.530。结论：本文介绍了深度学习在帕金森病和LID的基于视觉的评估中的首次应用，并展示了深度学习未来在PD临床实践中的良好表现。意义：所提出的系统提供了对计算机视觉和深度学习在PD临床应用中的潜力的深入了解。
2017-08-01 cs.CV cs.LG
DeepCVA: Automated Commit-level Vulnerability Assessment with Deep Multi-task Learning
CREST - The Centre for Research on Engineering Software Technologies, The University of Adelaide（CREST - 工程软件技术研究中心，阿德莱德大学）；Cyber Security Cooperative Research Centre（网络安全合作研究中心）
越来越多的人建议识别代码提交中的软件漏洞（SV），以提前警告潜在的安全风险。然而，在检测到对安全性有贡献的提交后，缺乏对它们进行评估的努力，以及时提供有关SV的可利用性、影响和严重性的信息。这些信息对于规划和优先考虑已识别SV的缓解措施非常重要。我们提出了一种新的深度多任务学习模型DeepCVA，基于通用漏洞评分系统（CVSS）指标同时自动执行七个提交级漏洞评估任务。我们对246个真实软件项目中包含542个不同SV的1，229个可扩展性贡献提交进行了大规模实验，以评估我们模型的有效性和效率。我们发现DeepCVA是性能最好的模型，马修斯相关系数比许多监督和无监督基线模型高出38%至59.8%。DeepCVA所需的训练和验证时间比七个累积评估模型少6.3倍，从而大大降低了模型维护成本。总的来说，DeepCVA提供了第一个有效和高效的解决方案，可以在软件系统的早期自动评估SV。
2021-08-18 cs.CR cs.LG cs.SE
A Neural Network based Framework for Effective Laparoscopic Video Quality Assessment
Université Sorbonne Paris Nord（索邦巴黎北大学）；Institut Galilée（伽利略研究所）；NTNU（挪威科技大学）
视频质量评估是医学影像领域中一个具有重要意义的挑战性问题。例如，在腹腔镜手术中，所获取的视频数据遭受不同种类的失真，这不仅阻碍手术性能，而且影响手术导航和机器人手术中的后续任务的执行。出于这个原因，我们在本文中提出了基于神经网络的失真分类以及质量预测的方法。更准确地说，基于残差网络（ResNet）的方法首先开发了同时排序和分类任务。然后，通过使用额外的全连接神经网络（FCNN），扩展该架构以使其适合质量预测任务。为了训练整体架构（ResNet和FCNN模型），研究了迁移学习和端到端学习方法。在一个新的腹腔镜视频质量数据库上进行的实验结果表明，与最近的传统方法和基于深度学习的方法相比，所提出的方法是有效的。
2022-04-14 cs.CV cs.LG eess.IV
Protein model quality assessment using rotation-equivariant, hierarchical neural networks
Stanford University（斯坦福大学）
蛋白质是微型机器，其功能取决于其三维（3D）结构。通过计算确定这种结构仍然是一个未解决的巨大挑战。一个主要的瓶颈是在大量的候选模型中选择最准确的结构模型，这是模型质量评估中的一项任务。在这里，我们提出了一种新的深度学习方法来评估蛋白质模型的质量。我们的网络建立在原子结构的基于点的表示和不同结构分辨率水平的旋转等变卷积的基础上。这些组合的方面允许网络从整个蛋白质结构中进行端到端的学习。我们的方法在对提交给最近几轮CASP（一个盲预测社区实验）的蛋白质模型进行评分方面取得了最先进的结果。特别引人注目的是，我们的方法不使用物理启发的能量项，也不依赖于额外信息的可用性（超出单个蛋白质模型的原子结构），例如多个蛋白质的序列比对。
2020-11-27 cs.LG q-bio.QM
Deep Aesthetic Quality Assessment with Semantic Information
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
人类经常评估图像的美学质量，并识别图像的语义内容。本文讨论了自动美学质量评估和语义识别之间的相关性问题。我们将评估问题作为多任务深度模型中的主要任务，并认为语义识别任务提供了解决这个问题的关键。基于卷积神经网络，我们采用了一个简单的多任务框架，有效地利用美学和语义标签的监督。这两个任务之间的相关性项目进一步引入到框架中，结合任务间的关系学习。此项目不仅提供了一些有用的洞察力的相关性，但也提高了审美任务的评估准确性。特别是，一个有效的策略，以保持这两个任务之间的平衡，这有利于优化的框架参数。在具有挑战性的AVA数据集和Photo.net数据集上进行的大量实验验证了语义识别在美学质量评估中的重要性，并证明了多任务深度模型可以发现有效的美学表示以实现最先进的结果。
2016-10-21 cs.CV cs.LG cs.NE
Critical analysis on the reproducibility of visual quality assessment using deep features
Universität Konstanz（康斯坦茨大学）
用于训练有监督机器学习模型的数据通常分为独立的训练集、验证集和测试集。本文阐述了复杂的数据泄漏的情况下，发生在无参考图像和视频质量评估文献。最近，一些期刊上的论文报告了远高于该领域最好的性能结果。然而，我们的分析表明，来自测试集的信息在训练过程中以不同的方式被不适当地使用，并且无法实现声称的性能结果。当校正数据泄漏时，这些方法的性能甚至下降到最先进的水平以下。此外，我们调查了所讨论的方法的端到端的变化，这些变化并没有改进原来的方法。
2021-03-01 cs.CV cs.LG
Tuning of extended state observer with neural network-based control performance assessment
Poznań University of Technology（波兹南理工大学）；University of Technology Sydney（悉尼科技大学）
扩张状态观测器是鲁棒扰动控制系统的一个固有环节，它可以估计扰动对系统动态特性的影响。ESO参数的适当调整是必要的，以确保一个良好的质量估计量和影响的整体性能的鲁棒控制结构。在本文中，我们提出了一个神经网络（NN）为基础的调整程序，允许用户之间的优先级选择的质量标准，如控制和观测误差和控制信号的指定功能。所设计的神经网络提供了一个精确的评估的控制系统的性能，并返回一组ESO参数，提供了一个接近最优的解决方案，用户定义的代价函数。建议的调整程序，使用估计状态从单闭环实验产生近最佳ESO增益在几秒钟内。
2021-03-30 cs.AI cs.LG cs.SY
Productivity Assessment of Neural Code Completion
神经代码合成已经达到了这样一个程度，即代码片段的生成足够准确，可以考虑集成到人类软件开发工作流程中。商业产品旨在提高程序员的生产力，但无法直接衡量它。在这个案例研究中，我们询问了GitHub Copilot的用户关于它对他们生产力的影响，并试图在直接可测量的用户数据中找到他们感知的反映。我们发现，显示的建议被接受的比率，而不是更具体的指标，随着时间的推移，在代码中完成的持久性，驱动开发人员的生产力的看法。
2022-05-13 cs.CL cs.HC cs.LG
Brain-Inspired Deep Networks for Image Aesthetics Assessment
Beckman Institute（贝克曼研究所）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
图像美学评价因其主观性而具有挑战性。受人类视觉感知和神经美学的科学进步的启发，我们设计了大脑启发的深度网络（BDN）来完成这项任务。BDN首先通过并行监督路径学习属性，在各种选定的特征维度上。训练一个高级合成网络，将这些属性关联并转换为整体美学评级。然后，我们将BDN扩展到预测人类评级的分布，因为美学评级往往是主观的。另一个亮点是我们首次在美学评估的背景下研究了标签保持转换，这导致了一种有效的数据增强方法。在AVA数据集上的实验结果表明，与具有相同或更高参数容量的其他最先进的模型相比，我们的生物启发和特定任务的BDN模型获得了显着的性能改善。
2016-03-15 cs.CV cs.LG cs.NE
Comment on "No-Reference Video Quality Assessment Based on the Temporal Pooling of Deep Features"
在Neural Processing Letters 50，3（2019）中，提出了一种用于盲视频质量评估的机器学习方法。它基于视频帧特征的时间池化，这些特征取自深度卷积神经网络的最后一个池化层。该方法在两个已建立的基准数据集上进行了验证，结果远远优于以前的最先进的。在这封信中，我们报告了我们仔细重新实现的结果。性能结果，声称在文件中，不能达到，甚至低于国家的最先进的大幅度。我们表明，最初报告的错误的性能结果是两种情况下的数据泄漏的后果。来自训练数据集外部的信息用于微调阶段和模型评估。
2020-05-09 cs.CV cs.LG cs.MM
Semi-Supervised Deep Ensembles for Blind Image Quality Assessment
City University of Hong Kong（香港城市大学）；Peng Cheng Laboratory（鹏城实验室）
如果基础学习者被认为是“准确的”和“多样的”，那么包围方法通常被认为比单一模型更好。“在这里，我们研究了一种半监督集成学习策略，以产生可推广的盲图像质量评估模型。我们训练多头卷积网络，通过最大化集成（以及基础学习器）对标记数据的准确性来进行质量预测，并且不一致（即，多样性），其中对未标记的数据，都实现了保真度损失。我们进行了大量的实验，以证明使用未标记的数据BIQA的优势，特别是在模型推广和故障识别。
2021-06-29 cs.CV cs.LG eess.IV
Competency Assessment for Autonomous Agents using Deep Generative Models
University of Colorado Boulder（科罗拉多大学博尔德分校）；The Charles Stark Draper Laboratory, Inc.（查尔斯·斯塔克·德雷珀实验室公司）
对于自主智能体来说，作为人类用户值得信赖的合作伙伴，它们必须能够可靠地传达它们被要求执行的任务的能力。为了实现这一目标，我们开发了基于深度生成建模的概率世界模型，该模型允许模拟代理轨迹和精确计算任务结果概率。通过将条件变分自编码器的优势与递归神经网络相结合，深度生成世界模型可以概率地预测长期任务完成的轨迹。我们展示了这些预测的轨迹如何用于计算结果概率分布，从而能够精确评估特定任务和初始设置的代理能力。
2022-03-23 cs.AI cs.HC cs.LG
(ASNA) An Attention-based Siamese-Difference Neural Network with Surrogate Ranking Loss function for Perceptual Image Quality Assessment
McMaster University（麦克马斯特大学）；Sharif University of Technology（谢里夫理工大学）
最近，深度卷积神经网络（DCNN）利用对抗训练框架进行图像复原和增强，显著提高了处理后图像的清晰度。令人惊讶的是，尽管这些DCNN在视觉上比其他方法产生更清晰的图像，但当采用流行的措施来评估它们时，它们可能会得到较低的质量分数。因此，有必要制定一个定量指标来反映他们的表现，这是很好地与图像的感知质量对齐。著名的定量指标，如峰值信噪比（PSNR），结构相似性指数测度（SSIM）和感知指数（PI）与图像的平均意见评分（MOS）没有很好的相关性，特别是对于用对抗性损失函数训练的神经网络。本文提出了一种卷积神经网络，它是对传统的连体网络结构的扩展，称为连体差分神经网络。我们已经配备了这种架构的空间和通道的注意力机制，以提高我们的方法的性能。最后，我们采用了一个辅助损失函数来训练我们的模型。建议的附加成本函数替代排名损失，以增加斯皮尔曼的排名相关系数，而它是可微的神经网络参数。我们的方法在\textbf{\textit{NTIRE 2021 Perceptual Image Quality Assessment}} Challenge中取得了优异的性能。我们所提出的方法的实现是公开的。
2021-05-06 cs.CV cs.LG eess.IV
Inter-layer Information Similarity Assessment of Deep Neural Networks Via Topological Similarity and Persistence Analysis of Data Neighbour Dynamics
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；DarwinAI Corp.（DarwinAI公司）
通过深度神经网络（DNN）对信息结构进行定量分析可以揭示对DNN架构理论性能的新见解。定量信息结构分析的两个非常有前途的研究途径是：1）层间特征相似性（LS）策略，以及2）内在维度（ID）策略，专注于使用成对信息的逐层数据维度。受LS和ID策略的启发，定量信息结构分析，我们介绍了两种新的互补方法层间信息相似性评估的有趣的想法，研究数据样本的邻域动态，因为它穿过DNN。更具体地说，我们引入了最近邻拓扑相似性（NNTS）的概念，用于量化DNN层之间的信息拓扑相似性。此外，我们引入了最近邻拓扑持久性（NNTP）的概念，用于量化整个DNN中数据邻域关系的层间持久性。所提出的策略通过仅利用局部拓扑信息来促进有效的层间信息相似性评估，并且我们在本研究中通过对图像数据的深度卷积神经网络架构进行分析来研究可以获得的关于DNN理论性能的见解来证明其功效。
2020-12-07 cs.AI cs.LG cs.NE
A Picture Says Thousands of Words - Harnessing Dermal Exposure Data from Images through Hybrid Deep Learning for Enhanced Safety Assessment
该研究开发混合计算机视觉方法，用Mask R-CNN和颜色算法处理170张室内绘画图像，量化皮肤暴露，与人工估计一致性约80%，可扩展至多场景安全评估。
2026-07-30 cs.AI cs.CV cs.LG
Score-informed Networks for Music Performance Assessment
Center for Music Technology, Georgia Institute of Technology（佐治亚理工学院音乐技术中心）
在大多数情况下，对音乐表演的评估考虑到了所表演的基本乐谱。虽然已经有几种基于从表演音频和乐谱中提取的特征的客观音乐表演评估（MPA）的自动方法，但尚未研究将乐谱信息并入MPA模型中的基于深度神经网络的方法。在本文中，我们介绍了三种不同的模型能够得分通知性能评估。这些是（i）卷积神经网络，其利用包括对齐的音高轮廓和分数的简单时间序列输入，（ii）联合嵌入模型，其学习音高轮廓和分数的联合潜在空间，以及（iii）基于距离矩阵的卷积神经网络，其利用音高轮廓和乐谱之间的距离矩阵中的模式来预测评估评级。我们的研究结果提供了不同的架构和输入表示的适用性的见解，并证明了分数知情的模型相比，分数独立的模型的好处。
2020-08-01 cs.IR cs.LG eess.AS
An Interpretable Power System Transient Stability Assessment Method with Expert Guiding Neural-Regression-Tree
针对深度学习暂态稳定评估可解释性不足的问题，提出TSA-ENRT，用融合电力系统专家知识的非线性回归树解释神经网络概率预测，并通过平均决策长度正则化优化准确性与可解释性权衡。
2024-04-03 cs.LG cs.SY eess.SY
DeepTechnome: Mitigating Unknown Bias in Deep Learning Based Assessment of CT Images
Siemens Healthcare GmbH（西门子医疗有限公司）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
使用相关生物信息可靠地检测疾病对于深度学习技术在医学成像中的实际应用至关重要。我们在训练过程中针对未知偏差对深度学习模型进行去偏-而无需预先对输入进行预处理/过滤，也无需假设有关其分布或数据集中精确性质的特定知识。我们使用控制区域作为代理，携带有关偏差的信息，采用分类器模型来提取特征，并使用我们的自定义模块化DecorreLayer抑制有偏差的中间特征。我们评估我们的方法对952肺计算机断层扫描的数据集，通过引入模拟偏差w.r.t.重建核和噪声水平，并提出包括对抗性测试集的偏见减少技术的评估。在中等规模的模型架构中，应用所提出的方法从表现出强偏差的数据中学习，它几乎完美地恢复了在使用相应的无偏数据进行训练时观察到的分类性能。
2022-05-26 cs.CV cs.LG eess.IV
First Investigation Into the Use of Deep Learning for Continuous Assessment of Neonatal Postoperative Pain
University of South Florida（南佛罗里达大学）
本文首次研究了使用全自动深度学习框架评估新生儿术后疼痛。它专门研究了使用双线性卷积神经网络（B-CNN）在不同程度的术后疼痛期间提取面部特征，然后使用递归神经网络（RNN）对时间模式进行建模。虽然急性和术后疼痛有一些共同的特点（例如，视觉动作单位），术后疼痛具有不同的动态，并且随着时间的推移以独特的模式演变。我们的实验结果表明，急性和术后疼痛的模式之间有明显的差异。他们还建议使用双线性CNN与RNN模型的组合来连续评估术后疼痛强度。
2020-03-24 cs.CV cs.LG eess.IV
Sample-Free Safety Assessment of Neural Network Controllers via Taylor Methods
University of Auckland（奥克兰大学）
本文提出基于泰勒方法的神经网络控制器安全评估技术，通过自动域分割和多项式边界分析，实现对神经网络控制器安全性的无样本评估。
2026-02-11 cs.LG cs.SY eess.SY
SVSNet: An End-to-end Speaker Voice Similarity Assessment Model
神经评价指标，为众多的语音生成任务，最近引起了极大的关注。在本文中，我们提出了SVSNet，第一个端到端的神经网络模型来评估转换语音和自然语音之间的说话人语音相似性的语音转换任务。与大多数使用手工特征的神经评估指标不同，SVSNet直接将原始波形作为输入，以更完整地利用语音信息进行预测。SVSNet由编码器、共同注意力、距离计算和预测模块组成，并以端到端的方式进行训练。在2018年和2020年语音转换挑战赛（VCC2018和VCC2020）数据集上的实验结果表明，SVSNet在话语和系统级别的说话人相似性评估方面优于已知的基线系统。
2022-02-17 cs.LG cs.SD eess.AS
A Pain Assessment Framework based on multimodal data and Deep Machine Learning methods
Hellenic Mediterranean University（希腊地中海大学）
该研究构建基于多模态数据与深度机器学习的自动疼痛评估框架，提出适配单模态与多模态场景的评估流程并取得最先进性能。
2025-05-11 cs.AI cs.HC cs.LG
Extended Graph Assessment Metrics for Graph Neural Networks
Technical University of Munich（慕尼黑工业大学）；Imperial College London（帝国理工学院）；Helmholtz-Zentrum Munich（慕尼黑亥姆霍兹中心）
本文提出面向回归任务和连续邻接矩阵的扩展图评估指标，重点扩展同质性与跨类邻域相似性，并验证其与医学人群图上GNN模型性能的相关性。
2023-09-19 cs.AI cs.LG cs.SI
Deep MOS Predictor for Synthetic Speech Using Cluster-Based Modeling
KAIST（韩国科学技术院）
虽然深度学习在语音合成和语音转换方面取得了令人印象深刻的进展，但对合成语音的评估仍然由人类参与者进行。最近的几篇论文提出了基于深度学习的评估模型，并显示了自动化语音质量评估的潜力。为了改进先前提出的评估模型，MOSNet，我们提出了三个模型，使用基于集群的建模方法：使用全局质量令牌（GQT）层，使用编码层，并使用它们两者。我们使用2018年语音转换挑战赛的评估结果进行实验，以预测合成语音的平均意见得分以及合成语音与参考语音之间的相似度得分。结果表明，GQT层有助于通过自动学习任务的有用质量标记来更好地预测人类评估，编码层有助于更精确地利用帧级分数。
2020-08-09 cs.LG cs.SD eess.AS
Uncertainty-aware performance assessment of optical imaging modalities with invertible neural networks
German Cancer Research Center（德国癌症研究中心）；Heidelberg University（海德堡大学）
目的：光学成像正在发展成为手术室先进传感的关键技术。最近的研究表明，机器学习算法可用于解决将逐像素多光谱反射率测量值转换为基础组织参数（如氧合）的逆问题。然而，结合这些算法使用的特定硬件的评估，并没有适当地解决问题可能是不适定的可能性。研究方法：我们提出了一种新的方法来评估光学成像模式，这是敏感的不同类型的不确定性，可能会发生在推断组织参数。基于可逆神经网络的概念，我们的框架超越了点估计，并将每个多光谱测量映射到一个完整的后验概率分布，该分布能够通过多种模式表示解决方案中的模糊性。然后可以从后验的特性计算硬件设置的性能度量。结果如下：将评估框架应用于用于生理参数估计的相机选择的特定用例产生以下见解：（1）从多光谱图像估计组织氧合是适定问题，而（2）血液体积分数可能无法在没有模糊性的情况下恢复。(3)通常，可以通过增加相机中的光谱带的数量来减少模糊性。结论：我们的方法可以帮助优化光学相机的设计，在特定的应用方式。
2019-03-08 cs.LG physics.med-ph stat.ML
DeepQA: Improving the estimation of single protein model quality with deep belief networks
University of Missouri（密苏里大学）；Informatics Institute, University of Missouri（密苏里大学信息学研究所）
通过对蛋白质模型进行排序和选择来进行蛋白质质量评估一直被认为是蛋白质三级结构预测的主要挑战之一。特别是，估计单个蛋白质模型的质量，这对于从由大多数低质量模型组成的大型模型池中选择一些好的模型非常重要，仍然是一个很大程度上未解决的问题。我们介绍了一种新的基于深度信念网络的单模型质量评估方法DeepQA，该方法利用一些从不同角度描述模型质量的精选特征，如能量，理化特征和结构信息。深度信念网络是在几个大型数据集上训练的，这些数据集包括来自蛋白质结构预测关键评估（CASP）实验的模型，几个公开可用的数据集，以及我们内部从头算方法生成的模型。我们的实验表明，与支持向量机和神经网络相比，深度信念网络在蛋白质模型质量评估问题上具有更好的性能，并且我们的方法DeepQA在CASP 11数据集上达到了最先进的性能。它还优于两个完善的方法，从从头建模方法生成的大部分低质量的模型中选择良好的离群值模型。DeepQA是蛋白质单模型质量评估和蛋白质结构预测的有用工具。DeepQA for Linux的源代码、可执行文件、文档和训练/测试数据集可在http://cactus.rnet.missouri.edu/DeepQA/上免费提供给非商业用户。
2016-07-15 cs.AI cs.LG q-bio.QM
