A Brief Introduction to Automatic Differentiation for Machine Learning
University of California, Santa Cruz（加州大学圣克鲁兹分校）
特别是机器学习和神经网络模型已经改善了许多人工智能相关任务的最新性能。神经网络模型通常使用执行基于梯度的优化方法以将模型拟合到数据集的框架来实现。这些框架使用称为自动微分（AD）的计算导数的技术，其从模型设计者移除执行导数计算的负担。在本报告中，我们描述了AD，其动机和不同的实施方法。我们简要地描述了与AD相关的Java编程。最后，我们展示了使用Tensorflow和PyTorch实现的示例程序，这是两个常用的AD框架。
2021-10-14 cs.CL cs.LG cs.MS
The Pros and Cons of Using Machine Learning and Interpretable Machine Learning Methods in psychiatry detection applications, specifically depression disorder: A Brief Review
Faculty of Computer Science and Engineering, Shahid Beheshti University（沙希德·贝赫什提大学计算机科学与工程学院）
本文简要综述了机器学习和可解释人工智能在抑郁症等精神病学检测应用中的优缺点，强调准确快速诊断及可理解诊断结果的重要性。
2023-11-11 cs.AI cs.LG
Interpretable Machine Learning -- A Brief History, State-of-the-Art and Challenges
LMU Munich（慕尼黑大学）
我们介绍了可解释机器学习（IML）领域的简史，概述了最先进的解释方法，并讨论了挑战。近年来，IML的研究蓬勃发展。尽管这个领域很年轻，但它在回归建模和基于规则的机器学习方面有着200多年的历史，始于20世纪60年代。最近，提出了许多新的IML方法，其中许多是模型不可知的，但也有特定于深度学习和基于树的集成的解释技术。IML方法要么直接分析模型组件，研究对输入扰动的敏感性，要么分析ML模型的局部或全局代理近似。该领域接近准备就绪和稳定的状态，许多方法不仅在研究中提出，而且在开源软件中实现。但IML仍然面临着许多重要的挑战，如处理相关特征，因果解释和不确定性估计，这些问题需要解决才能成功地应用于科学问题。另一个挑战是缺乏一个严格的可解释性的定义，这是由社区接受。为了应对挑战并推动该领域的发展，我们迫切需要回顾我们在统计和（基于规则的）ML中可解释的数据驱动建模的根源，但也要考虑其他领域，如敏感性分析，因果推断和社会科学。
2020-10-19 cs.LG stat.ML
A Brief Survey of Machine Learning Methods for Emotion Prediction using Physiological Data
Rice University（莱斯大学）
情绪预测是一个关键的新兴研究领域，专注于从多种模态中识别和预测人类的情绪状态。在其他数据源中，生理数据可以作为情绪的指标，其附加优点是它不能被个人掩盖/篡改，并且可以容易地收集。本文调查了多种机器学习方法，这些方法使用智能手机和生理数据来实时预测情绪，使用自我报告的生态瞬时评估（EMA）分数作为地面实况。通过比较回归、长短期记忆（LSTM）网络、卷积神经网络（CNN）、强化在线学习（ROL）和深度信念网络（DBN），我们展示了用于实现准确情感预测的机器学习方法的可变性。我们比较了最先进的方法，并强调实验性能仍然不是很好。在未来的工作中，可以通过考虑以下问题来提高性能：提高可扩展性和可推广性，同步多模态数据，优化EMA采样，将适应性与序列预测相结合，收集无偏数据，并利用复杂的特征工程技术。
2022-01-17 cs.LG
Software Engineers vs. Machine Learning Algorithms: An Empirical Study Assessing Performance and Reuse Tasks
Pontifical Catholic University of Rio de Janeiro（里约热内卢天主教大学）；University of Waterloo（滑铁卢大学）
最近有几篇论文包含了关于将机器学习（ML）应用于软件工程（SE）任务自动化的报告，例如项目管理，建模和开发。然而，似乎没有方法比较软件工程师如何与应用于特定软件开发任务的机器学习算法进行比较。这种比较对于了解哪些任务由人类更好地执行，哪些任务由机器学习更好地执行以及如何更有效地实现协作工作或人在回路流程至关重要。在本文中，我们提出了一项实证研究，比较软件工程师和机器学习算法如何执行和重用任务。实证研究涉及的自主路灯应用程序的控制结构的合成。我们的方法包括四个步骤。首先，我们使用机器学习来确定特定的性能和重用任务，从而解决了这个问题。其次，我们要求具有不同领域知识水平的软件工程师为相同的任务提供解决方案。第三，我们比较了软件工程师在基于能耗和安全等标准完成性能和重用任务时如何对抗机器学习算法。最后，我们分析了结果，以了解哪些任务由人类或算法更好地执行，以便它们可以更有效地协同工作。这样的理解和由此产生的人在环方法，考虑到人类和机器学习算法的长处和短处，不仅是为支持软件工程的合作工作提供基础，而且在其他领域也是至关重要的。
2018-02-07 cs.AI cs.HC cs.LG
Machine Learning for Naval Architecture, Ocean and Marine Engineering
DIT University（DIT大学）
基于机器学习（ML）的算法已经在工程和科学的许多领域中产生了重大影响，其中数据集可以从实验和高保真数值模拟中获得。这些数据集通常用于机器学习模型中，以提取关于底层物理的信息，并导出将输入变量映射到感兴趣的目标量的函数关系。科学机器学习（SciML）中常用的机器学习算法包括神经网络、回归树、随机森林、支持向量机等。本文的重点是回顾ML在海军建筑、海洋和海洋工程问题中的应用，并确定优先研究方向。我们讨论了机器学习算法在不同问题中的应用，如波高预测、船舶风荷载计算、海上平台损伤检测、船舶附加阻力计算以及沿海和海洋环境中的各种其他应用。包括ML模型开发中使用的数据集源在内的数据集的详细信息也包括在内。详细介绍了作为ML模型输入的特征，最后讨论了ML模型的优化方法。在此全面分析的基础上，我们指出了未来的研究方向，这些方向对于ML在海洋和海洋工程问题中的应用可能会富有成效。
2021-09-01 cs.LG physics.ao-ph physics.data-an
An Introduction to Quantum Machine Learning for Engineers
King's College London（伦敦国王学院）
在当前嘈杂的中间尺度量子（NISQ）时代，量子机器学习正在成为编程基于门的量子计算机的主导范式。在量子机器学习中，量子线路的门被参数化，并且参数基于数据和电路输出的测量经由经典优化来调谐。参数化量子线路（PQC）可以有效地解决组合优化问题，实现概率生成模型，并进行推理（分类和回归）。这本专著为具有概率和线性代数背景的工程师观众提供了量子机器学习的独立介绍。它首先描述了描述量子操作和测量所必需的背景、概念和工具。然后，它涵盖了参数化量子线路，变分量子本征求解器，以及无监督和监督量子机器学习公式。
2022-06-11 cs.ET cs.LG quant-ph
A Brief Overview of AI Governance for Responsible Machine Learning Systems
H2O.ai（H2O.ai公司）；University of Würzburg（维尔茨堡大学）
所有行业和领域的各种规模的组织都在利用人工智能（AI）技术来解决他们在运营、客户体验等方面面临的一些最大挑战。然而，由于人工智能的概率性，与之相关的风险远远大于传统技术。研究表明，这些风险可以从监管、合规、声誉和用户信任到金融甚至社会风险。根据组织的性质和规模，人工智能技术如果不以负责任的方式使用，可能会带来重大风险。本立场文件旨在简要介绍人工智能治理，这是一个旨在监督负责任地使用人工智能的框架，旨在预防和减轻风险。拥有这样的框架不仅可以管理风险，还可以从人工智能项目中获得最大价值，并为整个组织采用人工智能开发一致性。
2022-11-21 cs.AI cs.CY cs.LG
Towards Automated Machine Learning: Evaluation and Comparison of AutoML Approaches and Tools
Capital One（第一资本金融公司）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
近年来，机器学习（ML）的工业应用有了相当大的增长和兴趣。因此，整个行业对ML工程师的需求很高，但提高ML工程师的效率仍然是一个根本性的挑战。自动机器学习（AutoML）已经成为一种节省ML管道中重复任务的时间和精力的方法，例如数据预处理，特征工程，模型选择，超参数优化和预测结果分析。在本文中，我们调查了AutoML工具的现状，旨在自动化这些任务。我们在许多数据集上，在不同的数据段中，对这些工具进行了各种评估，以检查它们的性能，并在不同的测试用例上比较它们的优缺点。
2019-09-03 cs.LG stat.ML
Symbolic Logic meets Machine Learning: A Brief Survey in Infinite Domains
University of Edinburgh（爱丁堡大学）；Alan Turing Institute（艾伦·图灵研究所）
演绎和归纳之间的紧张关系可能是哲学，认知和人工智能（AI）等领域中最基本的问题。演绎阵营关注的是形式语言在获取世界知识方面的表现力，以及从这些知识库进行推理的证明系统。学习营试图从例子中归纳出关于世界的部分描述。在人工智能领域，从历史上看，这些阵营对该领域的发展进行了松散的划分，但在统计关系学习、神经符号系统和高级控制等交叉领域的进展表明，这种二分法不是很有建设性，甚至可能是不正确的。在这篇文章中，我们调查的工作，提供了进一步的证据，逻辑和学习之间的联系。我们的叙述是按照三个方面来构建的：逻辑与学习，逻辑的机器学习，以及机器学习的逻辑，但自然地，有相当多的重叠。我们把重点放在以下“痛”点：有一个常见的误解，即逻辑是离散属性，而概率论和机器学习，更一般地说，是连续属性。我们报告的结果，挑战这种观点的局限性的逻辑，并揭示了逻辑可以发挥的作用，学习在无限的领域。
2020-06-15 cs.AI cs.LG cs.LO
Data-Centric Engineering: integrating simulation, machine learning and statistics. Challenges and Opportunities
Imperial College London（帝国理工学院）；The Alan Turing Institute（阿兰·图灵研究所）
机器学习的最新进展，加上低成本计算，廉价流传感器的可用性，数据存储和云技术，导致了广泛的多学科研究活动，商业利益相关者的极大兴趣和投资。基于物理方程的机械模型和纯数据驱动的统计方法代表了建模范围的两端。新的混合、以数据为中心的工程方法，利用了两个世界的最好的东西，集成了模拟和数据，正在成为一个强大的工具，对物理学科产生变革性的影响。我们回顾了集成模拟、机器学习和统计的新兴领域的主要研究趋势和应用场景。我们强调了这样一个综合愿景可以释放的机遇，并概述了阻碍其实现的关键挑战。我们还讨论了该领域的翻译方面的瓶颈，以及现有劳动力和未来大学毕业生的长期技能提升要求。
2021-11-22 cs.CE cs.LG
The Engineer's Dilemma: A Review of Establishing a Legal Framework for Integrating Machine Learning in Construction by Navigating Precedents and Industry Expectations
Clemson University（克莱姆森大学）
本文探讨了工程行业整合机器学习面临的法律与监管不确定性，提出通过类比推理将ML嵌入现有工程规范，并基于责任原则与判例构建法律框架，以帮助利益相关者评估ML驱动方案的责任与收益。
2025-07-11 cs.CY cs.ET cs.LG
From Equations to Algorithms and Data: Transforming Microwave Engineering and Education with Machine Learning
本文提出用机器学习和数据驱动电磁合成方法，革新微波工程教育，通过性能导向的设计探索提升学生对电磁行为的理解，使教育更符合高频和超宽频系统设计需求。
2026-04-13 cs.ET cs.LG eess.SP
A brief history on Homomorphic learning: A privacy-focused approach to machine learning
密码学和数据科学研究随着互联网的繁荣而呈指数级增长。传统的加密技术迫使用户在可用性、便利性和安全性之间做出权衡。加密使有价值的数据无法访问，因为每次执行任何操作都需要对其进行解密。可以节省数十亿美元，数百万人可以从加密方法中受益，这些方法不会在可用性，便利性和安全性之间妥协。同态加密就是这样一种范例，它允许对加密数据运行任意操作。它使我们能够运行任何复杂的机器学习算法，而无需访问底层原始数据。因此，同态学习提供了从由于各种政府和组织隐私规则而被忽视的敏感数据中获得见解的能力。本文追溯了Ronald L. Rivest和Len Alderman：“我们可以计算加密数据吗？”在1978年的论文中。然后，我们逐步遵循沙菲·戈德瓦瑟、克里斯汀·劳特、丹·邦奇、托马斯·桑德、唐纳德·比弗和克雷格·金特里的想法来解决这个至关重要的问题。经过30多年的集体努力，终于找到了这个重要问题的答案“是”。
2020-09-11 cs.CR cs.LG
A Brief Guide to Designing and Evaluating Human-Centered Interactive Machine Learning
DeepMind（深度思维）
交互式机器学习（IML）是一个研究领域，探索如何在决策系统中利用人类和计算能力。IML代表了多个互补的人类和机器智能系统之间的协作，每个系统都有自己独特的能力和局限性。这种团队合作可能意味着两个系统同时或按顺序采取行动。IML领域的两个主要开放研究问题是：“我们应该如何设计能够随着时间的推移通过人机交互学习做出更好决策的系统？以及"我们应该如何评估这种系统的设计和部署？“对所涉及的人缺乏适当的考虑可能会导致系统行为问题，以及公平性、问责制和透明度问题。因此，我们这项工作的目标是提出一个以人为本的指南，以设计和评估IML系统，同时降低风险。本指南旨在供负责人类互动的健康、安全和福祉的机器学习从业者使用。对公众互动负责的义务意味着正直、诚实、公平地行事，并遵守适用的法律法规。牢记这些价值观和原则，我们作为机器学习研究社区可以更好地实现增强人类技能和能力的目标。因此，本实用指南旨在支持IML系统的迭代设计、开发和传播过程中所需的许多负责任的决策。
2022-04-20 cs.GL cs.HC cs.LG
A Brief Review of Machine Learning Techniques for Protein Phosphorylation Sites Prediction
Tarbiat Modares University（塔比阿特莫达雷斯大学）
翻译后修饰（Post-translational modifications，PTM）在蛋白质功能多样性的扩展中起着重要作用，因此，在原核生物和真核生物中，PTM调节着多种细胞过程。磷酸化修饰是一种重要的蛋白质修饰，在许多生物学过程中起着重要的作用。磷酸化过程中的障碍导致多种疾病，包括神经系统疾病和癌症。首先，本研究全面回顾了所有与磷酸化位点（p-sites）相关的数据库。其次，我们介绍了p-位点预测中的数据集创建、数据预处理和方法评估的所有步骤。接下来，我们研究了p位点预测方法，这些方法分为两个计算和机器学习（ML）组。此外，研究表明，通过ML进行p位点预测基本上有两种主要方法：传统和端到端学习，并对这两种方法进行了概述。此外，本研究还介绍了最重要的特征提取技术，这些技术主要用于ML方法。最后，我们从与基于一般和人类物种的dbPTM数据库的2022版相关的新蛋白质中创建了三个测试集。在测试集上评估可用的在线工具后，结果表明，用于p位点预测的在线工具在新报道的磷酸化蛋白质上的性能相当弱。
2022-02-06 cs.LG q-bio.QM
A Brief Survey on the Approximation Theory for Sequence Modelling
National University of Singapore（新加坡国立大学）；Microsoft Research Asia（微软亚洲研究院）
本文综述了机器学习中序列建模的近似理论的最新进展。特别强调的是放在分类现有的各种模型架构的结果，通过经典的近似范式的镜头，以及人们可以从这些结果中获得的见解。我们还概述了一些未来的研究方向，建立一个理论的序列建模。
2023-02-27 cs.LG
Introduction to Graph Neural Networks for Machine Learning Engineers
The MITRE Corporation（MITRE公司）；National Cancer Institute（国家癌症研究所）
本文通过编码器-解码器框架介绍图神经网络，并通过同质图上的理论和实验分析不同训练规模和复杂度下的行为，重点讨论过平滑和过挤压问题。
2026-06-01 cs.AI cs.LG
