Decision Models for Selecting Federated Learning Architecture Patterns
CSIRO Data61（联邦科学与工业研究组织数据61研究所）；University of New South Wales（新南威尔士大学）
针对联邦学习架构设计中模式选择难的问题，本文基于系统性文献综述提出一组将功能与非功能需求映射到模式并说明弊端的决策模型，经大厂架构验证可规范设计流程、明确设计依据。
2023-04-28 cs.LG cs.SE
Studying Software Engineering Patterns for Designing Machine Learning Systems
Waseda University（早稻田大学）；Polytechnique Montréal（蒙特利尔高等理工学院）；Concordia University（康考迪亚大学）
机器学习（ML）技术近年来变得流行。ML技术依赖于数学和软件工程。研究人员和从业者研究设计ML应用程序系统和软件的最佳实践，以解决ML技术的软件复杂性和质量。这样的设计实践通常被形式化为架构模式和设计模式，通过将可重用的解决方案封装到给定上下文中的常见问题。然而，据我们所知，还没有系统地收集、分类和讨论这些ML技术的软件工程（SE）设计模式的工作。因此，我们开始收集ML技术的好/坏SE设计模式，为开发人员提供此类模式的全面和有序分类。我们在这里报告的系统性文献综述（SLR）的好/坏的ML设计模式的初步结果。
2019-10-11 cs.LG cs.SE
Scatterbrained: A flexible and expandable pattern for decentralized machine learning
Johns Hopkins Applied Physics Laboratory（约翰斯·霍普金斯应用物理实验室）；University of Pennsylvania（宾夕法尼亚大学）
联合机器学习是一种用于在多个设备之间训练模型而无需在它们之间交换数据的技术。由于数据对于每个计算节点都是本地的，因此联邦学习非常适合数据受到严格控制的领域（如医学）或带宽受限的领域。这种方法的一个缺点是，大多数联邦学习工具依赖于中央服务器来执行工作负载委托并生成单个共享模型。在这里，我们提出了一个灵活的框架来分散联邦学习模式，并提供了一个与PyTorch兼容的开源参考实现。
2021-12-14 cs.LG
Machine Learning Approaches on Crop Pattern Recognition a Comparative Analysis
East West University（东西大学）
本文提出基于深度神经网络的作物模式识别方法，并与朴素贝叶斯和随机森林进行比较分析，以提升遥感时间序列数据下的作物分类性能。
2024-11-19 cs.CV cs.LG
Application of Machine Learning-Based Pattern Recognition in IoT Devices: Review
University of Wisconsin-Eau Claire（威斯康星大学欧克莱尔分校）
物联网（IoT）是一个快速发展的技术领域，近年来迅速变得更加广泛。随着越来越多的日常物品连接到互联网，许多不同的创新已经出现，使我们的日常生活更加简单。模式识别在物联网设备中非常普遍，因为它可以带来许多应用和好处。为了提高速度和准确性，降低复杂性，并降低物联网设备中模式识别算法的总体处理能力，已经进行了大量研究。在回顾不同机器学习算法的应用之后，结果因情况而异，但可以得出一个一般结论，即与IoT设备一起使用的最佳基于机器学习的模式识别算法是支持向量机、k-最近邻和随机森林。
2022-01-10 cs.LG cs.NI eess.SP
Machine Learning Approach to Uncovering Residential Energy Consumption Patterns Based on Socioeconomic and Smart Meter Data
Tsinghua Berkeley Shenzhen Institute（清华-伯克利深圳学院）；Monash University（莫纳什大学）；National Cheng Kung University（台湾成功大学）
智能电表数据分析有助于更好地规划和运营电力系统。本研究旨在基于消费和人口统计数据，使用机器学习从社会经济角度识别住宅能源消费模式的驱动因素。我们的消费模式的代表性负载和揭示负载模式和社会经济特征之间的关系。具体来说，我们分析了现实世界的智能电表数据，并提取负载模式的聚类在一个强大的方式。我们进一步确定影响社会经济属性的负载模式，以提高我们的方法的可解释性。通过机器学习模型来表征消费者的负载模式和所选择的社会经济特征之间的关系。研究结果如下。(1)12个负荷集群，包括6个工作日和6个周末，表现出不同的生活方式和工作日和周末之间的差异。(2)在各种社会经济特征中，年龄和教育水平可能会影响负荷模式。(3)我们提出的分析模型，使用特征选择和机器学习被证明是更有效的比XGBoost和传统的神经网络模型在负载模式和社会经济特征之间的映射关系。
2021-11-01 cs.AI cs.LG cs.NA
Discovering Knowledge using a Constraint-based Language
University of Caen Basse-Normandie（卡昂下诺曼底大学）
发现模式集或全局模式是模式挖掘社区的一个吸引人的问题，以提供有用的信息。通过结合满足联合意义的局部模式，这种方法产生更高级别的模式，从而比通常的局部模式更有用的数据分析，同时减少模式的数量。与此同时，最近的研究数据采掘和约束编程（CP）之间的关系的工作表明，CP范式是一个很好的框架，模型和挖掘这种模式的声明和通用的方式。我们提出了一个基于约束的语言，使我们能够定义查询解决模式集和全球模式。这种声明性的方法的有用性是突出的几个例子来自基于关联的聚类。该语言已在CP框架中实现。
2011-07-18 cs.LG
Patterns, predictions, and actions: A story about machine learning
这本关于机器学习的研究生教科书讲述了数据模式如何支持预测和相应行动的故事。从决策制定的基础开始，我们将介绍作为监督学习组成部分的表示、优化和泛化。关于作为基准的数据集的一章考察了它们的历史和科学基础。自包含的因果关系介绍，因果推理的实践，顺序决策和强化学习为读者提供了概念和工具来推理行动及其后果。全文讨论了历史背景和社会影响。我们邀请来自各种背景的读者;一些概率，微积分和线性代数的经验就足够了。
2021-10-26 cs.LG stat.ML
jazznet: A Dataset of Fundamental Piano Patterns for Music Audio Machine Learning Research
University of Arizona（亚利桑那大学）
本文介绍了jazznet数据集，一个基本的爵士钢琴音乐模式的数据集，用于开发音乐信息检索（MIR）中的机器学习（ML）算法。该数据集包含162520个标记的钢琴模式，包括和弦，琶音，音阶和和弦进行及其反转，产生超过26k小时的音频和95GB的总大小。本文解释了数据集的组成，创建和生成，并提出了一个开源的模式生成器，使用一种称为基于距离的模式结构（DBPS）的方法，该方法允许研究人员简单地通过定义音乐模式中音高之间的距离来轻松生成新的钢琴模式。我们证明，该数据集可以帮助研究人员使用卷积递归神经网络（CRNN）和深度卷积神经网络对具有挑战性的MIR任务的新模型进行基准测试。数据集和代码可通过https://github.com/tosiron/jazznet获得。
2023-02-17 cs.LG cs.SD eess.AS
Deep Learning and Machine Learning: Advancing Big Data Analytics and Management with Design Patterns
Georgia Institute of Technology（佐治亚理工学院）；Indiana University（印第安纳大学）；Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）；University of Hawaii（夏威夷大学）；National Taiwan Normal University（台湾师范大学）；Kyoto University（京都大学）；Rutgers University（罗格斯大学）；AppCubic；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Purdue University（普渡大学）；Emory University（埃默里大学）
本书通过设计模式优化大数据分析系统开发与维护，提供高效、可重用的系统构建方法。
2025-12-22 cs.LG cs.SE
Hybrid Method Based on NARX models and Machine Learning for Pattern Recognition
Federal University of Juiz de Fora（茹伊斯迪福拉联邦大学）；Federal University of São João del-Rei（圣若昂德尔雷伊联邦大学）
这项工作提出了一种新的技术，集成了机器学习和系统辨识的方法来解决多类问题。这种方法允许提取和选择具有降低的维度的代表性特征集，以及预测分类输出。通过运行机器学习中的案例研究来测试该方法的效率，与经典分类算法相比，获得了更好的绝对结果。
2021-06-08 cs.AI cs.LG
A machine learning model for identifying cyclic alternating patterns in the sleeping brain
Carnegie Mellon University（卡内基梅隆大学）
脑电图（EEG）是一种记录脑电信号的方法。识别睡眠大脑中的EEG模式可以深入了解睡眠障碍。所考虑的数据集包含与各种生理条件相关联的EEG数据点。本研究试图使用机器学习模型来概括与大脑的非快速眼动（NREM）睡眠周期相关的特定模式的检测。所提出的模型使用额外的特征工程，将连续的信息训练分类器，以预测发生的循环交替模式（CAP）序列的睡眠周期，这往往与睡眠障碍。
2018-04-23 cs.AI cs.LG stat.ML
Machine learning attack on copy detection patterns: are 1x1 patterns cloneable?
University of Geneva（日内瓦大学）
如今，现代经济迫切需要可靠而廉价的保护解决方案，以防止大众市场的产品假冒。拷贝检测模式（CDP）被认为是这样的解决方案在几个应用程序。假设在具有最小符号大小1x1元素的工业打印机的打印分辨率的最大可实现极限下打印，CDP不能以足够的精度被复制，因此是不可克隆的。在本文中，我们挑战这一假设，并考虑基于机器学习对CDP的复制攻击。基于两台工业打印机上产生的样本的实验表明，CDP认证中使用的简单检测指标无法可靠地区分原始CDP与其伪造品。因此，由于当前的攻击，本文呼吁需要仔细重新考虑CDP的可克隆性，并寻找新的身份验证技术和CDP优化。
2021-10-06 cs.CR cs.CV cs.LG
Machine Learning to Estimate Gross Loss of Jewelry for Wax Patterns
Purdue School of Industrial Engineering（普渡大学工业工程学院）；Sardar Patel Institute of Technology（萨达尔·帕特尔理工学院）；D.J Sanghvi College of Engineering（D.J桑吉维工程学院）
在大规模制造珠宝时，在制造之前估计毛损，以计算将熔模铸造成多件相同珠宝的模型的蜡重量。机器学习是人工智能的一部分，它有助于基于大量用户定义的数据创建具有决策能力的模型。在本文中，作者找到了一种在珠宝行业使用机器学习来估计这一关键毛损的方法。选择一个小的制造戒指数据集，并通过回归分析，发现使用ML算法从设计阶段本身的CAD文件收集的历史数据和属性中将估计误差从+-2-3减少到+-0.5。为了评估这种方法的可行性，必须对更大的数据集进行额外的研究。
2023-01-07 cs.LG
Analysis of Irregular Spatial Data with Machine Learning: Classification of Building Patterns with a Graph Convolutional Neural Network
Wuhan University（武汉大学）
卷积神经网络（CNN）等机器学习方法正在成为许多学科科学研究的一个组成部分，但由于空间矢量数据的不规则性，使用这些强大的学习方法往往无法进行分析。借助图傅立叶变换和卷积定理，将卷积变换为傅立叶域的逐点积，构造了一种基于图的CNN学习结构，用于不规则空间数据的分析任务。在本研究中，我们使用的建筑物模式的分类任务作为案例研究，以测试该方法，实验表明，该方法取得了突出的结果，在识别规则和不规则的模式，并在与其他方法相比，有显着的改善。
2018-09-21 cs.LG stat.ML
Support Vector Machine Application for Multiphase Flow Pattern Prediction
University of Houston（休斯顿大学）；University of Texas at Tyler（德克萨斯大学泰勒分校）；University of Los Andes（洛斯安第斯大学）；University of Tulsa（塔尔萨大学）
在本文中，数据分析方法具有支持向量机（SVM）的训练的预测模型在一个experimentaldataset，其中包括最相关的研究两相流流型预测。本研究的数据库由气液两相流中的流型或流型组成。术语流型是指管道中气相和液相的几何构型。当气体和液体同时在管道中流动时，两相可以以各种流动构型分布。气液两相流普遍存在于各种主要工业领域：石油、化工、核能和地热工业。流动形态在界面的空间分布上彼此不同，从而导致不同的流动特性。通过将所提出的方法应用于不同的流型组合所获得的实验结果表明，所提出的方法是最先进的替代品，通过实现97%的正确分类。结果表明，机器学习可以作为一种有效的工具，用于自动检测和分类的气液两相流模式。
2018-06-12 cs.LG stat.ML
Machine learning for classifying and interpreting coherent X-ray speckle patterns
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Argonne National Laboratory（阿贡国家实验室）；University of Illinois（伊利诺伊大学）
本文利用二维圆盘模型系统，训练深度神经网络对相干X射线散斑图案按圆盘数密度分类，证明该方法对非分散和分散尺寸分布均准确有效。
2023-09-01 cond-mat.mtrl-sci cs.CV cs.LG
Unlearning Information Bottleneck: Machine Unlearning of Systematic Patterns and Biases
Yale University（耶鲁大学）；Wuhan University（武汉大学）；EPFL（洛桑联邦理工学院）；University of Bern（伯尔尼大学）
提出去学习信息瓶颈（UIB）框架，利用变分上界和动态先验调整参数，以高效移除系统模式与偏见，同时保持模型性能。
2024-05-22 cs.AI cs.LG
Artificial Error Generation with Machine Translation and Syntactic Patterns
The ALTA Institute（ALTA研究所）；Computer Laboratory（计算机实验室）；University of Cambridge（剑桥大学）
缺乏可用的训练数据阻碍了自动错误检测领域的进展。本文研究了两种人工生成写作错误的方法，以创建额外的资源。我们建议将错误生成视为机器翻译任务，其中语法正确的文本被翻译为包含错误。此外，我们探索了一个系统，从注释语料库中提取文本模式，然后可以用来插入语法正确的句子中的错误。我们的实验表明，包含人工生成的错误显着提高了FCE和CoNLL 2014数据集上的错误检测精度。
2017-07-17 cs.CL cs.LG
The Regression Tsetlin Machine: A Tsetlin Machine for Continuous Output Problems
Centre for Artificial Intelligence Research（人工智能研究中心）；University of Agder（阿格德大学）
最近推出的Tsetlin Machine（TM）在几个基准测试中提供了具有竞争力的模式分类精度，在命题逻辑中使用易于解释的合取子句组成模式。在本文中，我们超越模式分类，通过引入一种新的类型的TM，即回归Tsetlin机（RTM）。总之，我们修改了TM的内部推理机制，以便将输入模式转换为单个连续输出，而不是不同的类别。我们通过以下方式实现这一目标：（1）使用TM的合取子句来捕获任意复杂的模式;（2）通过新颖的投票和归一化机制将这些模式映射到连续输出;以及（3）采用更新TM子句的反馈方案来最小化回归误差。反馈方案使用一个新的激活概率函数，稳定更新的条款，而整个系统收敛到一个准确的输入输出映射。RTM的性能进行了评估，使用六个不同的人工数据集，有和没有噪音，与经典Tsetlin机（CTM）和多类Tsetlin机（MTM）。我们的实证结果表明，RTM获得了最好的训练和测试结果的噪声和无噪声数据集，具有较少的条款。这反过来又转化为更高的回归精度，使用更少的计算资源。
2019-06-21 cs.AI cs.LG stat.ML
The Inclusion Depth of Pattern Languages: An Open Problem in Algorithmic Learning Theory
School of Information Technology, Deakin University（信息技术学院，迪金大学）
本文提出模式语言包含深度（最长严格包含链长度）的计算问题，并猜测其公式为2|p| - #var(p) - 1，该问题连接形式语言、组合词论和极限识别学习。
2026-05-28 cs.FL cs.LG
Julia Language in Machine Learning: Algorithms, Applications, and Open Issues
China University of Geosciences (Beijing)（中国地质大学（北京））；University of Naples Federico II（那不勒斯费德里科二世大学）
机器学习正在推动科学和工程领域的发展。一种简单高效的程序设计语言可以加速机器学习在各个领域的应用。目前，最常用于开发机器学习算法的程序设计语言包括Python、MATLAB和C/C++。然而，这些语言都没有很好地平衡效率和简单性。Julia语言是一种快速、易用、开源的程序设计语言，最初是为高性能计算而设计的，可以很好地平衡效率和简单性。本文综述了Julia语言在机器学习中应用的相关研究工作和进展。它首先调查流行的机器学习算法，在Julia语言开发。然后，研究了用Julia语言实现的机器学习算法的应用。最后，它讨论了在机器学习中使用Julia语言时出现的开放问题和潜在的未来方向。
2020-05-17 cs.LG stat.ML
A Machine-learning Based Ensemble Method For Anti-patterns Detection
Polytechnique Montreal（蒙特利尔综合理工学院）；Concordia University（康考迪亚大学）
反模式对于反复出现的设计问题来说是一个糟糕的解决方案。一些实证研究已经强调了它们对程序理解、可维护性以及错误倾向的负面影响。已经提出了各种检测方法来识别它们在源代码中的出现。然而，这些方法只能识别事件的一个子集，并报告大量的误报和漏报。此外，不同方法之间的一致性普遍较低。最近的研究表明，机器学习模型有可能改善这种情况。然而，这样的算法需要大量的人工生成的训练数据，这往往限制了它们在实践中的应用。在本文中，我们提出了SMAD（反模式检测器的智能聚合），一个基于机器学习集成方法来聚合各种反模式检测方法的内部检测规则的基础上。因此，我们的方法使用几个检测工具，从合理数量的训练样本中产生改进的预测。我们实现了SMAD来检测两个著名的反模式：God Class和Feature Envy。我们的实验结果进行了八个Java项目，我们表明：（1）我们的方法明显提高了聚合工具;（2）SMAD显着优于其他集成方法。
2019-10-16 cs.LG cs.SE
Comparing Machine Learning-Centered Approaches for Forecasting Language Patterns During Frustration in Early Childhood
Phillips Academy Andover（菲利普斯学院安多弗）；Pennsylvania State University（宾夕法尼亚州立大学）
当面临自我调节的挑战时，儿童会使用他们的语言来抑制他们的情绪和行为。然而，到目前为止，关于儿童在这些挫折时刻使用什么样的语言模式，还缺乏关键的证据。在本文中，极端梯度提升，随机森林，长短期记忆递归神经网络，弹性网络回归，都被用来预测这些语言模式的儿童。基于这些方法之间的比较分析的结果，研究表明，在处理高维和密集的数据，非常不规则和异常的分布，如在儿童的自我调节模式的情况下，基于决策树的算法能够优于传统的回归和神经网络方法的缺点。
2021-10-29 cs.CL cs.LG
LeanML: A Design Pattern To Slash Avoidable Wastes in Machine Learning Projects
KXY Technologies, Inc.（KXY科技公司）
我们介绍了精益方法在机器学习项目中的首次应用。与精益创业和精益制造类似，我们认为精益机器学习（LeanML）可以大幅削减商业机器学习项目中可避免的浪费，降低投资机器学习能力的商业风险，并在这样做的过程中，进一步民主化机器学习。我们在本文中提出的精益设计模式是基于两个实现。首先，对于广泛的性能度量，可以估计当使用给定的解释变量集$x \in \mathcal{X}$来预测结果$y \in \mathcal{Y}$时可以实现的最佳性能，而无需训练任何预测模型。其次，这样做比学习最好的预测模型更容易、更快、更便宜。我们推导公式表达最好的$R^2$，MSE，分类精度，和对数似然每个观察可实现时，使用$x$预测$y$作为互信息的函数$I\left(y; x\right)$，并可能测量的变化$y$（例如，其香农熵的情况下的分类精度，其方差的情况下回归MSE）。我们说明了LeanML设计模式在广泛的回归和分类问题上的功效，合成和现实生活。
2021-08-12 cs.LG cs.SE stat.ML
Data Ordering Patterns for Neural Machine Translation: An Empirical Study
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
最近的工作表明，训练数据的排序影响神经机器翻译的模型性能。分析了基于课程学习的动态数据排序和数据分片的几种方法的性能增益和更快的收敛速度。在这项工作中，我们提出了经验研究的几个排序方法的训练数据基于不同的指标，并评估其对模型性能的影响。我们的研究结果表明，基于来自预训练模型的困惑分数预先确定训练数据的顺序执行得最好，并且优于每个时期随机洗牌训练数据的默认方法。
2019-09-23 cs.CL cs.LG
Capturing Local and Global Patterns in Procedural Content Generation via Machine Learning
King Digital Entertainment（国王数字娱乐公司）
最近通过机器学习（PCGML）方法的过程内容生成允许从现有内容学习以自动产生类似内容。虽然这些方法能够为不同的游戏（例如，超级马里奥兄弟，毁灭战士，塞尔达，和孩子伊卡洛斯），这是一个开放的问题，以及这些方法可以捕捉大规模的视觉模式，如对称。在本文中，我们提出了匹配三场比赛作为一个域来测试PCGML算法的能力，以产生合适的模式。我们证明了流行的算法，如生成对抗网络在这一领域的斗争，并提出适应，以提高其性能。特别是，我们增加了马尔可夫随机场方法的邻域，不仅考虑到本地，而且还考虑到对称的位置信息。我们进行了几个实证测试，包括用户研究，显示所提出的修改实现的改进，并获得可喜的成果。
2020-05-26 cs.AI cs.LG
The Tsetlin Machine -- A Game Theoretic Bandit Driven Approach to Optimal Pattern Recognition with Propositional Logic
Centre for Artificial Intelligence Research（人工智能研究中心）；University of Agder（阿格德大学）
虽然单个人工神经元很简单，但当在深度网络中互连时，人工神经元提供了最先进的性能。可以说，Tsetlin自动机是一种更简单、更通用的学习机制，能够解决多臂强盗问题。它仅仅依靠一个整数作为记忆，通过递增和递减操作来学习随机环境中的最优行为。本文介绍了由一组Tsetlin自动机组成的Tsetlin机，它用命题公式解决复杂的模式识别问题。为了消除长期存在的信噪比消失的问题，Tsetlin机器使用一种新颖的游戏来编排自动机。此外，输入、模式和输出都表示为比特，而识别和学习依赖于比特操作，从而简化了计算。我们的理论分析建立了纳什均衡的游戏与命题公式，提供最佳的模式识别的准确性。这意味着学习没有局部最优，只有全局最优。在五个基准测试中，与SVM、决策树、随机森林、朴素贝叶斯分类器、逻辑回归和神经网络相比，Tsetlin机器提供了具有竞争力的准确性。我们进一步展示了如何命题公式促进解释。总之，我们相信高精度，可解释性和计算简单性的结合使Tsetlin机成为广泛领域的有前途的工具。
2021-01-02 cs.AI cs.CV cs.LG
Multi-Sensor Data Pattern Recognition for Multi-Target Localization: A Machine Learning Approach
The University of Texas, San Antonio（德克萨斯大学圣安东尼奥分校）
本文提出了一种创新的目标定位学习方法，利用聚类和SVM等算法处理多传感器数据，以提高多目标定位的准确性。
2017-02-28 cs.LG cs.SY eess.SY
A Focus on Neural Machine Translation for African Languages
Explore；Retro Rabbit
非洲语言数量众多、复杂且资源匮乏。机器翻译所需的数据集很难发现，现有的研究也很难复制。对非洲语言的机器翻译关注最少，因此对使用机器翻译技术时出现的问题的研究很少。为了开始解决这些问题，我们训练模型将英语翻译成五种南非官方语言（南非荷兰语、祖鲁语、北苏丹语、塞萨洛尼基语、Xitsonga语），利用现代神经机器翻译技术。获得的结果显示了将神经机器翻译技术用于非洲语言的前景。通过提供可复制的公开数据，代码和结果，本研究旨在为非洲机器翻译的其他研究人员提供一个起点，以进行比较和建立。
2019-06-14 cs.CL cs.LG stat.ML
Reviewing Data Access Patterns and Computational Redundancy for Machine Learning Algorithms
ExaScience Life Lab（埃克萨科学生命实验室）；IMEC（IMEC（微电子与数字创新中心））
机器学习（ML）可能是处理新一代数据的大小和复杂性的首要技术。在本文中，我们分析的手段之一，以提高ML算法的性能是利用数据局部性。由于使用某些硬件技术来提高性能，数据局部性和访问模式通常是计算系统中性能问题的核心。改变访问模式以增加局部性可以显著提高给定算法的性能。此外，重复的数据访问可以被视为数据移动中的冗余。类似地，在计算的重复中也可能存在冗余。这项工作还确定了一些机会，避免这些冗余直接重用计算结果。我们记录的可能性，这种重用在一些选定的机器学习算法，并给出初步的指示性结果，从我们的第一个实验数据访问的改进和算法的重新设计。
2020-01-09 cs.LG stat.ML
Pattern Inversion as a Pattern Recognition Method for Machine Learning
Institute for Control Problems, Russian Academy of Sciences（俄罗斯科学院控制问题研究所）
人工神经网络使用大量的系数，这些系数需要大量的计算能力来进行调整，特别是如果采用深度学习网络的话。然而，存在系数免费的非常快速的索引为基础的技术，例如，在谷歌搜索引擎，在基因组测序等，本文讨论了使用索引为基础的方法进行模式识别。它示出，对于模式识别应用程序，这样的索引方法取代与逆模式的完全倒排文件，这是典型地采用在搜索引擎。这种反演不仅提供自动特征提取，这是深度学习的区别标志，而且与深度学习不同，模式反演支持几乎瞬时的学习，这是系数缺失的结果。本文讨论了一种新的模式变换及其在无监督即时学习中的应用。例子展示了一个视角独立的三维物体，如汽车，对任意背景的识别，飞机发动机的剩余使用寿命的预测，和其他应用。总之，值得注意的是，在神经生理学中，新皮质微柱的功能自1957年以来一直受到广泛的争论。本文假设，在数学上，皮质微柱可以被描述为一个逆模式，物理上作为一个连接乘数扩大关联的输入与相关的模式类。
2021-08-15 cs.CV cs.LG cs.NE
Authentication of Copy Detection Patterns under Machine Learning Attacks: A Supervised Approach
University of Geneva（日内瓦大学）
复制检测模式（CDP）是一项极具吸引力的技术，可让制造商保护其产品免受假冒。CDP保护机制背后的主要假设是，由于数据处理的不平等性，这些在工业打印机上以最小符号大小（1x1）打印的代码无法以足够的精度复制或克隆。然而，以前的工作已经表明，基于机器学习（ML）的攻击可以产生高质量的假货，导致基于传统的基于特征的认证系统的认证准确性降低。虽然深度学习（DL）可以用作身份验证系统的一部分，但据我们所知，之前的工作都没有研究过基于DL的身份验证系统针对1x 1符号大小的CDP上基于ML的攻击的性能。在这项工作中，我们研究这样的性能假设一个监督学习（SL）设置。
2022-06-25 cs.CR cs.LG
Machine Learning Techniques for Pattern Recognition in High-Dimensional Data Mining
Northeastern University（东北大学）
本文提出一种基于SVM的频繁模式数据挖掘算法，通过将挖掘任务转化为分类问题并利用核函数映射，有效解决了高维稀疏数据下的性能瓶颈，实验证明其在支持度、置信度和提升度上显著优于传统模型。
2024-12-20 cs.AI cs.LG
Uncovering More Shallow Heuristics: Probing the Natural Language Inference Capacities of Transformer-Based Pre-Trained Language Models Using Syllogistic Patterns
University of St.Gallen（圣加仑大学）
在本文中，我们将探讨基于transformer的预训练语言模型（PLM）所使用的浅层语法，这些模型针对自然语言推理（NLI）进行了微调。为此，我们基于三段论构建或拥有数据集，并在我们的数据集上评估许多模型的性能。我们发现的证据表明，该模型严重依赖于某些浅的物理学，拿起对称性和不对称性之间的前提和假设。我们认为，在我们的研究中，这正在成为一个活跃的辩论在该领域的话题，缺乏概括性，这意味着PLM目前没有学习NLI，而是虚假的语法。
2022-01-19 cs.CL cs.LG
Wild Patterns: Ten Years After the Rise of Adversarial Machine Learning
University of Cagliari（卡利亚里大学）；Pluribus One
基于学习的模式分类器，包括深度网络，在从计算机视觉到网络安全的多个应用领域中表现出令人印象深刻的性能。然而，也有研究表明，在训练或测试时精心设计的对抗性输入扰动很容易颠覆他们的预测。在对抗性机器学习的研究领域中，已经研究了机器学习对这种野生模式（也称为对抗性示例）的脆弱性以及合适的对策的设计。在这项工作中，我们提供了一个全面的概述，在过去十年及以后的发展，从开拓性的，早期的工作，非深度学习算法的安全性到最近的工作，旨在了解深度学习算法的安全属性，在计算机视觉和网络安全任务的背景下。我们报告了这些明显不同的工作之间的有趣联系，强调了与机器学习算法的安全评估相关的常见误解。我们回顾了为此定义的主要威胁模型和攻击，并讨论了当前工作的主要局限性，以及未来设计更安全的学习算法所面临的挑战。
2018-07-19 cs.CR cs.CV cs.GT
Symbolic Graph Intelligence: Hypervector Message Passing for Learning Graph-Level Patterns with Tsetlin Machines
本文提出一种基于稀疏二值超向量与 Tsetlin 机器的多层符号图分类框架，通过结构化消息传递和分层绑定保留图层次语义，并在 TUDataset 上取得具有竞争力的准确率与局部可解释性。
2025-07-22 cs.AI cs.LG
Benchmarking machine learning for bowel sound pattern classification from tabular features to pretrained models
University of Oldenburg（奥尔登堡大学）；Fraunhofer IDMT（弗劳恩霍夫集成电路与微系统技术研究所）
本研究利用16名健康受试者的肠鸣音数据集，对比表格特征、CNN及预训练模型，发现预训练模型（HuBERT和Wav2Vec 2.0）在检测和分类肠鸣音模式上表现最优，AUC均达0.89，为胃肠诊断应用奠定基础。
2025-02-21 cs.LG cs.SD eess.AS
Should we Stop Training More Monolingual Models, and Simply Use Machine Translation Instead?
Peltarion；RISE
大多数NLP的工作都假设用母语开发解决方案是可取的。因此，有一个强大的趋势，建立本地语言模型，即使是低资源的语言。本文对这一发展提出了质疑，并探讨了将数据简单地翻译成英语的想法，从而能够使用预先训练的大规模英语语言模型。我们的经验表明，一个大的英语语言模型加上现代机器翻译优于本地语言模型在大多数斯堪的纳维亚语言。芬兰语是个例外，我们认为这是由于翻译质量低劣。我们的研究结果表明，机器翻译是一种成熟的技术，这提出了一个严重的反论点训练本地语言模型的低资源语言。因此，本文力求提出一个具有煽动性但又很重要的观点。随着英语语言模型以前所未有的速度改进，这反过来又改进了机器翻译，从经验和环境的角度来看，将数据从低资源语言翻译成英语比为这些语言构建语言模型更有效。
2021-04-21 cs.CL cs.LG
Neural Machine Translation for South Africa's Official Languages
EXPLORE Data Science Academy（EXPLORE数据科学学院）
神经机器翻译（NMT）的最新进展为许多基于欧洲的翻译任务带来了最先进的结果。然而，尽管取得了这些进展，但很少有人关注将这些方法应用于非洲语言。在本文中，我们试图通过在英语和南非其余10种官方语言之间创建NMT基准BLEU分数来解决这一差距。
2020-05-08 cs.CL cs.LG
Power Grid Behavioral Patterns and Risks of Generalization in Applied Machine Learning
Carnegie Mellon University（卡内基梅隆大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
本文通过分析真实电网运行数据揭示时变拓扑、负荷与发电的时空模式，并评估现有机器学习模型因忽视这些领域特征而产生的泛化风险。
2023-06-01 cs.LG cs.SY eess.SY
Machine Learning for Drug Overdose Surveillance
Carnegie Mellon University（卡内基梅隆大学）
我们描述了两种最近提出的机器学习方法，用于发现致命意外药物过量的新趋势。高斯过程子集扫描能够早期检测时空数据中出现的模式，考虑到数据的非iid性质以及检测微妙模式需要跨多个空间区域和多个时间步长整合信息的事实。我们将这种方法应用于纽约市大都市区每月阿片类药物过量死亡的17年县汇总数据，与典型的异常检测方法相比，发现模式的实用性具有明显的优势。检测和表征对数据亚群产生差异性影响的新出现的过量模式，包括地理、人口统计学和行为模式（例如，涉及哪些药物组合），我们将多维张量扫描应用于来自宾夕法尼亚州阿勒格尼县的8年病例水平过量数据。我们发现了以前未识别的过量模式，这些模式揭示了不寻常的人口统计学集群，显示了药物立法的影响，并展示了早期发现和有针对性干预的潜力。这些早期发现过量模式的方法可以为预防和应对工作提供信息，并了解政策变化的影响。
2017-10-06 cs.CY cs.LG stat.ML
Neural Activation Patterns Across Language Model Architectures: A Comprehensive Analysis of Cognitive Task Performance
Research Division, BrightMind AI（BrightMind AI 研究部）；Texas Tech University（德克萨斯理工大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文分析了六种大型语言模型架构在十二种认知任务上的神经激活模式，揭示了编码器和解码器架构在处理不同任务时的差异，发现数学推理产生最高注意力熵，解码器模型在稀疏性上更高。
2026-05-14 cs.CL cs.LG
POSSE: Patterns of Systems During Software Encryption
PeopleTec, Inc.（PeopleTec公司）
这项研究使用性能监控和统计机器学习来重塑勒索软件检测。该工作建立了一个测试环境，有41个输入变量进行标记，并比较了三种计算状态：空闲，加密和压缩。此行为检测器的一个共同目标是预测并缩短使用加密锁定硬盘驱动器的最后一步以及将文件系统返回其基线的付款要求。比较机器学习技术，线性回归优于随机森林、决策树和支持向量机（SVM）。所有算法都以大于91%的准确度对3种可能的类别（空闲、加密和压缩）进行分类。
2021-09-24 cs.CR cs.LG
MotePy: A domain specific language for low-overhead machine learning and data processing
提出了一种领域专用语言（DSL），命名为MotePy。DSL为时间受限或存储器受限系统中的ML/数据处理提供了具有低开销的高级语法。DSL-to-C编译器有一个新颖的静态内存分配器，它跟踪对象的生存期并重用静态内存，我们称之为编译器管理的堆。
2020-11-12 cs.LG cs.PL
Designing Machine Learning Toolboxes: Concepts, Principles and Patterns
UCL（伦敦大学学院）；University of Auckland（奥克兰大学）；INSEAD（欧洲工商管理学院）
scikit-learn或Weka等机器学习（ML）和人工智能工具箱是当代数据科学实践的主力-它们的核心角色由可用但功能强大的设计实现，这些设计允许轻松指定，训练和验证复杂的建模管道。然而，尽管它们普遍取得了成功，但其构造中的关键设计原则从未得到充分分析。在本文中，我们试图提供AI建模工具箱设计中的关键模式的概述，从软件工程领域，当代工具箱中发现的实现模式以及我们自己开发ML工具箱的经验中获得灵感。特别是，我们为AI/ML领域开发了一个概念模型，其核心是一个新的类型系统，称为科学类型。科学类型根据我们通常使用它们执行的操作集（即它们的接口）及其统计属性来捕获ML工作流中常见元素的科学含义。从我们的概念分析中，我们得出了一套设计原则和模式。我们说明，我们的分析不仅可以解释现有的工具箱的设计，但也指导新的开发。我们希望我们的贡献是未来工具箱工程师的最先进的参考，最佳实践的总结，ML设计模式的集合，可能对未来的研究有用，并且可能是构建AI的更高级别编程范式的第一步。
2021-01-13 cs.LG cs.SE
Closed pattern mining of interval data and distributional data
NukkAI；Université Sorbonne Paris Nord（巴黎北索邦大学）；Muséum d’Histoire Naturelle（国家自然历史博物馆）
我们讨论了模式语言的封闭模式挖掘和学习的区间数据和分布数据。我们首先介绍模式语言依赖于对交叉为基础的约束或对包含为基础的约束，或两者兼而有之，适用于区间。我们讨论了编码的区间模式，从而允许使用封闭的项集挖掘和正式的概念分析程序的项集。我们在聚类和监督学习任务上实验这些语言。然后，我们将展示如何扩展的方法来解决分布式数据。
2022-12-09 cs.AI cs.LG
Towards Neural Machine Translation for African Languages
Retro Rabbit（Retro Rabbit公司）；CSIR（南非科学与工业研究理事会）
鉴于南非的教育正处于危机之中，必须探讨提高和维持高质量、最新教育的战略。在教育在线迁移过程中，有必要为资源匮乏的当地语言提供机器翻译。本文旨在促进当前神经机器翻译（NMT）技术在低资源本地语言中的使用。本文展示了使用Autshumato数据集进行英语到西班牙语翻译的最新性能。Transformer架构的使用以5.33 BLEU点击败了以前的技术。这证明了将当前的NMT技术用于非洲语言的前景。
2018-11-13 cs.CL cs.LG stat.ML
Responsible Design Patterns for Machine Learning Pipelines
Polytechnique Montreal（蒙特利尔理工学院）；CertKOR AI（CertKOR人工智能公司）；Tabiah University（塔比阿大学）
本文提出将负责任设计模式融入机器学习流水线的综合框架，通过专家调查识别新模式并经真实场景验证，以降低算法偏见等风险并指导负责任AI部署。
2023-06-07 cs.AI cs.LG cs.SE
Zero-Shot Language Transfer vs Iterative Back Translation for Unsupervised Machine Translation
这项工作的重点是比较低资源语言对上的机器翻译的不同解决方案，即zero-shot迁移学习和无监督机器翻译。我们讨论了数据大小如何影响无监督MT和迁移学习的性能。此外，我们还研究了数据的域如何影响无监督MT的结果。在这个项目中执行的所有实验的代码都可以在Github上访问。
2021-03-31 cs.AI cs.CL cs.LG
Application of machine learning in grain-related clustering of Laue spots in a polycrystalline energy dispersive Laue pattern
The University of Siegen（锡根大学）
本文将EDLD中晶粒对应劳厄反射的识别转化为无监督聚类问题，结合层次聚类与K-means，并用肘部法确定聚类数，在镍丝模拟和实验数据上验证了方法的有效性。
2024-12-16 cond-mat.mtrl-sci cs.LG physics.app-ph
MLGaze: Machine Learning-Based Analysis of Gaze Error Patterns in Consumer Eye Tracking Systems
École Normale Supérieure de Lyon（里昂高等师范学院）
分析眼动仪的注视精度特性是一项关键任务，因为其注视数据经常受到各种消费者眼动仪应用中的非理想操作条件的影响。在这项研究中，商业眼动跟踪设备产生的注视错误模式在机器学习算法（如分类器和回归模型）的帮助下进行了研究。凝视数据是在多种条件下从一组参与者中收集的，这些条件通常会影响在桌面和手持平台上操作的眼动仪。这些条件（这里称为误差源）包括用户距离、头部姿势和眼睛跟踪器姿势变化，并且所收集的注视数据被用于训练分类器和回归模型。可以看出，虽然通过目视检查或数据统计几乎不可能区分不同误差源对注视数据特征的影响，但机器学习模型成功地识别了不同误差源的影响并预测了由于这些条件而导致的注视误差水平的变化。本研究的目的是调查机器学习方法对注视错误模式的检测和预测的有效性，这将使我们能够深入了解眼动仪在不受约束的操作条件下的数据质量和可靠性。本研究中采用的所有机器学习方法的编码资源都包含在一个名为MLGaze的开放存储库中，以允许研究人员使用来自他们自己的眼动仪的数据复制本文中提出的原理。
2020-05-07 cs.CV cs.HC cs.LG
Neural Machine Translation System of Indic Languages -- An Attention based Approach
Uka Tarsadia University（乌卡·塔萨迪亚大学）
神经机器翻译（NMT）是一种新的、有效的翻译技术，与传统的机器翻译技术相比，NMT有了显著的改进。建议的神经机器翻译模型开发的古吉拉特语包含编码器-解码器与注意力机制。在印度，几乎所有的语言都起源于他们的祖先语言--梵语。它们具有不可避免的相似性，包括词汇和命名实体的相似性。翻译成印度语一直是一项具有挑战性的任务。在本文中，我们介绍了神经机器翻译系统（NMT），它可以有效地翻译印地语和古吉拉特语等印度语言，这些语言总共覆盖了该国58.49%以上的使用者。我们已经比较了我们的NMT模型的性能与自动评估矩阵，如BLEU，困惑和TER矩阵。我们的网络与谷歌翻译的比较也被提出，它在英语-古吉拉特语翻译上以6 BLEU分数的优势胜出。
2020-02-02 cs.CL cs.LG stat.ML
Benchmarking Neural Machine Translation for Southern African Languages
Explore Data Science Academy（探索数据科学学院）；Retro Rabbit（Retro Rabbit公司）
与主要的西方语言不同，大多数非洲语言的资源都非常少。此外，确实存在的资源往往是分散的，难以获得和发现。因此，现有研究的数据和代码很少共享。这导致了复制报告结果的斗争，并且几乎没有公开的非洲机器翻译模型基准。为了开始解决这些问题，我们在公开的数据集上为5种南部非洲语言训练了神经机器翻译模型。提供了用于训练模型并在新发布的评估集上评估模型的代码，目的是促进南部非洲语言领域的未来研究。
2019-06-17 cs.CL cs.LG stat.ML
