Fraud Analytics Using Machine-learning & Engineering on Big Data (FAME) for Telecom
Indian School of Business（印度商学院）
针对电信欺诈损失严重且模式快速变化的问题，提出融合自适应数据挖掘与大数据技术的FAME工业化方案，在超1TB呼叫详细记录上实现国际收入分成欺诈检测且误报率低于5%。
2023-10-31 cs.AI cs.DC cs.LG
Rat big, cat eaten! Ideas for a useful deep-agent protolanguage
Facebook AI Research（Facebook人工智能研究）；Catalan Institution for Research and Advanced Studies（加泰罗尼亚研究与高等研究学院 (ICREA) （注：此处严格按机构名直译，实际ICREA通常译为加泰罗尼亚研究与高等教育机构））
深度代理社区开发自己的类语言通信协议是AI中的一个热门（或至少是温暖）话题。这样的代理在机器-机器和人机交互场景中非常有用，早在它们进化出像人类语言一样复杂的协议之前。在这里，我提出了一小部分我们应该关注的优先事项，如果我们想尽快到达一个阶段，深度代理会说一种有用的原始语言。
2020-03-17 cs.AI cs.CL cs.LG
VDMS: Efficient Big-Visual-Data Access for Machine Learning Workloads
Intel Labs（英特尔实验室）
我们引入了可视化数据管理系统（VDMS），它可以更快地访问大可视化数据并增加对可视化分析的支持。这是通过通过存储为图形的元数据搜索相关的视觉数据来实现的，并通过新的机器友好的存储格式实现对视觉数据的更快访问。VDMS与现有的大规模照片服务、视频流和文本大数据管理系统不同，因为其主要关注于支持使用视觉数据（图像、视频和特征向量）的机器学习和数据分析管道，将这些视为第一类实体。我们描述了如何通过其用户友好的界面使用VDMS，以及它如何通过机器学习管道处理医学图像来实现丰富而高效的视觉分析。我们展示了在可比设置的复杂查询中2倍的改进性能。
2018-12-11 cs.DB cs.LG
Quantum support vector machine for big data classification
Massachusetts Institute of Technology（麻省理工学院）；Google Research（谷歌研究院）
监督机器学习是基于已经分类的训练示例对新数据进行分类。在这项工作中，我们证明了支持向量机，一种优化的二元分类器，可以在量子计算机上实现，其复杂度在向量大小和训练示例数量上是对数的。在经典采样算法需要多项式时间的情况下，可以获得指数加速。这种量子大数据算法的核心是一种非稀疏矩阵求幂技术，用于有效地执行训练数据内积（内核）矩阵的矩阵求逆。
2014-07-10 cs.LG quant-ph
Bayesian Nonlinear Support Vector Machines for Big Data
Humboldt University of Berlin（柏林洪堡大学）；G+J Digital Products Hamburg（汉堡G+J数字产品公司）
我们提出了一种快速推理方法贝叶斯非线性支持向量机，利用随机变分推断和诱导点。我们的实验表明，该方法比竞争贝叶斯方法更快，并且可以轻松扩展到数百万个数据点。它提供了比频率论竞争对手更多的功能，例如准确的预测不确定性估计和自动超参数搜索。
2017-07-18 cs.LG stat.ML
A survey on Big Data and Machine Learning for Chemistry
University of São Paulo（圣保罗大学）；Dublin City University（都柏林城市大学）
在这里，我们回顾了利用大数据和机器学习（ML）的化学前沿研究和创新方面，这两个计算机科学领域结合起来产生机器智能。ML可以加速复杂化学问题的解决，甚至可以解决原本不容易解决的问题。但机器学习的潜在好处是以大数据生产为代价的;也就是说，为了学习，算法需要大量不同性质和不同来源的数据，从材料属性到传感器数据。在调查中，我们提出了未来发展的路线图，重点是材料发现和化学传感，以及物联网（IoT）的背景下，这两个领域都是大数据背景下ML的突出研究领域。除了概述最新进展外，我们还详细阐述了大数据和ML应用于化学的概念和实际局限性，概述了过程，讨论了陷阱，并回顾了成功和失败的案例。
2019-04-23 cs.LG physics.chem-ph
Big Data Analytics in Bioinformatics: A Machine Learning Perspective
Tezpur University（提斯普尔大学）
生物信息学研究的特点是大量和增量的数据集和复杂的数据分析方法。生物信息学中使用的机器学习方法是迭代和并行的。这些方法可以扩展到使用分布式和并行计算技术来处理大数据。通常，大数据工具以批处理模式执行计算，并且没有针对迭代处理和操作之间的高数据依赖性进行优化。近年来，并行、增量和多视角的机器学习算法被提出。类似地，基于图的架构和内存中的大数据工具已经被开发出来，以最大限度地减少I/O成本并优化迭代处理。然而，对于许多重要的生物信息学问题，缺乏标准的大数据架构和工具，例如快速构建共表达和调控网络以及显著模块识别，检测不断增长的蛋白质-蛋白质相互作用数据中的复合物，快速分析大量DNA，RNA和蛋白质序列数据，以及快速查询增量和异构疾病网络。本文讨论了生物信息学中的几个大数据问题所带来的问题和挑战，并概述了最新的技术水平和未来的研究机会。
2015-06-15 cs.CE cs.LG
When Gaussian Process Meets Big Data: A Review of Scalable GPs
Nanyang Technological University（南洋理工大学）
大数据带来的大量信息以及不断发展的计算机硬件鼓励机器学习社区的成功故事。与此同时，它提出了挑战的高斯过程（GP）回归，一个著名的非参数和可解释的贝叶斯模型，它遭受立方复杂性的数据大小。为了在保持期望的预测质量的同时提高可缩放性，已经提出了各种可缩放GP。但是，它们尚未得到全面的审查和分析，以便学术界和工业界都能很好地理解。由于数据量的爆炸性增长，GP社区对可扩展GP的审查是及时和重要的。为此，本文致力于审查国家的最先进的可扩展的GP涉及两个主要类别：全球近似蒸馏的整个数据和局部近似划分的数据子空间学习。特别地，对于全局近似，我们主要关注稀疏近似，包括修改先验但执行精确推理的先验近似，保留精确先验但执行近似推理的后验近似，以及利用核矩阵中的特定结构的结构化稀疏近似;对于局部近似，我们强调专家的混合/乘积，其从多个局部专家进行模型平均以提高预测。为了提出一个完整的审查，最近的进展，以提高可扩展性和能力的可扩展的全球定位系统进行审查。最后，扩展和开放的问题，可扩展的GP在各种情况下的实施进行了审查和讨论，以激发新的想法，为未来的研究途径。
2019-04-09 cs.LG stat.ML
Machine learning methods fail to provide cohesive atheoretical construction of personality traits from semantic embeddings
Monash University（莫纳什大学）
研究通过分析一百万条Reddit评论，比较了基于机器学习的自下而上人格模型与Big Five模型，发现机器学习聚类缺乏心理测量连贯性，未能超越Big Five的描述效用，表明机器学习无法替代既定心理学理论。
2025-10-10 cs.AI cs.CL cs.HC
Text Classification Using Hybrid Machine Learning Algorithms on Big Data
Nnamdi Azikiwe University（纳姆迪·阿齐基韦大学）；Federal Polytechnic Idah（伊达联邦理工学院）
最近，来自不同在线平台的数据出现了前所未有的增长，这些平台在数量、速度、种类和准确性（4V）方面对大数据做出了贡献。鉴于大数据的这种非结构化性质，执行分析以提取有意义的信息目前是大数据分析的一个巨大挑战。收集和分析非结构化文本数据使决策者能够研究我们社交媒体平台上评论/帖子的升级。因此，需要自动大数据分析来克服来自数字媒体平台的这些非结构化数据集的噪声和不可靠性。然而，当前使用的机器学习算法是性能驱动的，其关注于基于从训练样本学习的已知属性的分类/预测准确性。对于大型数据集中的学习任务，已知大多数机器学习模型需要高计算成本，这最终导致计算复杂性。在这项工作中，两个监督机器学习算法结合文本挖掘技术，产生一个混合模型，其中包括朴素贝叶斯和支持向量机（SVM）。这是为了提高所获得的结果的效率和准确性，并且还为了降低计算成本和复杂性。该系统还提供了一个开放的平台，一群有共同兴趣的人可以分享他们的评论/消息，这些评论自动分类为合法或非法。这提高了用户之间的对话质量。混合模型是使用WEKA工具和Java程序设计语言开发的。结果表明，混合模型的准确率为96.76%，而朴素贝叶斯模型和支持向量机模型的准确率分别为61.45%和69.21%。
2021-03-30 cs.AI cs.CL cs.IR
Big-Data Science in Porous Materials: Materials Genomics and Machine Learning
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
通过将金属节点与有机连接体相结合，我们可以潜在地合成数百万种可能的金属有机框架（MOFs）。目前，我们拥有超过一万种合成材料和数百万种计算机预测材料的库。事实上，我们有这么多的材料打开了许多令人兴奋的途径，以定制一种最适合特定应用的材料。然而，从实验和计算的角度来看，我们只是有太多的材料使用蛮力技术筛选。在这篇综述中，我们展示了拥有如此多的材料使我们能够使用大数据方法作为一种强大的技术来研究这些材料并发现复杂的相关性。本文的第一部分介绍了大数据科学的原理。我们强调了数据收集的重要性，增加小数据集的方法，如何选择合适的训练集。这篇评论的一个重要组成部分是用于在特征空间中表示这些材料的不同方法。该评论还包括对不同ML技术的概述，但由于多孔材料中的大多数应用都使用监督ML，因此我们的评论重点关注监督ML的不同方法。特别是，我们回顾了优化ML过程的不同方法以及如何量化不同方法的性能。在第二部分中，我们回顾了ML的不同方法如何应用于多孔材料。特别是，我们讨论了在气体储存和分离领域的应用，这些材料的稳定性，它们的电子特性，以及它们的合成。主题的范围说明了可以用大数据科学研究的各种各样的主题。鉴于科学界对ML的兴趣越来越大，我们预计这一名单将在未来几年迅速扩大。
2020-06-08 cond-mat.mtrl-sci cs.LG
Impact of Biases in Big Data
University of Luxembourg（卢森堡大学）；University of Quebec in Montreal（蒙特利尔魁北克大学）
大数据驱动的机器学习的基本范式反映了从简单分析更多数据中得出更好结论的愿望，而无需查看理论和模型。拥有更多的数据总是有帮助的吗？1936年，《文学文摘》（The Literary Digest）收集了230万份问卷，以预测当年美国总统大选的结果。这个大数据预测的结果被证明是完全错误的，而乔治·盖洛普只需要3000个精心挑选的人就可以做出准确的预测。在机器学习中，当训练集和测试集的分布不同时，往往会产生偏差。在这项工作中，我们对机器学习中（大）数据集的不同类型的偏见进行了回顾。我们提供了机器学习中最常见的偏差的定义和讨论：类不平衡和协变量偏移。我们还展示了如何量化和纠正这些偏见。这项工作是一个介绍性的文本，研究人员和从业者变得更加意识到这个主题，从而获得更可靠的模型，为他们的学习问题。
2018-03-02 cs.LG
Design and Optimization of Big Data and Machine Learning-Based Risk Monitoring System in Financial Markets
Washington University in St. Louis（圣路易斯华盛顿大学）；Columbia University（哥伦比亚大学）；Northeastern University（东北大学）
本文设计并优化了一个基于大数据和机器学习的四层架构风险监控系统，采用LSTM、随机森林、梯度提升树和Apache Flink等技术，显著提升了金融机构风险管理的效率与准确性，尤其在市场崩盘风险预警方面表现卓越。
2024-07-28 cs.LG q-fin.RM
Leveraging Machine Learning and Big Data for Smart Buildings: A Comprehensive Survey
Western Michigan University（西密歇根大学）；Information Technology University（信息技术大学）
未来的建筑将为居民提供新的便利、舒适和效率。随着技术的深入，信息处理充分融入人们的日常生活活动和对象，人们的生活方式将发生变化。智能建筑的未来期望包括使居民的体验尽可能简单和舒适。智能建筑设备和设备生成和捕获的大量流数据包含有价值的信息，需要挖掘这些信息以促进及时采取行动和更好地决策。机器学习和大数据分析无疑将在实现此类智能服务的交付方面发挥关键作用。在本文中，我们调查了智能建筑领域，特别关注机器学习和大数据分析技术的作用。该调查还回顾了智能建筑服务发展的当前趋势和面临的挑战。
2019-05-19 cs.CY cs.LG stat.ML
Correct classification for big/smart/fast data machine learning
表（数据库）/关系数据库大/智能/快速数据的分类机器学习是预测分析和从数据中提取有价值信息的最重要任务之一。它是现在在数据科学和/或人工智能下理解的核心应用技术。广泛使用的决策树（随机森林）和很少使用的基于规则的PRISM、VFST等分类器是理论上正确的布尔函数最小化的经验替代。布尔函数最小化算法的研究始于Edward Veitch的1952年。自那以后，广泛的科学/工业界做了很大的努力来寻找布尔函数最小化的可行解决方案。在本文中，我们建议考虑表数据分类从数学的角度来看，作为布尔函数的最小化。它表明，数据表示可以转换为布尔函数的形式，以及如何使用已知的算法。为简单起见，开发中使用了二进制输出函数，这为多值输出开发打开了大门。
2016-09-27 cs.IT cs.LG math.IT
A Survey on Data Collection for Machine Learning: a Big Data -- AI Integration Perspective
KAIST（韩国科学技术院）
数据汇集是机器学习中的一个主要瓶颈，也是多个社区中的一个活跃研究课题。数据汇集最近成为一个关键问题，主要有两个原因。首先，随着机器学习的使用越来越广泛，我们看到新的应用程序不一定有足够的标记数据。其次，与传统的机器学习不同，深度学习技术自动生成特征，这节省了特征工程成本，但反过来可能需要更大量的标记数据。有趣的是，最近的数据汇集研究不仅来自机器学习、自然语言和计算机视觉社区，而且由于处理大量数据的重要性，也来自数据管理社区。在本调查中，我们从数据管理的角度对数据汇集进行了全面的研究。数据汇集主要包括数据采集、数据标记和现有数据或模型的改进。我们提供了这些操作的研究环境，提供了何时使用哪种技术的指导方针，并确定了有趣的研究挑战。机器学习和数据管理的集成用于数据汇集是大数据和人工智能（AI）集成的更大趋势的一部分，并为新的研究开辟了许多机会。
2019-08-12 cs.LG stat.ML
A Survey of Big Data Machine Learning Applications Optimization in Cloud Data Centers and Networks
这篇调查文章回顾了与在云数据中心和网络中部署和优化大数据应用程序以及机器学习算法相关的挑战。MapReduce编程模型及其广泛使用的开源平台Hadoop正在开发大量基于云的服务和大数据应用程序。因此，MapReduce和Hadoop引入了创新、高效和加速的密集型计算和分析。这些服务通常利用地理分布的数据中心内的商品集群，并提供具有成本效益和弹性的解决方案。然而，迁移、存储和处理大数据的数据中心之间和内部的流量不断增加，这正在成为一个瓶颈，需要能够减少拥塞和功耗的增强型基础设施。此外，具有请求各种大数据服务的多个租户的企业面临的挑战是，需要以降低的运行成本和功耗来优化其资源的租赁，同时避免利用不足或过度利用。在本调查中，我们总结了各种大数据编程模型和应用程序的特点，并对云计算基础设施以及虚拟化和软件定义网络等相关技术进行了审查，这些技术越来越多地支持大数据系统。此外，我们还简要回顾了数据中心的拓扑结构、路由协议和流量特征，并强调了大数据对云数据中心及其支持网络的影响。在各种应用程序性能指标和/或基础设施能效方面，我们致力于优化处理大数据的系统。最后，提出了一些启示和未来的研究方向。
2019-10-01 cs.DC cs.LG cs.NI
Occams Razor for Big Data? On Detecting Quality in Large Unstructured Datasets
Centre National de la Recherche Scientifique（法国国家科学研究中心）；CNRS-Strasbourg University（法国国家科学研究中心-斯特拉斯堡大学）；NTNU Trondheim（特隆赫姆挪威科技大学）；Institute of Applied Informatics（应用信息学研究所）；University of South Bohemia Czech Republic（捷克南波希米亚大学）；Kogakkan University（皇学馆大学）；University of Applied Sciences Upper Austria（上奥地利应用科学大学）；Namics—A Merkle Company（Namics——Merkle旗下公司）
检测大型非结构化数据集的质量需要远远超出人类感知和通信能力限制的能力，因此，数据科学中出现了一种日益复杂的分析解决方案来应对这一问题的趋势。这种分析复杂性的新趋势对科学中的简约原则或奥卡姆剃刀提出了严峻的挑战。这篇综述文章结合了物理学、计算科学、数据工程和认知科学等各个领域的见解，回顾了大数据的具体属性。检测数据质量的问题，而不会失去简约的原则，然后突出的具体例子的基础上。用于数据聚类的计算构建块方法可以帮助在最小化的计算时间内处理大型非结构化数据集，并且可以通过相对简单的无监督机器学习算法从大型非结构化图像或视频数据集中快速地提取含义。为什么我们仍然大量缺乏专业知识，明智地利用大数据提取相关信息的特定任务，识别模式，生成新的信息，或存储和进一步处理大量的传感器数据，然后审查;例子说明为什么我们需要主观的观点和务实的方法来分析大数据的内容提出。该评论总结了东西方之间的文化差异可能如何影响大数据分析的过程，以及旨在应对不久的将来大数据泛滥的日益自主的人工智能的发展。
2020-11-12 cs.DB cs.LG
The Landscape of Modern Machine Learning: A Review of Machine, Distributed and Federated Learning
Pacific Northwest National Laboratory（太平洋西北国家实验室）
本文综述现代机器学习与深度学习，概览先进算法、应用及框架，并涵盖并行分布式学习、深度学习和联邦学习，作为该领域入门参考。
2023-12-05 cs.AI cs.DC cs.LG
Deep Learning and Machine Learning: Advancing Big Data Analytics and Management with Design Patterns
Georgia Institute of Technology（佐治亚理工学院）；Indiana University（印第安纳大学）；Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）；University of Hawaii（夏威夷大学）；National Taiwan Normal University（台湾师范大学）；Kyoto University（京都大学）；Rutgers University（罗格斯大学）；AppCubic；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Purdue University（普渡大学）；Emory University（埃默里大学）
本书通过设计模式优化大数据分析系统开发与维护，提供高效、可重用的系统构建方法。
2025-12-22 cs.LG cs.SE
Machine Learning and Big Scientific Data
本文回顾了在英国国家实验室的卢瑟福阿普尔顿实验室在牛津附近的哈维尔网站的新一代大规模实验所产生的实验数据的巨大增长所带来的一些挑战。这样的“大科学数据”来自钻石光源和电子显微镜设施、ISIS中子和μ子设施以及英国中央激光设施。越来越多的科学家现在需要使用先进的机器学习和其他人工智能技术来自动化部分数据管道，并帮助在数据分析中发现新的科学发现。对于商业上重要的应用，如对象识别、自然语言处理和自动翻译，深度学习已经取得了巨大的突破。谷歌的DeepMind现在也利用深度学习技术开发了他们的AlphaFold工具，对蛋白质折叠进行预测。值得注意的是，他们已经能够在这个特定的科学问题上取得一些惊人的成果。深度学习对其他科学问题也能产生类似的变革吗？在简要回顾了卢瑟福阿普尔顿实验室机器学习的一些初步应用之后，我们重点讨论了人工智能在推进材料科学方面的挑战和机遇。最后，我们讨论了使用来自许多不同科学领域的大科学数据开发一些现实的机器学习基准的重要性。最后，我们的“SciML”基准测试套件和研究挑战，这些基准测试将使一些初步的例子。
2019-10-12 cs.LG physics.comp-ph
Machine Learning Practices Outside Big Tech: How Resource Constraints Challenge Responsible Development
Massachusetts Institute of Technology（麻省理工学院）
来自不同职业和背景的从业者越来越多地使用机器学习（ML）方法。尽管如此，对ML从业者的研究通常吸引来自大型科技和学术界的人群，因为研究人员更容易进入这些社区。通过这种选择偏见，过去的研究往往排除了更广泛、资源较少的ML社区-例如，在初创公司、非科技公司和公共部门工作的从业者。这些从业者与他们的大科技同行有许多相同的ML开发困难和道德难题;然而，他们的经验受到额外的研究不足的挑战，这些挑战来自于在有限的资源下部署ML，存在风险增加，以及无法访问内部研究团队。我们贡献了一个定性分析的17个访谈与利益相关者的组织，在以前的研究中较少代表。我们发现了一些紧张局势，这些组织的资源限制-隐私和无处不在，资源管理和性能优化，访问和垄断之间的紧张关系。学术界对这些从业者的关注可以促进对ML局限性的更全面的理解，因此有助于制定研究议程，以促进所有人的负责任ML开发。
2021-10-06 cs.CY cs.LG
High-Performance Serverless Computing: A Systematic Literature Review on Serverless for HPC, AI, and Big Data
Department of Computer Science, University of Pisa（帕尔米斯大学计算机科学系）；ISTI – National Research Council（国家研究理事会ISTI）
本文系统综述了122篇论文，提出八个研究方向和九个用例领域，分析了服务器less计算在HPC、AI和大数据中的应用趋势和合作网络。
2026-01-14 cs.DC cs.LG
Research and Design of a Financial Intelligent Risk Control Platform Based on Big Data Analysis and Deep Machine Learning
Northeastern University（东北大学）；D'Amore-McKim School of Business（达莫尔-麦金商学院）
针对美国金融领域传统风控模式无法适配复杂业务需求的问题，本文结合大数据挖掘与实时流处理技术，设计实现了可整合内外部数据、精准识别风险的金融智能风控平台。
2024-09-16 cs.LG q-fin.RM
The Bearable Lightness of Big Data: Towards Massive Public Datasets in Scientific Machine Learning
Stanford University（斯坦福大学）；Sandia National Laboratories（桑迪亚国家实验室）；SLAC National Accelerator Laboratory（SLAC国家加速器实验室）
一般来说，大型数据集使深度学习模型能够以良好的准确性和可推广性执行。然而，由于维度和存储限制，大量高保真模拟数据集（来自分子化学，天体物理学，计算流体动力学（CFD）等）可能具有挑战性。有损压缩算法可以帮助减轻存储限制，只要保持整体数据保真度。为了说明这一点，我们证明了在千万亿次CFD模拟数据上训练和测试的深度学习模型对语义分割问题中有损压缩期间引入的错误具有鲁棒性。我们的研究结果表明，有损压缩算法提供了一个现实的途径，为暴露高保真的科学数据开放的源数据库建设社区数据集。在本文中，我们概述，构建和评估建立大数据框架的要求，在https：//blastnet.github.io/中演示，用于科学机器学习。
2022-07-25 cs.LG physics.flu-dyn
Big Machinery Data Preprocessing Methodology for Data-Driven Models in Prognostics and Health Management
Center for Risk and Reliability, University of Maryland, College Park（马里兰大学帕克分校风险与可靠性中心）；Civil and Environmental Engineering Department & Garrick Institute for the Risk Sciences, University of California, Los Angeles（加州大学洛杉矶分校土木与环境工程系及加里克风险科学研究所）
传感器监控网络和大数据分析的进步已经将可靠性工程领域引导到了大机械数据的新时代。低成本传感器以及物联网和工业4.0的发展产生了丰富的数据库，可以通过预测和健康管理（PHM）框架进行分析。数据驱动模型（DDM）已被提出并应用于复杂系统的诊断和故障诊断。然而，这些模型中的许多是使用模拟或实验数据集开发的，并且对于实际操作系统中的应用仍然存在知识差距。此外，很少有人注意到所需的数据预处理步骤相比，这些DDM的训练过程。到目前为止，研究工作没有遵循一个正式的和一致的数据预处理准则的PHM应用程序。本文提出了一个全面的，一步一步的管道预处理的监测数据从复杂的系统，目的是DDM。专家知识的重要性进行了讨论的背景下，数据选择和标签生成。两个案例研究进行验证，最终目标是创建干净的数据集，健康和不健康的标签，然后用于训练机械健康状态分类。
2021-10-08 cs.LG stat.ML
From Adaptive Query Release to Machine Unlearning
The Johns Hopkins University（约翰斯·霍普金斯大学）
该研究将机器遗忘问题形式化为自适应查询类学习算法的对应遗忘算法设计，给出线性和前缀和查询类的高效遗忘算法，将其应用于随机凸优化等问题并得到更优的风险与复杂度保证，还推广到动态流场景。
2023-07-20 cs.LG stat.ML
A Survey of Machine Learning for Big Code and Naturalness
Microsoft Research（微软研究院）；University College London（伦敦大学学院）；University of California, Davis（加州大学戴维斯分校）；University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）
在机器学习、程序设计语言和软件工程的交叉点上的研究最近在提出利用代码丰富模式的源代码的可学习概率模型方面迈出了重要的一步。在这篇文章中，我们调查这项工作。我们对比程序设计语言和自然语言，并讨论这些相似性和差异如何驱动概率模型的设计。我们提出了一个分类的基础上，每个模型的基本设计原则，并使用它来浏览文献。然后，我们回顾了研究人员如何将这些模型应用于应用领域，并讨论了跨领域和特定应用的挑战和机遇。
2018-05-05 cs.LG cs.PL cs.SE
Scaling Datalog for Machine Learning on Big Data
University of California, Irvine（加州大学欧文分校）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；Yahoo! Research（雅虎研究院）
在本文中，我们提出了一个声明性的基础数据密集型机器学习系统的情况。我们主张使用递归查询来编程各种机器学习系统，而不是为每个特定风格的机器学习任务创建一个新系统，或硬编码新的优化。通过采用这种方法，可以利用数据库查询优化技术来识别有效的执行计划，并且所得到的运行时计划可以在单个统一的数据并行查询处理引擎上执行。作为概念的证明，我们考虑两个编程模型-Pregel和迭代Map-Reduce-Update--来自机器学习领域，并展示如何在Datasheet中捕获它们，针对特定任务进行调整，然后编译成优化的物理计划。在一个大型计算集群上进行的实验表明，这种声明式方法可以提供非常好的性能，同时提供更高的通用性和编程方便性。
2012-03-02 cs.DB cs.LG cs.PF
Automatic Machine Learning Derived from Scholarly Big Data
Ben Gurion University of the Negev（内盖夫本-古里安大学）
应用机器学习的一个挑战性方面是需要识别对给定数据集表现最佳的算法。这个过程可能很困难，很耗时，并且通常需要大量的领域知识。我们提出了侍酒师，一个专家系统推荐的机器学习算法，应适用于以前看不见的数据集。侍酒师是基于词嵌入表示的领域知识提取的大型语料库的学术出版物。当呈现新的数据集及其问题描述时，Sommelier利用在词嵌入表示上训练的推荐模型来提供要在数据集上使用的最相关算法的排名列表。我们证明侍酒师的有效性进行了广泛的评估，对121个公开的数据集和53个分类算法。Sommelier为每个数据集推荐的顶级算法平均能够达到所有调查算法的97.7%的最佳准确度。
2020-03-06 cs.LG stat.ML
Strategies and Principles of Distributed Machine Learning on Big Data
Carnegie Mellon University（卡内基梅隆大学）
大数据的兴起导致了对机器学习（ML）系统的新需求，以学习具有数百万到数十亿参数的复杂模型，这些模型承诺有足够的能力来消化海量数据集并提供强大的预测分析。为了在具有数十到数千台机器的分布式集群上以如此规模运行ML算法，通常需要大量的工程工作--人们可能会问这样的工程是否真正属于ML研究的范围。考虑到大型ML系统可以从基于ML的统计和算法见解中受益匪浅，因此ML研究人员不应该回避这样的系统设计，我们讨论了从我们最近在工业规模ML解决方案上的努力中提炼出来的一系列原则和策略。这些原则和策略涵盖了从应用到工程，再到大机器学习系统和架构的理论研究和开发的连续统一体，目的是了解如何使它们高效，普遍适用，并得到收敛和扩展保证的支持。它们涉及传统上在ML研究中很少受到关注的四个关键问题：如何在集群上分发ML程序？如何将ML计算与机器间通信联系起来？如何进行这样的沟通？机器之间应该进行哪些通信？通过揭示机器学习程序特有的、但在传统计算机程序中通常看不到的基本统计和算法特征，并通过剖析成功案例来揭示我们如何利用这些原则来设计和开发高性能分布式机器学习软件以及通用机器学习框架，我们为ML研究人员和实践者提供了进一步塑造和发展ML和系统之间区域的机会。
2015-12-31 cs.DC cs.LG stat.ML
Challenges for machine learning in clinical translation of big data imaging studies
Wellcome Centre for Integrative Neuroimaging, FMRIB, Nuffield Department of Clinical Neurosciences, University of Oxford（牛津大学纳菲尔德临床神经科学系威康综合神经影像中心）；Institute of Biomedical Engineering, Department of Engineering Science, University of Oxford（牛津大学工程科学系生物医学工程研究所）；Australian Institute for Machine Learning (AIML), School of Computer Science, University of Adelaide（阿德莱德大学计算机科学学院澳大利亚机器学习研究所）；South Australian Health and Medical Research Institute (SAHMRI)（南澳大利亚健康与医学研究所）
深度学习图像分析方法和大规模成像数据集的结合为神经科学和流行病学成像提供了许多机会。然而，尽管深度学习在应用于许多神经成像任务时取得了成功，但大规模数据集和处理工具的临床转化仍然存在障碍。在这里，我们探讨了主要的挑战和已经探索克服这些挑战的方法。我们专注于与数据可用性，可解释性，评估和后勤挑战有关的问题，并讨论我们认为仍需克服的挑战，以使大数据深度学习方法在研究领域之外获得全面成功。
2021-07-07 cs.LG eess.IV
Employing traditional machine learning algorithms for big data streams analysis: the case of object trajectory prediction
National Technical University of Athens（雅典国家技术大学）；Harokopio University of Athens（哈罗科皮奥大学）；University of the Aegean（爱琴大学）
在本文中，我们模拟了海上船只的轨迹，并提供了一种服务，可以近实时的预测任何给定船只在4 '，10'，20'和40'时间间隔内的位置。我们探讨了准确性，性能和资源利用率之间的必要权衡，探讨了大容量和更新率的输入数据。我们首先使用静态数据集和多扫描训练方法，基于成熟的机器学习算法构建模型，并在实时约束下确定用于实现单通道预测方法的最佳候选者。测量结果的精度和性能，并与基线运动方程进行比较。结果表明，可以使用单个模型有效地对多艘船舶的轨迹进行建模，该模型使用足够大的静态数据集进行训练和评估，从而在资源使用方面实现显着收益，同时不影响准确性。
2016-09-01 cs.LG
The Next Big Thing(s) in Unsupervised Machine Learning: Five Lessons from Infant Learning
Trinity College Institute of Neuroscience（三一学院神经科学研究所）；Trinity College Dublin（都柏林三一学院）；Neurocat GmbH（Neurocat 有限公司）
在监督式深度学习的流行激增之后，减少对策划的、标记的数据集的依赖以及利用大量未标记的数据的愿望最近引发了对无监督学习算法的新兴趣。尽管由于诸如分离的潜在表示的识别、对比学习和聚类优化等方法而显著提高了性能，但无监督机器学习的性能仍然低于其假设的潜力。机器学习以前从神经科学和认知科学中获得了巨大的成功。然而，这主要是基于成人学习者访问标签和大量的先验知识。为了推动无监督机器学习向前发展，我们认为婴儿认知的发展科学可能是开启下一代无监督学习方法的关键。从概念上讲，人类婴儿的学习是与人工无监督学习最接近的生物学平行，因为婴儿也必须从未标记的数据中学习有用的表示。与机器学习相比，这些新的表示方法可以快速地从相对较少的示例中学习。此外，婴儿学习鲁棒的表示，可以灵活有效地用于许多不同的任务和背景。我们确定了五个关键因素，使婴儿的学习质量和速度，评估这些已经被利用在机器学习的程度，并提出如何进一步采用这些因素可以提高以前看不见的性能水平在无监督学习。
2020-09-17 cs.AI cs.CV cs.LG
Explainable AI in Big Data Fraud Detection
Northeastern University（东北大学）
本文探讨了如何将可解释人工智能整合到大数据分析流程中，以提高欺诈检测和风险管理的透明度和可解释性。
2025-12-17 cs.LG
Combat AI With AI: Counteract Machine-Generated Fake Restaurant Reviews on Social Media
Nova School of Business and Economics（诺瓦商业与经济学院）
针对GPT生成的虚假餐厅评论，本文利用Yelp精英评论构造数据并微调GPT输出检测器，显著提升检测效果，并分析非精英评论中的多维造假模式。
2023-04-21 cs.AI cs.CL cs.IR
A Fuzzy Logic-Based Framework for Explainable Machine Learning in Big Data Analytics
Independent Researcher（独立研究者）
该文提出一种融合二型模糊集、粒计算与聚类的框架，用于大数据分析中的可解释机器学习，在UCI空气质量数据集上提升了可解释性、公平性与效率。
2025-09-29 cs.LG
A comprehensive review of Quantum Machine Learning: from NISQ to Fault Tolerance
Kadanoff Center for Theoretical Physics, The University of Chicago（芝加哥大学卡达诺夫理论物理中心）
本文全面综述了量子机器学习领域，涵盖从NISQ技术到容错量子计算硬件的基础概念、算法和统计学习理论。
2024-03-31 cs.AI cs.LG quant-ph
A Review of Machine Learning Applications in Fuzzing
Sandia National Laboratories（桑迪亚国家实验室）
在过去的几十年里，模糊测试在改进软件开发和测试方面发挥了重要作用。最近的模糊化研究集中在机器学习（ML）的应用上，为克服模糊化过程中的挑战提供了有用的工具。本文综述了ML在模糊识别中的应用研究现状。具体来说，这篇评论讨论了ML的成功应用模糊，简要探讨了遇到的挑战，并激励未来的研究，以解决模糊瓶颈。
2019-10-09 cs.AI cs.CR cs.LG
Machine Learning Pipelines with Modern Big Data Tools for High Energy Physics
European Organization for Nuclear Research (CERN)（欧洲核子研究组织）；University of Padova（帕多瓦大学）
HEP用例的复杂机器学习（ML）技术的大规模有效利用带来了几个技术挑战，最重要的是专用端到端数据管道的实际实现。提出了一种解决这些挑战的解决方案，该解决方案允许使用来自大数据和数据科学生态系统的解决方案来训练神经网络分类器，并与HEP环境中常见的工具，软件和平台集成。特别是，Apache Spark被用于数据准备和特征工程，在Apacheyter笔记本上交互式地运行相应的（Python）代码。关键的集成和库，使Spark能够使用ROOT格式存储的数据，并通过XRootD协议访问，描述和讨论。使用Keras API定义的神经网络模型的训练通过使用BigDL和Analytics Zoo以及TensorFlow以分布式方式在Spark集群上执行，特别是用于CPU和GPU资源的分布式训练。在这项工作中详细描述了分布式训练的实施和结果。
2020-06-16 cs.DC cs.LG hep-ex
Big Learning with Bayesian Methods
Tsinghua University（清华大学）
数据的爆炸式增长和廉价计算资源的可用性引发了人们对大学习的兴趣，大学习是一个新兴的子领域，研究可扩展的机器学习算法，系统和大数据应用。贝叶斯方法代表了机器学习的一类重要的统计方法，在自适应、灵活和可扩展的贝叶斯学习方面有了很大的发展。本文综述了大规模贝叶斯学习的最新进展，包括用于自适应推断模型复杂性的非参数贝叶斯方法、通过后验正则化提高灵活性的正则化贝叶斯推理，以及用于处理大规模应用的基于随机子采样和分布式计算的可扩展算法和系统。
2017-03-01 cs.LG stat.AP stat.CO
Fairness-in-the-Workflow: How Machine Learning Practitioners at Big Tech Companies Approach Fairness in Recommender Systems
Cornell University（康奈尔大学）；Loyola University Maryland（洛约拉大学马里兰州）
研究探讨了大型科技公司如何在推荐系统中处理公平性，识别了技术团队与法律、数据团队在公平性工作中的挑战，并提出可行的实践建议。
2026-02-27 cs.AI cs.CY cs.HC
BIGDML: Towards Exact Machine Learning Force Fields for Materials
Technische Universität Berlin（柏林工业大学）；Universidad de Sonora（索诺拉大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（BIFOLD——柏林学习与数据基础研究所）；Universidad Nacional Autónoma de México（墨西哥国立自治大学）；Google Research（谷歌研究院）；Korea University（高丽大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Luxembourg（卢森堡大学）
机器学习力场（MLFF）应该是准确的，计算和数据有效的，并适用于分子，材料及其界面。目前，MLFF通常会引入权衡，将其实际适用性限制在化学空间的小子集或需要详尽的数据集进行训练。在这里，我们介绍了Bravais启发的连续域机器学习（BIGDML）方法，并展示了它使用仅10-200个几何形状的训练集构建可靠力场的能力，这些几何形状适用于包括原始和含缺陷的2D和3D半导体和金属以及表面上化学吸附和物理吸附的原子和分子吸附物的材料。BIGDML模型采用了给定材料的完整相关对称群，不假设人工原子类型或原子相互作用的局部化，并且对于扩展的材料集表现出高数据效率和最先进的能量精度（误差大大低于1 meV/原子）。广泛的路径积分分子动力学与BIGDML模型进行演示的违反直觉的本地化的苯-石墨烯动力学引起的核量子效应，并允许合理化的Arrhenius行为的氢扩散系数在Pd晶体在很宽的温度范围内。
2021-06-08 cond-mat.mtrl-sci cs.LG physics.chem-ph
Online Heterogeneous Mixture Learning for Big Data
Kanazawa University（金泽大学）
提出了一种基于在线机器学习的异构大数据分析方法。我们进行了一个实验，比较批处理和在线之间的每次迭代的准确性。它可以快速收敛，并具有与批处理相同的精度。
2019-06-15 cs.LG stat.ML
Online Machine Learning in Big Data Streams
Institute for Computer Science and Control, Hungarian Academy of Sciences（匈牙利科学院计算机科学与控制研究所）
大数据流中的在线机器学习领域涵盖了（1）分布式算法和（2）从数据流中工作的算法，只有有限的可能性存储过去的数据。第一个要求主要涉及软件架构和有效的算法。第二个也对建模方法施加了重要的理论限制：在数据流模型中，随着新数据的到来，旧数据不再可用于修改早期的次优建模决策。在这篇文章中，我们提供了分布式软件架构和库以及用于在线学习的机器学习模型的概述。我们强调的分类，回归，推荐和无监督建模流数据的最重要的想法，我们展示了它们是如何实现在各种分布式数据流处理系统。这篇文章是一份参考资料，而不是一份调查。我们并不试图全面描述所有现有的方法和解决方案;相反，我们给出了该领域最重要的资源。所有相关的子领域，在线算法，在线学习和分布式数据处理在当前的研究和开发中占主导地位，在撰写本文时出现了概念上新的研究成果和软件组件。在本文中，我们参考了几个调查结果，包括分布式数据处理和在线机器学习。与过去的调查相比，我们的文章是不同的，因为我们讨论推荐系统的扩展细节。
2018-02-16 cs.DC cs.LG stat.ML
Optimization under Uncertainty in the Era of Big Data and Deep Learning: When Machine Learning Meets Mathematical Programming
Cornell University（康奈尔大学）
本文通过现代数据镜头回顾了不确定性优化领域的最新进展，强调了数据驱动优化的关键研究挑战和前景，该优化将机器学习和数学规划有机地集成到不确定性决策中，并确定了潜在的研究机会。首先简要回顾了经典的数学规划技术对冲不确定性，以及它们在过程系统工程中的广泛应用。然后对数据驱动的分布鲁棒优化、数据驱动的机会约束规划、数据驱动的鲁棒优化和数据驱动的基于分布鲁棒优化的相关出版物进行了全面的回顾和分类。本文还为未来的研究确定了丰富的途径，重点是闭环数据驱动的优化框架，该框架允许从数学编程到机器学习的反馈，以及利用深度学习技术的力量进行基于神经网络的优化。展望在线学习基于数据驱动的多级优化与学习，同时优化计划。
2019-04-03 cs.LG math.OC stat.ML
Research on Education Big Data for Students Academic Performance Analysis based on Machine Learning
LaFetra College of Education, University of La Verne（拉文大学拉菲特教育学院）；Steinhardt School of Culture, Education, and Human Development, New York University（纽约大学斯坦哈特文化、教育与人类发展学院）；Hunan University of Humanities, Science and Technology（湖南人文科技学院）
本研究针对教育数据挖掘问题，提出基于LSTM的机器学习模型分析教育大数据以评估学生表现，通过捕捉时间依赖性和长期趋势支持个性化教育，并经交叉验证证实了其预测有效性。
2024-06-25 cs.CY cs.LG
AI Chiller: An Open IoT Cloud Based Machine Learning Framework for the Energy Saving of Building HVAC System via Big Data Analytics on the Fusion of BMS and Environmental Data
Siemens Ltd. Hong Kong（西门子有限公司香港分公司）；Siemens Advanta Solutions（西门子 Advanta 解决方案）
建筑节能减排是应对气候变化的关键措施之一。暖通空调系统是建筑环境能耗的主要组成部分，其中制冷机组又是建筑能耗的最大来源。冷水机组系统功耗优化在机械工程和建筑服务领域得到了广泛的研究。许多作品采用领域知识中的物理模型。随着大数据和人工智能技术的发展，将机器学习引入优化问题成为一种流行。虽然许多研究工作和项目转向这一方向的节能，应用到优化问题仍然是一个具有挑战性的任务。这项工作的目标是概述这样的问题的框架，如何节能应该是基准，如果整体或单独建模应使用，如何进行优化，为什么在初始部署的数据模式增强是必须的，为什么逐渐增加的变化策略必须使用。给出了历史数据的分析结果和现场数据的实验结果。
2020-10-09 cs.LG cs.OH math.OC
How big is Big Data?
Humboldt-Universität zu Berlin（柏林洪堡大学）；Max Planck Institute for Solid State Research（马克斯·普朗克固体研究所）
本文围绕材料科学机器学习问题，从数据规模、质量、异构来源、模型表达能力及基础设施等维度审视“大数据”的含义，并指出其独特挑战。
2024-05-18 cond-mat.mtrl-sci cs.LG physics.comp-ph
From Big Data to Fast Data: Towards High-Quality Datasets for Machine Learning Applications from Closed-Loop Data Collection
本文提出快数据概念，通过车辆实时决策优化数据采集，提升数据集相关性与信息密度，降低冗余数据成本，为现代机器学习算法提供高效数据采集基础。
2026-03-31 cs.LG cs.SY eess.SY
Learning Deep Transformer Models for Machine Translation
Northeastern University（东北大学）；NiuTrans Co., Ltd.（牛转有限公司）；University of Macau（澳门大学）；Kingsoft AI Lab（金山人工智能实验室）
Transformer是最近机器翻译评估中最先进的模型。有两种研究有望改进这类模型：第一种是使用广泛的网络（也称为“网络”）。Transformer-Big）并已成为Transformer系统开发的事实上的标准，另一种使用更深层次的语言表示，但面临着学习深度网络带来的困难。在这里，我们继续对后者的研究路线。我们声称，一个真正深入的Transformer模型可以通过以下方式超越Transformer-Big模型：1）正确使用层归一化; 2）将前一层的组合传递到下一层的新方法。在WMT'16英语-德语，NIST OpenMT'12中文-英语和更大的WMT'18中文-英语任务中，我们的深层系统（30/25层编码器）比浅层Transformer-Big/Base基线（6层编码器）高出0.4-2.4 BLEU点。作为另一个好处，深度模型的尺寸比Transformer-Big小1.6倍，训练速度快3倍。
2019-06-05 cs.CL cs.LG
The State-of-the-Art in Air Pollution Monitoring and Forecasting Systems using IoT, Big Data, and Machine Learning
University of Allahabad（阿拉哈巴德大学）；Syracuse University（雪城大学）
本文综述了基于物联网、大数据和机器学习的空气污染监测与预测研究，梳理数据源、监测及预测模型，并指出相关问题与挑战。
2023-04-19 cs.DC cs.LG
A review on Neural Turing Machine
Faculty of Computer Engineering, Najafabad Branch, Islamic Azad University（伊斯兰阿扎德大学纳贾法巴德分校计算机工程学院）；Big Data Research Center, Najafabad Branch, Islamic Azad University（伊斯兰阿扎德大学纳贾法巴德分校大数据研究中心）
人工智能的主要目标之一是设计在诸如人脑的通用计算机器上执行的学习算法。神经图灵机（NTM）是实现这种计算机器的一个步骤。本文试图对神经图灵机进行系统的综述。首先，介绍了机器学习、神经网络和图灵机的思维导图和分类。接下来，NTM检查的概念，结构，版本的品种，实现的任务，比较等，最后，本文讨论的问题，并结束了几个未来的工作。
2020-11-15 cs.LG cs.NE
Machine Learning for E-mail Spam Filtering: Review,Techniques and Trends
Tezpur University（提斯普尔大学）
我们提出了一个全面的审查最有效的基于内容的电子邮件垃圾邮件过滤技术。我们主要关注基于机器学习的垃圾邮件过滤器及其变体，并报告了广泛的审查，包括调查相关的想法，努力，有效性和当前的进展。背景知识的初步阐述研究了垃圾邮件过滤的基础知识、垃圾邮件的演变性质、垃圾邮件发送者与电子邮件服务提供商（ESP）玩猫捉老鼠的游戏，以及对抗垃圾邮件的机器学习前沿。最后，我们通过测量基于机器学习的过滤器的影响，并探索最新发展的有前途的分支。
2016-06-03 cs.CR cs.LG
