首页/论文/1708.03381

arXiv 1708.033812017-08-10cs.LG

基于大规模数据的局部行为预测

Topical Behavior Prediction from Massive Logs

Qualcomm Inc.（高通公司）

Shih-Chieh Su

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

本文研究了大尺度下的话题行为。我们使用网络日志，其中每个条目包含实体ID、时间戳和有关活动的Meta数据。结合递归神经网络（RNN）和卷积神经网络（CNN）的深度学习架构，探索行为的时间和空间关系。为了使行为数据适合于CNN中的空间学习，我们提出了几个简化步骤来形成主题度量，并将它们均匀地放置在图像中的像素中。实验结果表明，与多层感知器（MLP）网络相比，时间和空间的增益。引入了一种称为空间连接卷积网络（SCCN）的新学习框架，以更有效地预测主题度量。

英文摘要：

In this paper, we study the topical behavior in a large scale. We use the network logs where each entry contains the entity ID, the timestamp, and the meta data about the activity. Both the temporal and the spatial relationships of the behavior are explored with the deep learning architectures combing the recurrent neural network (RNN) and the convolutional neural network (CNN). To make the behavioral data appropriate for the spatial learning in the CNN, we propose several reduction steps to form the topical metrics and to place them homogeneously like pixels in the images. The experimental result shows both temporal and spatial gains when compared against a multilayer perceptron (MLP) network. A new learning framework called the spatially connected convolutional networks (SCCN) is introduced to predict the topical metrics more efficiently.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

总结网络行为预测

Summarized Network Behavior Prediction

Qualcomm Inc.（高通公司）

本文从海量的网络日志中研究了基于实体的主题行为。结合递归神经网络（RNN）和卷积神经网络（CNN）的学习架构，探索了行为的时间和空间关系。为了使行为数据适合于CNN中的空间学习，采取了几个简化步骤来形成主题度量，并将它们均匀地放置在图像中的像素中。实验结果表明，与多层感知器（MLP）网络相比，时间和空间增益。引入了一种称为空间连接卷积网络（SCCN）的新学习框架，以更有效地预测行为。

2017-05-02cs.LGstat.ML

通过主题交互进行大规模行为分析

Large Scale Behavioral Analytics via Topical Interaction

Qualcomm Inc.（高通公司）

我们提出了分裂扩散（SD）算法，需要现有的降维算法的输出，并均匀分布的数据点在可视化空间。其结果，称为主题网格，是一组网格上的各种主题是从任何领域的自由形式的文本内容的兴趣。主题网格有效地利用可视化空间为海量数据提供可视化摘要。主题分析、比较和互动可以在主题网格上以更直观的方式进行。

2016-08-26cs.LG

与海量行为数据交互

Interacting with Massive Behavioral Data

Qualcomm Inc.（高通公司）

在这篇简短的论文中，我们提出了分裂扩散（SD）算法，该算法采用现有词嵌入算法的输出，并将数据点均匀分布在可视化空间中。结果提高了人的可感知性和可交互性。我们应用SD算法来分析用户的行为，通过网络安全域内的访问日志。其结果称为主题网格，是一组关于从日志生成的各种主题的网格。在同一组网格上，不同的行为指标可以在不同的时间段内显示在不同的目标上，为人类专家提供可视化和交互。与现有降维方法的输出相比，可以更有效地对主题网格执行分析、调查和其他类型的交互。除了网络安全领域，主题网格还可以进一步应用于其他领域，如电子商务，信用卡交易，客户服务，以分析大规模的行为。

2016-08-26cs.LG

ESTA：电子竞技轨迹和动作数据集

ESTA: An Esports Trajectory and Action Dataset

New York University（纽约大学）

体育运动由于其全球影响力和影响力丰富的预测任务，是部署机器学习模型的一个令人兴奋的领域。然而，由于其规模，准确性和可访问性，传统体育运动的数据往往不适合用于研究。为了解决这些问题，我们转向电子竞技，这是一个不断增长的领域，其中包括以类似于传统体育运动的方式进行的视频游戏。由于电子竞技数据是通过服务器日志而不是外围传感器获取的，因此电子竞技提供了一个独特的机会来获得大量干净而详细的时空数据，类似于传统体育中收集的数据。为了解析电子竞技数据，我们开发了awpy，这是一个开源的电子竞技游戏日志解析库，可以从游戏日志中提取玩家轨迹和动作。使用awpy，我们解析了来自专业Counter-Strike锦标赛的1，558个游戏日志中的860万个动作，790万个游戏帧和417k个轨迹，以创建Esports Trajectory and Actions（ESTA）数据集。ESTA是迄今为止规模最大、粒度最细的公开体育数据集之一。我们使用ESTA来开发使用玩家特定信息的获胜预测基准。ESTA数据可在www.example.com上获得，awpy通过PyPI公开。

2022-09-20cs.LG

一种在社交媒体中捕捉客户洞察的主题方法

A Topical Approach to Capturing Customer Insight In Social Media

Université Claude Bernard Lyon 1（里昂第一大学）；INRIA（法国国家信息与自动化研究所）；Université de Lorraine（洛林大学）；Lizeo IT（Lizeo IT公司）；Université Jean Monnet（圣艾蒂安大学）；Sorbonne Université（索邦大学）；Université Paul Sabatier（保罗·萨巴蒂埃大学）

针对社交媒体含噪声大数据下的无监督客户洞察提取难题，提出三种基于变分自编码器的非参数主题方法，在基准与汽车行业数据集上性能达SOTA水平，指出主题建模需优化评估指标。

2023-07-14cs.CLcs.LGstat.ML

面向边缘可部署蜂窝网络测试的卷积神经网络与大语言模型在软件日志分类中的对比研究

Convolutional vs Large Language Models for Software Log Classification in Edge-Deployable Cellular Network Testing

VIAVI Solutions Inc.（维亚维解决方案公司）；Brunel University of London（伦敦布鲁内尔大学）

本文针对电信网络测试中复杂软件日志的自动化缺陷分诊问题，提出一种轻量级CNN架构，以200,000字符上下文窗口实现超96%准确率，显著优于LLM方法且可边缘部署。

2024-07-04cs.AIcs.CLcs.LG

更多相关论文收起更多论文

PGMHD：一种面向海量层次数据问题的可扩展概率图模型

PGMHD: A Scalable Probabilistic Graphical Model for Massive Hierarchical Data Problems

University of Georgia（佐治亚大学）；CareerBuilder

在大数据时代，可扩展性已经成为任何有用的计算模型的关键要求。概率图模型对于挖掘和发现数据洞察非常有用，但它们的可扩展性不足以适用于大数据问题。当贝叶斯网络的数据使用很少的随机变量来表示，而每个随机变量都有大量的值时，贝叶斯网络特别表现出这种局限性。对于分层数据（数据以树状结构排列，具有多个层次），人们会期望看到数十万或数百万的值分布在即使只是少量的层次上。当在大型数据集上对这种分层数据建模时，贝叶斯网络无法表示概率分布，原因如下：i）每个水平代表一个具有数十万个值的单个随机变量，ii）水平的数量通常很小，因此随机变量也很少，以及iii）网络的结构是预定义的，因为依赖性是从每个父节点到其子节点中的每个节点自上而下建模的，所以网络将包含从每个父节点到每个子节点的随机变量的单个线性路径。在本文中，我们提出了一个可扩展的概率图模型，以克服这些限制，海量层次数据。我们相信，所提出的模型将导致一个易于扩展的，更可读的，和表达的问题，需要大量的层次数据的概率为基础的解决方案的实现。我们成功地应用这个模型来解决两个不同的挑战性的概率为基础的问题上的大量层次数据集的不同领域，即生物信息学和潜在的语义发现搜索日志。

2014-08-19cs.AIcs.LG

深度个性化再定位

Deep Personalized Re-targeting

Vrbo, part of Expedia Group（Vrbo，Expedia集团旗下品牌）

在旅行者层面预测预订概率和价值在大规模双边度假租赁市场的计算广告中起着核心作用。这些市场接待了数百万购物周期长的旅行者，他们在发现阶段花费了大量时间。旅行者的足迹是一个有用的数据源，可以帮助这些市场预测购物概率和价值。然而，在这方面没有一个放之四海而皆准的解决办法。在本文中，我们提出了一个混合模型，注入深层和浅层神经网络嵌入到一个梯度提升树模型。这种方法允许从稀疏的会话日志中自动学习数百万旅行者的潜在偏好。此外，我们还介绍了部署到生产系统中的架构。我们发现，在昂贵的复杂深度神经网络和简单的浅层神经网络之间存在一个实用的最佳点，可以将模型的预测性能提高7%，基于离线分析。

2019-07-10cs.IRcs.LG

双峰分布式二值化神经网络

Bimodal Distributed Binarized Neural Networks

Technion – Israel Institute of Technology（以色列理工学院）；Habana Labs – An Intel company（Habana实验室——英特尔旗下公司）

二进制神经网络（BNN）是一种非常有前途的方法，可以大大降低深度神经网络的复杂度和功耗。然而，二值化技术，遭受不合格的性能下降相比，他们的全精度同行。以前的工作主要集中在符号函数近似的策略，在向前和向后阶段，以减少量化误差在二值化过程中。在这项工作中，我们提出了一个双模态分布式二值化方法（\methodname{}）。这通过峰度正则化来强加网络权重的双峰分布。所提出的方法包括一个训练方案，我们称之为权重分布模拟（WDM），它有效地模仿全精度网络的权重分布，他们的二进制对应。在二值化感知训练期间保持这种分布可以创建鲁棒且信息丰富的二值特征图，并显著降低BNN的泛化误差。在CIFAR-10和ImageNet上的广泛评估证明了我们的方法优于当前最先进的方案。我们的源代码、实验设置、训练日志和二进制模型可在\url{https://github.com/BlueAnon/BD-BNN}上获得。

2022-04-05cs.CVcs.LG

分布式系统异常事件分类的深度卷积神经网络

Deep Convolutional Neural Networks for Anomaly Event Classification on Distributed Systems

服务器使用的日益普及带来了大量的异常日志事件，这些事件已经威胁到大量的机器。因此，识别和分类异常事件是我们系统的一项非常重要的工作，特别是那些产生大量数据并将其用于技术价值创造和业务发展的系统。为了帮助集中在分类和预测的异常事件，并从系统事件记录中获得关键的见解，我们提出了一种新的日志预处理方法，这是非常有效的过滤丰富的信息，并保留关键特征。此外，本文提出了一种竞争性的方法，用于自动分类的异常事件检测到的分布式系统日志与国家的最先进的深（卷积神经网络）架构。我们通过使用标准评估指标来测量一系列具有不同超参数组合的深度CNN算法，我们的研究结果揭示了所提出的深度CNN模型在现实世界系统中的异常事件分类任务的优势和潜在能力。该方法的最佳分类精度为98.14%，优于传统的机器学习方法。

2017-12-30cs.DCcs.LG