Explainable Deep Behavioral Sequence Clustering for Transaction Fraud Detection
eBay China(eBay中国);eBay USA(eBay美国)
在电子商务行业中,用户行为序列数据已被广泛应用于搜索和销售等许多业务部门,以改善其产品。然而,它很少用于金融服务,这不仅是因为它的3V特性-即数量,速度和多样性-而且还因为它的非结构化性质。在本文中,我们提出了一种基于金融服务场景深度学习的聚类行为数据表示方法(FinDeepBehaviorCluster)来检测欺诈交易。为了利用行为序列数据,我们将点击流数据视为事件序列,使用基于时间注意力的Bi-LSTM以无监督的方式学习序列嵌入,并将它们与风险专家生成的直观特征相结合,形成混合特征表示。我们还提出了一种GPU驱动的HDBSCAN(pHDBSCAN)算法,该算法是基于FAISS项目对原有HDBSCAN算法进行的工程优化,使得在几分钟内就可以对数亿笔交易进行聚类。该算法的计算效率比原算法提高了500倍,使闪光欺诈模式检测成为可能。我们的实验结果表明,提出的FinDeepBehaviorCluster框架是能够捕捉错过的欺诈交易具有相当大的商业价值。此外,该算法还采用规则提取方法,利用直觉特征从风险聚类中提取模式,为案件调查提供风险聚类描述,为实时欺诈检测提供未知风险模式挖掘。综上所述,FinDeepBehaviorCluster作为现有实时欺诈检测引擎的补充风险管理策略,可以进一步提升我们的欺诈检测和主动风险防御能力。
2021-01-12 cs.LG
Partitioning Message Passing for Graph Fraud Detection
Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);National University of Singapore(新加坡国立大学);GrabTaxi Holdings Pte. Ltd.(GrabTaxi控股私人有限公司)
针对GNN应用于图欺诈检测时的标签不平衡和同质性-异质性混合问题,提出分区消息传递(PMP)范式,通过区分不同标签邻居的聚合函数,自适应调整信息聚合,提升检测性能。
2024-11-16 cs.AI cs.LG cs.SI
Pattern Mining for Anomaly Detection in Graphs: Application to Fraud in Public Procurement
Laboratoire Informatique d’Avignon(阿维尼翁计算机实验室);Laboratoire Hubert Curien(于贝尔·居西安实验室)
针对公共采购欺诈检测中合同属性缺失、传统表格方法失效的问题,提出基于模式提取的有监督图异常检测框架PANG,可识别导出子图,性能比肩SOTA且可解释,在采购数据上表现更优并能辅助理解欺诈行为。
2023-06-19 cs.AI cs.LG
Modeling Heterogeneous Statistical Patterns in High-dimensional Data by Adversarial Distributions: An Unsupervised Generative Framework
Tsinghua University(清华大学);AHI Fintech(安恒信息金融科技);Youku Cognitive and Intelligent Lab, Alibaba Group(阿里巴巴集团优酷认知与智能实验室)
由于标签收集令人望而却步且耗时,因此在欺诈检测等应用中首选无监督方法。同时,这类应用通常需要对高维数据中的固有聚类进行建模,而不同聚类的模式可能出现在不同的维度上,从而表现出异构的统计模式。现有的方法建议在选定的维度上对数据聚类进行建模,但全局忽略任何维度可能会破坏某些聚类的模式。为了解决上述问题,我们提出了一种新的无监督生成框架FIRD,它利用对抗性分布来拟合和解开异质统计模式。当应用于离散空间时,FIRD有效地区分了同步欺诈者和正常用户。此外,与SOTA异常检测方法相比,FIRD在异常检测数据集上也提供了更好的性能(平均AUC提高超过5%)。在不同数据集上的实验结果表明,该方法能够更好地对高维数据中的异构统计模式进行建模,为后续应用提供了有益的借鉴。
2020-12-15 cs.AI cs.LG
Alleviating the Inconsistency Problem of Applying Graph Neural Network to Fraud Detection
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Beijing University of Posts and Telecommunications(北京邮电大学);Beihang University(北京航空航天大学)
基于图的模型可以帮助在线检测可疑欺诈。由于图神经网络~(GNNs)的发展,已有的研究工作提出了许多基于同构图或异构图的基于GNNs的欺诈检测框架。这些工作遵循现有的GNN框架,通过聚合邻居信息来学习节点嵌入,这是基于邻居共享相似的上下文、特征和关系的假设。然而,不一致性问题几乎没有被研究,即,上下文不一致、特征不一致和关系不一致。在本文中,我们介绍了这些不一致性,并设计了一个新的GNN框架,$\mathsf{GraphConsis}$,以解决不一致性问题:(1)对于上下文不一致性,提出将上下文嵌入与节点特征相结合;(2)对于特征不一致性,设计一个一致性得分来过滤不一致的邻居,并生成相应的采样概率;(3)对于关系不一致性,我们学习与采样节点相关联的关系注意力权重。对四个数据集的实证分析表明,不一致性问题是欺诈检测任务中的关键。大量的实验证明了$\mathsf{GraphConsis}$的有效性。我们还发布了一个基于GNN的欺诈检测工具箱,其中包含SOTA模型的实现。该代码可在https://github.com/safe-graph/DGFraud上获得。
2020-07-02 cs.IR cs.LG cs.SI
Turning the Tables: Biased, Imbalanced, Dynamic Tabular Datasets for ML Evaluation
Feedzai;Faculdade de Ciências da Universidade do Porto(波尔图大学理学院);INESCTEC Universidade do Porto(波尔图大学系统与计算机工程、技术与科学研究所)
在现实数据集上评估新技术在ML研究的发展及其被从业者更广泛采用方面起着至关重要的作用。近年来,用于计算机视觉和NLP任务的公开可用的非结构化数据资源显著增加。然而,表格数据-在许多高风险领域普遍存在-一直落后。为了弥合这一差距,我们提出了银行账户欺诈(BAF),这是第一个公开的隐私保护,大规模,现实的表格数据集套件。该套件是通过将最先进的表格数据生成技术应用于匿名的真实世界银行开户欺诈检测数据集而生成的。这种设置带来了一系列现实应用中常见的挑战,包括时间动态和显著的类不平衡。此外,为了允许从业者对ML方法的性能和公平性进行压力测试,BAF的每个数据集变体都包含特定类型的数据偏差。有了这个资源,我们的目标是为研究界提供一个更现实,完整和强大的测试平台,以评估新的和现有的方法。
2022-11-28 cs.LG
Applying Quantum Autoencoders for Time Series Anomaly Detection
Zurich University of Applied Sciences(苏黎世应用科技大学)
该研究将量子自编码器应用于时间序列异常检测,通过重构误差分析和潜在表示分析两种技术,在模拟和真实量子硬件上均验证了其相比经典深度学习自编码器参数量更少、训练迭代次数更少且性能更优的优势。
2024-10-09 cs.AI cs.ET cs.LG
JEL: Applying End-to-End Neural Entity Linking in JPMorgan Chase
JPMorgan Chase(摩根大通)
本文提出端到端神经实体链接模型JEL,利用最小上下文和边际损失生成实体嵌入,结合宽深模型匹配字符与语义,在金融新闻公司名链接中达到先进性能,并已部署于摩根大通系统。
2024-11-05 cs.AI cs.CL cs.IR
Enhancing supply chain security with automated machine learning
Texas A&M International University(德州农工国际大学);Southern University and A&M College(南方大学与农工学院);University of Mississippi(密西西比大学)
本文提出自动化机器学习框架,用于欺诈检测、维护预测与材料延期交货预测,并通过超参数调优显著提升供应链安全与运营效率。
2025-07-22 cs.LG econ.GN math.OC
Quantum Machine Learning for Anomaly Detection in Consumer Electronics
University of Tennessee(田纳西大学)
本文介绍量子机器学习在消费电子异常检测中的应用,提出通用框架并综述监督、无监督和强化学习QML算法,结合五项案例研究展示其有效性。
2024-08-30 cs.AI cs.LG quant-ph
Improving fraud prediction with incremental data balancing technique for massive data streams
Murdoch University(莫道克大学)
在大规模、高度不平衡的数据流中,分类算法的性能取决于有效的平衡策略。在过去,一些平衡策略技术已经应用于批量数据,以解决类不平衡问题。本文提出了一种新的增量式数据平衡框架,它可以工作在大规模的不平衡数据流。在本文中,我们选择赛车算法作为一种自动化的数据平衡技术,优化的平衡技术。本文采用了随机森林分类算法,该算法能够处理海量数据流。我们研究了竞赛算法和随机森林在该框架中的适用性。在欧洲信用卡数据集上的建议框架中应用新技术,提供了比批处理模式更好的结果。所提出的框架是更可扩展的,以处理在线海量数据流。
2019-10-21 cs.LG stat.ML
Detecting Fraud in Financial Networks: A Semi-Supervised GNN Approach with Granger-Causal Explanations
University of Amsterdam(阿姆斯特丹大学);KPMG Netherlands(荷兰德勤)
本文提出半监督图神经网络方法SAGE-FIN,利用弱标记数据检测金融网络欺诈,并通过格兰杰因果关系提供可解释性,在Elliptic++数据集上验证了其有效性。
2025-06-25 cs.LG q-fin.ST stat.ML
Improved Aggregating and Accelerating Training Methods for Spatial Graph Neural Networks on Fraud Detection
Nanjing University of Posts and Telecommunications(南京邮电大学);Nanjing Normal University(南京师范大学)
图神经网络(GNNs)已被广泛应用于众多领域。最近的一项工作结合分层结构和剩余连接,提出了一种改进的深度架构,将CAmouflage-Resistant GNN(CARE-GNN)扩展到称为Residual Layered CARE-GNN(RLC-GNN)的深度模型,形成自校正和增量学习机制,并在欺诈检测任务上实现了显着的性能改进。然而,我们发现RLC-GNN的三个问题,这是相邻信息的使用达到限制,训练困难,这是深层模型的固有问题,缺乏对节点特征和外部模式的综合考虑。在这项工作中,我们提出了三种方法来解决这三个问题分别。首先,我们建议通过余弦距离进行相似性度量,同时考虑局部特征和外部模式。然后,将相似性度量模块和邻域规范化思想与节点规范化和批量规范化相结合,提出了部分邻域规范化方法,克服了训练困难,同时减轻了图的高密度带来的噪声影响。最后,提出了中间信息补充的方法来解决信息不足的问题。实验在Yelp和Amazon数据集上进行。实验结果表明,本文提出的方法有效地解决了这三个问题。在Yelp数据集上,应用这三种方法后,我们在召回率、AUC和Macro-F1指标上分别获得了4.81%、6.62%和6.81%的改善。在Amazon数据集上,我们分别获得了1.65%和0.29%的召回率和AUC改善。
2022-02-14 cs.AI cs.LG
Active Anomaly Detection via Ensembles
Washington State University(华盛顿州立大学)
在异常检测的关键应用中,包括计算机安全和欺诈预防,异常检测器必须可由分析人员配置,以最大限度地减少误报。配置异常检测器的一个重要方法是为少数实例提供真实标签。我们研究了标签有效的主动学习自动调整异常检测集成的问题,并作出了四个主要贡献。首先,我们提出了一个重要的见解异常检测器合奏自然适合主动学习。这种见解使我们能够将贪婪查询策略与不确定性采样联系起来,并对标签效率产生影响。其次,我们提出了一种新的形式主义,称为紧凑的描述来描述所发现的异常,并表明它也可以用来提高多样性的实例呈现给分析师没有损失的异常发现率。第三,我们提出了一种新的数据漂移检测算法,不仅检测漂移鲁棒,而且还允许我们采取纠正措施,以适应检测器的原则性方式。第四,我们提出了广泛的实验,以评估我们的见解和算法在批处理和流设置。我们的研究结果表明,除了发现显着更多的异常比国家的最先进的无监督基线,我们的主动学习算法下的流数据设置与批量设置具有竞争力。
2018-09-17 cs.LG stat.ML
Evaluating Transfer Learning Methods on Real-World Data Streams: A Case Study in Financial Fraud Detection
Feedzai, Portugal(Feedzai, 葡萄牙);University of Porto, Portugal(葡萄牙波尔图大学)
针对迁移学习评估中静态假设不切实际的问题,提出数据操纵框架模拟动态数据可用性与领域偏移,并在金融欺诈检测数据集上验证,以支持更现实的模型评估与决策。
2025-07-29 cs.LG q-fin.ST
Description and Discussion on DCASE 2022 Challenge Task 2: Unsupervised Anomalous Sound Detection for Machine Condition Monitoring Applying Domain Generalization Techniques
Hitachi, Ltd.(日立有限公司);Doshisha University(同志社大学);NTT Corporation(日本电信电话公司);Google(谷歌)
我们介绍了DCASE 2022挑战任务2的任务描述和结果讨论:“应用领域泛化技术进行机器状态监测的无监督异常声音检测(ASD)”。域移位是ASD系统应用的关键问题。由于域偏移可以改变数据的声学特性,因此在源域中训练的模型对于目标域表现不佳。在DCASE 2021挑战任务2中,我们组织了一个ASD任务来处理域转移。在这项任务中,假设域移位的发生是已知的。然而,在实践中,可能没有给出每个样本的域,并且域偏移可能隐含地发生。在2022年的任务2中,我们将重点关注领域泛化技术,该技术可以检测异常,而不管领域的变化。具体地,在测试数据中不给出每个样本的域,并且对于所有域仅允许一个阈值。对来自31个团队的81个提交的分析揭示了两种显着类型的领域泛化技术:1)基于域混合的方法,获得广义表示和2)基于域分类的方法,显式或隐式地对不同的域进行分类,以提高每个域的检测性能。
2022-11-22 cs.LG cs.SD eess.AS
Applying graph neural network to SupplyGraph for supply chain network
Juniper Networks(瞻博网络)
本研究评估了供应链数据集SupplyGraph,在需求预测任务上对比了MLP、GCN和GAT模型,发现GAT性能最佳且结果具统计学意义,并完善了数据集描述与方法以提升研究可重复性。
2024-08-23 cs.AI cs.LG
Description Generation using Variational Auto-Encoders for precursor microRNA
Eindhoven University of Technology(埃因霍温理工大学)
本文提出利用变分自编码器学习前体miRNA的潜在生成因素,并在低维潜在空间上用决策树生成可解释的结构描述,从而在保持高分类性能的同时提供准确的miRNA描述。
2023-11-29 cs.LG q-bio.QM