Explainable Machine Learning for Categorical and Mixed Data with Lossless Visualization
Central Washington University(中华盛顿大学)
针对异构混合数据,提出非数值属性编码方案、无损可视化方法及SRG算法,构建准确可解释的ML模型并通过实验验证,推进了混合数据全范围ML算法的发展。
2023-11-23 cs.HC cs.LG
Dependency Decomposition and a Reject Option for Explainable Models
Computer Science Institute(计算机科学研究所);Ruhr West University of Applied Sciences(鲁尔西部应用科学大学)
在安全相关领域(例如自动驾驶、医疗诊断)部署机器学习模型需要可解释的方法,这些方法对对抗攻击具有鲁棒性,并且能够意识到模型的不确定性。最近的深度学习模型在各种推理任务中表现非常好,但这些方法的黑盒性质导致了上述三个要求的弱点。最近的进展提供了可视化特征、描述输入属性(例如热图)、提供文本解释或降低维度的方法。然而,分类任务的解释是相互依赖的还是相互独立的?例如,物体的形状取决于颜色吗?使用预测类生成解释有什么影响,反之亦然?在可解释的深度学习模型的背景下,我们提出了关于期望的图像分类输出和解释变量(例如属性,文本,热图)的概率分布的依赖关系的第一个分析。因此,我们执行解释依赖性分解(EDD)。我们分析了不同的依赖关系的含义,并提出了两种方式产生的解释。最后,我们用解释来验证(接受或拒绝)预测
2020-12-11 cs.AI cs.CV cs.LG
Privacy-Preserving Explainable AIoT Application via SHAP Entropy Regularization
本文提出基于SHAP熵正则化的隐私保护方法,通过惩罚低熵的SHAP属性分布,减少可解释AIoT中的隐私泄露,同时保持高预测准确性和解释忠实性。
2026-03-14 cs.AI cs.CR cs.IT
Table2Vec: Automated Universal Representation Learning to Encode All-round Data DNA for Benchmarkable and Explainable Enterprise Data Science
University of Technology Sydney(悉尼科技大学)
企业数据通常涉及多个异构数据源和外部数据,它们分别记录业务活动、交易、客户人口统计、状态、行为、与企业的交互和通信,以及其产品、服务、生产、营销、运营和管理的消费和反馈,企业数据科学中的一个关键挑战是实现有效的整体企业数据理解和数据驱动的发现以及对全面企业DNA的决策。我们引入了一个神经编码器Table2Vec,用于从全方位的企业DNA中对客户等实体进行自动通用表示学习,并进行自动数据特征分析和数据质量增强。学习到的通用表示用作代表性和基准企业数据基因组,并且可以用于企业范围和特定于域的学习任务。Table 2 Vec集成了针对低质量企业数据和下游学习任务的自动化通用表示学习。我们举例说明了Table2Vec在复杂的异构多关系大表上表征企业中的全方位客户数据DNA,以构建通用的客户向量表示。每个客户的学习通用表示是全面的,具有代表性和基准性的,以支持企业数据科学中的企业范围和特定领域的学习目标和任务。Table2Vec显著优于通常用于企业分析的现有浅层、提升和深度学习方法。我们进一步讨论了自动化通用企业表示和学习的研究机会,方向和应用,以及自动化,通用,整个企业和道德机器学习和数据科学的学习企业数据DNA。
2021-12-03 cs.AI cs.LG
Explainable Artificial Intelligence for Customer Churn Prediction in Telecommunications: A Framework for CRM Integration
本文针对电信客户流失预测中模型不透明导致的CRM集成缺口,测试四种分类器并结合SHAP、LIME提供可解释性,提出四层CRM集成架构,预计可降低流失率3.3-5.3个百分点、节省19.9万-31.9万美元。
2026-08-28 cs.AI cs.LG
Unlocking Sales Growth: Account Prioritization Engine with Explainable AI
LinkedIn Corporation(领英公司)
针对B2B销售中客户评估依赖直觉、主动销售投入不足的问题,研发搭载可解释AI的智能客户优先级排序引擎Account Prioritizer,经A/B测试验证可使续约预订量提升8.08%。
2023-06-12 cs.AI cs.LG stat.ML
Explainable Ordinal Factorization Model: Deciphering the Effects of Attributes by Piece-wise Linear Approximation
Xi’an Jiaotong University(西安交通大学);City University of Hong Kong(香港城市大学)
有序回归预测的对象的标签,表现出自然的顺序,这是很重要的许多管理问题,如信用评分和临床诊断。在这些问题中,解释属性如何影响预测的能力对用户至关重要。然而,大多数,如果不是全部,现有的有序回归模型简化了这样的解释的形式,常数系数的主要和个别属性的相互作用的影响。这样的解释不能表征属性在不同价值尺度上的贡献。为了解决这个问题,我们提出了一个新的可解释有序回归模型,即可解释有序因子分解模型(XOFM)。XOFM使用分段线性函数来近似各个属性及其相互作用的实际贡献。此外,XOFM引入了一种新的顺序变换过程,为每个对象分配属于多个相关类的概率,而不是固定边界来区分类。XOFM是基于因子分解机来处理潜在的稀疏性问题,作为离散化的属性尺度。基准数据集和基线模型的综合实验表明,所提出的XOFM具有优越的可解释性,并导致最先进的预测精度。
2019-11-14 cs.LG stat.ML
Customer 360-degree Insights in Predicting Chronic Diabetes
Arizona State University(亚利桑那州立大学);Univar Solutions Inc.(Univar Solutions公司)
糖尿病等慢性病在世界上相当普遍,每年造成大量死亡。此外,治疗这些慢性疾病的医疗费用很高。然而,研究表明,糖尿病可以积极管理和预防,同时降低这些医疗费用。我们已经挖掘了代表美国德克萨斯州的1000万客户的360度数据样本,其属性截至2018年底。从市场研究数据供应商收到的样本有超过1000个客户属性,包括人口统计学,生活方式,以及在某些情况下自我报告的慢性疾病。在这项研究中,我们开发了一个分类模型来预测慢性糖尿病,准确率为80%。我们展示了一个用例,其中大量的360度客户数据可以用于预测,从而主动预防糖尿病等慢性疾病。
2021-09-04 cs.LG
Unveiling The Factors of Aesthetic Preferences with Explainable AI
University of Leuven (KU Leuven)(鲁汶大学(荷语鲁汶大学))
本研究利用多种机器学习模型预测图像美学得分,并结合SHAP可解释AI技术,在AADB、EVA和PARA三个基准上揭示影响美学偏好的属性及其交互因素。
2024-05-28 cs.LG
Beauty Beyond Words: Explainable Beauty Product Recommendations Using Ingredient-Based Product Attributes
Amazon(亚马逊)
针对美容产品属性提取不可靠且不完整的问题,提出一种基于成分的端到端监督学习系统,采用新颖的基于能量的隐式模型架构,在准确性、可解释性、鲁棒性和灵活性上表现优异,并能有效增强美容推荐的可解释性。
2024-09-20 cs.IR cs.LG
Transparency and Privacy: The Role of Explainable AI and Federated Learning in Financial Fraud Detection
Anglia Ruskin University(安格利亚鲁斯金大学)
本研究提出结合联邦学习与可解释人工智能的欺诈检测方法,在保护数据隐私的同时实现透明可解释的检测,实验证明其高性能与有效性。
2023-12-20 cs.AI cs.CR cs.LG
Attribute-aware Explainable Complementary Clothing Recommendation
The University of Queensland(昆士兰大学)
现代电子商务推荐系统对时尚商品之间的混搭关系建模的要求越来越高,但也越来越具有挑战性。在进行服装匹配时,大多数现有的方法利用从时尚物品图像中提取的潜在视觉特征进行兼容性建模,这缺乏对所生成的匹配结果的可解释性,并且难以说服用户推荐。尽管最近的方法开始结合预定义的属性信息(例如,颜色、款式、长度等)对于学习项目表示和改进模型可解释性,它们对属性信息的利用仍然主要保留用于增强所学习的项目表示和经由后处理生成解释。因此,当我们试图提高推荐准确性并生成细粒度的解释时,这会产生严重的瓶颈,因为显式属性与实际推荐过程只有松散的联系。本文提出了一种新颖的属性感知的时尚推荐器(AFRec),旨在解决时尚推荐任务中的可解释性挑战。具体而言,AFRec推荐器通过明确利用从每个项目的视觉特征中提取的属性级表示来评估服装兼容性。属性作为两个时尚物品之间的桥梁,我们通过学习它们属性之间的兼容性来量化一对物品的亲和力。大量的实验表明,通过充分利用推荐过程中的显式属性,AFRec能够实现最先进的推荐准确率,同时生成直观的解释。
2021-07-04 cs.IR cs.LG
Encoding Visual Attributes in Capsules for Explainable Medical Diagnoses
University of Central Florida(中佛罗里达大学);University of Pennsylvania(宾夕法尼亚大学)
基于卷积神经网络的系统由于其高度不可解释的“黑匣子”性质,在许多高风险应用领域(包括医疗保健、军事、安全、运输、金融和法律)中基本上未能被采用。为了解决这一缺陷,我们教授了一种新的多任务胶囊网络,通过体现人类专家使用的相同高级语言来提高预测的可解释性。我们的可解释胶囊网络X-Caps在其胶囊的向量中编码高级视觉对象属性,然后仅基于这些人类可解释的特征形成预测。为了对属性进行编码,X-Caps利用一个新的路由sigmoid函数来独立地将信息从子胶囊路由到父胶囊。此外,为了向放射科医生提供模型置信度的估计,我们训练我们的网络关于专家标签的分布,对观察者间的协议进行建模,并在训练期间惩罚过度/不足的置信度,由人类专家的协议监督。X-Caps同时从1000多个肺癌筛查患者CT扫描的多中心数据集中学习属性和恶性程度评分。我们证明了一个简单的2D胶囊网络可以在捕获视觉上可解释的高级属性和恶性肿瘤预测方面胜过最先进的深度密集双路径3D CNN,同时提供接近不可解释的3D CNN的恶性肿瘤预测分数。据我们所知,这是第一个研究胶囊网络的研究,用于基于放射科医生级别的可解释属性及其在医学图像诊断中的应用进行预测。代码可在https://github.com/lalonderodney/X-Caps上公开获取。
2020-06-20 cs.CV cs.LG eess.IV
Explainable Data Imputation using Constraints
IBM Research(IBM研究院)
由于处理不当或人为错误,数据集中的数据值可能丢失或异常。分析具有缺失值的数据可能会产生偏差并影响推断。一些分析方法,如主成分分析或奇异值分解,需要完整的数据。许多方法估算数值数据,有些不考虑属性对其他属性的依赖性,而有些则需要人工干预和领域知识。本文提出了一种新的基于不同数据类型值及其关联约束的数据填补算法。我们使用不同的指标比较我们的算法与最先进的插补技术的实验结果。我们的算法不仅估算缺失值,而且还生成人类可读的解释,描述用于每个估算的属性的重要性。
2022-05-10 cs.AI cs.LG
Blood Glucose Level Prediction: A Graph-based Explainable Method with Federated Learning
University College London(伦敦大学学院)
针对现有血糖预测模型缺乏属性关联解释和隐私问题,提出图注意力记忆模型结合联邦学习,在OhioT1DM数据集上验证了其有效性和稳定性。
2023-12-19 cs.LG
Towards Explainable Artificial Intelligence in Banking and Financial Services
Macquarie University(麦考瑞大学)
人工智能(AI)使机器能够从人类经验中学习,适应新的输入,并执行类似人类的任务。人工智能正在迅速发展,并正在改变企业的运营方式,从流程自动化到任务的认知增强和智能流程/数据分析。然而,人类用户面临的主要挑战是理解并适当信任人工智能算法和方法的结果。在本文中,为了应对这一挑战,我们研究和分析了可解释人工智能(XAI)方法和工具的最新工作。我们引入了一个新的XAI过程,它有助于产生可解释的模型,同时保持高水平的学习性能。我们提出了一种基于证据的交互式方法,以帮助人类用户理解和信任由AI算法创建的结果和输出。我们采用银行领域的典型场景来分析客户交易。我们开发了一个数字仪表板,以促进与算法结果的交互,并讨论了所提出的XAI方法如何显着提高数据科学家理解AI算法结果的信心。
2021-12-14 cs.AI cs.LG
Predicting customer's gender and age depending on mobile phone data
SyriaTel Telecom Company(叙利亚电信公司)
在数据驱动的解决方案时代,客户人口统计属性(如性别和年龄)发挥着核心作用,可以使公司能够增强其服务的提供,并在正确的时间和地点瞄准正确的客户。在营销活动中,这些公司希望将目标对准GSM(全球移动通信系统)的真正用户,而不是线路所有者。有时候它们可能不一样。本文提出了一种根据用户的行为、服务和合同信息来预测用户性别和年龄的方法。我们使用呼叫详细记录(CDR)、客户关系管理(CRM)和计费信息作为数据源来分析电信客户行为,并应用不同类型的机器学习算法来为营销活动提供更准确的客户人口统计属性信息。该模型使用SyriaTel电信公司提供的18,000个用户的可靠数据集构建,用于训练和测试。该模型利用大数据技术进行应用,在用户性别预测和用户年龄预测方面的准确率分别达到85.6%和65.5%。这项工作的主要贡献是提高了基于手机数据的用户性别预测和用户年龄预测的准确性,以及从多个方面处理电信领域客户数据的端到端解决方案。
2019-02-20 cs.CY cs.LG stat.ML
A Hybrid Statistical-Machine Learning Approach for Analysing Online Customer Behavior: An Empirical Study
Yale University(耶鲁大学);University of Melbourne(墨尔本大学);Johns Hopkins University(约翰斯·霍普金斯大学);International Computer Science Institute(国际计算机科学研究所);Uber Freight(优步货运)
我们将经典的统计方法与最先进的机器学习技术相结合,开发了一个混合可解释模型,以分析中国最大的在线零售商京东的454,897名在线客户对特定产品类别的行为。虽然大多数纯粹的机器学习方法在实践中缺乏可解释性,但我们的新混合方法将通过生成可解释的输出来解决这个实际问题。这种分析涉及确定哪些特征和特性对客户的购买行为有最大的影响,从而使我们能够以高精度预测未来的销售,并确定最具影响力的变量。研究结果显示,顾客的产品选择对承诺交货期不敏感,但此因素会显著影响顾客的订购量。我们还表明,各种折扣方法的有效性取决于特定的产品和折扣的大小。我们确定某些折扣方法更有效的产品类别,并提供更好地使用不同折扣工具的建议。客户对不同产品类别的选择行为主要受价格驱动,在较小程度上受客户人口统计数据驱动。前一项发现要求在决定何时以及应该提供多少折扣时要谨慎,而后者则确定了个性化广告和有针对性的营销机会。此外,为了遏制客户的批量订购行为,避免不良的牛鞭效应,京东应该改善其物流,以确保更快地交付订单。
2022-12-01 cs.LG stat.AP
Augmented cross-selling through explainable AI -- a case from energy retailing
University of Bamberg(班贝格大学);ETH Zurich(苏黎世联邦理工学院)
机器学习(ML)的发展引起了人们对该技术支持决策的浓厚兴趣。虽然复杂的机器学习模型提供的预测通常比传统工具更准确,但这些模型通常会向用户隐藏预测背后的推理,这可能导致采用率较低和缺乏洞察力。受这种紧张局势的推动,研究人员提出了可解释的人工智能(XAI)技术,揭示了ML发现的模式。尽管ML和XAI都被寄予厚望,但几乎没有经验证据表明其对传统企业的好处。为此,我们分析了一家能源零售商的220,185名客户的数据,预测交叉购买的正确率高达86%(AUC),并表明XAI方法SHAP提供了适用于实际买家的解释。我们进一步概述了在信息系统,XAI和关系营销的研究的影响。
2022-08-24 cs.AI cs.CY cs.HC
Towards Dynamic Feature Selection with Attention to Assist Banking Customers in Establishing a New Business
Macquarie University(麦考瑞大学)
建立一个新的业务可能涉及知识获取在各个领域,从个人到企业和营销来源。这项任务具有挑战性,因为它需要检查各种数据岛,以发现隐藏的模式和未知的相关性,例如购买行为,消费者购买信号以及不同位置的人口统计和社会经济属性。本文介绍了一种新的框架,用于从银行和非银行数据源中提取和识别重要特征,以应对这一挑战。我们提出了一个基于注意力的监督特征选择方法来选择重要的和相关的功能,最有助于客户的查询建立一个新的业务。我们报告了在从Kaggle和UCI机器学习存储库创建的公开可用数据集上进行的实验。
2021-05-09 cs.LG
XFake: Explainable Fake News Detector with Visualizations
Texas A&M University(得克萨斯农工大学);Washington State University(华盛顿州立大学);University of Florida(佛罗里达大学)
在这篇演示论文中,我们介绍了XFake系统,这是一个可解释的假新闻检测器,可以帮助最终用户识别新闻的可信度。为了有效地检测和解释新闻项的虚假性,我们联合考虑这两个属性(例如,发言人)和发言。具体地说,设计了MIMIC、ATTN和PERT框架,其中MIMIC用于属性分析,ATTN用于语句语义分析,PERT用于语句语言分析。除了从设计的框架中提取的解释之外,还提供了相关的支持示例以及可视化,以便于解释。我们实现的系统在从PolitiFact抓取的真实世界数据集上进行了演示,其中收集了数千条经过验证的政治新闻。
2019-07-08 cs.CL cs.CY cs.LG
Prepaid or Postpaid? That is the question. Novel Methods of Subscription Type Prediction in Mobile Phone Services
Univ Lyon(里昂大学);ENS de Lyon(里昂高等师范学院);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);UCB Lyon 1(里昂第一大学);INSA Lyon(里昂国立应用科学学院);Grandata Labs(Grandata实验室)
在本文中,我们调查预付费和后付费订阅的移动电话客户之间的行为差异。我们的研究显示,(a)后付费客户在服务使用方面更活跃,(b)移动电话呼叫网络中存在很强的结构相关性,因为相同订阅类型的客户之间的连接比不同订阅类型的客户之间的连接更频繁。基于这些观察,我们提供了通过使用有关客户个人呼叫统计信息以及同时使用他们以自我为中心的网络的信息来检测客户订阅类型的方法。我们的第一种方法的关键是铸造这个分类问题的图标记的问题,这可以解决的最大流最小割算法。我们的实验表明,通过使用用户属性和关系,所提出的图标记方法能够实现$\sim 87\%$的分类精度,这优于$\sim 7\%$监督学习方法,只使用用户属性。在我们的第二个问题中,我们的目标是推断外部运营商的客户的订阅类型。我们提出了通过近似的方法来解决这个问题,通过使用节点属性,和一个双向的间接推理方法的基础上观察到的同构相关性。我们的研究结果在行为预测和个人营销中有直接的应用。
2017-06-30 cs.LG cs.SI physics.soc-ph
Concept-based Explainable Malignancy Scoring on Pulmonary Nodules in CT Images
Peter the Great St.Petersburg Polytechnic University(彼得大帝圣彼得堡理工大学)
本文提出一种基于广义加性模型和概念学习的可解释模型,用于肺结节CT图像恶性程度评分,通过检测临床属性并解释其贡献,在LIDC-IDRI数据集上验证了与临床一致的诊断结果和竞争性能。
2024-05-24 cs.AI cs.LG eess.IV
From Reviews to Actionable Insights: An LLM-Based Approach for Attribute and Feature Extraction
Samuel Curtis Johnson Graduate School of Management, Cornell University(科恩椭圆管理研究生院,康奈尔大学);Columbia Business School(哥伦比亚商学院);University of Waterloo(滑铁卢大学)
本研究提出基于大语言模型的评论属性特征提取方法,经Yelp星巴克评论验证其与人工标注一致性高、速度快,可助力企业挖掘客户情感、优化服务并提升营收。
2025-10-22 cs.LG econ.EM stat.ML
Explainable Artificial Intelligence for Manufacturing Cost Estimation and Machining Feature Visualization
Sookmyung Women's University(淑明女子大学);Korea Advanced Institute of Science and Technology(韩国科学技术院)
基于深度学习的制造成本预测研究近年来开始,但由于模型仍然被用作黑箱,因此无法解释成本预测的原理。本研究旨在提出一个使用可解释的人工智能的三维计算机辅助设计(CAD)模型的制造成本预测过程。所提出的过程可以可视化的3D CAD模型的加工功能,影响制造成本的增加。所提出的过程包括(1)数据汇集和预处理,(2)3D深度学习架构探索,以及(3)可视化以解释预测结果。所提出的深度学习模型显示出对计算机数控(CNC)加工零件的制造成本的高预测性。特别地,利用三维梯度加权类激活映射,证明了该模型不仅能够检测出数控加工特征,而且能够区分同一特征的加工难度。使用所提出的过程中,我们可以提供一个设计指导工程设计人员在概念设计阶段降低制造成本。我们还可以为在线制造平台客户提供实时报价和重新设计建议。
2021-06-13 cs.CG cs.LG
PAE: LLM-based Product Attribute Extraction for E-Commerce Fashion Trends
Walmart Global Technology(沃尔玛全球技术部门)
针对电子商务时尚趋势报告中的产品属性提取问题,提出PAE框架,利用多模态信息从PDF中提取属性,并通过BERT匹配目录,平均F1达92.5%。
2024-05-27 cs.AI cs.CV cs.LG
Parcel loss prediction in last-mile delivery: deep and non-deep approaches with insights from Explainable AI
Eindhoven University of Technology(埃因霍温理工大学)
针对最后一公里配送中包裹丢失数据极度不平衡的挑战,本文提出DBSL和DHEL两种机器学习方法进行准确预测,并利用可解释AI技术帮助电商零售商优化保险决策与业务流程。
2023-10-25 cs.LG
Achieving Transparency in Distributed Machine Learning with Explainable Data Collaboration
University of Tsukuba(筑波大学);NTT DATA Corporation(NTT数据公司)
用于各行各业决策支持的机器学习模型的透明度对于确保其道德使用至关重要。为此,诸如SHAP(SHapley Additive exPlanations)的特征归因方法被广泛用于向客户和开发人员解释黑盒机器学习模型的预测。然而,一个平行的趋势是与其他数据持有者合作训练机器学习模型,而不访问他们的数据。这些模型在水平或垂直分区的数据上训练,对可解释的AI提出了挑战,因为解释方可能对背景数据有偏见或对特征空间有部分看法。因此,从分布式机器学习的不同参与者那里获得的解释可能彼此不一致,从而破坏了对产品的信任。提出了一种基于模型无关的加性特征属性算法(KernelSHAP)和隐私保护分布式机器学习的数据协作方法的可解释数据协作框架。特别是,我们提出了三种算法,不同的情况下,在数据协作的可解释性,并验证其一致性与开放获取数据集上的实验。我们的研究结果表明,分布式机器学习用户之间的特征归因差异显著减少(至少减少了1.75倍)。
2022-12-06 cs.AI cs.LG
Efficient Commercial Bank Customer Credit Risk Assessment Based on LightGBM and Feature Engineering
University of Electronic Science and Technology of China(电子科技大学);School of Economics and Management(经济与管理学院)
本文针对商业银行客户信用违约风险,基于 Kaggle 客户数据,利用 LightGBM 并结合缺失值处理、编码、不平衡样本处理及新特征构建,实现了优于多种同类分类器的评估性能。
2023-08-17 cs.LG
Pitfalls of Explainable ML: An Industry Perspective
University of Washington(华盛顿大学);Arthur AI;BITS Pilani, Goa Campus(贝拉理工学院果阿校区);University of Maryland(马里兰大学)
随着机器学习(ML)系统在影响生活的决策中发挥更加突出和核心的作用,确保其可信度和问责制至关重要。解释是ML系统这些理想属性的核心。这个新兴领域通常被称为“可解释的AI(XAI)”或“可解释的ML”。“可解释ML的目标是直观地解释ML系统的预测,同时满足各种利益相关者的需求。许多解释技术是在学术界和工业界的贡献下开发的。然而,有几个现有的挑战还没有引起足够的兴趣,并成为广泛采用可解释ML的障碍。在这篇简短的论文中,我们从行业的角度列举了可解释ML的挑战。我们希望这些挑战将成为未来有希望的研究方向,并有助于使可解释的ML民主化。
2021-06-14 cs.AI cs.LG
Explainable Restricted Boltzmann Machines for Collaborative Filtering
University of Louisville(路易斯维尔大学)
大多数精确的推荐系统都是黑盒模型,隐藏了推荐背后的推理。然而,解释已经被证明可以增加用户对系统的信任,除了提供其他好处,如可感知性,这意味着能够验证推荐的有效性。准确性和透明度或可解释性之间的这种差距产生了对自动解释生成方法的兴趣。受限玻尔兹曼机(RBM)是CF的精确模型,也缺乏可解释性。在本文中,我们专注于基于RBM的协同过滤推荐,并进一步假设没有任何额外的数据源,如项目内容或用户属性。因此,我们提出了一个新的可解释的RBM技术,计算的前n个推荐列表的项目是可解释的。实验结果表明,我们的方法是有效的,在生成准确和可解释的建议。
2016-06-22 cs.LG stat.ML
Hybrid Intent-Aware Personalization with Machine Learning and RAG-Enabled Large Language Models for Financial Services Marketing
本文提出一种混合架构,结合传统机器学习与RAG增强的大语言模型,用于金融服务营销中的个性化营销,通过时间编码器、潜在表示和多任务分类提高个性化准确性。
2026-03-11 cs.AI cs.IR cs.LG
Explainable Subgraphs with Surprising Densities: A Subgroup Discovery Approach
Ghent University(根特大学)
图的连通性结构通常与节点的属性有关。例如,在社交网络中,两个人之间建立友谊的概率取决于他们的属性,例如他们的年龄、地址和爱好。因此,图的连通性可以用以下形式的模式来理解:“具有属性X的个体的子群通常(或很少)与具有属性Y的另一个子群中的个体是朋友”。这些规则呈现了对图的潜在可操作和可推广的见解。我们提出了一种方法,发现对节点子群之间的边缘密度是有趣的高或低,使用信息理论的定义的兴趣。这种兴趣度是主观量化的,以与分析师可能拥有的关于图的先验信息形成对比。该视图立即支持对此类模式的迭代挖掘。我们的工作概括了以前的工作密集子图挖掘(即由一个单一的子群诱导的子图)。此外,不仅是所提出的方法更一般,我们也表现出相当大的实际优势,为单子群的特殊情况。
2020-01-10 cs.LG cs.SI stat.ML
PAM: Understanding Product Images in Cross Product Category Attribute Extraction
Emory University(埃默里大学);Amazon(亚马逊)
了解产品属性对于改善消费者的在线购物体验具有重要作用,并且是构建产品知识图谱的重要组成部分。现有的方法大多集中在从文本描述中提取属性或利用产品图像中的视觉信息,如形状和颜色。与以前的作品中考虑的输入相比,产品图像实际上包含了更多的信息,由丰富的文字和视觉线索的混合物表示,精心设计的布局给客户留下深刻印象。这项工作提出了一个更具包容性的框架,充分利用这些不同的方式进行属性提取。受视觉问答中最近工作的启发,我们使用基于Transformer的序列到序列模型来融合产品文本、光学字符识别(OCR)标记和在产品图像中检测到的视觉对象的表示。通过训练解码器预测产品类别和属性值,并根据产品类别调整其输出,该框架进一步扩展了使用单个模型跨多个产品类别提取属性值的能力。该模型提供了一个统一的属性提取解决方案,希望在电子商务平台,提供了众多的产品类别与不同的身体的产品属性。我们评估了两个产品属性的模型,一个具有许多可能的值,一个具有一小部分可能的值,超过14个产品类别,发现与使用纯文本特征的现有方法相比,该模型可以在召回率上获得15%的增益,在F1得分上获得10%的增益。
2021-06-08 cs.CL cs.CV cs.LG
Predicting Space Tourism Demand Using Explainable AI
Florida Institute of Technology(佛罗里达理工学院)
本文提出遵循 NIST 指南的可解释 AI 框架 SpaceNet,基于1860份美国调查数据预测四类太空旅游需求,并解释关键影响因素。
2025-03-17 cs.LG
FedDMF: Privacy-Preserving User Attribute Prediction using Deep Matrix Factorization
Beta Labs, The Lane Crawford Joyce Group(Beta Labs,连卡佛载思集团)
提出FedDMF算法,通过联邦学习训练深度矩阵分解模型并仅共享项目向量,实现无需用户匹配的隐私保护用户属性预测,在MovieLens数据集上达到FedAvg的96%准确率。
2023-12-24 cs.CR cs.LG
Explainable Deep Learning for Uncovering Actionable Scientific Insights for Materials Discovery and Design
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
科学界越来越有兴趣利用深度学习的力量来解决各种领域的挑战。然而,尽管构建预测模型是有效的,但由于其不透明的性质,从深度神经网络中提取可操作的知识存在根本挑战。在这项工作中,我们提出了探索深度学习模型的行为的技术,通过在分析管道中注入特定于域的可操作属性作为可调的“旋钮”。通过将领域知识整合到生成式建模框架中,我们不仅能够更好地理解这些黑盒模型的行为,而且还为科学家提供了可操作的见解,这些见解可能会导致根本性的发现。
2020-07-16 cs.CV cs.LG
Explainable Deep Modeling of Tabular Data using TableGraphNet
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);University of South Carolina(南卡罗来纳大学)
绝大多数关于可解释性的研究都集中在后可解释性方面,而不是可解释性建模。也就是说,一个解释模型来解释一个复杂的黑箱模型建立的唯一目的是实现最高的性能可能。在某种程度上,这种趋势可能是由一种误解驱动的,即在可解释性和准确性之间存在权衡。此外,基于博弈论的Shapely值的后续工作也有助于新一波的后可解释性研究,以更好地近似各种机器学习模型,包括深度学习模型。我们提出了一个新的架构,固有地产生可解释的预测的形式添加剂的功能属性。我们的方法为数据集中的每个记录学习一个图形表示。然后,从图中导出以属性为中心的特征,并将其馈送到贡献深度集模型中以产生最终预测。我们表明,我们的可解释模型达到了与黑盒模型相同的性能水平。最后,我们提供了一种增强的模型训练方法,该方法利用了缺失属性,并在不损失准确性的情况下产生高水平的一致性(如Shapely值所需)。
2020-02-12 cs.AI cs.LG
Fully Explainable Classification Models Using Hyperblocks
Computer Science Department(计算机科学系);Central Washington University(中央华盛顿大学)
本文提出一套 Hyperblock 简化算法与 k-NN 可解释回退机制,在降低模型复杂度和训练成本的同时保持准确率,并在 WBC 与 MNIST 上验证其可扩展分类能力。
2025-06-08 cs.LG
A Model-based Projection Technique for Segmenting Customers
Stern School of Business, New York University(纽约大学斯特恩商学院);Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所)
我们考虑的问题,大量的客户细分成非重叠的群体具有相似的偏好,使用不同的偏好观察,如购买,评级,点击等。我们专注于项目范围很大(从数千到数百万)和非结构化(缺乏定义良好的属性)的设置,每个客户只提供少数项目的观察。这些数据特征限制了现有技术在市场营销和机器学习中的适用性。为了克服这些局限性,我们提出了一种基于模型的投影技术,该技术将不同的观测集转换为更具可比性的尺度,并通过将转换后的数据投影到低维空间来处理缺失数据。然后,我们对预测数据进行聚类,以获得客户细分。理论上,我们推导出精确的必要和充分条件,保证渐近恢复的真实客户群。从经验上讲,我们在两个真实案例研究中展示了我们方法的速度和性能:(a)MovieLens数据集上新电影推荐的准确性提高了84%,(b)eBay离线数据集上类似项目推荐算法的性能提高了6%。我们表明,我们的方法优于标准的潜在类和基于人口统计的技术。
2017-01-25 cs.LG stat.AP stat.ME
Fraud detection in telephone conversations for financial services using linguistic features
University of East London(东伦敦大学);Intelligent Voice Ltd.(智能语音有限公司);Strenuus Ltd.(Strenuus有限公司)
检测对话中的欺骗元素是人工智能社区最具挑战性的问题之一。设计一个透明的、完全可以解释的、满足所需金融和法律服务的系统变得更加困难。本文提出了一种基于语言特征的电话录音欺诈检测方法。所提出的方法利用的句法和语义信息的转录提取的语言标记和情感的客户的反应。我们使用简单,强大和可解释的分类器,如朴素贝叶斯,决策树,最近邻,和支持向量机的真实世界的金融服务数据的结果。
2019-12-10 cs.CL cs.LG
EXTRACT: Explainable Transparent Control of Bias in Embeddings
University of Bristol(布里斯托大学);University of Bath(巴斯大学)
本文提出EXTRACT方法,利用典型相关分析检测知识图谱嵌入中的偏见信息泄漏,并通过分解嵌入和四种透明控制方法在保持预测能力的同时减少受保护属性泄漏。
2023-10-31 cs.CY cs.LG
Causal inference and model explainability analysis of a real world sales dataset
本文提出了一种在零售业中应用模型可解释性和因果推断的方法,以提高销售洞察的准确性。
2026-10-20 cs.LG
Wasserstein Distances Made Explainable: Insights Into Dataset Shifts and Transport Phenomena
BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究院);Department of Electrical Engineering and Computer Science, Technische Universität Berlin(技术大学柏林电气工程与计算机科学系);Institute for AI in Medicine, Charité – Universitätsmedizin Berlin(柏林夏里特医学院人工智能医学研究所)
本文提出基于可解释AI的方法,用于高效归因Wasserstein距离,揭示数据偏移和运输现象的内在因素。
2026-03-01 cs.AI cs.CV cs.LG
Machine Learning in Transaction Monitoring: The Prospect of xAI
Copenhagen Business School(哥本哈根商学院)
银行承担着社会责任和监管要求,以降低金融犯罪的风险。风险缓解主要通过交易监控(TM)监控客户活动来实现。最近,机器学习(ML)被提出来识别可疑的客户行为,这引发了围绕ML模型及其输出的信任和可解释性的复杂社会技术影响。然而,由于其敏感性,很少有研究。我们的目标是通过实证研究来填补这一空白,探索ML支持的自动化和增强如何影响TM过程以及利益相关者对构建可解释人工智能(xAI)的要求。我们的研究发现,xAI要求取决于TM过程中的责任方,该过程会根据TM的增强或自动化而变化。与上下文相关的解释可以为审计提供急需的支持,并可能减少调查员判断中的偏见。这些结果表明,xAI的特定用例方法可以充分促进ML在TM中的采用。
2022-12-28 cs.HC cs.LG
Encoding Domain Information with Sparse Priors for Inferring Explainable Latent Variables
German Cancer Consortium (DKTK)(德国癌症联盟(DKTK));German Cancer Research Center (DKFZ)(德国癌症研究中心(DKFZ));Goethe University Frankfurt(法兰克福歌德大学);Frankfurt Cancer Insititute(法兰克福癌症研究所)
潜变量模型是一种强大的统计工具,可以通过从可观察的高维数据中推断未观察到的隐藏状态来揭示患者或细胞之间的相关变化。然而,目前的方法的一个主要缺点是,他们无法学习稀疏和可解释的隐藏状态。此外,在容易获得关于数据潜在结构的部分知识的设置中,将先验信息统计上合理地整合到当前方法中是具有挑战性的。为了解决这些问题,我们提出了spex-LVM,一个阶乘的潜在变量模型与稀疏先验,以鼓励推理领域相关的信息驱动的可解释的因素。spex-LVM利用现有的策划生物医学途径的知识,自动分配注释属性的潜在因素,产生可解释的结果,适合相应的领域的兴趣。对模拟和真实单细胞RNA-seq数据集的评估表明,我们的模型以内在可解释的方式稳健地识别相关结构,区分技术噪声与生物医学变异来源,并提供对现有途径注释的特定适应性调整。可在https://github.com/MLO-lab/spexlvm上获得实现。
2022-04-11 cs.LG stat.ML
Detection, Attribution, Narration: An End-to-End Pipeline for Explainable Money Mule Identification
OCBC, Singapore(新加坡华侨银行)
针对洗钱者账户检测难题,提出端到端管道,含LightGBM分类器、TreeSHAP归因层和LLM模块。经评估,系统收益率提升,警报量增加,LLM叙述减少认知负荷,在实际部署中表现出色,还探讨了在监管金融环境中的应用影响。
2026-07-21 cs.AI cs.CR cs.LG
Toward Explainable and Policy-Aware AI for Carbon Credit Price Prediction: A Research Framework for Emerging Carbon Markets
本研究针对新兴碳市场碳信用价格预测的痛点,构建了可解释且感知政策的EPA-CarbonNet模型,经11年标普碳指数数据测试,其方向准确率优于所有基准,但五日RMSE不及随机游走模型。
2026-09-03 cs.LG
Explainable Mixed Data Representation and Lossless Visualization Toolkit for Knowledge Discovery
Central Washington University(中央华盛顿大学)
针对异构/混合数据开发机器学习(ML)算法是一个长期存在的问题。许多ML算法不适用于混合数据,包括数值和非数值数据,文本,图形等,以生成可解释的模型。另一个长期存在的问题是开发多维混合数据的无损可视化算法。ML的进一步发展在很大程度上取决于混合数据的成功可解释ML算法和多维数据的无损可解释可视化。后者允许最终用户使用可视化知识发现来开发可解释的ML模型,最终用户可以带来训练数据中缺少的有价值的领域知识。混合数据的挑战包括:(1)为数值ML算法的非数值属性生成数值编码方案,以提供准确和可解释的ML模型,(2)生成n-D非数值数据的无损可视化方法和这些可视化中的可视化规则发现。本文对混合数据类型进行了分类,分析了它们在机器学习中的重要性,并给出了开发的处理混合数据的实验工具包。它结合了数据类型编辑器,VisCanvas数据可视化和GitHub上的规则发现系统。
2022-06-13 cs.LG
Explainable AI needs formalization
Technische Universität Berlin(柏林工业大学);Physikalisch-Technische Bundesanstalt(德国联邦物理技术研究院);Charité – Universitätsmedizin Berlin(柏林夏里特医学院)
本文指出当前可解释AI缺乏明确问题定义和评估标准,需通过形式化定义问题并设计方法来提升解释正确性和性能。
2026-04-08 cs.AI cs.LG stat.ML
Explainable Fraud Detection with Deep Symbolic Classification
RiskQuest;Universiteit van Amsterdam(阿姆斯特丹大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文提出深度符号分类(DSC),将分类问题转化为由强化学习引导的符号表达式搜索,直接优化F1等对类别不平衡鲁棒的指标,在PaySim数据集上取得与最先进模型相当的预测性能,同时显著提升可解释性。
2023-12-01 cs.AI cs.LG
Augmenting Decision Making via Interactive What-If Analysis
Sigma Computing(西格玛计算);University of Maryland(马里兰大学);University of Amsterdam(阿姆斯特丹大学);University of Massachusetts(马萨诸塞大学)
业务数据分析的基本目标是使用数据改进业务决策。业务用户通常会做出决策以实现关键绩效指标(KPI),例如增加客户保留率或销售额,或降低成本。为了发现假设为驱动因素的数据属性与对应于感兴趣的KPI的数据属性之间的关系,业务用户目前需要执行冗长的探索性分析。这涉及考虑多种组合和场景,并相应地对数据执行切片、切割和变换,例如,分析一年中各季度的客户保留率,或建议跨客户阶层的最佳媒体渠道。然而,数据集日益复杂,加上人类的认知局限性,使得即使是简单的数据集,也很难进行多个假设。因此,在心理上进行这样的分析是很困难的。现有的商业工具要么提供部分解决方案,要么无法完全满足商业用户的需求。在这里,我们认为四个功能,使业务用户交互式学习和推理的数据属性集之间的关系,从而促进数据驱动的决策。我们在SystemD中实现了这些功能,SystemD是一个交互式可视化数据分析系统,使业务用户能够通过提出假设问题来实验数据。我们通过三个业务用例来评估该系统:营销组合建模、客户保留分析和交易完成分析,并报告来自多个业务用户的反馈。用户发现SystemD的功能非常有用,可以围绕他们感兴趣的KPI快速测试和验证他们的假设,解决他们未满足的分析需求。反馈还表明,可以增强用户体验设计,以进一步提高这些功能的可理解性。
2022-02-09 cs.DB cs.HC cs.LG
Achieving Counterfactual Fairness for Causal Bandit
University of Arkansas(阿肯色大学)
在在线推荐中,客户从底层分布以顺序和随机的方式到达,并且在线决策模型基于某种策略为每个到达的个体推荐所选物品。我们研究如何在每一步推荐一个项目,以最大化预期回报,同时实现用户端公平的客户,即,共享相似简档的客户将接收相似的奖励,而不管他们的敏感属性和被推荐的项目。通过将因果推理纳入土匪和采用软干预来模拟手臂选择策略,我们首先提出了基于d-分离的UCB算法(D-UCB),以探索利用d-分离集来减少所需的探索量,以实现低累积遗憾。在此基础上,我们提出了公平因果强盗(F-UCB)实现反事实的个人公平。理论分析和实验验证了算法的有效性。
2021-09-21 cs.AI cs.CY cs.LG
An ExplainableFair Framework for Prediction of Substance Use Disorder Treatment Completion
1 College of Computing;Informatics Drexel University, Philadelphia PA, USA Email: mml367,xw388,cc3859;2 Butler Center for Research Hazelden Betty Ford Foundation, Minnesota, USA Email: jbraughton
本文提出一个可解释公平框架,先优化模型性能,再通过处理中方法缓解种族和性别偏差,并可视化特征重要性变化以解释公平性增强过程,最终在保持高灵敏度的同时提升公平性,为临床决策和资源分配提供参考。
2024-04-04 cs.CY cs.LG