An accuracy improving method for advertising click through rate prediction based on enhanced xDeepFM model
School of Dig Data(数字数据学院);Zhuhai College of Science and Technology(珠海科技学院);School of Computer Science(计算机科学学院)
针对广告点击率预测面临的数据稀疏、类别不平衡及现有模型未充分挖掘多视角特征关联的问题,本文提出基于xDeepFM的改进模型,集成多头注意力机制并以FM替代线性模型,在Criteo数据集上提升了AUC和Logloss指标,提高预测精度。
2024-11-21 cs.LG
Lessons from the AdKDD'21 Privacy-Preserving ML Challenge
Criteo AI Lab(Criteo AI实验室);Meta Platforms, Inc.(Meta平台公司);Criteo AI Lab and Hui Yang Affiliation: Meta Platforms, Inc.(Criteo AI实验室)
设计提供性能和强隐私保证的数据共享机制是在线广告行业的热门话题。也就是说,在W3C的改进网络广告业务组下讨论的一个突出的提议只允许通过聚合的、有差异的过去显示的私人报告来共享广告信号。为了广泛研究这一提议,AdKDD'21举办了一个开放的隐私保护机器学习挑战赛,这是一个关于广告科学的顶级研讨会,数据由广告公司Criteo提供。在本文中,我们描述了挑战任务,可用数据集的结构,报告挑战结果,并使其完全重现。一个关键的发现是,在存在一小部分未聚合数据点的情况下,基于大型聚合数据的学习模型可以令人惊讶地高效和廉价。我们还进行了额外的实验来观察获胜方法对不同参数的敏感性,例如隐私预算或可用的特权侧信息的数量。我们的结论是,该行业需要为私人数据共享的替代设计或在学习与聚合数据方面的突破,以保持广告相关性在一个合理的水平。
2022-01-31 cs.CR cs.LG
Challenges and approaches to privacy preserving post-click conversion prediction
Twitter(推特)
通过使用机器学习模型和实时拍卖进行广告定位,在线广告通常比离线广告更加个性化。一个特定的任务,预测转换的可能性(即\用户将购买广告产品的概率)对于广告生态系统的目标定位和定价广告都是至关重要的。目前,这些模型通常通过观察个人用户行为来训练,但越来越多的监管和技术限制需要隐私保护方法。例如,主要平台正在限制在多个应用程序中跟踪单个用户事件,世界各地的政府对规范个人数据的使用表现出越来越大的兴趣。广告商可以接收隐私保护反馈,而不是接收有关个人用户行为的数据,例如由一组用户产生的广告应用程序的安装数量。在本文中,我们从机器学习的角度概述了最近在线广告生态系统中与隐私相关的变化。我们提供了在这种设置下学习转换模型时的挑战和限制的概述。我们介绍了一种新的方法来训练这些模型,利用排名后的信号。我们使用真实世界数据的离线实验表明,它优于仅依赖于选择加入数据的模型,并且在没有单独标签时显着降低了模型退化。最后,我们讨论了未来的研究方向,在这个不断发展的领域。
2022-01-29 cs.CR cs.IR cs.LG
Machine learning reveals how personalized climate communication can both succeed and backfire
Toyota Research Institute(丰田研究院)
不同的广告信息适用于不同的人。机器学习可以成为个性化气候通信的有效途径。在本文中,我们使用机器学习来重新分析最近一项研究的结果,该研究表明,在线广告增加了一些人对气候变化的信念,同时导致对其他人的信念下降。特别是,我们表明,广告的效果可能会根据人们的年龄和种族而变化。
2021-09-10 cs.CY cs.LG
High-Throughput Machine Learning from Electronic Health Records
University of Wisconsin - Madison(威斯康星大学麦迪逊分校);Marshfield Clinic Research Institute(马什菲尔德诊所研究所);Stanford University(斯坦福大学)
通过电子健康记录(EHR)对患者数据进行广泛数字化,为使用机器学习算法更好地预测患者层面的疾病风险创造了前所未有的机会。尽管之前已经为一些重要疾病(如乳腺癌和心肌梗死)构建了预测模型,但我们目前对大多数疾病或事件的风险预测准确性以及提前多久知之甚少。机器学习算法使用训练数据而不是预先编程的规则来进行预测,非常适合疾病预测的复杂任务。尽管患者可能会遇到数千种疾病,但没有任何先前的研究同时预测数千种诊断代码的风险,从而建立全面的患者风险状况。在这里,我们表明,这样的泛诊断预测是可能的诊断代码的高水平的性能。对于提前1个月和6个月预测诊断风险的任务,我们在数千个预测任务中分别实现了0.803和0.758的受试者工作特征曲线(AUC)下的平均面积。最后,我们的研究提供了一个新的临床预测数据集,研究人员可以在其中探索诊断的预测程度以及哪些健康因素对预测最有用。这是第一次,我们可以更全面地了解如何预测数千种不同诊断代码的风险。
2019-07-03 cs.LG q-bio.QM stat.ML
MOFSimplify: Machine Learning Models with Extracted Stability Data of Three Thousand Metal-Organic Frameworks
Massachusetts Institute of Technology(麻省理工学院)
我们报告了一个工作流程和输出的自然语言处理(NLP)为基础的程序来挖掘现存的金属有机框架(MOF)的文献描述结构特征的MOF及其溶剂去除和热稳定性。我们从文本挖掘中获得了2,000多个溶剂去除稳定性指标,从热重分析数据中获得了3,000个热分解温度。我们通过与手工标记的子集进行比较来评估我们的NLP方法的有效性和我们提取的数据的准确性。使用基于图形和孔隙几何结构的表示在此数据上训练的机器学习(ML,即人工神经网络)模型能够预测具有量化不确定性的新MOF的稳定性。我们的Web界面MOFestival为用户提供了对我们精选数据的访问权限,并使他们能够利用这些数据对新的MOFs进行预测。MOF还鼓励社区对现有数据和ML模型预测的反馈,以基于社区的主动学习改进MOF稳定性模型。
2021-09-16 cond-mat.mtrl-sci cs.LG physics.chem-ph
Potential Neutralizing Antibodies Discovered for Novel Corona Virus Using Machine Learning
Carnegie Mellon University(卡内基梅隆大学)
在免疫系统产生抑制性抗体之前,快速和不可追踪的病毒突变夺走了成千上万人的生命。最近爆发的新型冠状病毒感染并导致全球数千人死亡。快速找到可以抑制COVID-19病毒表位的肽或抗体序列的方法将挽救数千人的生命。在本文中,我们设计了一个机器学习(ML)模型来预测可能的抑制冠状病毒的合成抗体。我们收集了1933个病毒抗体序列及其临床患者中和反应,并训练了一个ML模型来预测抗体反应。使用各种ML方法的图特征化,我们筛选了数千个假设的抗体序列,并发现了8种可能抑制COVID-19的稳定抗体。我们结合生物信息学、结构生物学和分子动力学(MD)模拟来验证能够抑制冠状病毒的候选抗体的稳定性。
2020-03-18 cs.LG q-bio.BM
On the Factory Floor: ML Engineering for Industrial-Scale Ads Recommendation Models
Google Inc.(谷歌公司)
对于工业规模的广告系统,广告点击率(CTR)的预测是一个中心问题。广告点击构成了用户参与的重要类别,并且通常被用作广告对用户有用性的主要信号。此外,在按点击收费的广告系统中,广告客户按点击收费,点击率预期直接进入价值估计。因此,CTR模型开发是大多数互联网广告公司的重大投资。针对此类问题的工程设计需要许多适用于在线学习的机器学习(ML)技术,这些技术远远超出了传统的准确性改进,特别是在效率、可重复性、校准、信用归属方面。我们提出了一个案例研究部署在谷歌的搜索广告CTR模型的实用技术。本文提供了一个行业案例研究,突出了当前ML研究的重要领域,并说明了如何评估有影响力的新ML方法并使其在大规模工业环境中发挥作用。
2022-09-12 cs.IR cs.LG
Classifying Multilingual User Feedback using Traditional Machine Learning and Deep Learning
University of Hamburg(汉堡大学)
随着Twitter等社交媒体和应用商店等软件分发平台的兴起,用户有了各种方式来表达他们对软件产品的看法。受欢迎的软件供应商每天都能收到数千倍的用户反馈。研究表明,这样的反馈包含对软件开发团队有价值的信息,如问题报告或功能和支持查询。由于用户反馈的手动分析繁琐且难以管理,许多研究人员和工具供应商建议使用基于传统监督机器学习方法的自动分析。在这项工作中,我们比较了传统机器学习和深度学习在将英语和意大利语的用户反馈分类为问题报告,查询和无关的结果。我们的研究结果表明,使用传统的机器学习,我们仍然可以获得与深度学习相当的结果,尽管我们收集了数千个标签。
2019-09-12 cs.CL cs.LG stat.ML
Building Machine Translation Systems for the Next Thousand Languages
Google Research(谷歌研究院)
在本文中,我们分享了我们努力构建能够翻译超过一千种语言的实用机器翻译(MT)系统的结果。我们描述了三个研究领域的结果:(i)通过利用半监督预训练进行语言识别和开发数据驱动的过滤技术,为1500多种语言构建干净的Web挖掘数据集;(二)通过利用100多个高质量语言的监督并行数据训练的大规模多语言模型,为服务不足的语言开发实用的机器翻译模型。资源语言和单语数据集的额外1000+语言;和(iii)研究这些语言的评估指标的局限性,并对我们的MT模型的输出进行定性分析,突出这些类型的模型的几个常见错误模式。我们希望我们的工作为致力于为目前研究不足的语言构建MT系统的从业者提供有用的见解,并强调可以补充数据稀疏环境中大规模多语言模型弱点的研究方向。
2022-07-06 cs.AI cs.CL cs.LG
Towards a User Privacy-Aware Mobile Gaming App Installation Prediction Model
Bigabid Inc.(Bigabid公司);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
在过去的十年中,程序化广告在在线广告行业受到了极大的关注。实时竞价(RTB)系统正在迅速成为购买和出售在线广告印象的最流行方法。在RTB系统中,需求方平台(DSP)的目标是有效地花费广告商的广告预算,同时最大化利润,寻求产生高用户响应(如点击或安装)的印象。在当前的研究中,我们从特定DSP的角度研究了预测移动游戏应用程序安装的过程,同时关注用户隐私,并探索隐私保护和模型性能之间的权衡。根据与数据共享过程相关的隐私泄露(例如数据转换或去匿名化),用户隐私可能面临多个级别的潜在威胁。为了解决这些问题,提出了隐私保护技术,例如加密方法,用于训练隐私感知机器学习模型。然而,在不使用用户级数据的情况下训练移动游戏应用安装预测模型的能力可以防止这些威胁并保护用户的隐私,即使模型的预测能力可能受损。此外,目前的法律可能迫使公司声明他们正在收集数据,甚至可能让用户选择退出这种数据汇集,这可能威胁到公司在数字广告中的商业模式,这种模式依赖于收集和使用用户级数据。我们的结论是,隐私感知模型可能仍然保留显着的能力,使公司能够做出更好的决策,这取决于每个案例的隐私效率权衡效用函数。
2023-03-28 cs.LG
The invisible power of fairness. How machine learning shapes democracy
Nexa Center for Internet & Society, DAUIN, Politecnico di Torino(都灵理工大学Nexa互联网与社会中心、DAUIN);Future Urban Legacy Lab, Politecnico di Torino(都灵理工大学未来城市遗产实验室);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
许多机器学习系统广泛使用关于人类行为的大量数据。一些研究人员发现,在刑事司法、信用评分和广告等领域,存在与使用人类相关的机器学习系统有关的各种歧视性做法。因此,公平的机器学习正在成为一个新的研究领域,以减轻无意中纳入算法的偏见。数据科学家和计算机工程师正在做出各种努力来定义公平。在本文中,我们概述了机器学习领域中最广泛的公平定义,认为突出每个形式化的想法与不同的正义思想以及对我们文化中嵌入的民主的不同解释密切相关。这项工作旨在分析迄今为止提出的公平的定义,以解释基本标准,并将它们与不同的民主思想联系起来。
2019-03-22 cs.LG stat.ML
Scaling TensorFlow to 300 million predictions per second
Zemanta, an Outbrain company(Zemanta,一家Outbrain公司)
我们介绍了在在线广告生态系统中将机器学习模型大规模过渡到TensorFlow框架的过程。在这次演讲中,我们将讨论我们面临的关键挑战,并描述我们如何成功地解决这些挑战;特别是,在TF中实现模型,并使用各种优化技术以低延迟有效地为它们提供服务。
2021-09-20 cs.LG cs.PF
Low Rank Field-Weighted Factorization Machines for Low Latency Item Recommendation
Yahoo Research(雅虎研究院)
针对FwFM推理成本随字段数平方增长的问题,提出对角加对称低秩分解方法,使推理成本仅与项目字段数成正比,实验证明其在准确性和推荐速度上均优于启发式剪枝,并已部署于大型在线广告系统。
2024-07-22 cs.IR cs.LG stat.ML
A Machine Learning Approach to Shipping Box Design
Jet.com/Walmart Labs(Jet.com/沃尔玛实验室)
在履行仓库中拥有正确的运输箱分类来包装和运输客户的在线订单是当今电子商务业务不可或缺的一部分,因为它不仅有助于维持盈利业务,还为客户创造了良好的体验。然而,从数千种可行的包装盒尺寸中战略性地选择数十种包装盒尺寸的最佳组合来负责数百万库存产品的数十万订单,这是一项极具挑战性的运营任务。在本文中,我们提出了一个机器学习的方法来解决这个任务,制定了规定的盒子设计问题作为一个广义版本的加权$k$-medoids聚类问题,其中的参数估计通过各种描述性分析。我们在从沃尔玛美国电子商务收集的履行数据上测试了这种机器学习方法,我们的方法被证明能够将盒子利用率提高$10\%$以上。
2019-03-25 cs.LG math.OC stat.ML
LFM4Ads: Large Foundation Model for Ads Recommendation
Tencent Company(腾讯公司);Tsinghua University(清华大学)
本文提出LFM4Ads框架,通过全表示多粒度迁移解决广告推荐中仅迁移用户表示的局限,并在腾讯广告平台实现2.45%的整体GMV提升。
2026-11-10 cs.LG
Interoperability and machine-to-machine translation model with mappings to machine learning tasks
Luleå University of Technology(吕勒奥理工大学)
现代大规模自动化系统集成了数千到数十万个物理传感器和执行器。对生产系统更灵活的重新配置和跨不同信息模型、标准和遗留系统的优化的需求挑战了当前的系统互操作性概念。跨信息模型和标准的自动语义翻译是一个越来越重要的问题,需要解决,以满足这些需求的人力和资源的约束下,在时间要求和系统复杂性的成本效益的方式。在这里,我们定义了一个基于翻译机的操作互操作性模型的相互作用的信息物理系统的数学术语,其中包括系统辨识和基于本体的翻译作为特殊情况。基于机器学习的最新发展,我们提出了翻译器学习任务的替代数学定义以及到类似机器学习任务和解决方案的映射。在没有共同的物理环境的情况下,例如在数字孪生的模拟和自动化金字塔的各个层之间学习人工制品之间的翻译器的可能性进行了简要讨论。
2019-03-26 cs.CL cs.LG
The Thousand Faces of Explainable AI Along the Machine Learning Life Cycle: Industrial Reality and Current State of Research
Siemens AG(西门子公司);Ludwig Maximilians Universität Munich(慕尼黑大学);Goethe University Frankfurt(法兰克福大学);Technical University of Munich(慕尼黑工业大学)
本文通过访谈和文献综述,探讨可解释人工智能(XAI)在工业生产中的实际应用与研究现状,发现现有方法多集中于模型评估阶段,需加强其他阶段及非专家用户的可解释性支持。
2023-10-11 cs.AI cs.HC cs.LG
Mitigating Gender Bias in Machine Learning Data Sets
University College Dublin(都柏林大学学院)
人工智能有能力放大和延续社会偏见,并为社会带来深刻的伦理影响。在招聘广告和招聘工具的背景下,由于依赖于潜在的语言处理和推荐算法,性别偏见已被确定。解决这些问题的尝试涉及测试学习关联,将公平性概念集成到机器学习中,并对训练数据进行更严格的分析。考虑到性别意识形态嵌入语言的复杂方式,在文本数据上训练算法时减轻偏见尤其具有挑战性。本文提出了一个识别机器学习训练数据中性别偏见的框架,利用性别理论和社会语言学,系统地指出文本训练数据和相关神经词嵌入模型中的偏见水平,从而突出了从训练数据中消除偏见并严格评估其影响的途径。
2020-05-18 cs.CL cs.LG
Learning Piece-wise Linear Models from Large Scale Data for Ad Click Prediction
Alibaba Inc.(阿里巴巴公司);Beijing Particle Inc.(北京粒子公司);University of Cambridge(剑桥大学)
现实商业中的点击率预测是一个具有大规模非线性稀疏数据的机器学习难题。本文介绍了一种工业强度的解决方案与模型命名为大规模逐段线性模型(LS-PLM)。我们制定的学习问题与$L_1$和$L_{2,1}$正则化,导致一个非凸和非光滑的优化问题。然后,我们提出了一种新的算法来解决它的有效性,基于方向导数和拟牛顿法。此外,我们设计了一个分布式系统,可以运行在数百台机器上并行,并提供了我们的工业可扩展性。LS-PLM模型可以从海量稀疏数据中捕获非线性模式,节省了大量的特征工程工作。自2012年以来,LS-PLM已成为阿里巴巴在线展示广告系统中的主要CTR预测模型,每天服务数亿用户。
2017-04-18 cs.LG stat.ML
Universal Differential Equations for Scientific Machine Learning
Massachusetts Institute of Technology(麻省理工学院);University of Maryland, Baltimore(马里兰大学巴尔的摩分校);Julia Computing(Julia计算公司);Otto von Guericke University, Magdeburg(马格德堡奥托·冯·格里克大学);Saint Petersburg State University(圣彼得堡国立大学)
在科学的背景下,众所周知的格言“一张图片胜过千言万语”很可能是“一个模型胜过一千个数据集”。“在这篇手稿中,我们介绍了SciML软件生态系统作为一种工具,用于将物理定律和科学模型的信息与数据驱动的机器学习方法相结合。我们描述了一个数学对象,我们表示普遍微分方程(UDEs),作为连接生态系统的统一框架。我们展示了各种各样的应用程序,从自动发现生物机制,以解决高维Hamilton-Jacobi-Bellman方程,可以措辞和有效地处理通过的UDE形式主义及其工具。我们展示了处理随机性,延迟和隐式约束的软件工具的通用性。这将各种各样的SciML应用程序汇集到一组核心训练机制中,这些机制经过高度优化,稳定用于刚性方程,并与分布式并行和GPU加速器兼容。
2021-11-02 cs.LG math.DS q-bio.QM
Minder: Faulty Machine Detection for Large-scale Distributed Model Training
Tsinghua University(清华大学);ByteDance(字节跳动);Northeastern University(东北大学);Harvard University(哈佛大学)
针对大规模分布式训练中频繁故障导致停机的问题,提出自动故障机器检测器Minder,通过识别监控指标异常模式,在3.6秒内高效检测故障,精确率达0.904。
2025-04-26 cs.DC cs.LG
Automated software vulnerability detection with machine learning
Draper(德雷珀);Boston University(波士顿大学);Johns Hopkins University(约翰斯·霍普金斯大学);Northeastern University(东北大学)
每年在生产软件中发现数以千计的安全漏洞,这些漏洞要么公开报告给公共漏洞和暴露数据库,要么在专有代码中发现。漏洞通常以微妙的方式表现出来,这些方式对于代码审查者或开发人员本身来说并不明显。有了大量可供分析的开源代码,就有机会直接从数据中了解可能导致安全漏洞的错误模式。在本文中,我们提出了一个数据驱动的方法,利用机器学习,专门应用于C和C++程序的漏洞检测。我们首先编译了一个包含数十万个开源函数的大型数据集,这些函数标记有静态分析器的输出。然后,我们将直接应用于源代码的方法与应用于从构建过程中提取的工件的方法进行比较,发现基于源代码的模型性能更好。我们还将深度神经网络模型的应用与更传统的模型(如随机森林)进行了比较,发现最佳性能来自于将深度模型学习的特征与基于树的模型相结合。最终,我们的最高性能模型实现了0.49的精确度-召回率曲线下面积和0.87的ROC曲线下面积。
2018-08-02 cs.LG cs.SE stat.ML
Yes We Care! -- Certification for Machine Learning Methods through the Care Label Framework
TU Dortmund University(多特蒙德工业大学)
机器学习应用已经变得无处不在。它们的应用范围从生产机器中的嵌入式控制到不同领域的工艺优化(例如,交通、金融、科学)来指导用户交互,如广告和推荐。这导致人们越来越努力地使机器学习值得信赖。可解释和公平的人工智能已经成熟。它们面向知识渊博的用户和应用工程师。然而,有些用户希望以类似于洗衣机的方式部署学习模型。这些涉众不想花时间去理解模型,而是希望依赖有保证的属性。相关的属性是什么?如何在不预设机器学习知识的情况下向利益相关者表达它们?对于机器学习模型的特定实现,如何保证它们?这些问题远远超出了目前的技术水平,我们想在这里解决它们。我们提出了一个统一的框架,通过护理标签认证学习方法。它们易于理解,并从纺织品标签或电子设备属性卡等知名证书中汲取灵感。我们的框架既考虑了机器学习理论,也考虑了给定的实现。我们测试实现的理论属性和界限的遵守。
2022-12-22 cs.AI cs.LG
Algorithmic Collective Action in Machine Learning
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(蒂宾根人工智能中心);California Institute of Technology(加州理工学院);University of California, Berkeley(加州大学伯克利分校)
本文提出一个理论模型研究算法集体行动,在非参数最优学习、参数风险最小化和梯度优化三种设定下刻画集体规模与成功标准的关系,并通过数万份简历上的类BERT模型实验验证:极小规模的集体也能显著控制平台学习算法。
2024-08-07 cs.GT cs.LG stat.ML
Picasso: Model-free Feature Visualization
University of Southern California(南加州大学);Meta
如今,机器学习(ML)应用程序可以访问成千上万的功能。有了这样的特征集,有效地浏览和管理最相关特征的子集是一个挑战。在本文中,我们提出了一种新的方法来可视化多达数千个功能在一个单一的图像。图像不仅显示了单个特征的信息,而且还通过特征的相对定位来表达特征的相互作用。
2021-11-24 cs.AI cs.HC cs.LG
A Deep Learning Approach for Imbalanced Tabular Data in Advertiser Prospecting: A Case of Direct Mail Prospecting
Postie(波斯特公司)
针对直邮潜在客户开发中的不平衡表格数据,论文提出结合 autoencoder 与前馈神经网络的监督深度学习框架,并在真实案例中证明其优于 random forest。
2024-10-02 cs.LG
A Word is Worth A Thousand Dollars: Adversarial Attack on Tweets Fools Stock Predictions
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM(国际商业机器公司);University at Buffalo(布法罗大学);Michigan State University(密歇根州立大学)
越来越多的投资者和机器学习模型依赖于社交媒体(例如,Twitter和Reddit)收集实时信息和情绪,以预测股价走势。虽然基于文本的模型容易受到对抗攻击的攻击,但股票预测模型是否也有类似的脆弱性还有待研究。在本文中,我们使用各种对抗攻击配置来欺骗三种股票预测受害者模型。我们通过解决具有语义和预算约束的组合优化问题来解决对抗生成的任务。我们的研究结果表明,所提出的攻击方法可以实现一致的成功率,并在交易模拟中造成重大的金钱损失,通过简单地连接一个扰动,但语义相似的鸣叫。
2022-07-12 cs.CR cs.LG q-fin.ST
Modeling and Optimization of Human-machine Interaction Processes via the Maximum Entropy Principle
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Department of Electrical and Computer Engineering(电气与计算机工程系)
我们提出了一个数据驱动的框架,使人机交互过程的建模和优化,例如,旨在帮助人类进行决策或学习、工作量分配和交互式广告的系统。这是一个具有挑战性的问题,原因有几个。首先,人类的行为很难建模或推断,因为它可能反映了偏见、长期记忆和对测序的敏感性,即,瞬时性和交互长度的指数复杂性。其次,由于这些过程的交互性质,用于与人类互动的机器策略可能会偏向可能的数据驱动推理。最后,在选择优化交互奖励的机器策略时,一方面,必须避免对估计的人类模型中的错误/可变性过度敏感,另一方面,过度确定性/可预测性可能导致交互中的人类“参与”不佳。为了应对这些挑战,我们提出了一种鲁棒的方法,基于最大熵原理,迭代估计人类行为和优化机器策略-交替熵-奖励上升(AREA)算法。我们刻画了AREA的空间和时间复杂度以及收敛性。我们还提供了一个初步的验证的基础上所产生的合成数据的一个已建立的嘈杂的非线性模型的人的决策。
2019-03-17 cs.AI cs.HC cs.LG
Machine Learning-driven Multiscale MD Workflows: The Mini-MuMMI Experience
Center for Applied Scientific Computing, Lawrence Livermore National Laboratory(应用科学计算中心,劳伦斯利弗莫尔国家实验室);Physical and Life Sciences Directorate, Lawrence Livermore National Laboratory(物理与生命科学 Directorate,劳伦斯利弗莫尔国家实验室);RAS Initiative, The Cancer Research Technology Program, Frederick National Laboratory(RAS计划,癌症研究技术计划,弗雷德里克国家实验室);Frederick National Laboratory(弗雷德里克国家实验室)
本文介绍了MuMMI的精简版mini-MuMMI,一种可在小型HPC或笔记本上运行的机器学习驱动多尺度MD工作流管理基础设施,通过RAS-RAF膜相互作用展示了其实用性并探讨了泛化潜力。
2025-07-10 cs.DC cs.LG
Data Driven Resource Allocation for Distributed Learning
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学);AWS Deep Learning(AWS深度学习)
在分布式机器学习中,数据被分派到多台机器进行处理。由于相似的数据点通常属于相同或相似的类,更一般地说,高精度的分类规则往往是“局部简单但全局复杂”(Vapnik & Bottou 1993),我们提出了利用这种结构的数据相关调度。我们提出了一个深入的分析,这个模型,提供新的算法,可证明的最坏情况下的保证,分析证明现有的可扩展算法在自然的非最坏情况下表现良好,和技术的调度规则从一个小样本扩展到整个分布。我们克服了新的技术挑战,以满足准确的分布式学习的重要条件,包括容错和平衡。我们根据经验将我们的方法与基于随机分区,平衡分区树和局部敏感哈希的基线进行比较,表明我们在合成和真实世界的图像和广告数据集上都实现了显着更高的准确性。我们还证明了我们的技术与可用的计算能力强烈的规模。
2016-12-15 cs.DS cs.LG stat.ML
On the (In)Security of Loading Machine Learning Models
本文评估了机器学习模型共享框架和枢纽的安全性,发现大多数仅部分应对安全风险,且存在0-day漏洞,表明安全加载仍非解决难题。
2026-03-12 cs.CR cs.LG
Bridging Machine Learning and Mechanism Design towards Algorithmic Fairness
CU Boulder(科罗拉多大学博尔德分校);Columbia University(哥伦比亚大学);Stanford University(斯坦福大学);IIT Kharagpur(印度理工学院克勒格布尔分校);Cornell University(康奈尔大学);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
决策系统越来越多地协调我们的世界:因此,如何干预算法组件以建立公平和公正的系统是一个至关重要的问题;一个因公平和歧视的上下文依赖性而变得非常复杂的问题。现代决策系统涉及向人们分配资源或信息(例如,学校选择,广告)将机器学习的预测纳入其管道中,引起对潜在战略行为或限制分配的担忧,这些担忧通常在机制设计的背景下解决。虽然机器学习和机制设计都开发了解决公平和公正问题的框架,但在一些复杂的决策系统中,这两个框架都是不够的。在本文中,我们发展的立场,建立公平的决策系统需要克服这些限制,我们认为,每个领域所固有的。我们的最终目标是建立一个包容性的框架,内聚桥梁的机制设计和机器学习的各个框架。我们开始为实现这一目标奠定基础,比较每个学科对公平决策的看法,梳理出每个领域已经传授的经验教训,并强调需要这些学科之间强有力合作的应用领域。
2021-03-04 cs.GT cs.LG
$FM^2$: Field-matrixed Factorization Machines for Recommender Systems
Yahoo Research(雅虎研究院)
点击率(CTR)预测在推荐系统和在线广告中起着至关重要的作用。这些应用中使用的数据是多字段分类数据,其中每个特征属于一个字段。场信息被证明是重要的,有几个工作考虑领域在他们的模型。在本文中,我们提出了一种新的方法来建模的字段信息有效和高效。所提出的方法是FwFM的直接改进,并被命名为字段矩阵分解机(FmFM,或$FM^2$)。我们还提出了一个新的解释FM和FwFM的FMFM框架内,并与FFM进行了比较。除了修剪交叉项之外,我们的模型还支持嵌入向量的特定于字段的可变维度,这相当于软修剪。我们还提出了一种有效的方法来最小化维数,同时保持模型的性能。FmFM模型还可以通过缓存中间向量来进一步优化,并且只需要数千次浮点运算(FLOP)就可以进行预测。我们的实验结果表明,它可以优于FFM,这是更复杂的。FmFM模型的性能也与DNN模型相当,DNN模型在运行时需要更多的FLOP。
2021-03-19 cs.IR cs.LG
Honey Authentication with Machine Learning Augmented Bright-Field Microscopy
Imperial College London(帝国理工学院);University College London(伦敦大学学院);Hampton Court House(汉普顿法院学校)
蜂蜜被人类收集和使用,作为食物和药物已有数千年的历史。然而,在现代经济中,蜂蜜已经成为错误标签和掺假的对象,使其成为世界上第三大假冒食品。假冒蜂蜜的国际规模产生了经济和环境后果。在本文中,我们提出了一种新的方法来识别欺诈蜂蜜使用机器学习增强显微镜。
2018-12-28 cs.CV cs.LG cs.NE
Reacting to Variations in Product Demand: An Application for Conversion Rate (CR) Prediction in Sponsored Search
Criteo Labs(科韬实验室)
在在线互联网广告中,机器学习模型被广泛用于计算用户参与产品相关广告的可能性。然而,由于用户和广告商行为的变化,传统机器学习模型的性能经常受到影响。例如,花店的搜索引擎流量通常会在情人节、母亲节等前后达到峰值。为了克服这一挑战,在这篇文章中,我们提出了三种模型,它们能够将由于产品需求变化而产生的影响结合起来。所提出的模型是产品需求特点,专门的数据抽样方法和集成技术的组合。我们证明了我们提出的模型从现实世界的设置获得的数据集上的性能。我们的研究结果表明,所提出的模型更准确地预测用户与产品相关的广告互动的结果,同时对用户和广告商行为的波动具有鲁棒性。
2018-05-25 cs.IR cs.LG cs.SI
A Data-Centric Behavioral Machine Learning Platform to Reduce Health Inequalities
为低收入和中等收入国家的一线卫生工作者提供改善健康结果的建议和预测,可以对减少医疗保健不平等产生巨大影响,例如帮助防止每天发生的数千例孕产妇和新生儿死亡。为此,我们正在开发一个以数据为中心的机器学习平台,利用这些国家运行的各种移动健康应用程序的行为日志。在这里,我们描述了平台架构,重点是帮助我们在整个过程中最大限度地提高数据质量和组织的细节,从数据科学软件开发工具包的数据摄取到数据管道,功能工程和模型管理。
2021-11-17 cs.LG
A Stackelberg Game Perspective on the Conflict Between Machine Learning and Data Obfuscation
数据是新的石油;这句话在互联网跟踪、机器学习和数据分析时代被广泛重复。社会网络分析、基于cookie的广告和政府监控都是数据用于商业和国家利益的证据。然而,公众要求保护隐私的压力越来越大。诸如差分隐私之类的框架提供了机器学习算法方法来保证对信息披露的限制,但它们很少被实施。然而,最近,开发人员已经做出了巨大的努力,通过混淆工具来破坏跟踪,这些工具将用户特征隐藏在噪音的海洋中。这些服务凸显了跟踪和数据混淆之间的冲突。在本文中,我们通过用户之间的动态博弈和机器学习算法,使用经验风险最小化概念化这种冲突。首先,机器学习器声明一个隐私保护级别,然后用户通过选择自己的扰动量来做出响应。我们使用Stackelberg游戏研究用户和学习者之间的互动。效用函数使用预期损失和隐私在差分隐私的界限方面量化准确性。在均衡中,我们发现自私的用户往往会造成显着的效用损失,跟踪器的扰动严重,在一个现象让人想起公共利益的游戏。然而,跟踪器可以通过主动干扰数据本身来改善平衡。虽然在这一领域的其他工作已经研究了隐私市场和机制设计的真实报告的用户信息,我们采取了不同的观点,考虑用户和学习者的扰动。
2016-08-10 cs.CR cs.LG
Investigating Critical Risk Factors in Liver Cancer Prediction
我们基于2014年至今超过5.5万人的流行病学数据,使用机器学习算法开发肝癌预测模型。最佳性能是AUC为0.71。我们分析了模型参数,以研究对预测贡献最大的关键风险因素。
2021-02-03 cs.LG
Machine Learning Driven Biomarker Selection for Medical Diagnosis
Fulton Schools of Engineering, Arizona State University(亚利桑那州立大学富尔顿工程学院);Biodesign Center for Personalized Diagnostics, Arizona State University(亚利桑那州立大学生物设计个性化诊断中心);College of Health Solutions, Arizona State University(亚利桑那州立大学健康解决方案学院)
针对海量分析物衍生的生物标志物不适合临床诊断的问题,研究评估16种生物标志物选择与分类组合方案,发现机器学习方法优于传统逻辑回归,且不同生物标志物数量下最优选择策略不同。
2024-05-16 cs.AI cs.LG q-bio.QM
Machine Learning Pipeline for Pulsar Star Dataset
University of Sao Paulo(圣保罗大学);Institute of Mathematics and Computer Science(数学与计算机科学研究所)
这项工作汇集了一些最常见的机器学习(ML)算法,目标是在从一组不平衡数据中获得的结果的水平上进行比较。该数据集由近17000个对天文物体进行的观测组成,以识别天体(HTRU2)。该方法建议的基础上评估这些不同的模型在同一数据库中的准确性处理不平衡数据的两种不同的策略。结果表明,尽管这种类型的数据中存在噪声和不平衡的类,它是可能的,将它们应用于标准的ML算法,并获得有前途的准确率。
2020-05-03 astro-ph.IM cs.LG
Bullion: A Column Store for Machine Learning
University of Maryland(马里兰大学);ByteDance(字节跳动)
本文提出面向机器学习工作负载的列式存储系统 Bullion,通过优化稀疏特征编码、宽表投影管理、特征量化、质量感知顺序读取及级联编码框架,显著降低 I/O 成本并节省存储空间,为广告、推荐系统和生成式 AI 等场景提供高效数据基础设施支撑。
2024-11-19 cs.DB cs.LG
Data-Driven Analysis of Text-Conditioned AI-Generated Music: A Case Study with Suno and Udio
KTH Royal Institute of Technology(皇家理工学院)
本文利用文本嵌入、降维与聚类方法,分析了2024年5至10月Suno和Udio平台用户生成的大量歌曲,揭示了歌词主题、语言偏好、提示策略及元标签引导模型的奇特尝试,并公开代码与资源以促进AI音乐文化研究。
2025-09-15 cs.AI cs.IR cs.LG
Machine Learning Techniques for MRI Data Processing at Expanding Scale
本文探讨了大规模MRI数据处理的机器学习技术,分析了研究间的分布偏移挑战,并提出利用迁移学习、联邦学习与表示学习来克服偏移、保障数据安全访问并编码多模态抽象关系。
2024-04-22 cs.CV cs.LG
PharML.Bind: Pharmacologic Machine Learning for Protein-Ligand Interactions
Cray, a Hewlett Packard Enterprise Company(克雷公司,慧与(HPE)旗下企业);College of Pharmacy, Medical University of South Carolina(南卡罗来纳医科大学药学院)
创建一种分析范式,可以从实验数据中分析并准确快速地预测已知药物,这是否可行?Bind是一个机器学习工具包,它能够完成这一壮举。利用深度神经网络和大数据,PharML.Bind将实验衍生的药物亲和力和蛋白质配体X射线结构相关联,以创建新的预测。PharML.Bind的实用性在于其作为发现和个性化医疗的快速、准确和强大的预测平台的应用。这篇论文证明,图神经网络(GNN)可以在几分钟内针对数千个目标筛选数十万种化合物,这比以前的方法要短得多。本文展示了在清理后使用整个BindingDB进行训练和测试的结果;这包括一个包含19,708个X射线结构和247,633种药物的测试集,导致2,708,151个独特的蛋白质-配体配对。在25分钟内,PharML.Bind在这个测试集上达到了惊人的98.3%的准确率。PharML.Bind遵循以下关键原则:1)速度和每单位计算时间的高富集因子,由高质量训练数据与新的GNN架构和高性能计算资源的使用相结合提供,2)通过使用活性位点不可知的GNN映射,泛化到训练集之外的蛋白质和药物(包括具有未知活性位点的那些)的能力,以及3)易于集成为日益复杂的预测和分析管道的组件的能力。PharML.Bind代表了一种及时实用的方法,可以利用机器学习的力量在任何实际规模上有效地分析和预测药物作用,并将在各种发现和医疗应用中提供实用性。
2019-10-23 cs.LG cs.NE q-bio.BM
The TESS Ten Thousand Catalog: 10,001 uniformly-vetted and -validated Eclipsing Binary Stars detected in Full-Frame Image data by machine learning and analyzed by citizen scientists
NASA Goddard Space Flight Center(美国国家航空航天局戈达德空间飞行中心);SETI Institute(搜寻地外文明计划研究所);Department of Astronomy, University of Virginia(弗吉尼亚大学天文系);Department of Astronomy, San Diego State University(圣地亚哥州立大学天文系);Department of Physics, Kavli Institute for Astrophysics and Space Research, M.I.T.(麻省理工学院物理系、Kavli天体物理与空间研究所);Department of Computer Science, Princeton University(普林斯顿大学计算机科学系);Institute of Plant Physiology and Genetics, Bulgaria(保加利亚植物生理与遗传学研究所)
本文利用机器学习处理TESS全帧图像数据,结合公民科学家人工检查,构建并发布了包含10,001颗均匀审查与验证食双星的星表,其中7,936颗为新发现,并提供了约90万个未验证候选目标。
2025-06-05 astro-ph.EP astro-ph.IM astro-ph.SR