Research Directions in Democratizing Innovation through Design Automation, One-Click Manufacturing Services and Intelligent Machines
North Carolina State University（北卡罗来纳州立大学）
制造业的数字化为消费者定制适合其个性化需求的产品创造了机会，这反过来又会推动对制造服务的需求。然而，这种基于拉动的制造系统生产的产品数量极低，品种无限，实施起来很昂贵。由数据驱动的计算设计、制造即服务市场和数字化微型工厂驱动的设计自动化领域的新兴技术有望实现创新的民主化。在本文中，科学，技术和基础设施的挑战，如果解决，这些新兴技术对产品创新和未来的工厂组织的影响进行了讨论。
2019-09-23 cs.AI cs.CV cs.CY
Online Interaction Detection for Click-Through Rate Prediction
Zhejiang University（浙江大学）
点击率预测旨在预测特定链接的点击与印象的比率。这是一项具有挑战性的任务，因为（1）通常存在分类特征，并且如果应用独热编码，则输入将是极高维的，（2）不仅原始特征而且它们的相互作用也很重要，（3）有效的预测可能依赖于不同时间段的不同特征和相互作用。为了克服这些困难，我们提出了一种新的交互检测方法，命名为在线随机相交链。该方法基于频繁项集挖掘的思想，通过观察随机选择的样本的交集来检测信息交互。所发现的交互具有高度的可解释性，因为它们可以被理解为逻辑表达式。ORIC可以在每次收集新数据时更新，而无需根据历史数据进行重新训练。更重要的是，历史和最新数据的重要性可以通过调优参数来控制。设计了一个框架来处理流媒体交互，因此几乎所有现有的CTR预测模型都可以在交互检测之后应用。在三个基准数据集上的实验结果证明了ORIC的有效性。
2021-06-27 cs.LG stat.ML
Entire Space Multi-Task Model: An Effective Approach for Estimating Post-Click Conversion Rate
Alibaba Inc.（阿里巴巴公司）
准确估计点击后转化率（CVR）对于推荐和广告等行业应用中的排名系统至关重要。传统的CVR建模应用流行的深度学习方法并实现最先进的性能。然而，它在实践中遇到了一些特定于任务的问题，使得CVR建模具有挑战性。例如，传统的CVR模型使用点击印象的样本进行训练，同时用于使用所有印象的样本对整个空间进行推断。这就造成了样本选择偏差的问题。此外，存在一个极端的数据稀疏性问题，使模型拟合相当困难。本文从一个全新的角度对CVR进行建模，充分利用了用户行为的序列模式，印象->点击->转化。所提出的全空间多任务模型（ESMM）可以通过i）直接在整个空间上对CVR建模，ii）采用特征表示迁移学习策略来同时消除这两个问题。在淘宝网推荐系统的数据集上的实验表明，ESMM的性能明显优于竞争对手的方法。我们还发布了该数据集的采样版本，以支持未来的研究。据我们所知，这是第一个包含CVR建模中点击和转换标签顺序依赖样本的公共数据集。
2018-04-24 cs.IR cs.LG stat.ML
Efficient Click-Through Rate Prediction for Developing Countries via Tabular Learning
Hyperconnect
尽管在线广告在发展中国家快速增长，但由于计算资源有限，现有的高度过度参数化的点击率（CTR）预测模型难以部署。本文通过桥接CTR预测任务和表格学习之间的关系，提出了表格学习模型在CTR预测中比过参数化CTR预测模型更高效和有效。在8个公共CTR预测数据集上的大量实验表明，表格学习模型的性能优于12个最先进的CTR预测模型。此外，与过度参数化的CTR预测模型相比，表格学习模型可以快速训练，而无需昂贵的计算资源，包括高性能GPU。最后，通过对实际在线应用程序的A/B测试，我们表明，表格学习模型不仅提高了离线性能，而且提高了真实用户的CTR。
2021-04-15 cs.HC cs.LG
Towards Understanding the Overfitting Phenomenon of Deep Click-Through Rate Prediction Models
Nanjing University（南京大学）；Alibaba Group（阿里巴巴集团）
深度学习技术在工业推荐系统中得到了广泛的应用。然而，推荐系统中模型的过拟合问题却很少受到关注，相反，它被认为是深度神经网络的一个关键问题。在点击率（CTR）预测的背景下，我们观察到一个有趣的单历元过拟合问题：模型性能在第二历元开始时表现出显着的下降。这种现象在CTR模型的实际应用中已经被广泛地观察到。因此，最佳性能通常通过仅用一个epoch进行训练来实现。为了了解单次现象背后的潜在因素，我们对从阿里巴巴展示广告系统收集的生产数据集进行了广泛的实验。结果表明，模型结构、收敛速度快的优化算法以及特征稀疏性与单历元现象密切相关。我们还提供了一个可能的假设来解释这种现象，并进行了一系列的概念验证实验。我们希望这项工作可以为未来的研究提供启发，以训练更多的时代，以获得更好的表现。
2022-09-04 cs.AI cs.IR cs.LG
FiBiNET: Combining Feature Importance and Bilinear feature Interaction for Click-Through Rate Prediction
Sina Weibo Inc.（新浪微博公司）
广告和提要排名对Facebook和新浪微博等许多互联网公司至关重要。在许多现实世界的广告和提要排名系统中，点击率（CTR）预测起着核心作用。在该领域中有许多提出的模型，例如逻辑回归、基于树的模型、基于因子分解机的模型和基于深度学习的CTR模型。然而，目前的许多工作都是以简单的方式计算特征的相互作用，如Hadamard积和内积，他们很少关心特征的重要性。提出了一种新的特征重要性和双线性特征交互网络（FeatureImportance and BilinearfeatureInteractionNETwork，简称FiBiNET）模型，用于动态学习特征重要性和细粒度特征交互。一方面，FiBiNET可以通过挤压激励网络（SENET）机制动态学习特征的重要性;另一方面，它能够通过双线性函数有效地学习特征的相互作用。我们在两个真实世界的数据集上进行了广泛的实验，并表明我们的浅层模型优于其他浅层模型，如因子分解机（FM）和场感知因子分解机（FFM）。为了进一步提高性能，我们将经典的深度神经网络（DNN）组件与浅层模型相结合，成为深度模型。深度FiBiNET始终优于其他最先进的深度模型，如DeepFM和极端深度因子分解机（XdeepFM）。
2019-05-23 cs.AI cs.LG stat.ML
Unbiased Filtering Of Accidental Clicks in Verizon Media Native Advertising
Yahoo Research（雅虎研究院）
针对原生广告中的短停留意外点击导致 CTR 训练偏差的问题，本文用辅助模型估计负事件引发误点的概率并以软标签重分配正样本权重，线上收入提升 1.18%。
2023-12-08 cs.IR cs.LG
Adaptive Low-Precision Training for Embeddings in Click-Through Rate Prediction
Huazhong University of Science and Technology（华中科技大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对 CTR 模型嵌入表庞大的问题，提出 LPT 与自适应 ALPT 量化训练方法，通过梯度学习量化步长，在极低比特下保持精度并首次实现无损 8-bit 嵌入训练。
2022-12-12 cs.IR cs.LG
DexDeepFM: Ensemble Diversity Enhanced Extreme Deep Factorization Machine Model
Zhejiang University（浙江大学）
预测用户肯定响应（例如，购买和点击）概率是Web应用程序中的一项关键任务。为了从原始数据中识别预测特征，最先进的极深因子分解机器模型（xDeepFM）引入了一个新的交互网络，以显式地利用矢量级别的特征交互。然而，由于交互网络中的每个隐藏层都是特征图的集合，因此它本质上可以被视为不同特征图的集合。在这种情况下，仅使用单个目标来最小化预测损失可能导致过拟合并产生相关误差。本文提出了一种集成多样性增强的极深因子分解机器模型（DexDeepFM），该模型在每个隐层设计集成多样性度量，在目标函数中同时考虑集成多样性和预测精度。此外，引入注意力机制来区分不同特征交互顺序的集合多样性度量的重要性。在三个公开的真实世界数据集上进行了广泛的实验，以显示所提出的模型的有效性。
2021-12-10 cs.LG
Disentangled Interest Network for Out-of-Distribution CTR Prediction
Tsinghua University（清华大学）；Hefei University of Technology（合肥工业大学）
DiseCTR通过解耦用户兴趣，提升分布外点击率预测的准确性和鲁棒性。
2025-11-14 cs.AI cs.IR cs.LG
Delayed Feedback Modeling for the Entire Space Conversion Rate Prediction
Alibaba Group（阿里巴巴集团）
在电子商务中，准确估计点击后转化率（CVR）是至关重要的。然而，CVR预测在实践中通常面临三个主要挑战：i）数据稀疏性：与印象相比，转换样本通常非常稀缺; ii）样本选择偏差：传统的CVR模型使用点击印象进行训练，同时对所有印象的整个空间进行推断; iii）延迟反馈：许多转换只能在由于点击发生而导致的相对长且随机的延迟之后才能观察到，从而导致训练期间的许多假阴性标签。以往的研究主要集中在一个或两个问题，而忽略了其他问题。在本文中，我们提出了一种新的神经网络框架ESDF同时解决上述三个挑战。与现有的方法不同，ESDF从整个空间的角度对CVR预测建模，并结合了用户顺序行为模式和时间延迟因素的优点。具体地说，ESDF利用用户行为在整个空间上的顺序行为，所有的印象，以减轻样本选择偏差问题。通过共享CTR和CVR网络的嵌入参数，极大地缓解了数据稀疏性问题。与传统的延迟反馈方法不同，ESDF对延迟分布没有任何特殊的假设。将延迟时间按天槽离散化，并基于生存分析，采用深度神经网络对概率进行建模，更符合实际，更适合工业场合。进行了大量的实验，以评估我们的方法的有效性。据我们所知，ESDF是在CVR预测领域联合解决上述三个挑战的第一次尝试。
2020-11-24 cs.LG
Unified Low-rank Compression Framework for Click-through Rate Prediction
Nanjing University（南京大学）
本文提出统一低秩分解框架，通过局部压缩输出特征而非模型权重，在模型体积减少3-5倍的同时实现更快的推理速度和更高的AUC，解决了CTR预测模型在资源受限环境中的部署难题。
2024-06-11 cs.IR cs.LG
Fast SVM training using approximate extreme points
University of Florida（佛罗里达大学）
非线性核支持向量机训练时间过长，严重阻碍了其在大数据集上的应用。我们提出了一种称为近似极端点支持向量机（AESVM）的修改，旨在克服这一负担。我们的方法依赖于在训练数据集的一个精心选择的子集（称为代表集）上进行SVM优化。我们目前的分析结果表明AESVM和SVM解决方案的相似性。采用基于凸壳和极值点的线性时间算法计算核空间中的代表集。在九个数据集上进行的广泛计算实验将AESVM与LIBSVM \citep{LIBSVM}、CVM \citep{Tsang05}、BVM \citep{Tsang07}、LASVM \citep{Bordes05}、$\text{SVM}^{\text{perf}}$、\citep{Joachims09}和随机特征方法\citep{rahimi07}进行了比较。我们的AESVM实现被发现比其他方法快得多的训练，而其分类精度在所有情况下都与LIBSVM相似。特别是，对于癫痫发作检测数据集，AESVM训练几乎比LIBSVM和LASVM快$10^3$倍，比CVM和BVM快40倍以上。此外，AESVM还提供了具有竞争力的快速分类时间。
2013-04-04 cs.LG
Fast Label Embeddings for Extremely Large Output Spaces
Microsoft Cloud Information Services Lab（微软云信息服务实验室）
许多现代多类和多标签问题的特点是越来越大的输出空间。对于这些问题，标签嵌入已被证明是一个有用的原语，可以提高计算和统计效率。在这项工作中，我们利用秩约束估计和低维标签嵌入之间的对应关系，揭示了一个快速的标签嵌入算法，该算法适用于多类和多标签设置。其结果是偏最小二乘的随机算法，其运行时间比朴素算法快。我们展示了我们的技术在两个大规模的公共数据集，从大规模层次文本挑战和开放目录项目，在那里我们获得了最先进的结果。
2015-03-30 cs.LG
Fast Multi-Resolution Transformer Fine-tuning for Extreme Multi-label Text Classification
Amazon（亚马逊）；UT Austin（得克萨斯大学奥斯汀分校）
极端多标签文本分类（XMC）试图从给定文本输入的极大标签集合中找到相关标签。许多现实世界的应用程序都可以用XMC问题表示，例如推荐系统、文档标记和语义搜索。最近，基于Transformer的XMC方法，如X-Transformer和LightXML，已经显示出比其他XMC方法显著的改进。尽管利用预训练的Transformer模型进行文本表示，但即使使用功能强大的GPU，Transformer模型在大标签空间上的微调过程仍然需要很长的计算时间。在本文中，我们提出了一种新的递归方法，XR-Transformer，通过递归微调Transformer模型的一系列多分辨率目标相关的原始XMC目标函数，以加速该过程。实证结果表明，与其他基于transformer的XMC模型相比，XR-Transformer的训练时间显著缩短，同时获得了更好的最新结果。特别是，在拥有300万个标签的公共Amazon-3 M数据集上，XR-Transformer不仅比X-Transformer快20倍，而且还将Precision@1从51%提高到54%。
2021-10-28 cs.AI cs.IR cs.LG
Product-based Neural Networks for User Response Prediction
Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）
预测用户的响应，如点击和转换，是非常重要的，并已发现其在许多Web应用程序，包括推荐系统，Web搜索和在线广告的使用。这些应用程序中的数据大多是分类的，包含多个字段;典型的表示方法是通过one-hot编码将其转换为高维稀疏二进制特征表示。面对数据的极端稀疏性，传统的模式挖掘模型在挖掘数据的浅层模式（即低阶特征组合）方面存在局限性。另一方面，像深度神经网络这样的深度模型由于巨大的特征空间而不能直接应用于高维输入。在本文中，我们提出了一个基于产品的神经网络（PNN）与嵌入层学习的分布式表示的分类数据，产品层捕捉交互模式之间的领域类别，并进一步完全连接层探索高阶特征的相互作用。我们在两个大规模真实世界广告点击数据集上的实验结果表明，PNN在各种指标上始终优于最先进的模型。
2016-11-01 cs.IR cs.LG
Fast Cerebral Blood Flow Analysis via Extreme Learning Machine
本研究提出结合扩散相关光谱与极限学习机的脑血流快速分析方法，经合成数据集验证，该方法泛化性强、精度高、训练推理速度快，适用于边缘计算在线训练场景。
2024-02-01 cs.LG
Extreme Regression for Dynamic Search Advertising
Microsoft Research India（微软研究院印度）；Indian Institute of Technology Delhi（印度理工学院德里分校）；University of Washington（华盛顿大学）
本文介绍了一种新的学习范式，称为极限回归（XR），其目标是准确地预测大量标签与数据点的相关程度。XR可以为许多大型排名和推荐应用提供优雅的解决方案，包括动态搜索广告（DSA）。XR可以学习比最近流行的极端分类器更准确的模型，后者错误地假设严格的二进制值标签相关性。传统的回归度量将所有标签上的错误相加，不适合XR问题，因为它们可能会为标签排名质量提供非常宽松的界限。此外，现有的回归算法无法有效地扩展到数百万个标签。本文通过以下方式解决了这些限制：（1）XR的新评估指标，仅对k个最大的回归误差进行求和;（2）一种名为XReg的新算法，将XR任务分解为一系列更小的回归问题，从而实现高效的训练和预测。本文还介绍了XReg中的一个（3）新的标签预测算法，可用于DSA和其他推荐任务。在基准数据集上的实验表明，XReg可以超越最先进的极端分类器以及大规模回归器和排名器，在新的XR错误度量方面减少高达50%，在极端分类中使用的倾向评分精度度量和DSA中使用的点击率度量方面分别提高了2%和2.4%。在Bing中DSA上部署XReg导致查询覆盖率相对增加27%。XReg的源代码可以从http://manikvarma.org/code/XReg/download.html下载。
2020-01-20 cs.LG stat.ML
NGAME: Negative Mining-aware Mini-batching for Extreme Classification
IIT Kanpur（印度理工学院坎普尔分校）；IIT Delhi（印度理工学院德里分校）；UT Austin（德克萨斯大学奥斯汀分校）；Microsoft Research（微软研究院）；Microsoft（微软公司）
极端分类（XC）试图从一个非常大的标签集中用最相关的标签子集来标记数据点。使用数据点和标签的密集、学习表示执行深度XC吸引了很多关注，因为它比使用稀疏、手工制作的特征的早期XC方法更优越。负面挖掘技术已经成为所有深度XC方法的关键组成部分，使它们能够扩展到数百万个标签。然而，尽管最近取得了进展，但使用大型编码器架构（如Transformers）训练深度XC模型仍然具有挑战性。本文指出，流行的负面挖掘技术的内存开销往往迫使小批量保持较小的规模，并减慢训练速度。作为回应，本文介绍了NGAME，一个轻量级的小批量创建技术，提供可证明准确的批内阴性样本。这允许使用更大的小批量进行训练，与现有的负采样技术相比，可以提供更快的收敛速度和更高的精度。NGAME被发现比最先进的方法在一系列基准数据集上的极端分类准确率高出16%，并且在响应用户网页访问以显示个性化广告时检索搜索引擎查询时准确率高出3%。在一个流行的搜索引擎上进行的实时A/B测试中，NGAME的点击率提高了23%。
2022-07-10 cs.IR cs.LG
Fast fluorescence lifetime imaging analysis via extreme learning machine
University of Strathclyde（思克莱德大学）
我们提出了一种快速，准确的分析方法，荧光寿命成像显微镜（FLIM）使用极端学习机（ELM）。我们使用了广泛的指标来评估ELM和现有的算法。首先，我们使用合成数据集比较了这些算法。结果表明，ELM可以获得更高的保真度，即使在低光子条件下。之后，我们使用ELM从装载有金纳米传感器的人前列腺癌细胞中检索寿命成分，表明ELM也优于迭代拟合和非拟合算法。通过将ELM与计算效率高的神经网络进行比较，ELM以更少的训练和推理时间实现了相当的准确性。由于ELM在训练阶段没有反向传播过程，因此训练速度远远高于现有的神经网络方法。所提出的策略是有前途的边缘计算与在线训练。
2022-03-25 cs.LG physics.bio-ph
Fast Training of Diffusion Transformer with Extreme Masking for 3D Point Clouds Generation
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；TUM（慕尼黑工业大学）
针对高分辨率3D体素扩散模型训练成本过高的问题，提出FastDiT-3D，通过体素感知掩码策略和MoE机制，在近99%掩码率下实现SOTA生成效果，训练成本仅为原方法的6.5%。
2023-12-12 cs.AI cs.CV cs.LG
On-board Sonar Data Classification for Path Following in Underwater Vehicles using Fast Interval Type-2 Fuzzy Extreme Learning Machine
Hamlyn Centre for Robotic Surgery, Imperial College London（机器人手术哈明中心，帝国理工学院伦敦分校）；Center for Engineering and Industrial Development (CIDESI)（工程与工业发展中心（CIDESI））
针对水下航行器自主路径跟随的环境识别需求，提出将FIT2-FELM训练的TSK IT2-FIS集成到HNS中作为主导航引擎，经BlueROV2水箱实验验证，该方法在噪声与不确定性下鲁棒性更强，可并发执行任务实现实时导航。
2025-06-15 cs.AI cs.LG cs.RO
Deferred is Better: A Framework for Multi-Granularity Deferred Interaction of Heterogeneous Features
Alibaba Group（阿里巴巴集团）；Alibaba International Digital Commerce Group（阿里巴巴国际数字贸易集团）
本文提出MGDIN框架，通过多粒度特征分组和延迟交互机制，解决CTR预测中异构特征的稀疏性和信息含量差异问题，提升模型鲁棒性。
2026-03-13 cs.IR cs.LG
Closed-Form Implicit Neural Representations
本文提出无需反向传播的ELM-INR方法，通过分解领域并利用极值学习机实现快速稳健的隐式神经表示，结合自适应网格细化策略提升重建质量。
2026-11-10 cs.LG cs.NA math.NA
CTR Prediction on Alibaba's Taobao Advertising Dataset Using Traditional and Deep Learning Models
Department of Biostatistics Data Science in Health University of California Los Angeles（生物统计学与健康数据科学系，加州大学洛杉矶分校）
本研究通过传统和深度学习模型在淘宝广告数据上提升点击率预测，采用行为序列建模和Transformer架构，实现AUC提升2.81%，并探讨其在公共卫生领域的应用。
2025-11-26 cs.LG
Graph Regularized Encoder Training for Extreme Classification
Microsoft India（微软印度）；IIT Delhi（印度理工学院德里分校）；IIT Bombay（印度理工学院孟买分校）；IIT Kanpur（印度理工学院坎普尔分校）；Microsoft（微软）
本文提出RAMEN范式，通过图数据正则化编码器训练而非使用GCN，在极端分类中实现零推理成本增加，精度提升高达15%，并扩展至百万标签规模。
2025-01-24 cs.IR cs.LG
Constrained Extreme Learning Machines: A Study on Classification Cases
极限学习机（ELM）是一种非常快速的学习方法，在模式识别任务中具有强大的性能。但其良好的泛化能力是建立在大量隐层神经元的基础上的，不利于测试过程的实时的响应。在本文中，我们提出了新的方法，命名为“约束极端学习机”（CELM），随机选择隐藏的神经元的样本分布的基础上。与ELM中完全随机选择隐藏节点相比，CELM从包含原始样本向量的一些基本组合的约束向量空间中随机选择隐藏节点。实验结果表明，该方法比传统的ELM、SVM等方法具有更好的泛化能力。此外，CELM具有与ELM类似的快速学习速度。
2015-02-04 cs.CV cs.LG cs.NE
Fast parameter estimation of Generalized Extreme Value distribution using Neural Networks
Colorado School of Mines（科罗拉多矿业学院）；Jupiter Intelligence（木星智能公司）；Washington University in St. Louis（华盛顿大学圣路易斯分校）
针对广义极值分布参数估计的计算瓶颈，提出基于神经网络的似然无关估计方法，精度与最大似然法相当但速度显著提升，并应用于CCSM3气候数据验证。
2023-05-07 cs.LG stat.AP stat.ML
Learning Extreme Hummingbird Maneuvers on Flapping Wing Robots
研究通过模仿蜂鸟的极端机动动作，开发了一种混合控制策略，利用模型驱动的非线性控制和模型无关的强化学习，实现了在12克仿生蜂鸟机器人上实现快速逃避机动。
2019-02-25 cs.LG cs.RO cs.SY
