Talos: Optimizing Top-$K$ Accuracy in Recommender Systems
Zhejiang University（浙江大学）；Beijing Technology and Business University（北京技术与商务大学）；Bangsheng Technology Co,Ltd.（bangsheng 技术有限公司）；Hangzhou City University（杭州市大学）
Talos通过分位数技术优化推荐系统中的Top-K准确度，解决计算开销和分布偏移问题。
2026-01-27 cs.AI cs.IR cs.LG
What Are We Optimizing For? A Human-centric Evaluation of Deep Learning-based Movie Recommenders
Grouplens Research, University of Minnesota（明尼苏达大学GroupLens研究组）；Institute for Data, Systems, and Society (IDSS), Massachusetts Institute of Technology（麻省理工学院数据、系统与社会研究所）；School of Computing, Clemson University（克莱姆森大学计算学院）
本文通过445名真实用户的调查评估四种深度学习电影推荐模型，发现其在多样性和用户满意度上弱于经典协同过滤，并提出以人为中心的设计与优化策略。
2024-05-01 cs.HC cs.IR cs.LG
Exploring User Opinions of Fairness in Recommender Systems
University of Colorado（科罗拉多大学）
随着这些系统在社会中变得越来越普遍，人工智能的算法公平性变得越来越重要。人工智能的一个领域，推荐系统，由于在优化用户的准确性和提供商的公平性之间进行权衡，因此对公平性提出了独特的挑战。但是，在建议的背景下，什么是公平的-特别是在有多个利益攸关方的情况下？在这个问题的初步探索，我们问用户他们的想法，公平对待的建议可能是，为什么。我们分析了什么可能导致用户对公平性的意见之间的差异或变化，最终帮助设计更公平，更透明的推荐算法。
2020-04-17 cs.HC cs.IR cs.LG
Multi-Objective Recommender Systems: Survey and Challenges
University of Klagenfurt（克拉根福大学）
推荐系统可以被描述为软件解决方案，为用户提供方便地访问相关内容。传统上，推荐系统的研究主要集中在开发机器学习算法，旨在预测哪些内容是相关的个人用户。然而，在现实世界的应用中，在许多情况下，优化这种相关性预测的准确性作为单个目标是不够的。相反，多个和经常竞争的目标必须考虑，导致需要更多的研究在多目标推荐系统。我们可以区分几种类型的这样的竞争目标，包括（i）在个体和聚合级别的竞争推荐质量目标，（ii）不同涉及的利益相关者的竞争目标，（iii）长期与短期目标，（iv）在用户界面级别的目标，以及（v）系统级别的目标。在本文中，我们回顾了这些类型的多目标推荐设置，并概述了在这一领域的公开挑战。
2022-10-19 cs.IR cs.LG
Scalable Recommender Systems through Recursive Evidence Chains
Snapchat, Inc.（Snapchat公司）；University of Toronto（多伦多大学）；Borealis AI；Vector Institute（向量研究所）
推荐系统可以被公式化为一个矩阵补全问题，从用户和项目参数向量预测评级。随着用户和项目数量的增长，通过对数据进行二次采样来优化这些参数变得越来越困难。我们开发了一种新的方法来生成所有的潜变量的需求，从评级矩阵本身和一个固定的参数池。我们使用证据链来估计缺失的评级，这些证据链将它们与一小部分原型用户和项目联系起来。我们的模型自动解决了冷启动和在线学习的问题，结合用户和项目的信息。我们研究了这个模型的缩放行为，并证明了竞争力的结果与目前的矩阵分解技术的精度和收敛速度。
2018-07-05 cs.IR cs.LG stat.ML
Continual Recommender Systems
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Korea University（韩国大学）
本文系统梳理了持续推荐系统的背景、现有方法、实际部署中的持续学习应用及开放挑战，填补了现有持续学习教程未覆盖推荐系统特有需求的空白。
2025-07-05 cs.IR cs.LG
Position Paper: Why the Shooting in the Dark Method Dominates Recommender Systems Practice; A Call to Abandon Anti-Utopian Thinking
本文质疑推荐系统实践中以代理指标代替性能优化的反乌托邦思维，主张通过非标准使用深度学习栈来直接优化奖励，从而改进推荐效果。
2024-02-08 cs.IR cs.LG stat.ML
User-Creator Feature Polarization in Recommender Systems with Dual Influence
Harvard University（哈佛大学）；Google（谷歌公司）；ByteDance（字节跳动公司）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
该研究定义用户-创作者特征动力学模型，证明具双重影响的推荐系统必然极化致多样性下降，且发现常见促多样性方法无效，top-$k$截断等相关性优化方法可防极化并提升多样性。
2024-10-31 cs.CY cs.GT cs.IR
Save, Revisit, Retain: A Scalable Framework for Enhancing User Retention in Large-Scale Recommender Systems
Pinterest（Pininterest）
本文提出了一种可扩展的框架，通过代理归因过程和事件聚合流水线，优化大规模推荐系统中的用户留存，提升活跃用户数量0.1%。
2025-11-22 cs.AI cs.IR cs.LG
Automatic Representation for Lifetime Value Recommender Systems
Microsoft ILDC（微软创新学习中心）
许多现代商业网站采用推荐系统向用户推荐相关内容。虽然大多数系统都专注于最大化即时收益（点击，购买或评级），但更好的成功概念是用户-系统交互的生命周期价值（LTV）。LTV方法考虑项目推荐的未来影响，并寻求随着时间的推移最大化累积收益。强化学习（RL）框架是随着时间的推移优化累积成功的标准公式。然而，RL在实践中很少使用，因为它的相关表示，优化和验证技术可能很复杂。在本文中，我们提出了一种将RL与推荐系统相结合的新架构，无需手动调整功能，从而使状态空间表示构建过程自动化。我们分析了在这个配方的实际困难，并测试我们的解决方案批量离线现实世界的推荐数据。
2017-02-23 cs.LG stat.ML
Breaking the Top-$K$ Barrier: Advancing Top-$K$ Ranking Metrics Optimization in Recommender Systems
Zhejiang University（浙江大学）；Beijing Technology and Business University（北京科技与商业大学）
针对推荐系统中 NDCG@$K$ 优化难题，提出 SoftmaxLoss@$K$ 损失，结合分位数技术处理 Top-$K$ 截断并推导平滑上界，实验显示平均提升 6.03%。
2025-08-04 cs.AI cs.IR cs.LG
DiPS: Differentiable Policy for Sketching in Recommender Systems
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Adobe Research（Adobe 研究院）
在顺序推荐系统应用中，重要的是开发能够捕获用户随时间变化的兴趣的模型，以成功地推荐他们可能与之交互的未来项目。对于历史悠久的用户，基于递归神经网络的典型模型往往会忘记遥远过去的重要项目。最近的研究表明，存储过去项目的小草图可以改善顺序推荐任务。然而，这些作品都依赖于静态素描策略，即，选择要保留在草图中的项目的技巧，这些项目不一定是最佳的，并且不能随着时间的推移而随着更多的训练数据而改进。在本文中，我们提出了一个可区分的素描政策（DiPS），一个框架，学习数据驱动的素描政策，在一个端到端的方式与推荐系统模型，以明确最大限度地提高推荐质量的未来。我们还提出了一个近似估计的梯度优化的草图算法参数，这是计算效率。我们在各种实际设置下验证了DiPS在真实世界数据集上的有效性，并表明它需要最多$50\%$更少的草图项才能达到与现有草图策略相同的预测质量。
2021-12-08 cs.IR cs.LG cs.SI
Closing the Performance Gap in Generative Recommenders with Collaborative Tokenization and Efficient Modeling
CRITEO AI Lab \& LIGM, École Nationale des Ponts et Chaussées Paris France；CRITEO AI Lab Paris France；CRITEO AI Lab \& LIGM, École Nationale des Ponts et Chaussées；CRITEO AI Lab
本文提出对比式分词方法COSETTE和轻量级生成模型MARIUS，通过引入协同信号与解耦时间线建模，缩小生成式推荐系统与基于ID模型的性能差距。
2025-08-12 cs.IR cs.LG
Unveiling Vulnerabilities of Contrastive Recommender Systems to Poisoning Attacks
Chongqing University（重庆大学）；The University of Queensland（昆士兰大学）；Peking University（北京大学）
本文揭示对比推荐系统因InfoNCE损失导致的表示均匀分布而易受投毒攻击，提出双目标攻击框架（分散促进与排名提升），并在四个数据集上验证其威胁，旨在推动更鲁棒的CL推荐系统发展。
2024-05-25 cs.CR cs.IR cs.LG
Accelerating Recommendation System Training by Leveraging Popular Choices
University of British Columbia（不列颠哥伦比亚大学）；Microsoft（微软公司）
针对推荐模型训练中嵌入表访问高度倾斜的问题，提出FAE框架，采用热嵌入感知数据布局，利用GPU内存存储高频嵌入并加速执行，在保持准确率下训练时间分别减少2.3倍和1.52倍。
2021-09-28 cs.AI cs.AR cs.IR
Real-time Attention Based Look-alike Model for Recommender System
WeiXin Group, Tencent Inc.（腾讯公司微信事业群）
近年来，深度学习模型在内容推荐系统中发挥着越来越重要的作用。然而，尽管推荐的性能大大提高，但“马太效应”也越来越明显。在头部内容越来越受欢迎的同时，很多竞争激烈的长尾内容却因为缺乏行为特征而难以实现及时曝光。这一问题严重影响了建议的质量和多样性。为了解决这个问题，相似度算法是一个很好的选择，以扩大观众的高质量长尾内容。但是传统的相似度模型在网络广告中得到了广泛的应用，由于推荐系统对实时的【形】和有效性的要求很高，因此不适用于推荐系统。针对推荐系统中实时的【形】性和有效性之间的矛盾，提出了一种基于实时的【形】注意力的相似度模型（RALM）。RALM利用种子到用户的相似性预测，实现实时的【形】相似受众扩展，并通过优化用户表示学习和相似学习建模，提高扩展效果。在用户表示学习方面，提出了一种新的神经网络结构--注意力合并层来代替连接层，显著提高了多领域特征学习的表达能力。另一方面，考虑到种子的成员多样性，设计了全局注意单元和局部注意单元，以学习针对特定目标用户的鲁棒性和自适应性种子表示。最后，我们引入了种子聚类机制，不仅降低了注意力单元预测的时间复杂度，同时还最大限度地减少了种子信息的损失。根据我们的实验，RALM表现出优越的有效性和性能比流行的外观相似的模型。
2019-06-12 cs.IR cs.LG stat.ML
Where to Explore: A Reach and Cost-Aware Approach for Unbiased Data Collection in Recommender Systems
st Qiang Chen（第一作者）；nd Venkatesh Ganapati Hegde（第二作者）
本文提出一种兼顾覆盖与成本的无偏数据收集方法，通过优化内容展示位置，提升推荐系统长期质量的同时保持业务指标稳定。
2025-12-11 cs.IR cs.LG
Advancing Loss Functions in Recommender Systems: A Comparative Study with a Rényi Divergence-Based Solution
针对推荐系统中Softmax损失和余弦对比损失的局限，提出基于Rényi散度的DrRL损失函数，兼顾两者优势，提升推荐准确性与鲁棒性。
2025-06-18 cs.AI cs.IR cs.LG
Don't Waste It: Guiding Generative Recommenders with Structured Human Priors via Multi-Head Decoding
Meta AI
通过多头解码引导生成推荐系统，利用结构化人类先验提升推荐准确性与多样性
2026-01-26 cs.IR cs.LG
Beyond Item Dissimilarities: Diversifying by Intent in Recommender Systems
Stanford University（斯坦福大学）；Google, Inc.（谷歌公司）；Google DeepMind（谷歌DeepMind）
本文提出面向推荐末阶段的概率性整页意图多样化框架，通过先验与后验更新覆盖多元用户意图，并在 YouTube 线上实验中提升 DAU 与用户愉悦度。
2025-01-10 cs.IR cs.LG
Impression-Informed Multi-Behavior Recommender System: A Hierarchical Graph Attention Approach
Peoples' Friendship University of Russia (RUDN University)（俄罗斯人民友谊大学（卢丁大学））；Joint Institute for Nuclear Research（联合核研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Skövde（舍夫德大学）；Kent State University（肯特州立大学）
针对多行为推荐中忽略行为层次和数据稀缺的问题，提出层次多行为图注意力网络HMGN，利用注意力机制区分行为间与行为内信息，并结合多任务HBPR优化，性能提升达64%。
2023-09-07 cs.IR cs.LG
Modeling User Exploration Saturation: When Recommender Systems Should Stop Pushing Novelty
University of Massachusetts Boston（马萨诸塞大学波士顿分校）；Kansas State University（堪萨斯州立大学）
研究探讨了用户依赖的探索饱和现象，分析了增加探索对不同推荐模型用户的影响，发现公平性驱动的探索存在边际效益递减，需调整推荐系统以平衡公平与用户体验。
2026-04-02 cs.AI cs.IR cs.LG
Efficient Tabular Data Preprocessing of ML Pipelines
ETH Zurich（苏黎世联邦理工学院）
本文提出FPGA硬件加速器Piper用于表格数据预处理，解决CPU与GPU性能差距导致的瓶颈，在商业推荐系统训练中实现比128核CPU最高71.3倍加速。
2024-09-23 cs.AR cs.LG
Breaking Information Cocoons: A Hyperbolic Framework for Balancing Exploration and Exploitation in Recommender Systems
University of California, Davis（加州大学戴维斯分校）；The Hong Kong University of Science（香港科学大学）；Snap Inc.（Snap公司）；Yale University（耶鲁大学）
提出双曲框架HERec，通过语义增强的层次机制和自动层次聚类，在推荐系统中平衡探索与利用，有效缓解信息茧房。
2026-05-29 cs.AI cs.CL cs.IR
Accelerating Recommender Model ETL with a Streaming FPGA-GPU Dataflow
ETH Zurich（苏黎世联邦理工学院）
PipeRec通过FPGA-GPU数据流加速推荐模型ETL，提升吞吐量并降低训练时间
2026-02-25 cs.AR cs.DC cs.LG
Large Graph Convolutional Network Training with GPU-Oriented Data Communication Architecture
IBM T.J. Watson Research Center（IBM TJ·沃森研究中心）；NVIDIA（英伟达公司）
图卷积网络（GCN）在大规模的基于图的推荐系统中被越来越多地采用。训练GCN需要小批量生成器遍历图并对稀疏的相邻节点进行采样以获得它们的特征。由于真实世界的图形通常超过GPU内存的容量，当前的GCN训练系统将特征表保存在主机内存中，并依赖CPU在将其发送到GPU之前收集稀疏特征。但是，这种方法会给主机内存带宽和CPU带来巨大的压力。这是因为CPU需要（1）从内存中读取稀疏特征，（2）将特征以密集格式写入内存，以及（3）将特征从内存传输到GPU。在这项工作中，我们提出了一种新的面向GPU的数据通信方法的GCN训练，其中GPU线程直接访问稀疏功能在主机内存中通过零拷贝访问没有太多的CPU帮助。通过去除CPU收集阶段，我们的方法显着减少了主机资源的消耗和数据访问延迟。我们进一步提出了两个重要的技术，以实现高主机内存访问效率的GPU：（1）自动数据访问地址对齐，以最大限度地提高PCIe数据包的效率，和（2）异步零拷贝访问和内核执行完全重叠的数据传输与训练。我们将我们的方法整合到PyTorch中，并使用几个大小高达1.11亿个节点和16亿条边的图来评估其有效性。在多GPU训练设置中，我们的方法比传统的数据传输方法快65-92%，甚至可以匹配一些适合GPU内存的图形的全GPU内存训练的性能。
2021-08-14 cs.LG
A Collaborative Process Parameter Recommender System for Fleets of Networked Manufacturing Machines -- with Application to 3D Printing
Department of Industrial and Operations Engineering, University of Michigan, Ann Arbor（工业与运作工程系，密歇根大学，安娜堡）；Department of Mechanical Engineering, University of Michigan, Ann Arbor（机械工程系，密歇根大学，安娜堡）；Thomas Lord Department of Computer Science, University of Southern California, Los Angeles（托马斯·劳德计算机科学系，南加州大学，洛杉矶）
针对同类型联网制造机器集群因机器间差异导致工艺参数优化效率低的问题，提出基于序列矩阵补全、结合谱聚类与交替最小二乘的协同推荐系统，经10台3D打印机组成的农场验证，其收敛最优参数的速度显著快于非协同方法。
2025-06-13 cs.LG
SMEPilot: Characterizing and Optimizing LLM Inference with Scalable Matrix Extensions
IPADS, Shanghai Jiao Tong University（上海交通大学IPADS）
针对CPU矩阵扩展单元与核心在LLM推理中的不匹配，提出SMEPilot引擎，通过基于屋顶线的表征指导算子执行选择，实现SME与CPU协同工作，端到端性能提升达3.94倍。
2026-06-16 cs.AI cs.DC cs.PF
Optimizing Inference Performance of Transformers on CPUs
Oracle Labs（甲骨文实验室）
Transformer架构彻底改变了自然语言处理（NLP）领域。基于转换器的模型（例如，BERT）支持许多重要的Web服务，如搜索、翻译、问答等。虽然大量的研究关注于这些模型的训练，但相对较少的努力是为了提高它们的推理性能。本文通过对在CPU上推理基于transformer的模型的可扩展性和性能进行实证分析来解决这一差距。专注于非常流行的BERT模型，我们确定了Transformer架构的关键组件，其中大部分的计算发生，并提出了三个优化，以加快它们。使用HuggingFace的推理基准对优化进行了评估，并显示其加速比高达x2.37。所考虑的优化不需要对模型的实现进行任何更改，也不影响其准确性。
2021-02-22 cs.AI cs.CL cs.DC
Characterizing and Optimizing LLM Inference Workloads on CPU-GPU Coupled Architectures
Carnegie Mellon University（卡内基梅隆大学）；Samsung Semiconductor, Inc.（三星半导体公司）
本文研究了CPU-GPU耦合架构上大语言模型推理工作负载的性能特性，揭示了GH200在大批次时的性能优势及CPU瓶颈，并提出通过内核融合优化低批次延迟的方法。
2025-04-16 cs.AI cs.AR cs.DC
Optimizing ML Workload Partitioning between CPUs and CIM Accelerators for Heterogeneous Computing
Federal Ministry of Research, Technology and Space, Germany（德国联邦研究、科技与航天部）
针对现有CIM相关ML工作负载划分方法未充分考虑RRAM约束等缺陷，提出基于ILP的异构CPU-CIM划分框架，最小化端到端推理延迟，较纯CPU执行最高提速30.9倍。
2026-07-07 cs.AI cs.AR cs.DC
Optimizing CPU Cache Utilization in Cloud VMs with Accurate Cache Abstraction
本文提出CacheX通过精确缓存抽象优化云虚拟机的CPU缓存利用率，采用eviction sets探测技术，结合LLC内容ion-aware任务调度和虚拟颜色-aware页面缓存管理，提升缓存利用效率。
2025-12-02 cs.DC cs.OS cs.PF
Chrion: Optimizing Recurrent Neural Network Inference by Collaboratively Utilizing CPUs and GPUs
针对循环神经网络推理优化问题，提出协同利用CPU与GPU的Chrion系统，将模型部署建模为异质设备有向无环图NP难调度问题，可显著降低推理延迟与GPU内存占用。
2023-07-21 cs.DC
Co-Optimizing Performance and Memory FootprintVia Integrated CPU/GPU Memory Management, anImplementation on Autonomous Driving Platform
先进的嵌入式系统应用，如自动驾驶汽车和无人驾驶软件，依赖于集成的CPU/GPU平台来处理其DNN驱动的工作负载，如感知和其他高度并行的组件。在这项工作中，我们开始探索隐藏的性能暗示的GPU存储管理方法的集成CPU/GPU架构。通过一系列微基准测试和实际工作负载的实验，我们发现不同存储管理方法下的性能会因应用程序的特性而异。基于这一观察，我们开发了一个性能模型，可以预测系统开销的每一个存储管理方法的基础上应用程序的特点。在性能模型的指导下，我们进一步提出了一个运行时调度器。通过对每个任务进行存储管理策略切换和内核重叠，调度器可以显著缓解系统存储压力，减少多任务协同运行的响应时间。我们已经在NVIDIA Jetson TX 2、Drive PX 2和Xavier AGX平台上实施并广泛评估了我们的系统原型，使用了Rodinia基准测试套件以及两个无人机软件和自动驾驶软件的真实案例研究。
2020-03-19 cs.DC cs.OS
Optimizing Allreduce Operations for Modern Heterogeneous Architectures with Multiple Processes per GPU
University of New Mexico（新墨西哥大学）
本文提出通过利用多CPU核心优化GPU-aware所有reduce操作，显著提升在异构架构上的通信效率。
2026-08-26 cs.DC
MMStencil: Optimizing High-order Stencils on Multicore CPU using Matrix Unit
MMStencil针对多核CPU矩阵单元优化3D高阶模板计算，通过SIMD与矩阵单元算法优化、内存优化及多线程并行范式，结合DMA跨NUMA通信，在Nvidia A100 GPGPU上最高实现2.1倍性能提升，并使RTM应用加速1.8倍。
2025-07-15 cs.DC
User-Level Memory Scheduler for Optimizing Application Performance in NUMA-Based Multicore Systems
多核CPU架构已经被建立为用于高性能处理应用的通用系统的结构。最近的多核CPU已经发展为基于非均匀存储器架构的系统架构。对于使用内核空间将任务转移到理想内存节点的技术，不能考虑用户空间的应用特性。因此，内核级方法不能执行内存调度来识别用户应用程序的重要性。此外，用户需要在充分了解基于非均匀存储器架构的多核CPU之后运行应用程序，以确保用户应用程序的高性能。本文提出了一种用户空间内存调度器，通过监控非均匀内存结构的特性，为任务分配理想的内存节点。从我们的实验中，该系统提高了应用程序的性能高达25%相比，现有的系统。
2021-01-21 cs.DC cs.OS
Optimizing OpenFaaS on Kubernetes: Comparative Analysis of Language Runtimes and Cluster Distributions
Department of Computer Engineering, University of Mazandaran（马赞德兰大学计算机工程系）
本文比较了不同Kubernetes集群和语言运行时对OpenFaaS性能的影响，发现Go语言在吞吐量和CPU使用上表现最佳，K3s和Kubeadm集群性能突出。
2026-10-30 cs.DC cs.PF cs.SE
Efficient Graph Embedding at Scale: Optimizing CPU-GPU-SSD Integration
Alibaba Group, Hangzhou, China（阿里巴巴集团）；Zhejiang University, Hangzhou, China（浙江大学）
Legend通过优化CPU-GPU-SSD集成，实现大规模图嵌入的高效处理，提升性能并降低资源消耗
2026-03-12 cs.DC
Optimizing Task Scheduling in Heterogeneous Computing Environments: A Comparative Analysis of CPU, GPU, and ASIC Platforms Using E2C Simulator
本研究利用E2C模拟器在CPU、GPU、ASIC构成的异构计算环境中，对比了四种任务调度算法在不同负载下的性能与能效，发现MECT和MEET算法综合表现更优，为资源受限场景的调度决策提供参考。
2024-05-13 cs.DC cs.OS
Optimizing High-Performance Linpack for Exascale Accelerated Architectures
本文介绍 AMD 开源 rocHPL 面向 Frontier 等百亿亿次加速架构的优化，通过 GPU 与 CPU 协同、多线程面板分解、CPU 核心分时及隐藏 MPI 通信提升 HPL 性能，并在单节点和多节点上验证扩展效果。
2023-04-20 cs.DC cs.NA math.NA
PICASSO: Unleashing the Potential of GPU-centric Training for Wide-and-deep Recommender Systems
个性化推荐的发展显着提高了信息匹配的准确性和电子商务平台的收入。近年来，它有两个趋势：1）推荐系统必须及时训练，以应对不断增长的新产品和不断变化的用户兴趣，从在线营销和社交网络; 2）SOTA推荐模型引入DNN模块，以提高预测精度。传统的基于CPU的推荐系统不能满足这两个趋势，以GPU为中心的训练已经成为一种趋势。然而，我们观察到GPU设备在训练推荐系统中的利用率不足，并且它们不能达到预期的吞吐量提高，因为它在CV和NLP领域已经取得了成就。这个问题可以解释为这些推荐模型的两个特点：第一，它们包含多达一千个输入特征字段，引入零碎和内存密集型操作;第二，多个组成特征交互子模块引入了大量的小型计算内核。为了消除这个障碍，推荐系统的发展，我们提出了一个新的框架名为PICASSO商品硬件上的推荐模型的训练加速。具体而言，我们进行了系统的分析，以揭示培训推荐模型中遇到的瓶颈。我们利用模型结构和数据分布，通过我们的打包、交织和缓存优化来释放硬件的潜力。实验表明，PICASSO在SOTA基准的基础上，硬件利用率提高了一个数量级，对各种行业推荐模型的吞吐量提升高达6倍。在生产中使用相同的硬件预算，PICASSO平均将日常培训任务的walltime缩短了7个小时，大大减少了持续交付的延迟。
2022-04-17 cs.DC cs.IR
On Optimizing Locality of Graph Transposition on Modern Architectures
针对传统图转置算法内存开销大、难以适配大规模图的问题，本文提出PoTra算法，通过适配CPU缓存规模、利用图偏斜度分布优化局部性，在多架构与大规模数据集上实现了最高8.7倍的性能提升。
2025-01-12 cs.AR cs.DC cs.DS
Towards High-Performance and Portable Molecular Docking on CPUs through Vectorization
针对新型CPU架构的性能可移植性挑战，以分子对接应用为案例，评估编译器自动向量化与显式向量化，发现特定代码转换可实现接近显式向量化的性能，且x86 CPU性能更高而ARM架构能耗与成本效益更具竞争力。
2025-09-08 cs.DC cs.PF
Optimizing Streaming Parallelism on Heterogeneous Many-Core Architectures: A Machine Learning Based Approach
National University of Defense Technology（国防科技大学）；University of Leeds（利兹大学）
本文提出了一种自动化的方法来快速获得一个很好的解决方案，硬件资源划分和任务粒度的基于任务的并行应用程序的异构众核架构。我们的方法采用了一个性能模型来估计目标应用程序在给定的资源分区和任务粒度配置下的性能。该模型被用作在运行时快速搜索良好配置的实用程序。我们采用机器学习技术来自动学习分析模型，而不是手工制作分析模型，因为这需要专家对底层硬件细节的深入了解。我们首先使用训练程序离线学习预测模型。然后，学习的模型可以用于预测运行时任何看不见的程序的性能。我们将我们的方法应用于39个代表性的并行应用程序，并在两个代表性的异构众核平台上进行评估：一个CPU-XeonPhi平台和一个CPU-GPU平台。与单流版本相比，我们的方法在XeonPhi和GPU平台上平均分别实现了1.6倍和1.1倍的加速。这些结果转化为理论上完美的预测器所提供的性能的93%以上。
2020-03-05 cs.DC cs.LG cs.PF
Optimizing High Performance Markov Clustering for Pre-Exascale Architectures
HipMCL是流行的马尔可夫聚类算法（MCL）的高性能分布式内存实现，可以使用几千个配备CPU的节点在数小时内对大规模网络进行聚类。它依赖于稀疏矩阵计算，并大量使用稀疏矩阵-稀疏矩阵乘法内核（SpGEMM）。HipMCL中现有的并行算法不能扩展到Exascale架构，这既是因为它们的通信成本在大并发时占主导地位，也是因为它们无法利用越来越受欢迎的加速器。在这项工作中，我们系统地消除HipMCL的可扩展性和性能瓶颈。我们通过在GPU上执行MCL算法的昂贵扩展阶段来启用GPU。我们提出了一个CPU-GPU联合分布式SpGEMM算法称为流水线稀疏SUMMA和集成的概率内存需求估计，是快速和准确的。我们提出了一种新的合并算法，对GPU产生的部分结果进行增量处理，提高了重叠效率和峰值内存使用率。我们还集成了一个最近的和更快的算法在CPU上执行SpGEMM。我们通过广泛的评估来验证我们的新算法和优化。通过启用GPU和集成新算法，HipMCL的速度提高了12.4倍，能够使用ORNL的Summit超级计算机的1024个节点在不到15分钟的时间内将7000万蛋白质和680亿个连接的网络集群化。
2020-02-24 cs.DC
Optimizing Irregular-Shaped Matrix-Matrix Multiplication on Multi-Core DSPs
广义矩阵乘法在科学模拟和人工智能中有着广泛的应用。虽然传统的库可以在大型规则形状的GEMM上实现高性能，但它们通常在不规则形状的GEMM上表现不佳，这通常在高性能计算（HPC）的新算法和应用中发现。由于能源效率的限制，低功耗多核数字信号处理器（DSP）已成为HPC系统中的替代架构。针对高性能计算中的原型CPU-DSP异构处理器FT-m7032中的多核DSP，提出了一种高效的三种不规则形状GEMM的实现方法- ftIMM。FtIMM支持自动生成汇编微内核，两种并行化策略，以及自动调整块大小和并行化策略。实验结果表明，ftIMM可以得到更好的性能比传统的GEMM实现在多核DSP的FT-m7032，产量高达7.2倍的性能提高，当执行不规则形状的GEMM。多核DSP上的ftIMM也可以远远超过FT-m7032中多核CPU上的开源库，提供高达3.1倍的效率。
2022-08-11 cs.DC
Revisiting Co-Processing for Hash Joins on the Coupled CPU-GPU Architecture
在图形处理器（GPU）上进行查询协同处理已成为提高内存数据库性能的有效手段。然而，PCI-e总线的相对低的带宽和高延迟通常是协处理的瓶颈问题。最近，耦合的CPU-GPU架构受到了很多关注，例如，AMD APU将CPU和GPU集成到单个芯片中。这为优化查询协同处理提供了新的机会。在本文中，我们实验重温哈希连接，最重要的连接算法之一的主存数据库，在一个耦合的CPU-GPU架构。特别是，我们研究了细粒度的协同处理机制的散列连接和不分区。协同处理勾勒出一个有趣的设计空间。我们扩展了现有的成本模型，以自动指导设计空间的决策。我们在最新的AMD APU上的实验结果表明：（1）耦合架构能够实现细粒度的协处理和缓存重用，这在分立的CPU-GPU架构上是低效的;（2）成本模型可以自动指导设计和设计空间中的调整旋钮;（3）细粒度协处理比仅CPU、仅GPU和传统CPU-GPU协处理分别实现高达53%、35%和28%的性能提升。我们相信，从这项研究的见解和影响是初步的，但重要的是进一步研究耦合CPU-GPU架构上的查询协同处理。
2013-07-08 cs.DC
Optimizing CDN Architectures: Multi-Metric Algorithmic Breakthroughs for Edge and Distributed Performance
该研究针对CDN面临的内容量增长与跨地域扩展难题，通过多类算法与两类实验评估CDN性能，揭示了可扩展性与资源消耗的权衡，为边缘分布式环境下CDN算法部署优化提供参考。
2024-12-12 cs.DC
Optimizing High-Throughput Distributed Data Pipelines for Reproducible Deep Learning at Scale
Uber Technologies（优步科技公司）
本文通过Petastorm数据加载器和Apache Parquet数据集优化分布式GPU训练流水线，解决数据加载瓶颈，提升GPU利用率至60%以上，减少训练时间至3小时，实现高吞吐可重复大规模模型训练。
2026-04-23 cs.DC
Pushing CPU Speech Synthesis to the Wall: Extreme Inference Tuning under Serverless Architecture and Billing
Paxa Labs（帕萨实验室）
针对无服务器按实例计费下CPU推理空闲成本高的问题，提出计费感知的TTS服务，通过请求级并行和可回收生命周期，在Kokoro-82M上实现4.1倍成本降低。
2026-10-02 cs.AI cs.CL cs.DC
Combining GPU and CPU for accelerating evolutionary computing workloads
本文提出一种依据基准结果动态分配 CPU 与 GPU 模拟任务的混合方案，并通过多类物理模拟模型评估其在进化计算工作负载中的加速潜力。
2025-02-16 cs.DC
A Study of Performance Programming of CPU, GPU accelerated Computers and SIMD Architecture
该研究梳理CPU、GPU、SIMD三类并行计算实现方式及现有研究瓶颈，汇总并行编程技术资料，呈现其现状与趋势，为后续研究提供背景支撑。
2024-09-16 cs.DC
