针对LHC Run 3中ALICE实验数据处理速率提升100倍的需求，研发了基于消息传递的O2计算系统，同步重建以GPU上的TPC处理为主，正推进将其他探测器计算负载卸载到GPU以利用异步阶段集群算力。
摘要：
为在LHC Run 3中以无触发的连续读出模式运行、记录50 kHz相互作用率下的铅-铅碰撞，ALICE实验升级了多台探测器，这要求数据实时处理速率达到Run 2期间的100倍。为应对这一挑战，我们推出了新型计算系统及配套基础设施O2。O2在LHC第二次长停机期间设计并实现，目前已投入生产，承担实验的全部数据处理需求。O2围绕消息传递范式构建，可为同步（与LHC束流同步）及异步的数据获取与处理阶段提供高可靠的并行数据处理能力。同步在线重建的主要用途是探测器校准与原始数据压缩，该同步处理过程以TPC探测器的计算为主——TPC产生的数据量远超其他探测器，且其重建完全在GPU上运行。当LHC无束流时，ALICE配备GPU的高性能在线计算集群用于异步重建，即从压缩后的原始数据中生成供分析使用的最终重建输出。由于在线集群的大部分计算性能来自GPU，且异步处理不像同步处理那样以TPC的计算为主，目前正推进将其他探测器的大量计算负载也卸载到GPU上的工作。
英文摘要：
ALICE has upgraded many of its detectors for LHC Run 3 to operate in continuous readout mode recording Pb--Pb collisions at 50 kHz interaction rate without trigger. This results in the need to process data in real time at rates 100 times higher than during Run 2. In order to tackle such a challenge we introduced O2, a new computing system and the associated infrastructure. Designed and implemented during the LHC long shutdown 2, O2 is now in production taking care of all the data processing needs of the experiment. O2 is designed around the message passing paradigm, enabling resilient, parallel data processing for both the synchronous (to LHC beam) and asynchronous data taking and processing phases. The main purpose of the synchronous online reconstruction is detector calibration and raw data compression. This synchronous processing is dominated by the TPC detector, which produces by far the largest data volume, and TPC reconstruction runs fully on GPUs. When there is no beam in the LHC, the powerful GPU-equipped online computing farm of ALICE is used for the asynchronous reconstruction, which creates the final reconstructed output for analysis from the compressed raw data. Since the majority of the compute performance of the online farm is in the GPUs, and since the asynchronous processing is not dominated by the TPC in the way the synchronous processing is, there is an ongoing effort to offload a significant amount of compute load from other detectors to the GPU as well.
ALICE实验在LHC Run 3中进行了重大升级，将以比以前大50倍的相互作用速率收集数据。Run 3的新计算方案将传统上分离的在线和离线框架替换为统一的框架，称为O2。处理将分两个阶段进行。在数据获取期间，同步处理阶段在在线计算场上执行数据压缩、校准和质量控制。输出存储在现场磁盘缓冲区中。当LHC中没有束流时，相同的计算场用于异步重新处理数据，从而产生最终的重建输出。O2项目由三个主要部分组成：配备GPU的事件处理节点（EPN）提供大部分计算能力，并执行大部分重建和校准。第一级处理器（FLP）通过光链路从检测器接收数据，并在需要时执行本地处理，这可以可选地发生在基于FPGA的读出卡的用户逻辑中。在FLP和EPN场之间，数据在网络中分布，使得EPN接收完整的冲突数据用于处理。物理和数据处理（PDP）小组开发软件框架以及重建和校准算法。目前的O2装置能够实时处理在50 kHz相互作用速率下采集Pb-Pb碰撞数据所预见的峰值数据速率。
Online Calibration of the TPC Drift Time in the ALICE High Level Trigger
大型离子对撞机实验（英语：Large Ion Collider Experiment）是欧洲核子研究中心大型强子对撞机（LHC）的四个主要实验之一。高级触发器（HLT）是一个计算集群，它实时重建ALICE检测器记录的冲突。它采用自定义的在线数据传输框架在计算节点之间分配数据和工作负载。ALICE采用对诸如压力和温度的环境条件敏感的子检测器，例如时间投影室（TPC）。粒子轨迹的精确重建需要这些探测器的校准。在HLT中实时执行校准改进了在线重建，并使某些离线校准步骤过时，从而加速了离线物理分析。对于LHC Run 3，从2020年开始，数据简化将依赖于重建数据，在线校准成为必要。重建的粒子轨迹建立了校准的基础，使快速在线跟踪成为强制性的。用于此目的的主要探测器是TPC和ITS（内部跟踪系统）。在TPC中重建轨迹是计算最密集的步骤。我们提出了几个改进的ALICE高电平触发器，以方便在线校准。在线校准的主要新开发是一个包装器，可以在HLT内运行ALICE离线分析和校准任务。除此之外，我们还添加了异步处理功能，以支持HLT框架中长时间运行的校准任务，否则将以事件同步方式运行。为了提高弹性，隔离进程执行异步操作，使得即使是致命错误也不会干扰数据获取。我们用ZeroMQ数据传输组件补充了原始的无循环HLT链。[...]
Fast TPC Online Tracking on GPUs and Asynchronous Data Processing in the ALICE HLT to facilitate Online Calibration
ALICE（大型重离子实验）是欧洲核子研究中心大型强子对撞机（LHC）的四个主要实验之一，LHC是当今世界上最强大的粒子加速器。高级触发器（HLT）是一个大约200个节点的在线计算场，它实时重建ALICE探测器测量的事件。HLT使用自定义的在线数据传输框架在计算节点之间分发数据和工作负载。ALICE采用几个校准敏感子探测器，例如TPC（时间投影室）。为了精确重建，HLT必须在线执行校准。在线校准可以使某些离线校准步骤过时，从而可以加快离线分析。展望2020年开始的ALICE Run III，在线校准成为必要。用于轨道重建的主要检测器是TPC。重建TPC中的轨迹是事件重建过程中计算量最大的步骤。因此，快速跟踪实现是非常重要的。重建的TPC轨道为校准奠定了基础，使快速在线跟踪成为强制性的。我们提出了几个组件开发的ALICE高电平触发器执行快速事件重建，并提供在线校准所需的功能。第一个课题是提出一种基于元胞自动机和卡尔曼滤波器的TPC跟踪器，它采用GPU来加速处理。我们的TPC跟踪算法已在2011年和2012年成功用于铅-铅和质子-铅运行。我们对它进行了改进，以利用新GPU的功能，并将其移植到支持OpenCL，CUDA和CPU的单一通用源代码中。这使我们独立于供应商。作为第二个主题，我们提出了在线校准所需的框架扩展。...
GPU-accelerated track reconstruction in the ALICE High Level Trigger
大型重离子实验（英语：Large Heavy Ion Experiment）是欧洲核子研究中心大型强子对撞机（LHC）的四大实验之一。高级触发器（HLT）是一个在线计算场，可实时重建ALICE探测器测量的事件。计算最密集的部分是粒子轨迹的重建，称为跟踪，用于跟踪的最重要的检测器是时间投影室（TPC）。HLT使用基于元胞自动机原理和卡尔曼滤波器的GPU加速算法进行TPC跟踪。自2012年以来，GPU跟踪一直在LHC运行1和2中以24/7运行。为了更好地利用GPU的潜力，并加速整体HLT重建，我们计划在GPU上引入更多的重建步骤（例如，跟踪其他检测器）。到目前为止，CPU上运行的几个任务可以从与跟踪的合作中受益，由于PCI Express传输的延迟，目前这几乎不可行。将更多的步骤转移到GPU上，并在GPU上立即处理它们，将减少PCI Express传输并释放CPU资源。最重要的是，现代GPU和GPU编程API提供了TPC跟踪尚未利用的新功能。我们介绍了我们在GPU重建方面的新进展，重点关注LHC运行3期间ALICE在线离线计算升级的GPU在线重建，并考虑到运行2中当前的HLT如何从这些改进中获益。
