结构感知的集合变换器：用于异步临床时间序列的时序和变量类型注意力偏差
Structure-Aware Set Transformers: Temporal and Variable-Type Attention Biases for Asynchronous Clinical Time Series
AI总结：
本文提出STAR-Set变换器，通过引入时间局部性惩罚和变量类型亲和力，解决异步临床时间序列中变量轨迹和时间局部上下文丢失的问题，提升预测性能。
摘要：
电子健康记录（EHR）是不规则、异步的多变量时间序列。随着时间序列基础模型越来越多地将事件作为标记而非离散化时间，输入布局成为关键的设计选择。网格暴露时间×变量结构但需要插值或缺失性掩码，有风险导致错误或采样策略捷径。点集标记化避免了离散化但丢失了变量内部轨迹和时间局部跨变量上下文（图1）。我们通过在STRucture-AwaRe（STAR）集合变换器中添加参数高效的软注意力偏差来恢复这些先验：一个时间局部性惩罚-|Δt|/τ，具有可学习的时间尺度，以及一个变量类型亲和力B_{s_i,s_j}，来自一个学习的特征兼容性矩阵。我们基准测试了10种深度融合调度（图2）。在三个ICU预测任务上，STAR-Set实现了AUC/APR为0.7158/0.0026（CPR）、0.9164/0.2033（死亡率）和0.8373/0.1258（血管加压素使用），优于常规网格、事件时间网格和先前集合基线。学习的τ和B提供了时间上下文和变量交互的可解释总结，为具有上下文意识的时间序列模型提供实用插件。
英文摘要：
Electronic health records (EHR) are irregular, asynchronous multivariate time series. As time-series foundation models increasingly tokenize events rather than discretizing time, the input layout becomes a key design choice. Grids expose time$\times$variable structure but require imputation or missingness masks, risking error or sampling-policy shortcuts. Point-set tokenization avoids discretization but loses within-variable trajectories and time-local cross-variable context (Fig.1). We restore these priors in STructure-AwaRe (STAR) Set Transformer by adding parameter-efficient soft attention biases: a temporal locality penalty $-|Δt|/τ$ with learnable timescales and a variable-type affinity $B_{s_i,s_j}$ from a learned feature-compatibility matrix. We benchmark 10 depth-wise fusion schedules (Fig.2). On three ICU prediction tasks, STAR-Set achieves AUC/APR of 0.7158/0.0026 (CPR), 0.9164/0.2033 (mortality), and 0.8373/0.1258 (vasopressor use), outperforming regular-grid, event-time grid, and prior set baselines. Learned $τ$ and $B$ provide interpretable summaries of temporal context and variable interactions, offering a practical plug-in for context-informed time-series models.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
