Memory Storyboard: Leveraging Temporal Segmentation for Streaming Self-Supervised Learning from Egocentric Videos
New York University（纽约大学）
针对第一人称视角视频流的自监督学习问题，受人类事件分割机制启发提出Memory Storyboard框架，通过双层记忆层次进行时间分段与回放，显著提升了无监督持续学习的表示性能。
2025-08-11 cs.CV cs.LG
Fair Streaming Principal Component Analysis: Statistical and Algorithmic Viewpoint
Kim Jaechul Graduate School of AI, KAIST（韩国科学技术院金载哲人工智能研究生院）
本文提出公平流式 PCA 设定及公平噪声幂方法（FNPM），首次以 PAFO 可学习性为公平 PCA 建立统计保证，并在真实数据上验证其有效性与内存效率。
2023-10-28 cs.CY cs.LG stat.ML
Space lower bounds for linear prediction in the streaming model
Massachusetts Institute of Technology（麻省理工学院）；Weizmann Institute of Science（魏茨曼科学研究所）
我们发现，基本的学习任务，如找到一个近似的线性分离器或线性回归，需要内存至少\emph{quadratic}的尺寸，在一个自然的流设置。这意味着这样的问题不能解决（至少在这种情况下）可扩展的内存高效流算法。我们的研究结果建立在一个简单的线性代数问题的记忆下限-找到正交向量-并利用包装的格拉斯曼，固定尺寸的所有线性子空间的流形上的估计。
2019-06-11 cs.LG stat.ML
Submodular Streaming in All its Glory: Tight Approximation, Minimum Memory and Low Adaptive Complexity
Yale University（耶鲁大学）；Google Research（谷歌研究院）
流算法通常通过其解决方案的质量、存储器占用和计算复杂性来判断。本文研究了具有基数约束$k$的流环境中单调子模函数的最大化问题。我们首先提出Sieve-Streaming ++，它只需要一次通过数据，只保留$O(k)$元素，并实现紧密的$(1/2)$近似保证。先前已知的最佳流算法或者利用$Θ(k)$存储器实现次优$(1/4)$-近似，或者利用$O(k\log k)$存储器实现最优$(1/2)$-近似。接下来，我们表明，通过缓冲流的一小部分，并应用一个仔细的过滤过程，可以大大减少自适应计算轮数，从而大大降低计算复杂性的Sieve-Streaming ++。然后，我们将我们的结果推广到更具挑战性的多源流设置。我们展示了如何可以实现紧密的$(1/2)$近似保证与$O(k)$共享内存，同时最大限度地减少不仅所需的计算轮次，但也通信位的总数。最后，我们证明了我们的算法在真实世界的数据摘要任务的多源流的推文和YouTube视频的效率。
2019-05-13 cs.DS cs.LG stat.ML
LOFS: Library of Online Streaming Feature Selection
University of South Australia（南澳大学）；University of Massachusetts Boston（马萨诸塞大学波士顿分校）；University of Vermont（佛蒙特大学）
作为一个新兴的研究方向，在线流特征选择处理的是在一个特征空间中连续增加的维度，而数据实例的数量是固定的。在线流特征选择提供了一种新的、互补的算法方法来丰富在线特征选择，特别是针对大数据分析中的高维度。本文介绍了第一个在MATLAB中使用的全面的开源库，它实现了在线流特征选择的最新算法。该库旨在促进这一令人兴奋的研究方向的新算法的开发，并在新方法和现有方法之间进行比较。
2016-03-02 cs.LG stat.ML
Learning What to Remember: Long-term Episodic Memory Networks for Learning from Streaming Data
KAIST（韩国科学技术院）
当前一代的存储器增强的神经网络具有有限的可扩展性，因为它们不能有效地处理太大而不能容纳在外部存储器存储中的数据。这方面的一个例子是终身学习场景，其中模型接收无限长度的数据流作为输入，其中包含绝大多数无信息条目。我们通过提出一种适合长期终身学习场景的记忆网络来解决这个问题，我们将其称为长期情景记忆网络（LEMN），其特征在于基于RNN的保留代理，该代理基于每个条目上生成的保留概率来学习替换不太重要的记忆条目，该条目被学习以识别相对于其他记忆条目具有通用重要性的数据实例，以及它的历史重要性。这种对保留代理的学习允许我们的长期情景记忆网络保留对于给定任务具有一般重要性的记忆条目。我们验证我们的模型上的路径查找任务，以及合成和真实的问答任务，我们的模型实现了显着的改进，内存增强网络与基于规则的内存调度以及基于RL的基线，不考虑相对或历史的重要性的内存。
2018-12-11 cs.LG stat.ML
A Sharp Memory-Regret Trade-Off for Multi-Pass Streaming Bandits
Columbia University（哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）
随机$K$ -armed bandit问题由于其在从在线广告到临床试验的各个领域的应用而得到了广泛的研究。然而，在实践中，臂的数量可能非常大，从而导致同时处理它们需要大的存储器。在本文中，我们考虑一个流设置的武器在流和算法使用有限的内存来处理这些武器。在这里，我们的目标不仅是尽量减少遗憾，而且要在最小的记忆中做到这一点。针对该问题的先前算法在两种设置中的一种中操作：它们或者使用流上的$Ω(\log \log T)$传递（Rathod，2021; Chaudhuri和Kalyanakrishnan，2020; Liau等人，2018），或仅单次通过（Maiti等人，2021年）。在本文中，我们研究了记忆和遗憾之间的权衡时，$B$通过流是允许的，对于任何$B \geq 1$，并建立严格的遗憾上限和下限的任何$B$通过算法。我们的研究结果揭示了一个令人惊讶的 * 急剧转变现象 *：$O(1)$记忆足以在$B$传球中实现$\widetildeΘ\Big(T^{\frac{1}{2} + \frac{1}{2^{B+2}-2}}\Big)$遗憾，并且将记忆增加到$o(K)$的任何数量对进一步减少这种遗憾几乎没有影响，除非我们使用$Ω(K)$记忆。我们的主要技术贡献是我们的下限，这需要使用信息理论技术以及从轮消除的想法，以表明 * 剩余问题 * 仍然具有挑战性的后续通行证。
2022-05-02 cs.LG stat.ML
On reducing the order of arm-passes bandit streaming algorithms under memory bottleneck
IIT-Bombay（印度理工学院孟买分校）
在这项工作中，我们探讨了多臂强盗流模型，特别是在该模型面临资源瓶颈的情况下。我们建立在现有的算法条件有限的手臂内存在任何情况下的时间。具体来说，我们提高了流通过它所采取的强盗算法引起$O(\sqrt{T\log(T)})$遗憾的对数因子，并提供了一些初始条件，以引起类似的顺序遗憾的2-通过算法。
2021-11-30 cs.LG
Memory Efficient Experience Replay for Streaming Learning
Carlson Center for Imaging Science（卡尔森成像科学中心）；Rochester Institute of Technology（罗切斯特理工学院）
在监督式机器学习中，代理通常被训练一次，然后部署。虽然这在静态环境中很好，但机器人通常在不断变化的环境中运行，必须从数据流中快速学习新事物。在这种被称为流学习的范例中，学习者是从一个不能被假设为独立同分布（iid）的数据流中在线训练的。流学习会导致传统的深度神经网络（DNN）失败，原因有两个：1）它们需要多次通过整个数据集; 2）非iid数据会导致灾难性遗忘。解决这两个问题的一个老办法是排练。为了学习一个新的例子，排练将它与以前的例子混合，然后使用这种混合来更新DNN。完全排练是缓慢和记忆密集型的，因为它存储了所有先前观察到的例子，并且其防止灾难性遗忘的有效性尚未在现代DNN中研究。在这里，我们描述了ExStream算法的内存高效排练，并比较它的替代品。我们发现，完全排练可以消除各种流式学习设置中的灾难性遗忘，并且ExStream使用更少的内存和计算量就能表现良好。
2019-02-23 cs.AI cs.LG stat.ML
Episodic Memory Reader: Learning What to Remember for Question Answering from Streaming Data
KAIST（韩国科学技术院）；AITRICS
我们考虑了一种新的问答（QA）任务，其中机器需要从大型流数据（长文档或视频）中读取，而不知道何时会给出问题，由于缺乏可扩展性，这很难用现有的QA方法解决。为了解决这个问题，我们提出了一种新的端到端深度网络模型，用于阅读理解，我们称之为情景记忆阅读器（EMR），它将输入的上下文顺序地读取到外部存储器中，同时替换对于回答\emph{unseen}问题不太重要的记忆。具体而言，我们训练RL代理在内存满时替换内存条目，以便在未来时间点最大化其QA准确性，同时使用GRU或Transformer架构对外部内存进行编码，以学习考虑内存条目之间的相对重要性的表示。我们在合成数据集（bAbI）以及真实世界的大规模文本QA（TriviaQA）和视频QA（TVQA）数据集上验证了我们的模型，在这些数据集上，它比基于规则的内存调度策略或基于RL的基线（独立学习每个内存的查询特定重要性）实现了显着改进。
2019-06-09 cs.CL cs.LG stat.ML
Augmented Memory Networks for Streaming-Based Active One-Shot Learning
Norwegian University of Science and Technology（挪威科技大学）
训练用于预测任务的深度架构的主要挑战之一是标记的训练数据的稀缺性和成本。主动学习（AL）是应对这一挑战的一种方法。在基于流的AL中，观察结果连续地提供给学习者，学习者必须决定是请求标签还是进行预测。目标是降低请求速率，同时最大化预测性能。在先前的研究中，强化学习已被用于学习AL请求/预测策略。在我们的工作中，我们建议装备一个强化学习过程与记忆增强神经网络，以提高一次性的能力。此外，我们引入类边缘采样（CMS）作为标准边缘采样到强化学习设置的扩展。该策略旨在减少训练时间，提高训练过程中的样本效率。我们评估所提出的方法的分类任务，使用经验准确性的标签预测和标签请求的百分比。结果表明，该方法，通过使用记忆增强网络和CMS在训练过程中，优于现有的基线。
2019-09-04 cs.LG stat.ML
S-Isomap++: Multi Manifold Learning from Streaming Data
State University of New York at Buffalo（纽约州立大学布法罗分校）
基于流形学习的方法已被广泛用于非线性降维（NLDR）。然而，在许多实际设置中，由于所涉及的高计算复杂性，处理流数据的需要对于这样的方法是一个挑战。此外，大多数方法都是在假设输入数据是从嵌入在高维空间中的单个流形中采样的情况下操作的。我们提出了一种方法，当观察到的数据是从多个流形或不规则采样从一个单一的流形流NLDR。我们表明，现有的NLDR方法，如Isomap，在这种情况下失败，主要是因为它们依赖于光滑性和连续性的基础流形，这是违反了本文探讨的情况。然而，所提出的算法能够在存在多个且可能相交的流形的情况下有效地学习，同时允许输入数据作为大量流到达。
2018-03-17 cs.LG stat.ML
PySAD: A Streaming Anomaly Detection Framework in Python
Imperial College London（伦敦帝国学院）；Bilkent University（比尔肯大学）
PySAD 是一个 Python 流式异常检测框架，通过统一架构实现有界内存、单遍处理和常数时间复杂度的实时检测，集成 17+ 算法并兼容 PyOD 和 scikit-learn。
2025-05-25 cs.LG stat.ML
Tight Memory-Regret Lower Bounds for Streaming Bandits
University of Science and Technology of China（中国科学技术大学）
本文研究流式老虎机问题，建立了紧致最坏情况遗憾下界和首个依赖实例的下界，提出了多遍历算法实现匹配的遗憾上界，揭示了流式与经典集中式设置的差异。
2023-06-13 cs.LG
Efficient Principal Subspace Projection of Streaming Data Through Fast Similarity Matching
Flatiron Institute（弗莱提伦研究所）；NYU Langone Medical Center（纽约大学朗格尼医学中心）
大数据问题通常需要以流方式处理数据集，因为所有数据都可以同时使用，但总体上大于可用内存，或者因为数据本质上一次到达一个数据点，必须在线处理。在这里，我们介绍了一个计算效率高的版本的相似性匹配，在线降维的框架，增量估计流数据的顶部K维主子空间，同时在内存中只保留最后一个样本和当前样本。为了评估我们的方法的性能，我们构建并公开了一个测试套件，其中包含一个合成数据生成器和基础设施，用于在真实数据集上测试在线降维算法，以及我们的算法和具有类似目标的竞争算法的性能实现。在考虑的算法中，我们发现我们的方法是有竞争力的，在合成和真实数据上都是最好的。
2018-08-06 cs.LG stat.CO
CluStRE: Streaming Graph Clustering with Multi-Stage Refinement
Heidelberg University（海德堡大学）
该研究提出流图聚类算法CluStRE，通过多阶段优化在流设置中处理图，动态构建商图实现模块度优化，实验显示其解质量提升89.8%、速度快2.6倍，有效弥合流与传统聚类方法的差距。
2025-02-08 cs.DB cs.LG
Memory as Weights: Internalizing Long-Term History for Streaming Videos
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Peking University（北京大学）
该研究提出流式记忆框架MaLoW，将历史视频信息内化到LoRA权重中，构建MaLoW-Instruct数据集，在多个基准测试中优于现有方法，还可提升视觉语言动作模型的成功率。
2026-10-16 cs.AI cs.CV cs.LG
MemStream: Memory-Based Streaming Anomaly Detection
National University of Singapore（新加坡国立大学）；IIT Bombay（印度理工学院孟买分校）；Harvard University（哈佛大学）
在一个存在概念漂移的多维数据环境中，随着时间的推移，给定一个条目流，我们如何检测异常活动？大多数现有的无监督异常检测方法寻求以离线方式检测异常事件，并且需要大量的数据用于训练。这在现实生活中是不切实际的，因为我们以流的方式接收数据，并且事先不知道流的大小。因此，我们需要一种数据高效的方法，可以在线检测和适应不断变化的数据趋势或概念漂移。在这项工作中，我们提出了MemStream，一个流异常检测框架，使我们能够检测到不寻常的事件，因为它们发生的同时具有弹性的概念漂移。我们利用去噪自动编码器的功能来学习表示，并利用内存模块来学习数据中动态变化的趋势，而无需标签。我们证明了有效的漂移处理所需的最佳内存大小。此外，MemStream使用两种架构设计选择来抵抗内存中毒。实验结果表明，我们的方法相比，国家的最先进的流基线使用$2$合成数据集和$11$真实世界的数据集的有效性。
2022-03-04 cs.AI cs.LG
Streaming Algorithms for Stochastic Multi-armed Bandits
Indian Institute of Technology, Kharagpur（印度理工学院克勒格布尔分校）；Indian Institute of Science（印度科学学院）
研究了有界臂记忆下的随机多臂Bandit问题。在这种设置中，臂以流的形式到达，并且可以在任何时间存储在存储器中的臂的数量是有界的。决策者只能拉动记忆中存在的手臂。我们从两个标准目标的角度来解决这个问题：1）遗憾最小化，2）最佳臂识别。对于遗憾最小化，我们解决了一个重要的开放问题，显示几乎紧硬度。我们证明了Ω（T^{2/3}）的累积后悔期望的手臂记忆大小为（n-1），其中n是手臂的数量。对于最佳臂识别，我们研究了两种算法。首先，我们提出了一种O（r）的臂记忆r轮自适应流算法来寻找ε-最佳臂。在r轮自适应流算法中，每轮的臂拉动是根据前几轮的观察结果来决定的。最佳臂是r轮结束时的输出。我们的算法的样本复杂度的上限与任何r轮自适应流算法的下限相匹配。其次，我们提出了一种启发式算法，通过在内存中只存储一个额外的手臂来找到具有最佳样本复杂度的ε-最佳手臂。
2020-12-09 cs.DS cs.IT cs.LG
InfiniPot-V: Memory-Constrained KV Cache Compression for Streaming Video Understanding
Hanyang University（汉阳大学）；Sungkyunkwan University（成均馆大学）；Qualcomm AI Research, Qualcomm Korea YH（高通人工智能研究院，高通韩国YH）
InfiniPot-V提出免训练、查询无关的KV缓存压缩框架，通过TaR度量和VaN排序实现硬性内存上限，在流式视频理解中削减峰值GPU内存达94%并保持精度。
2025-10-24 cs.LG eess.IV
Exploration with Limited Memory: Streaming Algorithms for Coin Tossing, Noisy Comparisons, and Multi-Armed Bandits
Rutgers University（罗格斯大学）
考虑下面的抽象抛硬币问题：给定一组具有未知偏差的$n$硬币，使用最少的硬币投掷次数找到最有偏差的硬币。这是理论计算机科学和机器学习中各种探索问题的常见抽象，多年来已被广泛研究。特别是，具有最佳样本复杂度（硬币投掷次数）的算法已经为这个问题所知了很长一段时间。受大规模数据集处理应用的启发，我们研究了在流模型中求解具有最佳抛硬币次数的问题的空间复杂度。在这个模型中，硬币一个接一个地到达，算法在任何时候都只允许存储有限数量的硬币--任何不在内存中的硬币都会丢失，不能再被投掷或与到达的硬币进行比较。具有最佳样本复杂度的抛硬币问题的先前算法基于硬币的迭代消除，其固有地需要存储所有硬币，从而导致存储器效率低下的流式算法。我们通过提出一系列针对此问题的改进流算法来补救这种状况：我们从一个简单的算法开始，该算法只需要存储$O(\log{n})$硬币，然后迭代地进一步细化，导致具有$O(\log\log{(n)})$存储器，$O(\log^*{(n)})$存储器，最后是一个只在内存中存储单个额外硬币的系统--在整个流中存储最好的硬币所需的空间相同。此外，我们扩展我们的算法的问题，找到$k$最有偏见的硬币，以及其他探索问题，如找到顶部$k$元素使用嘈杂的比较或找到一个$ε$ -最好的手臂随机多武装土匪，并获得有效的流算法，这些问题。
2022-12-26 cs.DS cs.LG
Sub-linear Memory Sketches for Near Neighbor Search on Streaming Data
Rice University（莱斯大学）
我们提出了第一个次线性记忆草图，可以查询，以找到最近的邻居在一个数据集。我们的在线草图算法在$O(N^{(b+1)} \log^3 N)$时间内将N个元素的数据集压缩为大小为$O(N^b \log^3 N)$的草图，其中$b < 1$。此草图可以正确报告满足由$b$参数化的稳定性条件的任何查询的最近邻居。我们实现稳定查询的次线性内存性能结合局部敏感哈希（LSH）为基础的估计，在线核密度估计，压缩感知的最新进展。我们的理论结果揭示了新的光最近邻搜索的内存精度权衡，我们的草图，它完全由短整数数组，在实践中有各种有吸引力的功能。我们评估了我们的方法在Google Plus社交媒体网络中的朋友推荐任务上的记忆召回权衡。我们获得了数量级更好的压缩比随机投影为基础的替代方案，同时保留报告的能力，最近的邻居的实际查询。
2020-09-14 cs.CG cs.DS cs.LG
ProtoKV: Streaming Video Understanding under Delayed Query with Summary-State Memory
KAIST（韩国科学技术院）
提出ProtoKV，一种固定内存的流式视频理解记忆机制，通过摘要状态表示远历史，在长延迟查询下准确率提升高达12.5点。
2026-06-26 cs.CV cs.LG
StreaMRAK a Streaming Multi-Resolution Adaptive Kernel Algorithm
University of Oslo（奥斯陆大学）；Simula School of Research and Innovation（西穆拉研究与创新学院）；University College London（伦敦大学学院）；Simula Research Laboratory（西穆拉研究实验室）；University of California San Diego（加利福尼亚大学圣迭戈分校）
核岭回归（KRR）是一种流行的非线性非参数学习方法。然而，KRR的现有实现要求所有数据都存储在主存中，这严重限制了KRR在数据大小远远超过内存大小的上下文中的使用。这种应用在数据采掘、生物信息学和控制中越来越普遍。对于内存太大的数据集，一个强大的计算范例是计算的流模型，我们一次处理一个数据样本，在进入下一个之前丢弃每个样本。在本文中，我们提出了StreaMRAK -KRR的流媒体版本。StreaMRAK通过将问题划分为几个分辨率级别来改进现有的KRR方案，这允许对预测进行持续改进。该算法通过不断有效地将新样本集成到训练模型中来减少内存需求。StreaMRAK采用了一种新的子采样方案，通过创建原始数据的草图来降低内存和计算复杂性，其中子采样密度适应于内核的带宽和数据的局部维度。我们提出了一个展示性的研究两个综合问题和预测的轨迹的双摆。实验结果表明，该算法具有快速、准确的特点。
2021-09-07 cs.LG cs.NA math.NA
Folding Attention: Memory and Power Optimization for On-Device Transformer-based Streaming Speech Recognition
Meta AI
针对端侧流式语音识别中线性投影层导致的内存与功耗瓶颈，提出 folding attention，在不损失准确率且不增加计算开销的前提下最高减少 24% 模型大小和 23% 功耗。
2024-01-19 cs.AR cs.LG cs.SD
A Memory Model for Question Answering from Streaming Data Supported by Rehearsal and Anticipation of Coreference Information
KU Leuven（鲁汶大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
受人类排练与预期机制启发，提出一种记忆模型，通过自监督掩码建模处理共指信息，在流式数据问答任务中显著优于现有记忆网络方法。
2023-05-12 cs.AI cs.CL cs.LG
SDT-GNN: Streaming-based Distributed Training Framework for Graph Neural Networks
Texas State University（德克萨斯州立大学）；Beijing Normal–Hong Kong Baptist University（北京师范大学-香港 Baptist大学）；SK hynix America（SK hynix美国分公司）；NVIDIA（英伟达公司）
SDT-GNN提出了一种基于流的分布式图神经网络训练框架，通过流式边输入减少内存需求，并引入SPRING算法提升划分质量，实验证明其在内存占用和性能上的优势。
2025-12-08 cs.DC cs.LG
Point3R: Streaming 3D Reconstruction with Explicit Spatial Pointer Memory
Department of Automation, Tsinghua University（自动化系，清华大学）
Point3R通过显式空间指针记忆实现高效的流式3D重建，提升密集重建的精度与效率。
2025-11-28 cs.AI cs.CV cs.LG
Emformer: Efficient Memory Transformer Based Acoustic Model For Low Latency Streaming Speech Recognition
Facebook AI（Facebook人工智能研究院）
提出了一种用于低延迟流语音识别的高效内存Transformer Emformer。在Emformer中，远程历史上下文被提取到一个增强的内存库中，以降低自注意的计算复杂度。缓存机制将对左上下文的自注意中的键和值的计算保存。Emformer在训练中应用并行块处理，以支持低延迟模型。我们进行了实验的基准LibriSpeech数据。在960 ms的平均延迟下，Emformer在test-clean上获得WER $2.50\%$，在test-other上获得$5.62\%$。与强基线增强记忆Transformer（AM-TRF）相比，Emformer在解码时获得了$4.6$倍的训练加速比和$18\%$相对实时因子（RTF）降低，在测试干净时获得了相对WER降低$17\%$，在测试其他时获得了相对WER降低$9\%$。对于平均延迟为80 ms的低延迟场景，Emformer在测试-清洁上实现WER $3.01\%$，在测试-其他上实现$7.09\%$。与具有相同延迟和模型大小的LSTM基线相比，Emformer在test-clean和test-other上分别获得相对WER减少$9\%$和$16\%$。
2020-12-30 cs.CL cs.LG cs.SD
Streaming Algorithms for News and Scientific Literature Recommendation: Submodular Maximization with a d-Knapsack Constraint
Texas A&M University（德克萨斯A&M大学）
次模极大化问题属于组合优化问题族，有着广泛的应用。在本文中，我们专注于最大化单调子模函数的问题受到$d$ -背包约束，为此，我们提出了一个流算法，实现了$\left(\frac{1}{1+2d}-ε\right)$ -近似的最优值，而它只需要一个单一的通过数据集，而不存储在内存中的所有数据。在我们的实验中，我们广泛评估我们提出的算法的有效性，通过两个应用程序：新闻推荐和科学文献推荐。据观察，所提出的流算法实现了执行加速和内存节省了几个数量级，与现有的方法相比。
2016-07-05 cs.DS cs.LG
Sub-linear RACE Sketches for Approximate Kernel Density Estimation on Streaming Data
Rice University（莱斯大学）
核密度估计是一种简单有效的方法，是许多重要机器学习应用的核心。不幸的是，核方法对于大型高维数据集的扩展性很差。近似核密度估计具有过高的存储器和计算成本，特别是在流设置中。最近的高维密度采样算法可以降低计算成本，但不能在线操作，而流算法不能处理高维数据集，由于维数灾难。我们提出了RACE，一个高效的素描算法内核密度估计高维流数据。RACE将一组N个高维向量压缩到一个小的整数计数器数组中。这个数组足以估计一大类核的核密度。我们的设想是切实可行的，并有强有力的理论保证。我们在真实世界的高维数据集上评估了我们的方法，并表明我们的草图与竞争方法相比压缩效果好10倍。
2019-12-04 cs.DS cs.LG
Non-Volatile Memory Accelerated Geometric Multi-Scale Resolution Analysis
IBM Research（IBM研究院）；Hasso Plattner Institute（哈索·普拉特纳研究所）；Williams College（威廉姆斯学院）；Seoul National University（首尔国立大学）
简化算法是研究人员工具箱中的标准工具。简化算法经常用于增强下游任务，如机器学习，数据科学，也是理解复杂现象的探索性方法。例如，降维通常用于生物学和神经科学，以理解从生物学主题收集的数据。然而，降维技术受到它们执行的von-Neumann体系结构的限制。具体地，诸如降维技术的数据密集型算法通常需要快速、高容量、持久的存储器，这在历史上硬件无法同时提供。在本文中，我们提出了一个现有的降维技术，称为几何多尺度分辨率分析（GMRA），已通过新的持久存储技术，称为内存为中心的主动存储（MCAS）加速重新实现。我们的实现使用了一个名为PyMM的专用版本的MCAS，它为Python数据库提供了原生支持，包括NumPy数组和PyTorch张量。我们将PyMM实现与DRAM实现进行比较，并表明当数据适合DRAM时，PyMM提供了具有竞争力的运行时。当数据不适合DRAM时，我们的PyMM实现仍然能够处理数据。
2022-02-21 cs.AR cs.LG
Online Learning with Recency: Algorithms for Sliding-window Streaming Multi-armed Bandits
Johns Hopkins University（约翰霍普金斯大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Texas A&M University（德克萨斯农工大学）
针对在线学习中的近因效应，研究单遍滑动窗口流式多臂老虎机问题，提出纯探索和遗憾最小化算法，并给出记忆-遗憾权衡。
2026-06-08 cs.DS cs.LG
SMOF: Streaming Modern CNNs on FPGAs with Smart Off-Chip Eviction
Imperial College London（伦敦帝国学院）；Information Technologies Institute（信息技术研究所）；Centre of Research and Technology Hellas（希腊研究与技术中心）
SMOF通过智能片外逐出机制将权重和激活暂存到片外存储器，解决现代CNN长跳跃连接导致的片上存储瓶颈，从而在资源受限FPGA上实现流式映射并获得最高10.65倍吞吐量提升。
2024-03-27 cs.AR cs.CV cs.LG
FlashSVD: Memory-Efficient Inference with Streaming for Low-Rank Models
Department of Statistical Science（统计科学系）；Department of Electrical & Computer Engineering（电气与计算机工程系）；Department of Computer Science（计算机科学系）
FlashSVD提出端到端秩感知流式推理框架，通过融合低秩投影内核避免物化激活缓冲区，在BERT-Base上削减峰值激活内存70.2%且无精度损失，实现低秩LLM的内存高效部署。
2025-08-02 cs.AI cs.LG cs.PF
Range-Net: A High Precision Streaming SVD for Big Data Applications
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；School of Information（信息学院）；Oden Institute for Computational Engineering and Sciences（奥登计算工程与科学研究所）
在大数据环境中，由于主存储器要求，计算主导SVD因子是有限制的。最近引入的流式随机SVD方案的工作下的限制性假设，奇异值谱的数据具有指数衰减。对于任何实际数据来说，这很少是正确的。虽然这些方法被要求适用于科学计算由于相关的尾部能量误差界，在奇异向量和值的近似误差是高的，当上述假设不成立。此外，从实际的角度来看，过采样仍然可能是内存密集型的，或者更糟的是可能超过数据的特征维度。为了解决这些问题，我们提出了范围网络作为随机SVD的替代方案，满足Eckart-Young-Mirsky（EYM）定理给出的尾能量下界。Range-Net是一种随机初始化的确定性两阶段神经优化方法，其中主内存需求显式取决于特征维度和期望秩，与样本维度无关。数据样本在流设置中读取，其中网络最小化问题收敛到期望的rank-r近似。Range-Net是完全可解释的，其中所有网络输出和权重都具有特定含义。从理论上保证了Range-Net提取的SVD因子在机器精度下满足EYM尾能量下界。我们在不同尺度下对真实数据的数值实验证实了这一界限。与最先进的流随机SVD的比较表明，范围网络的准确性是更好的六个数量级，同时是内存效率。
2021-03-18 cs.AI cs.LG cs.NA
Chronotome: Real-Time Topic Modeling for Streaming Embedding Spaces
Harvard University（哈佛大学）；Google Research（谷歌研究）
针对现有降维方法难以捕捉时序数据集语义变迁的问题，研究提出结合力导向投影与流式聚类的可视化技术，开发出实时探索演化主题的Chronotome工具，经文本与图像数据用例验证可助力理解时序数据的美学与语义特征。
2025-09-01 cs.CL cs.CV cs.HC
