我们引入了NeuralVDB，它通过利用机器学习的最新进展，改进了现有的稀疏体积数据高效存储行业标准VDB [Museth 2013]。我们新颖的混合数据结构能将VDB体积的内存占用减少几个数量级，同时保持其灵活性，且仅产生微小的（用户可控的）压缩误差。具体而言，NeuralVDB用一个浅而宽的VDB树结构的较低层节点替换为多个分层神经网络，这些网络分别通过神经分类器和回归器对拓扑和值信息进行编码。这种方法被证明能最大化压缩比，同时保持更高级别VDB数据结构提供的空间自适应性。对于稀疏有符号距离场和密度体积，我们观察到从已压缩的VDB输入中实现了10倍到100倍以上的压缩比，且几乎没有视觉伪影。此外，与Neural Geometric Level of Detail [Takikawa et al. 2021]、Variable Bitrate Neural Fields [Takikawa et al. 2022a]和Instant Neural Graphics Primitives [Müller et al. 2022]等其他神经表示相比，NeuralVDB展现出更有效的压缩性能。最后，我们演示了如何从先前帧进行热启动可以加速动画体积的训练（即压缩），并改善模型推理（即解压缩）的时间相干性。
英文摘要：
We introduce NeuralVDB, which improves on an existing industry standard for efficient storage of sparse volumetric data, denoted VDB [Museth 2013], by leveraging recent advancements in machine learning. Our novel hybrid data structure can reduce the memory footprints of VDB volumes by orders of magnitude, while maintaining its flexibility and only incurring small (user-controlled) compression errors. Specifically, NeuralVDB replaces the lower nodes of a shallow and wide VDB tree structure with multiple hierarchical neural networks that separately encode topology and value information by means of neural classifiers and regressors respectively. This approach is proven to maximize the compression ratio while maintaining the spatial adaptivity offered by the higher-level VDB data structure. For sparse signed distance fields and density volumes, we have observed compression ratios on the order of 10x to more than 100x from already compressed VDB inputs, with little to no visual artifacts. Furthermore, NeuralVDB is shown to offer more effective compression performance compared to other neural representations such as Neural Geometric Level of Detail [Takikawa et al. 2021], Variable Bitrate Neural Fields [Takikawa et al. 2022a], and Instant Neural Graphics Primitives [Müller et al. 2022]. Finally, we demonstrate how warm-starting from previous frames can accelerate training, i.e., compression, of animated volumes as well as improve temporal coherency of model inference, i.e., decompression.
Center for Security Theory and Algorithmic Research（安全理论与算法研究中心）；International Institute of Information Technology - Hyderabad（海得拉巴国际信息技术研究所）；Facebook（脸书）；Parallel Computing Lab（并行计算实验室）；Intel Labs（英特尔实验室）
Pruning and Sparsemax Methods for Hierarchical Attention Networks
Instituto Superior Técnico, University of Lisbon（里斯本大学高等技术学院）；INESC-ID
本文介绍并评价了两种新颖的层次注意力网络模型[Yang et al.，- i）分层修剪注意力网络，其从分类过程中去除不相关的单词和句子，以减少文档分类准确性中的潜在噪声，以及ii）分层Sparsemax注意力网络，其用Sparsemax代替注意力机制中使用的Softmax函数[Martins和Astudillo，2016]，能够更好地处理重要性分布，其中许多单词或句子具有非常低的概率。我们对IMDB Review的情感分析数据集的实证评估显示，这两种方法都能够匹配当前最先进的方法所获得的结果（但是没有任何显着的好处）。我们所有的源代码都可以在https：//www.example.com上找到。github.com/jmribeiro/dsl-project
Hierarchical Soft Actor-Critic for Sparse-Reward Long-Horizon Reinforcement Learning
National Engineering School of Tunis, University of Tunis El Manar（突尼斯艾尔玛纳尔大学突尼斯国立工程师学校）；University of Tripoli（的黎波里大学）；University of Picardie Jules Verne Amiens（亚眠皮卡第朱尔斯·凡尔纳大学）
Retraining-Free Merging of Sparse MoE via Hierarchical Clustering
National Tsing Hua University（国立清华大学）；National Taiwan University（国立台湾大学）；University of Toronto（多伦多大学）；NVIDIA AI Technology Center (NVAITC)（NVIDIA AI技术中心）；Samsung Research America（三星美国研究院）
DHRL: A Graph-Based Approach for Long-Horizon and Sparse Hierarchical Reinforcement Learning
Seoul National University（首尔国立大学）；Artificial Intelligence Institute of Seoul National University (AIIS)（首尔国立大学人工智能研究所（AIIS））；Automation and Systems Research Institute (ASRI)（自动化与系统研究所（ASRI））
DashAttention: Differentiable and Adaptive Sparse Hierarchical Attention
Tsinghua University（清华大学）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学理工学院）；Instituto de Telecomunicações（电信研究院）；Carnegie Mellon University（卡内基梅隆大学）；Sapienza University of Rome（罗马萨皮恩扎大学）；University of Edinburgh（爱丁堡大学）；TransPerfect（TransPerfect公司）；ELLIS Unit Lisbon（里斯本ELLIS单位）
University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）；Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI））
SPARTAN: Sparse Hierarchical Memory for Parameter-Efficient Transformers
Princeton University（普林斯顿大学）；IBM Research AI（IBM研究院AI）；Amazon AWS AI（亚马逊AWS AI）；The Allen Institute for AI（艾伦人工智能研究所）
微调预训练的语言模型（PLM）在一系列下游任务上实现了令人印象深刻的性能，因此它们的规模越来越大。由于每个任务都需要模型的不同副本，因此这种范例对于移动电话等存储受限的边缘设备是不可行的。在本文中，我们提出了SPARTAN，一个参数高效（PE）和计算速度快的边缘设备，每个Transformer层后增加分层组织的稀疏内存架构。SPARTAN冻结PLM参数并仅微调其内存，从而通过为不同任务重复使用PLM主干来显著降低存储成本。SPARTAN包含两个级别的内存，在第一级中为每个输入仅选择父节点的稀疏子集，并且与这些父节点对应的子单元用于计算输出表示。与PE基线（适配器）相比，这种稀疏性与其他架构优化相结合，在Raspberry Pi 4上进行推理时，SPARTAN的吞吐量提高了90%以上，同时在GLUE基准测试中也超过后者0.1个点。此外，它可以在Few-Shot设置中训练速度快34%，同时在适配器的0.9点内执行。定性分析表明，SPARTAN中不同的父细胞专注于不同的主题，从而有效地划分责任。
SENDAI: A Hierarchical Sparse-measurement, EfficieNt Data AssImilation Framework
Department of Electrical；Computer Engineering, University of Washington, Seattle, USA；Paul G. Allen School of Computer Science \& Engineering, University of Washington, Seattle, USA；Department of Applied Mathematics, University of Washington, Seattle, USA；School of Environmental；Forest Sciences, University of Washington, Seattle, USA
