Fast and Low-Memory Deep Neural Networks Using Binary Matrix Factorization
尽管深度神经网络在不同的应用中表现出色，但它们仍然是计算量很大的，并且需要大量的存储器。这促使人们开展更多研究，以减少实施此类网络所需的资源。一个有效的方法是矩阵分解，这已被证明是有效的不同的网络。在本文中，我们利用二进制矩阵分解，并显示其在减少深度神经网络中所需资源数量方面的巨大效率。实际上，这种技术可以导致这种网络的实际实现。
2023-01-06 cs.LG eess.SP
Binary Neural Network for Speaker Verification
Duke Kunshan University（昆山杜克大学）；Wuhan University（武汉大学）
尽管深度神经网络在语音领域的许多任务上都取得了成功，但深度神经网络的高计算和内存成本使得难以在低资源嵌入式设备上直接部署高性能神经网络系统。有几种机制，以减少神经网络的大小，即参数修剪，参数量化等，本文重点讨论如何将二进制神经网络的说话人确认任务。所提出的训练参数的二值化可以在很大程度上保持性能，同时显着降低存储空间需求和计算成本。实验结果表明，在对卷积神经网络进行二值化后，基于ResNet34的网络在Voxceleb1测试数据集上的EER达到了5%左右，在文本依赖数据集Xiaole上的EER甚至超过了传统的实数网络，同时节省了32倍的内存。
2021-04-06 cs.LG cs.SD eess.AS
SMMF: Square-Matricized Momentum Factorization for Memory-Efficient Optimization
本文提出 SMMF（方阵化动量分解），一种内存高效优化器，通过方阵化和一次性矩阵分解支持任意秩动量张量的灵活分解，相比 Adam 等优化器内存需求降低高达 96%，并在理论分析和 CNN、Transformer 实验中验证了其低内存与高性能优势。
2024-12-13 cs.AI cs.LG
Memory-Efficient Convex Optimization for Self-Dictionary Separable Nonnegative Matrix Factorization: A Frank-Wolfe Approach
Oregon State University（俄勒冈州立大学）；The Chinese University of Hong Kong（香港中文大学）
非负矩阵分解（NMF）算法的设计往往依赖于可分离性条件。基于分离性的NMF主要有两类方法，即贪婪追踪和凸规划。一个值得注意的凸NMF公式是所谓的自字典多测量向量（SD-MMV），它可以在不知道矩阵秩先验的情况下工作，并且可以说相对于贪婪追求更能适应错误传播。然而，凸SD-MMV呈现出与问题大小成二次方的大内存成本。这种内存挑战已经存在了十年，并且是将凸SD-MMV应用于大数据分析的主要障碍。本文提出了一种内存有效的凸SD-MMV算法。我们的算法利用了20世纪50年代经典算法（即Frank-Wolfe（FW）算法）的特殊更新规则。结果表明，在合理的条件下，FW算法解决了嘈杂的SD-MMV问题的内存成本与数据量线性增长。为了处理噪声较大的情况下，平滑组稀疏正则化提出了提高鲁棒性，同时保持低内存占用的保证。所提出的方法提出了第一个线性记忆复杂度算法框架，凸SD-MMV基于NMF。该方法在几个无监督学习任务上进行了测试，即，文本挖掘和社区检测，以展示其有效性和内存效率。
2022-05-09 cs.LG eess.SP
BMF: Block matrix approach to factorization of large scale data
大规模矩阵的矩阵分解（MF）是一项计算量大、内存消耗大的任务。当输入矩阵的大小高于中央处理单元（CPU）和图形处理单元（GPU）上的可用存储器时，需要替代的收敛技术。虽然交替最小二乘（ALS）在CPU上的收敛可能需要很长时间，但当维度明显更高时，将所有所需的矩阵加载到GPU内存中可能是不可能的。因此，我们引入了一种新的技术，该技术是基于考虑到整个数据到一个块矩阵，并依赖于在块级的因式分解。
2019-01-18 cs.AI cs.LG stat.ML
Binned Group Algebra Factorization for Differentially Private Continual Counting
Institute of Science and Technology (ISTA)（科学技术研究院（ISTA））；Rutgers University（罗格斯大学）
本文针对差分隐私连续计数问题，提出利用群代数分解的新结构性质结合分箱技术，将内存和运行时间降至约O(√n)并保持低误差，弥合了理论精度与实际效率之间的差距。
2025-04-06 cs.DS cs.LG
Neural Tensor Factorization
University of Notre Dame（圣母大学）；Microsoft Research（微软研究院）
神经协同过滤（NCF）和递归推荐系统（RRN）已经成功地建模用户项关系数据。然而，它们也局限于它们对关系数据的静态或顺序建模的假设，因为它们不考虑随着时间的推移而演变的用户偏好以及驱动用户-项目关系随着时间的推移而变化的潜在因素的变化。我们通过提出一个神经张量因子分解（NTF）模型来解决这些限制，用于动态关系数据的预测任务。NTF模型从两个方面推广了传统的张量分解：首先，它利用长短期记忆架构来表征关系数据上的多维时态交互。其次，它采用了多层感知器结构，用于学习不同潜在因素之间的非线性。我们的大量实验表明，显着改善评级预测和链接预测的动态关系数据，我们的NTF模型比基于神经网络的因子分解模型和其他传统的方法。
2018-02-13 cs.LG
Matrix Factorization on GPUs with Memory Optimization and Approximate Computing
Citadel（城堡投资）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
矩阵分解（MF）发现潜在的功能，从观察，这在协同过滤，数据压缩，特征提取，词嵌入等领域表现出了很大的希望，虽然已经提出了许多特定问题的优化技术，交替最小二乘（ALS）仍然流行，由于其普遍适用性，如易于处理正未标记的输入，快速收敛和并行化能力。当前的MF实现要么针对单个机器进行了优化，要么需要大型计算机集群，但仍然不够。这是因为单个机器为大规模数据提供有限的计算能力，而多台机器则遭受网络通信瓶颈。为了解决上述挑战，在图形处理单元（GPU）上加速ALS是一个有前途的方向。我们提出了新的方法，提高MF效率，通过内存优化和近似计算。前者利用GPU的存储层次结构来提高数据的重用性，后者在不影响学习算法收敛性的前提下减少了不必要的计算。在大规模数据集上进行的大量实验表明，我们的解决方案不仅比竞争对手的CPU解决方案性能好得多，而且与最先进的GPU解决方案相比，性能提高了2 - 4倍。我们的实现是开源和公开的。
2018-08-11 cs.DC cs.IR cs.LG
Pivoting Factorization: A Compact Meta Low-Rank Representation of Sparsity for Efficient Inference in Large Language Models
Center for Complex Network Intelligence (CCNI), Tsinghua Laboratory of Brain and Intelligence (THBI), Department of Psychological and Cognitive Sciences（复杂网络智能中心（CCNI）、清华脑智能实验室（THBI）、心理与认知科学系）；Department of Computer Science（计算机科学系）；Department of Biomedical Engineering, Tsinghua University, China（生物医学工程系，清华大学，中国）
本文提出PIFA，一种无损元低秩表示方法，通过识别枢轴行并线性组合非枢轴行，消除冗余信息，实现额外内存节省和推理加速，并结合无需重训练的重构方法MPIFA，显著优于现有低秩剪枝，性能媲美半结构化剪枝。
2025-08-13 cs.LG
On Application of Block Kaczmarz Methods in Matrix Factorization
矩阵分解技术计算高维数据矩阵的低秩乘积近似，因此，经常在推荐系统和协同过滤应用中使用。然而，许多算法，这项任务利用精确的最小二乘求解器的计算是耗时和内存昂贵的。在本文中，我们讨论和测试块Kaczmarz求解器，取代最小二乘法子程序在常见的交替计划矩阵因式分解。这种变体以因子分解误差的小幅增加换取显著更快的算法性能。在这样做的时候，我们发现块的大小，产生的解决方案相比，最小二乘求解器的运行时间和工作内存的要求只有一小部分。
2020-10-20 cs.LG cs.NA math.NA
Reducing Memory Requirements for the IPU using Butterfly Factorizations
本文研究在 IPU 上实现蝴蝶分解以降低内存需求，实验表明该方法可实现 98.5% 压缩率，并在 CIFAR10 上取得 1.62 倍训练加速。
2023-09-16 cs.DC cs.ET cs.LG
Kronecker Product Attention: Memory-Efficient KV Compression via Structured Factorization
Huawei Technologies（华为技术有限公司）；University of Waterloo（滑铁卢大学）
该研究提出克罗内克积注意力（KPA），通过结构化分解压缩KV缓存，性能优于或匹配现有注意力方法，可实现最高10倍KV缓存压缩，且无需额外位置编码机制。
2026-10-12 cs.AI cs.LG
In-memory factorization of holographic perceptual representations
IBM Research – Zurich（IBM苏黎世研究院）；ETH Zürich（苏黎世联邦理工学院）
本文结合超维计算与相变忆阻器模拟存内计算，提出迭代式全息感知表征存内分解引擎，在两款芯片上验证其可求解更大规模问题并降低时间与空间复杂度。
2023-02-16 cs.CV cs.ET cs.LG
DS-FACTO: Doubly Separable Factorization Machines
University of California Santa Cruz（加州大学圣克鲁兹分校）；Amazon（亚马逊）
因子分解机（FM）是一类功能强大的模型，它包含了特征之间的高阶交互，为线性模型增加了更多的表达能力。它们已经成功地应用于一些现实世界的任务，如点击预测，排名和推荐系统。尽管对成对特征使用低秩表示，但在大规模真实世界数据集上使用因子分解机器的内存开销可能非常高。例如，在criteo tera数据集上，假设适度的$128$维度潜在表示和$10^{9}$特征，则模型的内存需求为$1$ TB的量级。此外，数据本身占用$2.1$ TB。传统的FM算法在单机上工作，无法处理这种规模，因此，使用分布式算法在集群中并行计算是不可避免的。在这项工作中，我们提出了一个混合并行随机优化算法DS-FACTO，分区的数据以及参数的因式分解机同时进行。我们的解决方案是完全分散的，不需要使用任何参数服务器。我们提出的实证结果来分析的收敛行为，预测能力和可扩展性的DS-FACTO。
2020-04-29 cs.LG stat.ML
ARMOR: High-Performance Semi-Structured Pruning via Adaptive Matrix Factorization
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Washington（华盛顿大学）；Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）
ARMOR通过自适应矩阵分解技术，实现高效的半结构化剪枝，保留模型质量的同时提升压缩效率和任务准确性。
2026-04-03 cs.LG
Large Enforced Sparse Non-Negative Matrix Factorization
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
本文提出一种强制生成稀疏中间和输出矩阵的NMF改进方法，提升内存和计算性能，同时保持或提高主题模型的准确性和算法收敛速度。
2015-10-18 cs.LG cs.NA cs.SI
CuMF_SGD: Fast and Scalable Matrix Factorization
Peking University（北京大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
本文提出CuMF_SGD，利用GPU高带宽内存和快节点连接加速大规模矩阵分解，通过批量Hogwild!和波前更新方案及优化内核，在单CPU和多GPU上实现3.1X-28.2X的加速。
2016-11-10 cs.LG cs.NA math.NA
A Non-convex One-Pass Framework for Generalized Factorization Machine and Rank-One Matrix Sensing
University of Michigan（密歇根大学）
我们开发了一个有效的交替框架，用于学习具有可证明保证的数据流上的广义因式分解机（gFM）。当样本是从$d$维随机高斯向量中采样的，且gFM中的目标二阶系数矩阵秩为$k$时，算法线性收敛，在检索$O(k^{3}d\log(1/ε))$训练样本后达到$O(ε)$恢复误差，一遍数据集消耗$O(kd)$内存，每次迭代只需要矩阵向量乘积运算。我们的框架的关键成分是一个建设的估计序列赋予所谓的连续性独立RIP条件（CI-RIP）。作为gFM的特殊情况，我们的框架可以应用于对称或非对称的秩一矩阵传感问题，如归纳矩阵完成和相位检索。
2016-10-25 cs.LG stat.ML
GPU accelerated matrix factorization of large scale data using block based approach
University of Hyderabad（海得拉巴大学）
针对大规模矩阵分解在 CPU 上耗时且 GPU 显存受限的问题，提出基于独立块并行 SGD 的 GPU 加速方法，可扩展至多 GPU 与分布式系统，并在 RMSE 可接受偏差内获得显著加速。
2023-01-02 cs.DC cs.LG
Block-Randomized Stochastic Proximal Gradient for Low-Rank Tensor Factorization
Oregon State University（俄勒冈州立大学）；University of Missouri - Columbia（密苏里大学哥伦比亚分校）；University of Florida（佛罗里达大学）
本文研究了大张量的正则多进分解（CPD）的计算问题。以前的工作主要利用数据稀疏性来处理这个问题，这不适合处理医学成像，计算机视觉和遥感等应用中经常出现的密集张量。随机优化以其在处理密集数据时的低内存成本和每次迭代复杂度而闻名。然而，验证随机CPD算法不够灵活，无法合并信号和数据分析中感兴趣的各种约束/正则化。许多这样的算法的收敛性也不清楚。在这项工作中，我们提出了一个随机优化框架的大规模CPD约束/正则化。该框架工作在一个双随机的方式，可以被视为一个明智的组合随机块坐标下降（BCD）和随机邻近梯度（SPG）。该算法具有轻量级更新和小内存占用的特点。此外，这个框架需要相当大的灵活性-许多经常使用的正则化和约束可以很容易地处理下提出的计划。收敛性分析也支持这种方法。大规模稠密张量的数值结果显示所提出的方法的有效性。
2020-03-25 cs.LG eess.SP
Regularized and Smooth Double Core Tensor Factorization for Heterogeneous Data
University of Michigan（密歇根大学）；University of Florida（佛罗里达大学）；University of Florida Informatics Institute（佛罗里达大学信息学研究所）
我们介绍了一个通用的张量模型，适用于{ \em异构}数据集的数据分析任务，其中有联合低秩结构的观察组内，但也有歧视性的结构在不同的群体。为了捕捉这种复杂的结构，一个双核心张量（DCOT）因子分解模型引入了一个家庭的平滑损失函数。通过利用所提出的平滑函数，该模型准确地估计模型因子，即使在存在缺失条目的情况下。一个线性化的ADMM方法来解决正则化版本的DCOT分解，避免了大张量操作和大内存存储的要求。进一步，我们从理论上证明了它的全局收敛性，以及模型参数估计的相合性。DCOT模型的有效性说明了几个现实世界的例子，包括图像完成，推荐系统，子空间聚类和检测模块在异构组学多模态数据，因为它提供了更有见地的分解比传统的张量方法。
2022-10-03 cs.LG stat.ML
SSMF: Shifting Seasonal Matrix Factorization
SANKEN Osaka University（大阪大学）；National University of Singapore（新加坡国立大学）
既然出发地和目的地之间的出租车数量信息，我们如何预测他们未来的需求？一般来说，给定一个具有季节性模式的事件数据流，随着时间的推移，我们如何有效地预测未来的事件？在本文中，我们提出了移位季节矩阵分解方法，即SSMF，可以自适应地学习多个季节模式（称为政权），以及它们之间的切换。我们提出的方法具有以下特性：（a）随着数据流的演变，它通过检测季节模式中的状态变化来准确地预测未来事件;（b）它在在线设置中工作，即，在恒定的时间和存储器中处理每个观察结果;（c）通过使用无损数据压缩方案，它有效地实现了状态转换而无需人为干预。我们证明，我们的算法优于国家的最先进的基线方法，准确地预测即将发生的事件在三个现实世界的数据流。
2021-10-25 cs.AI cs.LG
Field-weighted Factorization Machines for Click-Through Rate Prediction in Display Advertising
Yahoo Research（雅虎研究院）；TouchPal Inc.（触宝公司）；UC Berkeley（加州大学伯克利分校）；LinkedIn Corporation（领英公司）；Ablibaba Group（阿里巴巴集团）
点击率（CTR）预测是在线展示广告中的一项关键任务。CTR预测中涉及的数据通常是多字段分类数据，即，每个特征都是分类的，并且属于一个且仅属于一个字段。这种数据的一个有趣的特征是，来自一个领域的特征通常与来自不同其他领域的特征以不同的方式相互作用。最近，场感知因子分解机（FFM）已经通过显式地建模这种差异而成为CTR预测的最佳模型之一。然而，FFM中的参数数量是特征数量乘以字段数量的顺序，这在现实世界的生产系统中是不可接受的。在本文中，我们提出了字段加权因子分解机（FwFM），以一种更有效的方式来模拟不同字段之间的不同特征交互。我们的实验评估表明，FwFM可以实现有竞争力的预测性能，只有4%的FFM参数。当使用相同数量的参数时，在两个真实CTR预测数据集上，FwFM可以使FFM的AUC提升0.92%和0.47%。
2020-03-08 cs.LG stat.ML
Compressed Nonnegative Matrix Factorization is Fast and Accurate
Duke University（杜克大学）
非负矩阵分解（NMF）作为一种有用的数据分析技术在许多应用中享有盛誉。然而，近年来，它在实际情况中的使用正在经历挑战。其根本因素是信息科学中可用和所需的数据集规模日益增长。为了解决这个问题，在这项工作中，我们建议使用结构化的随机压缩，也就是说，随机投影，利用数据结构，两个NMF的变种：经典和可分离的。在可分离NMF（SNMF）中，左因子是输入矩阵的列的子集。我们提出了合适的配方为每个问题，处理不同的代表性算法内的每一个。我们表明，由此产生的压缩技术比未压缩的变体更快，大大降低了内存需求，并且不包括任何显着的性能恶化。所提出的SNMF结构化随机投影允许处理任意形状的大型矩阵，超出了高瘦矩阵的标准限制，从而在此一般设置中获得非常有效的计算。我们伴随着理论基础和众多不同的例子的算法演示，显示所提出的方法的适用性。
2015-09-06 cs.LG stat.ML
Non--negative matrix factorization using the \textit{R} package \textsf{nnmf}
Muğla SıtkıKoçman University Faculty of Science Department of Statistics（穆尔加大学科学学院统计学系）；University of Crete（克里特大学）；University of Piraeus（比雷埃克斯大学）
该研究引入新的用于非负矩阵分解的R包，与两个广泛使用的R包进行系统性能比较，通过使用真实数据和一致实验框架，重点评估计算效率等多方面性能，为实际应用选择合适包提供客观指导。
2026-07-23 cs.LG stat.ML
LittleBit: Ultra Low-Bit Quantization via Latent Factorization
Samsung Research（三星研究院）
LittleBit通过潜在因子分解实现超低比特量化，实现高达31倍的内存压缩，同时在亚1比特域内提升模型性能，达到FP16的11.6倍推理加速。
2026-02-05 cs.AI cs.CL cs.LG
Stratified Non-Negative Tensor Factorization
University of California, Los Angeles（加州大学洛杉矶分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
针对分层NMF处理多模态数据时需展平张量导致几何结构丢失的问题，提出分层非负张量分解方法，开发乘法更新规则并引入正则化版本，实验表明其内存需求更低且能识别可解释主题。
2024-11-27 cs.LG cs.NA math.NA
Improving Word Embedding Factorization for Compression Using Distilled Nonlinear Neural Decomposition
University of British Columbia（不列颠哥伦比亚大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
词嵌入是自然语言处理（NLP）模型的重要组成部分，并已被广泛研究。然而，它们消耗大量内存，这对边缘部署构成了挑战。嵌入矩阵通常包含语言模型的大部分参数，以及机器翻译系统的大约三分之一。本文提出了一种基于低秩矩阵分解和知识蒸馏的（输入/输出）嵌入压缩方法--蒸馏嵌入。首先，我们通过学习重建完整的预训练词嵌入来初始化分解矩阵的权重，然后对分解的嵌入采用知识蒸馏进行端到端的微调。我们在机器翻译和语言建模上使用不同的压缩率进行了广泛的实验，使用不同的数据集，其中嵌入矩阵和词汇投影矩阵都具有共享的单词嵌入矩阵。我们表明，所提出的技术是简单的复制，与一个固定的参数控制压缩大小，具有较高的BLEU分数的翻译和较低的困惑语言建模相比，复杂的，难以调整的最先进的方法。
2020-11-10 cs.CL cs.LG
Quaternion Factorization Machines: A Lightweight Solution to Intricate Feature Interaction Modelling
The University of Queensland（昆士兰大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Hefei University of Technology（合肥工业大学）
作为一种成熟的方法，因子分解机（FM）能够自动学习特征之间的高阶交互来进行预测，而不需要手动特征工程。随着深度神经网络（DNN）的显著发展，最近有一种趋势是用DNN增强基于FM的模型的表达能力。然而，尽管使用基于DNN的FM变体可以获得更好的结果，但这种性能增益是通过在普通FM之上的大量（通常是数百万）过多模型参数来获得的。因此，大量的参数化阻碍了这些深度模型在现实生活中的实用性，特别是在资源受限的物联网和边缘设备上的有效部署。在本文中，我们超越了传统的实空间，其中大多数深FM为基础的模型定义，并寻求解决方案，从超复杂空间内的四元数表示。具体来说，我们提出了四元数因子分解机（QFM）和四元数神经因子分解机（QNFM），这是两种新的轻量级和内存高效的四元数值模型稀疏预测分析。通过引入一个全新的采取FM为基础的模型与四元数代数的概念，我们的模型不仅能够表达组件间的功能相互作用，但也显着减少了参数的大小，由于较低的自由度在超复杂的汉密尔顿产品相比，实值矩阵乘法。在三个大规模数据集上的大量实验结果表明，QFM在不引入任何额外参数的情况下，比普通FM性能提高了4.36%，而QNFM的性能优于所有基线，与最先进的同行方法相比，参数大小减少了两个数量级。
2021-04-11 cs.IR cs.LG
Block Basis Factorization for Scalable Kernel Matrix Evaluation
Stanford University（斯坦福大学）；Duke University（杜克大学）；International Computer Science Institute（国际计算机科学研究所）；University of California, Berkeley（加州大学伯克利分校）
核方法广泛应用于机器学习中，但是，它们受到核矩阵的构造、应用和存储的二次复杂性的限制。低秩矩阵近似算法被广泛用于解决这个问题，并降低了运算和存储成本。然而，我们观察到，对于一些具有广泛的类内变异性的数据集，较小类的最佳核参数会产生一个矩阵，该矩阵不太适合低秩方法。在本文中，我们提出了一种有效的结构化低秩近似方法-块基分解（BBF）-及其快速构造算法来近似径向基函数（RBF）核矩阵。我们的方法具有线性内存成本和浮点运算的许多机器学习内核。BBF适用于广泛的内核带宽参数，并显着扩展了低秩近似方法的适用范围。我们的实证结果表明，稳定性和优越性的最先进的核近似算法。
2021-05-04 cs.LG cs.NA math.NA
Distributed Flexible Nonlinear Tensor Factorization
Purdue University（普渡大学）；Lawrence Berkeley Lab（劳伦斯伯克利实验室）；Yahoo! Research（雅虎研究院）；University of Electronic Science and Technology of China（电子科技大学）；University of Cambridge（剑桥大学）
张量分解是分析多向数据的有力工具。与传统的多线性方法相比，非线性张量分解模型能够捕捉数据中更复杂的关系。然而，它们是计算昂贵的，并且在极端数据稀疏的情况下可能遭受严重的学习偏差。为了克服这些限制，在本文中，我们提出了一个分布式的，灵活的非线性张量分解模型。我们的模型可以有效地避免现有TGP公式中Kronecker乘积的昂贵计算和结构限制，允许选择张量条目的任意子集来进行训练。与此同时，我们推导出一个易于处理和紧密的变分证据下界（ELBO），使高度解耦，并行计算和高质量的推理。在此基础上，提出了一种MapReduce框架下的分布式推理算法，该算法不需要键值，能够充分利用SPARK等快速MapReduce系统中的内存缓存机制.实验结果充分证明了我们的方法在预测性能和计算效率方面的优势。此外，我们的方法显示了一个有前途的潜力，在应用程序的点击率（CTR）预测在线广告。
2016-05-22 cs.AI cs.DC cs.LG
Least-squares methods for nonnegative matrix factorization over rational functions
本文研究有理函数约束下的非负矩阵分解（R-NMF），证明其具有本质唯一性，并提出R-HANLS、R-ANLS和R-NLS三种求解方法，在连续信号恢复和高光谱分类任务中优于传统NMF。
2022-09-26 cs.CV cs.LG eess.SP
Greenformers: Improving Computation and Memory Efficiency in Transformer Models via Low-Rank Approximation
The Hong Kong University of Science and Technology（香港科技大学）
在这篇论文中，我们介绍了Greenformers，一个集合的模型效率的方法来提高最近著名的Transformer模型的效率与低秩近似的方法。深度学习模型的发展趋势是向更复杂、更大的模型发展。虽然它可以带来更好、更准确的预测，但最终的模型成本更高，因为它需要使用大量GPU资源进行数周的训练。特别是，自2017年首次亮相以来，基于transformer的模型的大小和计算成本已从约1亿个参数大幅增加到2021年初的约1.6万亿个参数。这种计算量巨大的模型也给环境带来了巨大的成本，甚至达到了令人担忧的碳足迹水平。其中一些模型是如此庞大，以至于在没有GPU集群的情况下甚至不可能运行模型。Greenformer通过应用低秩近似方法来提高Transformer模型的模型效率。具体来说，我们提出了一种低秩因式分解方法，以提高效率的Transformer模型称为低秩Transformer。我们进一步比较我们的模型与现有的低秩因子分解方法称为Linformer。基于我们的分析，低秩Transformer模型适合于提高处理短序列（<= 512）输入数据的时间和存储器效率，而Linformer模型适合于提高处理长序列输入数据（>= 512）的效率。我们还表明，低秩Transformer更适合于设备上部署，因为它显着减少了模型的大小。此外，我们估计，将LRT应用于现有的BERT基础模型可以显着降低计算，经济…
2021-08-24 cs.AI cs.CC cs.LG
Learning Feature Interactions with Lorentzian Factorization Machine
eBay Inc.（易趣公司）；Tongji University（同济大学）
学习特征交互的表示来建模用户行为对于推荐系统和点击率（CTR）预测至关重要。这一领域的最新进展得益于深度学习方法，这些方法可以学习复杂的特征交互，并以端到端的方式实现最先进的结果。这些方法需要大量的训练参数与低级别的表示，因此是内存和计算效率低。在本文中，我们提出了一个新的模型命名为“LorentzFM”，可以学习嵌入在双曲空间中的特征相互作用，其中三角不等式的违反洛伦兹距离是可用的。为此，学习的表示受益于双曲三角形的特殊几何属性，并导致参数数量的显着减少（20\%至80\%），因为不需要所有的顶部深度学习层。有了这样一个轻量级的架构，LorentzFM在推荐和CTR预测任务中都取得了与DeepFM、xDeepFM和Deep \& Cross等深度学习方法相当甚至更好的结果。
2019-11-22 cs.AI cs.IR cs.LG
