Tensor Regression Networks with various Low-Rank Tensor Approximations
RIKEN Center for AIP(理化学研究所AIP中心);McGill University(麦吉尔大学)
张量回归网络实现了神经网络的高压缩率,同时对性能的影响很小。它们通过对全连接层的权重矩阵施加低张量秩结构来做到这一点。近年来,人们从压缩能力的角度对张量回归网络进行了研究,但对低秩张量结构的正则化效应的研究还不够深入。我们使用各种低秩张量近似来研究张量回归网络,旨在比较不同低秩约束的压缩和正则化能力。我们评估的压缩和正则化性能的建议模型与深和浅的卷积神经网络。我们的实验结果表明,全局平均池层优于张量回归层,当应用于CIFAR-10数据集的深度卷积神经网络时。相反,当使用少量样本进行训练时,具有张量回归层和dropout函数的浅层卷积神经网络的测试误差低于全局平均池和具有dropout函数的全连接层。
2018-11-29 cs.LG stat.ML
CTSR: Cartesian tensor-based sparse regression for data-driven discovery of high-dimensional invariant governing equations
Beijing Institute of Technology(北京理工大学)
针对现有稀疏回归方法难以高效发现高维不变控制方程的问题,本文提出基于笛卡尔张量的稀疏回归(CTSR)技术,在保证旋转和反射不变性的同时,于2D和3D测试中取得更优的准确性与效率。
2025-07-16 cs.LG
Sparse Symmetric Tensor Regression for Functional Connectivity Analysis
Division of Biostatistics, University of California, Berkeley(加州大学伯克利分校生物统计学系)
张量回归模型,如CP回归和Tucker回归,在神经影像学分析中有许多成功的应用,其中协变量是多维度的,具有复杂的空间结构。高维协变量数组,也称为张量,可以用低秩结构近似,并适合广义线性模型。由此产生的张量回归实现了显着的降维,同时保持有效的估计和预测。大脑功能连接是大脑活动的重要指标,并已显示出与阿尔茨海默病等神经系统疾病的显着关联。函数连通性的对称性是一个在以前的张量回归模型中尚未探索过的性质。在这项工作中,我们提出了一种稀疏对称张量回归,进一步减少了自由参数的数量,并在各种模拟设置下实现了优于对称和普通CP回归的性能。我们将所提出的方法应用于研究阿尔茨海默氏病(AD)和正常老化的伯克利老龄队列研究(BACS),并检测两个区域的兴趣,已被确定为重要的AD。
2020-10-28 cs.LG stat.ML
Tensor-on-tensor Regression Neural Networks for Process Modeling with High-dimensional Data
School of Industrial and Systems Engineering, Georgia Institute of Technology(工业与系统工程学院,佐治亚理工学院)
本文提出张量对张量回归神经网络(TRNN),统一张量几何保持与非线性表达能力,用于高维数据过程建模,解决现有方法线性或破坏结构的局限。
2025-10-06 cs.LG stat.ML
Higher-Order Low-Rank Regression
Aix-Marseille University(艾克斯-马赛大学)
本文提出了一种有效的算法(HOLRR)来处理回归任务的输出具有张量结构。我们制定的回归问题最小化的最小二乘准则下的多线性秩约束,一个困难的非凸问题。HOLRR有效地计算了这个问题的近似解,并有坚实的理论保证。还提出了一个内核扩展。对合成数据和真实数据的实验表明,HOLRR优于多元和多元线性回归方法,并且比现有的张量方法快得多。
2016-02-22 cs.LG
Boosted Sparse and Low-Rank Tensor Regression
Weill Cornell Medicine(威尔康奈尔医学院);University of Connecticut(康涅狄格大学);Michigan State Universtiy(密歇根州立大学)
我们提出了一个稀疏和低秩张量回归模型,将单变量结果与特征张量相关联,其中来自系数张量的CP分解的每个单位秩张量被假设为稀疏的。这种结构既简约又高度可解释,因为它意味着结果通过几个不同的途径与特征相关,每个途径可能只涉及特征维度的子集。我们采取分而治之的策略,简化成一组稀疏的单位秩张量回归问题的任务。为了使计算效率和可扩展性,对于单位秩张量回归,我们提出了一个逐步估计过程,以有效地跟踪其整个解决方案的路径。我们表明,当步长为零,逐步解决方案的路径收敛到相应的正则化回归。我们的方法的优越性能表现在各种现实世界和合成的例子。
2018-11-03 cs.LG stat.ML
Tensor Regression Meets Gaussian Processes
Caltech(加州理工学院);University of Southern California(南加州大学)
低秩张量回归是一种从数据中学习高阶相关性的新模型,近年来受到了广泛的关注。同时,高斯过程(GP)是结构学习的机器学习模型。在本文中,我们展示了两者之间有趣的联系,特别是对于多路数据分析。我们表明,低秩张量回归本质上是学习高斯过程中的多线性核,低秩假设转化为约束贝叶斯推理问题。我们证明了预言不等式,并推导出等价GP模型的平均情况学习曲线。我们的发现意味着,低秩张量回归,虽然经验上是成功的,是高度依赖于协方差函数的特征值以及变量的相关性。
2017-10-31 cs.LG stat.ML
Dynamic Tensor Product Regression
Northwestern University(西北大学);Adobe Research(奥多比研究院);MIT(麻省理工学院)
在这项工作中,我们开始研究\emph{Dynamic Tensor Product Regression}。一个具有矩阵$A_1\in \mathbb{R}^{n_1\times d_1},\ldots,A_q\in \mathbb{R}^{n_q\times d_q}$和标签向量$b\in \mathbb{R}^{n_1\ldots n_q}$,目标是解决回归问题,其中设计矩阵$A$是矩阵$A_1, A_2, \dots, A_q$的张量积,即$\min_{x\in \mathbb{R}^{d_1\ldots d_q}}~\|(A_1\otimes \ldots\otimes A_q)x-b\|_2$。在每个时间步,一个矩阵$A_i$接收稀疏变化,目标是保持张量积$A_1\otimes\ldots \otimes A_q$的草图,以便回归解可以快速更新。从头开始重新计算每一轮的解决方案是非常缓慢的,因此,重要的是要开发算法,可以快速更新的解决方案与新的设计矩阵。我们的主要结果是一个动态的树数据结构的任何更新一个单一的矩阵可以迅速传播整个树。我们表明,我们的数据结构可以用来解决动态版本的不仅张量积回归,但也张量积样条回归(这是一个广义的岭回归)和维护低秩近似的张量积。
2023-01-10 cs.DS cs.LG
Theoretical and Experimental Analyses of Tensor-Based Regression and Classification
Tokyo Institute of Technology(东京工业大学);The Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);University of Tokyo(东京大学)
我们从理论和实验上研究基于张量的回归和分类。我们的重点是各种张量范数的正则化,包括重叠迹范数,潜在迹范数和缩放潜在迹范数。我们首先给出了使用交替方向乘法器的双重优化方法,当训练样本的数量适中时,该方法计算效率高。然后,我们从理论上推导出每个张量范数的超额风险界,并澄清它们的行为。最后,我们使用模拟和真实数据进行了大量的实验,并证明了基于张量的学习方法优于基于向量和矩阵的学习方法。
2015-09-06 cs.LG stat.ML
Efficient Decision Trees for Tensor Regressions
Department of Statistics, Rice University(里士大学统计系);Computational Research Division, Lawrence Berkeley National Laboratory(伯克利国家实验室计算研究部);Department of Statistics, University of California Davis(加州大学戴维斯分校统计系);Department of Statistics, University of Chicago(芝加哥大学统计系)
本文提出张量输入树(TT)方法,通过快速算法和树集成,高效解决标量对张量和张量对张量回归问题,并在真实与合成数据上验证了其性能。
2025-07-08 cs.LG stat.ME stat.ML
Computational and Statistical Guarantees for Tensor-on-Tensor Regression with Tensor Train Decomposition
Department of Computer Science and Engineering, Ohio State University(计算机科学与工程系,俄亥俄州立大学)
本文研究了基于Tensor Train分解的Tensor-on-Tensor回归模型,在限制等距性质假设下推导了误差上下界,并提出IHT和RGD两种具有线性收敛速率的优化算法。
2025-05-01 cs.LG eess.SP math.OC
Tensorized LSSVMs for Multitask Regression
School of Information and Communication Engineering, University of Electronic Science and Technology of China(电子科技大学信息与通信工程学院);ESAT-STADIUS, KU Leuven(比利时鲁汶大学ESAT-STADIUS)
针对多模态数据下多任务回归的结构关联建模问题,提出基于低秩张量分析的tLSSVM-MTL方法,采用CP分解权重张量并设计交替优化算法,实验验证了其性能优势。
2023-03-04 cs.LG
Sparse Tensor Additive Regression
Deepmind;The University of Iowa(爱荷华大学);University of Georgia(佐治亚大学);University of Miami(迈阿密大学);Yahoo Research(雅虎研究院);Purdue University(普渡大学)
张量在医学成像和数字营销等现代应用中越来越普遍。在本文中,我们提出了一个稀疏张量加性回归(STAR)模型的标量响应作为一个灵活的非参数函数的张量协变量。该模型有效地利用了张量加性回归中的稀疏和低秩结构。我们将参数估计转化为一个非凸优化问题,并提出了一种有效的惩罚交替最小化算法。我们建立了一个非渐近误差界的估计从每个迭代的算法,这揭示了优化误差和统计收敛速度之间的相互作用。我们通过广泛的比较模拟研究证明了STAR的有效性,并将其应用于在线广告的点击率预测。
2021-03-05 cs.LG stat.ML
Federated Block-Term Tensor Regression for decentralised data analysis in healthcare
KU Leuven(鲁汶大学)
本文提出联邦块项张量回归 FBTTR,在保护隐私的去中心化医疗场景中协作建模,并在 ECoG 手指解码和心脏病预测任务上优于对比方法。
2024-12-02 cs.LG
Kernel Regression of Multi-Way Data via Tensor Trains with Hadamard Overparametrization: The Dynamic Graph Flow Case
Department of Information and Communications Engineering, Institute of Science Tokyo, Japan(信息与通信工程系,东京科学研究所,日本);Department of Statistics and Insurance Science, University of Piraeus, Greece(统计与保险科学系,比雷埃克斯大学,希腊);CA-AI, Department of Electrical Engineering and Computer Science, Florida Atlantic University, USA(CA-AI,电气工程与计算机科学系,佛罗里达亚特兰大大学,美国)
本文提出KReTTaH框架,将多路数据插补转化为固定TT秩张量黎曼流形上的核回归逆问题,并通过Hadamard过参数化增强稀疏性,在动态图流估计中融合拓扑先验,实验表明其插补性能优于现有张量和神经网络方法。
2025-09-26 cs.LG eess.SP
A block-sparse Tensor Train Format for sample-efficient high-dimensional Polynomial Regression
TU Berlin(柏林工业大学)
低秩张量是高维最小二乘问题的一个既定框架。我们建议扩展这个框架,包括块稀疏的概念。在多项式回归的上下文中,每个稀疏模式对应于齐次多元多项式的某个子空间。这使我们能够调整伪空间以更好地与已知样本复杂度结果保持一致。在数值实验中测试所得到的方法,并证明了提高计算资源利用率和样本效率。
2021-04-29 cs.LG cs.NA math.NA
CP Degeneracy in Tensor Regression
Institute of Statistics and Big Data, Renmin University of China(中国人民大学统计与大数据研究院);Department of Statistics, Texas A&M University(德克萨斯农工大学统计系)
本文揭示了张量回归中CP低秩约束导致的优化不可达与CP退化问题,并提出一种通用惩罚策略加以克服,同时研究了估计的渐近性质并通过数值实验验证。
2020-10-22 cs.LG stat.ME stat.ML
In-Context Learning for Attention Scheme: from Single Softmax Regression to Multiple Softmax Regression via a Tensor Trick
The University of Washington(华盛顿大学);Adobe Research(Adobe研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文研究注意力机制中softmax相关回归的上下文学习问题,通过向量化张量技巧将单一softmax回归扩展为多重softmax回归,并在完成Lipschitz分析后给出上下文学习的主要理论结果。
2023-07-05 cs.LG
Kernel Regression with Tensor Trains and Hadamard Overparameterization
Institute of Science Tokyo(东京科学研究所);University of Piraeus(比雷埃克斯大学);Florida Atlantic University(佛罗里达亚特兰大大学)
介绍用于多向数据插补的KReTTaH框架,将插补问题转化为RKHS中的回归,通过哈达玛超参数化促进稀疏性等,在黎曼积流形框架内联合优化,在两个应用测试中建模精度优于现有基线。
2026-07-22 cs.LG eess.SP stat.ML
Tensor-on-Tensor Regression: Riemannian Optimization, Over-parameterization, Statistical-computational Gap, and Their Interplay
Data Science Institute, University of Chicago(芝加哥大学数据科学研究所)
本文研究未知秩张量对张量回归,提出黎曼梯度下降和黎曼高斯-牛顿方法,证明其在秩过度参数化下仍能线性或二次收敛到统计最优估计,并揭示高阶张量场景中适度过度参数化在样本量上几乎零成本。
2024-01-15 cs.LG math.OC math.ST
Partially Observed Dynamic Tensor Response Regression
University of Miami Herbert Business School(迈阿密大学赫伯特商学院)
在现代数据科学中,动态张量数据在许多应用中占主导地位。一个重要的任务是描述这种动态张量与外部协变量之间的关系。然而,张量数据往往只是部分观察到的,使许多现有的方法不适用。在这篇文章中,我们开发了一个回归模型,部分观察到的动态张量作为响应和外部协变量作为预测。我们在回归系数张量上引入了低秩、稀疏和融合结构,并考虑了一个投影到观测条目上的损失函数。我们开发了一个有效的非凸交替更新算法,并从我们的优化算法的每一步推导出实际估计的有限样本误差界。张量响应中未观察到的条目带来了严峻的挑战。因此,我们的建议有很大的不同,在估计算法,正则条件,以及理论性质,相比现有的张量完成或张量响应回归解决方案。我们说明了我们提出的方法使用模拟的有效性,和两个真正的应用程序,神经成像痴呆症的研究和数字广告的研究。
2021-05-13 cs.LG math.ST stat.ML
Asymptotic Optimism for Tensor Regression Models with Applications to Neural Network Compression
Rice University(莱斯大学);University of Minnesota(明尼苏达大学)
本文研究了低秩张量回归中秩选择问题,推导了在随机协变量设计下的期望训练-测试分歧表达式,并提出了一种以预测为导向的秩选择规则,扩展到张量模型平均,并展示了其在图像回归任务中的实用性。
2026-03-27 cs.LG math.ST stat.ML
A Multi-Scale Tensor Network Architecture for Classification and Regression
University of Central Florida(中佛罗里达大学);Flatiron Institute(弗莱德森研究所)
我们提出了一种使用张量网络进行监督学习的算法,通过一系列小波变换对数据进行粗粒度预处理。我们将这些变换表示为一组与多尺度纠缠重正化(MERA)张量网络中的张量网络层相同的张量网络层,并通过基于作用于粗粒度数据的矩阵乘积状态(MPS)张量网络的模型执行监督学习和回归任务。由于整个模型由张量收缩组成(除了初始的非线性特征映射),我们可以通过层自适应地细粒度优化MPS模型,而基本上没有性能损失。MPS本身使用基于密度矩阵重整化群(DMRG)算法的自适应算法进行训练。我们通过对音频数据执行分类任务和对温度时间序列数据执行回归任务来测试我们的方法,研究训练精度对粗粒度层数量的依赖性,并展示如何通过网络进行细粒度处理来初始化模型,以访问更细的尺度特征。
2020-01-22 cs.LG quant-ph stat.ML
Sparse and Low-Rank High-Order Tensor Regression via Parallel Proximal Method
Brown University(布朗大学);Southeast University(东南大学)
本文提出稀疏低秩张量回归模型SLTR,通过直接施加L1范数和张量核范数保留张量结构信息,并利用可并行的近端梯度方法高效求解,在模拟数据和视频动作识别任务上以更低时间成本获得更优解。
2023-08-09 cs.LG stat.ML
An Efficient Approach to Regression Problems with Tensor Neural Networks
Central University of Finance and Economics(中央财经大学);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学)
针对非参数回归问题,提出整合统计回归与数值积分的张量神经网络TNN,在参数量相当下精度和泛化性优于传统网络,还可通过梯度与拉普拉斯分析定位关键维度以指导实验。
2024-09-13 cs.LG stat.ML
Tensor-Based Multi-Modality Feature Selection and Regression for Alzheimer's Disease Diagnosis
Lehigh University(理海大学);University of Pittsburgh(匹兹堡大学);The Perelman School of Medicine, University of Pennsylvania(宾夕法尼亚大学佩雷尔曼医学院)
与大脑变化相关的阿尔茨海默病(AD)和轻度认知障碍(MCI)的评估仍然是一项具有挑战性的任务。近年来的研究表明,多模态影像学技术的结合能更好地反映AD和MCI的病理特征,有助于更准确地诊断AD和MCI。在本文中,我们提出了一种新的基于张量的多模态特征选择和回归方法的诊断和生物标志物识别的AD和MCI从正常对照。具体来说,我们利用张量结构来利用多模态数据中固有的高级相关信息,并研究多元线性回归模型中的张量级稀疏性。我们提出了我们的方法的ADNI数据分析的实际优势,使用三种成像模式(VBM- MRI,FDG-PET和AV 45-PET)与疾病严重程度和认知评分的临床参数。实验结果表明,我们提出的方法对国家的最先进的疾病诊断和识别疾病特异性区域和模态相关的差异的优越性能。这项工作的代码可以在https://github.com/junfish/BIOS22上公开获得。
2022-09-23 cs.CV cs.LG
A Solution for Large Scale Nonlinear Regression with High Rank and Degree at Constant Memory Complexity via Latent Tensor Reconstruction
Aalto University(阿尔托大学);University of Turku(图尔库大学)
本文提出了一种新的方法来学习高度非线性,多元函数的例子。我们的方法利用了连续函数可以用多项式近似的性质,而多项式又可以用张量表示。因此,函数学习问题转化为张量重构问题,张量分解的逆问题。我们的方法从秩一项中逐步建立未知张量,这使我们能够控制学习模型的复杂性并减少过拟合的机会。为了学习模型,我们提出了一种有效的基于梯度的算法,可以在线性时间内实现的样本大小,顺序,张量的秩和输入的维数。除了回归之外,我们还提出了对分类,多视图学习和向量值输出的扩展以及多层公式。该方法可以通过处理具有恒定存储器复杂度的小批量数据以在线方式工作。因此,它可以适合仅配备有限资源的系统,如嵌入式系统或移动电话。我们的实验证明了有利的准确性和运行时间相比,竞争的方法。
2020-05-04 cs.LG stat.ML
Scalable Spatiotemporally Varying Coefficient Modelling with Bayesian Kernelized Tensor Regression
McGill University(麦吉尔大学)
针对时空变系数模型计算成本高难以大规模应用的问题,提出贝叶斯核化张量回归框架,结合低秩张量分解与高斯过程先验,搭配高效MCMC算法,在合成和真实数据上实现了更优的模型估计性能与效率。
2024-04-13 cs.LG stat.ML
Graph-Regularized Tensor Regression: A Domain-Aware Framework for Interpretable Multi-Way Financial Modelling
Imperial College London(帝国理工学院)
金融数据的分析本质上是一种大数据范式,因为这些数据是在许多资产、资产类别、国家和时间段内收集的。这对现代机器学习模型来说是一个挑战,因为处理这些数据所需的模型参数数量随着数据维度呈指数级增长;这种效应被称为Curse-of-Objectionality。最近,张量分解(TD)技术在降低与高维金融模型相关的计算成本,同时实现相当的性能方面显示出有希望的结果。然而,张量模型往往无法纳入潜在的经济领域知识。为此,我们开发了一种新的图正则化张量回归(GRTR)框架,其中有关跨资产关系的知识以图拉普拉斯矩阵的形式纳入模型中。然后将其用作正则化工具,以在模型参数内促进经济上有意义的结构。凭借张量代数,所提出的框架是完全可解释的,无论是系数明智的和维度明智的。GRTR模型在多方面的金融预测设置和竞争对手的模型进行了比较,并证明,以降低计算成本,以实现更好的性能。提供详细的可视化,以帮助读者获得一个直观的理解所采用的张量操作。
2022-10-26 cs.LG q-fin.CP
Structured Point Cloud Data Analysis via Regularized Tensor Regression for Process Modeling and Optimization
Arizona State University(亚利桑那州立大学);Georgia Institute of Technology(佐治亚理工学院);University of Salento(萨伦托大学)
先进的3D测量技术,如坐标测量机(CMM)和激光3D扫描仪,促进了大量点云数据的收集,有利于过程监测,控制和优化。然而,由于点云的高维性和结构复杂性,其建模和分析仍然是一个挑战。在本文中,我们利用多线性代数技术,并提出了一套张量回归方法来模拟点云的变化模式,并将它们连接到过程变量。所提出的方法的性能进行了评估,通过模拟和车削工艺优化的实际案例研究。
2018-12-01 cs.CV cs.LG stat.ML
Large Scale Tensor Regression using Kernels and Variational Inference
我们概述了张量因子分解模型的内在弱点时,潜在的因素表示为边信息的函数,并提出了一种新的方法来减轻这种弱点。我们创造了我们的方法\textit{Kernel Fried Tensor}(KFT),并提出它作为一个大规模的预测工具,高维数据。我们的研究结果显示出优越的性能对\textit{LightGBM}和\textit{Field Aware Factorization Machines}(FFM),两个算法与成熟的跟踪记录广泛用于工业预测。我们还开发了一个变分推断框架KFT和我们的预测与校准的不确定性估计三个大规模的数据集。此外,经验表明,KFT对常数和高斯噪声方面的无信息边信息是鲁棒的。
2020-02-11 cs.LG stat.CO stat.ML
Forecasting Post-Wildfire Vegetation Recovery in California using a Convolutional Long Short-Term Memory Tensor Regression Network
Western Connecticut State University(西康涅狄格州立大学)
本研究提出ConvLSTMTR网络,基于加州104起重大野火数据预测火后NDVI与逻辑斯蒂增长率k,结合UMAP和KNN识别恢复趋势,推动预测生态建模发展并为植被管理提供参考。
2023-11-04 cs.AI cs.LG
Tensor-to-Vector Regression for Multi-channel Speech Enhancement based on Tensor-Train Network
Georgia Institute of Technology(佐治亚理工学院);University of Enna(恩纳大学);Tencent Corporation(腾讯公司)
针对多通道语音增强中输入数据量爆炸和隐藏层数据量膨胀的问题,提出了一种基于张量-向量回归的多通道语音增强方法。其关键思想是将传统的基于深度神经网络(DNN)的向量到向量回归公式化在张量训练网络(TTN)框架下。TTN是最近出现的一种解决方案,用于紧凑地表示具有完全连接的隐藏层的深度模型。因此,TTN保持了DNN的表达能力,但涉及的可训练参数数量要少得多。此外,TTN可以通过设计来处理多维张量输入,这与多通道语音增强中的期望设置完全匹配。我们首先提供了一个理论上的扩展,从DNN到TTN的回归。接下来,我们证明了TTN可以达到与DNN相当的语音增强质量,但参数要少得多,例如,在单信道情况下观察到从2700万个参数减少到仅500万个参数。TTN还通过略微增加可训练参数的数量将PESQ从DNN的2.86提高到2.96。最后,在8信道条件下,使用TTN的2000万个参数实现了3.12的PESQ,而具有6800万个参数的DNN只能实现3.06的PESQ。我们的实现可以在www.example.com上获得。
2020-02-03 cs.CL cs.LG cs.NE
Bayesian Additive Main Effects and Multiplicative Interaction Models using Tensor Regression for Multi-environmental Trials
Hamilton Institute, Department of Mathematics(哈里顿研究所,数学系);Statistics, Maynooth University, Ireland(统计学,梅诺特大学,爱尔兰);School of Mathematics(数学学院);Statistics, Insight Centre for Data Analytics, University College Dublin, Ireland(统计学,洞察数据分析师中心,都柏林大学学院,爱尔兰)
提出一种贝叶斯张量回归模型解决多环境试验中的表型预测问题,通过引入spike-and-slab结构识别关键交互作用,并在模拟和爱尔兰小麦数据中验证了其优越性。
2025-11-02 cs.LG stat.ML
Efficient Tensor Kernel methods for sparse regression
最近,经典的核方法已经通过引入合适的张量核来扩展,以便在底层回归问题的解决方案中促进稀疏性。实际上,他们解决了一个lp范数正则化问题,p=m/(m-1),m是偶数,这恰好接近套索问题。然而,该方法的一个主要缺点是存储张量需要大量的内存,最终限制了其适用性。在这项工作中,我们解决这个问题,提出两个进步。首先,我们通过引入一种新的、更有效的数据存储布局,直接降低了内存需求。其次,我们使用Nystrom类型的子采样方法,该方法允许训练阶段使用较少数量的数据点,从而降低计算成本。在人工数据集和读数据集上的实验表明了所提改进的有效性。最后,我们以C++实现cose为例,以进一步加快计算速度。
2020-03-23 cs.LG cs.PF stat.ML
Spectral Path Regression: Directional Chebyshev Harmonics for Interpretable Tabular Learning
本文提出一种基于方向切比雪夫谐波的谱路径回归方法,通过方向化谐波模式实现多变量结构的可解释性,模型在保持精度的同时具备高效和可解释性。
2026-04-05 cs.LG
High-Dimensional Uncertainty Quantification via Tensor Regression with Rank Determination and Adaptive Sampling
University of California, Santa Barbara(加州大学圣巴巴拉分校)
制造工艺的变化可以显著影响纳米级电子和光子电路的性能和产量。随机谱方法在量化过程变化的影响方面取得了巨大的成功,但它们受到维数灾难的影响。最近,低秩张量方法已经被开发出来,以减轻这个问题,但两个基本的挑战仍然存在:如何自动确定张量秩和如何自适应地选择信息的模拟样本。本文提出了一种新的张量回归方法来解决这两个挑战。我们使用$\ell_{q}/ \ell_{2}$组稀疏正则化来确定张量秩。由此产生的优化问题可以有效地解决通过交替最小化求解器。我们还提出了一个两阶段的自适应采样方法,以减少模拟成本。我们的方法通过估计Voronoi细胞体积和非线性测量分别考虑勘探和开发。仿真结果表明,该方法仅用100~600个仿真样本就能很好地捕捉到由19~100个随机变量引起的不确定性。
2021-06-27 cs.LG cs.NA math.NA
Subquadratic Kronecker Regression with Applications to Tensor Decomposition
Google Research(谷歌研究院);Georgia Tech(佐治亚理工学院)
本文提出首个亚二次时间算法求解克罗内克回归的(1+ε)近似,结合杠杆分数采样与迭代方法,并扩展至块设计矩阵,改进Tucker ALS所有步骤的运行时间,在合成数据和真实图像张量上验证了速度与精度。
2023-05-12 cs.DS cs.LG math.ST
Targeted Advertising on Social Networks Using Online Variational Tensor Regression
本文提出首个基于张量的上下文老虎机框架TensorUCB,用于在线定向广告,通过在线变分算法处理多模式张量,显著提升影响力最大化任务性能。
2025-01-25 cs.LG cs.SI
Tensor Hypercontraction Error Correction Using Regression
Department of Computer Science, Southern Methodist University, Dallas, TX 75275, USA(计算机科学系,南方 Methodist 大学);Department of Chemistry, Southern Methodist University, Dallas, TX 75275, USA(化学系,南方 Methodist 大学)
本研究利用回归方法校正张量超收缩近似中的误差,通过训练模型提升MP3计算的准确性。
2026-02-27 cs.LG physics.chem-ph
Tensor Regression Using Low-rank and Sparse Tucker Decompositions
Rutgers, The State University of New Jersey(罗格斯大学(新泽西州立大学));University of Michigan(密歇根大学)
本文研究了一个具有标量响应变量和张量结构预测变量的张量结构线性回归模型,使得回归参数形成一个$d$阶张量(即,$\mathbb{R}^{n_1 \times n_2 \times \cdots \times n_d}$-折叠多路阵列)。它侧重于从响应变量的$m$实现和预测变量估计回归张量的任务,其中$m\ll n = \prod \nolimits_{i} n_i$。尽管这个问题看起来是不适定性的,但如果参数张量属于稀疏的低Tucker-rank张量空间,它仍然可以解决。相应地,估计过程构成为一个非凸优化程序的稀疏,低塔克秩张量的空间,并提出了一个张量变量的投影梯度下降来解决由此产生的非凸问题。此外,提供了数学保证,建立所提出的方法线性收敛到一个适当的解决方案,在一定的条件下。此外,上界的张量参数估计的样本复杂性的模型正在考虑的特殊情况下,当个别(标量)预测独立地绘制值从一个亚高斯分布的特征。样本的复杂性界被证明有一个多对数依赖于$\bar{n} = \max \big\{n_i: i\in \{1,2,\ldots,d \} \big\}$,有序的,它匹配的界限,可以从一个启发式参数计数参数。最后,数值实验证明了所提出的张量模型和估计方法的合成数据集和神经成像数据集的集合有关的注意缺陷多动障碍的有效性。具体而言,所提出的方法表现出更好的样本复杂性的合成和真实的数据集,证明了有用的…
2020-07-21 cs.LG eess.SP math.ST
Near Optimal Sketching of Low-Rank Tensor Regression
University of Minnesota(明尼苏达大学);Georgia Institute of Technology(佐治亚理工学院);Carnegie Mellon University(卡内基梅隆大学)
本文研究最小二乘回归问题\begin{align*} \min_{Θ\in \mathcal{S}_{\odot D,R}} \|AΘ-b\|_2, \end{align*},其中$\mathcal{S}_{\odot D,R}$是$Θ$的集合,其中$Θ= \sum_{r=1}^{R} θ_1^{(r)} \circ \cdots \circ θ_D^{(r)}$对向量$θ_d^{(r)} \in \mathbb{R}^{p_d}$对所有$r \in [R]$和$d \in [D]$,$\circ$表示向量的外积.也就是说,$Θ$是一个低维、低秩张量。这是由于$Θ$中的参数数量仅为$R \cdot \sum_{d=1}^D p_d$,这明显小于普通最小二乘回归中的参数数量$\prod_{d=1}^{D} p_d$。我们考虑张量$Θ$的上述CP分解模型,以及Tucker分解。对于这两种模式,我们将展示如何应用数据降维技术的基础上{ \it稀疏}随机投影$Φ\in \mathbb{R}^{m \times n}$,与$m \ll n$,减少问题到一个更小的问题$\min_Θ \|ΦA Θ- Φb\|_2$,如果$Θ'$是一个接近最佳的较小的问题,那么它也是一个接近最佳的原始问题。我们获得显着更小的尺寸和稀疏性$Φ$比普通的最小二乘回归是可能的,我们还提供了一些数值模拟支持我们的理论。
2017-09-20 cs.DS cs.LG stat.ML
Projecting basis functions with tensor networks for Gaussian process regression
TU Delft(代尔夫特理工大学)
本文提出利用低秩张量网络将高斯过程回归投影到低维子空间,从而以可接受的计算复杂度使用指数数量的基函数,并在18维基准数据上验证了其对逆动力学问题的适用性。
2023-10-31 cs.LG stat.ML
ISLET: Fast and Optimal Low-rank Tensor Regression via Importance Sketching
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Columbia University(哥伦比亚大学)
在本文中,我们开发了一种新的程序,即\emph{\underline{I}mportance \underline{S}ketching \underline{L}ow-rank \underline{E}stimation for \underline{T}ensors}(ISLET)的低秩张量回归。ISLET背后的中心思想是\emph{importance sketching},即,基于感兴趣的参数的响应和低维结构精心设计的草图。我们表明,所提出的方法是急剧minimax最优的均方误差低秩Tucker假设下,随机高斯系综设计。此外,如果一个张量是低秩的组稀疏,我们的程序也实现了极大极小最优性。此外,我们通过数值研究表明,ISLET实现可比或更好的均方误差性能,现有的最先进的方法,同时具有大量的存储和运行时的优势,包括并行和分布式计算的能力。特别是,我们的程序进行可靠的估计与张量的尺寸$p = O(10^8)$和$1$或$2$数量级快于基线方法。
2020-05-08 cs.LG cs.NA math.NA
Fast Tensor Completion via Approximate Richardson Iteration
MIT(麻省理工学院);Google Research(谷歌研究)
本研究提出一种基于近似 Richardson 迭代的提升方法,通过将结构化 TD 回归算法作为黑盒子程序解决 TC 回归问题中代数结构丢失的难题,实现了次线性时间复杂度,在真实张量 CP 补全上比直接方法快 100 倍。
2025-08-12 cs.DS cs.LG math.ST
Fast and Scalable Estimator for Sparse and Unit-Rank Higher-Order Regression Models
Southeast University(东南大学)
由于张量数据越来越频繁地出现在各种科学研究和实际应用中,分析张量特征与单变量结果之间的关系成为许多领域的一项基本任务。为了解决这个问题,我们提出了基于单位秩CANDECOMP/PARAFAC分解的\underline{Fa} st \underline{S} parse \underline{T} ensor \underline{R} egression model(FasTR). FasTR首先将张量系数分解为分量向量,然后使用$\ell_1$正则化回归估计每个向量。由于各分量向量的独立性,FasTR能够并行求解,其时间复杂度优于以往的模型。我们评估了几个模拟数据集和真实世界的fMRI数据集上的性能。实验结果表明,与四种基线模型相比,在每种情况下,FasTR都能在更短的时间内计算出更好的解。
2019-11-29 cs.LG stat.ML
Twin Neural Network Improved k-Nearest Neighbor Regression
Homes Plus Magazine Inc.(霍姆斯普拉斯杂志公司)
本研究提出基于双神经网络的改进k近邻回归算法,通过预测目标差值并集成近邻锚点的预测结果求解回归问题,在中小型数据集上表现优于神经网络与传统k近邻回归。
2023-10-01 cs.LG
Scalable Multi-Task Gaussian Process Tensor Regression for Normative Modeling of Structured Variation in Neuroimaging Data
RadboudUMC(拉德堡德大学医学中心);Donders Institute(唐德斯研究所);University of Oxford(牛津大学);King’s College London(伦敦国王学院)
大多数大脑疾病在其基础生物学方面是非常异质的,开发分析方法来模拟这种异质性是一个重大挑战。一种有希望的方法是使用概率回归方法来估计使用(f)MRI数据的脑功能的规范模型,然后使用这些来映射临床人群中个体之间的变化(例如,经由异常检测)。为了充分捕捉个体差异,对不同大脑区域和个体之间的相关模式进行统计建模至关重要。然而,这对于神经成像数据来说是非常具有挑战性的,因为多个轴之间的高维和高度结构化的相关模式。在这里,我们提出了一个通用的和灵活的多任务学习框架来解决这个问题。我们的模型在贝叶斯混合效应模型中使用张量变量高斯过程,并利用Kronecker代数和低秩近似来有效地扩展到全脑水平的多路神经成像数据。在一个公开的临床fMRI数据集上,我们证明了我们的计算负担得起的方法大大提高了检测灵敏度,超过了一个质量单变量规范模型和一个分类器,与我们的方法不同,它可以完全访问临床标签。
2018-11-30 cs.LG stat.AP stat.ML
Twin Neural Network Regression is a Semi-Supervised Regression Algorithm
Perimeter Institute for Theoretical Physics(圆周理论物理研究所);University of Waterloo(滑铁卢大学);National Research Council of Canada(加拿大国家研究委员会);Vector Institute for Artificial Intelligence(向量人工智能研究所)
孪生神经网络回归(TNNR)是一种半监督回归算法,只要存在其他标记的锚数据点,它就可以在未标记的数据点上训练。TNNR被训练来预测两个不同数据点的目标值之间的差异,而不是目标本身。通过综合看不见的数据点的目标与所有训练数据点的目标之间的预测差异,可以获得对原始回归问题的非常准确的预测。由于预测差的任何循环的总和应该为零,因此循环可以被提供给训练数据,即使循环内的数据点本身是未标记的。半监督训练显著提高了TNNR的性能,这已经是最先进的了。
2021-06-11 cs.LG
Evaluating Fairness and Mitigating Bias in Machine Learning: A Novel Technique using Tensor Data and Bayesian Regression
School of Computer Science and DAIM University of Hull(计算机科学学院和DAIM赫尔大学)
针对肤色张量数据的公平性研究缺口,提出无需标注的公平性评估方法(将肤色转概率分布后用统计距离度量捕捉细粒度公平差异),以及基于贝叶斯回归多项式颜色距离估计的偏差缓解训练方法,提升ML模型肤色处理的公平性与精细度。
2025-06-13 cs.AI cs.CV cs.LG
Exploring Deep Hybrid Tensor-to-Vector Network Architectures for Regression Based Speech Enhancement
Georgia Institute of Technology(佐治亚理工学院);University of Enna(恩纳大学);Tencent Corporation(腾讯公司)
本文研究了不同的权衡模型参数的数量和增强的语音质量之间采用几个深度张量到矢量回归模型的语音增强。我们发现,一个混合架构,即CNN-TT,是能够保持一个良好的质量性能与减少模型参数的大小。CNN-TT由底部的几个卷积层组成,用于特征提取以提高语音质量,顶部的张量训练(TT)输出层用于减少模型参数。我们首先推导出一个新的上界的卷积神经网络(CNN)的基于向量到向量回归模型的泛化能力。然后,我们在爱丁堡噪声语音语料库上提供实验证据,证明在单通道语音增强中,CNN以较小的模型大小增量为代价优于DNN。此外,CNN-TT仅利用了CNN模型参数的32%,略优于CNN。此外,如果将CNN-TT参数的数目增加到CNN模型大小的44%,则可以进一步提高性能。最后,我们的多通道语音增强的模拟噪声WSJ 0语料库上的实验表明,我们提出的混合CNN-TT架构取得了更好的效果比DNN和CNN模型在更好的增强语音质量和更小的参数大小。
2020-08-03 cs.CL cs.LG cs.NE
Deepfake Representation with Multilinear Regression
University of California, Riverside(加州大学河滨分校);University of California, Los Angeles(加州大学洛杉矶分校);Tensor Vision, Los Angeles(Tensor Vision(洛杉矶))
诸如GANs的生成神经网络架构可以用于生成合成实例以补偿真实数据的缺乏。然而,他们可能被用来创建可能导致社会,政治或经济动荡的媒体。一个新兴的媒体是“Deepfake”。可以区分这种媒体的技术是必不可少的。在本文中,我们提出了一种改进的多线性(张量)方法,线性和多线性回归的组合,用于表示假数据和真实数据。我们通过使用我们修改的多线性(张量)方法表示Deepfakes来测试我们的方法,并执行SVM分类,结果令人鼓舞。
2021-08-15 cs.AI cs.CV cs.LG
From continuous-time formulations to discretization schemes: tensor trains and robust regression for BSDEs and parabolic PDEs
Zuse Institute Berlin(柏林祖斯研究所);dida Datenschmiede GmbH(dida Datenschmiede 有限公司);Technische Universität Berlin(柏林工业大学);King’s College London(伦敦国王学院)
针对高维抛物型PDEs的数值逼近难题,本文基于连续时间视角提出结合张量列车与回归型方法的迭代方案,利用低秩结构在精度与计算效率间实现有利权衡。
2023-07-28 cs.LG cs.NA math.NA
Multi-Step Regression Learning for Compositional Distributional Semantics
University of Oxford(牛津大学);University of Trento(特伦托大学);University of Tokyo(东京大学)
我们提出了一个与Coecke等人(2010)的框架相关的组合分布语义模型,并通过将函数表示为张量和参数表示为向量来模拟形式语义。我们引入了一种新的张量学习方法,推广了Baroni和Zamparelli(2010)的方法。我们在两个基准数据集上对其进行了评估,发现它优于现有的领先方法。在我们的分析中,我们认为这种学习方法的性质也使其适合于解决组合分布模型可能面临的更微妙的问题。
2013-01-30 cs.CL cs.LG