Large-Scale Sparse Inverse Covariance Estimation via Thresholding and Max-Det Matrix Completion
University of California, Berkeley(加利福尼亚大学伯克利分校)
稀疏逆协方差估计问题通常使用被称为“图形套索”的$\ell_{1}$正则化高斯极大似然估计器来解决,但其计算成本对于大数据集变得过高。最近的一系列结果表明-在温和的假设下-图形套索估计可以通过软阈值的样本协方差阵和解决最大行列式矩阵完成(MDMC)问题。本文证明了这一结果的推广,并描述了一个牛顿CG算法,有效地解决MDMC问题。假设阈值化样本协方差阵是稀疏的,并具有稀疏的Cholesky分解,我们证明了该算法在$O(n\log(1/ε))$时间和$O(n)$内存下收敛到$ε$ -精确解.该算法在实践中是非常有效的:我们解决了相关的MDMC问题,多达200,000个变量,7-9位数的精度在不到一个小时的标准笔记本电脑上运行MATLAB。
2018-06-07 cs.LG math.OC stat.CO
Global and Local Structure Learning for Sparse Tensor Completion
University of California, Riverside(加利福尼亚大学河滨分校)
本文提出TGL方法,利用图神经网络学习因子矩阵的局部结构,无需先验知识即可准确补全稀疏张量中的缺失条目。
2025-03-26 cs.LG
The Sparse Reverse of Principal Component Analysis for Fast Low-Rank Matrix Completion
University of Michigan-Dearborn(密歇根大学迪尔伯恩分校)
矩阵完备化一直受到许多研究领域的极大关注。它通常应用于推荐系统,例如电影评级,计算机视觉,例如图像重建或完成,多任务学习,例如协作建模多个传感器的时间序列趋势,以及许多其他应用。矩阵完成技术通常是计算穷举的和/或不能捕获数据中的异质性。例如,图像通常包含一组异构的对象,因此重建具有高水平缺失数据的图像是一项具有挑战性的任务。本文提出了主成分分析的稀疏逆矩阵完备化方法。所提出的方法保持整个矩阵的平滑度,产生准确的估计缺失的数据,迭代收敛,它是计算上易于处理的迭代次数的可控上限,直到收敛。所提出的技术的准确性进行了验证自然图像,电影收视率,和多传感器数据。它也比较常见的基准方法用于矩阵完成。
2019-10-04 cs.LG eess.SP stat.ML
Sparse Auxiliary Networks for Unified Monocular Depth Prediction and Completion
Toyota Research Institute (TRI)(丰田研究所)
从具有成本效益的传感器获得的数据中估计场景几何形状是机器人和自动驾驶汽车的关键。在本文中,我们研究了从一个单一的RGB图像(monodepth)与可选的稀疏测量低成本的有源深度传感器的预测密集深度的问题。我们引入了稀疏辅助网络(SAN),这是一个新的模块,使单深度网络能够执行深度预测和完成任务,这取决于在推理时是否只有RGB图像或稀疏点云可用。首先,我们使用稀疏卷积将图像和深度图编码阶段解耦,以仅处理有效的深度图像素。其次,我们将这些信息(当可用时)注入深度预测网络的跳过连接,增强其功能。通过对一个室内(NYUv2)和两个室外(KITTI和DDAD)基准测试的广泛实验分析,我们证明了我们提出的SAN架构能够同时学习这两项任务,同时在深度预测方面实现了新的技术水平。
2021-03-30 cs.CV cs.LG
Low rank tensor completion with sparse regularization in a transformed domain
University of Electronic Science and Technology of China(电子科技大学)
张量完备化是一个具有挑战性的问题,有着广泛的应用。基于张量的低秩先验,已经提出了许多相关的模型。然而,低秩先验可能不足以从观察到的不完整张量恢复原始张量。本文利用张量的低秩和稀疏先验,提出了一种张量完备化方法。具体地,张量完成任务可以被公式化为具有稀疏正则化器的低秩最小化问题。基于张量奇异值分解(T-SVD)的张量截断核范数刻画了其低秩性质,与张量核范数相比,T-SVD是张量管秩的一种更好的近似.而稀疏正则化子是在离散余弦变换(DCT)域中通过$\ell_{1}$ -范数来实现的,它能更好地利用完备数据的局部稀疏性。为了解决最优化问题,我们采用了交替方向法的乘法器(ADMM),其中我们只需要解决几个子问题,有封闭形式的解决方案。在真实图像和视频上的大量实验表明,该方法具有更好的性能比现有的国家的最先进的方法。
2019-11-19 cs.LG cs.NA math.NA
Self-supervised Sparse-to-Dense: Self-supervised Depth Completion from LiDAR and Monocular Camera
Massachusetts Institute of Technology(麻省理工学院)
深度补全是从稀疏深度测量估计密集深度图像的技术,在机器人和自动驾驶中有各种应用。然而,深度补全面临3个主要挑战:稀疏深度输入中的不规则间隔模式,处理多个传感器模态的困难(当彩色图像可用时),以及缺乏密集的像素级地面真实深度标签。在这项工作中,我们应对所有这些挑战。具体来说,我们开发了一个深度回归模型来学习从稀疏深度(和彩色图像)到密集深度的直接映射。我们还提出了一个自我监督的训练框架,只需要彩色和稀疏深度图像序列,而不需要密集的深度标签。我们的实验表明,我们的网络在使用半密集注释进行训练时,达到了最先进的精度,并且在提交时是KITTI深度完成基准测试的获胜方法。此外,自监督框架优于用半密集注释训练的许多现有解决方案。
2018-07-03 cs.AI cs.CV cs.LG
ShapeFormer: Transformer-based Shape Completion via Sparse Representation
Shenzhen University(深圳大学);University College London(伦敦大学学院);Adobe Research(奥多比研究院);Hebrew University of Jerusalem(耶路撒冷希伯来大学);Tel Aviv University(特拉维夫大学)
我们提出了ShapeFormer,一个基于transformer的网络,它产生对象完成的分布,条件是不完整的,可能有噪声的点云。然后,可以对所得到的分布进行采样以生成可能的完成,每个完成在忠实于输入的同时展示合理的形状细节。为了便于使用Transformers的3D,我们介绍了一个紧凑的3D表示,矢量量化的深隐函数,利用空间稀疏表示一个紧密近似的3D形状的一个短序列的离散变量。实验表明,ShapeFormer在完成质量和多样性方面优于现有技术,用于从模糊部分输入完成形状。我们还表明,我们的方法有效地处理各种形状类型,不完整的模式,和现实世界的扫描。
2022-05-22 cs.CV cs.GR cs.LG
Gradient Descent for Sparse Rank-One Matrix Completion for Crowd-Sourced Aggregation of Sparsely Interacting Workers
Boston University(波士顿大学);Google DeepMind(谷歌DeepMind)
我们考虑了单个硬币Dawid-Skene众包模型的工人技能估计。在实践中,技能估计是具有挑战性的,因为工人的分配是稀疏和不规则的,由于工人的任意和不受控制的可用性。我们制定技能估计作为一个秩一相关矩阵完成问题,其中观察到的组件对应于观察到的工人之间的标签相关性。我们表明,相关矩阵可以成功地恢复和技能是可识别的,当且仅当采样矩阵(观察到的组件)没有一个二分连接组件。然后,我们提出了一个预计的梯度下降计划,并表明技能估计收敛到所需的全局最优值,这样的采样矩阵。我们的证明是原创的,而且考虑到即使是加权一阶矩阵分解问题通常也是NP难的这一事实,结果也令人惊讶。接下来,我们推导出采样矩阵的无符号拉普拉斯算子的谱特性方面的样本复杂度界。我们提出的方案在许多现实世界的数据集上实现了最先进的性能。
2020-07-23 cs.HC cs.LG stat.ML
Marigold-DC: Zero-Shot Monocular Depth Completion with Guided Diffusion
ETH Zürich(苏黎世联邦理工学院)
Marigold-DC将深度补全重构为图像条件深度图生成,基于预训练潜在扩散模型并通过测试时优化注入稀疏深度引导,实现卓越的零样本泛化和极稀疏处理,证明单目深度先验能显著增强鲁棒性。
2025-09-14 cs.CV cs.LG
Fast Methods for Recovering Sparse Parameters in Linear Low Rank Models
在本文中,我们研究的恢复稀疏的权重向量(参数向量)从一组噪声的线性组合。然而,只有关于表示线性组合的矩阵的部分信息可用。假设矩阵具有低秩结构,一个自然的解决方案是首先对数据应用矩阵补全,然后解决由此产生的压缩感知问题。在大规模MIMO和医疗数据等大数据应用中,矩阵完成步骤会带来巨大的计算负担。在这里,我们建议通过忽略稀疏向量中对应于零元素的列来降低完成任务的计算成本。为此,我们采用了一种技术,最初近似的稀疏向量的支持。我们进一步建议将部分矩阵完备化和稀疏向量恢复统一为一个扩展的四步问题。仿真结果表明,增强的方法实现了最佳的性能,而这两种方法优于自然的两步技术,大大减少了计算需求。
2016-11-17 cs.LG stat.ML
Noisy Inductive Matrix Completion Under Sparse Factor Models
Yahoo! Research(雅虎研究院);University of Minnesota – Twin Cities(明尼苏达大学双城分校)
归纳矩阵完备化(IMC)是一类重要的矩阵完备化问题,它允许直接包含可用特征以增强估计能力。这些模型已经在个性化推荐系统,多标签学习,字典学习等中找到了应用。本文研究了一类一般的噪声矩阵完成任务,其中底层矩阵遵循IMC模型,即,它由夹在两个已知特征矩阵之间的混合矩阵(先验未知)形成。这里的混合矩阵被假设为是由两个稀疏矩阵的乘积很好地近似的-这里被称为“稀疏因子模型”。“我们利用Soni:2016:NMC的主要定理,并将其扩展为本文讨论的一类问题的稀疏正则化极大似然估计量提供理论误差界。的主要结果是一般的意义上,它可以用来推导各种噪声模型的误差界。在本文中,我们实例化我们的主要结果的情况下,高斯噪声,并提供相应的误差界的平方损失。
2016-09-13 cs.LG math.ST stat.ML
Sparse Nonnegative Tensor Factorization and Completion with Noisy Observations
Central China Normal University(华中师范大学);The University of Hong Kong(香港大学)
本文研究了三阶张量的稀疏非负张量分解和完备化问题。由于稀疏性和非负性,底层张量被分解为一个稀疏非负张量和一个非负张量的张量积。我们提出了最小化的极大似然估计的非负约束的观察和张量$\ell_0$范数的稀疏因子的总和。我们表明,所提出的模型的估计的误差界可以建立在一般的噪声观测。在特定的噪声分布下,包括加性高斯噪声,加性拉普拉斯噪声,和泊松观测的详细误差范围可以推导出来。此外,极大极小下界与所建立的上界相匹配,最高可达底层张量大小的对数因子。张量的这些理论结果优于矩阵的结果,这说明了使用非负稀疏张量模型完成和去噪的优势。数值实验验证了所提出的基于张量的方法相比,基于矩阵的方法的优越性。
2021-10-20 cs.CV cs.LG cs.NA
RECIPE-TKG: From Sparse History to Structured Reasoning for LLM-based Temporal Knowledge Graph Completion
University of Southern California(南加州大学);DEVCOM ARL Army Research Office(DEVCOM ARL陆军研究办公室)
RECIPE-TKG通过规则检索、对比微调和语义过滤,在稀疏历史下提升LLM时间知识图谱补全的准确性与泛化,Hits@10相对提升30.6%。
2025-05-23 cs.LG
Robust Low-rank Matrix Completion via an Alternating Manifold Proximal Gradient Continuation Method
University of California, Davis(加州大学戴维斯分校)
鲁棒低秩矩阵完备(RMC),或部分观测数据的鲁棒主成分分析,在计算机视觉、信号处理和机器学习应用中得到了广泛的研究。该问题的目的是将部分观测矩阵分解为低秩矩阵和稀疏矩阵的叠加,其中稀疏矩阵捕获矩阵的严重损坏的条目。一种广泛使用的解决RMC的方法是考虑凸公式,它最小化低秩矩阵的核范数(以促进低秩)和稀疏矩阵的l1范数(以促进稀疏性)。本文在低秩矩阵完备化和黎曼优化的基础上,将该问题转化为Grassmann流形上的非光滑黎曼优化问题。这种新的公式是可扩展的,因为低秩矩阵被分解为两个小得多的矩阵的乘法。然后,我们提出了一个交替流形近端梯度延拓(AManPGC)方法来解决所提出的新配方。该算法的收敛速度进行了严格的分析。对监控视频背景提取的合成数据和真实数据的数值结果表明,所提出的新公式和算法优于现有的几种流行方法。
2020-08-18 cs.LG math.OC stat.ML
Dual-Attention Convolution Experts for Sparse Tensor Completion
School of Electronic Information;Communications (EIC), Huazhong University of Science
提出DCGC模型,通过多通道卷积网络生成多样非线性对齐模式,结合门控双注意力机制聚焦重要特征,并引入组级对比学习缓解数据稀疏性,在交通和推荐任务上超越现有方法。
2026-06-23 cs.IR cs.LG
Fast Dual-Regularized Autoencoder for Sparse Biological Data
University of Northern Iowa(北爱荷华大学)
本文提出一种基于线性模型扩展的浅层自编码器,用于双邻域正则化矩阵补全,在药物-靶点相互作用和药物-疾病关联预测中展现出速度和准确性优势。
2024-03-13 cs.LG
Covariate-assisted Sparse Tensor Completion
Purdue University(普渡大学)
我们的目标是在沿着张量模式存在协变量信息的情况下,可证明地完成稀疏且高度缺失的张量。我们的动机来自在线广告,其中用户在各种设备上对广告的点击率(CTR)形成了一个CTR张量,该张量具有约96%的缺失条目,并且在非缺失条目上具有许多零,这使得独立张量完成方法不能令人满意。除了CTR张量之外,通常还可以使用其他广告功能或用户特征。在本文中,我们提出了协变量辅助稀疏张量完成(COSTCO),将协变量信息的稀疏张量的恢复。关键思想是从张量和协变量矩阵中联合提取潜在分量,以学习合成表示。从理论上讲,我们推导出恢复张量分量的误差界,并明确量化由于协变量的揭示概率条件和张量恢复精度的改进。最后,我们将COSTCO应用于由CTR张量和协变量矩阵组成的广告数据集,导致比基线提高了23%的准确性。一个重要的副产品是,来自COSTCO的广告潜在成分揭示了有趣的广告集群,这对更好的广告定位很有用。
2022-04-07 cs.LG math.ST stat.ME
Robust Depth Completion with Uncertainty-Driven Loss Functions
School of Artificial Intelligence, Xidian University(西安电子科技大学人工智能学院);Lane Dep. of CSEE, West Virginia University(西弗吉尼亚大学计算机科学与电气工程系)
从稀疏LiDAR扫描恢复密集深度图像是一项具有挑战性的任务。尽管用于稀疏到密集深度完成的颜色引导方法很受欢迎,但它们在优化过程中平等地对待像素,忽略了稀疏深度图中的不均匀分布特征和合成地面实况中的累积离群值。在这项工作中,我们引入不确定性驱动的损失函数,以提高深度完成的鲁棒性和处理深度完成中的不确定性。具体来说,我们提出了一个明确的不确定性制定强大的深度完成与杰弗里的先验。引入参数不确定性驱动的损失,并将其转换为对噪声或缺失数据具有鲁棒性的新的损失函数。同时,我们提出了一个多尺度联合预测模型,可以同时预测深度和不确定性地图。估计的不确定性图还用于对具有高不确定性的像素执行自适应预测,从而产生用于细化完成结果的残差图。我们的方法已经在KITTI深度完井基准上进行了测试,并在MAE,IMAE和IRMSE指标方面实现了最先进的鲁棒性性能。
2021-12-28 cs.CV cs.LG
A two-dimensional decomposition approach for matrix completion through gossip
将一个矩阵分解为两个低秩矩阵是许多问题的核心。矩阵补全问题特别是将稀疏矩阵分解为两个非稀疏的低秩矩阵,然后可以用来预测原始矩阵的未知元素。我们提出了一种可扩展和分散的方法,其中不是学习原始输入矩阵的两个因子,而是将原始矩阵分解为网格块,每个因子都可以通过与相邻块的通信(闲聊)单独学习。这消除了对中央服务器的任何需要。我们表明,我们的算法在合成和真实数据集上都表现良好。
2018-01-11 cs.LG
High-order Tensor Completion for Data Recovery via Sparse Tensor-train Optimization
Graduate School of Engineering, Saitama Institute of Technology, Japan(埼玉工科大学工学研究科);Tensor Learning Unit, RIKEN Center for Advanced Intelligence Project (AIP), Japan(日本先进情报项目(AIP)RIKEN智能学习单元);School of Automation, Guangdong University of Technology, China(广东技术大学自动化学院);School of Computer Science and Technology, Hangzhou Dianzi University, China(杭州电子科技大学计算机科学与技术学院)
本文提出稀疏张量-列车优化算法,通过将缺失数据视为稀疏张量并利用一阶优化方法求解张量-列车分解因子,有效提升低阶和高阶张量补全性能,尤其在高缺失率下表现优异。
2018-03-22 cs.LG cs.NA math.NA
Projected Wirtinger Gradient Descent for Low-Rank Hankel Matrix Completion in Spectral Compressed Sensing
University of Iowa(爱荷华大学)
本文考虑从少量随机观测的时域样本中重建频谱稀疏信号。感兴趣的信号是$R$不同频率的复正弦曲线的线性组合。频率可以采用归一化频域$[0,1)$中的任何连续值。在将频谱稀疏信号恢复问题转化为低秩结构矩阵完备化问题后,提出了一种有效的可行点方法--投影Wirtinger梯度下降(PWGD)算法,有效地解决了该结构矩阵完备化问题.我们进一步加速我们提出的算法的FISTA启发的计划。我们给出了我们提出的算法的收敛性分析。大量的数值实验来说明我们所提出的算法的效率。与以前的方法不同,我们的算法可以非常有效地解决非常大的维度的问题。
2015-07-14 cs.IT cs.LG math.IT
Robust Low-Rank Tensor Ring Completion
University of Electronic Science and Technology of China(电子科技大学)
低秩张量补全基于不同的张量分解来恢复丢失的条目。低秩张量环由于其在开发高阶数据结构方面的优异性能,在张量完备化中得到了广泛的应用。为了进一步处理其在张量主成分分析中对稀疏分量的敏感性,我们提出了鲁棒张量环完备(RTRC),它将潜在的低秩张量分量从具有有限数量测量的稀疏分量中分离出来。低秩张量分量由其平衡开折的核范数的加权和约束,而稀疏分量由其l1范数正则化。我们分析了RTRC模型,并给出了准确的恢复保证。采用乘子交替方向法将问题分解为若干个子问题,并快速求解。在数值实验中,我们验证了所提出的方法在合成数据上的恢复条件,并表明所提出的方法在许多真实世界的基于数据的任务中,即,光场图像恢复,人脸图像中的阴影去除,以及彩色视频中的背景提取。
2020-04-23 cs.LG stat.ML
Explainable Sparse Knowledge Graph Completion via High-order Graph Reasoning Network
University of Science and Technology of China(中国科学技术大学);Singapore Management University(新加坡管理大学)
知识图谱(KG)在许多应用中正成为越来越重要的基础设施,同时遭受不完整性问题。KG完成任务(KGC)根据不完整的KG自动预测缺失的事实。然而,现有的方法在现实世界的场景中表现不令人满意。一方面,它们的性能会随着KG稀疏性的增加而急剧下降。另一方面,预测的推理过程是一个不可信的黑箱。本文提出了一种新的稀疏KGC的可解释模型,将高阶推理合成到一个图卷积网络中,即HoGRN。它不仅可以提高泛化能力,以缓解信息不足的问题,而且还提供可解释性,同时保持模型的有效性和效率。有两个主要组件可以无缝集成以进行联合优化。首先,高阶推理组件通过捕获关系之间的内生相关性来学习高质量的关系表示。这可以反映逻辑规则来证明更广泛的缺失事实的合理性。其次,实体更新组件利用无权重的图卷积网络(GCN)来有效地对具有可解释性的KG结构进行建模。与传统的方法不同,我们进行实体聚合和设计组合为基础的注意力在关系空间中没有额外的参数。轻量级的设计使HoGRN更适合稀疏设置。为了进行评估,我们进行了广泛的实验-HoGRN在几个稀疏KG上的结果呈现出令人印象深刻的改进(平均9%的MRR增益)。进一步的消融和病例研究证明了主要组件的有效性。我们的代码将在接受后发布。
2022-07-14 cs.AI cs.LG
An Interpretable Knowledge Transfer Model for Knowledge Base Completion
Carnegie Mellon University(卡内基梅隆大学)
知识库是各种自然语言处理任务的重要资源,但存在不完整性。我们提出了一种新的嵌入模型,\emph{ITransF},执行知识库完成。ITransF通过稀疏注意力机制发现隐藏的关系概念,并通过概念的共享传递统计强度。此外,学习的关系和概念之间的关联,这是由稀疏的注意向量表示,可以很容易地解释。我们在两个基准数据集上评估了ITransF--WN 18和FB 15 k的知识库完成情况,并在所有不使用额外信息的基线上获得了平均排名和Hits@10指标的改进。
2017-05-03 cs.AI cs.CL cs.LG
VoxFormer: Sparse Voxel Transformer for Camera-based 3D Semantic Scene Completion
NYU(纽约大学);NVIDIA(英伟达);ASU(亚利桑那州立大学);University of Toronto(多伦多大学);Vector Institute(向量研究所);Caltech(加州理工学院)
人类可以很容易地想象被遮挡的物体和场景的完整3D几何形状。这种吸引人的能力对于识别和理解至关重要。为了在AI系统中实现这种能力,我们提出了VoxFormer,一个基于Transformer的语义场景完成框架,可以从2D图像中输出完整的3D体积语义。我们的框架采用了两个阶段的设计,我们开始从一个稀疏的一组可见的和占用的体素查询从深度估计,其次是一个致密化阶段,从稀疏的生成密集的三维体素。这种设计的一个关键思想是,2D图像上的视觉特征只对应于可见的场景结构,而不是被遮挡或空白的空间。因此,从可见结构的特征化和预测开始更可靠。一旦我们获得稀疏查询的集合,我们应用掩码自编码器设计来通过自注意将信息传播到所有体素。在SemanticKITTI上的实验表明,VoxFormer在几何和语义方面的相对改进分别为20.0%和18.1%,并且在训练期间将GPU内存减少到16GB以下。我们的代码可以在https://github.com/NVlabs/VoxFormer上找到。
2023-03-25 cs.AI cs.CV cs.LG
Bayesian Matrix Completion Under Geometric Constraints
Signal Processing and Communication Research Center, IIIT Hyderabad(信号处理与通信研究中心,IIIT海得拉巴)
本文提出一种分层贝叶斯框架,通过在潜在点集上引入结构先验,实现对稀疏噪声条件下欧几里得距离矩阵的高效补全。
2026-01-30 cs.LG eess.SP
Bayesian Sparse Tucker Models for Dimension Reduction and Tensor Completion
RIKEN Brain Science Institute(理化学研究所脑科学研究所);Shanghai Jiao Tong University(上海交通大学)
本文提出一种概率生成Tucker模型,通过结构稀疏性在多线性潜在空间中实现张量降维与补全,自动适应模型复杂度并提升泛化性能。
2015-05-10 cs.LG cs.NA math.NA
Fourier Low-rank and Sparse Tensor for Efficient Tensor Completion
University of Michigan Ann Arbor(密歇根大学安娜堡分校)
针对传统低秩张量补全模型无法捕捉科学数据独特时空模式的问题,提出沿时间维傅里叶分解的FLoST模型,以低秩+稀疏结构分别建模高低频,参数量更少、效率更高,在准确率和可解释性上均优于现有模型。
2025-05-16 cs.LG stat.ME
Subzero matrix completion for sparse data analysis: large-scale learning of latent low-rank structure
Flatiron Institute(弗莱堡研究所);Courant Institute, NYU(纽约大学库朗数学研究所);Google Research(谷歌研究院)
本文针对稀疏非负矩阵补全问题,提出可扩展的随机交替最小二乘算法,结合稀疏优化与CUDA内核加速,成功应用于果蝇连接组突触权重矩阵分析,揭示其潜在低秩结构的预测能力。
2026-08-25 cs.LG stat.ML
Test-Time Adaptation for Depth Completion
Yale Vision Lab(耶鲁视觉实验室)
针对深度补全任务,提出一种在线测试时自适应方法,利用稀疏深度模态的较小协变量偏移,通过嵌入模块和自适应层在单次遍历中缩小域差距,室内外场景平均提升21.1%。
2024-05-27 cs.CV cs.LG
S3CNet: A Sparse Semantic Scene Completion Network for LiDAR Point Clouds
University of Toronto(多伦多大学)
针对LiDAR点云,提出基于稀疏卷积的S3CNet网络,实现大规模室外场景的语义场景补全,在SemanticKITTI上取得最优结果,并引入2D多视图融合变体增强鲁棒性。
2020-12-16 cs.AI cs.CV cs.LG
Unsupervised Depth Completion from Visual Inertial Odometry
University of California, Los Angeles(加州大学洛杉矶分校)
我们描述了一种方法来推断密集的深度从相机运动和稀疏的深度估计使用视觉惯性里程计系统。与使用激光雷达或结构光传感器的点云的其他场景不同,我们只有几百到几千个点,不足以告知场景的拓扑结构。我们的方法首先构建一个分段平面脚手架的场景,然后使用它来推断密集的深度使用的图像以及稀疏点。我们使用一个预测性的跨模态标准,类似于“自我监督”,测量跨时间的光度一致性,前后姿势一致性,以及与稀疏点云的几何兼容性。我们还推出了第一个视觉惯性+深度数据集,我们希望这将促进更多的探索,以结合视觉和惯性传感器的互补优势。为了将我们的方法与以前的工作进行比较,我们采用了无监督的KITTI深度完成基准,并在其上显示了最先进的性能。代码可在:https://github.com/alexklwong/unsupervised-depth-completion-visual-inertial-odometry上获得。
2021-07-21 cs.AI cs.CV cs.LG
To complete or to estimate, that is the question: A Multi-Task Approach to Depth Completion and Monocular Depth Estimation
鲁棒的三维场景理解现在是一个不断增长的研究领域,在许多现实世界的应用,如自动驾驶和机器人导航高度相关。在本文中,我们提出了一个基于多任务学习的模型,能够执行两个任务:-稀疏深度完成(即生成完整的密集场景深度给定稀疏深度图像作为输入)和单眼深度估计(即从单个RGB图像预测场景深度)通过两个子网络联合训练端到端使用从公开可用的合成和真实世界图像语料库中随机采样的数据。第一个子网络通过从场景学习较低级别的特征来生成稀疏深度图像,第二个子网络预测整个场景的全密集深度图像,从而更好地理解场景的几何和上下文,因此,该方法的性能优越。整个模型可以用于从单个RGB图像推断完整的场景深度,或者第二网络可以单独用于在给定稀疏深度输入的情况下执行深度完成。使用对抗训练,一个强大的目标函数,一个依赖于跳过连接的深层架构,以及合成和真实世界训练数据的混合,我们的方法能够产生卓越的高质量场景深度。广泛的实验评估表明,我们的方法相比,在这两个问题域的当代国家的最先进的技术的有效性。
2019-08-15 cs.CV cs.LG
Robust Principal Component Completion
School of Information and Electronics, Beijing Institute of Technology(信息与电子学院,北京理工大学);National Key Laboratory of Science and Technology on Space-Born Intelligent Information Processing(空间智能信息处理国家重点实验室);Department of Electrical and Computer Engineering, Mississippi State University(电气与计算机工程系,密苏里州立大学);National Research Council, Institute of Methodologies for Environmental Analysis (CNR-IMAA)(国家研究理事会,环境分析方法研究所(CNR-IMAA))
本文提出鲁棒主成分补全方法,通过间接确定稀疏成分的支持集来解决稀疏前景遮挡低秩背景的问题,采用变分贝叶斯推断实现全概率贝叶斯稀疏张量分解,实验显示其在合成数据和真实数据中表现优异。
2026-04-22 cs.CV cs.LG
Generative Semantic Scene Completion
College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学与人工智能学院);Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
该研究针对户外激光雷达语义场景补全的类别不平衡问题,提出生成式语义场景补全框架,通过PS³、SGSC、S²D²方法提升性能,在SemanticKITTI测试集取得当前最佳单扫描单样本结果。
2026-08-28 cs.CV cs.LG cs.RO
Tensor Completion via Convolutional Sparse Coding Regularization
Sun Yat-sen University(中山大学);National Engineering Research Center of Digital Life, Sun Yat-sen University(中山大学国家数字生活工程技术研究中心);Central China Normal University(华中师范大学)
由于张量数据具有复杂的高维结构,在获取张量数据时经常会遇到数据缺失的问题。为了弥补缺失信息,人们提出了许多低秩张量完备化方法,这些方法大多依赖于张量数据的低秩性质。这样,原始数据的低秩分量可以大致恢复。然而,无论是核范数之和(SNN)还是基于张量核范数(TNN)的方法,其缺点是不能完全恢复细节信息。相反,在信号处理领域,卷积稀疏编码(CSC)可以提供图像的高频分量的良好表示,该高频分量通常与数据的细节分量相关联。然而,CSC不能很好地处理低频分量。为此,我们提出了两种新的方法,LRTC-CSC-I和LRTC-CSC-II,采用CSC作为LRTC的补充正则化来捕获高频分量。因此,LRTC-CSC方法不仅可以解决缺失值问题,而且可以恢复细节。此外,由于稀疏特性,正则化器CSC可以用小样本训练。大量的实验表明LRTC-CSC方法的有效性,定量评价表明,我们的模型的性能优于国家的最先进的方法。
2021-05-06 cs.CV cs.LG eess.IV
Learning Topology from Synthetic Data for Unsupervised Depth Completion
University of California, Los Angeles(加州大学洛杉矶分校)
我们提出了一种从图像和稀疏深度测量推断密集深度图的方法,该方法利用合成数据来学习稀疏点云与密集自然形状的关联,并使用图像作为证据来验证预测的深度图。我们针对自然形状的学习先验仅使用稀疏深度作为输入,而不是图像,因此当尝试将学习模型从合成数据转换为真实数据时,该方法不受协变量偏移的影响。这使我们能够使用大量的合成数据与地面真理学习重建过程中最困难的组成部分,这是拓扑估计,并使用图像来完善基于光度证据的预测。我们的方法比以前的方法使用更少的参数,但在室内和室外基准数据集上都达到了最先进的水平。代码可在:https://github.com/alexklwong/learning-topology-synthetic-data获得。
2021-08-24 cs.CV cs.LG cs.RO
Graphical model for factorization and completion of relatively high rank tensors by sparse sampling
D3 Center, Osaka University(大阪大学D3中心);Department of Physics, Graduate School of Science, Osaka University(大阪大学理学研究生院物理学科);Department of Systems Science, Graduate School of Informatics, Kyoto University(京都大学信息学研究生院系统科学学科);RIKEN center for AIP(RIKEN AIP研究中心)
本文提出基于稀疏测量的张量分解方法,利用随机图结构进行信息交互,在高维极限下构建信息传递算法并发展复制理论以评估统计推断性能。
2026-02-18 cond-mat.dis-nn cond-mat.stat-mech cs.IT
Improving Group Fairness in Tensor Completion via Imbalance Mitigating Entity Augmentation
Department of Computer Science and Engineering, University of California, Riverside, Riverside, CA, USA(计算机科学与工程系,加州大学河滨分校);Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign, Urbana, IL, USA(计算与数据科学学院,伊利诺伊大学厄巴纳-香槟分校)
针对张量分解中群体公平方法导致性能下降的问题,提出 STAFF,通过含充足观测条目的实体增强缓解稀疏张量不平衡与偏差,在多类模型和数据集上实现误差与公平性的最佳权衡。
2025-07-28 cs.LG stat.ML
UltraLiDAR: Learning Compact Representations for LiDAR Completion and Generation
Waabi;University of Toronto(多伦多大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出 UltraLiDAR 框架,利用紧凑离散表示实现场景级 LiDAR 补全、生成与操控,显著提升下游感知并以超过 98.5% 的人类偏好优于既有生成方法。
2023-11-02 cs.CV cs.LG cs.RO
Unsupervised Depth Completion with Calibrated Backprojection Layers
UCLA Vision Lab(加州大学洛杉矶分校视觉实验室)
我们提出了一个深度神经网络架构,从图像和稀疏点云推断密集深度。它是使用视频流和相应的同步稀疏点云(如从LIDAR或其他范围传感器获得的)以及相机的固有校准参数来训练的。在推理时,摄像机的校准(可能与用于训练的摄像机不同)作为输入与稀疏点云和单个图像一起馈送到网络。校准后的反投影层使用校准矩阵和深度特征描述符将图像中的每个像素反投影到三维空间。产生的3D位置编码与图像描述符和前一层输出级联,以产生编码器下一层的输入。解码器,利用跳跃连接,产生密集的深度图。由此产生的校准反投影网络(KBNet)在没有监督的情况下通过最小化光度重投影误差进行训练。KBNet基于训练集而不是通用正则化来估算缺失的深度值。我们在公共深度完成基准上测试KBNet,当使用相同的相机进行训练和测试时,它在室内和室外的表现分别比最先进的水平高出30.5%和8.8%。当测试相机不同时,改进达到62%。代码可在:https://github.com/alexklwong/calibrated-backprojection-network获得。
2021-10-10 cs.AI cs.CV cs.LG