An Entropy-guided Reinforced Partial Convolutional Network for Zero-Shot Learning
University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学);University of California San Diego(加州大学圣迭戈分校);RMIT University(皇家墨尔本理工大学)
零样本学习(Zero-Shot Learning,简称ZRL)旨在通过语义相关性将学习到的知识从观察到的类转移到看不见的类。一个有前途的策略是学习一个全局-局部表示,它将全局信息与额外的局部信息(即,输入的小部分/区域)。然而,现有的方法发现地方的基础上明确的功能,而不深入的内在属性和区域之间的关系。在这项工作中,我们提出了一种新的熵引导的增强部分卷积网络(ERPCNet),它提取和聚合的地方逐步基于语义相关性和视觉相关性没有人类注释的区域。ERPCNet使用增强的部分卷积和熵指导;它不仅动态地发现全局合作的位置,而且收敛速度更快,以实现策略梯度优化。我们在四个基准数据集上进行了广泛的实验,通过与ZSL和广义零样本学习(GZSL)设置下的最先进方法进行比较来证明ERPCNet的性能。我们还表明ERPCNet是时间效率和可解释的可视化分析。
2021-11-03 cs.CV cs.LG
Prediction of Bottleneck Points for Manipulation Planning in Cluttered Environment using a 3D Convolutional Neural Network
BITS Pilani(pilani大学);BITS Pilani, Dubai Campus(pilani大学迪拜校区)
工业机器人的最新研究旨在使人类机器人的无缝协作成为可能。为此,工业机器人被期望在非结构化和杂乱的环境中工作,因此感知驱动的运动规划的主题起着至关重要的作用。对于具有实时的约束的高维运动规划问题,基于采样的运动规划器被证明是最有效的。随机采样器存在“窄通道”或瓶颈区域现象,需要有针对性的采样来提高收敛速度。在各种规划问题中识别这些瓶颈区域也是一项挑战。在本文中,试图解决这两个问题,设计了一个智能的“瓶颈引导”启发式的快速探索随机树星(RRT*)的规划者,这是基于相关的背景下提取的规划方案,使用3D卷积神经网络,它也证明了所提出的技术推广到看不见的问题实例。本文基准的技术(瓶颈引导RRT*)对10%的目标偏向RRT星规划,规划时间和内存的要求显着改善,并使用ABB 1410工业机械手作为平台的植入和验证的结果。
2019-11-12 cs.AI cs.DS cs.LG
Single-shot 3D shape reconstruction using deep convolutional neural networks
The Catholic University of America(美国天主教大学);RvBust Ltd.(RvBust有限公司);Jinan University(暨南大学)
本信提出了一种将条纹投影轮廓术(FPP)技术与深度卷积神经网络(CNN)相结合的鲁棒单次3D形状重建技术。所提出的技术的输入是一个单一的FPP图像,和训练和验证数据集准备通过使用传统的多频FPP技术。不同于传统的三维形状重建方法,涉及复杂的算法和密集的计算,所提出的方法使用一个端到端的网络架构,直接进行2D图像到其相应的3D形状的转换。实验证明了该方法的有效性和鲁棒性。它能够满足科学研究和工程应用中各种三维形状重建的需求。
2019-09-17 cs.CV cs.LG eess.IV
Hallucinative Topological Memory for Zero-Shot Visual Planning
Berkeley AI Research, University of California, Berkeley(加州大学伯克利分校伯克利人工智能研究);Technion(以色列理工学院(Technion))
在视觉规划(VP)中,智能体从离线获得的动态系统的观察中学习规划目标导向的行为,例如,从自我监督机器人交互中获得的图像。以前的大多数VP工作都是通过在学习的潜在空间中进行规划来解决这个问题的,这导致了低质量的视觉计划和困难的训练算法。在这里,相反,我们提出了一个简单的VP方法,直接在图像空间中规划,并显示有竞争力的性能。我们建立在半参数拓扑记忆(SPTM)的方法:图像样本被视为节点在一个图形中,图形的连通性是从图像序列数据学习,并可以使用传统的图形搜索方法进行规划。我们提出了两个修改SPTM。首先,我们训练一个基于能量的图连接功能,使用对比预测编码,承认稳定的训练。其次,为了允许在新的域中进行zero-shot规划,我们学习了一个条件VAE模型,该模型在给定域的上下文的情况下生成图像,并使用这些幻觉样本来构建连接图和规划。我们表明,这种简单的方法显着优于国家的最先进的VP方法,在计划的可解释性和成功率方面,当使用该计划来指导一个自动跟踪控制器。有趣的是,我们的方法可以拾取对象的非平凡视觉属性,例如它们的几何形状,并在计划中考虑它。
2020-02-27 cs.AI cs.CV cs.LG
Few-Shot Goal Inference for Visuomotor Learning and Planning
University of California, Berkeley(加州大学伯克利分校)
强化学习和规划方法需要一个目标或奖励函数来编码所需的行为。然而,在实践中,存在难以以编程方式提供目标的广泛场景,诸如具有涉及未知对象位置或可变形对象的视觉观察的任务。在这些情况下,现有方法使用工程化的问题特定解决方案,例如,通过用附加的传感器测量环境以测量目标的代理。这种解决方案需要在每个任务的基础上进行大量的工程工作,并且使机器人在实验室环境之外不断学习复杂的技能变得不切实际。我们的目标是找到一个更通用和可扩展的解决方案,指定目标的机器人学习在无约束的环境。为此,我们制定了Few-Shot目标学习问题,其目标是从该任务的成功结束状态的几个示例图像中学习任务目标。我们提出了一个简单的解决方案:元学习一个分类器,可以从几个例子中识别新的目标。我们展示了如何使用这种方法与无模型强化学习和基于视觉模型的规划,并显示结果在三个领域:绳索操纵从图像模拟,在模拟的3D环境中的视觉导航,和对象的安排到用户指定的配置在一个真正的机器人。
2018-09-30 cs.AI cs.CV cs.LG
Evaluating Distribution System Reliability with Hyperstructures Graph Convolutional Nets
Temple University(天普大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
如今,电力系统界广泛认识到,为了满足不断扩大的能源部门的需求,不再可能仅仅依靠基于物理的模型,如果没有人工智能(AI)工具的系统集成,能源系统的可靠,及时和可持续运行是不可能的。尽管如此,人工智能在电力系统中的应用仍然有限,而人工智能的整合,特别是在配电网投资规划中,仍然是一个未知的领域。我们迈出了弥合这一差距的第一步,展示了如何图卷积网络加上超结构表示学习框架可以用于准确,可靠和计算效率高的配电网规划与弹性目标。我们进一步提出了一个超结构图卷积神经网络(Hyper-GCNN),以捕捉隐藏的高阶表示的配电网络与注意力机制。我们的数值实验表明,与配电网规划中的主流方法相比,所提出的Hyper-GCNN方法在计算效率上有了很大的提高,并且明显优于来自深度学习(DL)社区的七种最先进的模型。
2022-11-14 cs.AI cs.LG stat.ML
Convolutional Prototype Learning for Zero-Shot Recognition
Beijing Jiaotong University(北京交通大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
零样本学习(Zero-shot learning,ZRL)近年来受到越来越多的关注,尤其是在细粒度对象识别、检索和图像描述等领域。该方法的关键是通过辅助类属性向量将知识从可见的类转移到不可见的类。然而,以往研究中普遍采用的投影函数由于假设了可见域和不可见域在样本水平上的分布一致性,因而不能很好地推广,而且所提供的非可视且唯一的类属性会显著降低语义空间中的识别性能.在本文中,我们提出了一个简单而有效的卷积原型学习(CPL)框架的zero-shot识别。通过假设任务级的分布一致性,我们的CPL能够平滑地传递知识以识别未见过的样本。此外,在每个任务中,通过基于距离的训练机制学习有区别的视觉原型。因此,我们可以在视觉空间而不是语义空间中进行识别。一组广泛的实验,然后精心设计和介绍,证明CPL获得更有利的有效性,目前可用的替代品在各种设置。
2020-02-11 cs.CV cs.LG
Neural Navigation Functions for Zero-Shot Generalizable Motion Planning
University of Pennsylvania, United States(宾夕法尼亚大学,美国);Department of Mechanical Engineering and Applied Mechanics(机械工程与应用力学系);Department of Electrical and Systems Engineering(电气与系统工程系)
提出神经导航函数(Neural-NF),通过将数据驱动适应嵌入结构化椭圆规划器,实现跨未见环境几何的零样本迁移,并保证无碰撞、单调下降和全局最小值。
2026-06-02 cs.LG cs.RO
Optimal Solving of Constrained Path-Planning Problems with Graph Convolutional Networks and Optimized Tree Search
Safran Electronics & Defense(赛峰电子与防务公司);LAMSADE, Paris-Dauphine University(巴黎多芬大学LAMSADE实验室);CREC Saint-Cyr, Coetquidan School Campus(圣西尔军校科埃基当校区研究中心)
基于深度学习的方法在规划方面越来越重要。在本文中,我们提出了一种混合规划器,结合了图机器学习模型和基于分支和边界树搜索的路径规划任务的最佳求解器。更具体地,使用图神经网络来辅助分支定界算法处理与期望解路径相关联的约束。有多个下游实际应用,例如自主无人地面车辆(AUGV),通常部署在救灾或搜索和救援行动中。在越野环境中,AUGV必须在各种操作约束下动态优化源-目的地路径,其中一些操作约束难以提前预测并且需要在线解决。我们进行实验,现实的情况下,并表明,图神经网络的支持,使大量的加速和更平滑的扩展到更难的路径规划问题。此外,由图神经网络提供的信息使该方法能够优于特定问题的手工算法,突出了潜在的图神经网络持有的路径规划任务。
2022-04-03 cs.AI cs.LG cs.RO
Predicting Deep Zero-Shot Convolutional Neural Networks using Textual Descriptions
University of Toronto(多伦多大学)
视觉类别的零样本学习的主要挑战之一是收集伴随图像的语义属性。最近的研究表明,从文本描述(如维基百科文章)中学习可以避免显式定义这些属性的问题。我们提出了一个新的模型,可以分类看不见的类别,从他们的文本描述。具体来说,我们使用文本特征来预测深度卷积神经网络(CNN)中卷积层和全连接层的输出权重。我们利用CNN的架构并学习不同层的特征,而不仅仅是学习两种模态的嵌入空间,这与现有方法一样常见。所提出的模型还允许我们为每个视觉类别自动生成一个伪属性列表,该列表由来自维基百科文章的单词组成。我们训练我们的模型端到端使用加州理工大学-加州大学圣地亚哥分校的鸟和花的数据集,并评估ROC和精度召回曲线。我们的实证结果表明,该模型显着优于以前的方法。
2015-09-25 cs.CV cs.LG cs.NE
Federated reinforcement learning for robot motion planning with zero-shot generalization
School of Electrical Engineering;Computer Science, \ Pennsylvania State University, University Park, PA., 16802, USA
提出一种联邦强化学习框架,使多机器人在不共享原始数据的情况下协作学习运动规划策略,并从到达时间、安全性、收敛性和最优性差距等方面提供零样本泛化理论保证。
2024-04-07 cs.AI cs.DC cs.LG
A Generalized Zero-Shot Quantization of Deep Convolutional Neural Networks via Learned Weights Statistics
Samsung R&D Institute India- Bangalore(三星印度班加罗尔研发中心);Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校);TensorTour Inc.(TensorTour公司)
将深度卷积神经网络的浮点权重和激活量化为定点表示可以减少内存占用和推理时间。最近,人们正在努力实现不需要给定任务的原始未标记训练样本的zero-shot量化。这些最好的出版作品严重依赖于学习的批量归一化(BN)参数来推断量化的激活范围。特别是,这些方法建立在经验估计框架或数据蒸馏方法的基础上,用于计算激活的范围。然而,当呈现不容纳BN层的网络时,这种方案的性能严重降低。在这种思路下,我们提出了一个广义zero-shot量化(GSQQ)框架,既不需要原始数据,也不依赖于BN层统计。我们利用数据蒸馏方法,仅利用模型的预训练权重来估计用于激活范围校准的丰富数据。据我们所知,这是第一个利用预训练权重的分布来辅助zero-shot量化过程的工作。所提出的方案明显优于现有的zero-shot作品,例如,MobileNetV2和其他几个无BN层的模型的分类准确性提高了约33%,适用于各种任务。我们还在多个开源量化框架中证明了所提出的工作的有效性。重要的是,我们的工作是对未来非规范化深度神经网络的训练后zero-shot量化的第一次尝试。
2021-12-11 cs.CV cs.LG
CvT-ASSD: Convolutional vision-Transformer Based Attentive Single Shot MultiBox Detector
University Shanghai(上海大学)
由于Transformers的双向编码器表示(BERT)在自然语言处理(NLP)中的成功,多头注意力Transformer在计算机视觉研究(CV)中得到了越来越广泛的应用。然而,它仍然是一个挑战,研究人员提出了复杂的任务,如视觉检测和语义分割。虽然已经提出了多种基于Transformer-Based的结构来完成目标检测任务,如DETR和ViT-FRCNN,但由于传统的自注意操作所带来的巨大的学习参数和沉重的计算复杂性,它们不可避免地降低了识别精度并降低了计算效率。为了缓解这些问题,我们提出了一种新的目标检测架构,命名为基于卷积视觉Transformer的注意Single Shot MultiBox检测器(CvT-ASSD),该架构构建在卷积视觉变换器(CvT)之上,具有高效的注意Single Shot MultiBox检测器(ASSD)。我们提供了全面的经验证据,表明我们的模型CvT-ASSD可以在PASCAL VOC和MS COCO等大规模检测数据集上进行预训练,从而获得良好的系统效率和性能。代码已在公共github存储库https://github.com/albert-jin/CvT-ASSD上发布。
2021-10-24 cs.AI cs.CV cs.LG
CBAGAN-RRT: Convolutional Block Attention Generative Adversarial Network for Sampling-Based Path Planning
University of Maryland, College Park, Maryland, USA(马里兰大学)
本文提出CBAGAN-RRT,利用结合空间与通道注意力的卷积块注意力生成对抗网络引导RRT采样,以提升路径最优性和收敛速度,并在复杂环境中保持精度。
2025-07-20 cs.CV cs.LG cs.RO
LLM-Planner: Few-Shot Grounded Planning for Embodied Agents with Large Language Models
The Ohio State University(俄亥俄州立大学);DEVCOM ARL(美国陆军作战能力发展司令部陆军研究实验室)
提出LLM-Planner方法,利用大型语言模型结合物理接地技术进行少样本规划,使具身代理在仅用不到0.5%训练数据时即可媲美全数据训练基线的性能。
2023-03-30 cs.AI cs.CL cs.CV
Convolutional Neural Networks for User Identificationbased on Motion Sensors Represented as Image
University of Bucharest(布加勒斯特大学)
在本文中,我们提出了一种深度学习方法,智能手机用户识别的基础上分析运动信号记录的加速度计和陀螺仪,在一个单一的点击手势由用户在屏幕上执行。我们将来自运动传感器的离散3轴信号转换为灰度图像表示,该灰度图像表示作为输入提供给卷积神经网络(CNN),该卷积神经网络为多类用户分类进行了预训练。在预训练阶段,我们受益于不同的用户和每个用户的多个样本。在预训练之后,我们使用我们的CNN作为特征提取器,生成与屏幕上的每个单击相关联的嵌入。所得到的嵌入用于在Few-Shot用户识别设置中训练支持向量机(SVM)模型,即,在注册阶段期间仅需要在屏幕上敲击20次。我们比较我们的识别系统的基础上CNN功能与两个基线系统,一个采用手工制作的功能,另一个采用递归神经网络(RNN)功能。所有系统都基于相同的分类器,即SVM。为了预训练用于多类用户分类的CNN和RNN模型,我们使用了与用于Few-Shot用户识别的用户集不同的用户集,以确保真实的场景。实验结果表明,我们的CNN模型在多类用户分类中的最高准确率为89.75%,在Few-Shot用户识别中的最高准确率为96.72%。总之,我们相信我们的系统已经准备好用于实际应用,具有比两个基线更好的泛化能力。
2020-03-23 cs.LG stat.ML
Path Planning using a One-shot-sampling Skeleton Map
Centro de Investigación en Matematicas (CIMAT), A.C.(数学研究所(CIMAT));Unidad Profesional Interdisciplinaria en Ingeniería y Tecnologías Avanzadas (UPIITA), Instituto Politécnico Nacional (IPN)(跨学科工程与先进技术单位(UPIITA),墨西哥理工学院(IPN));Centro de Innovación y Desarrollo Tecnológico en Cómputo (CIDETEC), Instituto Politécnico Nacional (IPN)(计算创新与技术发展中心(CIDETEC),墨西哥理工学院(IPN))
本文提出基于SkelUnet的高效路径规划方法,通过一次性采样骨架图快速生成安全路径,提升导航效率和安全性。
2026-01-25 cs.LG cs.RO
Zero-Shot Trajectory Planning for Signal Temporal Logic Tasks
Department of Automation(自动化系);Shanghai Jiao Tong University(上海交通大学);Institute of Artificial Intelligence(人工智能研究院);Xiamen University(厦门大学)
针对动力学未知系统的STL任务,提出一种分层规划框架,利用任务无关轨迹数据实现零样本泛化,通过分解规范、搜索定时路径点和扩散模型拼接轨迹,保证STL满足性并生成动态可行轨迹。
2025-10-26 cs.AI cs.LG cs.RO
Structured Output Regularization: a framework for few-shot transfer learning
York University(约克大学)
提出结构化输出正则化(SOR)框架,通过冻结网络结构并组合组套索与L1惩罚,以最少参数适应少样本医学影像分类,在三个任务上取得有竞争力结果。
2025-10-09 cs.CV cs.LG stat.ML
Chameleon: A Multiplier-Free Temporal Convolutional Network Accelerator for End-to-End Few-Shot and Continual Learning from Sequential Data
Delft University of Technology(代尔夫特理工大学)
Chameleon通过统一学习和推理架构、高效捕捉长期时序依赖以及无矩阵乘法计算阵列,实现了端到端的少样本学习和持续学习,同时在低功耗下保持高精度。
2026-07-21 cs.AR cs.LG
Zero-Shot Reinforcement Learning with Deep Attention Convolutional Neural Networks
Artificial Intelligence Lab(人工智能实验室)
神经网络模型的仿真到仿真和仿真到现实世界的转换一直是一个难题。为了缩小现实差距,以前的方法模拟到现实世界的转移集中在领域自适应,解耦的感知和动态和解决每个问题分别,和随机化的代理参数和环境条件暴露的学习代理的各种条件。虽然这些方法提供了可接受的性能,但是对于给定任务(诸如自主驾驶或机器人操纵)的综合场景,捕获参数的大变化所需的计算复杂性很高。我们的主要贡献是从理论上证明和经验上证明,具有特定视觉传感器配置的深度注意力卷积神经网络(DACNN)可以在具有高域和参数变化的数据集上以较低的计算复杂性进行训练。具体而言,注意力网络权重通过策略优化来学习,以专注于导致最佳动作的局部依赖关系,并且不需要在现实世界中进行调整以进行泛化。我们的新体系结构根据控制目标调整感知,从而实现零样本学习,而无需预先训练感知网络。为了衡量我们新的深度网络架构对领域自适应的影响,我们将自动驾驶视为一个用例。我们在模拟到模拟和模拟到真实场景中进行了一系列广泛的实验,以将我们的方法与包括当前最先进模型在内的几个基线进行比较。
2020-01-02 cs.LG cs.RO cs.SY
HoopMind: A Real-Time Neural Game-Tree System for Opponent-Aware Possession Planning
Beijing National Day School(北京十一学校);University of Memphis(孟菲斯大学)
该研究以职业篮球为案例,融合公开数据构建投篮数据集,提出基于ShotNet和深度受限期望最大化搜索的实时神经博弈树系统,实现对手感知的控球规划,相关模型性能优于基线且可在浏览器运行。
2026-09-01 cs.AI cs.HC cs.LG
Does Zero-Shot Reinforcement Learning Exist?
Meta AI Research(Meta人工智能研究院)
zero-shot RL agent是一种可以在给定环境中解决任何RL任务的agent,在初始的无奖励学习阶段之后,无需额外的规划或学习。这标志着从以奖励为中心的RL范式向“可控”代理的转变,这些代理可以在环境中遵循任意指令。目前的强化学习代理最多只能解决相关任务的族,或者需要为每个任务重新规划。已经建议使用后继特征(SF)[BBQ+ 18]或前向-后向(FB)表示[TO 21]来近似zero-shot RL的策略,但测试有限。在澄清这些方案之间的关系后,我们引入了改进的损失和新的SF模型,并在无监督RL基准[LYL+21]的任务上系统地测试了zero-shot RL方案的可行性。为了将通用表示学习从探索中分离出来,我们在离线环境中工作,并在几个现有的重放缓冲区上重复测试。SFs似乎遭受的选择的基本状态功能。具有拉普拉斯特征函数的SF表现良好,而基于自动编码器、逆好奇心、转换模型、低秩转换矩阵、对比学习或多样性(APS)的SF表现不一致。相比之下,FB表示联合学习的基本和后续功能从一个单一的,原则性的标准。它们在各方面表现最佳且一致,以zero-shot的方式,通过良好的重放缓冲区达到85%的监督RL性能。
2023-03-01 cs.LG
One-Shot Adaptation of Supervised Deep Convolutional Models
UC Berkeley, EECS & ICSI(加州大学伯克利分校,电气工程与计算机科学系及国际计算机科学研究所);Google Research(谷歌研究院);UMass Lowell, CS & ICSI(马萨诸塞大学洛厄尔分校,计算机科学系及国际计算机科学研究所)
数据集偏差仍然是解决现实世界计算机视觉任务的重要障碍。尽管深度卷积网络已被证明是图像分类的一种有竞争力的方法,但仍然存在一个问题:这些模型是否解决了数据集偏差问题?一般来说,在一个新的领域训练或微调一个最先进的深度模型需要大量的数据,而这对于许多应用程序来说是根本不可用的。将模型直接转移到新的领域而不进行调整,历来会导致识别性能不佳。在本文中,我们提出了以下问题:单个图像数据集,比以前探索的适应性大得多,是否足够全面,可以学习可以有效应用于新图像领域的一般深度模型?换句话说,在大量标记数据上训练的深度CNN是否像以前的方法那样容易受到数据集偏差的影响?我们表明,在大型数据集上训练的通用监督深度CNN模型减少了但没有消除数据集偏差。此外,我们提出了几种用于深度模型的自适应方法,这些方法能够在很少(每个类别一个示例)或没有标记的特定领域数据的情况下操作。我们的实验表明,深度模型在基准视觉领域自适应数据集上的自适应可以提供显着的性能提升。
2014-02-18 cs.CV cs.LG cs.NE
Continuous Relaxation of Symbolic Planner for One-Shot Imitation Learning
Stanford University(斯坦福大学);Nvidia(英伟达)
我们解决一次性模仿学习,其目标是执行一个以前看不见的任务的基础上一个单一的演示。虽然在这个方向上已经取得了令人兴奋的进展,但大多数方法仍然需要几百个任务进行元训练,这限制了方法的可扩展性。我们的主要贡献是制定一杆模仿学习作为一个象征性的规划问题,随着符号接地问题。该公式将策略执行从任务间泛化中解脱出来,从而提高了数据效率。关键的技术挑战是符号基础在有限的训练数据下容易出错,并导致随后的符号规划失败。我们解决这个挑战,提出了一个连续放松的离散符号规划,直接计划的概率输出的符号接地模型。我们对规划器的连续放松仍然可以利用概率符号基础中包含的信息,并且在不使用大的训练数据的情况下,显著地改善了一次性模仿学习任务的基线规划器。
2019-11-05 cs.AI cs.LG cs.RO
Shift & Drift: A Zero-Shot Benchmark for Generalizable and Robust Autonomous Driving Motion Planning
Mercedes-Benz AG, Research & Development(梅赛德斯-奔驰股份公司,研发部);University of Tübingen(图宾根大学);Karlsruhe Institute of Technology, ITIV(卡尔斯鲁厄理工学院,ITIV)
研究自动驾驶运动规划器在新城市拓扑泛化及执行扰动恢复方面的不足,提出Shift & Drift双轨基准测试,通过语义转移和状态分布漂移测试不同规划范式,发现模仿学习与强化学习在性能上的差异,为评估可靠部署提供基准。
2026-07-10 cs.AI cs.LG cs.RO
Convolutional Occupancy Models for Dense Packing of Complex, Novel Objects
UC Berkeley(加州大学伯克利分校)
提出全卷积形状补全模型F-CON与数据集COB-3D-v2,解决高遮挡场景下的3D几何感知难题,结合规划算法实现了复杂未见物体的真实世界密集堆放。
2023-07-31 cs.CV cs.LG cs.RO
VLN-Zero: Rapid Exploration and Cache-Enabled Neurosymbolic Vision-Language Planning for Zero-Shot Transfer in Robot Navigation
University of Texas at Austin(德克萨斯大学奥斯汀分校)
VLN-Zero提出两阶段视觉-语言导航框架,通过VLM构建符号场景图并结合缓存执行实现零样本神经符号导航,在未见环境中以更少VLM调用取得2倍成功率和更快到达目标。
2025-09-23 cs.AI cs.CV cs.LG
Diffusion-ES: Gradient-free Planning with Diffusion for Autonomous Driving and Zero-Shot Instruction Following
Carnegie Mellon University(卡内基梅隆大学)
Diffusion-ES将无梯度进化搜索与扩散模型去噪结合,优化黑盒非可微目标,在自动驾驶基准nuPlan上达到最先进性能,并能通过少样本LLM提示优化语言奖励,实现零样本指令跟随和复杂行为生成。
2024-07-16 cs.AI cs.CL cs.LG
Fully Convolutional Search Heuristic Learning for Rapid Path Planners
Sony Corporation(索尼公司)
路径规划算法是各种机器人应用的重要组成部分,例如移动机器人导航和机器人手臂操作。然而,在可能存在局部陷阱的大搜索空间中,在满足实时约束的同时可靠地找到路径仍然具有挑战性。为了加快路径搜索的速度,人们开发了许多实用的路径规划算法。这些算法通常定义搜索启发式来引导搜索朝向目标。应针对每个特定问题仔细设计逻辑,以确保在问题中遇到的各种情况下的可靠性。然而,人类通常很难制作这种鲁棒的启发式算法,并且在违反启发式假设的条件下,搜索性能通常会下降。在这项工作中,我们提出了一种学习方法来获得这些搜索关键字,而不是手动设计的关键字。我们的方法将包含障碍物的环境表示为图像,并且将该图像馈送到完全卷积神经网络中以产生搜索启发式图像,其中每个像素以搜索图的顶点的形式表示启发式值(目标的成本值)。使用先前收集的规划结果来执行训练启发式。我们的初步实验(2D网格世界导航实验)表明显着降低搜索成本相对于手工设计的启发式。
2019-08-09 cs.AI cs.LG cs.RO
Efficacy of Neural Prediction-Based Zero-Shot NAS
本文提出一种基于正弦傅里叶和编码与多层感知机的零样本NAS方法,通过可学习编码构建前馈图并对架构排序,在NAS-Bench-201上超越图卷积方法,且特征表示可跨基准迁移。
2023-09-22 cs.AI cs.LG
L2AE-D: Learning to Aggregate Embeddings for Few-shot Learning with Meta-level Dropout
University of Nottingham(诺丁汉大学);Automated Scheduling Optimisation and Planning (ASAP) Research Group(自动调度优化与规划(ASAP)研究组)
本文提出L2AE-D方法,通过通道注意力聚合嵌入并引入元级Dropout,缓解少样本学习中的元级过拟合,在Omniglot和miniImageNet上达到最先进性能。
2019-04-08 cs.CV cs.LG
Interpolation and Denoising of Seismic Data using Convolutional Neural Networks
Politecnico di Milano(米兰理工大学)
地震数据处理算法大大受益于定期采样和可靠的数据。因此,内插和去噪作为大多数地震处理工作流程的起始步骤之一发挥着基本作用。我们利用卷积神经网络的联合任务的插值和随机噪声衰减的二维共炮集。受图像处理和计算机视觉领域的巨大贡献的启发,我们研究了一种特殊的卷积神经网络结构,称为U-网,它实现了一个卷积自动编码器,能够描述干净和定期采样数据的复杂特征,用于重建损坏的数据。在训练阶段,我们利用部分数据来定制网络,以满足插值,去噪和联合去噪/插值的特定任务,而在系统部署期间,我们能够以计算效率高的程序恢复剩余的损坏的炮集。在数值实验中,我们考虑了多种数据损坏,包括不同的噪声模型和不同的缺失轨迹分布。关于综合数据和实地数据的几个例子说明了上述战略的吸引人的特点。比较示例示出了相对于最近提出的用于联合去噪和插值的解决方案的改进。
2019-10-21 cs.LG cs.NE eess.SP
Dual-Branch Residual Network for Cross-Domain Few-Shot Hyperspectral Image Classification with Refined Prototype
School of Communications and Information Engineering, Chongqing University of Posts and Telecommunications(重庆邮电大学通信与信息工程学院);School of Intelligent Systems Engineering, Sun Yat-sen University(中山大学智能系统工程学院)
本文提出一种双分支残差网络,通过并行分支整合空间与光谱特征、利用正则化项获取精炼原型,并采用核概率匹配策略对齐源域与目标域特征,有效解决了跨域少样本高光谱图像分类中的计算成本高、泛化差及领域偏移问题。
2025-04-27 cs.CV cs.LG
Graph Neural Networks for Motion Planning
University of Pennsylvania(宾夕法尼亚大学);Google Brain(谷歌大脑)
本文研究了使用图神经网络(GNNs)的经典运动规划问题的可行性。我们建议使用GNN的能力来指导连续和离散规划算法,该能力使用称为置换不变性的属性来鲁棒地编码规划空间的拓扑结构。我们提出了两种技术,在密集的固定图的低维问题和基于采样的GNNs高维问题的GNNs。我们研究了GNN解决规划问题的能力,例如识别关键节点或学习快速探索随机树(RRT)中的采样分布。临界采样、钟摆和六自由度机器人手臂的实验表明,GNN改进了传统的分析方法以及使用全连接或卷积神经网络的学习方法。
2020-12-14 cs.AI cs.LG cs.RO
Convolutional-neural-operator-based transfer learning for solving PDEs
School of Mathematics(数学系);Key Laboratory of Maritime Intelligent Cyberspace Technology (Hohai University), Ministry of Education(航海智能信息空间技术重点实验室(河海大学))
本文提出基于卷积神经运算符的迁移学习方法,通过预训练和参数调整提升求解偏微分方程的代理精度,神经元线性变换策略表现最优。
2025-12-19 cs.AI cs.LG math-ph
Graph-based Visual-Semantic Entanglement Network for Zero-shot Image Recognition
South China University of Technology(华南理工大学);University of Southampton(南安普顿大学);University of Lincoln(林肯大学)
零样本学习使用语义属性来连接看不见的对象的搜索空间。近年来,虽然深度卷积网络为机器学习任务带来了强大的视觉建模能力,但其视觉特征具有严重的模式惯性,缺乏对语义关系的表示,从而导致严重的偏见和歧义。针对这一问题,本文提出了基于图的视觉-语义纠缠网络(Graph based Visual-Semantic Entanglement Network,简称VSN)对视觉特征进行图建模,并通过知识图谱将其映射到语义属性上。该方法利用卷积神经网络(CNN)和图卷积网络(GCN)建立一个多路径纠缠网络,将CNN的视觉特征输入到GCN中对隐含的语义关系进行建模,GCN再将图建模后的信息反馈给CNN特征; 2.以属性词向量作为GCN图语义建模的目标,形成图建模的自洽回归,指导GCN学习更多个性化的属性关系; 3.它融合并补充了由图建模细化的分层视觉语义特征到视觉嵌入中。我们的方法通过促进视觉特征的语义链接建模,在多个具有代表性的CNOL数据集:AwA 2,CUB和SUN上优于最先进的方法。
2021-06-12 cs.CV cs.LG eess.IV
Graph convolutional networks for learning with few clean and many noisy labels
Google Research(谷歌研究院);VRG, Faculty of Electrical Engineering, Czech Technical University in Prague(布拉格捷克理工大学电气工程学院视觉识别组);Inria, Univ Rennes, CNRS, IRISA(法国国家信息与自动化研究所、雷恩大学、法国国家科学研究中心、布列塔尼大西洋信息与通信技术研究所)
在这项工作中,我们考虑的问题时,一些干净的标记的例子,从嘈杂的标签学习分类。干净和有噪声的数据的结构是由一个图每类和图卷积网络(GCN)被用来预测噪声的例子的类相关性。对于每个类,GCN被视为一个二元分类器,它学习使用加权的二元交叉熵损失函数来区分干净的噪声样本。然后利用GCN推断的“干净”概率作为相关性度量。在学习最终任务的分类器时,每个噪声示例都通过其相关性进行加权。我们评估我们的方法上的一个扩展版本的少样本学习问题,其中几个干净的例子,新的类补充额外的噪声数据。实验结果表明,我们的GCN为基础的清洗过程显着提高了分类精度不清洗噪声数据,以及标准的Few-Shot分类,只有很少的干净的例子被使用。
2020-08-24 cs.CV cs.LG
Efficient planning of peen-forming patterns via artificial neural networks
Polytechnique Montréal(蒙特利尔理工学院);Aluminium Research Centre – REGAL(铝研究中心 – REGAL)
喷丸成形过程的鲁棒自动化需要闭环反馈,其中需要为每次处理迭代实时找到合适的处理模式。在这项工作中,我们提出了一种方法,用于寻找喷丸成形图案,基于神经网络(NN),学习的非线性函数,涉及一个给定的目标形状(输入),其最佳喷丸图案(输出),从有限元模拟产生的数据。训练后的神经网络产生的模式的平均二进制精度为98.8%的地面真理在微秒。
2020-08-18 cs.LG physics.comp-ph
Curious Exploration via Structured World Models Yields Zero-Shot Object Manipulation
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
设计人工智能体是一个长期的梦想,它可以通过内在动机有效地探索他们的环境,就像儿童如何进行好奇的自由游戏一样。尽管最近在内在动机的强化学习(RL)的进展,在对象操作场景中的样本有效的探索仍然是一个重大的挑战,因为大多数相关信息在于稀疏的代理对象和对象对象之间的相互作用。在本文中,我们建议使用结构化的世界模型,将关系归纳偏差的控制回路,以实现样本效率和丰富的互动组合多对象环境中的探索。通过在结构化世界模型中规划未来的新奇事物,我们的方法生成了自由游戏行为,这些行为在早期就开始与对象交互,并随着时间的推移发展出更复杂的行为。我们的方法不是像通常那样只使用模型来计算内在奖励,而是展示了良好模型和良好探索之间的自我强化循环也开辟了另一条途径:通过基于模型的规划对下游任务进行zero-shot推广。在完全内在的任务不可知的探索阶段之后,我们的方法解决了具有挑战性的下游任务,例如堆叠,翻转,拾取和放置,以及投掷,这些任务概括了看不见的数字和对象的排列,而无需任何额外的训练。
2022-11-26 cs.AI cs.LG cs.RO
Constrained Shortest Path Search with Graph Convolutional Neural Networks
Safran Electronics & Defense(赛峰电子与防务公司);LAMSADE, Université Paris-Dauphine(巴黎多芬大学LAMSADE实验室);Safran SA(赛峰集团);MACCLIA, Ecoles de Saint-Cyr Coëtquidan(圣西尔军校MACCLIA机构)
自主无人地面车辆(AUGV)的规划仍然是一个挑战,特别是在困难的,越野的,关键的情况下。自动规划可用于达到任务目标,执行导航或机动。大多数情况下,问题在于找到从源到目的地的路径,同时满足一些操作约束。在无负圈的图中,从起始点到结束点的单对最短路的计算在多项式时间内解决。然而,解决方案路径上的额外约束可能会使问题更难解决。当我们需要路径通过几个强制节点而不需要特定的访问顺序时,就会出现这种情况。复杂性随着要访问的强制节点的数量呈指数级增长。在本文中,我们专注于最短路径搜索与强制节点上给定的连通图。我们提出了一个混合模型,结合了基于约束的求解器和图卷积神经网络,以提高搜索性能。在现实的场景中获得了令人满意的结果。
2021-08-02 cs.AI cs.LG cs.RO
Embedding Synthetic Off-Policy Experience for Autonomous Driving via Zero-Shot Curricula
Waymo, LLC(威莫有限责任公司)
基于ML的运动规划是一种很有前途的方法,产生代理,表现出复杂的行为,并自动适应新的环境。在自动驾驶的背景下,通常平等地对待所有可用的训练数据。然而,这种方法产生的代理在安全关键的设置中不能稳健地执行,这是一个无法通过简单地向训练集添加更多数据来解决的问题-我们表明,仅使用10%的数据子集训练的代理与在整个数据集上训练的代理一样好。我们提出了一种方法,根据从部署在公共道路上的自动驾驶汽车车队收集的数据来预测驾驶情况的固有难度。然后,我们证明,这个难度分数可以用在一个zero-shot转移生成课程的模仿学习为基础的规划代理。与在整个无偏训练数据集上进行训练相比,我们发现,在闭环评估中,优先考虑困难的驾驶场景既减少了15%的碰撞,又增加了14%的路线遵守,而所有这些都只使用了10%的训练数据。
2022-12-02 cs.AI cs.LG cs.RO
Map-Based Path Loss Prediction in Multiple Cities Using Convolutional Neural Networks
Communications Research Centre Canada (CRC)(加拿大通讯研究中心);Carleton University(卡尔顿大学)
本文提出基于卷积神经网络的多城市路径损耗预测方法,通过自动提取二维障碍物高度图特征,实现低误差的路径损耗预测,无需依赖衍生指标。
2025-03-25 cs.LG eess.SP
Few-shot Transfer Learning for Holographic Image Reconstruction using a Recurrent Neural Network
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);California Nano Systems Institute (CNSI)(加州纳米系统研究所);David Geffen School of Medicine(大卫·格芬医学院)
计算显微镜中基于深度学习的方法已被证明是强大的,但由于对新类型样本的推广有限以及对大型和多样化训练数据的要求,通常会面临一些挑战。在这里,我们展示了一种Few-Shot迁移学习方法,该方法可以帮助全息图像重建深度神经网络使用小数据集快速推广到新类型的样本。我们在具有不同类型样本的大型数据集上预训练了一个卷积递归神经网络,该数据集用作骨干模型。通过固定递归块并转移预训练模型的其余卷积块,与标准转移学习相比,我们将可训练参数的数量减少了约90%,同时实现了等效的泛化。我们通过使用小型全息数据集进行训练成功地推广到新类型的样本来验证了这种方法的有效性,并实现了(i)约2.5倍的收敛速度加速,(ii)每个历元约20%的计算时间减少,以及(iii)与从头开始训练的基线网络模型相比提高了重建性能。这种Few-Shot迁移学习方法可以应用于其他显微成像方法,有助于推广到新类型的样本,而无需大量的训练时间和数据。
2022-01-27 cs.CV cs.LG eess.IV
Convolutional Collaborative Filter Network for Video Based Recommendation Systems
th Century Fox(二十世纪福克斯);Miso Technologies(味噌科技)
这个分析探讨了电影预告片中物体的时间顺序。电影预告片中对象的时间排序(例如,物体的长镜头与间歇的短镜头)可以传达关于电影类型、电影情节、主要人物的角色以及电影制作者的电影摄影选择的信息。当与历史客户数据相结合时,序列分析可用于改善对客户行为的预测。例如,在一个示例中,顾客购买新电影的票,并且可能该顾客在过去已经看过包含类似序列的电影。为了探索电影预告片中的对象排序,我们提出了一个视频卷积网络来捕捉可以预测客户偏好的动作和场景。模型学习不同类型对象的序列的特定性质(例如,汽车与面孔),以及序列在预测客户未来行为中的作用。我们展示了这样一个时间感知模型如何优于我们以前的作品中提出的简单特征池方法,重要的是,展示了这样一个模型所允许的额外模型解释能力。
2018-10-22 cs.AI cs.CV cs.IR
CNNs found to jump around more skillfully than RNNs: Compositional generalization in seq2seq convolutional networks
CIMeC, University of Trento(特伦托大学心智/脑科学中心);ICREA(加泰罗尼亚研究与高等教育学院);Facebook AI Research(脸书人工智能研究院)
Lake和Baroni(2018)介绍了SCAN数据集,探索seq 2seq模型捕获合成概括的能力,例如从组成词中推断“跳跃”0-shot的含义。递归网络(RNN)被发现在最具挑战性的泛化情况下完全失败。我们在这里测试了卷积网络(CNN)在这些任务上的性能,报告了相对于RNN的巨大改进。尽管有很大的改进,但CNN并没有引入系统的规则,这表明组合行为和非组合行为之间的区别并不明确。
2019-05-21 cs.AI cs.CL cs.LG