Posterior-driven Heuristic Support Adaptation in a Probabilistic Treatment of Real2Sim2Real for Vision-Driven Deformable Linear Object Manipulation
School of Informatics, The University of Edinburgh(信息学院,爱丁堡大学)
本文提出三种启发式方法,用于改进随机动态系统中似然自由推断的支持适应,提升参数推断和策略学习的鲁棒性。
2026-09-10 cs.LG cs.RO
Learning Data-Driven Objectives to Optimize Interactive Systems
University of Amsterdam(阿姆斯特丹大学);Microsoft Research AI(微软人工智能研究院)
有效的优化对于交互系统提供满意的用户体验是必不可少的。然而,要找到一个优化的目标往往是具有挑战性的。一般来说,这些目标是手工制作的,很少以准确的方式捕捉复杂的用户需求。我们提出了一种直接从观察到的用户交互推断目标的方法。这些推断可以在不考虑先验知识的情况下并且跨不同类型的用户行为进行。我们引入交互式系统优化,一种新的算法,使用这些推断的目标进行优化。我们的主要贡献是一个新的一般原则性的方法来优化交互式系统使用数据驱动的目标。我们证明了高效率的交互式系统优化在几个模拟。
2019-12-13 cs.AI cs.HC cs.IR
Event-Driven Models
在强化学习中,我们在输入/输出信息流中寻找意义。如果我们找不到意义,信息流对我们来说就只不过是噪音。在我们能够找到意义之前,我们应该首先学习如何发现和识别对象。什么是对象?在本文中,我们将演示对象是一个事件驱动的模型。这些模型是行动驱动模型的推广。在马尔可夫决策过程中,我们有一个动作驱动的模型,它在每一步都改变它的状态。事件驱动模型的优势在于其更强的可持续性,因为它们仅在特定事件发生时才更改其状态。这些事件可能很少发生,因此事件驱动模型的状态更容易预测。
2019-06-24 cs.AI cs.LG
IMos: Intent-Driven Full-Body Motion Synthesis for Human-Object Interactions
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Max-Planck Institute for Informatics (MPII)(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区)
我们可以通过简单的指令让场景中的虚拟角色与周围的物体进行交互吗?有没有可能用一组不同的物体和指令来合理地合成这样的运动?受这些问题的启发,我们提出了第一个框架来合成虚拟人物的全身运动执行指定的动作与3D对象放置在他们的范围内。我们的系统需要指定的对象和相关的虚拟角色的意图作为输入和输出的全身运动的不同序列的文本指令。这与现有的作品形成对比,其中全身动作合成方法通常不考虑对象交互,而人-对象交互方法主要集中在合成用于抓取对象的手或手指运动。我们通过设计意图驱动的全身运动生成器来实现我们的目标,该生成器使用一对解耦的条件变分自回归器以自回归方式学习身体部位的运动。我们还优化了对象的6-DoF姿势,使它们能够适合合成角色的手部。我们比较我们提出的方法与现有的运动合成方法,并建立一个新的和更强大的国家的最先进的意图驱动的运动合成的任务。
2023-02-26 cs.CV cs.GR cs.LG
What Object Should I Use? - Task Driven Object Detection
University of Bonn(波恩大学)
当人类必须解决日常任务时,他们只是选择最合适的对象。虽然对于人类来说,应该使用哪个对象来执行特定任务的问题听起来微不足道,但对于机器人或其他自主系统来说,这是非常难以回答的。然而,这个问题并没有通过专注于检测对象类别的用于目标检测的当前基准来解决。因此,我们引入了COCO-Tasks数据集,该数据集包含约40,000张图像,其中最适合14个任务的对象已被注释。此外,我们提出了一种方法,检测最合适的对象为一个给定的任务。该方法建立在一个门控图神经网络,利用每个对象的外观,以及在场景中的所有当前对象的全局上下文。在我们的实验中,我们表明所提出的方法优于在数据集上评估的其他方法,例如分类或排名方法。
2019-04-05 cs.CV cs.LG cs.RO
CoWs on Pasture: Baselines and Benchmarks for Language-Driven Zero-Shot Object Navigation
Columbia University(哥伦比亚大学);University of Washington(华盛顿大学)
为了使机器人普遍有用,它们必须能够找到人描述的任意对象(即,是语言驱动的)即使没有关于域内数据的昂贵的导航训练(即,执行zero-shot推断)。我们在一个统一的环境中探索这些功能:语言驱动的zero-shot对象导航(L-STARON)。受最近成功的开放词汇表模型的图像分类,我们调查了一个简单的框架,CLIP车轮(CoW),以适应开放词汇表模型,这项任务没有微调。为了更好地评估L-RightON,我们引入了Painting基准,该基准考虑查找不常见的对象,由空间和外观属性描述的对象,以及相对于可见对象描述的隐藏对象。我们通过在Habitat、RoboTHOR和Pasteur上直接部署21个CoW基线来进行深入的实证研究。总的来说,我们评估了超过90 k个导航片段,发现(1)CoW基线通常很难利用语言描述,但擅长寻找不常见的对象。(2)一个简单的CoW,具有基于CLIP的对象定位和经典探索-并且没有额外的训练-与最先进的基于Habitat MP 3D数据训练了5亿步的WARKON方法的导航效率相匹配。与最先进的RoboTHOR EQUIPON模型相比,同样的CoW在成功率上提高了15.6个百分点。
2022-12-14 cs.CV cs.LG cs.RO
The functional role of cue-driven feature-based feedback in object recognition
A Department(某部门)
视觉对象识别不是一项简单的任务,特别是当对象被降级或被杂乱包围或简单呈现时。外部线索(如语言线索或视觉环境)可以提高在这种情况下的识别性能。在这项工作中,我们建立了一个人工神经网络来模拟对象处理流(OPS)和线索之间的相互作用。我们研究了不同的神经和代表能力的OPS的提示驱动的基于特征的反馈在OPS中提供的性能提升的影响。我们观察到,只有当对象的类别特定功能不能完全表示在OPS中的反馈提供性能提升。这种表征限制更多地取决于任务需求,而不是神经能力。我们还观察到,训练以最大限度地提高识别性能的反馈方案与基于调谐的反馈不同,实际上比基于调谐的反馈表现得更好。
2019-03-25 cs.CV cs.LG q-bio.NC
Multi-Objective Evolutionary Design of Composite Data-Driven Models
Natural Systems Simulation Lab ITMO University(ITMO大学自然系统模拟实验室)
本文提出了一种多目标设计复合数据驱动数学模型的方法。它允许自动识别基于图形的异构管道,包括不同的块:机器学习模型,数据预处理块等实施的方法是基于无参数的遗传算法(GA)的模型设计称为GPComp@Free。它被开发成自动化机器学习解决方案的一部分,并提高建模管道自动化的效率。一组实验进行了验证所提出的方法的正确性和效率,并证实了所选择的解决方案。实验结果证实,一个多目标的模型设计方法可以实现更好的多样性和质量的模型。实现的方法可作为开源AutoML框架FEDOT的一部分。
2021-05-17 cs.AI cs.LG cs.NE
Measurement-driven Analysis of an Edge-Assisted Object Recognition System
Trinity College Dublin(都柏林大学三一学院);Yale University(耶鲁大学)
我们开发了一个边缘辅助对象识别系统,目的是研究端到端延迟和对象识别精度之间的系统级权衡。我们专注于开发技术,优化系统的传输延迟,并证明图像编码速率和神经网络大小对这两个性能指标的影响。我们探索这些指标之间的最佳权衡衡量我们的实时的对象识别应用程序的性能。我们的测量揭示了迄今为止未知的参数效应和尖锐的权衡,从而为优化这一关键服务铺平了道路。最后,我们制定了两个优化问题,使用我们的测量为基础的模型和帕累托分析后,我们发现,仔细调整的系统操作产生至少33%的性能更好的实时的条件下,超过标准的传输方法。
2020-03-07 cs.LG cs.NI
A Data-Driven RetinaNet Model for Small Object Detection in Aerial Images
Department of Electrical Engineering and Computer Science(电气工程与计算机科学系);University of Missouri(密苏里大学);Computer Science University of Missouri Columbia, MO, USA(计算机科学密苏里大学哥伦比亚分校)
本研究针对航空图像小目标检测需求,提出数据驱动的DDR-Net模型,可自主确定最优特征图与锚框,搭配创新采样技术提升有限数据下的性能,实验证明其效果优于RetinaNet等现有模型,可支撑多领域应用。
2025-09-03 cs.CV cs.LG
Collision-Aware Target-Driven Object Grasping in Constrained Environments
Univ. of Minnesota(明尼苏达大学)
在受约束的环境(例如,墙壁、箱子和架子)需要对抓取姿势的可达性进行深入的推理,以避免与周围结构碰撞。典型的6自由度机器人抓取系统依赖于环境的先验知识和密集的规划计算,这是不可推广的和低效的。相比之下,我们提出了一种新的碰撞感知可达性预测器(CARP)的6自由度抓取系统。CARP学习估计抓取姿势的无碰撞概率,并显着提高了在具有挑战性的环境中的抓取。在我们的方法中,深度神经网络完全通过模拟中的自我监督来训练。仿真和真实世界的实验表明,我们的方法实现了超过75%的新物体在各种周围结构的抓取率。消融研究证明了CARP的有效性,其将6-DoF抓取率提高了95.7%。
2021-04-01 cs.LG cs.RO
Language-Driven Active Learning for Diverse Open-Set 3D Object Detection
University of California San Diego(加利福尼亚大学圣迭戈分校);Aalborg Universitet(奥尔堡大学)
针对自动驾驶3D场景中少数类与新型目标检测难题,提出语言驱动的主动学习框架VisLED及VisLED-Querying算法,可在开放/封闭世界设置下查询多样有效样本,在nuScenes上性能优于随机采样、媲美熵查询方法。
2024-06-18 cs.AI cs.CV cs.LG
A Framework for Objective-Driven Dynamical Stochastic Fields
Stanford University(斯坦福大学)
本文提出由完备配置、局部性和目的性三个基本原则构成的理论框架,用于理解具有目标导向行为的智能场,并从人工智能应用视角探讨其设计方法论,为研究目标驱动的动态随机场奠定基础。
2025-10-31 cs.AI cs.LG cs.MA
Action-Driven Object Detection with Top-Down Visual Attentions
KAIST(韩国科学技术院);Lunit Inc.(Lunit公司);Adobe Research(Adobe研究院)
基于深度学习的目标检测的主导范例依赖于使用类不可知提议的“被动”评分的“自下而上”方法。这些方法是有效的,但缺乏对场景级上下文的整体分析。在本文中,我们提出了一个“行动驱动”的检测机制,使用我们的“自上而下”的视觉注意力模型。我们通过采取注意力模型提供的顺序动作来定位对象。以图像区域为条件的注意力模型提供了更接近目标对象所需的动作。每个时间步的动作本身是弱的,但是顺序动作的集合使得边界盒精确地收敛到目标对象边界。这个我们称之为AttentionNet的注意力模型由一个卷积神经网络组成。在我们的整个检测过程中,我们只使用来自单个AttentionNet的动作,而没有任何用于对象建议的模块,也没有后边界框回归。我们评估了我们的自上而下的检测机制在PASCAL VOC系列和ILSVRC CLS-STANDARD数据集,并实现了最先进的性能相比,主要的自下而上的检测方法。特别是,当我们将阳性检测的IoU阈值提高到0.7时,我们的检测机制在精细定位方面表现出了强大的优势,表现优于Faster R-CNN,比PASCAL VOC 2007高出+7.1%。
2016-12-20 cs.AI cs.CV cs.LG
Data-Driven Machine Learning Models for a Multi-Objective Flapping Fin Unmanned Underwater Vehicle Control System
Yale University(耶鲁大学);Naval Research Laboratory(美国海军研究实验室);University of Maryland College Park(马里兰大学帕克分校);Thomas Jefferson High School for Science and Technology(托马斯·杰斐逊科技高中)
拍动鳍无人水下航行器(UUV)推进系统为诸如监视和地形探测等海军任务提供了高机动性。最近的工作已经探索了使用时间序列神经网络代理模型来预测来自飞行器设计和鳍运动学的推力。我们开发了一个基于搜索的逆模型,利用运动学推力神经网络模型的控制系统设计。我们的逆模型发现了一组鳍运动学的多目标目标的目标,达到目标推力和创造一个平稳的运动学过渡之间的扑动周期。我们演示了如何集成此逆模型的控制系统可以在线,周期到周期的调整,以优先考虑不同的系统目标。
2022-09-14 cs.AI cs.LG cs.RO
Cycle Consistency Driven Object Discovery
Mila, University of Montreal(蒙特利尔大学Mila研究所);Google DeepMind(谷歌DeepMind)
本文提出循环一致性目标,约束每个对象对应独立 slot,并可嵌入现有基于 slot 的对象中心方法,在合成与真实场景及下游强化学习任务中均显著提升性能。
2023-12-07 cs.AI cs.CV cs.LG
Evolutionary Multi-Objective Optimization Driven by Generative Adversarial Networks
近年来,越来越多的研究者提出用机器学习模型来驱动进化算法,通常,这种基于模型的进化算法的性能很大程度上依赖于所采用的模型的训练质量,因为它通常需要一定的数据量(即由算法生成的候选解)进行模型训练时,性能随着问题规模的增加而迅速恶化,为了解决这一问题,提出了一种基于生成对抗网络(GANs)的多目标进化算法,在每一代算法中,首先将父解分为\emph{real}和\emph{fake}样本来训练GANs;然后由经过训练的GANs对后代解进行采样。由于GANs强大的生成能力,我们提出的算法能够在高-在有限训练数据的多维决策空间中,对10个决策变量多达200个的基准问题进行了测试,实验结果表明了该算法的有效性所提出的算法。
2020-04-07 cs.AI cs.LG cs.NE
TetraGrip: Sensor-Driven Multi-Suction Reactive Object Manipulation in Cluttered Scenes
University of Washington(华盛顿大学)
本文提出TetraGrip,一种配备四个带ToF传感器吸盘的反应式真空抓取系统,通过强化学习策略在堆叠和遮挡场景中比单吸盘夹爪提升22.86%的抓取成功率。
2025-03-12 cs.LG cs.RO cs.SY
Context-driven Visual Object Recognition based on Knowledge Graphs
Bosch Center for Artificial Intelligence(博世人工智能中心);Trier University(特里尔大学)
目前用于对象识别的深度学习方法是纯数据驱动的,需要大量的训练样本才能达到良好的效果。由于它们仅依赖于图像数据,这些方法在面对即使发生小偏差的新环境时往往会失败。然而,人类感知已被证明对这种分布偏移显著更鲁棒。据推测,他们的能力,以处理未知的情况下,是基于广泛纳入的上下文知识。上下文可以基于场景中的对象共现,也可以基于经验记忆。根据人类视觉皮层使用上下文来为所看到的图像形成不同的对象表示,我们提出了一种方法,通过使用编码在知识图谱中的外部上下文知识来增强深度学习方法。因此,我们从一个通用的知识图谱中提取不同的上下文视图,将视图转换到向量空间中,并将其注入DNN。我们进行了一系列的实验,以研究不同的上下文视图对同一图像数据集的学习对象表示的影响。实验结果提供了证据表明,上下文视图影响DNN中的图像表示不同,因此导致对相同图像的不同预测。我们还表明,上下文有助于加强对象识别模型的鲁棒性的分布图像,通常发生在迁移学习任务或现实世界的情况。
2022-10-20 cs.AI cs.CL cs.CV
Detection-Driven Object Count Optimization for Text-to-Image Diffusion Models
Tel-Aviv University(特拉维夫大学);Bar-Ilan University(巴伊兰大学)
本文提出检测驱动的目标数量优化框架,利用预训练计数模型与目标检测器引导文本到图像生成,通过计数token优化、检测驱动缩放校正和参数复用,实现高效、灵活且准确的目标数量控制。
2025-06-05 cs.AI cs.CV cs.GR