Towards Autonomous Visual Navigation in Arable Fields
University of Bonn(波恩大学)
机器人在农业领域的自主导航对于从作物监测到杂草管理和施肥的每项任务都至关重要。许多当前的方法依赖于精确的GPS,然而,这种技术是昂贵的并且还容易失败(例如,由于缺乏覆盖)。因此,通过可以解释其环境的传感器(如摄像头)进行自主导航对于实现农业自主化目标非常重要。在本文中,我们介绍了一个纯粹的基于视觉的导航方案,能够可靠地引导机器人通过行作物领域,而无需人工干预。独立于任何全局定位或映射,该方法能够准确地跟随作物行并在行之间切换,仅使用机载相机。借助于一种新的作物行检测和一种新的作物行切换技术,我们的导航方案可以部署在各种领域与不同的冠层类型在不同的生长阶段与有限的参数调整,创建一个作物不可知的导航方法。我们使用我们的农业机器人平台(BonnBot-I)在不同照明条件下的三个不同领域广泛评估了我们的方法。对于导航,我们的方法进行了评估五种作物类型,并实现了平均导航精度为3.82厘米相对于手动遥控。
2022-07-01 cs.CV cs.RO
Semantic and Visual Crop-Guided Diffusion Models for Heterogeneous Tissue Synthesis in Histopathology
Mayo Clinic(梅奥诊所)
该研究提出结合语义分割图与组织特异性视觉裁剪的双条件潜在扩散模型,可生成高保真异质组织病理学图像,在下游分割任务上性能接近真实数据训练效果,且能扩展至无标注大规模数据集,缓解计算病理学数据瓶颈。
2025-10-01 cs.CV
Waypoint Generation in Row-based Crops with Deep Learning and Contrastive Clustering
Politecnico di Torino(都灵理工大学);PIC4SeR (PoliTo Interdepartmental Centre for Service Robotics)(PIC4SeR(都灵理工大学服务机器人跨部门中心))
精准农业的发展逐渐在农业过程中引入了自动化,以支持和合理化与田间管理有关的所有活动。特别是,服务机器人在这一发展中发挥了主导作用,部署了自主智能体,能够在田间导航,同时执行不同的任务,而不需要人为干预,如监测,喷洒和收获。在这种情况下,全局路径规划是每个机器人任务的第一个必要步骤,并确保有效地执行导航并具有完整的现场覆盖范围。在本文中,我们提出了一种基于学习的方法来解决航点生成规划的导航路径行为基础的作物,从一个俯视图的区域的兴趣。我们提出了一种新的方法,路点聚类的基础上的对比损失,能够项目的点到一个可分离的潜在空间。提出的深度神经网络可以同时预测航路点位置和集群分配与两个专门的头在一个单一的向前通过。在模拟和真实图像上的大量实验表明,所提出的方法有效地解决了直线和弯曲行作物的航路点生成问题,克服了以前最先进的方法的局限性。
2022-06-23 cs.AI cs.CV cs.LG
VisualNeedle: Benchmarking Active Visual Search in Information-Dense Scenes
Hunyuan, Tencent(腾讯 Hunyuan);Peking University(北京大学);Zhejiang University(浙江大学)
针对多模态大语言模型在细粒度感知基准中依赖捷径而非真实视觉证据的问题,提出VisualNeedle基准,通过反事实裁剪-黑化设置评估模型在信息密集场景中的主动视觉搜索能力,实验表明最佳模型准确率仅56.01%,落后人类63.00%。
2026-10-01 cs.AI cs.CV
Image Cropping with Composition and Saliency Aware Aesthetic Score Map
Shanghai Jiao Tong University(上海交通大学);Versa Inc(Versa公司)
图像的美学裁剪是一项实用而又具有挑战性的任务,其目的是在图像中找到具有最高美学质量的最佳裁剪。近年来,许多深度学习方法被提出来解决这个问题,但它们并没有揭示审美评价的内在机制。在本文中,我们提出了一个可解释的图像裁剪模型来揭开神秘的面纱。对于每个图像,我们使用一个完全卷积的网络来生成一个美学评分图,在作物级美学评估过程中,所有候选作物都可以共享该评分图。然后,我们要求美学评分图既具有构图意识又具有显著性意识。特别地,相同区域基于其在不同作物中的相对位置被分配有不同的美学分数。此外,视觉上显著的区域应该具有更敏感的美学分数,以便我们的网络可以学习将显著对象放置在更合适的位置。这样的美学评分图可用于定位图像中美学上重要的区域,这揭示了我们模型学习的构图规则。我们展示了我们的模型在几个基准数据集上的图像裁剪任务中的竞争性能,并且还展示了它在现实世界应用中的通用性。
2019-11-24 cs.CV
Paddy Doctor: A Visual Image Dataset for Automated Paddy Disease Classification and Benchmarking
Manonmaniam Sundaranar University(马诺尼亚曼·桑达拉纳大学)
水稻种植者面临的一个关键的生物压力因素是由细菌、真菌和其他生物引起的疾病。这些病害严重影响植物的健康,导致严重的作物损失。大多数这些疾病可以通过在专家监督下定期观察叶子和茎来识别。在一个农业面积广阔、作物保护专家有限的国家,人工识别水稻病害具有挑战性。因此,为了解决这个问题,有必要使疾病识别过程自动化,并提供易于访问的决策支持工具,以实现有效的作物保护措施。然而,缺乏具有详细疾病信息的公共数据集的可用性限制了准确疾病检测系统的实际实施。介绍了一种用于水稻病害识别的可视化图像数据集\emph{Paddy Doctor}。我们的数据集包含16,225个注释的水稻叶片图像,分为13个类别(12种疾病和正常叶片)。我们使用卷积神经网络(CNN)和四个基于迁移学习的模型(VGG 16,MobileNet,Xception和ResNet 34)对\emph{Paddy Doctor}数据集进行了基准测试。实验结果表明,ResNet34获得了最高的F1分数,为97.50%。我们在开源中发布我们的数据集和可复制的代码供社区使用。
2022-11-25 cs.CV
Global Compression Commander: Plug-and-Play Inference Acceleration for High-Resolution Large Vision-Language Models
Alibaba(阿里巴巴)
本文提出GlobalCom²框架,通过全局缩略图引导局部裁剪压缩,实现高分辨率LVLMs的高效推理加速。
2026-01-13 cs.CV
CRoPS: A Training-Free Hallucination Mitigation Framework for Vision-Language Models
Indian Institute of Technology (ISM)(印度理工学院(ISM));Transmute AI;National University of Singapore(新加坡国立大学)
CRoPS通过选择性移除关键文本标记和广义对比解码,有效缓解视觉-语言模型的幻觉问题,提升CHAIR分数20%并优于现有无训练方法。
2026-01-02 cs.CV
Bayesian Decision Making to Localize Visual Queries in 2D
Northeastern University(东北大学)
本文针对 EGO4D 2023 视觉查询二维定位任务,提出用 transformer 高维相似性作为先验、结合 Siamese Head 低维相似性作为测量的贝叶斯决策方法,以降低假阳性并提升定位精度。
2023-05-28 cs.CV
Visual Pre-Training on Unlabeled Images using Reinforcement Learning
该研究将无标注图像视觉预训练建模为强化学习问题,通过智能体变换图像训练价值函数,可借助奖励函数利用精选图像或弱标注字幕优化特征学习,在多类真实无标注数据上实现了更好的图像表征。
2025-06-13 cs.CV cs.LG
Object-Level Explanations for Image Geolocation Models: a GeoGuessr use-case
ENAC, University of Toulouse(ENAC,图卢兹大学);IRIT, University of Toulouse, ANITI(IRIT,图卢兹大学,ANITI);CNRS(国家科学研究中心)
研究通过对象中心分析流程探讨图像定位模型使用的视觉证据,通过删除和插入测试验证属性引导的裁剪比随机区域更具预测相关性,表明属性图可分解为可解释的感知元素。
2026-04-29 cs.CV
LAP: A Language-Aware Planning Model For Procedure Planning In Instructional Videos
Örebro University(奥雷布罗大学)
LAP通过利用语言描述提升过程规划的准确性,实现教学视频中动作序列的高效生成。
2026-03-10 cs.CV
CA-Cut: Crop-Aligned Cutout for Data Augmentation to Learn More Robust Under-Canopy Navigation
Learning and SEnsing Research (LaSER) laboratory at Kennesaw State University(学习与感知研究(LaSER)实验室,肯纳邦大学)
针对冠层下导航训练数据不足与遮挡问题,提出 CA-Cut 增强方法,通过在作物行附近分布遮罩模拟遮挡,提升语义关键点预测的精度、鲁棒性与跨环境泛化能力。
2025-07-24 cs.CV cs.RO
Enhancing Visual Planning with Auxiliary Tasks and Multi-token Prediction
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Meta
本文提出VideoPlan,通过辅助任务增强和多token预测解决长时程视觉规划中的数据稀缺与动作空间建模不足问题,在COIN和CrossTask上取得领先性能。
2025-07-20 cs.CV
Visual Planning: Let's Think Only with Images
Language Technology Lab, University of Cambridge(剑桥大学语言技术实验室);Google(谷歌公司)
本文提出视觉规划范式,通过图像进行推理,优于纯文本推理,在视觉导航任务中表现更优。
2026-02-20 cs.AI cs.CL cs.CV
Towards assessing agricultural land suitability with causal machine learning
National Observatory of Athens(雅典国家天文台);National Technical University of Athens(雅典国家技术大学)
了解农业土地是否适合采用特定的管理做法,对于可持续和有复原力的农业应对气候变化至关重要。因果机器学习领域的最新发展使得能够针对由一组观察到的特征描述的样本来估计干预对感兴趣的结果的影响。我们引入了一个可扩展的数据驱动的框架,利用地球观测和框架农业土地适宜性作为一个地理空间影响评估问题,其中农业实践对农业生态系统的估计影响作为土地适宜性评分和指导决策。我们将其定义为因果机器学习任务,并讨论如何将这种方法用于气候变化中的农业规划。具体而言,我们提取的“作物轮作”和“景观作物多样性”的农业管理措施,从作物类型地图,占气候和土地利用数据,并使用双机器学习,以估计其对净初级生产力(NPP)的异质性影响,在比利时佛兰德斯地区从2010年到2020年。结果表明,轮作对净初级生产力的影响不显著,而景观作物多样性对净初级生产力的影响较小。最后,我们观察到相当大的影响异质性的空间,这两种做法,并分析它。
2022-04-27 cs.AI cs.CV cs.LG
Multi-label Instance-level Generalised Visual Grounding in Agriculture
College of Science and Engineering(科学与工程学院);James Cook University(詹姆斯库克大学);Centre for AI and Data Science Innovation(人工智能与数据科学创新中心)
本文提出 Weed-VG 框架,通过多标签层次相关性评分和插值驱动回归,提升农业实例级视觉 grounding 能力,并提供精准农业中的 VG 方法基准。
2026-03-05 cs.CV
Learning Concept-Based Causal Transition and Symbolic Reasoning for Visual Planning
Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院(BIGAI));Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Yuanpei College, Peking University(北京大学元培学院);University of California, Los Angeles (UCLA)(加利福尼亚大学洛杉矶分校)
提出可解释且可泛化的视觉规划框架,包含基于替换的概念学习器、符号抽象与推理及视觉因果转移模型,在基于AI2-THOR的大规模数据集CCTP上表现优越并具备对未见数据的泛化能力。
2024-03-27 cs.AI cs.CV cs.LG
What Should I Do Now? Marrying Reinforcement Learning and Symbolic Planning
Paul G. Allen School of Computer Science, University of Washington(华盛顿大学保罗·G·艾伦计算机科学学院);Nvidia Allen Institute for Artificial Intelligence(英伟达艾伦人工智能研究所)
长期规划对许多强化学习算法构成了主要困难。这个问题在动态视觉环境中变得更加明显。在这项工作中,我们提出了层次规划和强化学习(HIP-RL),这是一种将符号规划的优势和功能与深度强化学习的学习能力相结合的方法。我们将HIPRL应用于交互式问答和视觉语义规划的复杂视觉任务,并在三个具有挑战性的数据集上实现了最先进的结果,同时在测试时采取更少的步骤,并在更少的迭代中进行训练。示例结果可在youtu.be/0TtWJ_0mPfI上找到
2019-01-06 cs.CV
Trajectory-Constrained Deep Latent Visual Attention for Improved Local Planning in Presence of Heterogeneous Terrain
McGill University(麦吉尔大学)
我们提出了一种奖励预测,基于模型的深度学习方法,具有强制约束的视觉注意力,用于视觉导航任务中的局部规划。我们的方法学习将视觉注意力放在潜像空间中的位置,这些位置遵循车辆控制动作引起的轨迹,以提高规划过程中的预测准确性。注意力模型由特定于任务的损失和额外的冗余约束损失共同优化,允许自适应性,但鼓励正则化结构,以提高泛化能力和可靠性。重要的是,视觉注意力被应用在潜在的特征映射空间,而不是原始图像空间,以促进有效的规划。我们验证了我们的模型在视觉导航任务规划低湍流,无碰撞的轨迹在越野设置和爬山锁定差速器在湿滑的地形。实验涉及随机程序生成的模拟和现实世界的环境。我们发现,与无注意和自注意替代方案相比,我们的方法提高了泛化和学习效率。
2022-05-25 cs.CV cs.LG cs.RO
Learning Visual Spatial Planning from Symbolic State via Modality-Gap-Aware Self-Distillation
Tsinghua University(清华大学);The Hong Kong University of Science and Technology(香港科技大学)
提出MGSD两阶段框架,通过冷启动接地和特权教师蒸馏弥合视觉与符号规划之间的模态差距,在视觉规划基准上显著提升性能。
2026-08-10 cs.AI cs.CV
Probing Visual Planning in Image Editing Models
Shanghai Jiao Tong University(上海交通大学);Renmin University of China(中国人民大学);State Key Laboratory of General Artificial Intelligence, BIGAI(通用人工智能国家重点实验室,BIGAI)
本文提出EAR框架,通过抽象谜题和生成数据集AMAZE,评估图像编辑模型的视觉规划能力,发现模型在零样本设置下表现不佳,但微调后能有效泛化。
2026-10-27 cs.AI cs.CV
Character-Centric Story Visualization via Visual Planning and Token Alignment
The University of Tokyo(东京大学);University of California Los Angeles(加州大学洛杉矶分校);AWS AI Labs(AWS人工智能实验室)
故事可视化通过支持基于完整故事的多个图像生成来推进传统的文本到图像生成。这个任务要求机器1)理解长文本输入,2)产生一个全局一致的图像序列来说明故事的内容。一致的故事可视化的一个关键挑战是保留故事中必不可少的角色。为了应对这一挑战,我们建议适应最近的工作,增强矢量量化变分自编码器(VQ-VAE)的文本到视觉令牌(Transformer)架构。具体来说,我们修改了文本到视觉令牌模块的两个阶段的框架:1)字符令牌规划模型,预测的视觉令牌的字符; 2)视觉令牌完成模型,生成剩余的视觉令牌序列,这是发送到VQ-VAE完成图像生成。为了鼓励字符出现在图像中,我们进一步训练两阶段的框架与字符令牌对齐的目标。大量的实验和评估表明,该方法在保持字符,可以产生更高质量的图像序列相比,强基线。代码可以在https://github.com/sairin1202/VP-CSV中找到
2022-10-22 cs.CL cs.CV
LAVE: Latent Visual Evidence-Enhanced Planning for Video Tool-use Agents
针对视频工具使用智能体的工具观测瓶颈,提出无训练框架LAVE,通过双通道观测接口复用隐式视觉证据,在三个基准数据集上提升了智能体性能,Video-MME得分较最强基线提高3.76分。
2026-08-11 cs.CV cs.LG cs.MA
Visual Semantic Planning using Deep Successor Representations
Stanford University(斯坦福大学);University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Carnegie Mellon University(卡内基梅隆大学)
现实世界智能代理的一个关键能力是他们计划一系列行动以实现其在视觉世界中的目标的能力。在这项工作中,我们解决视觉语义规划的问题:从视觉观察,将动态环境从初始状态到目标状态的动作序列预测的任务。这样做需要了解对象及其启示,以及行动及其先决条件和效果。我们建议通过与视觉和动态环境的互动来学习这些。我们提出的解决方案涉及自举强化学习与模仿学习。为了确保跨任务泛化,我们开发了一个基于后继表示的深度预测模型。我们的实验结果表明,在具有挑战性的THOR环境中,在广泛的任务中接近最佳的结果。
2017-08-15 cs.CV cs.LG cs.RO
Learning Visual Planning Models from Partially Observed Images
Sun Yat-sen University(中山大学);Guangdong Polytechnic Normal University(广东技术师范大学)
在经典规划中,规划模型学习越来越受到人们的关注。然而,大多数现有的方法,专注于学习规划模型的符号表示的结构化数据。在现实世界的场景中,通常很难获得这样的结构化数据。虽然已经开发了许多方法来从完全观察到的非结构化数据(例如,图像),在许多情况下,原始观察往往是不完整的。在本文中,我们提供了一个新的框架,\aType{Recplan},学习过渡模型从部分观察到的原始图像痕迹。更具体地说,通过考虑跟踪中的先前和后续图像,我们学习原始观察的潜在状态表示,然后基于这些表示构建过渡模型。此外,我们提出了一种基于神经网络的方法来学习一个启发式模型,估计到一个给定的目标观测的距离。基于学习的过渡模型和启发式模型,我们实现了一个经典的规划器的图像。我们的经验表明,我们的方法是更有效的比一个国家的最先进的方法学习视觉规划模型的环境中不完整的观察。
2022-11-25 cs.AI cs.CV cs.LG
Sparse Imagination for Efficient Visual World Model Planning
Graduate School of Data Science, Seoul National University(数据科学研究生院,首尔国立大学);Department of Electrical and Computer Engineering, Seoul National University(电气与计算机工程系,首尔国立大学)
本文提出稀疏想象方法,通过减少标记处理数量提升视觉世界模型规划效率,同时保持高控制保真度。
2026-02-26 cs.AI cs.CV cs.RO
Hallucinative Topological Memory for Zero-Shot Visual Planning
Berkeley AI Research, University of California, Berkeley(加州大学伯克利分校伯克利人工智能研究);Technion(以色列理工学院(Technion))
在视觉规划(VP)中,智能体从离线获得的动态系统的观察中学习规划目标导向的行为,例如,从自我监督机器人交互中获得的图像。以前的大多数VP工作都是通过在学习的潜在空间中进行规划来解决这个问题的,这导致了低质量的视觉计划和困难的训练算法。在这里,相反,我们提出了一个简单的VP方法,直接在图像空间中规划,并显示有竞争力的性能。我们建立在半参数拓扑记忆(SPTM)的方法:图像样本被视为节点在一个图形中,图形的连通性是从图像序列数据学习,并可以使用传统的图形搜索方法进行规划。我们提出了两个修改SPTM。首先,我们训练一个基于能量的图连接功能,使用对比预测编码,承认稳定的训练。其次,为了允许在新的域中进行zero-shot规划,我们学习了一个条件VAE模型,该模型在给定域的上下文的情况下生成图像,并使用这些幻觉样本来构建连接图和规划。我们表明,这种简单的方法显着优于国家的最先进的VP方法,在计划的可解释性和成功率方面,当使用该计划来指导一个自动跟踪控制器。有趣的是,我们的方法可以拾取对象的非平凡视觉属性,例如它们的几何形状,并在计划中考虑它。
2020-02-27 cs.AI cs.CV cs.LG
Visual Cue Guided Video Planning for Generalizable Robot Navigation
Technical University of Munich(慕尼黑工业大学);Massachusetts Institute of Technology(麻省理工学院);Örebro University(厄勒布鲁大学)
提出CueNav,结合视觉提示引导的视频规划与逆动力学模型,实现长视界、具身感知的泛化机器人导航,显著提升迷宫和狭窄通道成功率。
2026-09-17 cs.AI cs.CV cs.LG
ThinkAct: Vision-Language-Action Reasoning via Reinforced Visual Latent Planning
NVIDIA;National Taiwan University(国立台湾大学)
本文提出ThinkAct双系统框架,通过强化视觉潜在规划连接多模态大语言模型的高层推理与低层动作执行,在具身AI任务中实现少样本适应、长时程规划与自我纠正。
2025-09-18 cs.AI cs.CV cs.LG
Long-Horizon Visual Planning with Goal-Conditioned Hierarchical Predictors
USC(南加州大学);UPenn(宾夕法尼亚大学);UC Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
预测和规划未来的能力是智能体在世界上行动的基础。为了达到一个遥远的目标,我们在多个时间尺度上预测轨迹,首先设计一个粗略的目标计划,然后逐渐填充细节。相比之下,目前用于视觉预测和规划的学习方法在长时间任务上失败,因为它们生成预测(1)不考虑目标信息,(2)以最好的时间分辨率,一次一步。在这项工作中,我们提出了一个框架,视觉预测和规划,是能够克服这两个限制。首先,我们制定的问题,预测到一个目标,并提出相应的类的潜在空间目标条件的预测(GCPs)。通过将搜索空间限制为仅到达目标的那些轨迹,GCP显著地提高了规划效率。此外,我们展示了如何GCPs可以自然地制定为分层模型,给定两个观测值,预测它们之间的观测值,并通过递归细分轨迹的每个部分生成完整的序列。这种分而治之的策略是有效的长期预测,并使我们能够设计一个有效的层次规划算法,优化轨迹在一个由粗到细的方式。我们表明,通过使用目标条件和层次预测,GCPs使我们能够解决视觉规划任务的时间比以前可能的要长得多。
2020-11-27 cs.AI cs.CV cs.LG