利用视觉语言基础模型通过上下文学习生成植物模拟配置
Using Vision Language Foundation Models to Generate Plant Simulation Configurations via In-Context Learning
AI总结：
本文利用视觉语言基础模型通过上下文学习生成植物模拟配置，解决高复杂度和低吞吐量的问题，提供可扩展的农业数字孪生框架。
摘要：
本文介绍了一个合成基准，用于评估视觉语言模型（VLMs）在生成数字孪生的植物模拟配置方面的性能。虽然功能-结构植物模型（FSPMs）是模拟农业环境中生物物理过程的有用工具，但其高复杂性和低吞吐量在大规模部署中造成瓶颈。我们提出了一种新的方法，利用最先进的开源VLMs--Gemma 3和Qwen3-VL--直接从基于无人机的遥感图像生成JSON格式的模拟参数。使用通过Helios 3D过程性植物生成库生成的合成豆科作物种植地块数据集，我们测试了五种上下文学习方法，并在三个类别上评估了模型：JSON完整性、几何评估和生物物理评估。我们的结果表明，尽管VLMs可以解释结构元数据并估计如植物数量和太阳方位角等参数，但它们由于上下文偏差或依赖数据集均值而经常出现性能下降。在真实世界无人机正射影像数据集上的验证以及使用盲基线进行的消融研究进一步表征了模型的推理能力与其对上下文先验的依赖。据我们所知，这是首次利用VLMs生成植物模拟的结构JSON配置的研究，提供了一个可扩展的框架，用于农业中数字孪生的3D种植地块重建。
英文摘要：
This paper introduces a benchmark for evaluating whether vision-language models (VLMs) can generate plant simulation configurations from imagery using in-context learning. We study this benchmark for cowpea plot reconstruction for plant simulations, where the VLM needs to generate structured JSON configurations that include field and plant information. Open-source multimodal models from Gemma 4 and Qwen3.5 families are evaluated on a synthetic cowpea dataset with known JSON ground truth and on a real drone orthophoto dataset with field-collected JSON. Five in-context learning methods are used, from format restriction instruction to few-shot image examples with auxiliary grounding information. The results show that VLMs can generate valid JSON outputs, can generally estimate days after planting (DAP), plant counts, plant locations, sun angles, and leaf chlorophyll content, and can render approximate simulations of cowpea plots. Error metrics fluctuate across model families and often remain worse than dataset baselines, particularly when VLMs' pretrained knowledge dominates over weak visual evidence. These results position image-to-simulation JSON generation as a promising but currently challenging task, and establish a benchmark for studying how multimodal reasoning, prompt design, and the sim-to-real domain gap affect plant phenotyping tasks.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
