Efficient Multi-Hop Question Answering over Knowledge Graphs via LLM Planning and Embedding-Guided Search
Department of Computer Science, Drexel University, Philadelphia, PA, USA(计算机科学系,德雷塞尔大学,费城,宾夕法尼亚州,美国)
本文提出两种混合算法,通过LLM规划和嵌入引导搜索实现高效且可验证的多跳知识图谱问答,提升推理效率与准确性。
2025-11-24 cs.AI cs.CL
HANIA: Planner-Guided Multimodal Graph Evidence Selection for Grounded Question Answering
Southeast University(东南大学);Portland Institute(波特兰研究所);Aristotle University of Thessaloniki(亚里士多德大学);Shandong University(山东大学)
本文提出HANIA框架,通过规划器引导的多模态图证据选择处理ScienceQA问答任务,无需目标数据集微调或迭代检索即可实现具竞争力的多模态问答。
2026-09-24 cs.AI
Credible Plan-Driven RAG Method for Multi-Hop Question Answering
Macau University of Science and Technology(澳门科学技术大学)
PAR-RAG通过引入复杂性感知的计划生成和双验证机制,提升了多跳问答任务中的推理稳定性和事实一致性,实现了更可靠的问答性能。
2026-01-12 cs.AI cs.CL
Faithful Question Answering with Monte-Carlo Planning
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tencent AI Lab(腾讯人工智能实验室)
针对大语言模型问答中推理步骤难以忠实呈现的问题,提出基于蒙特卡洛规划的FAME方法,将任务建模为离散决策问题,通过环境与控制器交互结合前瞻搜索生成结构化蕴涵树式推理,以更小模型在标准基准上取得最优性能。
2023-05-04 cs.CL
PlanSightRAG: A Visual-First Multimodal RAG for Automating Question Answering and Compliance Checking for Civil Standard Plans
University of Wyoming(怀俄明大学)
针对民用标准图纸的OCR自动化方法会丢失关键几何信息,本文提出视觉优先多模态RAG框架PlanSightRAG,整合多向量检索与智能体架构,构建基准数据集并验证其在检索、合规检查任务上的性能,还实现了自主视觉规则 grounding。
2026-08-27 cs.CL cs.CV cs.IR
MMAPG: A Training-Free Framework for Multimodal Multi-hop Question Answering via Adaptive Planning Graphs
University of New South Wales(新南威尔士大学);CSIRO Data61(CSIRO数据61)
本文提出无训练框架MMAPG,通过自适应规划图动态协调规划、检索与推理模块,在多模态多跳问答中实现灵活推理路径探索,并在MultimodalQA和WebQA上达到或超越依赖训练的模型。
2025-09-19 cs.AI
GlobalRAG: Enhancing Global Reasoning in Multi-hop Question Answering via Reinforcement Learning
GlobalRAG通过强化学习框架提升多跳问答的全局推理能力,引入规划质量奖励和子目标完成奖励,结合渐进权重退火策略,有效解决多步推理中的全局规划和执行不一致问题。
2026-03-16 cs.AI cs.CL
PlantExpertVQA: A Visual Question Answering Dataset for Benchmarking Vision-Language Models in Plant Science
Department of Robotics and Mechatronics Engineering, University of Dhaka(达卡大学机器人与机电工程系);Department of Botany, University of Dhaka(达卡大学植物学系)
PlantExpertVQA数据集旨在提升视觉语言模型在农业决策中的应用,包含765,186个高质量问答对,涵盖38种作物和89种病害,通过多阶段流程生成并经专家审核,验证了参数高效微调的有效性。
2026-06-27 cs.AI cs.CV cs.LG
Efficient Multimodal Planning Agent for Visual Question-Answering
ShanghaiTech University(上海科技大学);Alibaba Tongyi Lab(阿里云通义实验室)
本文提出了一种高效的多模态规划代理,通过动态分解mRAG流程,提升视觉问答任务的效率和性能。
2026-01-28 cs.CL
Text to Query Plans for Question Answering on Large Tables
CSIRO Data61(CSIRO数据61)
针对大型表格问答,提出一种将自然语言查询转化为查询计划的新框架,利用大语言模型迭代构建操作序列并直接在数据上执行,以支持复杂分析并克服上下文限制,实验验证其有效性。
2025-08-26 cs.AI cs.CL cs.DB
Self-Reflective Planning with Knowledge Graphs: Enhancing LLM Reasoning Reliability for Question Answering
State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室);University of Science and Technology of China(中国科学技术大学)
针对大语言模型在知识图谱问答中易产生幻觉的问题,提出自我反思规划框架,通过参考引导的迭代规划与反思生成可靠推理路径,在三个公开数据集上超越强基线。
2025-05-26 cs.CL
History-Aware Question Answering in a Blocks World Dialogue System
University of Rochester(罗切斯特大学)
基于对话的空间推理系统必须保持对世界历史状态的记忆。除了传达对话代理在精神上存在并参与任务之外,参考历史状态对于实现协作规划可能是至关重要的(例如,用于计划返回到先前状态或诊断过去的失误)。在本文中,我们将探讨多模态口语对话系统中的空间记忆问题,该系统能够在物理块世界设置中回答有关交互历史的问题。这项工作建立在一个完整的空间问答管道组成的视觉系统,语音输入和输出的动画化身,一个对话系统,强大的解释空间查询,和一个约束求解器,得出答案的基础上3-D空间建模。这项工作的贡献包括一个象征性的对话背景下,登记有关话语历史和世界变化的知识,以及一个自然语言理解模块能够解释自由形式的历史问题和查询对话背景,形成一个答案。
2020-05-26 cs.AI cs.CL cs.HC
Efficient Multi-Agent Collaboration with Tool Use for Online Planning in Complex Table Question Answering
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Augsburg(奥格斯堡大学);Hochschule der Medien(斯图加特媒体大学)
本文提出无需闭源模型和微调的多智能体工具使用协作框架MACT,通过规划智能体与编码智能体协作,在多个复杂表格问答基准上达到或超越先前最优系统性能。
2025-02-08 cs.CL
Agentic DAG-Orchestrated Planner Framework for Multi-Modal, Multi-Hop Question Answering in Hybrid Data Lakes
本文提出A.DOT规划框架,通过编译自然语言查询为DAG执行计划,实现多模态多跳问答,提升准确性和效率,并生成可追溯的证据链。
2026-03-15 cs.AI cs.SE
Long-form Question Answering: An Iterative Planning-Retrieval-Generation Approach
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research(IBM研究院)
针对长篇问答中仅凭问题难以定位相关上下文及需聚合多源知识的问题,提出迭代式规划-检索-生成模型,在开放域和技术域数据集上超越现有最优方法。
2023-11-15 cs.CL cs.LG
Prune-Then-Plan: Step-Level Calibration for Stable Frontier Exploration in Embodied Question Answering
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
Prune-Then-Plan通过分步校准稳定具身问答中的前沿探索,提升导航效率和回答质量。
2025-11-24 cs.AI cs.CV cs.RO
Human Mobility Question Answering (Vision Paper)
University of New South Wales(新南威尔士大学)
本文提出人类移动性问答(MobQA)任务,旨在让系统从移动数据中学习并回答问题,填补研究空白,并给出数据集和模型框架设计。
2023-10-13 cs.AI cs.CL
Can GPT Improve the State of Prior Authorization via Guideline Based Automated Question Answering?
inQbator AI at eviCore Healthcare, Evernorth Health Services(Evernorth Health Services旗下的inQbator AI)
该研究将保险预先授权中的资格标准验证建模为基于电子健康记录的问答,提出新型GPT提示方法,加权F1平均达0.61,优于标准提示。
2024-10-25 cs.AI cs.CL cs.LG
CityEQA: A Hierarchical LLM Agent on Embodied Question Answering Benchmark in City Space
National University of Defense Technology(国防科技大学);Tsinghua University(清华大学)
本文提出CityEQA城市空间具身问答任务及首个基准数据集CityEQA-EC,并设计分层智能体PMA,通过规划、管理与执行实现长程任务,达到人类60.7%的准确率,显著超越基线。
2025-05-22 cs.AI
ActiveFly-Bench: Aligning Embodied Question Answering with Vision-Language-Action for Aerial Embodied Perception
Tsinghua University(清华大学);Manifold AI(流形人工智能)
介绍用于无人机具身感知的ActiveFly-Bench基准测试,它分解主动感知为三个层次任务,收集数据集,开发集成视觉语言推理与细粒度控制的ActiveFly智能体,实验表明当前无人机智能体有困难,该基准成为具身空中智能新测试平台。
2026-08-11 cs.AI cs.RO
Conditional Generation with a Question-Answering Blueprint
Google Research(谷歌研究院)
针对神经序列到序列条件生成模型易产生幻觉、覆盖细节不足的问题,提出将问答对序列作为文本规划蓝图的方法,自动构建带蓝图的数据集并开发多种Transformer整合模型,实验证明其事实准确性更高、生成可控性更强。
2023-05-01 cs.CL
GraphEQA: Using 3D Semantic Scene Graphs for Real-time Embodied Question Answering
Carnegie Mellon University(卡内基梅隆大学);Neya Systems(Neya系统);Agility Robotics(敏捷机器人);Hello Robot;Bosch Center for AI(博世人工智能中心)
GraphEQA利用实时3D语义场景图和任务相关图像作为多模态记忆,结合分层规划引导探索,在未知环境中完成具身问答,在HM-EQA和OpenEQA基准上以更高成功率和更少步骤超越基线,并在真实环境验证。
2025-09-24 cs.CL cs.CV cs.LG
MoReVQA: Exploring Modular Reasoning Models for Video Question Answering
Google(谷歌);POSTECH(浦项科技大学);Pohang University of Technology and Science(浦项科技大学)
本文提出MoReVQA,一种多阶段模块化推理框架,通过事件解析、接地和推理阶段,无需训练,在多个视频问答基准上取得最先进结果。
2025-03-27 cs.AI cs.CV cs.LG
REAP: Enhancing RAG with Recursive Evaluation and Adaptive Planning for Multi-Hop Question Answering
针对现有RAG在多跳推理中缺乏全局规划、检索内容利用不足的问题,本文提出REAP方法,通过SP与FE模块实现递归评估和自适应规划,结合统一多任务微调范式,在多跳问答任务上取得了优于现有方法的性能。
2026-10-20 cs.CL
AnalyticsGPT: An LLM Workflow for Scientometric Question Answering
Elsevier B.V.(埃塞尔弗斯有限公司)
AnalyticsGPT通过LLM实现科学度量问答,结合检索增强生成和代理概念,提升科学数据分析效率。
2026-02-10 cs.CL cs.DL
PassiveQA: A Three-Action Framework for Epistemically Calibrated Question Answering via Supervised Finetuning
Indian Institute of Technology (BHU) Varanasi(印度理工学院(巴纳拉斯印度教大学)瓦拉纳西分校)
本文提出PassiveQA框架,通过监督微调解决信息不全时的问题回答,提升宏F1和退避召回率,减少幻觉。
2026-04-06 cs.AI cs.CL
EffiQA: Efficient Question-Answering with Strategic Multi-Model Collaboration on Knowledge Graphs
National University of Defense Technology(国防科技大学)
提出EffiQA框架,通过全局规划、高效KG探索和自我反思的迭代范式,在LLMs与知识图谱整合中实现推理准确性与计算成本的最优平衡。
2024-09-24 cs.CL
OmniRAG-Agent: Agentic Omnimodal Reasoning for Low-Resource Long Audio-Video Question Answering
本文提出OmniRAG-Agent,通过构建图像音频检索增强生成模块和代理循环,解决低资源长音频视频问答中的高成本编码、弱细粒度检索等问题,实验表明其在低资源环境下表现优异。
2026-03-30 cs.CL
A Survey of Large Language Model Agents for Question Answering
Computer Science Department George Mason Univeristy Fairfax, VA-22030
本文综述了基于大型语言模型的问答智能体,指出其通过LLM推理和外部环境交互克服传统智能体局限,并系统梳理了规划、问题理解、信息检索与答案生成等关键设计阶段,最后展望了未来研究方向。
2025-03-24 cs.AI cs.CL cs.HC
Retrieval--Reasoning Processes for Multi-hop Question Answering: A Four-Axis Design Framework and Empirical Trends
School of Computing and Information, University of Pittsburgh(计算与信息学院,匹兹堡大学);Google Cloud AI Research(谷歌云人工智能研究)
本文提出四维设计框架,分析多跳问答系统中检索-推理过程的执行计划、索引结构、控制策略和停止标准,揭示有效性、效率与证据忠实度的权衡,并指出结构感知规划、可转移控制策略和鲁棒停止是未来挑战。
2026-01-02 cs.CL
CacheRAG: A Semantic Caching System for Retrieval-Augmented Generation in Knowledge Graph Question Answering
HKUST Hong Kong China(香港理工大学(中国));HKUST(GZ) / HKUST Guangzhou / Hong Kong China (2018)(香港理工大学(广州)/ 香港理工大学(广州)/ 香港中国(2018))
针对LLM驱动的KGQA系统作为无状态规划器导致模式幻觉和检索覆盖有限的问题,提出CacheRAG,一种基于缓存的架构,通过模式无关接口、多样性优化缓存检索和有界启发式扩展,将无状态规划器转变为持续学习器,显著提升准确性和真实性。
2026-06-08 cs.CL cs.DB
Beyond Chains: Bridging Large Language Models and Knowledge Bases in Complex Question Answering
针对现有KBQA方法在复杂非链式问题上的局限,提出四阶段PDRR框架,通过问题分解、知识检索与智能体推理,在多类LLM骨干上实现更优的复杂问答性能。
2025-11-17 cs.CL cs.IR
Evaluating the Meta- and Object-Level Reasoning of Large Language Models for Question Answering
The University of Edinburgh(爱丁堡大学);Aveni(阿维尼公司)
针对LLM在复杂多步推理QA任务中的挑战,本文区分元级(高级策略规划)与对象级(低级任务执行)推理,提出Franklin数据集并结合其他数据集评估4个LLM,揭示其元级推理表现好但对象级推理存困难。
2025-02-14 cs.AI cs.CL
TraveLER: A Modular Multi-LMM Agent Framework for Video Question-Answering
University of California, Berkeley(加州大学伯克利分校)
TraveLER提出一种模块化多LMM智能体框架,通过遍历、定位、评估和重新规划四个步骤迭代收集视频信息,在多个VideoQA基准上无需微调即可提升性能。
2024-10-19 cs.AI cs.CL cs.CV
APEx: Distillation of Agent Procedural Experience for Adaptive Deep Research Question Answering
University of Science and Technology of China(中国科学技术大学);ByteDance Inc.(字节跳动公司);Chinese Academy of Sciences(中国科学院)
APEx是分层经验利用框架,通过三阶段交替GRPO训练优化Executor、Distiller、Planner模块,经7个基准测试性能超GPT-5.4和最强记忆增强基线,实现自适应深度研究问答。
2026-09-03 cs.AI cs.CL
SAGE: From Direct Answering to Evidence-Grounded Inference for Chinese Ancient Document Understanding
Fudan University(复旦大学);University of Liverpool(利物浦大学)
针对现有大型视觉语言模型(LVLMs)在古代文献理解中证据支撑不足的问题,本文提出SAGE多智能体框架,通过多阶段证据导向推理实现任务规划、证据获取与验证,在AncientDoc基准上优于基线,搭载Qwen3.5-9B的SAGE性能超更大单体模型。
2026-08-26 cs.AI cs.CL
Non-monotonic Logical Reasoning Guiding Deep Learning for Explainable Visual Question Answering
University of Auckland(奥克兰大学);University of Birmingham(伯明翰大学)
许多模式识别问题的现有算法依赖于深度网络模型。训练这些模型需要大量的标记数据集和大量的计算资源。此外,很难理解这些学习模型的工作原理,限制了它们在某些关键应用中的使用。为了解决这些限制,我们的架构从认知系统的研究中汲取灵感,并整合了常识逻辑推理,归纳学习和深度学习的原则。在回答有关场景和潜在分类问题的解释性问题时,该架构使用深度网络从图像中提取特征并生成查询答案。在这些深层网络之间,它嵌入了用于不完整常识领域知识的非单调逻辑推理和用于决策树归纳的组件。它还增量地学习和推理先前未知的控制域状态的约束。我们评估了模拟和现实世界的图像数据集的上下文中的架构,和一个模拟的机器人计算,执行,并提供解释性的描述计划。实验结果表明,与深度网络的“端到端”架构相比,当训练数据集很小时,我们的架构在分类问题上提供了更好的准确性,与较大数据集相当的准确性,以及对解释性问题的更准确答案。此外,以前未知的约束条件的增量采集提高了回答解释性问题的能力,并扩展非单调逻辑推理,以支持规划和诊断,提高了可靠性和效率的计算和执行计划的模拟机器人。
2019-09-23 cs.AI cs.CV cs.RO
Explore-over-Graph: Hybrid Embedding-LLM Reasoning for Knowledge Graph Question Answering under Incompleteness
New York University Abu Dhabi(纽约大学阿布扎比分校)
针对知识图谱不完整导致多跳问答推理路径断裂的问题,提出XoG框架,利用类型级统计和嵌入恢复缺失路径,LLM作语义选择器,在多个基准上优于可比方法并降低33%令牌消耗。
2026-10-06 cs.CL
Enter the Mind Palace: Reasoning and Planning for Long-term Active Embodied Question Answering
Field AI Research Institute (FAIRI)(Field AI研究机构);Stanford University(斯坦福大学)
针对长期主动具身问答任务,提出基于记忆宫殿的场景图记忆系统与信息价值停止准则,实现记忆检索与主动探索结合,显著提升答案准确性和探索效率。
2025-09-25 cs.AI cs.RO
LLM-based Discriminative Reasoning for Knowledge Graph Question Answering
School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院)
本文提出READS方法,将知识图谱问答重构为判别式子任务并设计相应推理策略,以缓解大语言模型的幻觉问题,在WebQSP和CWQ上取得最优性能。
2025-03-07 cs.CL
MMToM-QA: Multimodal Theory of Mind Question Answering
New York University(纽约大学);Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院);UC San Diego(加州大学圣迭戈分校);University of Virginia(弗吉尼亚大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出MMToM-QA多模态心理理论问答基准,并设计BIP-ALM结合统一表征、语言模型与贝叶斯逆向规划,揭示GPT-4等模型的ToM短板。
2024-06-15 cs.AI cs.CL cs.CV
SimpleLLM4AD: An End-to-End Vision-Language Model with Graph Visual Question Answering for Autonomous Driving
IEIT Systems(IEIT系统公司)
SimpleLLM4AD提出将端到端自动驾驶分解为感知、预测、规划、行为四阶段,通过视觉-语言模型逐阶段推理图视觉问答(GVQA)中的VQA对,实现基于语言的端到端驾驶,并在复杂场景中取得有竞争力的性能。
2024-07-31 cs.AI cs.CV
CLIFT: Analysing Natural Distribution Shift on Question Answering Models in Clinical Domain
Saama AI Research(萨马人工智能研究院)
本文提出临床领域问答任务的新测试平台CLIFT,包含7.5k样本,评估发现深度学习模型在新测试集上因分布偏移性能下降,强调需提升模型鲁棒性并采用相应评估指标。
2023-10-19 cs.AI cs.CL cs.CY
Accurate and Regret-aware Numerical Problem Solver for Tabular Question Answering
针对大语言模型处理表格问答中数值计算能力不足的问题,提出将LLMs作为规划器、Python解释器负责计算的TabLaP模型,还实现答案可信度量化方法,准确率较现有最优模型提升超5.7%和5.8%。
2025-06-15 cs.AI cs.CL
Neural Modular Control for Embodied Question Answering
Facebook AI Research(Facebook人工智能研究院);Georgia Institute of Technology(佐治亚理工学院)
我们提出了一个模块化的方法,从语言输入的长期规划视野的导航学习政策。我们的分层策略在多个时间尺度上运行,其中更高级别的主策略提出由专门的子策略执行的子目标。我们对子目标的选择是组合的和语义的,也就是说,它们可以按任意顺序顺序组合,并假设人类可解释的描述(例如“出口房间”,“找到厨房”,“找到冰箱”等)。我们使用模仿学习在层次结构的每个级别上热启动策略,大大提高了样本效率,然后是强化学习。在层次结构的每个级别上的独立强化学习使子策略能够适应其动作的后果并从错误中恢复。随后的联合分层训练使主策略能够适应子策略。关于具有挑战性的EQA(Das等人,2018)House3D中的基准(Wu等人,2018),需要导航不同的现实室内环境,我们的方法在导航和问答方面都大大优于以前的工作。
2019-05-02 cs.AI cs.CL cs.CV
CRIPP-VQA: Counterfactual Reasoning about Implicit Physical Properties via Video Question Answering
Arizona State University(亚利桑那州立大学)
视频通常捕捉对象、它们的可见属性、它们的运动以及不同对象之间的交互。物体还具有诸如质量之类的物理属性,这是成像管道无法直接捕获的。然而,这些属性可以通过利用来自相对对象运动和由碰撞引入的动态的线索来估计。在本文中,我们介绍CRIPP-VQA,一个新的视频问答数据集的推理场景中的对象的隐式物理属性。CRIPP-VQA包含运动中的物体的视频,注释有涉及行动效果的反事实推理的问题,关于达到目标的规划问题,以及关于物体可见属性的描述性问题。CRIPP-VQA测试集可以在几种分布外设置下进行评估-具有质量,摩擦系数和初始速度的对象的视频在训练分布中没有观察到。我们的实验揭示了一个令人惊讶的和显着的性能差距,在回答问题的隐式属性(本文的重点)和显式属性的对象(以前的工作的重点)。
2022-11-07 cs.CL cs.CV
CIFQA: A Deterministic Tool-Grounded Multi-Agent LLM Framework for Financial Query Answering
School of Artificial Intelligence and Data Science, Indian Institute of Technology Jodhpur(印度理工学院焦特布尔分校人工智能与数据科学学院)
本研究针对LLM多步骤金融计算易出错的问题,提出CIFQA多智能体框架,在定期存款查询基准上准确率达95.54%,且17B开源模型在该框架内表现优于更大前沿模型,证明架构设计对数值可靠性更关键。
2026-08-28 cs.AI cs.CL q-fin.CP
QPaug: Question and Passage Augmentation for Open-Domain Question Answering of LLMs
Korea University(高丽大学);Hanbat National University(韩巴大学)
提出QPaug方法,通过LLMs将问题分解为多步子问题并生成辅助段落,增强查询与检索质量,显著提升了开放域问答中RAG的性能。
2024-09-27 cs.AI cs.CL
A Hybrid Search for Complex Table Question Answering in Securities Report
针对LLMs难以捕捉复杂表格结构导致问答错误的问题,提出基于混合检索机制估计表头、交叉点选答案且模型经对比学习优化的方法,在U4数据集上准确率达74.6%,优于GPT-4o mini等模型。
2025-11-12 cs.AI cs.CL
Text-to-SPARQL Goes Beyond English: Multilingual Question Answering Over Knowledge Graphs through Human-Inspired Reasoning
WSE Research Group, Leipzig University of Applied Sciences(莱比锡应用科学大学WSE研究组);DICE Research Group, University of Paderborn(波德恩堡大学DICE研究组)
针对多语言知识图谱问答,本文提出受人类启发的 mKGQAgent 框架,通过 LLM 智能体协同完成规划、实体链接与查询精化,并在 Text2SPARQL 2025 两项基准中夺冠。
2025-07-22 cs.AI cs.CL cs.IR
Meet, Compare, or Abstain: LatWeave for Deterministic Multi-Hop Question Answering on Knowledge Lattices
ZenSmart Technology (Beijing) Co., Ltd.(中数睿智科技(北京)有限公司)
LatWeave 将知识组织为多维格,通过相遇、比较和弃权三个确定性算子实现多跳问答,确保答案路径零 LLM、可审计,并在完整知识下保持高性能,在信息不完整时可靠弃权。
2026-09-24 cs.AI cs.CL cs.IR
PCQPR: Proactive Conversational Question Planning with Reflection
School of Information, Renmin University of China(中国人民大学信息学院);Singapore Management University(新加坡管理大学)
针对传统对话问题生成缺乏目标导向远见的问题,提出 PCQPR,结合 MCTS 式规划与 LLM 自我精炼来主动规划并优化提问,显著优于现有方法。
2024-10-02 cs.AI cs.CL
A Multimodal Social Agent
针对大语言模型社交能力与计算机结合潜力待挖掘的问题,提出基于多模态大语言模型的社交智能体MuSA,采用多策略完成多类以人为中心的内容分析任务,实验表现显著优于基线。
2024-12-11 cs.AI cs.CL
On the Promises and Challenges of Multimodal Foundation Models for Geographical, Environmental, Agricultural, and Urban Planning Applications
University of Florida(佛罗里达大学);University of Georgia(佐治亚大学);Tsinghua University(清华大学)
本文评估GPT-4V在地理、环境、农业和城市规划任务中的表现,发现其在定位、分类和视觉问答上有潜力,但在细粒度识别和计数上存在局限,展示了多模态基础模型的优势与挑战。
2023-12-23 cs.AI cs.CV