TextGames: Learning to Self-Play Text-Based Puzzle Games via Language Model Reasoning
Capital One(第一资本金融公司);Brown University(布朗大学)
本文提出TextGames基准,通过文本谜题评估大语言模型的推理能力,发现模型在困难任务上表现不佳,而推理优化模型优于指令遵循模型。
2025-02-25 cs.AI cs.CL
SpartQA: : A Textual Question Answering Benchmark for Spatial Reasoning
Michigan State University(密歇根州立大学);Amazon(亚马逊);Allen Institute for AI(艾伦人工智能研究所)
本文提出了一个问答(QA)基准空间推理的自然语言文本,其中包含更现实的空间现象没有被以前的工作,是具有挑战性的国家的最先进的语言模型(LM)。我们提出了一种远程监控的方法,以改善这项任务。具体来说,我们设计的语法和推理规则,自动生成的视觉场景和相应的QA对的空间描述。实验表明,在这些自动生成的数据上进一步预训练LM可以显着提高LM的空间理解能力,这反过来有助于更好地解决两个外部数据集bAbI和boolQ。我们希望这项工作可以促进调查更复杂的模型,空间推理的文本。
2021-04-12 cs.AI cs.CL
Ask an Expert: Leveraging Language Models to Improve Strategic Reasoning in Goal-Oriented Dialogue Models
The University of Tokyo(东京大学)
本文提出“询问专家”框架,让对话模型在每轮可咨询大语言模型专家并选择性采纳建议,在心理健康支持任务中相比基线提升约10%,接近人类水平。
2023-05-29 cs.AI cs.CL cs.HC
How Clued up are LLMs? Evaluating Multi-Step Deductive Reasoning in a Text-Based Game Environment
Georgetown University(乔治城大学);Syntheos, Corp(Syntheos公司);UNU-Merit
本文通过文本多智能体版经典棋盘游戏Clue评估LLM的多步骤演绎推理能力,发现即使在结构化逻辑谜题微调后,推理一致性仍难以维持,且推理精度未显著提升。
2026-03-17 cs.AI cs.CL
Discourse-Aware Graph Networks for Textual Logical Reasoning
Sun Yat-sen University(中山大学);Tencent AI Lab(腾讯人工智能实验室);Huawei(华为);University of Liverpool(利物浦大学)
本文提出语篇感知图网络DAGNs,通过构建逻辑图并端到端演化逻辑关系来增强文本逻辑推理问答能力,实验验证了其有效性和泛化性。
2023-04-19 cs.AI cs.CL
Reasoning over Uncertain Text by Generative Large Language Models
Michigan State University(密歇根州立大学);Florida Institute for Human and Machine Cognition(佛罗里达人类与机器认知研究所);University of West Florida(西佛罗里达大学)
本文针对大语言模型概率推理能力不足的问题,提出贝叶斯语言推理数据集BLInD及多种形式化提示策略,并通过实验验证了这些策略在多个LLMs上的有效性。
2024-12-27 cs.AI cs.CL
$\texttt{LM}^\texttt{2}$: A Simple Society of Language Models Solves Complex Reasoning
Microsoft Research, India(微软研究院(印度));IIT Delhi, India(印度德里理工学院)
针对LLM多步推理中分解与求解脱节的问题,本文提出LM2,用分解器、求解器和验证器三种语言模型经策略学习协调配合,在多个推理基准上显著超越基线。
2024-04-02 cs.AI cs.CL
Graph-O1 : Monte Carlo Tree Search with Reinforcement Learning for Text-Attributed Graph Reasoning
Wayne State University(韦恩州立大学)
Graph-O1通过整合蒙特卡洛树搜索与强化学习,实现文本属性图的分步交互推理,提升问答任务的准确性和可解释性。
2025-11-26 cs.AI cs.CL
mSCoRe: a $M$ultilingual and Scalable Benchmark for $S$kill-based $Co$mmonsense $Re$asoning
Department of Computer Science, University of Oregon(俄勒冈大学计算机科学系);Adobe Research(Adobe研究)
针对多语言常识推理评估的空白,提出包含技能分类体系、数据合成流水线和复杂度扩展框架的mSCoRe基准,实验表明现有推理增强LLM在更高复杂度的多语言常识推理上仍存在显著局限性。
2025-08-13 cs.AI cs.CL
Reasoning in the Dark: Interleaved Vision-Text Reasoning in Latent Space
The Hong Kong Polytechnic University(香港理工大学);Singapore Management University(新加坡管理学院);Shandong University(山东大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
本文提出IVT-LR方法,通过在潜在空间中交织视觉和文本信息,提升多模态推理的效率和准确性。
2026-01-28 cs.AI cs.CL cs.CV
Beyond Factual Accuracy: Evaluating Global Reasoning Integrity in RAG Systems with LogicScore
Shanxi University(山西大学);Nanjing University of Science and Technology(南京理工大学);University of Manchester(曼彻斯特大学);Singapore University of Technology and Design(新加坡科技设计大学);University of Edinburgh(爱丁堡大学)
本文提出LogicScore,通过全局推理审查弥补RAG系统在长文本生成中逻辑完整性不足的问题,揭示模型在事实准确性高但全局推理质量差的缺陷。
2026-07-29 cs.CL
Learning from Mistakes: Self-correct Adversarial Training for Chinese Unnatural Text Correction
Jinan University(暨南大学);Chiba University(千叶大学);Guangxi Key Laboratory of Trusted Software(广西可信软件重点实验室)
针对文本纠错中的暴露偏差问题,提出与任务和模型无关的自我纠正对抗训练框架LIMIT,利用推理阶段暴露的错误进行训练并设计解码干预策略保持语义一致,实验证明其优于现有方法且可作为即插即用模块扩展。
2024-12-23 cs.CL
Position: Reasoning After Perception Means Reasoning Without Vision
Tsinghua University(清华大学);Peking University(北京大学);National University of Singapore(新加坡国立大学);Zhongguancun Academy(中关村学院);Nanjing University(南京大学);Nankai University(南开大学)
本文质疑多模态研究中语言推理能弥补视觉缺陷的假设,提出“感知-推理”范式导致视觉推理退化为文本空间推理,并通过图灵眼测试验证文本推理无法修复感知失败,主张转向感知内的推理。
2026-06-25 cs.AI cs.CL cs.CV
OCR-Reasoning Benchmark: Unveiling the True Capabilities of MLLMs in Complex Text-Rich Image Reasoning
South China University of Technology(华南理工大学);Huawei Technologies Co., Ltd(华为技术有限公司)
提出OCR-Reasoning基准,包含1069个人工标注样本,覆盖6种核心推理能力和18个实际推理任务,通过双标注(最终答案和逐步推理过程)评估多模态大语言模型在文本丰富图像推理中的能力,发现最先进模型准确率均低于50%。
2026-05-26 cs.AI cs.CL cs.CV
Optical Reasoning: Rethinking Images as an Expressive Reasoning Medium Beyond Text
The Hong Kong Polytechnic University(香港理工大学)
提出光学推理概念,将图像作为独立推理媒介,通过排版和图形两种变体实现,在语言和多模态任务中匹配或超越文本推理,同时减少推理令牌。
2026-06-08 cs.AI
Puzzle Solving without Search or Human Knowledge: An Unnatural Language Approach
PeopleTec, Inc.(PeopleTec公司);University of Maryland, College Park(马里兰大学学院市分校)
应用生成式预训练Transformer(GPT-2)来学习文本存档的游戏符号,为探索稀疏奖励游戏提供了一个模型环境。Transformer架构被证明可以在描述迷宫、魔方和数独求解器的已解决文本档案上进行训练。该方法受益于微调的Transformer架构可视化合理的战略以外的任何指导,从人类的经验或领域的专业知识。游戏的大搜索空间($>10^{19}$)提供了一个谜题环境,其中解决方案几乎没有中间奖励和解决挑战的最后一步。
2021-09-07 cs.AI cs.CL cs.LG
Unified Multi-Dimensional Benchmark for Complex Graph Reasoning in Large Language Models
The Pennsylvania State University(宾夕法尼亚州立大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
针对现有图推理基准的局限,提出半自动框架构建含202个任务的统一多维度基准,评估LLM在不同推理模式下的表现,揭示模型局限并提供实证指导。
2026-08-14 cs.AI cs.CL cs.LG
MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text Generation
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Meta AI
对大语言模型的简化使得文本多步推理最近取得了重大进展。然而,当应用于从半结构化数据(例如,图或表),但是这些方法通常遭受低语义覆盖、幻觉和逻辑不一致。我们提出了MURMUR,一个神经符号模块化的方法,从半结构化的数据与多步推理的文本生成。MURMUR是一种最佳优先搜索方法,它使用以下方法生成推理路径:(1)具有特定语言和逻辑技能的神经和符号模块,(2)其产生式规则定义模块有效组合的语法,以及(3)评估每个推理步骤质量的价值函数。我们进行实验的两个不同的数据到文本生成任务,如WebNLG和LogicNLG。这些任务在数据表示(图形和表格)方面有所不同,并涵盖多种语言和逻辑技能。MURMUR在最近的Few-Shot基线(如直接提示和思想链提示)上获得了显着改进,同时还在域外数据上实现了与微调的GPT-2相当的性能。此外,人工评估表明,MURMUR生成高度忠实和正确的推理路径,与直接提示相比,在LogicNLG上的逻辑一致性摘要增加了26%。
2022-12-16 cs.AI cs.CL cs.LG
A Survey on Temporal Reasoning for Temporal Information Extraction from Text (Extended Abstract)
University Medical Center Utrecht(乌得勒支大学医学中心);KU Leuven(鲁汶大学)
时间深深地融入了人们对世界的感知和交流。我们几乎是无意识地为我们的语言话语提供了时间线索,比如动词时态,没有这些线索,我们很难造句。从文本中提取时间线索,并构建关于描述事件顺序的全局时间视图是自动自然语言理解的主要挑战。时间推理是将不同的时间线索组合成一个连贯的时间视图的过程,在时间信息抽取中起着核心作用。本文综述了过去几十年来关于文本时间信息抽取的时间推理研究,并提供了一个将符号推理与基于机器学习的信息抽取系统相结合的案例研究。
2020-05-15 cs.AI cs.CL cs.LG
Reasoning over Hybrid Chain for Table-and-Text Open Domain QA
Langboat Technology(澜舟科技);Sun Yat-sen University(中山大学);Microsoft Research(微软研究院);Beihang University(北京航空航天大学)
表格式和文本式问答要求系统在考虑表格结构以及表格和文本之间的联系的情况下对异构信息执行推理。在本文中,我们提出了一个ChAin为中心的推理和预训练框架(CARP)。CARP利用混合链模型描述了问答中表与文本之间的显式中间推理过程。我们还提出了一种新的以链为中心的预训练方法,以增强预训练模型在识别跨模态推理过程和缓解数据稀疏问题方面的能力。该方法通过合成维基百科中的伪异构推理路径并生成相应的问题来构建大规模推理语料库。在一个大规模的表格和文本的开放领域的问答基准测试平台OTT-QA上,我们对系统进行了测试,结果表明,我们的系统达到了最先进的性能。进一步的分析表明,显式混合链提供了显着的性能改善和解释的中间推理过程,和链为中心的预训练,提高性能的链提取。
2022-01-15 cs.CL
VisTIRA: Closing the Image-Text Modality Gap in Visual Math Reasoning via Structured Tool Integration
Microsoft AI(微软人工智能)
VisTIRA通过结构化工具集成框架,解决图像形式数学问题的推理难题,改进视觉数学推理能力,实验表明工具监督和OCR定位能有效缩小模态差距。
2026-03-17 cs.AI cs.CL cs.LG
Designing Textual Interfaces To Enhance Llm Reasoning On Audio-Visual Question Answering
University of Edinburgh(爱丁堡大学);Chinese University of Hong Kong(香港中文大学);Nanjing University(南京大学)
本研究探究文本接口设计对视听问答任务多模态推理提示优化的影响,对比三种接口设计,基于Qwen3-Omni和Gemini实验发现直接优化有模型依赖增益,接口设计是优化有效性的重要因素。
2026-10-15 cs.AI cs.CL eess.AS
SCITAT: A Question Answering Benchmark for Scientific Tables and Text Covering Diverse Reasoning Types
Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK Research(讯飞研究院);National University of Singapore(新加坡国立大学)
针对现有科学问答数据集推理类型有限且忽视表格与文本关联的问题,提出SciTaT基准,并设计结合多种推理方法的CaR基线,在SciTaT上平均提升12.9%。
2024-12-16 cs.CL
H-STAR: LLM-driven Hybrid SQL-Text Adaptive Reasoning on Tables
Virginia Tech(弗吉尼亚理工大学);Arizona State University(亚利桑那州立大学);University of Pennsylvania(宾夕法尼亚大学)
本文提出LLM驱动的H-STAR算法,通过两阶段过程结合符号与语义推理进行表格推理,在多个数据集上显著优于现有方法。
2025-04-07 cs.AI cs.CL cs.DB
Multi-Step Reasoning Over Unstructured Text with Beam Dense Retrieval
University of Maryland(马里兰大学);Microsoft Research(微软研究院)
复杂的问答通常需要找到由多个证据组成的推理链。目前的方法结合了结构化知识和非结构化文本的优势,假设文本语料库是半结构化的。基于稠密检索方法,提出了一种新的多步检索方法(BeamDR),通过密集表示中的束搜索迭代形成证据链。当在多跳问答上进行评估时,BeamDR与最先进的系统相比具有竞争力,而不使用任何半结构化信息。通过密集空间中的查询组合,BeamDR捕获推理链中证据之间的隐含关系。该代码可在https://github.com/ henryzhao 5852/BeamDR上获得。
2021-04-13 cs.CL
Answering Numerical Reasoning Questions in Table-Text Hybrid Contents with Graph-based Encoder and Tree-based Decoder
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院)
在现实世界的问答场景中,表格和文本相结合的混合形式越来越受到人们的关注,其中数值推理问题是最典型和最具挑战性的问题之一。现有的方法通常采用编码器-解码器框架来表示混合内容并生成答案。然而,它不能捕捉编码器端的数值、表模式和文本信息之间的丰富关系。解码器使用一个简单的预定义的操作分类器,这是不够灵活,以处理不同的表达式的数值推理过程。针对这些问题,本文提出了一种基于\textbf{T}语言的\textbf{G}增强型\textbf{H}混合表-文本\textbf{N}数值推理模型(\textbf{RegHNT}).它将表-文本混合内容上的数字问答建模为表达式树生成任务。此外,我们提出了一种新的关系图建模方法,模型之间的对齐问题,表格和段落。我们验证了我们的模型上公开的表-文本混合QA基准(TAT-QA)。建议的RegHNT显着优于基线模型,并实现国家的最先进的结果。我们在https://github.com/lfy79001/RegHNT公开发布了源代码和数据(2022-05-05)。
2022-10-20 cs.CL
Towards Graph-hop Retrieval and Reasoning in Complex Question Answering over Textual Database
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出多链多跳检索推理新范式 Graph-Hop,构建了提供细粒度证据图的新基准 ReasonGraphQA,并提出双向图检索(BGR)基线方法,实验表明该方向有潜力但仍存局限。
2023-05-23 cs.CL
Token Assorted: Mixing Latent and Text Tokens for Improved Language Model Reasoning
Meta AI
针对大语言模型思维链推理输入冗长、计算成本高的问题,提出用VQ-VAE生成的潜在离散Token与文本Token混合表示推理过程的方法,通过随机混合训练策略适配新Token,在多类推理任务基准上优于基线。
2025-09-01 cs.AI cs.CL cs.LG
Stateful Reasoning via Insight Replay
University of Minnesota(明尼苏达大学);Simular AI
本文提出InsightReplay方法,通过回放关键洞察保持推理过程中的重要信息可访问性,提升大语言模型在复杂任务中的表现。
2026-05-15 cs.AI
Conversational Answer Generation and Factuality for Reading Comprehension Question-Answering
问答(QA)是语音助理的重要用例。一种流行的问答方法是提取阅读理解(RC),它在文本段落中找到答案跨度。然而,提取的答案在会话上下文中通常是不自然的,这导致次优的用户体验。在这项工作中,我们调查问答会话的答案生成。我们提出了一个端到端的生成RC模型,它将多个段落的答案生成与段落排名和可回答性相结合。此外,在应用生成RC的一个障碍是幻觉的答案是事实上与文本不一致。我们利用最近的工作总结,以评估真实性。实验结果表明,与MS MARCO 2.1 NLGEN和NarrativeQA之前发表的最佳结果相比,EscherBART显着提高了2.5 ROUGE-L和9.4 ROUGE-L。
2021-03-11 cs.CL
Unlocking the Value of Text: Event-Driven Reasoning and Multi-Level Alignment for Time Series Forecasting
East China Normal University(华东师范大学)
本文提出VoT方法,结合事件驱动推理和多级对齐,利用文本信息提升时间序列预测性能,通过历史上下文学习和自适应频率融合实现文本与数值预测的互补。
2026-03-16 cs.AI
SteinerSQL: Graph-Guided Mathematical Reasoning for Text-to-SQL Generation
Vanderbilt University(范德比大学);Zhengzhou University(郑州大学)
SteinerSQL通过将数学推理与模式导航统一为图优化问题,分三阶段处理复杂文本到SQL,在LogicCat和Spider2.0-Lite上达到新最优准确率。
2025-09-23 cs.AI
Rethinking the Text-Vision Reasoning Imbalance in MLLMs through the Lens of Training Recipes
UC Santa Barbara(加州大学圣芭芭拉分校);MIT-IBM Watson AI Lab(麻省理工-IBM Watson人工智能实验室);Adobe Research(Adobe研究院)
本文通过分析训练食谱,提出减少多模态大语言模型中文本与视觉推理不平衡的方法,旨在提升视觉推理能力。
2026-01-07 cs.AI
To Think or Not to Think: Allocating Reasoning Where It Helps
Shanghai Key Laboratory of Scalable Computing and Systems(上海市可扩展计算与系统重点实验室);School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系)
针对LLM推理长度错配问题,提出CARE方法,通过对比准确率奖励估计实现自适应长度奖励,在多个基准上提升Pass@1达4%并减少37%推理长度。
2026-09-25 cs.AI
Do LLMs Build World Models From Text? A Multilingual Diagnostic of Spatial Reasoning
University of New South Wales(新南威尔士大学);Essential Energy;University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);Zhejiang University(浙江大学);Fudan University(复旦大学);Tsinghua University(清华大学)
通过多语言诊断基准 MentalMap 评估大语言模型的空间推理能力,发现所有模型在视角推理上存在普遍的性能瓶颈(L3 推理悬崖),表明该限制源于纯文本工作记忆约束而非特定架构。
2026-05-27 cs.AI
Leveraging Textual Compositional Reasoning for Robust Change Captioning
CORTEX通过整合文本线索和组合推理,提升图像变化描述的鲁棒性与准确性。
2025-11-28 cs.AI cs.CV
Region in Context: Text-condition Image editing with Human-like semantic reasoning
Greenwich Vietnam FPT University(越南格林威治FPT大学)
针对文本图像编辑中区域孤立处理导致的不一致问题,提出 Region in Context 框架,通过区域级与场景级双层语义对齐实现更连贯、更符合指令的编辑。
2025-10-19 cs.AI cs.CV
Prosodic Boundary-Aware Streaming Generation for LLM-Based TTS with Streaming Text Input
Nanyang Technological University, Singapore(南洋理工大学,新加坡);Tianjin University, China(天津大学);Southeast University, China(东南大学)
本文提出一种面向语调边界的后训练策略,通过调整预训练模型以处理流式文本输入,从而提升语音合成的语调质量和长文本生成的稳定性。
2026-03-06 cs.AI cs.SD
MultiHiertt: Numerical Reasoning over Multi Hierarchical Tabular and Textual Data
Yale University(耶鲁大学);The Chinese University of Hong Kong(香港中文大学);Northeastern University(东北大学);Penn State University(宾夕法尼亚州立大学)
对包含文本和表格内容的混合数据的数值推理(例如,财务报告)最近在NLP社区引起了很大的关注。然而,现有的混合数据上的问答(QA)基准测试在每个文档中仅包括单个平面表,因此缺乏跨多个分层表的多步数值推理的示例。为了促进数据分析的进展,我们构建了一个新的大规模基准,MultiHiertt,多层次表格和文本数据的QA对。MultiHiertt基于丰富的财务报告构建,具有以下独特的特点:1)每个文档包含多个表格和较长的非结构化文本; 2)所包含的大多数表格都是分层的; 3)每个问题所需的推理过程比现有的基准更复杂和更具挑战性; 4)每个问题的推理过程比现有的基准更复杂和更具挑战性。以及4)提供推理过程和支持事实的细粒度注释以揭示复杂的数值推理。我们进一步介绍了一种新的QA模型称为MT 2Net,它首先应用事实检索从表和文本中提取相关的支持事实,然后使用推理模块对检索到的事实进行符号推理。我们在各种基线上进行综合实验。实验结果表明,MultiHiertt对现有基线提出了强烈的挑战,其结果远远落后于人类专家的表现。数据集和代码可在https://github.com/psunlpgroup/MultiHiertt上公开获得。
2022-06-03 cs.AI cs.LG
From Reasoning to Pixels: Grounded Medical Multimodal LLMs for VQA and Segmentation
Nanjing University of Science and Technology(南京理工大学);Sungkyunkwan University(成均馆大学)
针对现有医学多模态大语言模型缺乏像素级接地的问题,提出MedREAL框架,引入SARP与R2V机制,构建MedRAVS-13K数据集,在Med-VQA和分割任务上性能优于现有方法,为医学图像分析提供可解释框架。
2026-08-28 cs.AI cs.CV
Debias in Text, Believe Your Eyes: Text-Anchored Cross-Modal Transfer for Visual Counter-Commonsense Reasoning
Ant Group(蚂蚁集团)
该研究针对多模态大语言模型视觉反常识推理中语言先验干扰问题,提出文本锚定数据构建流程及后训练框架 TACT,实现无需视觉数据的跨模态去偏,提升模型视觉推理性能。
2026-08-10 cs.AI cs.CV
Cost Trade-offs of Reasoning and Non-Reasoning Large Language Models in Text-to-SQL
WIDiCoReL Research Lab(WIDiCoReL研究实验室)
本文研究了推理与非推理大语言模型在文本到SQL任务中的成本权衡,发现推理模型在处理效率和成本控制上表现更优,但非推理模型存在显著的成本波动问题。
2026-03-07 cs.AI cs.DB cs.DC
Knowledge-Guided Textual Reasoning for Explainable Video Anomaly Detection via LLMs
Hari Lee
针对弱监督视频异常检测,提出TbVAD框架,通过视觉语言模型生成细粒度字幕并构建含动作等四语义槽的结构化知识,借助大语言模型推理实现文本域内异常检测与解释,在UCF-Crime和XD-Violence上验证有效性。
2025-10-30 cs.AI cs.CV
GRAFT: GRaPH and Table Reasoning for Textual Alignment -- A Benchmark for Structured Instruction Following and Visual Reasoning
ServiceNow
GRAFT基准通过结构化图表和表格及多步骤问题,评估大语言模型在视觉文本对齐、指令遵循和视觉推理方面的综合能力。
2025-12-02 cs.AI cs.LG cs.MM
VTPerception-R1: Enhancing Multimodal Reasoning via Explicit Visual and Textual Perceptual Grounding
Fudan University(复旦大学);Shanghai AI Laboratory(上海人工智能实验室);The University of Hong Kong(香港大学);Shenzhen University(深圳大学);University of Science and Technology of China(中国科学技术大学)
针对 MLLM 推理缺乏感知证据支撑的问题,本文提出两阶段框架 VTPerception-R1,通过感知增强微调及含视觉、文本与一致性奖励的强化学习,提升多模态推理的准确性与鲁棒性。
2025-09-29 cs.AI cs.CV
ClueTracer: Question-to-Vision Clue Tracing for Training-Free Hallucination Suppression in Multimodal Reasoning
Beijing University of Posts and Telecommunications(北京邮电大学);Nanyang Technological University(南洋理工大学);West China Biomedical Big Data Center(西京生物大数据中心)
ClueTracer通过问题到视觉线索追踪,无训练抑制多模态推理中的幻觉,提升推理和非推理任务性能。
2026-10-30 cs.AI cs.CV
DrawingVQA: A Real-World Benchmark for Multi-Depth Visual-Textual Reasoning on Construction Drawings
Louisiana State University(路易斯安那州立大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
DrawingVQA针对建筑图纸多深度视觉文本推理设计基准测试,利用图纸与问答对,提出双分类框架评估模型,揭示模型与专家表现差距,为领域特定多模态推理及AI与工程工作流程整合奠定基础。
2026-07-20 cs.AI cs.CV
TTQA-RS- A break-down prompting approach for Multi-hop Table-Text Question Answering with Reasoning and Summarization
University of Florida(佛罗里达大学)
本文提出TTQA-RS模型,通过分解提示、检索增强生成和表格-文本摘要,结合推理与子问题答案,在多跳表格-文本问答任务上以开源LLM取得最优性能。
2024-09-30 cs.CL cs.IR
VLM-R$^3$: Region Recognition, Reasoning, and Refinement for Enhanced Multimodal Chain-of-Thought
National Engineering Research Center for Software Engineering, Peking University(软件工程国家工程研究中心,北京大学);Alibaba Group(阿里巴巴集团);ZEEKR Intelligent Technology Holding Limited(ZEKR智能科技控股有限公司)
本文提出VLM-R$^3$框架,通过R-GRPO训练范式赋予多模态大语言模型动态选择图像区域并融入思维链的能力,在多项基准上取得最先进性能。
2025-05-30 cs.AI cs.CV
Common Sense Reasoning for Deepfake Detection
Michigan State University(密歇根州立大学);Reality Defender Inc(Reality Defender公司)
本文提出将深度伪造检测构建为视觉问答任务,通过文本解释模拟人类常识,并引入新数据集及视觉语言Transformer框架,以增强检测性能、泛化能力和可解释性。
2024-07-18 cs.CL cs.CV
ALARM: Audio-Language Alignment for Reasoning Models
ALARM通过自我改写和多编码器融合,提升推理模型的音频理解能力,实现更高效的音频推理性能。
2026-03-10 cs.CL
Joint Spatio-Textual Reasoning for Answering Tourism Questions
IBM Research AI(IBM研究院人工智能部门);Indian Institute of Technology, New Delhi(印度理工学院新德里分校)
我们的目标是回答现实世界的旅游问题,寻求兴趣点(POI)的建议。这些问题表达了各种空间和非空间的限制,需要结合文本和空间推理。作为回应,我们开发了第一个联合空间-文本推理模型,它结合了地理空间知识和文本语料库中的信息来回答问题。我们首先开发了一个模块化的空间推理网络,使用地理坐标的位置名称中提到的一个问题,和候选答案POI,原因只有空间限制。然后,我们结合我们的空间推理机与文本推理机在一个联合模型和现实世界的POI推荐任务的实验。我们报告了显着的改进,现有的模型没有联合空间-文本推理。
2020-10-19 cs.AI cs.CL
R3: A Reading Comprehension Benchmark Requiring Reasoning Processes
Nanjing University(南京大学)
现有的问答系统只能预测答案,没有明确的推理过程,这阻碍了它们的可解释性,使我们高估了它们对自然语言的理解和推理能力。在这项工作中,我们提出了一个新的阅读理解任务,其中需要一个模型来提供最终的答案和推理过程。为此,我们介绍了一种形式主义的推理非结构化文本,即文本推理的意义表示(TRMR)。TRMR由三个短语组成,这三个短语的表达能力足以表征回答阅读理解问题的推理过程。我们开发了一个注释平台,以方便TRMR的注释,并发布了R3数据集,一个\textbf{R}阅读理解基准\textbf{R},要求\textbf{R}推理过程。R3包含超过60 K对问题-答案对及其TRMR。我们的数据集可在:\url{http://anonymous} .
2020-04-02 cs.AI cs.CL
Norm Based Causal Reasoning in Textual Corpus
基于真值的蕴涵不足以很好地理解自然语言。事实上,它并不能推导出理解语篇所必需的隐含信息。另一方面,基于规范的蕴涵能够达到这一目的。这个想法是70年代Frames(Minsky 75)和Schank(Schank 77,Schank 79)的发展背后的原因。但这些理论还不够形式化,对新形势的适应性还很不明显。在本文中,我们提出了一个推理系统,它使用规范的因果推理过程中,以找到事故的原因,从描述它的文本。
2006-10-04 cs.AI cs.CL