Leaf: Multiple-Choice Question Generation
FMI, Sofia University “St. Kliment Ohridski”(索非亚大学“圣克利门特·奥赫里德斯基”数学与信息学院);University of Cambridge(剑桥大学);Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
事实证明,用测验问题进行测试是评估和改进教育过程的有效方法。然而,手动创建测验是乏味和耗时的。为了解决这一挑战,我们提出了叶,从事实文本生成多项选择题的系统。除了非常适合教室外,Leaf还可以用于工业环境,例如,促进入职和知识共享,或作为聊天机器人、问答系统或大规模开放式在线课程(MOOC)的组成部分。代码和演示可在https://github.com/KristiyanVachev/Leaf-Question-Generation上获得。
2022-01-22 cs.AI cs.CL
TimelineKGQA: A Comprehensive Question-Answer Pair Generator for Temporal Knowledge Graphs
The University of Western Australia(西澳大学);Murdoch University(默多克大学)
针对时序知识图谱问答数据不足、定制问答对生成困难的问题,提出时间线-上下文关系分类框架与通用生成器 TimelineKGQA,可适用于任意 TKG 并开源。
2025-01-08 cs.AI cs.CL cs.LO
Generator-Retriever-Generator Approach for Open-Domain Question Answering
University of Innsbruck(因斯布鲁克大学)
提出Generator-Retriever-Generator方法,结合LLM生成与双编码器检索,解决开放域问答挑战,在三个数据集上优于现有流水线。
2024-03-26 cs.CL
A Numerical Reasoning Question Answering System with Fine-grained Retriever and the Ensemble of Multiple Generators for FinQA
Nanjing University(南京大学)
财务领域的数值推理--进行定量分析和汇总财务报告中的信息--可以大大提高业务效率,减少数十亿美元的成本。在这里,我们提出了一个数值推理问答系统,回答金融文本和表格数据源之间的数值推理问题,包括检索器模块,生成器模块和集成模块。具体来说,在检索器模块中,除了检索整行数据,我们创新地设计了一个单元检索器,检索黄金细胞,以避免将不相关的和相似的细胞在同一行的发生器模块的输入。在生成器模块中,我们利用多个生成器生成程序,这些程序是回答问题的操作步骤。最后,在集成模块中,我们集成多个程序,选择最好的程序作为我们的系统的输出。在FinQA竞赛的最终私有测试集上,我们的系统获得了69.79的执行准确率。
2022-06-17 cs.CL
ARMOR: Adaptive Retriever Optimization for Low-Resource Telecom Question Answering
Rensselaer Polytechnic Institute(罗切斯特理工学院);Cornell University(康奈尔大学);Samsung Research America(三星美国研究院)
针对电信问答中证据分散且资源稀缺的问题,提出ARMOR方法,通过联合优化RAG似然和InfoNCE对比目标来适配查询编码器,在固定生成器下提升检索和答案生成性能。
2026-06-29 cs.AI cs.CL cs.IR
Connecting the Dots: A Knowledgeable Path Generator for Commonsense Question Answering
University of Southern California(南加州大学);Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);University of California, Los Angeles(加州大学洛杉矶分校)
常识问答需要背景知识,而背景知识在给定的上下文中没有明确说明。先前的工作使用常识知识图谱(KG)来获得用于推理的该知识。然而,考虑到这些幼儿园的覆盖面有限,而且其知识的背景依赖性,完全依靠这些幼儿园可能是不够的。在本文中,我们增加了一个一般常识QA框架与知识的路径生成器。通过对KG中现有路径的外推,使用最先进的语言模型,我们的生成器学习将文本中的一对实体与动态的、潜在的新颖的多跳关系路径连接起来。这样的路径可以为解决常识问题提供结构化的证据,而无需微调路径生成器。两个数据集上的实验表明,我们的方法优于以前的作品,完全依赖于知识的KG(与高达6%的精度提高),在不同数量的训练数据。进一步的评估表明,生成的路径通常是可解释的,新颖的,相关的任务。
2020-09-19 cs.AI cs.CL
R2GQA: Retriever-Reader-Generator Question Answering System to Support Students Understanding Legal Regulations in Higher Education
University of Information Technology(信息科技大学);Vietnam National University, Ho Chi Minh City(越南国家大学胡志明市分校)
本文提出由检索器、阅读器和生成器组成的 R2GQA 越南语法律问答系统,并构建含 9,758 个问答对的 ViRHE4QA 数据集,实验验证其可帮助学生理解高校法规。
2024-09-04 cs.AI cs.CL
End-to-End Video Question-Answer Generation with Generator-Pretester Network
National Taiwan University(国立台湾大学);University of Toronto(多伦多大学)
针对多媒体环境下的视频问答任务,研究了一种新的视频问答生成任务。由于昂贵的数据注释成本,许多广泛使用的大规模视频QA数据集(如Video-QA,MSVD-QA和MSRVTT-QA)使用字幕问题生成(CapQG)自动注释,CapQG输入字幕而不是视频本身。由于字幕既不完全代表视频,也不总是实际可用,因此通过视频问答生成(VQAG)基于视频生成问答对至关重要。现有的视频到文本(V2 T)方法,尽管采用视频作为输入,但仅生成一个问题。在这项工作中,我们提出了一个新的模型Generator-Pretester Network,它专注于两个组件:(1)联合问答生成器(JQAG),它生成一个问题及其相应的答案,以允许视频问题“问答”训练。(2)Pretester(PT)通过尝试回答问题来验证生成的问题,并使用模型的建议答案和地面真实答案检查预测试答案。我们用仅有的两个可用的大规模人类注释的视频QA数据集来评估我们的系统,并实现了最先进的问题生成性能。此外,仅在视频QA任务中使用我们生成的QA对,我们可以超过一些监督基线。我们将生成的问题应用于视频QA应用程序,并仅使用生成的问题超越了一些监督基线。作为一种预训练策略,当使用带注释的数据进行半监督(20%)或全监督学习时,我们的性能优于CapQG和迁移学习方法。这些实验结果为视频问答训练提供了新的视角。
2021-01-05 cs.CL cs.CV cs.MM
Bridging the Semantic-Utility Gap in Multimodal RAG via Generator-in-the-Loop Alignment
Elmore Family School of Electrical and Computer Engineering, Purdue University(普渡大学埃尔莫尔电气与计算机工程学院);Yonsei University(延世大学);University at Buffalo–SUNY(纽约州立大学布法罗分校)
提出两阶段生成器在环对齐框架,利用VLM生成假设文本弥合模态差距,并以答案监督偏好对微调重排序器,有效弥合多模态RAG中的语义-效用差距。
2026-09-09 cs.AI cs.IR
A-SEA3L-QA: A Fully Automated Self-Evolving, Adversarial Workflow for Arabic Long-Context Question-Answer Generation
Humain
本研究提出面向阿拉伯语长上下文问答生成的全自动自进化对抗工作流A-SEA3L-QA,通过多LVLM闭环迭代优化,支持可控难度问题生成,发布大规模基准AraLongBench,显著提升阿拉伯语LVLM长上下文理解能力,还构建了文档自动收集工作流。
2025-09-02 cs.AI cs.CL
Neural Mask Generator: Learning to Generate Adaptive Word Maskings for Language Model Adaptation
KAIST(韩国科学技术院);AITRICS(艾崔克斯)
我们提出了一种方法来自动生成一个域和任务自适应掩码的自监督预训练的给定文本,这样我们就可以有效地适应特定的目标任务(例如问答)的语言模型。具体而言,我们提出了一种新的基于强化学习的框架,该框架学习掩蔽策略,使得使用生成的掩码对目标语言模型进行进一步的预训练有助于提高对未见过文本的任务性能。我们使用非策略的actor-critic与熵正则化和经验重放进行强化学习,并提出了一个基于transformer的策略网络,可以考虑给定文本中单词的相对重要性。我们使用BERT和DistilBERT作为语言模型,通过自动学习最佳自适应掩码,在几个问答和文本分类数据集上验证了我们的神经掩码生成器(NMG),在这些数据集上,它优于基于规则的掩码策略。
2020-10-06 cs.AI cs.CL cs.LG
Routing with Generated Data: Annotation-Free LLM Skill Estimation and Expert Selection
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Capital One(Capital One公司);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出CASCAL,一种通过共识投票和层次聚类提升LLM路由性能的查询-only路由器,在弱生成器数据下表现更优。
2026-01-14 cs.AI cs.CL cs.LG
How to Build Robust FAQ Chatbot with Controllable Question Generator?
Technical University of Munich(慕尼黑工业大学);BMW Group(宝马集团)
许多无法回答的对抗性问题用一些看似合理的答案欺骗了问答系统。构建一个强大的常见问题(FAQ)聊天机器人需要大量不同的对抗性示例。最近的问题生成方法在从非结构化文本中生成许多高质量和多样化的对抗性问答对方面是无效的。我们提出了多样性可控的语义有效的对抗攻击者(DCSA),一个高质量的,多样的,可控的方法来生成标准和对抗样本的语义图。流畅和语义生成的QA对欺骗我们的段落检索模型成功。在此之后,我们进行了研究的鲁棒性和推广的QA模型与生成的QA对之间的不同领域。我们发现,生成的数据集提高了QA模型对新目标域的泛化能力和QA模型检测不可回答的对抗性问题的鲁棒性。
2021-11-18 cs.AI cs.CL
Meaningful Answer Generation of E-Commerce Question-Answering
Peking University(北京大学);Shandong University(山东大学);Renmin University of China(中国人民大学)
在电子商业门户网站中,为产品相关问题生成答案已成为一项至关重要的任务。在本文中,我们专注于产品感知答案生成的任务,它学习从大规模未标记的电子商业评论和产品属性中生成准确和完整的答案。然而,安全回答问题对文本生成任务提出了重大挑战,电子商业问答任务也不例外。为了生成更有意义的答案,在本文中,我们提出了一种新的生成神经模型,称为有意义的产品答案生成器(MPAG),它通过考虑产品评论,产品属性和原型答案来解决安全答案问题。产品评论和产品属性用于提供有意义的内容,而原型答案可以产生更多样化的答案模式。为此,我们提出了一种新的答案生成器与审查推理模块和原型答案阅读器。我们的核心思想是从大规模的评论集合中获得正确的问题感知信息,并学习如何从现有的原型答案中写出连贯而有意义的答案。更具体地说,我们提出了一个读写记忆组成的选择性写作单位进行推理之间的这些评论。然后,我们采用了一个原型阅读器组成的全面匹配,从原型答案提取答案骨架。最后,我们提出了一个答案编辑器,以生成最终的答案,以问题和上述部分作为输入。在从电子商业平台收集的真实数据集上进行的大量实验结果表明,我们的模型在自动度量和人工评估方面都达到了最先进的性能。人类评估也表明,我们的模型可以始终如一地生成具体和适当的答案。
2020-11-14 cs.AI cs.CL cs.IR
Beyond Repeated Sampling: Learning Search Policies for LLM Reasoning
Meta FAIR;Université Paris-Saclay, LISN, Inria, CNRS(巴黎-萨克雷大学,LISN,法国国家信息与自动化研究所,法国国家科学研究中心);NYU Courant Institute and CDS(纽约大学库朗数学科学研究所和数据科学中心)
针对LLM推理中朴素重复采样探索不足的问题,提出学习可训练的语义级概念生成搜索策略,以强化学习优化小型概念生成器,提升大型冻结答案生成器在困难数学推理上的pass@k,并具有跨模型迁移性。
2026-09-23 cs.AI cs.CL
Biomedical Entity Linking as Multiple Choice Question Answering
Jarvis Research Center, Tencent YouTu Lab(贾维斯研究中心,腾讯优图实验室)
针对生物医学实体链接中细粒度与长尾实体的挑战,提出将该任务转化为多项选择题问答的BioELQA模型,通过显式比较候选实体、拼接相似标注实例提升泛化,在多数据集上超越现有最优基线。
2024-05-17 cs.AI cs.CL cs.LG
MuRAG: Multimodal Retrieval-Augmented Generator for Open Question Answering over Images and Text
Google Research(谷歌研究院)
虽然语言模型在其参数中隐式地存储了大量的世界知识,但即使是非常大的模型也常常无法对关于稀有实体和事件的信息进行编码,同时产生巨大的计算成本。最近,检索增强模型,如REALM,RAG和RETRO,已纳入世界知识到语言生成,通过利用外部非参数索引,并已展示了令人印象深刻的性能与约束的模型大小。然而,这些方法仅限于检索文本知识,忽略了其他形式(如图像)中无处不在的知识量-其中大部分包含任何文本都不包含的信息。为了解决这个问题,我们提出了第一个多模态检索增强的Transformer(MuRAG),它访问一个外部的非参数多模态存储器,以增加语言生成。MuRAG是使用联合对比和生成损失使用大规模图像-文本和纯文本语料库的混合进行预训练的。我们在两个不同的数据集上进行实验,这些数据集需要对图像和文本进行检索和推理来回答给定的查询:WebQA和MultimodalQA。我们的研究结果表明,MuRAG达到了最先进的准确性,在两个数据集上以及在干扰项和全维基设置下,其绝对性能优于现有模型10-20\%。
2022-10-20 cs.AI cs.CL cs.CV
GenSco: Can Question Decomposition based Passage Alignment improve Question Answering?
Indian Institute of Technology, Bombay(印度理工学院孟买分校);Adobe Research, India(印度奥多比研究院);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
针对大语言模型RAG问答中的幻觉问题,提出基于问题分解的段落选择框架GenSco,用双LLM结构实现高效段落对齐,在三个多跳问答数据集上取得显著性能提升。
2024-07-14 cs.CL cs.IR
Answer-Conditioned Chains of Thought Degrade Verifiable-Reasoning Distillation in Large Language Models
研究发现大语言模型推理能力蒸馏中,答案条件思维链会降低训练数据质量,导致可验证推理准确性下降,损失随难度增加,机制是从答案反向合理化,危害是数据属性,建议盲目生成答案。
2026-07-17 cs.AI cs.CL
Pyramid Coder: Hierarchical Code Generator for Compositional Visual Question Answering
Tokyo Institute of Technology(东京工业大学)
本文提出PyramidCoder,一种无需训练的分层提示框架,通过查询重述、代码生成和答案聚合三个层级,利用冻结LLM提升程序化视觉问答的准确率。
2024-07-30 cs.AI cs.CV
The Fellowship of the Query: Learning Retrieval Actions
University of Passau(帕绍大学)
本研究通过轨迹微调提升小型语言模型作为检索问答中的动作控制器,实验表明该方法显著提高动作预测和端到端答案生成性能。
2026-09-25 cs.AI cs.CL cs.IR
BudgetVerify: Budget-Tiered Verification for Financial QA
BudgetVerify提出预算分层验证框架,按需分配验证层级,在六个模型上实现更优的准确率-成本帕累托前沿,提升金融问答效率。
2026-09-29 cs.AI cs.LG
Multimodal Reranking for Knowledge-Intensive Visual Question Answering
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌公司);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出多模态重排序器,通过跨项交互改善知识候选排序,提升知识密集型视觉问答性能,实验验证其有效性。
2024-07-17 cs.AI cs.CL
Cooperative Self-training of Machine Reading Comprehension
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Amazon AI(亚马逊人工智能);MIT MTL(麻省理工学院媒体实验室)
预训练语言模型通过提供高质量的上下文化词嵌入,显著提高了下游语言理解任务的性能,包括提取问答。然而,训练问答模型仍然需要大量特定领域的注释数据。在这项工作中,我们提出了一个合作的自我训练框架,RGX,自动生成更多的非平凡的问答对,以提高模型的性能。RGX是建立在一个掩蔽的答案提取任务与交互式学习环境包含一个答案实体识别器,一个问题发生器,和一个答案提取器。给定一个带有掩码实体的段落,生成器围绕该实体生成一个问题,提取器被训练为用生成的问题和原始文本提取掩码实体。该框架允许在没有注释的任何文本语料库上训练问题生成和回答模型。实验结果表明,RGX在标准问答测试中的性能优于SOTA预训练语言模型和迁移学习方法,并在给定的模型大小和迁移学习设置下获得了新的SOTA性能。
2022-06-27 cs.AI cs.CL
Generate rather than Retrieve: Large Language Models are Strong Context Generators
Microsoft Cognitive Service Research(微软认知服务研究院);University of Notre Dame(圣母大学);University of Southern California(南加州大学)
知识密集型任务,如开放域问答(QA),需要访问大量的世界或领域知识。知识密集型任务的一种常见方法是采用先检索后阅读的管道,该管道首先从外部语料库(如维基百科)检索少量相关的上下文文档,然后根据检索到的文档预测答案。在本文中,我们提出了一个新的视角来解决知识密集型的任务,取代文档检索与大语言模型生成器。我们将我们的方法称为generate-then-read(GenRead),它首先提示一个大语言模型根据给定的问题生成上下文文档,然后读取生成的文档以生成最终答案。此外,我们提出了一种新的基于聚类的提示方法,选择不同的提示,从而在生成的文件,涵盖不同的角度,导致更好的回忆超过可接受的答案。我们对三个不同的知识密集型任务进行了广泛的实验,包括开放域QA,事实检查和对话系统。值得注意的是,GenRead在TriviaQA和WebQ上获得了71.6和54.4的精确匹配分数,显著优于最先进的检索然后读取管道DPR-FiD +4.0和+3.9,而无需从任何外部知识源检索任何文档。最后,我们证明了模型的性能可以进一步提高检索和生成相结合。我们的代码和生成的文档可以在https://github.com/wyu97/GenRead上找到。
2023-01-25 cs.AI cs.CL
Relevance Is Not Sufficient Evidence: Detecting Evidence Gaps Before Generation in RAG
Northwestern University(西北大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对RAG中检索证据不足却仍生成答案的问题,提出RINSE方法,在生成前结合三个信号判断证据充分性,在六个数据集上超越现有方法,实现高效本地检测。
2026-09-30 cs.CL cs.IR cs.LG
FinTextQA: A Dataset for Long-form Financial Question Answering
HSBC Lab(汇丰实验室);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Harvard University(哈佛大学)
本文提出FinTextQA,一个包含1,262对高质量QA对的金融长文本问答数据集,并开发基于RAG的LFQA系统,通过多维度评估发现Baichuan2-7B性能接近GPT-3.5-turbo,且上下文达特定阈值后模型抗噪性提升。
2024-05-16 cs.AI cs.CL
CAR: Query-Guided Confidence-Aware Reranking for Retrieval-Augmented Generation
School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院);School of Information Engineering, Dalian Ocean University(大连海洋大学信息工程学院);School of Information Engineering, Liaodong University(辽东学院信息工程学院);Information Technology Center, Qinghai University(青海大学信息技术中心);College of Health-Preservation and Wellness, Dalian Medical University(大连医科大学养生与健康学院);Tencent(腾讯)
针对RAG现有重排序仅关注相关性的问题,提出无需训练的CAR框架,通过查询引导的答案稳定性校正排名,在多数据集实验中实现稳健性能提升,可用于黑盒LLM。
2026-08-13 cs.AI cs.CL
RuleRAG: Rule-Guided Retrieval-Augmented Generation with Language Models for Question Answering
National University of Defense Technology(国防科技大学);International Digital Economy Academy(国际数字经济学院);University of Oxford(牛津大学)
针对RAG问答缺乏检索与推理引导的问题,提出RuleRAG,通过规则统一指导检索和生成,并构建RuleQA基准,实验显示检索与准确率大幅提升且具有泛化性。
2025-02-16 cs.AI cs.CL cs.IR
Translating Natural Language to SQL using Pointer-Generator Networks and How Decoding Order Matters
University of Bonn(波恩大学);Ruhr University Bochum(波鸿鲁尔大学)
将自然语言转换为SQL查询用于基于表的问答是一个具有挑战性的问题,并且已经受到研究界的极大关注。在这项工作中,我们扩展了一个指针生成器,并探讨了顺序事项的语义解析的SQL问题。尽管我们的模型是一个通用的指针生成器的简单扩展,它优于早期的作品WikiSQL,并保持竞争力,同时引入,更复杂的模型。此外,我们提供了一个更深入的调查潜在的订单事项的问题,可能会出现由于有多个正确的解码路径,并调查使用的增强以及在这种情况下的动态oracle。
2018-11-13 cs.AI cs.CL
Rethinking the Reranker: Boundary-Aware Evidence Selection for Robust Retrieval-Augmented Generation
University of Illinois Urbana-Champaign;Hong Kong University of Science;Washington University in St. Louis;Texas A\&M University
BAR-RAG通过边界感知证据选择提升检索增强生成在噪声下的鲁棒性与性能
2026-02-03 cs.AI cs.CL
PReGAN: Answer Oriented Passage Ranking with Weakly Supervised GAN
Thomson Reuters Labs(汤森路透实验室);University of Montreal(蒙特利尔大学);Huawei Poisson Lab.(华为泊松实验室);Tshinghua Univeristy(清华大学)
除了主题相关性之外,开放域类事实问答的段落排名还需要段落包含答案(可回答性)。虽然最近的一些研究已经将一些阅读能力纳入到排名器中以说明可回答性,但排名器仍然受到该领域通常可用的训练数据的噪声性质的阻碍,其将包含答案实体的任何段落视为阳性样本。然而,文章中的答案实体不一定与给定的问题相关。为了解决这个问题,我们提出了一种称为\ttt{PReGAN}的方法,用于基于生成对抗神经网络的通道重新排序,该方法除了包含主题相关性外,还包含了一个可回答性。我们的目标是迫使生成器将与主题相关并包含答案的段落排名更高。在5个公开数据集上的实验表明,\ttt{PReGAN}能够更好地对合适的段落进行排序,从而提高了问答系统的有效性,并且在不使用外部数据的情况下优于现有方法。
2022-07-05 cs.AI cs.CL cs.IR
On the impact of retrieved content representations in RAG Pipelines
The University of Queensland(昆士兰大学);CSIRO(澳大利亚联邦科学与工业研究组织)
通过控制变量实验,研究检索文档的不同表示(选择、摘要、改写等)对RAG生成准确性的影响,发现答案保留是主要决定因素。
2026-05-29 cs.AI cs.CL cs.IR
Uni-Parser: Unified Semantic Parser for Question Answering on Knowledge Base and Database
Salesforce Research(Salesforce研究院);Yale University(耶鲁大学)
将自然语言问题解析成可执行的逻辑形式是对诸如知识库(KB)或数据库(DB)之类的结构化数据执行问答的有用且可解释的方式。然而,现有的语义解析方法不能适应这两种模式,因为它们遭受的逻辑形式候选人的指数增长,很难推广到看不见的数据。在这项工作中,我们提出了Uni-Parser,一个统一的语义解析器的问答(QA)的知识库和数据库。我们引入原语(KB中的关系和实体,DB中的表名、列名和单元值)作为框架中的基本元素。基元的数量随着KB和DB中检索到的关系的数量而线性增长,这使我们无法处理指数逻辑形式的候选者。我们利用生成器来预测最终的逻辑形式,通过改变和组合具有不同操作(例如选择,在哪里,计数)的顶级原语。通过对比基元排序器对搜索空间进行充分的修剪,生成器能够捕获基元的组合,从而增强了其泛化能力。我们在多个KB和DB QA基准测试中更有效地获得了有竞争力的结果,特别是在组合和zero-shot设置中。
2022-11-09 cs.AI cs.CL cs.PL
Reward on Path: Learning Intermediate Supervision Signals for Knowledge Graph Question Answering
The University of Melbourne(墨尔本大学)
PathISE通过学习高质量的中间监督信号提升知识图谱问答性能,利用轻量级Transformer估计关系路径信息,生成可复用的监督信号以增强现有模型。
2026-10-07 cs.AI
Recon, Answer, Verify: Agents in Search of Truth
Indian Institute of Technology Bombay(印度理工学院孟买学院)
本文提出 PFO 基准数据集以消除事实核查中的事后信息,并设计 RAV 多智能体框架,通过迭代生成和回答子问题验证声明,在多个基准上显著优于现有方法且性能下降最小。
2025-07-04 cs.AI cs.CL
DeepSeekMath-V2: Towards Self-Verifiable Mathematical Reasoning
DeepSeek-AI
DeepSeekMath-V2通过自我验证机制提升数学推理能力,实现定理证明的高准确率和严谨性。
2025-11-27 cs.AI cs.CL
Answer Generation through Unified Memories over Multiple Passages
NTT Resonant Inc.(NTT Resonant公司)
机器阅读理解方法通过引用问题的多个段落来生成答案,在AI和NLP社区中受到了广泛关注。然而,当前的方法在答案生成过程中不调查多个段落之间的关系,即使段落之间相关的主题可能是答案候选。我们的方法,称为神经答案生成通过统一的记忆在多个通道(GUM-MP),解决这个问题如下。首先,它确定段落中的哪些标记与问题相匹配。特别是,它调查了积极段落中的标记之间的匹配,这些标记被分配给问题,而消极段落中的标记与问题无关。接下来,它确定段落中的哪些标记与分配给同一问题的其他段落相匹配,同时调查它们匹配的主题。最后,将上述两种匹配结果的令牌序列编码到通道编码器中的统一存储器中,并使用具有多指针生成器机制的编码器-解码器学习答案序列。因此,GUM-MP可以通过指向跨段落出现的重要标记来生成答案。评估表明,GUM-MP产生更准确的结果比目前的模型。
2020-04-22 cs.AI cs.CL cs.LG
Explaining Question Answering Models through Text Generation
Tel-Aviv University(特拉维夫大学);Allen Institute for AI(艾伦人工智能研究所)
大型预训练的语言模型(LM)已经被证明在需要常识和世界知识的任务上进行微调时表现得出奇的好。然而,在端到端架构中,很难解释LM中的知识是什么,使其能够做出正确的预测。在这项工作中,我们提出了一个多选择问答模型,其中基于LM的生成器生成一个文本假设,稍后由分类器来回答问题。该假设提供了一个窗口,可以通过人类检查微调LM使用的信息。这种设置中的一个关键挑战是如何约束模型以生成对人类有意义的假设。我们通过(a)使用简单的相似性分类器进行联合训练来解决这个问题,该分类器鼓励有意义的假设,以及(b)通过添加损失函数来鼓励自然文本而不重复。我们在几个任务中显示,我们的模型达到了与端到端架构相当的性能,同时产生了解释LM用于回答问题的知识的假设。
2020-04-12 cs.AI cs.CL cs.LG
S2M: Converting Single-Turn to Multi-Turn Datasets for Conversational Question Answering
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
针对单轮数据在对话问答中利用不足的问题,提出S2M方法,通过生成器、重组器和重写器将单轮数据转为多轮数据,有效提升CQA性能,并在QuAC排行榜上位列第一。
2023-12-27 cs.AI cs.CL
Review Rarely Beats the Stronger Model: Separating Verification from Capability Transfer in LLM Pipelines
University of Lausanne(洛桑大学)
该研究发现大语言模型评审常混淆验证与能力迁移,评审效果弱于更强模型,成本更高,提出选择器方法更优,建议验证研究报告更强模型单独结果。
2026-11-04 cs.AI cs.CL
Sequence-to-Sequence Learning for Indonesian Automatic Question Generator
问题自动生成是指在给定各种文本数据的情况下,自动生成问题的任务。自动问题生成器的研究已经有十多年的历史,主要集中在事实性问题上。在所有这些研究中,最先进的是使用序列到序列的方法。然而,针对印尼的AQG系统还没有得到深入的研究。在这项工作中,我们构建了一个印尼自动问题生成器,适应架构从以前的一些作品。总之,我们使用了序列到序列的方法,使用了BiGRU、BiLSTM和Transformer,以及额外的语言特征、复制机制和覆盖机制。由于没有公共的大型和流行的印度尼西亚数据集用于问题生成,我们翻译了SQuAD v2.0 factoid问答数据集,并使用额外的印度尼西亚TyDiQA开发集进行测试。SQuAD的BLEU 1、BLEU 2、BLEU 3、BLEU 4和ROUGE-L评分分别为38,35,20,96,10,68,5,78和43,4; TyDiQA的BLEU 1、BLEU 2、BLEU 3、BLEU 4和ROUGE-L评分分别为39.9,20.78,10.26,6.31,44.13。当预期的答案是命名实体并且在语法上与解释它们的上下文接近时,系统表现良好。此外,从印尼本地人的角度来看,我们的最佳模型在其最佳案例中生成的最佳问题是可以接受的,并且相当有用。
2020-09-29 cs.CL
MedRouter: Demystifying Knowledge Differences Across Medical LLMs for Routing-Based Reasoning
MedRouter通过嵌入多标签路由器和两阶段SCALE训练框架,组合专科医学大模型,在八个基准上平均准确率提升8%,实现更全面的医学推理。
2026-09-29 cs.AI cs.CL
Assessing the Downstream Utility of Evidence-Aware Retrieval in RAG
Missouri University of Science and Technology(密苏里科技大学);University of Calcutta(加尔各答大学)
本研究在多基准及TREC RAG 2025设置中,考察证据感知检索的下游效用,发现其价值不统一,需针对特定用途评估RAG评估方法。
2026-08-28 cs.CL cs.IR
Natural Answer Generation: From Factoid Answer to Full-length Answer using Grammar Correction
Indian Institute of Technology Bombay, Mumbai(印度理工学院孟买分校);Indian Institute of Technology Patna(印度理工学院巴特那分校);LG Soft India(LG软件印度公司)
现在的问答系统通常使用基于模板的语言生成。虽然对于特定领域的任务来说已经足够了,但是这些系统对于独立于领域的系统来说限制太多,并且是预定义的。本文提出了一个系统,输出一个完整的长度的答案给出一个问题和提取的事实答案(短跨度,如命名实体)作为输入。我们的系统使用选区和依赖解析树的问题。基于transformer的语法纠错模型GECToR(2020)被用作后处理步骤,以提高流畅性。我们将我们的系统与(i)改进的指针生成器(SOTA)和(ii)微调的DialoGPT进行比较。我们还测试了我们的方法对存在(是-否)的问题,更好的结果。我们的模型比最先进的(SOTA)方法生成准确和流畅的答案。评估是在NewsQA和SqUAD数据集上进行的,ROUGE-1评分分别增加0.4和0.9个百分点。与SOTA相比,推理时间减少了85%.用于我们评估的改进数据集将作为研究贡献的一部分发布。
2021-12-07 cs.AI cs.CL
MixQG: Neural Question Generation with Mixed Answer Types
Salesforce AI Research(赛富时人工智能研究院)
提出好的问题是人类和机器智能的基本能力。然而,现有的神经问题生成方法主要集中在简短的factoid类型的答案。在本文中,我们提出了一个神经问题生成器MixQG来弥合这一差距。我们结合了9个问答数据集与不同的答案类型,包括是/否,多项选择,提取和抽象的答案,训练一个单一的生成模型。我们的实证结果表明,我们的模型优于现有的工作,在可见和不可见的领域,并可以生成不同的认知水平的问题时,不同的答案类型的条件。我们的代码已经发布,并与Huggingface库很好地集成,以促进各种下游应用程序。
2022-05-31 cs.CL
Learning Answer Generation using Supervision from Automatic Question Answering Evaluators
University of Trento(特伦托大学);Amazon Alexa AI(亚马逊Alexa人工智能部门);Kensho Technologies, Inc.(肯肖科技公司)
本文提出一种新的GenQA训练范式,利用自动问答评估模型GAVA通过数据增强和损失加权进行知识迁移,在多个数据集上显著提升了回答准确率。
2023-05-24 cs.CL cs.LG
Product-Aware Answer Generation in E-Commerce Question-Answering
ICST, Peking University(北京大学信息科学技术学院)
在电子商业门户网站中,为产品相关问题生成答案已成为一项至关重要的任务。在本文中,我们提出了产品感知的答案生成任务,它倾向于从大规模的未标记的电子商业评论和产品属性中生成准确和完整的答案。与现有的问答问题不同,电子商业中的答案生成面临三个主要挑战:(1)评论是非正式的和有噪声的;(2)评论和关键值产品属性的联合建模具有挑战性;(3)传统方法容易生成无意义的答案。为了解决上述挑战,我们提出了一个基于对抗学习的模型,称为PAAG,它由三个组件组成:一个问题感知的评论表示模块,一个编码属性的键值记忆网络,以及一个作为序列生成器的递归神经网络。具体来说,我们使用卷积神经网络来区分我们生成的答案是否与事实相匹配。为了提取评论的显著性部分,提出了一种基于注意力的评论阅读器来捕获给定问题的最相关的词。在一个大规模的真实电子商业数据集上进行了大量的实验,验证了模型中每个模块的有效性。此外,我们的实验表明,我们的模型在自动度量和人工评估方面都达到了最先进的性能。
2019-01-24 cs.AI cs.CL
Opinion-aware Answer Generation for Review-driven Question Answering in E-Commerce
The Chinese University of Hong Kong(香港中文大学)
在电子商业中,与产品相关的问答是一项重要而又具有挑战性的任务。这导致了对自动评论驱动的QA的巨大需求,其目的是根据不同的产品评论对用户发布的问题提供即时响应。然而,产品评论中关于个人观点的丰富信息,对于回答这些特定产品问题至关重要,在当前基于世代的评论驱动的QA研究中没有得到充分利用。在利用来自评论的意见信息来促进意见感知答案生成时,存在两个主要挑战:(i)联合建模问题和评论之间的意见化和相关信息,以捕获用于答案生成的重要信息,(ii)聚合不同的意见信息,以揭示对给定问题的共同意见。在本文中,我们解决意见感知的答案生成,共同学习答案生成和意见挖掘任务与一个统一的模型。提出了两种意见融合策略,即静态融合和动态融合,将意见挖掘过程中获得的重要意见信息提取和聚合到答案生成过程中。然后采用多视图指针生成器网络来生成针对给定产品相关问题的意见感知答案。实验结果表明,我们的方法在现实世界的电子商业QA数据集上取得了优异的性能,并有效地产生固执己见和信息丰富的答案。
2020-08-28 cs.CL cs.IR
TSQA: Tabular Scenario Based Question Answering
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
基于场景的问答(SQA)已经引起了越来越多的研究兴趣。与研究得很好的机器阅读理解(MRC)相比,SQA是一个更具挑战性的任务:一个场景可能不仅包含要阅读的文本段落,还包含结构化数据,如表格,即,基于表格情景的问答(TSQA)。TSQA的人工智能应用,例如回答高中考试中的多项选择题,需要在多个单元格中合成数据,并将表格与文本和领域知识相结合来推断答案。为了支持这项任务的研究,我们构建了GeoTSQA。该数据集包含1k个真实问题,这些问题由地理领域中的表格场景进行情境化。为了解决这个问题,我们扩展了最先进的MRC方法与TTGen,一个新的表到文本生成器。它从各种合成的表格数据中生成句子,并为下游的MRC方法提供最有用的句子。它的句子排序模型融合了场景、问题和领域知识中的信息。我们的方法优于GeoTSQA上的各种强基线方法。
2021-01-14 cs.AI cs.CL
Automated Story Generation as Question-Answering
基于神经语言模型的自动故事生成方法受到两个重要限制。首先,基于语言模型的故事生成器通常不朝着给定的目标或结局工作。第二,随着故事越来越长,它们往往失去连贯性。我们提出了一种新的方法来自动生成的故事,把问题作为一个生成的问答。我们提出的故事生成系统从封装故事的最终事件的句子开始。然后,系统迭代地(1)分析描述最近事件的文本,(2)生成关于“为什么”角色正在做他们在事件中正在做的事情的问题,并且然后(3)尝试生成回答该问题的另一个先前事件。
2021-12-07 cs.CL
Learning Trimodal Relation for Audio-Visual Question Answering with Missing Modality
Kyung Hee University(庆熙大学);Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
针对视听问答中模态缺失导致性能下降的问题,提出RMM生成器和AVR扩散模型,通过关系感知与共享线索增强模态特征,实现模态缺失下的稳健问答。
2024-07-23 cs.AI cs.CV cs.MM
The RAT: A Unified Bayesian Model for RAG Evaluation
Centre for Artificial Intelligence(人工智能中心);ZHAW School of Engineering(苏黎世应用科技大学工程学院)
针对RAG系统评估的不足,提出RAT统一贝叶斯框架,联合建模多维度指标,通过27种配置验证其能揭示系统差异,还分析了注释分配并扩展模型以结合人工与自动评估。
2026-08-26 cs.AI cs.CL
S$^3$HQA: A Three-Stage Approach for Multi-hop Text-Table Hybrid Question Answering
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
针对文本-表格混合多跳问答,提出三阶段框架S3HQA,含检索器、选择器和生成式推理器,解决噪声标注与异构信息利用问题,在完整数据集上超越所有基线并位居HybridQA榜首。
2024-06-25 cs.CL