An Iterative Utility Judgment Framework Inspired by Philosophical Relevance via LLMs
State Key Laboratory of AI Safety(人工智能安全国家重点实验室);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出ITEM框架,通过迭代提升信息检索中相关性排序、效用判断和答案生成的性能,实验表明在多个数据集上均优于基线模型。
2026-04-11 cs.AI cs.CL cs.IR
PeCoQ: A Dataset for Persian Complex Question Answering over Knowledge Graph
Shahid Beheshti University(沙希德·贝赫什提大学)
问答系统可以从非结构化文本或诸如知识图谱的结构化数据中找到用户问题的答案。使用包括深度学习模型的监督学习方法来解决问题需要大量的训练数据集。近年来,一些数据集已经被提出用于知识图谱上的问答任务,这是本文的重点。虽然有许多英文数据集被提出,但也有一些波斯语的问答数据集。本文介绍了一个用于波斯语问答的数据集\textit{PeCoQ}。该数据集包含从波斯语知识图谱FarsBase中提取的10,000个复杂问题和答案。对于每个问题,SPARQL查询和两个由语言学家编写的释义也提供了。数据集中存在不同类型的复杂性,例如多关系、多实体、顺序和时间约束。在本文中,我们讨论了数据集的特点,并描述了我们的方法来建立它。
2021-06-27 cs.AI cs.CL
Inside ASCENT: Exploring a Deep Commonsense Knowledge Base and its Usage in Question Answering
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
ASCENT是一种用于从web内容中提取和合并常识断言的全自动化方法(Nguyen等人,WWW 2021)。它通过捕获语义方面(如位置和目的)和复合概念(即,主题的分组和相关方面。在这个演示中,我们展示了一个Web门户,它允许用户了解它的构建过程,探索它的内容,并观察它在问答用例中的影响。演示网站和介绍性视频都可以在线获得。
2021-05-28 cs.AI cs.CL
Prompt Sensitivity and Answer Consistency of Small Open-Source Language Models for Clinical Question Answering in Low-Resource Healthcare
Independent Researcher(独立研究者)
研究评估了五种开源模型在三个医疗问答数据集上的表现,发现一致性与准确性独立,Llama 3.2在准确性与可靠性上表现最佳,但领域预训练不足以保证结构化医疗问答的正确性。
2026-03-16 cs.AI cs.CL
Annotating Electronic Medical Records for Question Answering
IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
我们的研究是在相对未开发的领域的问答技术,为病人的具体问题,他们的电子健康记录。人类专家策划的问题和答案对的大型数据集是开发、训练和评估任何由机器学习驱动的问答系统的重要先决条件。在本文中,我们描述了创建这样的问题和答案的数据集的过程。我们的方法是可复制的,可以进行医学生作为注释者,并在高注释者之间的协议(0.71科恩的Kappa)的结果。在11个月的过程中,11名医学生遵循我们的注释方法,产生了一个问答数据集,其中有5696个问题超过71例患者记录,其中1747个问题有相应的答案由医学生生成。
2018-05-17 cs.CL cs.CY
emrQA: A Large Corpus for Question Answering on Electronic Medical Records
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM TJ Watson Research Center(IBM托马斯·J·沃森研究中心);University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Carle Illinois College of Medicine(伊利诺伊大学卡勒医学院)
我们提出了一种新的方法来生成特定领域的大规模问答(QA)数据集,通过重新利用现有的其他NLP任务的注释。我们展示了这种方法的一个实例,通过利用社区共享的i2b2数据集的各种NLP任务的临床笔记上的现有专家注释,为电子病历生成大规模QA数据集。由此产生的语料库(emrQA)有100万个问题逻辑形式和40万多个问答证据对。我们通过训练问题到逻辑形式和问题到答案映射的基线模型来描述数据集并探索其学习潜力。
2018-09-03 cs.CL
PrinciplismQA: A Philosophy-Grounded Approach to Assessing LLM-Human Clinical Medical Ethics Alignment
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));National Health Data Institute, Shenzhen(深圳国家健康数据研究院);Shenzhen Research Institute of Big Data(深圳大数据研究院)
本文提出PrinciplismQA,一种基于哲学框架的评估方法,用于评估LLM在临床医学伦理上的对齐情况,通过专家验证的问题集揭示模型在伦理推理上的不足。
2026-07-28 cs.AI cs.CL
LLMs-in-the-Loop Part 2: Expert Small AI Models for Anonymization and De-identification of PHI Across Multiple Languages
本文利用LLM-in-the-loop方法开发跨八种语言的专家小型去标识化NER模型,在PHI匿名化任务中性能超越通用大语言模型如GPT-4o,实现高f1-micro分数,为医疗AI提供高效且隐私安全的解决方案。
2024-12-14 cs.AI cs.CL
Recognizing Artificial Minds: A Philosophical Defense of AI Cognition
该研究为“全猪论题”辩护,主张LLMs是具备认知状态的成熟智能体,反驳相关质疑并推测其可能拥有人类概念体系外的内容。
2026-08-24 cs.AI
Training Question Answering Models From Synthetic Data
Nvidia(英伟达);Rice University(莱斯大学)
问答生成是一种数据增强方法,其目的是在给定有限的人类标记数据量的情况下改进问答(QA)模型。然而,合成和人工生成的问答对之间仍然存在相当大的差距。这项工作旨在通过利用大语言模型来缩小这一差距,并探讨了几个因素,如模型大小,预训练模型的质量,合成数据的规模和算法选择。在SQuAD 1.1问答任务中,我们使用单独的合成问题和答案比单独使用SQuAD 1.1训练集问题时实现了更高的准确性。删除访问真实的维基百科数据,我们合成的问题和答案从一个合成语料库生成的83亿参数GPT-2模型。在没有人工监督的情况下,我们只能访问其他模型,因此我们能够在完全由模型生成的数据上训练最先进的问答网络,这些数据在SQuAD 1.1开发集上达到88.4的精确匹配(EM)和93.9的F1得分。我们进一步将我们的方法应用于SQuAD 2.0,并显示与使用合成数据的先前工作相比,EM得分的绝对增益为2.8。
2020-02-22 cs.AI cs.CL
Towards Answering Open-ended Ethical Quandary Questions
The Hong Kong University of Science and Technology(香港科技大学)
基于大语言模型(LLM)的强大功能,各种NLP任务已经取得了相当大的进步,许多NLP应用程序部署在我们的日常生活中。在这项工作中,我们挑战的能力与伦理困境生成问答的新任务法学硕士。道德困境问题更具有挑战性,因为一个单一的困境可能存在多个相互冲突的答案。我们探讨了目前的能力,法学硕士提供一个答案,以苏格拉底哲学的方法,而不是提供一个封闭的答案,像一个神谕的不同观点的审议交流的道德困境。我们提出了一个模型,搜索不同的道德原则适用于道德困境,并产生一个答案的条件下,所选择的原则,通过基于样本的少样本学习。我们还讨论了这一任务所涉及的剩余挑战和伦理问题,并提出了通过明确纳入人类价值观来开发负责任的NLP系统的方向。
2023-02-01 cs.AI cs.CL cs.LG
MedExQA: Medical Question Answering Benchmark with Multiple Explanations
Institute of Health Informatics, University College London(伦敦大学学院健康信息学研究所)
本文提出医学问答基准MedExQA,通过多专科多重解释评估LLMs医学解释能力,并推出基于Phi-2的模型MedPhi-2,在生成解释上超越基于Llama2-70B的医学模型。
2024-07-03 cs.AI cs.CL
ParaShoot: A Hebrew Question Answering Dataset
The Blavatnik School of Computer Science(布拉瓦特尼克计算机科学学院);Tel Aviv University(特拉维夫大学)
希伯来语的NLP研究主要集中在形态学和语法上,在这些领域,有丰富的注释数据集,这些数据集都是以通用的解释为精神的。然而,语义数据集供不应求,阻碍了希伯来语NLP技术发展的关键进展。在这项工作中,我们提出了ParaShoot,第一个问答数据集在现代希伯来语。该数据集遵循SQuAD的格式和众包方法,包含大约3000个注释示例,与其他低资源语言的问答数据集类似。我们使用最近发布的BERT风格的希伯来语模型提供了第一个基线结果,表明这项任务还有很大的改进空间。
2021-09-23 cs.CL
Biomedical Question Answering via Multi-Level Summarization on a Local Knowledge Graph
University of Michigan(密歇根大学)
本文提出一种利用命题主张从检索文档构建局部知识图谱,并通过逐层摘要上下文化小型语言模型以执行生物医学问答的新方法,在多个基准上性能优于RAG基线。
2025-04-02 cs.AI cs.CL cs.IR
What's the plan? Metrics for implicit planning in LLMs and their application to rhyme generation and question answering
HPI / University of Potsdam(HPI/波茨坦大学);Utrecht University(乌特勒支大学);Google DeepMind(谷歌DeepMind)
本文提出简单方法评估LLM隐式规划,通过押韵生成和问答案例展示其可扩展性,发现隐式规划在1B参数模型中普遍存在,为AI安全提供新视角。
2026-05-11 cs.AI cs.CL cs.LG
Ontology Concept Overlap as a Training Signal: Knowledge-Grounded Reinforcement Learning for Clinical Question Answering
Dhirubhai Ambani University(达鲁巴伊·安巴尼大学)
针对临床问答,提出基于UMLS概念重叠的软验证器与熵归一化LLM评判器及一致性惩罚的复合奖励,在GRPO中提升模型性能,优于SFT。
2026-10-06 cs.CL cs.LG
HistoriQA-ThirdRepublic: Multi-Hop Question Answering Corpus for Historical Research, Parliamentary Debates from the French Third Republic (1870-1940)
LRE;EPITA;EPITECH;Bpifrance;CJM
提出一个法语多跳历史问答数据集,基于第三共和国议会辩论和报纸,由历史学家协作构建,涵盖跨源综合、时间推理等复杂推理模式,共1782个问题,用于评估检索增强和大型语言模型在特定领域的效果。
2026-07-01 cs.AI
ShapeWorld - A new test methodology for multimodal language understanding
University of Cambridge(剑桥大学)
我们引入了一个新的框架,用于评估多模态深度学习模型的语言理解和泛化能力。在这种方法中,根据实验者的规格自动生成人工数据。在训练和评估过程中,数据的内容可以被详细控制,这使得能够创建需要真正的泛化能力的任务,特别是以新颖的方式组合先前引入的概念。我们通过评估四个不同任务的各种视觉问答模型来展示我们方法的潜力,并展示我们的框架如何让我们详细了解它们的能力和局限性。通过开源我们的框架,我们希望刺激多模态语言理解领域的进步。
2017-04-14 cs.AI cs.CL cs.CV
Rapidly Bootstrapping a Question Answering Dataset for COVID-19
University of Waterloo(滑铁卢大学);New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
我们介绍CovidQA,这是专门为COVID-19设计的问答数据集的开端,它是根据Kaggle的COVID-19开放研究数据集挑战收集的知识手工构建的。据我们所知,这是第一个公开可用的资源,其类型,并打算作为一个权宜之计,指导研究,直到更多的实质性评价资源变得可用。虽然这个数据集,包括124个问题-文章对,截至目前的0.1版本,没有足够的例子监督机器学习,我们相信它可以帮助评估zero-shot或转移能力的现有模型的主题,特别是与COVID-19。本文介绍了我们的方法来构建数据集,并提出了一些基线的有效性,包括基于术语的技术和各种基于转换器的模型。该数据集可在http://covidqa.ai/上获得
2020-04-23 cs.AI cs.CL cs.IR
Improving Answer Extraction in Context-based Question Answering Systems Using LLMs
University of Science and Technology of China(中国科学技术大学)
针对现有问答系统在复杂或模糊查询下答案提取不准确的问题,提出基于微调预训练大语言模型的方法,在SQuAD1.1数据集上取得ROUGE-L 86.84%、BLEU 28.24%、BERTScore 95.38%的高性能。
2026-07-21 cs.AI cs.CL
Let Large Language Models Judge Each Other: Multi-Agent Peer-Reviewed Reasoning for Medical Question Answering
University of Minnesota(明尼苏达大学)
提出多智能体同行评审推理方法,让多个LLM独立生成思维链推理并相互评估,选择最优推理链输出答案,在三个医学问答数据集上优于单模型和多数投票方法。
2026-10-12 cs.AI cs.CL
Atomic Consistency Preference Optimization for Long-Form Question Answering
本文提出自监督方法ACPO,利用多个随机响应中单个事实的原子一致性信号构建偏好数据对,在不依赖外部模型或知识库的情况下提升LLM事实准确性,并在LongFact和BioGen上平均超越强监督基线1.95分。
2026-10-19 cs.CL
Can Out-of-Distribution Evaluations Uncover Reliance on Shortcuts? A Case Study in Question Answering
Language Technology, University of Helsinki(赫尔辛基大学语言技术中心);Kempelen Institute of Intelligent Technologies(智能技术研究所)
本研究以问答任务为例,挑战了分布外评估可反映模型实际故障的假设,发现不同分布外评估数据集对模型捷径鲁棒性的估计质量差异大,部分不及分布内评估,进而提出更稳健的泛化评估方法与建议。
2025-08-25 cs.AI cs.CL
CURE: Confidence-driven Unified Reasoning Ensemble Framework for Medical Question Answering
School of Information Technology and Computer Science, Nile University(信息科技与计算机科学学院,尼罗大学);Graduate School of Information Science, University of Hyogo(信息科学研究生院,播磨大学);Advanced Medical Engineering Research Institute, University of Hyogo(先进医疗工程研究所,播磨大学)
本框架通过置信度检测与自适应路由,无需微调即可利用多模型协作提升医学问答性能,在PubMedQA和MedMCQA上分别达到95.0%和78.0%的准确率。
2025-10-16 cs.AI cs.CL physics.med-ph
Commonsense Properties from Query Logs and Question Answering Forums
Télécom Paris(巴黎电信学院);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Aberdeen(阿伯丁大学)
关于对象属性、人类行为和一般概念的常识知识对于健壮的AI应用至关重要。然而,自动获取这些知识是具有挑战性的,因为在线资源的稀疏性和偏见。本文介绍了Quasimodo,一种从非标准Web资源中提取常识属性的方法和工具套件。我们设计了新的方法,利用搜索引擎查询日志和QA论坛,并结合由此产生的候选断言与统计线索,从百科全书,书籍和图像标签中的确证步骤。与之前的常识知识库工作不同,Quasimodo专注于通常与某些对象或概念相关的显着属性。广泛的评估,包括外部用例研究,表明Quasimodo提供了比具有可比质量的最先进基线更好的覆盖率。
2021-02-10 cs.AI cs.CL cs.DB
Answering Science Exam Questions Using Query Rewriting with Background Knowledge
IBM Research(IBM研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tulane University(杜兰大学)
开放域问答(QA)是人工智能和自然语言处理中的一个重要问题,它是人工智能方法和技术推广进展的领头羊。开放领域问答系统的许多进展是通过信息检索方法和语料库建设的进步实现的。在本文中,我们专注于最近推出的ARC挑战数据集,其中包含2,590个为小学科学考试编写的多项选择题。这些问题被选为当前QA系统最具挑战性的问题,并且当前最先进的性能仅略优于随机机会。我们提出了一个系统,重写一个给定的问题到查询,用于检索支持文本从一个大的语料库的科学相关的文本。我们的重写器能够结合来自ConceptNet的背景知识,并且-与在SciTail上训练的通用文本蕴涵系统一起识别检索结果中的支持-在端到端QA任务上优于几个强大的基线,尽管只接受了识别原始源问题中的基本术语的训练。我们使用一个可推广的决策方法,检索到的证据和答案候选人,以选择最佳答案。通过结合查询重写,背景知识和文本蕴涵,我们的系统能够超越ARC数据集上的几个强基线。
2019-04-06 cs.AI cs.CL
Implications of Deep Circuits in Improving Quality of Quantum Question Answering
Banasthali Vidyapith(班斯塔里·维迪亚皮斯)
本文利用Qiskit中的QSVM和VQC算法对SelQA数据集进行问题分类,研究电路深度的影响,并结合基于规则的QA系统显著提升了问答质量。
2023-05-12 cs.AI cs.CL quant-ph
Integrating SPARQL and LLMs for Question Answering over Scholarly Data Sources
University of Yaounde I(雅温得第一大学);TIB – Leibniz Information Centre for Science and Technology(莱布尼茨科学与技术信息中心(TIB))
针对2024 ISWC学术混合链接数据问答挑战赛任务,提出结合SPARQL查询、分治算法与预训练抽取式问答模型的方法,提升学术数据源问答的准确性和效率。
2024-11-28 cs.AI cs.IR
Robust Bias Evaluation with FilBBQ: A Filipino Bias Benchmark for Question-Answering Language Models
School of Computer Science, University of Birmingham(伯明翰大学计算机科学学院);Department of Information Systems and Computer Science, Ateneo de Manila University(马尼拉大学信息系统与计算机科学系)
本文提出FilBBQ,通过四阶段流程构建超过10000个提示,评估模型在菲律宾语境下的性别和同性恋偏见,采用多种子鲁棒评估提升可靠性。
2026-04-20 cs.CL
FRED: Financial Retrieval-Enhanced Detection and Editing of Hallucinations in Language Models
Pegasi AI
本研究针对大语言模型在金融领域的幻觉问题,提出FRED框架,通过构建带错误标记的金融合成数据集微调模型,实现了优于OpenAI-o3的幻觉检测与编辑效果,且小参数模型仍具竞争力,方案可泛化至多领域。
2025-07-30 cs.AI cs.CL cs.LG
Neuro-Conceptual Artificial Intelligence: Integrating OPM with Deep Learning to Enhance Question Answering Quality
Tokushima University(德岛大学);Technion – Israel Institute of Technology(以色列理工学院)
本文提出 NCAI 框架,利用 OPM 概念建模与上下文内学习增强深度学习问答系统,并通过透明度指标验证其在推理透明性和答案准确性上的优势。
2025-02-12 cs.AI cs.CL
Ancient Wisdom, Modern Tools: Exploring Retrieval-Augmented LLMs for Ancient Indian Philosophy
UT Austin(得克萨斯大学奥斯汀分校)
针对LLM在专业领域易产生幻觉的问题,提出VedantaNY-10M数据集,开发并评估了RAG模型,证明其在古印度哲学长篇问答中显著优于标准模型,有效减少了幻觉。
2024-08-23 cs.CL cs.CY cs.IR
DTW at Qur'an QA 2022: Utilising Transfer Learning with Transformers for Question Answering in a Low-resource Domain
University of Wolverhampton(伍尔弗汉普顿大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
机器阅读理解(MRC)任务是评价机器对自然语言理解能力的一个有用的基准。它在自然语言处理(NLP)领域中很受欢迎,主要是因为许多语言发布了大量的数据集。然而,MRC的研究在包括宗教文本在内的几个领域都没有得到充分的研究。古兰经问答2022共享任务的目标是通过制作最先进的古兰经问答和阅读理解研究来填补这一空白。本文介绍了DTW进入古兰经QA 2022共享任务。我们的方法使用迁移学习来利用可用的阿拉伯语MRC数据。我们使用各种集成学习策略进一步改善结果。我们的方法在测试集上提供了0.49的部分倒数排名(pRR)得分,证明了其在任务上的强大性能。
2022-05-12 cs.CL
Automatic Dataset Generation for Knowledge Intensive Question Answering Tasks
The Alan Turing Institute(艾伦·图灵研究所);King’s College London(伦敦国王学院);University of Southampton(南安普顿大学)
针对现有QA系统及RAG在复杂推理上的不足,提出通过LLM自动生成基于上下文的问答对来微调模型的方法,实验证明该方法可提升模型逻辑与事实准确性,Mistral-7b-v0.3表现优于Llama-3-8b。
2025-05-20 cs.AI cs.CL
ACL-Verbatim: hallucination-free question answering for research
TU Wien(维也纳技术大学);KR Labs(KR实验室)
本研究提出ACL-Verbatim系统,通过提取式问答方法在科研论文中精准映射用户查询到相关文本片段,构建了新的真实数据集并训练评估了多种提取模型,最终通过150M参数的ModernBERT模型在词级F1得分上达到53.6,优于最强的LLM提取器。
2026-05-20 cs.AI cs.CL cs.SE
Music Understanding LLaMA: Advancing Text-to-Music Generation with Question Answering and Captioning
Tencent PCG(腾讯平台与内容事业群);National University of Singapore(新加坡国立大学)
针对文本到音乐生成缺乏带字幕的大规模公开数据集的问题,提出能完成音乐问答与字幕生成的MU-LLaMA模型,配套构建MusicQA数据集,实验显示其性能超越现有SOTA模型。
2023-08-22 cs.AI cs.CL cs.MM
Single Conversation Methodology: A Human-Centered Protocol for AI-Assisted Software Development
Stefanini(斯蒂法尼)
本文提出单次对话方法论(SCM),通过在一个长上下文对话中完成从需求到实现的全部开发阶段,纠正对LLM的被动依赖,重申开发者作为架构师和监督者的主动角色。
2025-07-16 cs.AI cs.HC cs.SE
QMOS: Enhancing LLMs for Telecommunication with Question Masked loss and Option Shuffling
College of Engineering, Carnegie Mellon University(卡内基梅隆大学工程学院)
本文提出QMOS方法,通过问题掩码损失和选项打乱技巧增强开源小模型在电信领域多项选择题问答中的表现,在RAG框架下将Falcon-7B和Phi-2的准确率分别提升至49.30%和84.65%。
2025-02-04 cs.AI cs.CL cs.LG
Large Language Models Meet Knowledge Graphs for Question Answering: Synthesis and Opportunities
Aalborg University(奥尔堡大学);Southeast University(东南大学);Bowling Green State University(布雷恩特绿色州立大学);Tongji University(同济大学)
本文系统综述了大型语言模型与知识图谱结合用于问答的方法,提出结构化分类法,分析各类方法的优势、局限与知识图谱需求,并总结进展、评估指标、基准数据集及未来挑战与机遇。
2025-09-22 cs.AI cs.CL cs.IR
Question Answering with Deep Neural Networks for Semi-Structured Heterogeneous Genealogical Knowledge Graphs
Bar Ilan University(巴伊兰大学)
本研究提出一种端到端族谱问答方法,通过将族谱数据表示为知识图谱并转换为文本,结合非结构化文本训练基于transformer的模型,降低了复杂性并提高了准确性。
2023-07-30 cs.AI cs.CL cs.IR
Interactive Question Answering Systems: Literature Review
Polytechnic University of Bari(巴里理工大学)
本综述系统梳理交互式问答系统,提出统一框架与分类法,分析其方法、评估及数据集,并展望未来趋势,附GitHub资源汇总。
2024-04-19 cs.AI cs.CL cs.HC
Consensus or Conflict? Fine-Grained Evaluation of Conflicting Answers in Question-Answering
Bar-Ilan University(巴伊兰大学);Google Research(谷歌研究);OriginAI
本文提出利用事实验证数据集构建冲突感知多答案问答基准NATCONFQA,要求模型识别所有有效答案并检测冲突答案对,评估揭示现有LLM在处理答案冲突时表现脆弱且策略存在缺陷。
2025-08-17 cs.CL
Traffic-Domain Video Question Answering with Automatic Captioning
University of Southern California(南加州大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
针对交通域VidQA缺乏场景知识融合的问题,提出弱监督方法TRIVIA将交通知识注入大视频语言模型,在SUTD-TrafficQA任务上使模型准确率提升6.5个百分点(19.88%)。
2023-07-18 cs.AI cs.CV
Exploring the Application of Visual Question Answering (VQA) for Classroom Activity Monitoring
Banking Academy of Vietnam(越南银行学院);Dublin City University(都柏林城市大学)
本研究探索VQA模型在课堂行为监测中的应用,构建真实课堂场景的BAV-Classroom-VQA数据集,测试四款主流开源VQA模型性能,验证其在课堂分析与干预系统中的应用潜力。
2025-09-02 cs.AI cs.CV
Comprehensive Modeling and Question Answering of Cancer Clinical Practice Guidelines using LLMs
Indian Institute of Technology Madras(马德拉斯印度理工学院);Healthcare Technology Innovation Centre(医疗技术创新中心)
本研究利用大语言模型将癌症临床实践指南建模为图,实现节点分类(准确率最高88.47%)并基于子图路径进行约束问答,以减少幻觉并确保医学事实准确性。
2025-01-23 cs.AI cs.CL cs.LG
Agentic LLMs for Question Answering over Tabular Data
本文提出一种基于大语言模型的自然语言转SQL多阶段流水线方法,用于表格数据问答,在DataBench基准上显著超越基线,准确率达70.5%和71.6%。
2025-09-11 cs.CL
MST5 -- Multilingual Question Answering over Knowledge Graphs
Universität Paderborn(帕德博恩大学)
针对多语言知识图谱问答中SPARQL生成性能不足的问题,提出用单个多语言transformer统一融合语言上下文与实体信息的方法,并在QALD及新增中日语言上验证有效。
2024-07-08 cs.CL
Retrieval augmented text-to-SQL generation for epidemiological question answering using electronic health records
Bayer AG(拜耳公司)
本文提出结合医学编码与 RAG 的端到端 text-to-SQL 方法,用于基于 EHR 和理赔数据回答流行病学问题,并在真实行业场景中验证其优于简单提示。
2024-05-16 cs.CL
AmaSQuAD: A Benchmark for Amharic Extractive Question Answering
College of Engineering, Carnegie Mellon University(卡内基梅隆大学工程学院)
本文提出将抽取式问答数据集翻译为低资源语言的框架,构建阿姆哈拉语 AmaSQuAD 数据集,并通过微调 XLM-R 显著提升问答性能。
2025-02-04 cs.CL
MoqaGPT : Zero-Shot Multi-modal Open-domain Question Answering with Large Language Model
Mila - Québec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
提出MoqaGPT框架,通过分而治之策略让大型语言模型分别从各模态检索提取答案并融合,在零样本多模态开放域问答任务上显著超越基线。
2023-10-20 cs.CL
A Wrong Answer or a Wrong Question? An Intricate Relationship between Question Reformulation and Answer Selection in Conversational Question Answering
University of Amsterdam(阿姆斯特丹大学);Apple Inc.(苹果公司)
一个适当的问题制定和正确的答案选择之间的依赖关系是一个非常有趣的,但仍然未充分探索的领域。在本文中,我们表明,问题重写(QR)的会话背景下,可以更清楚地揭示这种现象,也可以用它来评估不同的答案选择方法的鲁棒性。我们介绍了一个简单的框架,使会话问答(QA)的性能使用问题重写的自动分析,并提出了这种分析的结果TREC CAST和QuAC(CANARD)数据集。我们的实验揭示了敏感性的问题制定的流行的国家的最先进的模型,阅读理解和文章排名。我们的研究结果表明,阅读理解模型是不敏感的问题制定,而文章的排名变化显着的输入问题的一点变化。QR的好处是,它允许我们自动定位和分组这些情况。我们展示了如何使用这种方法来验证QA模型是真的在学习任务,还是只是在数据集中找到捷径,并更好地理解它们经常犯的错误类型。
2022-02-03 cs.CL
Enhancing Software-Related Information Extraction via Single-Choice Question Answering with Large Language Models
GESIS – Leibniz Institute for the Social Sciences(GESIS——莱布尼茨社会科学研究所);Heinrich-Heine-University Düsseldorf(杜塞尔多夫海因里希·海涅大学)
本文提出一种基于大型语言模型单选题问答的方法,结合RAG技术进行实体与属性识别及关系抽取,有效解决了学术文献中软件提及消歧与关系抽取的挑战。
2024-04-19 cs.CL
XLQA: A Benchmark for Locale-Aware Multilingual Open-Domain Question Answering
Department of Artificial Intelligence, Korea University(人工智能系,韩国大学)
本文提出XLQA多语言开放域问答基准,覆盖八种语言并区分区域敏感问题,评估五种多语言LLMs,揭示其区域知识不足及训练数据分布差异对语言能力和区域意识的影响。
2025-08-22 cs.CL
Improved and Efficient Conversational Slot Labeling through Question Answering
PolyAI Limited(PolyAI有限公司)
基于transformer的预训练语言模型(PLM)在大多数自然语言理解(NLU)任务中提供了无与伦比的性能,包括一系列问答(QA)任务。我们假设QA方法的改进也可以直接用于对话NLU;但是,对话任务必须是\textit{reformatted}到QA任务。特别是,我们专注于建模和研究\textit{slot labeling}(SL),NLU对话的一个重要组成部分,通过QA光学,旨在提高其性能和效率,并使其更有效和更有弹性地处理有限的任务数据。为此,我们做了一系列的贡献:1)我们演示了QA调整的PLM如何应用于SL任务,达到新的最先进的性能,在这种低数据制度中特别明显的大增益。2)我们建议利用上下文信息,需要解决模糊的值,简单地通过自然语言。3)通过使用轻量级而有效的适配器模块,提高了面向QA的微调的效率和紧凑性。4)权衡了QA数据集的一些质量,我们用更大的自动生成的QA数据集进行QA调优,达到了更高的性能。最后,我们的分析表明,我们的新的基于QA的插槽标签模型,支持的PLM,达到高数据制度的性能上限,要求在未来的工作更具挑战性和更细致入微的基准。
2022-04-05 cs.CL