Retrieval Augmented Generation Evaluation for Health Documents
本文提出RAGEv流程、评估工具及RAGEv-Bench基准数据集,评估RAG在健康文档自动知识合成中的效果,表明审慎实现RAG可减少常见问题并在短回答和长回答上取得高分,但仍需进一步努力以构建一致可信的工具。
2025-05-07 cs.IR
When Retrieval Helps: Selective Retrieval for Single-Turn Mental-Health QA
Korea Institute of Energy Technology(韩国能源技术研究院)
本研究针对单轮心理健康问答,提出选择性检索策略,在CounselBench系列基准实验中验证其可平衡检索的针对性提升与安全风险,优于闭卷及始终检索设置。
2026-09-04 cs.CL cs.IR
Market2Dish: Health-aware Food Recommendation
随着肥胖症和糖尿病等疾病发病率的上升,健康饮食正引起越来越多的关注。然而,大多数现有的食品相关的研究工作集中在食谱检索,基于用户偏好的食物推荐,烹饪辅助,或菜肴的营养和热量估计,忽略了个性化的健康意识的食物推荐。因此,在这项工作中,我们提出了一个个性化的健康意识的食品推荐计划,即Market2Dish,映射的成分显示在市场上的健康菜肴在家里吃。建议的计划包括三个组成部分,即食谱检索,用户健康分析和健康意识的食物推荐。特别是,食谱检索的目的是获得可用的成分给用户,然后检索食谱候选人从一个大规模的食谱数据集。用户健康分析是通过获取从社交网络中抓取的与健康相关的文本信息来表征用户的健康状况。具体来说,为了解决健康相关信息非常稀疏的问题,我们将一个词类交互机制纳入到所提出的深度模型中,以学习文本推文和预定义的健康概念之间的细粒度相关性。对于健康感知的食物推荐,我们提出了一种新的类别感知层次记忆网络的推荐学习健康感知的用户食谱的交互更好的食物推荐。此外,大量的实验证明了健康意识的食物推荐计划的有效性。
2020-12-11 cs.IR
DS4DH at TREC Health Misinformation 2021: Multi-Dimensional Ranking Models with Transfer Learning and Rank Fusion
本文介绍了数字健康数据科学(DS 4DH)小组在2021年TREC健康错误信息跟踪中的工作。TREC健康错误信息跟踪侧重于开发检索方法,为网络上与健康相关的搜索提供相关、正确和可信的信息。在我们的方法中,我们使用了两步排名方法,包括i)基于BM 25模型的标准检索阶段,以及ii)重新排名阶段,其中模型管道专注于检索文档的有用性,可靠性和可信度维度。为了估计有用性,我们使用基于在MS MARCO语料库上微调的Transformers架构的预训练语言模型对初始排名列表进行分类。为了评估重复性,我们利用了基于BERT的模型,这些模型在科学和维基百科语料库上进行了微调。最后,为了评估文档的可信度,我们采用了一个在Microsoft Credibility数据集上训练的随机森林模型,并结合了一系列可信网站。然后,使用倒数等级融合算法将所产生的排名列表合并,以获得有用、支持和可信文件的最终列表。我们的方法取得了有竞争力的结果,在自动运行的兼容性测量中排名前2。我们的研究结果表明,集成自动排名模型创建的每个信息质量维度与迁移学习可以提高健康相关的信息检索的有效性。
2022-02-14 cs.IR
Open-Source Retrieval Augmented Generation Framework for Retrieving Accurate Medication Insights from Formularies for African Healthcare Workers
本文提出开源RAG聊天机器人Drug Insights,利用尼日利亚药品数据和AI技术,为非洲医疗工作者提供准确药物信息检索,减少幻觉,初步测试显示其改善药物获取的潜力。
2025-01-28 cs.HC cs.IR
Ranking Generated Answers: On the Agreement of Retrieval Models with Humans on Consumer Health Questions
针对生成式大语言模型开放式问答评估难、专家标注成本高的问题,提出用标注文档集训练的排序模型替代人工判断的评估方法,在健康问答数据集上与专家偏好相关性达Kendall's τ=0.64,且验证了模型规模、提示策略对答案质量的提升作用。
2025-01-17 cs.IR
Embedding Electronic Health Records for Clinical Information Retrieval
ETH Zurich(苏黎世联邦理工学院);Brown University(布朗大学)
神经网络表示学习框架最近已被证明在广泛的任务中非常有效,从射线照相解释到数据驱动的诊断到临床决策支持。这种通常卓越的性能是以急剧增加的训练数据需求为代价的,而这些需求在每个给定的机构或场景中都不能得到满足。作为对抗这种数据稀疏效应的一种手段,远程监督通过依赖于相关的、资源丰富的任务来训练,从而消除了对稀缺的域内数据的需求。本研究提出了一种端到端的神经临床决策支持系统,该系统通过对众所周知的MIMIC-III集合(丰富的资源)进行远程监督,为个体患者(可用资源很少)推荐相关文献。我们的实验表明,显着改善传统的统计以及纯粹的本地监督检索模型的检索效果。
2018-11-13 cs.CL cs.IR
CliniQ: A Multi-faceted Benchmark for Electronic Health Record Retrieval with Semantic Match Assessment
Tsinghua University(清华大学);Peking Union Medical College(北京协和医学院);Tsinghua Medicine(清华大学医学部)
本文提出公开EHR检索基准CliniQ,涵盖单患者与多患者检索、语义匹配类型评估,并通过大规模实验揭示BM25及通用稠密检索器的竞争力,为EHR检索研究提供新基准。
2025-04-08 cs.CL cs.IR
Improving information retrieval from electronic health records using dynamic and multi-collaborative filtering
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);CSCI Consulting Inc.(CSCI咨询公司);The Ohio State University(俄亥俄州立大学);Regenstrief Institute(雷根斯特里夫研究所);Indiana University School of Medicine(印第安纳大学医学院)
由于关于个体患者的可用信息的快速增长,大多数医生在他们审查健康信息技术系统中的患者信息时遭受信息过载。在这篇文章中,我们提出了一种新的混合动态和多协同过滤方法,以提高电子健康档案的信息检索。该方法在患者就诊期间为医生推荐来自电子健康记录的相关信息。它使用马尔可夫模型对信息搜索动态进行建模。它还利用了协同过滤的关键思想,起源于推荐系统,根据医生,患者和信息项之间的各种相似性来优先考虑信息。我们使用印第安纳州患者护理网络的真实电子健康记录数据测试了这种新方法。我们的实验结果表明,对于46.7%的测试案例,这种新方法能够正确地优先考虑医生真正感兴趣的前5个建议中的相关信息。
2020-08-12 cs.HC cs.IR cs.LG
Retrieval-based and Fine-tuned LLM Approaches for Industrial Asset Health Monitoring and Decision Support
Department of Chemical Engineering, University of Alberta(阿尔伯塔大学化学工程系);Department of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology(上海理工大学光电信息与计算机工程学院)
研究基于检索和微调的大语言模型方法在工业资产健康监测中的故障传感器诊断推理表现,通过FailureSensorIQ基准测试,发现语义搜索和混合搜索效果好,基于LLM的微调模型性能最佳,且各方法对一些干扰因素敏感。
2026-07-29 cs.IR
Evaluating the Robustness of Retrieval-Augmented Generation to Adversarial Evidence in the Health Domain
University of Waterloo(滑铁卢大学);Toronto Metropolitan University(多伦多 Metropolitan 大学)
该研究针对健康领域RAG系统易受检索证据中错误信息影响的漏洞,通过对照实验评估其鲁棒性,发现对抗性文档会大幅降低输出一致性,而有益证据可维持鲁棒性,为高风险领域安全RAG设计提供参考并公开了实验数据。
2025-09-04 cs.CL cs.IR
Contradictions in Context: Challenges for Retrieval-Augmented Generation in Healthcare
Deakin University(迪肯大学);RMIT University(皇家墨尔本理工大学)
本文研究了在医疗领域使用检索增强生成方法时,源文档中过时或矛盾信息对模型性能的影响,提出了一个基准数据集并分析了不同LLM的表现。
2026-04-06 cs.IR cs.LG
Lessons Learned on Information Retrieval in Electronic Health Records: A Comparison of Embedding Models and Pooling Strategies
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Boston Children’s Hospital Harvard Medical School(波士顿儿童医院哈佛医学院);University of Colorado Anschutz(科罗拉多大学安舒茨分校);Loyola University Chicago(芝加哥洛约拉大学)
本文针对临床领域电子健康记录信息检索,通过消融研究比较七种嵌入模型(含医疗与通用领域)及池化策略在两类数据源三项任务中的表现,发现通用模型BGE优于医疗专用模型,确定最佳池化方法并为检索系统优化提供经验。
2024-09-23 cs.CL cs.IR
Mind the Gap: Aligning Knowledge Bases with User Needs to Enhance Mental Health Retrieval
Princeton University(普林斯顿大学);National University of Singapore(国立新加坡大学);MOH Office for Healthcare Transformation(卫生部医疗转型办公室)
通过用户需求对齐知识库,提升心理健康检索性能,减少内容创建需求,实现高质量信息检索。
2025-11-21 cs.AI cs.IR
Retrieval-Augmented Generation in LLMs for Mental Health: Quantifying the Incremental Contribution of Retrieval Within a Layered Safety Architecture
Wysa Inc.(Wysa公司)
研究数字心理健康干预中,通过在名为Wysa的DMHI里对比启用和禁用检索增强生成(RAG)模式,评估六个大语言模型,计算相关指标并测试差异,发现RAG虽致误报增加,但符合安全原则,是提升LLM驱动的DMHIs相关性能的有前景方法。
2026-07-29 cs.AI cs.CL cs.IR
TA-RAG: Tone-Aware Retrieval-Augmented Generation for Peer-Support Health Communication
Swinburne University of Technology(斯winburne大学)
提出TA-RAG框架,通过轻量级提示在RAG管道中嵌入语气控制(无污名化、可读性调整、受众适应、同理心改写),无需微调模型,提升敏感健康沟通质量。
2026-06-15 cs.CL cs.IR
Evaluating Search Engines and Large Language Models for Answering Health Questions
Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS)(智能技术研究中心(CiTIUS));Universidade de Santiago de Compostela(圣地亚哥德孔波斯特拉大学)
本研究比较了搜索引擎、大型语言模型及RAG变体在回答150个健康问题上的表现,发现LLMs准确率更高,RAG方法能显著提升较小LLMs的准确率。
2025-03-06 cs.AI cs.IR
mamabench and mamaretrieval: Benchmarks for Evaluating Medical Retrieval-Augmented Generation in Maternal, Neonatal, and Reproductive Health
École Polytechnique Fédérale de Lausanne(瑞士联邦理工学院洛桑校区)
针对助产士咨询的孕产妇、新生儿和生殖健康问题,构建了包含25,949个问题的QA基准mamabench和基于3,185个查询的段落级相关性基准mamaretrieval,采用分级相关标注和标签质量审计。
2026-07-07 cs.CL cs.IR
Evaluating LLM Abilities to Understand Tabular Electronic Health Records: A Comprehensive Study of Patient Data Extraction and Retrieval
Université Paul Sabatier(保罗·萨巴蒂埃大学);IRIT(信息论与电信研究所);Centre Hospitalier Universitaire de Toulouse(图卢兹大学医院中心);INSERM(法国国家健康与医学研究院);Université de Toulouse(图卢兹大学);Faculté de Médecine(医学院)
本研究首次探究大语言模型理解表格型电子健康记录的能力,通过MIMICSQL数据集实验验证了特征选择、序列化方法及上下文学习对任务表现的提升作用,并提出相关设计准则以支持健康搜索。
2025-01-16 cs.CL cs.IR
Retrieval Augmented Thought Process for Private Data Handling in Healthcare
University of Cambridge(剑桥大学)
本文提出检索增强思维过程(RATP),将LLM思维生成建模为多步决策过程,结合蒙特卡洛树搜索与代理奖励函数,在私有电子病历问答任务上相比上下文检索增强生成提升35%准确率。
2024-08-07 cs.AI cs.CL cs.IR
Multilingual Medical Question Answering and Information Retrieval for Rural Health Intelligence Access
Sir M. Visvesvaraya Institute of Technology(M·维斯维斯瓦亚爵士理工学院)
在一些发展中国家的农村地区,基本上无法获得高质量的医疗保健、医疗基础设施和专业诊断。这些地区中有许多正在逐步接入互联网基础设施,尽管连接不够强大,无法与医生进行持续的通信。由于无法获得医疗服务、没有病人以前的健康记录和没有土著语言的信息而造成的几起死亡是很容易避免的。在本文中,我们描述了一种利用机器学习和NLP(自然语言处理)技术的惊人进步来设计一个低资源、多语言和初步的第一接触点医疗助理的模型的方法。我们的贡献包括定义命名实体识别所需的NLP管道,语言无关的句子嵌入,自然语言翻译,信息检索,问答,并生成最终查询处理的预训练。我们获得了有希望的结果,这个管道和EHR(电子健康记录)分析的初步结果与文本摘要,供医疗从业者阅读他们的诊断。通过这个NLP管道,我们的目标是为用户提供初步的医疗信息,并不声称要取代合格医生的诊断。使用来自主题专家的输入,我们已经编译了一个大型语料库来预训练和微调我们的基于BioBERT的NLP模型,用于特定任务。我们期待NLP架构的最新进展,其中一些是高效和隐私保护的模型,以进一步影响我们的解决方案,并提高个人任务的性能。
2021-06-02 cs.CL cs.IR
EHR-RAGp: Prototype-Guided Retrieval of Longitudinal Electronic Health Records for Clinical Prediction Models
New York University(纽约大学);New York University Abu Dhabi(纽约大学阿布扎赫德)
本文提出EHR-RAGp模型,通过动态整合患者历史信息提升临床预测性能,优于现有基础模型和Transformer基线。
2026-09-29 cs.AI cs.IR cs.LG
PriHA: A RAG-Enhanced LLM Framework for Primary Healthcare Assistant in Hong Kong
The Hong Kong Polytechnic University(香港理工大学);Haikou Affiliated Hospital of Central South University Xiangya School of Medicine(中南大学湘雅医学院海口附属医院);Sun Yat-Sen University Cancer Center(中山大学肿瘤中心)
本文提出PriHA框架,通过检索增强生成技术解决香港初级医疗服务中指南碎片化问题,提升信息访问准确性与清晰度。
2026-05-17 cs.AI cs.IR
Experience Retrieval-Augmentation with Electronic Health Records Enables Accurate Discharge QA
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Yale University(耶鲁大学);University of Waterloo(滑铁卢大学)
提出基于电子健康记录的经验检索增强框架ExpRAG,通过粗到细检索相似患者出院报告提供病例知识,并在包含1,280个问题的DischargeQA数据集上验证,平均相对提升5.2%,显著增强了临床出院问答的医学推理准确性。
2025-05-28 cs.AI cs.CL cs.IR
RAM-EHR: Retrieval Augmentation Meets Clinical Predictions on Electronic Health Records
Emory University(埃默里大学);Georgia Institute of Technology(佐治亚理工学院);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
RAM-EHR通过密集检索多源医学知识并转换为文本,结合一致性正则化协同训练本地EHR预测模型,有效解决了医学概念命名复杂问题,在两个数据集上显著提升了临床预测性能。
2024-07-26 cs.AI cs.CL cs.IR
Improving Health Question Answering with Reliable and Time-Aware Evidence Retrieval
Technical University of Munich(慕尼黑工业大学)
针对现有健康问答系统依赖预标注证据、难以应对新问题的局限,研究基于PubMed和检索-阅读流水线,通过优化检索文档数量、时效与引用指标,将宏F1分数最高提升10%,并指出未来研究方向。
2024-04-12 cs.AI cs.CL cs.IR
DR.EHR: Dense Retrieval for Electronic Health Record with Knowledge Injection and Synthetic Data
Tsinghua University(清华大学)
针对电子健康记录检索中的语义鸿沟问题,本文提出 DR.EHR 两阶段密集检索框架,通过知识图谱注入与 LLM 合成数据训练 110M 和 7B 模型,在 CliniQ 上达到最先进性能。
2025-07-24 cs.AI cs.CL cs.IR
Are LLMs Truly Multilingual? Exploring Zero-Shot Multilingual Capability of LLMs for Information Retrieval: An Italian Healthcare Use Case
Department of Electrical, Computer and Biomedical Engineering(电气、计算机与生物医学工程系);University of Pavia(帕维亚大学);IRCCS Humanitas Research Hospital(人类itas研究医院)
本文探讨了开源多语言LLMs在零样本条件下处理意大利语电子健康记录信息提取的能力,发现部分模型在泛化能力上存在不足。
2025-12-04 cs.AI cs.CL cs.IR
Conceptualizing Machine Learning for Dynamic Information Retrieval of Electronic Health Record Notes
MIT(麻省理工学院);Beth Israel Deaconess Medical Center(贝斯以色列女执事医疗中心)
本文提出利用 EHR 审计日志监督临床笔记相关性,并在急诊科动态检索任务中实现 0.963 AUC,用户研究验证其可提升信息检索效率。
2023-08-09 cs.CL cs.IR cs.LG
Report on the 1st Workshop on Large Language Model for Evaluation in Information Retrieval (LLM4Eval 2024) at SIGIR 2024
本文报告了与SIGIR 2024同期举办的首届LLM4Eval研讨会,该研讨会聚焦于利用大型语言模型进行信息检索评估这一新兴主题,通过专题讨论和海报展示促进研究者交流。
2024-08-09 cs.IR
An Evaluation of Two Commercial Deep Learning-Based Information Retrieval Systems for COVID-19 Literature
COVID-19大流行导致对获取最新科学信息的巨大需求,主要是通过使用文本挖掘和搜索工具。这导致了与COVID-19相关的生物医学文章的两个语料库(例如CORD-19语料库(Wang et al.,2020))以及搜索引擎来查询这样的数据。虽然搜索引擎中的大多数研究是在信息检索(IR)的学术领域中进行的,但是大多数学术搜索引擎$\unicode{x2013}$(尽管经过严格评估的$\unicode{x2013}$)被稀疏地利用,而主要的商业web搜索引擎(例如,谷歌、必应)占据主导地位。这与COVID-19有关,因为可以预期,为大流行部署的商业搜索引擎将获得比学术实验室生产的搜索引擎高得多的吸引力,从而导致对这些搜索工具的实证表现提出质疑。本文旨在对谷歌和亚马逊生产的两种针对COVID-19的商业搜索引擎进行实证评估,并与在TREC-COVID跟踪背景下评估的更具学术性的原型进行比较(Roberts et al.,2020年)。我们采取了几个步骤来减少可用人工判断中的偏差,以确保两个系统与提交给TREC-COVID的系统进行公平比较。我们发现,TREC-COVID中在所有指标上表现最好的系统在本研究中评估的不同系统中表现最好。这对开发生物医学检索系统以应对未来的健康危机以及对流行的健康搜索引擎的信任具有影响。
2020-07-27 cs.IR
Report on the First HIPstIR Workshop on the Future of Information Retrieval
HIPstIR的愿景是,早期阶段的信息检索(IR)的研究人员聚集在一起,开发一个未来的非主流的想法和研究议程在IR。这一愿景的第一次迭代实现了为期三天的研讨会在朴次茅斯,新罕布什尔州的形式出席了24名研究人员在学术界和工业界。与会者预先提交了一个或多个他们希望在会议上推销的主题。在为期三天的研讨会期间,我们自行组织成小组,就共同感兴趣的六项具体建议开展工作。在本报告中,我们介绍了研讨会的概况,并简要总结了研讨会提出的六项建议。
2019-12-20 cs.IR
Bridging the Gap: Leveraging Retrieval-Augmented Generation to Better Understand Public Concerns about Vaccines
Murdoch Children's Research Institute(默多克儿童研究所);The University of Melbourne(墨尔本大学)
本文提出基于检索增强生成的 VaxPulse Query Corner 工具,通过分析 35,103 条 Shingrix 社交媒体帖子,帮助公共卫生管理者理解公众疫苗担忧并实施针对性干预,在答案忠实度和相关性上分别达到 0.96 和 0.94。
2025-07-17 cs.IR cs.LG cs.SI
Indoor Information Retrieval using Lifelog Data
在过去的十年里,通过生活日志研究人类行为受到了研究人员越来越多的关注。生活日志提供的机会是基于这样一个事实,即生活日志作为我们生活的“黑匣子”,提供了丰富的上下文信息,这一直是信息发现的阿喀琉斯之踵。虽然生活日志数据已投入使用在各种情况下,其应用到室内环境场景仍然是未开发的。在这项建议中,我计划设计一种方法,使我们能够捕捉和记录室内lifelog数据的一个人的生活,以促进医疗保健系统,应急响应,项目跟踪等为此,我们的目标是建立一个室内信息检索系统,可以查询与自然语言查询lifelog数据。明智地使用室内应用的生活日志数据可以使我们能够解决我们日常生活中非常基本但不可避免的问题。生活日志数据分析与信息检索相结合不仅是一个很有前途的研究课题,而且其室内应用的可能性,特别是在医疗保健,丢失物品跟踪将是一个创新的研究思路,以我们所知。
2019-10-17 cs.HC cs.IR
Ranking Narrative Query Graphs for Biomedical Document Retrieval (Technical Report)
本文针对生物医学文档检索中图检索精确匹配难以排序的问题,提出基于图的无监督排序、查询松弛和本体重写方法,有效提升了检索的精确率和召回率。
2024-12-06 cs.IR
Global Public Health Surveillance using Media Reports: Redesigning GPHIN
Digital Technologies Research Centre, National Research Council Canada(加拿大国家研究委员会数字技术研究中心);Public Health Agency of Canada(加拿大公共卫生局)
全球公共卫生监测依赖于报告结构和可靠卫生报告的传播。但在实践中,这些进程可能并不总是足够快,或者受到程序、技术或政治障碍的阻碍。GPHIN,全球公共卫生情报网络,是在20世纪90年代末设计的,旨在从主流新闻中搜索卫生事件,因为它传播得更快,更自由。本文概述了2017年上线的下一代GPHIN,并报告了支持其新功能和创新的设计决策。
2020-04-09 cs.CL cs.IR
Report on the 8th International Workshop on Bibliometric-enhanced Information Retrieval (BIR 2019)
ECIR的文献计量学增强信息检索研讨会系列(BIR)解决了与学术搜索相关的问题,处于信息检索和文献计量学之间的十字路口。BIR是学术界(例如,ArnetMiner、CiteSeerx、DocEar)和行业(例如,Google Scholar、Microsoft Academic Search、Semantic Scholar)。本报告介绍了在德国科隆举行的ECIR 2019上为期一天的BIR研讨会的第8次迭代。
2019-09-11 cs.DL cs.IR
Multistage BiCross encoder for multilingual access to COVID-19 health information
University of Sheffield(谢菲尔德大学)
新型冠状病毒(COVID-19)大流行导致网上健康信息迅速增长。这促使人们需要以多种语言对数百万文档进行准确的语义搜索和检索可靠的COVID-19信息。为了解决这一问题,本文提出了一种新的高精度和高召回率神经多级BiCross编码器的方法。它是一个顺序的三阶段排名管道,使用Okapi BM 25检索算法和基于transformer的双向编码器和交叉编码器来有效地对给定查询的文档进行排名。我们展示了我们参与COVID-19多语言语义搜索的多语言信息访问(MLIA)共享任务的实验结果。独立评估的MLIA结果验证了我们的方法,并表明它优于其他国家的最先进的方法,根据几乎所有的评价指标的情况下,单语和双语运行。
2021-08-26 cs.AI cs.IR cs.LG
Report on the 7th International Workshop on Bibliometric-enhanced Information Retrieval (BIR 2018)
文献计量学增强的信息检索(BIR)系列研讨会于2014年在ECIR开始,并作为IR研究人员的年度聚会,他们解决科学语料库和文献计量学的各种信息相关任务。我们欢迎对专用IR系统进行详细说明的贡献,以及揭示科学知识如何创建,传播和使用的原始特征的研究。本报告介绍了在法国格勒诺布尔举行的ECIR 2018第七届BIR研讨会上接受的所有论文。
2018-04-10 cs.DL cs.IR
Unlocking Electronic Health Records: A Hybrid Graph RAG Approach to Safe Clinical AI for Patient QA
本文提出MediGRAF,一种结合图检索与向量嵌入的混合RAG系统,通过整合结构化数据与非结构化文本,提升临床AI在患者问答中的安全性和准确性。
2025-11-27 cs.AI cs.CL cs.IR
Report on the 3rd Joint Workshop on Bibliometric-enhanced Information Retrieval and Natural Language Processing for Digital Libraries (BIRNDL 2018)
$3^{rd}$联合BIRNDL研讨会在美国安娜堡举行的第41届ACM SIGIR信息检索研究与开发会议(SIGIR 2018)上举行。BIRNDL 2018旨在激励IR研究人员和数字图书馆专业人员详细阐述自然语言处理,信息检索,科学计量学和推荐技术的新方法,这些方法可以大规模地推进学术文档理解,分析和检索的最新技术。研讨会包括三个论文会议和CL-SciSumm共享任务的$4^{th}$版本。
2018-12-02 cs.DL cs.IR
Retrieval-Augmented Large Language Models for Evidence-Informed Guidance on Cannabidiol Use in Older Adults
Lawrence Bloomberg Faculty of Nursing, University of Toronto(多伦多大学劳伦斯·布隆伯格护理学院);KITE Research Institute, Toronto Rehabilitation Institute, University Health Network(大学健康网络多伦多康复研究所KITE研究所);College of Engineering and Technology, American University of the Middle East(中东美国大学工程与技术学院)
本文提出一种结合结构化提示工程与大麻二酚证据的检索增强型大型语言模型框架,用于为老年人提供安全指导,同时开发了无标注评估框架以评估AI在敏感健康场景中的可靠性。
2026-01-16 cs.AI cs.IR
GeopoliticalQA: Benchmarking Retrieval and Generation over Intelligence Reports
GeopoliticalQA基准包含415份情报报告的5525个问答对,通过专家标注与LLM验证质量,评估15个检索系统和6个LLM的RAG性能,发现块级检索质量不依赖嵌入模型规模,bge-m3表现突出,答案生成仍具挑战。
2026-10-12 cs.CL cs.IR
Writing by Memorizing: Hierarchical Retrieval-based Medical Report Generation
UC San Diego(加州大学圣地亚哥分校);Penn State University(宾夕法尼亚州立大学);Microsoft Azure Computer Vision(微软Azure计算机视觉部门)
医学报告生成是医学图像分析中最具挑战性的任务之一。虽然现有的方法已经取得了可喜的成果,他们要么需要一个预定义的模板数据库,以检索句子或忽略了医疗报告生成的分层性质。为了解决这些问题,我们提出MedWriter,它采用了一种新的分层检索机制,自动提取报告和病历级模板,用于临床准确的报告生成。MedWriter首先采用视觉语言检索~(VLR)模块来检索给定图像的最相关报告。为了保证句子之间的逻辑一致性,引入了语言检索模块(LLR),根据先前生成的描述来检索相关句子。最后,语言解码器融合图像特征和检索到的报告和句子的特征,生成有意义的医疗报告。我们通过两个数据集的自动评估和人工评估来验证我们的模型的有效性,即,Open-I和MIMIC-CXR。
2021-05-25 cs.CL cs.CV cs.IR
Classification Tree Diagrams in Health Informatics Applications
健康信息学处理用于优化医疗数据的获取,存储和检索的方法,并对医疗保健应用中的信息进行分类。医疗保健分析师对各种计算机信息学领域特别感兴趣,例如:来自数据的知识表示、异常检测、爆发检测方法和症状监测应用。虽然提出了各种参数和非参数方法来对数据中的信息进行分类,但与其他方法相比,分类树图为分析师提供了交互式可视化。在这项工作中,我们讨论了应用分类树图分类信息的医疗数据在医疗保健应用。
2014-02-09 cs.CV cs.IR cs.LG
A MapReduce Approach to Effectively Utilize Long Context Information in Retrieval Augmented Language Models
Columbia University(哥伦比亚大学);Weill Cornell Medicine(威尔康奈尔医学院);National Institutes of Health(美国国立卫生研究院);Weill Cornell Medical College(威尔康奈尔医学院);University of Texas Southwestern Medical Center(德克萨斯大学西南医学中心);NYU Grossman School of Medicine(纽约大学格罗斯曼医学院)
针对医疗领域RAG中“迷失在中间”问题,提出无需修改模型权重的map-reduce策略BriefContext,提升LLM的鲁棒性、安全性与可靠性。
2024-12-17 cs.CL cs.IR
Comparing Knowledge Sources for Open-Domain Scientific Claim Verification
Technical University of Munich(慕尼黑工业大学)
本研究比较了开放域科学声明验证中不同知识来源与检索技术,发现PubMed适合专业生物医学声明,Wikipedia适合日常健康问题,BM25精度高而语义搜索召回率高。
2024-02-05 cs.AI cs.CL cs.IR
RadIR: A Scalable Framework for Multi-Grained Medical Image Retrieval via Radiology Report Mining
University of Science and Technology of China(科学技术大学);Shanghai AI Laboratory(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学)
本文提出RadIR框架,利用放射学报告全自动构建多粒度医学图像检索数据集MIMIC-IR和CTRATE-IR,并开发RadIR-CXR和model-ChestCT系统,在78项指标中77项达最先进水平。
2025-07-12 cs.CV cs.IR eess.IV
A Feature Analysis for Multimodal News Retrieval
TIB–Leibniz Information Centre for Science and Technology(TIB-莱布尼茨科学技术信息中心);L3S Research Center, Leibniz University Hannover(汉诺威莱布尼茨大学L3S研究中心)
基于内容的信息检索基于文档中包含的信息,而不是使用关键字等元数据。大多数信息检索方法都是基于文本或图像的。在本文中,我们调查的有用性多模态功能的跨语言新闻搜索在各个领域:政治,健康,环境,体育和金融。为此,我们考虑五个特征类型的图像和文本,并比较使用不同的组合的检索系统的性能。实验结果表明,同时考虑视觉和文本信息可以提高检索结果。此外,据观察,在文本特征实体重叠优于词嵌入,而地理位置嵌入实现更好的性能之间的视觉特征在检索任务。
2020-10-01 cs.CL cs.IR cs.LG
Large-Scale Knowledge Synthesis and Complex Information Retrieval from Biomedical Documents
Quantiphi(Quantiphi公司)
医疗保健行业的最新进展导致了大量的非结构化数据,这使得大规模执行高效准确的信息检索等任务变得非常具有挑战性。我们的工作提供了一个一体化的可扩展的解决方案,用于从大规模的研究文档中提取和探索复杂的信息,否则这将是乏味的。首先,我们简要介绍了我们的知识合成过程中提取有用的信息,从非结构化的文本数据的研究文件。然后,在从文档中提取的知识的顶部,我们执行复杂的信息检索使用三个主要组成部分-段落检索,三元组检索从知识图谱,和复杂的问答(QA)。这些组件结合了基于词汇和语义的方法来检索段落和三元组,并执行分面细化以过滤这些搜索结果。生物医学查询和文档的复杂性需要使用能够处理比模拟事实查询更复杂的查询的QA系统,我们在COVID-19开放研究数据集(CORD-19)上进行了定性评估,以证明其有效性和附加值。
2023-02-14 cs.AI cs.IR
Developing Retrieval Augmented Generation (RAG) based LLM Systems from PDFs: An Experience Report
Tampere University(坦佩雷大学)
本文以PDF为数据源开发RAG系统,报告端到端流程、技术挑战与解决方案,并对比OpenAI Assistant API与Llama开源模型两种实现路径。
2024-10-21 cs.AI cs.IR cs.SE
Retrieval-augmented systems can be dangerous medical communicators
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Duke University(杜克大学);Stanford University(斯坦福大学)
本文通过大规模健康查询分析表明,检索增强与引用溯源虽能减少幻觉,却仍可能因去语境化和遗漏来源而误导患者,并提出改进医疗传播的建议。
2025-06-09 cs.AI cs.CL cs.IR
Retrieval Augmented Chest X-Ray Report Generation using OpenAI GPT models
Bharathidasan University(巴拉蒂达桑大学);Indian Institute of Science(印度科学学院);Microsoft Research(微软研究院);Databricks Inc.(Databricks公司)
本研究提出基于RAG的胸部X射线报告自动生成方法,结合对比预训练视觉语言模型的多模态嵌入检索相关文本,用OpenAI GPT系列模型生成报告,有效抑制幻觉,临床指标显著提升,可适配多类临床场景并支持自定义内容格式。
2023-05-05 cs.AI cs.CL cs.IR
Benchmarking Robustness of Contrastive Learning Models for Medical Image-Report Retrieval
Texas A&M University-San Antonio(德州农工大学圣安东尼奥分校)
该研究针对医学图像与报告跨域检索场景,构建遮挡检索任务基准测试四种主流对比学习模型的鲁棒性,发现模型均对分布外数据敏感,领域训练数据和模型鲁棒性提升是关键方向。
2025-01-15 cs.AI cs.CL cs.CV