Positional Bias in Long-Document Ranking: Impact, Assessment, and Mitigation
Independent Researcher（独立研究者）；Louisiana State University（路易斯安那州立大学）；Carnegie Mellon University（卡内基梅隆大学）
针对长文档排序模型性能提升有限的问题，研究发现是基准测试的位置偏差所致，通过分析多数据集偏差分布、构建诊断数据集验证假设，并指出基准设计、鲁棒模型识别及去偏差训练的重要性。
2025-11-12 cs.CL cs.IR
Dependency Structure for News Document Summarization
The University of Adelaide（阿德莱德大学）
在这项工作中，我们开发了一个基于神经网络的模型，利用依存句法分析来捕获跨位置的依赖关系和语法结构。在语言信号的帮助下，可以正确地捕获新闻文档之间的层次关系，从而提高新闻文档摘要的性能。实证研究表明，这种简单而有效的方法优于现有的工作在基准数据集上。广泛的分析研究了不同的设置和配置的建议模式，提供了一个很好的参考社会。
2022-02-22 cs.CL
Self-Conditioned Positional HNSW for Overlap-Aware Retrieval in Chunked-Document RAG Systems: Method and Industrial Evidence-Quality Audit
eBay Inc.（eBay公司）
提出自条件位置HNSW（SCP-HNSW），通过低维位置编码和两遍查询过程实现重叠感知检索，减少重复证据，并基于工业审计数据验证其有效性。
2026-06-01 cs.AI cs.CL cs.DB
Dwell in the Beginning: How Language Models Embed Long Documents for Dense Retrieval
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；Instituto Superior Técnico and INESC-ID, University of Lisbon（里斯本大学高级技术学院与INESC-ID研究所）；NOVA LINCS, NOVA School of Science and Technology（NOVA科技大学NOVA LINCS研究所）
该研究考察 encoder-decoder 检索模型在预训练、对比预训练和对比微调各阶段的位置偏差，发现其嵌入更偏重长文档开头内容，且微调会强化该偏差。
2024-10-26 cs.CL cs.IR
Where is the answer? Investigating Positional Bias in Language Model Knowledge Extraction
OMRON SINIC X（欧姆龙SINIC X）；Google Research（谷歌研究院）；Google Cloud AI Research（谷歌云人工智能研究院）
针对大型语言模型微调后存在的“困惑度诅咒”问题，研究发现其知识提取存在位置偏差，即易提取文档首句信息、难提取中间或结尾信息，通过发布相关数据集及验证去噪自回归损失等正则化方法的改善作用，为改进知识提取及讨论RAG与微调权衡提供新依据。
2025-04-18 cs.AI cs.CL
Efficient Attentions for Long Document Summarization
University of Michigan（密歇根大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
大型Transformers的二次计算和存储复杂性限制了其用于长文档摘要的可扩展性。在本文中，我们提出了Hepos，一种新的高效的编码器-解码器注意力与头部的位置步幅，以有效地查明显着的信息从源。我们进一步对现有的有效自我注意力进行了系统的研究。结合Hepos，我们能够处理比使用完全注意力的现有模型多十倍的令牌。为了进行评估，我们提出了一个新的数据集，GovReport，具有显着更长的文档和摘要。结果表明，我们的模型产生的ROUGE评分显著高于竞争性比较，包括PubMed上的最新结果。人类评估还表明，我们的模型生成的摘要信息量更大，不忠实的错误更少。
2021-04-11 cs.CL
DocPolarBERT: A Pre-trained Model for Document Understanding with Relative Polar Coordinate Encoding of Layout Structures
Data Analytics Solutions, SCOR（数据分析解决方案，SCOR）；Univ Brest, CNRS, UMR 6205, LMBA（布列塔尼大学，法国国家科学研究中心，UMR 6205，LMBA）；INSA Rennes, IRISA, Inria, CNRS, Université de Rennes（里尔大学，IRISA，Inria，法国国家科学研究中心，里尔大学）
DocPolarBERT通过相对极坐标编码布局结构，实现高效的文档理解，无需绝对位置嵌入，且在小数据集上表现优异。
2026-01-22 cs.CL
LayoutXLM vs. GNN: An Empirical Evaluation of Relation Extraction for Documents
Naver Labs Europe（Naver欧洲实验室）
本文研究了文档中的关系抽取任务，通过基准测试两种不同的神经网络模型：多模态语言模型（LayoutXLM）和图神经网络：边缘卷积网络（ECN）。对于这个基准测试，我们使用XFUND数据集，与LayoutXLM一起发布。虽然这两种模型得出了相似的结果，但它们都表现出非常不同的特征。这就提出了如何在神经网络中集成各种模态的问题：通过额外的预训练（LayoutXLM）或级联方式（ECN）合并所有模态。最后，我们讨论了一些方法论问题，必须考虑新的数据集和任务定义领域的信息抽取复杂的文件。
2022-05-09 cs.AI cs.CL
Attention Alignment and Flexible Positional Embeddings Improve Transformer Length Extrapolation
Carnegie Mellon University（卡内基梅隆大学）
本文提出通过温度缩放的注意力对齐策略，缓解T5模型因位置嵌入灵活性导致的注意力分散问题，从而无需微调即可提升其在长上下文任务中的外推能力。
2023-11-15 cs.CL cs.LG
Give it Space! Explicit Disentangling of Positional and Semantic Representations in Encoders
Sorbonne Université, CNRS, ISIR（索邦大学、国家科学研究中心、信息研究所）；Orange Innovation（Orange创新）
通过将位置和语义信号分离为三个独立流，研究Transformer中位置编码的机制，发现解缠方法能保留宏观结构并提升语言表示性能。
2026-09-03 cs.AI cs.CL
Contrastive Training Improves Zero-Shot Classification of Semi-structured Documents
University of Michigan（密歇根大学）；AWS AI Labs（亚马逊云科技人工智能实验室）
我们研究了半结构化文档分类在一个zero-shot设置。半结构化文档的分类比标准的非结构化文档更具挑战性，因为位置、布局和样式信息在解释此类文档时起着至关重要的作用。在训练和测试期间类别都是固定的标准分类设置在可能出现新文档类别的动态环境中是不够的。我们专注于专门的zero-shot设置，其中的推理是在新的看不见的类。为了解决这个问题，我们提出了一种基于匹配的方法，它依赖于一个成对的对比目标进行预训练和微调。我们的研究结果表明，在监督和无监督zero-shot设置中，Macro F $_1$从建议的预训练步骤中得到了显着的提升。
2022-10-11 cs.AI cs.CL
A Hierarchical Structured Self-Attentive Model for Extractive Document Summarization (HSSAS)
School of Information Science and Engineering, Central South University（中南大学信息科学与工程学院）
神经网络结构和训练算法的最新进展表明了表示学习的有效性。基于神经网络的模型比传统的模型产生更好的表示。它们能够自动学习句子和文档的分布式表示。为此，我们提出了一种新的模型，解决了几个问题，没有充分建模的先前提出的模型，如内存问题，并将文档结构的知识。我们的模型使用一个层次结构的自我注意力机制来创建句子和文档嵌入。该架构反映了文档的层次结构，从而使我们能够获得更好的特征表示。注意力机制提供额外的信息源来指导摘要提取。新模型将摘要任务视为一个分类问题，在该问题中，模型计算各个摘要-摘要成员资格的概率。该模型的预测被分解的几个功能，如信息内容，显着性，新颖性和位置表示。该模型进行了评估，两个著名的数据集，CNN /每日邮报，DUC 2002年。实验结果表明，我们的模型优于目前的提取国家的最先进的一个相当大的保证金。
2018-05-20 cs.CL
LazyAttention: Efficient Retrieval-Augmented Generation with Deferred Positional Encoding
Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校Siebel计算与数据科学学院）；Google（谷歌）；Amazon（亚马逊）
针对检索增强生成中KV缓存位置编码复用性差的问题，提出LazyAttention机制，通过核化延迟位置编码实现零拷贝、位置无关的KV重用，显著降低首令牌延迟并提升推理吞吐量。
2026-06-03 cs.CL cs.LG
Key Information Extraction From Documents: Evaluation And Generator
Maastricht University（马斯特里赫特大学）；KI Group GmbH（KI集团有限公司）
从文档中提取信息通常依赖于处理一维文本序列的自然语言处理方法。在某些情况下，例如，为了从半结构化文档（诸如发票文档）中提取关键信息，文本的空间和格式信息对于理解上下文含义是至关重要的。卷积神经网络在计算机视觉模型中已经很常见，用于处理和提取多维数据中的关系。因此，自然语言处理模型在过去已经与计算机视觉模型相结合，以受益于例如位置信息并提高这些关键信息抽取模型的性能。现有的模型要么是在未公布的数据集上训练的，要么是在附有注释的收据集上训练的，这些收据集并不侧重于类似PDF的文件。因此，在这个研究项目中，创建了一个基于模板的文档生成器来比较信息抽取的最新模型。现有的信息抽取模型“Chargrid”（Katti等人，2019）进行了重建，并评估了限界框回归解码器的影响以及NLP预处理步骤对从文档中提取信息抽取的影响。结果表明，基于NLP的预处理有利于模型的性能。然而，限界框回归解码器的使用仅对于不遵循矩形形状的场增加模型性能。
2021-06-09 cs.CL
P-Transformer: Towards Better Document-to-Document Neural Machine Translation
Northwest Minzu University（西北民族大学）；Soochow University（苏州大学）；Huawei Translation Services Center（华为翻译服务中心）
通过Transformer从头开始直接训练文档到文档（Doc 2Doc）神经机器翻译（NMT），特别是在小数据集上，通常无法收敛。我们专门的探测任务表明：1）绝对位置和相对位置信息一旦到达编码器上层就会逐渐减弱甚至消失，2）编码器输出中绝对位置信息的消失导致Doc 2Doc NMT的训练失败。为了缓解这个问题，我们提出了一个位置感知的Transformer（P-Transformer），以提高绝对和相对位置信息的自我注意和交叉注意。具体地，我们整合绝对位置信息，即，位置嵌入，通过一个简单而有效的加法运算，在自注意和交叉注意中的查询键对中。此外，我们还整合了自我注意中的相对位置编码。所提出的P-变压器利用正弦位置编码，不需要任何任务指定的位置嵌入，段嵌入，或注意力机制。通过上述方法，我们使用P-Transformer构建了一个Doc 2Doc NMT模型，该模型以序列到序列（seq 2seq）的方式摄取源文档并完整地生成目标文档。此外，P-Transformer还可以应用于基于seq 2seq的文档到句子（Doc 2Sent）和句子到句子（Sent 2Sent）翻译。Doc 2Doc NMT的大量实验结果表明，P-Transformer在广泛使用的9个文档级数据集、7个语言对上的表现显著优于强基线，达到了新的水平。对话语现象的实验表明，我们的Doc 2Doc NMT模型在BLEU和话…
2022-12-12 cs.CL
SelfDoc: Self-Supervised Document Representation Learning
Brandeis University（布兰迪斯大学）；Adobe Research（Adobe研究院）
我们提出了SelfDoc，一个与任务无关的文档图像理解预训练框架。因为文档是多模态的，并且是用于顺序阅读的，所以我们的框架利用了文档中每个语义有意义的组件的位置、文本和视觉信息，并且它对每个内容块之间的上下文化进行建模。与现有的文档预训练模型不同，我们的模型是粗粒度的，而不是将单个单词作为输入，因此避免了过度的细粒度和过度的上下文化。除此之外，我们在模型预训练阶段引入了跨模态学习，以充分利用来自未标记文档的多模态信息。对于下游的使用，我们提出了一种新的模态自适应注意力机制的多模态特征融合，自适应强调语言和视觉信号。我们的框架受益于对文档的自我监督预训练，而不需要通过特征掩蔽训练策略进行注释。它在多个下游任务上实现了卓越的性能，与以前的作品相比，在预训练阶段使用的文档图像明显减少。
2021-06-07 cs.CL cs.CV
Multitask Balanced and Recalibrated Network for Medical Code Prediction
Aalto University（阿尔托大学）；Nanyang Technological University（南洋理工大学）
人类编码器将标准化的医疗代码分配给患者住院期间生成的临床文档，这容易出错且劳动密集。已经使用诸如深度神经网络的机器学习方法开发了自动化医疗编码方法。然而，由于不平衡的类问题，复杂的代码关联和冗长文档中的噪声，自动化医疗编码仍然具有挑战性。为了解决这些问题，我们提出了一种新的神经网络称为多任务平衡和重新校准神经网络。值得注意的是，多任务学习方案共享不同代码分支之间的关系知识以捕获代码关联。通过级联卷积块来开发重新校准的聚合模块，以提取高级语义特征，从而减轻文档中噪声的影响。此外，重新校准模块的级联结构可以从冗长的笔记中受益。为了解决类别不平衡的问题，我们部署了焦点损失来重新分配低频和高频医学代码的注意力。实验结果表明，我们提出的模型在现实世界的临床数据集MIMIC-III上优于竞争基线。
2022-09-06 cs.CL
Words Speak Louder Than Order: A Behavioral Evaluation of Gemma 4
Google（谷歌）
本研究通过平衡实验评估Gemma 4模型，发现来源框架比阅读顺序影响更大，且首因效应受表面措辞和结构重复显著调节。
2026-09-28 cs.AI cs.CL
PosIR: Position-Aware Heterogeneous Information Retrieval Benchmark
PosIR是一个标准化的异构信息检索基准，通过长度控制分桶策略系统诊断位置偏差，揭示了检索模型在长文档中存在优先偏差及近期偏差，暴露了短文本评估的局限性。
2026-03-12 cs.CL cs.IR
When Precision Meets Position: BFloat16 Breaks Down RoPE in Long-Context Training
National University of Singapore（新加坡国立大学）；Sea AI Lab（Sea AI实验室）
针对BFloat16格式下RoPE在长上下文训练中因精度有限出现数值问题的现象，提出即插即用的AnchorAttention方法，将首个token作为共享锚点，显著提升长上下文性能，训练时间减少超50%且保留通用任务能力。
2024-11-26 cs.CL
ULTRA: Unleash LLMs' Potential for Event Argument Extraction through Hierarchical Modeling and Pair-wise Self-Refinement
Bloomberg（彭博公司）
本研究针对文档级事件论元抽取任务，提出层级框架ULTRA，结合成对自精炼与LEAFER方法，缓解大语言模型位置偏差与论元边界定位难题，性能较强基线提升9.8%。
2025-03-20 cs.CL
Learning Neural Textual Representations for Citation Recommendation
University of Technology Sydney（悉尼科技大学）；VNU University of Engineering and Technology, Vietnam National University, Hanoi（河内越南国家大学工程技术大学）；Rozetta Institute（Rozetta研究所）
随着科学文献的快速增长，手动为论文选择合适的引文变得越来越具有挑战性和耗时。虽然近年来已经提出了几种自动引文推荐方法，但有效的引文推荐文档表示在很大程度上仍然是难以捉摸的。出于这个原因，在本文中，我们提出了一种新的引用推荐方法，该方法利用了文档的深度顺序表示（Sentence-BERT），并在子模块评分函数中级联了Siamese和三重网络。据我们所知，这是第一种将深度表示和子模块选择结合起来用于引文推荐任务的方法。实验使用流行的基准数据集-ACL Anthology Network语料库进行，并使用MRR和F1-at-k得分等指标对基线和最先进的方法进行评估。结果表明，该方法已经能够优于所有的比较方法在每一个测量指标。
2020-07-08 cs.CL
ICL-D3IE: In-Context Learning with Diverse Demonstrations Updating for Document Information Extraction
University of Electronic Science and Technology of China（电子科技大学）；Singapore Management University（新加坡管理大学）；Beijing Forestry University（北京林业大学）；Beijing Rongda Technology Co., Ltd.（北京融达科技有限公司）
本文提出 ICL-D3IE 框架，通过困难、关系和格式化示例及迭代更新增强 LLM 的文档信息抽取能力，并在 ID/OOD 基准上超越全量微调方法。
2023-08-21 cs.CL
Attention Basin: Why Contextual Position Matters in Large Language Models
本研究揭示大语言模型存在“注意力盆地”现象，即对序列首尾信息注意力高、中间低，据此提出无需训练的AttnRank重排序框架，将关键内容对齐至高注意力位置，在10种模型上显著提升多跳问答与少样本学习性能。
2025-08-07 cs.AI cs.CL
SLCNN: Sentence-Level Convolutional Neural Network for Text Classification
University of Zanjan（赞詹大学）
文本分类是自然语言处理的一项基本任务。最近的几项研究表明，深度学习在文本处理方面取得了成功。卷积神经网络（CNN）作为一种流行的深度学习模型，在文本分类任务中取得了显着的成功。在本文中，新的基线模型进行了研究，文本分类使用CNN。在这些模型中，文档作为三维张量表示被馈送到网络，以提供文档级分析。应用这种方法使模型能够利用文本中句子的位置信息。此外，分析相邻的句子可以提取额外的特征。所提出的模型进行了比较与国家的最先进的模型，使用几个数据集。实验结果表明，所提出的模型具有较好的性能，尤其是在较长的文档中。
2023-01-27 cs.CL cs.LG
Shuffle the Context: RoPE-Perturbed Self-Distillation for Long-Context Adaptation
Georgia Institute of Technology（佐治亚理工学院）；Microsoft（微软）
本文提出RoPE扰动的自我蒸馏方法，通过扰动RoPE索引生成不同视角的训练序列，提升模型对位置变化的鲁棒性，实验显示在长上下文任务中表现更优。
2026-04-15 cs.CL
Analysis of GraphSum's Attention Weights to Improve the Explainability of Multi-Document Summarization
Ulm University（乌尔姆大学）
现代多文档摘要（MDS）方法是基于Transformer架构的。它们生成了最先进的摘要，但缺乏可解释性。我们专注于基于图的Transformer模型的MDS，因为他们最近获得的普及。我们的目标是提高基于图的MDS的可解释性，通过分析他们的注意力权重。在基于图的MDS（如GraphSum）中，顶点表示文本单元，而边在单元上形成一些相似性图。我们比较GraphSum的性能，利用不同的文本单位，即。例如，句子与段落，在两个新闻基准数据集上，即WikiSum和MultiNews。我们的实验表明，段落级表示提供了最好的摘要性能。因此，我们随后集中oAnalysisn分析GraphSum的多头和解码层的段落级注意力权重，以提高基于transformer的MDS模型的可解释性。作为一个参考指标，我们计算的ROUGE分数之间的输入段落和每个句子在生成的摘要，这表明通过文本相似性的来源信息。我们观察到注意力权重和该参考度量之间的高度相关性，特别是在Transformer架构的后面的解码层上。最后，我们调查所生成的摘要是否遵循一种模式的位置偏差提取的段落提供了最多的信息，为每个生成的摘要。我们的研究结果表明，摘要中的位置和来源之间有很高的相关性。
2022-12-06 cs.CL cs.LG
Noise-Robust Abstractive Compression in Retrieval-Augmented Language Models
Korea University（高丽大学）
本文提出ACoRN方法，通过细粒度文档分类和离线数据增强提升检索增强语言模型中抗噪的抽象压缩性能，实验表明其在保持答案准确性的同时提升了评估指标。
2025-11-19 cs.AI cs.CL
ACoRN: Noise-Robust Abstractive Compression in Retrieval-Augmented Language Models
Department of Artificial Intelligence Korea University Seoul, Republic of Korea（人工智能系韩国大学首尔韩国）
针对检索增强生成中抽象压缩易受噪声干扰、遗漏关键信息的问题，本文提出噪声鲁棒压缩方法ACoRN，通过离线数据增强和针对性微调提升压缩性能，实验证明其可有效提升模型得分，适配真实场景。
2025-11-18 cs.AI cs.CL
Measuring and Addressing Indexical Bias in Information Retrieval
Stanford University（斯坦福大学）；Georgia Institute of Technology（佐治亚理工学院）；Meta AI
本文针对信息检索中的索引偏差问题，提出 PAIR 审计框架和通用自动偏差度量指标 DUO，并在大规模争议议题语料上验证了其预测读者观点变化的能力。
2024-06-06 cs.CL cs.IR
Semantic Needles in Document Haystacks: Sensitivity Testing of LLM-as-a-Judge Similarity Scoring
Pacific Northwest National Laboratory（太平洋西北国家实验室）；Washington University in St. Louis（华盛顿大学圣路易斯分校）；Humana Inc.（Humana公司）
本文提出一个可扩展的多因素实验框架，系统探讨LLM对文档配对中细微语义变化的敏感性。通过针在 haystack 中的类比，测试不同扰动类型、上下文类型、针位置和文档长度对五种LLM相似性评分的影响，揭示LLM在文档内位置偏倚、上下文相关性对评分的影响及模型间的评分分布差异。
2026-10-27 cs.AI cs.CL cs.LG
How Calibration Content Shapes Attention-Based Reranking
Google（谷歌）；Google DeepMind（谷歌DeepMind）；UC San Diego（加州大学圣迭戈分校）
本研究揭示提示内容可破坏基于注意力重排序中的空查询校准，提出插值空校准方法，在指令密集型任务上恢复性能并超越生成式重排序器。
2026-09-17 cs.CL cs.IR
Text-as-Signal: Quantitative Semantic Scoring with Embeddings, Logprobs, and Noise Reduction
ISCTE-IUL（里斯本大学ISCTE-IUL分校）
本文提出了一种将文本语料库转化为定量语义信号的实用流程，通过全文档嵌入、基于对数概率的评分和噪声减少的低维流形投影，实现文档和语料库层面的语义分析。
2026-03-17 cs.AI cs.CL
Eliminating Position Bias of Language Models: A Mechanistic Approach
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Harvard University（哈佛大学）；Texas A&M University（德克萨斯农工大学）
本文通过机制分析将语言模型的位置偏差归因于因果注意力和相对位置编码，提出无需训练的零样本方法PINE，将文档间因果注意力改为双向注意力并利用注意力值决定文档顺序，实现文档级位置不变推理，在多项下游任务中显著提升性能与可靠性。
2025-03-31 cs.CL cs.LG
Efficient Joint Learning for Clinical Named Entity Recognition and Relation Extraction Using Fourier Networks: A Use Case in Adverse Drug Events
University of Geneva（日内瓦大学）
目前的临床信息抽取方法在计算成本和存储器消耗方面效率低下，阻碍了它们在处理大规模电子健康记录（EHR）中的应用。我们提出了一个有效的端到端的模型，联合NER-RE-傅立叶（JNRF），共同学习的命名实体识别和关系抽取的可变长度的文档的任务。该架构使用位置编码和单位批量大小来处理可变长度文档，并使用权重共享傅立叶网络层来进行低复杂度令牌混合。最后，我们达到了理论计算复杂性的下限关系抽取使用选择性池化策略和距离感知的注意力权重与可训练的多项式距离函数。我们使用2018年N2 C2 ADE基准评估了JNRF架构，以联合提取可变长度EHR摘要中的药物相关实体和关系。JNRF的性能比滚动窗口BERT高0.42%，同时训练的速度是滚动窗口的两倍。在N2 C2 ADE基准测试中，与最先进的BiLSTM-CRF架构相比，结果表明，所提出的方法训练速度快22倍，GPU内存消耗减少1.75倍，合理的性能折衷为90%，无需使用外部工具，手工制作的规则或后处理。考虑到深度学习模型的显著碳足迹和当前的能源危机，这些方法可以支持在EHR和其他类型的大型文档数据库中进行高效和更清洁的信息抽取。
2023-02-08 cs.CL cs.LG
Speech Summarization using Restricted Self-Attention
Carnegie Mellon University（卡内基梅隆大学）
语音摘要通常通过使用级联的语音识别和文本摘要模型来执行。语音摘要模型的端到端建模是具有挑战性的，这是由于长输入音频序列引起的存储器和计算约束。最近在文档摘要方面的工作启发了一些方法来降低自我关注的复杂性，这使得Transformer模型能够处理长序列。在这项工作中，我们介绍了一个单一的模型优化端到端的语音摘要。我们将限制性自注意技术从基于文本的模型应用到语音模型，以解决内存和计算限制。我们证明，该模型学习直接总结语音教学视频的How-2语料库。所提出的端到端模型优于先前提出的级联模型3点绝对的ROUGE。此外，我们认为口语语言理解任务预测概念从语音输入，并表明所提出的端到端模型优于级联模型的4点绝对F-1。
2022-01-24 cs.AI cs.CL cs.SD
Attention-based Clinical Note Summarization
University of Stavanger（斯塔万格大学）；Links Foundation（林克斯基金会）
近年来，在许多行业中部署数字系统的趋势已经加快。卫生部门已经注意到，数字系统和服务的广泛采用产生了重要的医疗记录。电子健康记录包含用于前瞻性和回顾性分析的有价值的信息，由于复杂的密集信息存储，这些信息通常没有被完全利用。压缩健康记录的粗略目的是根据报告的疾病选择具有原始文档的大多数特征的信息。这些摘要可能会在像COVID-19大流行这样的饱和工作量情况下提高诊断率并节省医生的时间。在本文中，我们正在应用一个多头注意力为基础的机制来执行临床笔记上有意义的短语提取摘要。我们的方法发现主要句子的摘要相关的令牌，段，和位置嵌入的句子在临床笔记。该模型输出的注意力分数经过统计转换，以提取关键短语，用于在热图工具上可视化和供人类使用。
2022-02-28 cs.AI cs.CL cs.IR
