Hierarchical Contextualized Representation for Named Entity Recognition
Shanghai Jiao Tong University（上海交通大学）
命名实体识别（NER）模型通常基于双向LSTM（BiLSTM）的架构。顺序性的约束和单输入的建模阻止了从更大范围充分利用全局信息，不仅在整个句子中，而且在整个文档（数据集）中。在本文中，我们解决这两个不足，并提出了一个模型增强层次上下文表示：文档级表示和文档级表示。在句子级，我们考虑单个句子中单词的不同贡献，通过标签嵌入注意力机制增强从独立BiLSTM学习的句子表示。在文档级，采用键值记忆网络来记录每个唯一词的文档感知信息，该信息对上下文信息的相似性敏感。我们的两级分层上下文表示分别与每个输入标记嵌入和相应的BiLSTM隐藏状态融合。在三个基准NER数据集（CoNLL-2003和Ontonotes 5.0英语数据集，CoNLL-2002西班牙语数据集）上的实验结果表明，我们建立了新的最先进的结果。
2019-11-19 cs.CL cs.LG
Multi-Document Summarization with Determinantal Point Processes and Contextualized Representations
University of Central Florida（中佛罗里达大学）；Tencent AI Lab（腾讯人工智能实验室）
作为一种性能最好的摘要提取技术，决定点过程选择最有可能的一组句子，形成一个摘要，根据一个概率度量模型定义的句子突出和成对排斥。传统上，这些方面的建模使用浅和语言上知情的功能，但深语境化表示的兴起提出了一个有趣的问题，是否，以及在何种程度上，语境化表示可以用来改善DPP建模。我们的研究结果表明，尽管成功的深层表征，它仍然有必要将它们与表面指标相结合，以有效地识别摘要句。
2019-10-24 cs.CL
Within-Document Event Coreference with BERT-Based Contextualized Representations
本文针对文档内事件共指消解，提出利用预训练 BERT 表示训练神经分类器并驱动聚类算法生成共指链，在两个标准数据集达到最优并在新数据集建立基准。
2024-04-06 cs.AI cs.CL cs.IR
Unsupervised Contextualized Document Representation
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）；School of Computing, University of Utah（犹他大学计算机学院）
一些NLP任务需要文本文档的有效表示。Arora et.例如，2017年的研究表明，词向量的简单加权平均通常优于神经模型。SCDV（Mekala et.例如，2017）通过在预先计算的词向量上采用软和稀疏聚类，进一步将其从句子扩展到文档。然而，这两种技术都忽略了词的多义性和语境特征。在本文中，我们通过提出SCDV+BERT（ctxd）来解决这个问题，这是一种简单有效的无监督表示，它结合了上下文化的BERT（Devlin等人，2019）基于词嵌入的SCDV软聚类词义消歧方法。我们表明，我们的嵌入在许多分类数据集上优于原始SCDV，预训练BERT和其他几个基线。我们还证明了我们的嵌入在其他任务，如概念匹配和句子相似性的有效性。此外，我们表明，SCDV+BERT（ctxd）优于微调BERT和不同的嵌入方法的情况下，有限的数据和只有少数镜头的例子。
2021-09-22 cs.CL cs.IR cs.LG
BERT-QE: Contextualized Query Expansion for Document Re-ranking
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；Amazon Alexa（亚马逊 Alexa）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
查询扩展的目的是减少查询和文档中使用的语言之间的不匹配。然而，查询扩展方法在扩展查询时可能会引入不相关的信息。为了弥合这一差距，灵感来自最近的进展，应用上下文模型，如BERT的文档检索任务，本文提出了一种新的查询扩展模型，利用强度的BERT模型选择相关的文档块进行扩展。在对标准TREC Robust 04和GOV 2测试集的评估中，所提出的BERT-QE模型显著优于BERT-Large模型。
2020-11-03 cs.CL cs.IR
Pre-training is a Hot Topic: Contextualized Document Embeddings Improve Topic Coherence
Bocconi University（博科尼大学）；University of Milan-Bicocca（米兰比可卡大学）
主题模型从文档中提取单词组，将其解释为主题有望更好地理解数据。然而，由此产生的词组往往是不连贯的，使他们更难解释。最近，神经主题模型在整体连贯性方面有所改善。同时，上下文嵌入总体上推进了神经模型的发展。在本文中，我们结合上下文表示与神经主题模型。我们发现，我们的方法比传统的词袋主题模型和最近的神经模型产生更有意义和连贯的主题。我们的研究结果表明，未来的改进语言模型将转化为更好的主题模型。
2021-06-17 cs.CL
Self-Supervised Document Similarity Ranking via Contextualized Language Models and Hierarchical Inference
Tel-Aviv University（特拉维夫大学）；Ariel University（阿里埃勒大学）；Bar-Ilan University（巴伊兰大学）；Microsoft（微软）
我们提出了一种新的模型，根据其语义相似性的源（查询）文档的文档集合的排名问题。虽然已经研究了文档到文档相似性排名的问题，但大多数现代方法仅限于相对较短的文档或依赖于“地面实况”相似性标签的存在。然而，在大多数常见的现实情况下，相似性排名是一个无监督的问题，因为相似性标签不可用。此外，一个理想的模型不应该受到文档长度的限制。因此，我们引入SDR，这是一种用于文档相似性的自监督方法，可以应用于任意长度的文档。重要的是，SDR可以有效地应用于非常长的文档，超过了Longformer的4，096个最大令牌限制。对大型文档数据集的广泛评估表明，SDR在所有指标上都显着优于其替代品。为了加速未来对无标签长文档相似性排名的研究，并作为对社区的额外贡献，我们在此发布了两个人工注释的长文档相似性评估测试集。SDR代码和数据集是公开的。
2021-06-02 cs.CL
Contextual Document Embeddings
Cornell University（康奈尔大学）
本文提出上下文文档嵌入方法，通过引入邻居文档信息改进对比学习和架构，在MTEB基准上取得最优性能，适用于任何对比学习数据集和双编码器。
2024-11-08 cs.AI cs.CL
Contextualized Word Representations for Reading Comprehension
Tel-Aviv University（特拉维夫大学）
最近，阅读文档并提取关于其内容的问题的答案引起了大量关注。虽然大多数工作都集中在问题和文件之间的相互作用，在这项工作中，我们评估的重要性时，独立处理的问题和文件的上下文。我们为此任务采用标准神经架构，并表明通过从大型预训练语言模型提供丰富的上下文化单词表示，以及允许模型在上下文相关和上下文无关的单词表示之间进行选择，我们可以获得显着的改进，并达到与竞争SQuAD数据集上最先进的性能相当的性能。
2018-09-04 cs.CL
Attention Expansion: Enhancing Keyphrase Extraction from Long Documents with Attention-Augmented Contextualized Embeddings
Institute for Research in Technology, ICAI School of Engineering, Comillas Pontifical University（技术研究所，ICAI工程学院，科米利亚斯宗座大学）；DD-AIM, Senior Machine Learning Researcher（DD-AIM，高级机器学习研究员）
提出注意力扩展机制，通过预训练词嵌入增强PLM的上下文表示，在不增加计算成本的情况下扩展有效上下文范围，显著提升长文档关键短语提取性能。
2026-06-12 cs.AI cs.CL
Learning Contextualized Document Representations for Healthcare Answer Retrieval
Beuth University of Applied Sciences（柏林应用技术大学）
我们提出了上下文话语向量（CDV），一个分布式的文件表示，从长的医疗保健文件的有效答案检索。我们的方法是基于结构化查询元组的实体和自由文本和医学分类方面。我们的模型利用具有分层LSTM层和多任务训练的双编码器架构来编码临床实体和方面的位置以及文档话语。我们使用我们的连续表示，以解决查询与短延迟使用近似最近邻搜索句子级别。我们应用CDV模型检索连贯的答案通道从9个英语公共卫生资源从网络上，解决病人和医疗专业人员。由于没有可用于所有应用场景的端到端训练数据，我们使用来自Wikipedia的自监督数据训练我们的模型。我们表明，我们的广义模型显着优于几个国家的最先进的基线医疗通道排名，并能够适应异构域，而无需额外的微调。
2020-02-03 cs.CL
Understand Legal Documents with Contextualized Large Language Models
Northwest Polytechnical Unviersity（西北工业大学）；Ohio State University（俄亥俄州立大学）
针对人口大国待决法律案件增长的问题，提出Legal-BERT-HSLN和Legal-LUKE模型分别处理法律文本修辞角色预测与实体识别任务，在SemEval-2023 Task 6中取得优异成绩。
2023-07-19 cs.CL
Document-Level Event Role Filler Extraction using Multi-Granularity Contextualized Encoding
Cornell University（康奈尔大学）
在事件提取的文献中，很少有作品超越了单个句子来做出提取决策。当识别事件论元所需的信息分散在多个句子中时，这是有问题的。我们认为，文档级事件提取是一项艰巨的任务，因为它需要一个更大的背景下，以确定哪些跨度的文本对应于事件角色填充。我们首先研究端到端神经序列模型（具有预训练的语言模型表示）如何执行文档级角色填充符提取，以及捕获的上下文长度如何影响模型的性能。为了动态地聚合由在不同粒度级别学习的神经表示捕获的信息（例如，句子级和段落级），我们提出了一种新的多粒度阅读器。我们在MUC-4事件提取数据集上评估了我们的模型，并表明我们最好的系统比以前的工作表现得更好。我们还报告了上下文长度和神经模型在任务中的表现之间的关系的研究结果。
2020-05-13 cs.CL
CTE: A Dataset for Contextualized Table Extraction
Dipartimento di Ingegneria dell’Informazione (DINFO) Università degli studi di Firenze（佛罗伦萨大学信息工程系）
文件中的相关信息通常以表格形式概括，帮助读者识别有用的事实。大多数基准数据集支持文档布局分析或表格理解，但缺乏以统一的方式应用这两项任务的数据。我们定义了上下文化表提取（CTE）的任务，其目的是提取和定义表的结构，考虑到文档的文本上下文。该数据集包含75 k页完整注释的科学论文，包括超过35 k个表格。数据从PubMed Central收集，合并了PubTables-1 M和PubLayNet数据集中注释提供的信息。该数据集可以支持CTE并向原始类添加新类。生成的注释可用于开发各种任务的端到端管道，包括文档布局分析、表格检测、结构识别和功能分析。我们正式定义CTE和评估指标，显示哪些子任务可以解决，描述的优势，局限性，以及未来的工作，这个数据集。注释和代码可通过https://github.com/AILab-UniFI/cte-dataset访问。
2023-02-13 cs.CL cs.CV
Phenotyping of Clinical Notes with Improved Document Classification Models Using Contextualized Neural Language Models
Virginia Commonwealth University（弗吉尼亚联邦大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
临床记录包含患者健康状况的广泛记录，例如吸烟状况或心脏病的存在。然而，这一细节在电子卫生系统的结构化数据中并不重复。表型分析是从免费临床文本中提取患者状况的关键任务，它支持各种下游应用，如决策支持和医疗记录的二次使用。以前的工作已经产生了高性能的系统，但需要手工工程，通常是规则。最近在预训练的上下文化语言模型方面的工作已经在表示各种任务的文本方面取得了进展。因此，我们探索了几种体系结构的建模表型，仅依赖于BERT表示的临床笔记，消除了手工工程的需要。我们发现这些架构在两个表型分析任务上与现有的最先进的方法竞争或优于现有的最先进的方法。
2020-09-17 cs.CL
Self-Supervised Learning for Contextualized Extractive Summarization
IBM Research（IBM研究院）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
现有的提取摘要模型通常是从零开始训练的，具有交叉熵损失，这并不能显式地捕获文档级别的全局上下文。在本文中，我们的目标是通过引入三个辅助预训练任务来改进这个任务，这些任务学习以自我监督的方式捕获文档级上下文。在广泛使用的CNN/DM数据集上的实验验证了所提出的辅助任务的有效性。此外，我们表明，在预训练之后，具有简单构建块的干净模型能够超越先前精心设计的最先进模型。
2019-06-11 cs.CL
Lifelong Neural Topic Learning in Contextualized Autoregressive Topic Models of Language via Informative Transfers
Technische Universität München（慕尼黑工业大学）；TUM（慕尼黑工业大学）；Siemens AG（西门子股份公司）；LMU（慕尼黑大学）
LDA、DocNADE、iDocNADEe等主题模型在文档分析中得到了广泛的应用。然而，传统的主题模型有几个局限性，包括：（1）词袋（BoW）假设，其中它们忽略了单词排序，（2）数据稀疏，其中由于有限的单词共现，主题模型的应用具有挑战性，导致不连贯的主题，以及（3）没有用于终身主题学习的持续学习框架，利用历史知识（或潜在主题）和最小化灾难性遗忘。本文的研究重点是在神经主题建模框架下解决上述问题。我们建议：（1）结合主题和语言模型并引入语言结构（如词序、句法和语义特征等）的语境化主题模型在主题建模中，（2）将一种新的终身学习机制引入神经主题建模框架，以证明连续文档集合中的连续学习和最小化灾难性遗忘。此外，我们执行一个选择性的数据增强，以减轻在数据幻觉或重放过程中需要完整的历史语料库。
2019-09-29 cs.CL cs.IR cs.LG
ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT
Stanford University（斯坦福大学）
自然语言理解（NLU）的最新进展正在推动信息检索（IR）的快速发展，这在很大程度上要归功于对用于文档排序的深度语言模型（LM）进行微调。虽然非常有效，但基于这些LM的排名模型比现有方法增加了几个数量级的计算成本，特别是因为它们必须通过大规模神经网络来馈送每个查询-文档对以计算单个相关性得分。为了解决这个问题，我们提出了ColBERT，这是一种新的排名模型，它可以适应深度LM（特别是BERT）以实现高效检索。ColBERT引入了一个后期交互架构，它使用BERT独立地对查询和文档进行编码，然后采用一个廉价但功能强大的交互步骤来模拟它们的细粒度相似性。通过延迟并保留这种细粒度的交互，ColBERT可以利用深度LM的表现力，同时获得离线预计算文档表示的能力，从而大大加快查询处理。除了降低通过传统模型检索的文档重新排序的成本外，ColBERT的修剪友好交互机制还可以利用向量相似性索引直接从大型文档集合进行端到端检索。我们使用两个最近的通道搜索数据集广泛评估ColBERT。结果表明，ColBERT的有效性与现有的基于BERT的模型相比具有竞争力（并且优于每一个非BERT基线），同时执行速度快两个数量级，每次查询所需的FLOP少四个数量级。
2020-06-04 cs.CL cs.IR
Cross-lingual Contextualized Topic Models with Zero-shot Learning
Bocconi University（博科尼大学）；University of Milano-Bicocca（米兰比可卡大学）
许多数据集（例如，评论、论坛、新闻等）以多种语言存在。它们都覆盖相同的内容，但语言上的差异使得无法使用传统的基于词袋的主题模型。模型必须要么是单一语言，要么是庞大但极其稀疏的词汇表。这两个问题都可以通过迁移学习来解决。在本文中，我们介绍了一个zero-shot跨语言主题模型。我们的模型学习一种语言（这里是英语）的主题，并预测不同语言（这里是意大利语，法语，德语和葡萄牙语）的未见过的文档。我们评估了不同语言的同一文档的主题预测的质量。我们的研究结果表明，转移的主题是连贯和稳定的跨语言，这表明令人兴奋的未来研究方向。
2021-02-04 cs.CL
Neural Language Modeling for Contextualized Temporal Graph Generation
Carnegie Mellon University（卡内基梅隆大学）
本文提出了第一个研究使用大规模的预训练语言模型自动生成的事件级的时间图的文档。尽管神经预训练方法在NLP任务中取得了巨大的成功，但其在事件图上的时间推理潜力尚未得到充分探索。部分原因是难以获得具有人类注释事件和时间链接的大型训练语料库。我们通过使用现有的IE/NLP工具来自动生成大量（89，000）系统生成的文档-图对，并提出了一种新的上下文化图生成问题作为序列到序列映射任务。这些策略使我们能够在系统诱导的训练数据上利用和微调预训练的语言模型，以用于图生成任务。我们的实验表明，我们的方法是非常有效的生成结构和语义上有效的图。此外，一个具有挑战性的手标记，域外语料库的评估表明，我们的方法优于最接近的现有方法的几个指标上的大幅度。代码和预训练模型可在https://github.com/madaan/temporal-graph-gen上获得。
2021-04-12 cs.CL
textTOvec: Deep Contextualized Neural Autoregressive Topic Models of Language with Distributed Compositional Prior
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学）
我们解决了概率主题建模的两个挑战，以便更好地估计给定上下文中单词的概率，即，P（单词|上下文）：（1）语境中无语言结构：概率主题模型通过将给定的语境概括为“词袋”而忽略词序，因此语境中的词的语义丢失。LSTM-LM通过考虑局部搭配模式中的词序来学习每个单词的向量空间表示，并对语言的复杂特征（例如，语法和语义），而TM同时从整个文档中学习潜在表示并发现底层主题结构。我们通过结合TM（例如，DocNADE）和统一概率框架中的LM，命名为ctx-DocNADE。(2)有限的上下文和/或较小的文档训练语料库：在具有少量单词出现的设置中（即，缺乏上下文）或在少量文档的语料库中数据稀疏，TM的应用是具有挑战性的。我们通过语言建模方法将外部知识纳入神经自回归主题模型来应对这一挑战：我们使用词嵌入作为LSTM-LM的输入，旨在改善较小和/或短文本语料库上的词主题映射。建议的DocNADE扩展名为ctx-DocNADEe。我们提出了新的神经自回归主题模型变体，加上神经LM和嵌入先验，在泛化（困惑），可解释性（主题一致性）和适用性（检索和分类）方面始终优于最先进的生成TM，超过来自不同领域的6个长文本和8个短文本数据集。
2019-02-23 cs.AI cs.CL cs.IR
Improving Chemical Named Entity Recognition in Patents with Contextualized Word Embeddings
The University of Melbourne（墨尔本大学）；Elsevier（爱思唯尔）
化学专利是重要的化学信息资源。然而，很少有化学命名实体识别（NER）系统已被评估的专利文件，部分原因是其结构和语言的复杂性。在本文中，我们探讨了NER性能的BiLSTM-CRF模型利用预训练的词嵌入，字符级的词表示和上下文ELMo词表示化学专利。我们比较了在生物医学和化学专利语料库上预训练的词嵌入。还探讨了针对化学领域优化的标记器对化学专利中NER性能的影响。两个专利语料库的结果表明，从ELMo生成的上下文化的词表示大大提高化学NER性能w.r.t.我们还表明，特定领域的资源，如词嵌入培训的化学专利和化学特定的标记器对NER性能有积极的影响。
2019-07-05 cs.CL
Going Full-TILT Boogie on Document Understanding with Text-Image-Layout Transformer
Poznan University of Technology（波兹南理工大学）；Adam Mickiewicz University in Poznań（波兹南亚当·密茨凯维奇大学）；Jagiellonian University（雅盖隆大学）
我们通过引入TILT神经网络架构来解决纯文本文档之外的自然语言理解的挑战性问题，该架构同时学习布局信息，视觉特征和文本语义。与以前的方法相反，我们依赖于一个解码器，能够统一涉及自然语言的各种问题。布局被表示为注意力偏差，并补充了上下文视觉信息，而我们模型的核心是一个预先训练的编码器-解码器Transformer。我们的新方法在从文档中提取信息和回答需要布局理解的问题（DocVQA，CORD，SROIE）方面取得了最先进的结果。与此同时，我们通过采用端到端模型简化了流程。
2021-07-12 cs.CL cs.LG
Lacuna Reconstruction: Self-supervised Pre-training for Low-Resource Historical Document Transcription
University of California, San Diego（加州大学圣迭戈分校）；University of Maryland（马里兰大学）
我们提出了一种自我监督的预训练方法，用于学习手写和打印历史文档转录的丰富视觉语言表示。经过监督微调，我们的预训练编码器表示低资源的文件转录两种语言，（1）一组异构的手写体Islamicate手稿图像和（2）早期现代英语印刷文档，我们显示了一个有意义的提高识别准确性从零开始训练的相同的监督模型，只有30行图像transmittance训练。我们的掩蔽语言模型风格的预训练策略，其中模型被训练为能够从同一行内采样的干扰项中识别出真正的掩蔽视觉表示，鼓励学习鲁棒的上下文语言表示，这些语言表示不受抄写风格和跨文档的打印噪声的影响。
2021-12-16 cs.CL cs.CV cs.LG
Contextualized Representations Using Textual Encyclopedic Knowledge
Google Research（谷歌研究院）；University of Washington（华盛顿大学）
我们提出了一种方法来表示输入文本的上下文，他们与动态检索的文本百科全书背景知识从多个文件。我们将我们的方法应用于阅读理解任务，通过编码问题和段落以及关于他们提到的实体的背景句子。我们表明，从文本中整合背景知识对于专注于事实推理的任务是有效的，并允许直接重用功能强大的预训练BERT风格的编码器。此外，知识集成可以进一步提高与适当的预训练，通过一个自我监督的掩蔽语言模型目标在背景增强的输入文本中的单词。在TriviaQA上，我们的方法比不动态整合背景知识的RoBERTA模型获得了1.6到3.1 F1的改进。在MRQA（一个由各种QA数据集组成的大型集合）上，我们看到了域内的一致收益以及BioASQ（2.1至4.2 F1），TextbookQA（1.6至2.0 F1）和DuoRC（1.1至2.0 F1）的域外大幅改善。
2021-07-13 cs.CL
Clinical Named Entity Recognition using Contextualized Token Representations
University of California, Los Angeles（加州大学洛杉矶分校）
临床命名实体识别（CNER）任务寻求定位临床术语并将其分类为预定义的类别，诸如诊断程序、疾病紊乱、严重性、药物、药物剂量和体征症状。CNER有助于药物副作用的研究，包括识别新现象和以人为中心的信息抽取。现有的兴趣实体提取方法集中于使用静态的词嵌入来表示每个词。然而，一个词可以有不同的解释，这取决于句子的上下文。显然，静态的词嵌入不足以整合一个词的不同解释。为了克服这一挑战，引入了语境化的词嵌入技术，以更好地根据上下文捕捉每个词的语义。ELMo和Flair语言模型已被广泛应用于自然语言处理领域，用于生成领域通用文档的上下文化词嵌入。然而，这些嵌入通常过于笼统，无法捕捉特定领域的词汇表之间的接近度。为了使用临床病例报告（CCR）促进各种下游应用程序，我们使用PubMed Central的临床相关语料库预训练了两个深度上下文化的语言模型，即来自语言模型的临床嵌入（C-ELMo）和临床上下文字符串嵌入（C-Flair）。显式实验表明，我们的模型获得了显着的改善相比，静态词嵌入和域通用语言模型。
2021-06-23 cs.CL q-bio.QM
BLAD: A Historically Contextualized, Multilingual Dataset of Bangladeshi Legal Acts (1799 to 2025)
Islamic University of Technology（伊斯兰科技大学）；Systems and Software Lab (SSL)（系统与软件实验室）
介绍孟加拉国法律法案数据集BLAD，它包含1799年至2025年的1484项法案，涵盖多语言文档，解决南亚低资源民法管辖区法律NLP资源缺口，描述获取流程等，推动相关研究，数据集公开。
2026-07-21 cs.CL
Improving Information Extraction on Business Documents with Specific Pre-Training Tasks
INSA Lyon（里昂国立应用科学学院）；Esker（Esker公司）
本文针对商业文档信息抽取中预训练任务过于通用的问题，基于LayoutLM模型提出两个新的预训练任务以更好地理解文档布局和数值信息，并引入新的后处理算法解码BIESO标签，显著提升了在公开和私有数据集上的抽取性能。
2023-09-11 cs.AI cs.CL
Patton: Language Model Pretraining on Text-Rich Networks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对文本丰富网络预训练方法缺乏的问题，提出Patton框架，通过结合网络上下文化掩码语言建模和掩码节点预测策略，捕捉文本属性与网络结构的依赖关系，在多个领域的下游任务中显著超越基线。
2023-05-20 cs.AI cs.CL cs.LG
AraLegal-BERT: A pretrained language model for Arabic Legal text
Elm Company（埃尔姆公司）
BERT模型在多语言任务上的有效性已经得到了很好的证明。另一方面，它在法律等狭窄和具体领域的潜力尚未得到充分开发。在本文中，我们研究了如何将BERT用于阿拉伯语法律领域，并尝试使用几个不同的领域相关训练和测试数据集从头开始训练BERT，为几个下游任务定制这种语言模型。我们介绍了AraLegal-BERT，这是一种基于双向编码器转换器的模型，已经过全面测试和仔细优化，旨在扩大NLP驱动的解决方案在法理学，法律文件和法律实践方面的影响。我们微调了AraLegal-BERT，并在三个自然语言理解（NLU）任务中针对阿拉伯语的三个BERT变体对其进行了评估。实验结果表明，AraLegal-BERT的基本版本在法律文本上的识别率优于一般版本和原始版本的BERT。
2022-10-15 cs.CL
To Word Senses and Beyond: Inducing Concepts with Contextualized Language Models
University of Lille（里尔大学）；Inria（法国国家信息与自动化技术研究院）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；UMR 9189 - CRIStAL
本文提出概念归纳任务，通过结合局部词元视角和全局跨词表视角的双层无监督方法，从数据中学习词间软聚类以定义概念，并在SemCor和Word-in-Context任务上验证了其有效性。
2025-11-07 cs.CL
Galactic ChitChat: Using Large Language Models to Converse with Astronomy Literature
Research School of Astronomy & Astrophysics, Australian National University（澳大利亚国立大学天文与天体物理研究院）；School of Computing, Australian National University（澳大利亚国立大学计算学院）
本研究利用OpenAI GPT-4模型，通过上下文提示与天文学论文交互。采用蒸馏技术将论文缩减50%以保持语义，并在十篇文档的多文档上下文中测试，发现GPT-4能结合相关研究提供详细答案，展现了大模型在天文学界特别是假设生成方面的潜力。
2023-09-12 astro-ph.GA astro-ph.IM cs.CL
Analise Semantica Automatizada com LLM e RAG para Bulas Farmaceuticas
Universidade Estadual Paulista (UNESP)（圣保罗州立大学）
针对数字文档增长下非结构化信息提取分析的难题，提出结合RAG与LLM的PDF文档自动化分析方案，经药品说明书实验验证，在信息检索与文本解读上有显著增益。
2025-07-07 cs.CL cs.IR
Domain-specific long text classification from sparse relevant information
CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；CHU de Nice（尼斯大学中心医院）
针对大型语言模型在稀疏弱信号下难以处理领域特定长文档分类的问题，提出一种利用目标术语短列表检索候选句子并进行池化的分层模型，在医疗数据集上验证其优于大型模型。
2024-08-23 cs.CL
Mixed Attention Transformer for Leveraging Word-Level Knowledge to Neural Cross-Lingual Information Retrieval
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
预先训练的上下文表示为许多下游任务提供了巨大的成功，包括文档排序。这种预训练表示的多语言版本提供了使用同一模型联合学习多种语言的可能性。虽然预计通过这种联合训练可以获得很大的收益，但在跨语言信息检索（CLIR）的情况下，多语言环境下的模型并没有达到与单语言环境下相同的性能水平。我们假设性能下降是由于查询和文档之间的翻译差距。在单语检索任务中，由于词汇输入相同，模型更容易识别出出现在文档中的查询词。然而，在将不同语言的单词投影到同一超空间的多语言预训练模型中，模型倾向于将查询词转换为相关词，即，出现在相似上下文中的术语，除了或有时不是目标语言中的同义词。这个属性给模型连接查询和文档中同时出现的术语带来了困难。为了解决这个问题，我们提出了一种新的混合注意力Transformer（MAT），它结合了外部的字级知识，如字典或翻译表。我们设计了一个三明治式的架构，将MAT嵌入到最近基于Transformer的深度神经模型中。通过将翻译知识编码成注意力矩阵，具有MAT的模型能够关注输入序列中的互译词。实验结果表明，外部知识的有效性和MAT嵌入的神经重排序模型的CLIR任务的显着改善。
2021-09-14 cs.CL cs.IR
Fine-Grained Opinion Summarization with Minimal Supervision
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
意见摘要旨在通过从多个文档中提取意见来分析目标。大多数现有的工作方法的任务，在半监督的方式，由于难以获得高质量的注释从成千上万的文件。其中，一些使用方面和情感分析作为识别意见的代理。在这项工作中，我们提出了一个新的框架，FineSum，它在三个方面推进了这一前沿：（1）最小的监督，只有方面的名称和一些方面/情感关键字是可用的;（2）细粒度的意见分析，其中情感分析钻到子方面的水平;和（3）基于短语的总结，其中意见是总结在短语的形式。FineSum自动从原始语料库中识别意见短语，将其分类为不同的方面和情感，并在每个方面/情感下构建多个细粒度的意见聚类。每个聚类由语义连贯的短语组成，表达对某些子方面或特征的统一意见（例如，在“食物”方面对“汉堡”有积极的感觉。一个面向观点的球形词嵌入空间被训练来为短语分类器提供弱监督，并且使用从短语分类器生成的方面感知的上下文化嵌入来执行短语聚类。基准测试的自动评估和定量的人工评估都验证了该方法的有效性。
2021-10-17 cs.CL
Can a Frozen Pretrained Language Model be used for Zero-shot Neural Retrieval on Entity-centric Questions?
Kioxia Corporation（铠侠公司）
神经文档检索器，包括密集段落检索（DPR），在特定的问答数据集上进行微调和测试时，表现优于经典的词汇匹配检索器，如BM 25。然而，它已被证明，现有的密集检索不推广以及不仅出域，但即使在域，如维基百科，特别是当一个问题中的命名实体是一个主要的线索检索。在本文中，我们提出了一种方法，对领域泛化内泛化使用的嵌入所产生的冻结语言模型训练的实体领域。通过不微调，我们探索了预训练的语言模型中包含的丰富知识可用于检索任务的可能性。该方法优于传统的DPRs在维基百科领域的实体为中心的问题，并实现几乎相当的性能BM 25和最先进的SPAR模型。我们还表明，上下文化的键导致强大的改进相比，BM 25时，实体名称由常见的单词。我们的研究结果表明，zero-shot检索方法的可行性，以实体为中心的问题的维基百科领域，DPR一直在努力执行。
2023-03-09 cs.AI cs.CL
Large Language Models as Financial Data Annotators: A Study on Effectiveness and Efficiency
JPMorgan AI Research（摩根大通人工智能研究院）
本研究探讨大型语言模型作为金融数据标注者的潜力，对比GPT-4等三种模型与专家及众包工作者的表现，发现定制提示至关重要，并提出可靠性指数LLM-RelIndex以识别需专家关注的输出。
2024-03-26 cs.CL
