Event Identification as a Decision Process with Non-linear Representation of Text
Tsinghua University(清华大学)
我们提出了无标度标识符网络(sfIN),一种新的模型,在文档中的事件识别。一般来说,sfIN首先将文档编码到多尺度内存堆栈中,然后通过执行多尺度动作来提取特殊事件,这可以被认为是一种特殊类型的序列标记。大规模动作的设计使其更有效地处理长文档。整个模型的训练与监督学习和强化学习。
2017-10-03 cs.CL
Identifying while Learning for Document Event Causality Identification
School of Electronic Information and Communications, Huazhong University of Science and Technology(华中科技大学电子信息与通信学院);School of Software Engineering, Huazhong University of Science and Technology(华中科技大学软件学院)
本文针对文档事件因果关系识别(ECI)任务,提出一种边识别边学习的迭代框架,通过构建事件因果关系图并利用已识别因果关系的方向性和结构更新事件表示,在因果关系存在性与方向识别上均优于现有最先进算法。
2024-05-31 cs.CL
NLNDE: The Neither-Language-Nor-Domain-Experts' Way of Spanish Medical Document De-Identification
Bosch Center for Artificial Intelligence(博世人工智能中心);Saarland University(萨尔大学)
自然语言处理在医学领域有着巨大的应用潜力,近年来引起了大量的研究。然而,安全处理医疗文件的先决条件,例如,患者记录和临床试验,是隐私敏感信息的适当去识别。在本文中,我们描述了我们的NLNDE系统,我们参加了MEDDOCAN竞赛,这是IberLEF 2019的医疗文档匿名化任务。我们解决的任务是从西班牙数据中检测和分类受保护的健康信息作为一个序列标签问题,并研究我们的神经网络不同的嵌入方法。尽管处理非标准语言和领域设置,NLNDE系统在竞争中取得了可喜的成绩。
2020-07-02 cs.CL cs.LG
Acronym Identification and Disambiguation Shared Tasks for Scientific Document Understanding
University of Oregon(俄勒冈大学);Adobe Research(奥多比研究院);Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院)
缩略语是较长短语的缩写形式,经常用于写作,特别是学术写作,以节省空间并促进信息交流。因此,每个文本理解工具都应该能够识别文本中的首字母缩略词(即,首字母缩略词识别)并且还找到它们的正确含义(即,首字母缩略词消歧)。由于这些任务的大多数先前工作仅限于生物医学领域,并且使用在有限数据集上训练的无监督方法或模型,因此它们无法很好地执行科学文档理解。为了推动这一方向的研究,我们组织了两个共享的任务,分别命名为AI@SDU和AD@SDU的首字母缩略词识别和首字母缩略词消歧的科学文献。这两项共同任务分别吸引了52名和43名参与者。虽然提交的系统与现有的基线相比有了很大的改进,但仍然远远没有达到人类水平的性能。本文回顾了这两个共享任务以及它们各自的主要参与系统。
2021-01-06 cs.CL
Automatic Identification of Document Translations in Large Multilingual Document Collections
文本及其翻译是一种丰富的语言资源,可用于训练和测试基于语法的机器翻译系统和许多其他应用。在本文中,我们提出了一个工作系统,可以识别翻译和其他非常相似的文件之间的大量的候选人,通过表示文档内容与一个向量的词库术语从多语言词库,然后测量向量之间的语义相似性。对不同文本类型的测试表明,该系统可以在820个或更多文档的大搜索空间中以超过96%的精度检测翻译。该系统被调整为忽略特定语言的相似性,并给予第二语言的类似文档与相同语言的等效文档相同的相似性得分。该应用程序还可用于检测跨语言文档剽窃。
2006-09-12 cs.CL cs.IR
A Bayesian Multilingual Document Model for Zero-shot Topic Identification and Discovery
Brno University of Technology(布尔诺理工大学);KL University(KL大学)
提出一种贝叶斯多语言文档模型,通过高斯分布编码文档嵌入不确定性并传播至线性分类器,实现零样本跨语言主题识别,在中资源语言上优于大规模神经网络系统,并改进了评估协议。
2024-03-23 cs.CL
Graph-Community Detection for Cross-Document Topic Segment Relationship Identification
Instituto Superior Técnico(高等技术学院);Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们提出了一个图-社区发现的方法来识别跨文档的关系,在主题段的水平。给定一组相关文档,我们通过聚类具有相似内容(主题)的片段来自动找到这些关系。在这种情况下,我们研究了不同的权重机制如何影响发现的单词社区,涉及到不同的主题中发现的文件。最后,我们测试了不同的映射函数来分配主题段到单词社区,确定哪些主题段被认为是等价的。通过执行此任务,可以实现高效的多文档浏览,因为当用户在一个文档中找到相关内容时,我们可以提供对其他文档中类似主题的访问。我们在两个不同的场景中部署我们的方法。一个是教育场景,需要在学习材料之间找到对等关系;另一个是社会背景下的一系列对话,学生讨论常见的话题。结果表明,我们提出的方法更好地发现等价关系的学习材料的文件,并在社会语音领域,其中表现最好的方法是聚类技术,获得了接近的结果。
2016-06-13 cs.CL cs.IR cs.SI
LanideNN: Multilingual Language Identification on Character Window
Charles University, Faculty of Mathematics and Physics(查理大学数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
语言识别是自然语言处理的第一步,我们希望自动确定输入文本的语言。单语语言识别假设给定的文档是用一种语言编写的。在多语言识别中,文档通常是两种或三种语言,我们只需要它们的名称。我们的目标更进一步,并提出了一种文本语言识别的方法,其中语言可以任意改变,目标是识别每种语言的跨度。我们的方法是基于双向递归神经网络,它在单语和多语种的语言识别任务上表现良好,在6个数据集,涵盖131种语言。该方法对于短文档和跨域也保持了准确性,因此它是不准备训练数据的现成使用的理想方法。
2017-07-29 cs.CL
ERGO: Event Relational Graph Transformer for Document-level Event Causality Identification
Peking University(北京大学);Singapore Management University(新加坡管理大学);Beihang University(北京航空航天大学);SenseTime Research(商汤科技研究院)
文档级事件因果关系识别(DECI)旨在识别文档中事件对之间的因果关系。在没有明确因果指示的情况下,这对跨句推理提出了巨大挑战。在本文中,我们提出了一个新的事件关系图Transformer(ERGO)框架DECI,它改进了现有的国家的最先进的(SOTA)的方法在两个方面。首先,我们制定DECI作为一个节点分类问题,通过构建一个事件关系图,不需要先验知识或工具。其次,ERGO无缝集成了事件对关系分类和全局推理,利用关系图Transformer(RGT)来捕获潜在的因果链。此外,我们还引入了边缘构建策略和自适应聚焦损失来处理由常见的虚假相关引起的大量误报。在两个基准数据集上的大量实验表明,ERGO显著优于以前的SOTA方法(平均F1增益为13.1%)。我们进行了广泛的定量分析和案例研究,为未来的研究方向提供见解(第4.8节)。
2022-04-15 cs.AI cs.CL
LeSICiN: A Heterogeneous Graph-based Approach for Automatic Legal Statute Identification from Indian Legal Documents
Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校)
法律法规识别(LSI)的任务旨在识别与法律案件的事实或证据的给定描述相关的法律法规。现有的方法仅利用事实和法律文章的文本内容来指导这样的任务。然而,案例文件和法律法规之间的引文网络是额外信息的丰富来源,这是现有模型没有考虑的。在这项工作中,我们采取的第一步,利用文本和法律引文网络的LSI任务。我们为这项任务策划了一个大型的新数据集,包括印度几个主要法院的案件事实,以及印度刑法典(IPC)的法规。将法规和训练文档建模为异构图,我们提出的模型LeSICiN可以学习丰富的文本和图形特征,并且还可以调整自身以关联这些特征。此后,该模型可以用于归纳预测测试文档(其图形特征对模型不可用的新节点)和法规(现有节点)之间的链接。在数据集上进行的大量实验表明,通过利用图形结构和文本特征,我们的模型的性能远远优于几种最先进的基线。数据集和我们的代码可以在https://github.com/Law-AI/LeSICiN上找到。
2021-12-29 cs.CL
Zero-Shot Cross-Lingual Document-Level Event Causality Identification with Heterogeneous Graph Contrastive Transfer Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Ant Group(蚂蚁集团)
本文提出GIMC框架,通过异构图交互网络建模文档级事件长距离依赖,并利用多粒度对比迁移学习对齐跨语言因果表示,实现零样本跨语言文档级事件因果关系识别,性能显著优于现有最优模型及GPT-3.5。
2024-03-22 cs.AI cs.CL
Towards De-identification of Legal Texts
Universidad de la República(共和国大学)
在许多国家,可以在组织之间发布或共享的个人信息受到管制,因此,文件必须经过去识别过程,以消除或混淆机密数据。我们的工作重点是法律文本的去识别化,目标是隐藏诉讼中涉及的演员的名字,而不失去故事的意义。我们提出了第一次评估我们的语料库的NLP工具的任务,如分割,标记化和识别命名实体,我们分析了几个评估措施,我们的去识别任务。结果是微不足道的:84%的文档至少有一个名称未被NER工具覆盖,这可能导致重新识别所涉及的名称。我们的结论是,工具必须强烈适应这个特定领域的文本处理。
2019-10-09 cs.CL
Exploiting Lists of Names for Named Entity Identification of Financial Institutions from Unstructured Documents
University of Maryland(马里兰大学);IBM Research(IBM研究院)
文档集合中包含大量关于金融系统的信息。在本文中,我们专注于一个专门的文本提取任务,这一领域。目标是从财务招股说明书文件中提取金融机构名称或FI名称的提及,并识别相应的真实世界实体,例如,通过与这些实体的语料库进行匹配。任务是命名实体识别(NER)和实体解析(ER),这两个都是很好的研究文献。我们的贡献是开发一个基于规则的方法,将利用FI名称列表的任务,我们的解决方案是标记为基于字典的NER和基于排名的ER。由于FI名称通常由根和修改根的后缀表示,因此我们使用这些FI名称列表来创建专门的根和后缀字典。为了评估我们的专业解决方案提取FI名称的有效性,我们比较基于字典的NER与通用的基于规则的NER解决方案,ORG NER。我们的评估突出了专业与通用方法的优点和局限性,并提出了调整和定制FI名称提取的其他建议。据我们所知,我们提出的解决方案,基于字典的NER和基于等级的ER,以及根和后缀字典,是利用专业知识的第一次尝试,即,FI名称列表,用于基于规则的NER和ER。
2016-06-07 cs.CL
KréyoLID From Language Identification Towards Language Mining
Inria(法国国家信息与自动化研究所);Common Crawl Foundation(Common Crawl基金会)
本文提出将低资源语言语料库构建从多类分类问题重新定义为语言挖掘问题,并针对多种法语克里奥尔语引入新流程与语料库,以更少资源实现更快、更广的语料覆盖。
2025-03-09 cs.CL
Out-of-Category Document Identification Using Target-Category Names as Weak Supervision
University of Illinois at Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校);Pohang University of Science and Technology (POSTECH)(浦项科技大学)
识别离群文档,其内容与语料库中的大多数文档不同,在管理大型文本集合中发挥了重要作用。然而,由于缺乏关于内点(或目标)分布的明确信息,现有的无监督离群点检测器可能会根据语料库中离群点的密度或多样性做出不可靠的结果。为了解决这一挑战,我们引入了一个新的任务,称为类外检测,其目的是区分文件,根据其语义相关性的内层(或目标)类别,使用类别名称作为弱监督。在实践中,这项任务可以广泛适用,因为它可以根据用户的兴趣灵活地指定目标类别的范围,同时只需要目标类别名称作为最低限度的指导。在本文中,我们提出了一个类外检测框架,有效地衡量如何确信每个文件属于一个目标类别的基础上,其类别特定的相关性得分。我们的框架采用两步方法;(i)首先通过利用文本嵌入空间中编码的单词-文档相似性来生成所有未标记文档的伪类别标签,然后(ii)通过使用伪标签来训练神经分类器,以便从其目标类别预测中计算置信度。在真实世界数据集上的实验表明,我们的框架在指定不同目标类别的各种场景中实现了所有基线方法中的最佳检测性能。
2021-11-24 cs.CL cs.IR cs.LG
DeIDClinic: A Risk-Aware Pseudonymization Framework for Clinical Text De-identification and Re-identification Risk Assessment
University of Manchester(曼彻斯特大学);Leiden Institute of Advanced Computer Science (LIACS)(莱顿先进计算机科学研究所);Leiden University(莱顿大学);Biomedical Data Sciences, Leiden University Medical Center(莱顿大学医学中心生物医学数据科学)
提出DeIDClinic多层框架,集成领域自适应变换器模型(BioBERT、ClinicalBERT)和文档级风险评估模块(k-匿名、l-多样性、t-接近度等),在i2b2 2014数据集上实现高F1分数,支持隐私保护数据共享。
2026-05-23 cs.CL
Unsupervised Identification of Relevant Prior Cases
Indian Institute of Technology(印度理工学院)
文献检索在知识理解的几乎所有领域都发挥了作用,包括法律领域。判例是指法院的判决,它被认为是决定涉及相同或类似事实或类似法律问题的后续案件的权威。在这项工作中,我们提出了不同的无监督的方法来解决的任务,确定相关的先例,以一个给定的查询情况。我们提出的方法是使用词嵌入,如word 2 vec,doc 2 vec和sent 2 vec,使用TF-IDF查找余弦相似性,使用BM 25分数检索相关文档,使用预训练模型和SBERT查找最相似的文档,并使用BM 25和TF-IDF分数的乘积查找给定查询的最相关文档。我们比较了所有基于10倍精确度、10倍回收率和MRR的方法。通过比较分析,我们发现TF-IDF得分乘以BM 25得分得到的结果最好。在本文中,我们还介绍了我们为提高BM 25分数所做的分析。
2021-07-19 cs.CL cs.IR
Language Lexicons for Hindi-English Multilingual Text Processing
Jamia Millia Islamia(贾米亚·米利亚伊斯兰大学)
文本文档中的语言识别是根据文档内容自动检测文档中包含的语言的过程。目前的语言识别技术假设文档包含固定语言集合中的一种语言的文本,然而,当处理包括多于一种可能语言的内容的多语言文档时,这种假设是不正确的。由于没有大型标准语料库的印地语-英语混合语言的语言处理任务,我们提出了语言词典,一种新的词汇数据库,支持多种语言处理任务。这些词汇是通过在音译印地语和英语词汇上学习分类器建立的。所设计的词汇比其主要的收集来源具有更丰富的数量特征,这是使用可视化技术揭示的。
2021-06-29 cs.CL
Graph-of-Tweets: A Graph Merging Approach to Sub-event Identification
Purdue University(普渡大学)
图结构是对文本元素之间的关系进行建模的强大工具。词图(Graph-of-Words,GoW)已被用于许多自然语言任务中,用于对词之间的关联进行编码。但是,在文档之间的连接也很重要的情况下,GoW几乎没有提供文档级的关系。为了识别Twitter等社交媒体上的子事件,来自单词和文档级别的特征可能是有用的,因为它们提供事件的不同信息。我们提出了一个混合图形的推文(GoT)模型,它结合了字和文档级的结构建模推文。为了压缩大量的原始数据,我们提出了一种图合并方法,利用快速文本词嵌入,以减少GoW。此外,我们提出了一种新的方法来构建GoT与减少GoW和互信息(MI)的措施。最后,我们确定最大集团提取流行的子事件。我们的模型在压缩词汇级信息和捕获子事件的关键词方面表现出了良好的效果。
2021-01-08 cs.AI cs.CL
Extractive Multi Document Summarization using Dynamical Measurements of Complex Networks
Institute of Mathematics and Computer Science(数学与计算机科学研究所);University of São Paulo(圣保罗大学)
由于互联网上存在大量文本信息,因此使用查找相关且简洁内容的技术至关重要。一个典型的任务,致力于识别信息的句子,在文件是所谓的提取文件摘要任务。在本文中,我们使用复杂网络的概念,设计了一个提取多文档摘要(MDS)的方法,提取最中心的句子从几个文本源。在该模型中,文本被表示为网络,其中节点表示句子,边基于共享单词的数量建立。与以前的工作不同,相关术语的识别是通过复杂网络的动态测量,包括对称性,可达性和吸收时间,通过节点的表征来指导的。对所提出的系统的评估表明,通过特定的动态测量,包括那些基于通过随机游走探索网络的测量,获得了优异的结果。
2017-08-05 cs.CL
Enhancing Event Causality Identification with Rationale and Structure-Aware Causal Question Answering
School of Computer Science
本文提出一种多任务学习框架,将文档级事件因果关系识别转化为多项选择问答,结合理由生成和事件结构图建模多跳关系,在两个基准数据集上显著优于现有方法。
2024-03-17 cs.CL
Learning document embeddings along with their uncertainties
Brno University of Technology(布尔诺理工大学);International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术研究所)
大多数文本建模技术只产生文档嵌入的点估计,缺乏捕获估计的不确定性。这些不确定性给出了嵌入表示文档的程度的概念。我们提出了贝叶斯子空间多项式模型(Bayesian SMM),这是一种生成式对数线性模型,它学习以高斯分布的形式表示文档,从而将其协方差中的不确定性编码。此外,在建议的贝叶斯SMM,我们解决了一个常见的问题,出现在变分推理混合logit模型的棘手。我们还提出了一个生成高斯线性分类器的主题识别,利用文档嵌入的不确定性。我们的内在评价,使用困惑的措施表明,所提出的贝叶斯SMM更好地拟合数据相比,最先进的神经变分文档模型Fisher语音和20新闻组文本语料库。我们的主题识别实验表明,所提出的系统是强大的过拟合看不见的测试数据。主题识别结果表明,该模型优于最先进的无监督主题模型,并取得了与最先进的全监督判别模型相当的结果。
2019-10-18 cs.CL cs.LG
AT-BERT: Adversarial Training BERT for Acronym Identification Winning Solution for SDU@AAAI-21
Alibaba Group(阿里巴巴集团)
首字母缩略词识别的重点是发现首字母缩略词和被缩写的短语,这对于科学文档理解任务至关重要。然而,手动标注的数据集的有限大小阻碍了问题的进一步改善。最近在大型语料库上预训练的语言模型的突破清楚地表明,无监督的预训练可以大大提高下游任务的性能。在本文中,我们提出了一种名为AT-BERT的对抗性训练BERT方法,这是我们为AAAI 2021年科学文档理解(SDU)挑战赛的首字母缩略词识别任务提供的获胜解决方案。具体地,采用预训练的BERT来捕获更好的语义表示。然后,我们将FGM对抗训练策略融入到BERT的微调中,使模型更具鲁棒性和通用性。此外,一个集成机制,设计涉及从多个BERT变量学习的表示。将所有这些组件组装在一起,在SciAI数据集上的实验结果表明,我们提出的方法优于所有其他具有竞争力的最先进的方法。
2021-01-12 cs.CL
Primer AI's Systems for Acronym Identification and Disambiguation
Primer AI(Primer AI公司)
模糊首字母缩略词的流行使得人类和机器都更难理解科学文档,这就需要能够自动识别文本中的首字母缩略词并消除其含义的模型。我们引入了新的方法来识别和消歧首字母缩略词:我们的首字母缩略词识别模型项目学习令牌嵌入到标签预测,和我们的首字母缩略词消歧模型发现训练样本与类似的句子嵌入作为测试的例子。我们的两个系统都比以前提出的方法获得了显着的性能增益,并在SDU@AAAI-21共享任务排行榜上表现出竞争力。我们的模型部分是在新的远程监督数据集上进行训练的,我们称之为CNOMAI和CNOMAD。我们还在SciAD数据集中发现了一个重复冲突问题,并形成了一个去重复版本的SciAD,我们称之为SciAD-dedupe。我们公开发布了这三个数据集,希望它们能帮助社区在科学文档理解方面取得更大的进步。
2021-01-06 cs.CL cs.LG
A Simple and Efficient Probabilistic Language model for Code-Mixed Text
Jamia Millia Islamia(贾米亚·米利亚伊斯兰大学);Aligarh Muslim University(阿里加尔穆斯林大学)
传统的自然语言处理方法不适应社交媒体文本的口语化和非同质性。值得注意的是,在一个多语种的文档中的语言识别被确定为在几个信息抽取应用程序,如信息检索,命名实体识别,关系抽取等的前面的子任务。这个问题往往是更具挑战性的代码混合文件,其中外语的话被画成基础语言,而框架的文本。词嵌入是用于表示文本文档的强大语言建模工具,在获得词或文档之间的相似性方面是有用的。我们提出了一个简单的概率方法,建立有效的词嵌入的代码混合文本,并举例说明它在语言识别的印度语-英语短测试消息从Twitter上报废。我们使用双向LSTM和SVM来检查其分类任务的有效性,并观察其在各种现有代码混合嵌入中的改进分数
2021-06-29 cs.CL
Identification of Regulatory Requirements Relevant to Business Processes: A Comparative Study on Generative AI, Embedding-based Ranking, Crowd and Expert-driven Methods
Technical University of Munich(慕尼黑工业大学);University of Queensland(昆士兰大学)
本研究针对识别业务流程相关监管要求的人工成本高的问题,比较了基于嵌入的NLP排序、GPT-4生成式AI、众包与专家纯手动四种方法在两个真实案例中的表现,为不同场景下选择最优方法组合提供了指导原则。
2024-01-02 cs.AI cs.CL
Overview of the SV-Ident 2022 Shared Task on Survey Variable Identification in Social Science Publications
University of Mannheim(曼海姆大学);GESIS – Leibniz Institute for the Social Sciences(GESIS——莱布尼茨社会科学研究所);Fraunhofer ISI(弗劳恩霍夫系统与创新研究所);Stuttgart Media University(斯图加特传媒大学)
在本文中,我们概述了SV-Ident共享任务,作为COLING 2022第三届学术文档处理研讨会(SDP)的一部分。在共同的任务中,参与者被提供了一个句子和一个变量的词汇表,并要求确定哪些变量,如果有的话,在全文学术文献的个别句子中提到。两个团队共向共享任务排行榜提交了9份报告。虽然没有团队改进基线系统,但我们仍然从他们的提交中获得见解。此外,我们还提供了详细的评估。我们共享任务的数据和基线可在https://github.com/vadis-project/sv-ident上免费获得
2022-09-19 cs.CL cs.IR
Conformal Privacy Auditing: Calibrated Re-identification Attacks with Statistical Guarantees
Monash University(莫纳什大学);The University of Melbourne(墨尔本大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出保形隐私审计(CPA),一种无分布校准框架,为每个发布文档提供针对LLM赋能攻击者的重识别风险统计证书,通过保形模糊集实现校准覆盖,并揭示不同配置下的可识别性变化。
2026-09-21 cs.CL cs.CR
A reproduction of Apple's bi-directional LSTM models for language identification in short strings
Aarhus University(奥胡斯大学);Information Sciences Institute(信息科学研究所)
语言识别是识别文档语言的任务。对于像自动拼写检查器选择这样的应用程序,语言识别必须使用非常短的字符串,如文本消息片段。在这项工作中,我们重现了Apple在博客文章中简要描述的语言识别架构。我们确认了bi-LSTM模型的性能,并发现它优于当前的开放源语言标识符。我们进一步发现,其语言识别错误是由于相关语言之间的混淆。
2021-02-11 cs.CL cs.LG
SomaliWeb v1: A Quality-Filtered Somali Web Corpus with a Matched Tokenizer and a Public Language-Identification Benchmark
Independent researcher(独立研究者)
本文提出了SomaliWeb v1,一个经过质量过滤的索马里语语料库,包含匹配的BPE-16K分词器和首个公开的索马里语言识别基准,揭示了现有分布中的质量问题。
2026-05-18 cs.AI cs.CL cs.IR
Automatic register identification for the open web using multilingual deep learning
University of Turku(图尔库大学)
本文提出多语言深度学习模型,用于识别开放网络中的文本注册,通过多标签分类在16种语言中达到79%的F1值,并发现性能上限源于注册本身的歧义性。
2026-10-05 cs.CL
A Fast, Compact, Accurate Model for Language Identification of Codemixed Text
Google AI Language(谷歌人工智能语言团队)
我们解决了细粒度的多语言识别:为句子中的每个标记提供语言代码,包括包含多种语言的代码混合文本。这种文本在网上、文档、社交媒体和留言板中很流行。我们证明了一个简单的全局约束解码器的前馈网络可以准确,快速地标记100种语言和100种语言对的混合和单语文本。该模型在准确性和速度方面优于先前发布的多语言方法,在三个代码混合数据集上获得了800倍的速度和19.5%的平均绝对增益。此外,它在单语语言识别方面优于几个基准系统。
2018-10-09 cs.CL
Leveraging BERT Language Models for Multi-Lingual ESG Issue Identification
Trading Central;Trading Central Labs(Trading Central实验室)
本研究利用BERT语言模型解决多语言ESG议题识别任务,将新闻分类为35个标签,RoBERTa在英文和法文测试中分别获第二和并列第五,中文SVM模型获第二。
2023-09-05 cs.AI cs.CL cs.LG
Stronger Re-identification Attacks through Reasoning and Aggregation
University of Oslo Language Technology Group(奥斯陆大学语言技术组)
本文提出两种互补策略(顺序聚合与推理模型)以构建更强的重识别攻击,用于评估文本去标识化方法的鲁棒性,实验证明两者均能显著提升性能。
2025-10-10 cs.CL
Aggregation-Aware Synthetic Text Generation Against Authorship Re-Identification
The Pennsylvania State University(宾夕法尼亚州立大学);Information Sciences and Technology(信息科学与技术学院)
该研究提出AAST框架,通过捆绑层面联合选择合成文本解决现有作者混淆方法忽略跨文档关联的问题,实验显示其可降低账户级可链接性并保留文本质量。
2026-08-25 cs.AI cs.CL
Development and validation of a natural language processing algorithm to pseudonymize documents in the context of a clinical data warehouse
Sorbonne Université(索邦大学);Inserm(法国国家健康与医学研究院);Université Sorbonne Paris Nord(索邦巴黎北大学);Assistance Publique-Hôpitaux de Paris(巴黎公立医院援助联盟)
本研究的目的是解决临床报告去识别化的关键问题,以允许出于研究目的访问数据,同时确保患者隐私。这项研究强调了在这一领域中共享工具和资源所面临的困难,并介绍了大巴黎大学医院(AP-HP)在实施其临床数据仓库的文本文件的系统化的经验。我们根据12种类型的识别实体对临床文档语料库进行了注释,并构建了一个混合系统,将深度学习模型的结果与手动规则相结合。我们的结果显示F1得分的总体性能为0.99。我们讨论了实现的选择,并提出了实验,以更好地理解这样的任务,包括数据集大小,文档类型,语言模型,或规则添加所涉及的工作。我们在3-Clause BSD许可证下共享指南和代码。
2023-03-23 cs.CL
Automatic identification of diagnosis from hospital discharge letters via weakly supervised Natural Language Processing
University of Bologna(博洛尼亚大学)
提出一种弱监督NLP流程,无需文档级标注即可从意大利语出院信中分类诊断,在细支气管炎数据集上达到接近全监督的性能,节省大量人工标注时间。
2026-06-15 cs.CL cs.LG
Assessing the trade-off between prediction accuracy and interpretability for topic modeling on energetic materials corpora
American University(美利坚大学);University of Maryland(马里兰大学);Energetics Technology Center(含能材料技术中心)
随着能量学研究的数量和种类的增加,机器感知的主题识别对于简化未来的研究管道是必要的。自动主题识别过程的组成包括创建文档表示和执行分类。然而,这些过程的能量学研究的实施提出了新的挑战。能量学数据集包含许多科学术语,这些术语是理解文档上下文所必需的,但可能需要更复杂的文档表示。其次,分类的预测必须是管道中的化学家可以理解和信任的。在这项工作中,我们研究了预测精度和可解释性之间的权衡,通过实现三个文档嵌入方法,不同的计算复杂性。通过我们的准确性结果,我们还引入了每个预测的本地可解释性模型不可知解释(LIME),以提供对每个预测的本地化理解,并与我们的能量学专家团队一起验证分类器决策。这项研究是在一个新的标记能量数据集上进行的,该数据集由我们的能量学专家团队创建和验证。
2022-06-01 cs.CL cs.LG
Identifying Supporting Facts for Multi-hop Question Answering with Document Graph Networks
University of Manchester(曼彻斯特大学)
阅读理解方面的最新进展已经产生了一些模型,当答案包含在一段连续的文本中时,这些模型的表现超过了人类的表现。然而,复杂的问答(QA)通常需要多跳推理-即,整合来自不同来源的支持事实,以推断正确答案。本文提出了文档图网络(DGN),一个消息传递体系结构,用于识别支持事实的图形结构表示的文本。对HotpotQA的评估表明,与在原始文本上操作的阅读理解基线相比,DGN获得了具有竞争力的结果,证实了结构化表示支持多跳推理的相关性。
2019-10-01 cs.AI cs.CL cs.IR
Robust Language Identification for Romansh Varieties
University of Zurich(苏黎世大学)
本文提出基于SVM的罗马什语方言识别系统,通过两个领域的新基准测试,达到97%的领域内准确率,支持方言感知的拼写检查和机器翻译应用。
2026-03-16 cs.CL
Beyond De-Identification: A Structured Approach for Defining and Detecting Indirect Identifiers in Medical Texts
Technische Universität Berlin(柏林工业大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
本文提出九类间接标识符标注模式,考虑多类潜在对手,基于100份MIMIC-III出院小结构建6,199条标注并建立检测基线模型。
2025-02-18 cs.CL
Performance of Automatic De-identification Across Different Note Types
University of Washington(华盛顿大学);George Mason University(乔治梅森大学)
自由文本临床笔记详细说明了患者护理的各个方面,并且具有促进质量改进和保证举措以及推进临床研究的巨大潜力。然而,对患者隐私和保密性的担忧限制了临床笔记用于研究。因此,大多数研究人员仍然无法获得这些笔记中记录的信息。去识别(de-id),即,定位和删除个人识别受保护的健康信息(PHI)是改善对临床叙述的访问的一种方式。然而,有有限的现成的去识别系统能够在不同的数据源和医疗专业一致地检测PHI。在这篇摘要中,我们展示了一个名为NeuroNER 1的最先进的de-id系统在华盛顿大学(UW)的一组不同笔记上的性能,当模型是在来自外部机构(Partners Healthcare)与来自同一机构(UW)的数据上训练时。我们目前的结果在PHI和注意类型的水平。
2021-02-17 cs.CL
XD at SemEval-2020 Task 12: Ensemble Approach to Offensive Language Identification in Social Media Using Transformer Encoders
Emory University(埃默里大学)
本文提出了六个文档分类模型,使用最新的Transformer编码器和高性能的集成模型的攻击性语言识别的任务,在社交媒体。对于单个模型,应用深Transformer层来执行多头注意力。对于集成模型,从这些单独的模型中提取的话语表示被连接并馈送到线性解码器中以做出最终决定。我们的集成模型优于单个模型,并显示出比开发集上的单个模型高出8.6%的改进。在测试集上,它达到了90.9%的宏F1,成为该共享任务的子任务A中85个参与者中的高性能系统之一。我们的分析表明,尽管集成模型显着提高了开发集的准确性,但在测试集上的提高并不明显。
2020-07-21 cs.CL
A Hybrid Approach to Extract Keyphrases from Medical Documents
Jadavpur University(贾达普大学)
关键词是由一个或多个词组成的短语,代表文章中的重要概念。关键词是有用的各种任务,如文本摘要,自动索引,聚类/分类,文本挖掘等。本文提出了一种混合的方法,从医学文档中提取关键词。本文提出的关键词提取方法是两种方法的融合:第一种方法是基于位置、词频、逆文档频率等特征的有效组合来为候选关键词分配权重,第二种方法是使用关于候选关键词与存储器(存储的关键词列表)中的关键词的结构和特征的相似性的一些知识来为候选关键词分配权重。本文还介绍了一种有效的候选关键词识别方法作为建议的关键词提取系统的第一个组成部分。实验结果表明,所提出的混合方法的性能优于一些国家的最先进的关键词提取方法。
2014-01-25 cs.CL cs.IR
Automatic Arabic Dialect Identification Systems for Written Texts: A Survey
Taif University(泰夫大学)
阿拉伯语方言识别是自然语言处理的一项具体任务,旨在自动预测给定文本的阿拉伯语方言。阿拉伯语方言识别是各种自然语言处理应用(例如机器翻译、多语言文本到语音合成和跨语言文本生成)的第一步。因此,在过去十年中,人们对解决阿拉伯方言识别问题的兴趣有所增加。在本文中,我们提出了一个全面的调查阿拉伯语方言识别研究的书面文本。首先,我们要明确问题及其挑战。然后,调查广泛地讨论了在批判的态度与阿拉伯语方言识别任务的许多方面。因此,我们回顾了传统的机器学习方法,深度学习架构和复杂的学习方法来识别阿拉伯语方言。我们还详细介绍了用于训练所提出的系统的特征表示的功能和技术。此外,我们说明了文献中研究的阿拉伯方言的分类,阿拉伯方言识别进行的文本处理的各个层次(例如,标记、句子和文档级别),以及可用的注释资源,包括评估基准语料库。在调查结束时讨论了公开的挑战和问题。
2020-09-26 cs.CL cs.LG
Dutch Named Entity Recognition and De-identification Methods for the Human Resource Domain
Utrecht University(乌得勒支大学)
人力资源(HR)域包含各种类型的隐私敏感文本数据,例如电子邮件通信和绩效评估。对这些文件进行研究带来了一些挑战,其中之一就是匿名化。在本文中,我们评估了目前的荷兰语文本去识别方法的HR域在四个步骤。首先,通过使用最新的命名实体识别(NER)模型更新这些方法之一。结果是基于CoNLL 2002语料库的NER模型结合BERTje Transformer给出了抑制人(召回0.94)和位置(召回0.82)的最佳组合。对于抑制性别,DEDUCE表现最好(回忆0.53)。第二种NER评价是基于实体的严格去身份化(一个人必须作为一个人被压制)和第三种评价是基于松散的去身份化(无论一个人如何被压制,只要它被压制)。在第四步也是最后一步中,测试了一种新的NER数据集,用于识别文本中的职位。
2021-06-04 cs.CL
TxPI-u: A Resource for Personality Identification of Undergraduates
Universidad Autónoma Metropolitana (UAM)(大都会自治大学(UAM))
在自然语言处理(NLP)领域中,诸如标记语料库之类的资源对于训练自动模型是必要的。从历史上看,关于大量问题的大量资源大多以英语提供。其中一个问题被称为人格识别,其中基于心理模型(例如大五模型),目标是找到受试者的人格特征,例如,由同一受试者撰写的文本。在本文中,我们介绍了一个新的语料库在西班牙语称为文本的个性识别(TxPI)。这个语料库将有助于开发模型,自动分配一个文本文档的作者的个性特征。我们的语料库,TxPI-U,包含416墨西哥本科生的一些人口统计信息,如,年龄,性别和他们就读的学术课程的信息。最后,作为一个额外的贡献,我们提出了一组基线,为进一步的研究提供一个比较方案。
2018-06-20 cs.CL
Reusable Templates and Guides For Documenting Datasets and Models for Natural Language Processing and Generation: A Case Study of the HuggingFace and GEM Data and Model Cards
University of Washington(华盛顿大学);Hugging Face;KNUST(夸梅·恩克鲁玛科技大学);Masakhane;UT Austin(德克萨斯大学奥斯汀分校);IIIT Hyderabad(海得拉巴国际信息技术学院);Google Research(谷歌研究院)
为数据集和模型开发文档指南和易于使用的模板是一项具有挑战性的任务,特别是考虑到参与构建自然语言处理(NLP)工具的人员的背景,技能和动机的多样性。尽管如此,在整个NLP领域采用标准文档实践,促进了对NLP数据集和模型的更易访问和更详细的描述,同时支持研究人员和开发人员反思他们的工作。为了帮助文档的标准化,我们提出了两个案例研究,旨在开发可重用的文档模板-HuggingFace数据卡,NLP数据集的通用卡,GEM基准数据和模型卡,重点是自然语言生成。我们描述了我们开发这些模板的过程,包括识别相关的利益相关者群体,定义一套指导原则,使用现有模板作为我们的基础,以及基于反馈的迭代修订。
2021-08-16 cs.CL cs.DB
GiusBERTo: A Legal Language Model for Personal Data De-identification in Italian Court of Auditors Decisions
Roma Tre University(罗马第三大学);Sapienza University of Rome(罗马大学);Government of Italy(意大利政府)
本研究提出首个专门用于意大利法律文档个人数据去标识化的BERT类模型GiusBERTo,经审计法院判决数据集训练后在留出测试集上达97%词元级准确率,为意法律界提供兼顾隐私与数据保护的定制化工具。
2024-06-21 cs.AI cs.CL
Protecting De-identified Documents from Search-based Linkage Attacks
Norwegian Computing Center(挪威计算中心)
本文提出一种方法,通过构建倒排索引和LLM重写器,有效防止基于搜索的链接攻击,同时保持文本语义完整性。
2026-10-22 cs.AI cs.CL
VTLayout: Fusion of Visual and Text Features for Document Layout Analysis
University of Chinese Academy of Sciences(中国科学院大学);The Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
文档通常包含复杂的物理结构,这使得文档布局分析(DLA)任务具有挑战性。作为内容提取的预处理步骤,DLA具有大规模捕获历史或科学文档中丰富信息的潜力。尽管许多基于深度学习的计算机视觉方法在从文档中检测\emph{Figure}方面已经取得了优异的性能,但它们在识别DLA中的\emph{List}、\emph{Table}、\emph{Text}和\emph{Title}类别块方面仍然不令人满意。本文提出了一种融合文档的深视觉、浅视觉和文本特征的VTLayout模型来定位和识别不同的类别块。该模型主要包括两个阶段,三个特征提取器建立在内置的第二阶段。在第一阶段,Cascade Mask R-CNN模型直接应用于定位文档的所有类别块。在第二阶段中,深视觉,浅视觉和文本特征提取融合,以确定类别块的文档。因此,我们加强了分类能力的不同类别块的基础上现有的本地化技术。实验结果表明,VTLayout的识别能力优于基于PubLayNet数据集的最先进的DLA方法,F1得分高达0.9599。
2021-08-12 cs.CL cs.IR cs.LG
DocEDA: Automated Extraction and Design of Analog Circuits from Documents with Large Language Model
Southeast Universisity(东南大学)
针对传统电路文档参数提取依赖人工、效率低易出错的问题,提出结合版面分析、LLM思维链推理、改进GAM-YOLO拓扑识别及空间映射优化的DocEDA系统,提升了EDA中参数提取效率与准确性,适配多场景多格式。
2024-11-25 cs.AI cs.AR cs.CL
LUC at ComMA-2021 Shared Task: Multilingual Gender Biased and Communal Language Identification without using linguistic features
CENIDET(墨西哥国家数字教育技术中心);COLMEX(墨西哥学院);IIM(印度管理研究所);Université de Montréal(蒙特利尔大学);EBSI(图书馆与信息科学学院);Université d’Avignon(阿维尼翁大学);LIA(阿维尼翁计算机科学实验室)
这项工作的目的是评估能力,概率和国家的最先进的向量空间建模(VSM)的方法提供给众所周知的机器学习算法,以确定社交网络文件被归类为侵略性,性别偏见或共同负责。为此,首先进行探索性阶段,以找到相关的设置进行测试,即通过使用训练和开发样本,我们使用多个向量空间建模和概率方法训练了多个算法,并丢弃了信息量较少的配置。这些系统被提交给ComMA@ICON'21多语言性别偏见和公共语言识别研讨会的竞争。
2021-12-19 cs.CL cs.IR
Authorship Identification in Bengali Literature: a Comparative Analysis
Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校)
文体学是研究个体独特的语言风格和写作行为的学科。它属于文本分类的核心任务,如作者身份识别,剽窃检测等,虽然已经进行了合理数量的研究,在英语语言,没有重大的工作已经完成,迄今在孟加拉语。在这项工作中,我们将提出一个示范的作者身份识别的文件写在孟加拉语。我们采用一组细粒度的文体特征来分析文本,并使用它们开发了两种不同的模型:由三种度量及其组合组成的统计相似性模型,以及决策树,神经网络和SVM的机器学习模型。实验结果表明,支持向量机优于其他国家的最先进的方法后,10倍交叉验证。我们还验证了每个风格特征的相对重要性,以表明其中一些特征在本实验中使用的每个模型中始终保持显著性。
2013-02-24 cs.CL cs.IR