SomaliWeb v1: A Quality-Filtered Somali Web Corpus with a Matched Tokenizer and a Public Language-Identification Benchmark
Independent researcher(独立研究者)
本文提出了SomaliWeb v1,一个经过质量过滤的索马里语语料库,包含匹配的BPE-16K分词器和首个公开的索马里语言识别基准,揭示了现有分布中的质量问题。
2026-05-18 cs.AI cs.CL cs.IR
LUC at ComMA-2021 Shared Task: Multilingual Gender Biased and Communal Language Identification without using linguistic features
CENIDET(墨西哥国家数字教育技术中心);COLMEX(墨西哥学院);IIM(印度管理研究所);Université de Montréal(蒙特利尔大学);EBSI(图书馆与信息科学学院);Université d’Avignon(阿维尼翁大学);LIA(阿维尼翁计算机科学实验室)
这项工作的目的是评估能力,概率和国家的最先进的向量空间建模(VSM)的方法提供给众所周知的机器学习算法,以确定社交网络文件被归类为侵略性,性别偏见或共同负责。为此,首先进行探索性阶段,以找到相关的设置进行测试,即通过使用训练和开发样本,我们使用多个向量空间建模和概率方法训练了多个算法,并丢弃了信息量较少的配置。这些系统被提交给ComMA@ICON'21多语言性别偏见和公共语言识别研讨会的竞争。
2021-12-19 cs.CL cs.IR
AT-BERT: Adversarial Training BERT for Acronym Identification Winning Solution for SDU@AAAI-21
Alibaba Group(阿里巴巴集团)
首字母缩略词识别的重点是发现首字母缩略词和被缩写的短语,这对于科学文档理解任务至关重要。然而,手动标注的数据集的有限大小阻碍了问题的进一步改善。最近在大型语料库上预训练的语言模型的突破清楚地表明,无监督的预训练可以大大提高下游任务的性能。在本文中,我们提出了一种名为AT-BERT的对抗性训练BERT方法,这是我们为AAAI 2021年科学文档理解(SDU)挑战赛的首字母缩略词识别任务提供的获胜解决方案。具体地,采用预训练的BERT来捕获更好的语义表示。然后,我们将FGM对抗训练策略融入到BERT的微调中,使模型更具鲁棒性和通用性。此外,一个集成机制,设计涉及从多个BERT变量学习的表示。将所有这些组件组装在一起,在SciAI数据集上的实验结果表明,我们提出的方法优于所有其他具有竞争力的最先进的方法。
2021-01-12 cs.CL
Primer AI's Systems for Acronym Identification and Disambiguation
Primer AI(Primer AI公司)
模糊首字母缩略词的流行使得人类和机器都更难理解科学文档,这就需要能够自动识别文本中的首字母缩略词并消除其含义的模型。我们引入了新的方法来识别和消歧首字母缩略词:我们的首字母缩略词识别模型项目学习令牌嵌入到标签预测,和我们的首字母缩略词消歧模型发现训练样本与类似的句子嵌入作为测试的例子。我们的两个系统都比以前提出的方法获得了显着的性能增益,并在SDU@AAAI-21共享任务排行榜上表现出竞争力。我们的模型部分是在新的远程监督数据集上进行训练的,我们称之为CNOMAI和CNOMAD。我们还在SciAD数据集中发现了一个重复冲突问题,并形成了一个去重复版本的SciAD,我们称之为SciAD-dedupe。我们公开发布了这三个数据集,希望它们能帮助社区在科学文档理解方面取得更大的进步。
2021-01-06 cs.CL cs.LG
Development and validation of a natural language processing algorithm to pseudonymize documents in the context of a clinical data warehouse
Sorbonne Université(索邦大学);Inserm(法国国家健康与医学研究院);Université Sorbonne Paris Nord(索邦巴黎北大学);Assistance Publique-Hôpitaux de Paris(巴黎公立医院援助联盟)
本研究的目的是解决临床报告去识别化的关键问题,以允许出于研究目的访问数据,同时确保患者隐私。这项研究强调了在这一领域中共享工具和资源所面临的困难,并介绍了大巴黎大学医院(AP-HP)在实施其临床数据仓库的文本文件的系统化的经验。我们根据12种类型的识别实体对临床文档语料库进行了注释,并构建了一个混合系统,将深度学习模型的结果与手动规则相结合。我们的结果显示F1得分的总体性能为0.99。我们讨论了实现的选择,并提出了实验,以更好地理解这样的任务,包括数据集大小,文档类型,语言模型,或规则添加所涉及的工作。我们在3-Clause BSD许可证下共享指南和代码。
2023-03-23 cs.CL
Outline Generation: Understanding the Inherent Content Structure of Documents
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
在本文中,我们介绍和解决的大纲生成(OG)的任务,其目的是揭示的内在内容结构的多段文档,通过识别其潜在的部分,并生成相应的部分标题。不失一般性,OG任务可以被视为一种新的结构化摘要任务。为了生成一个好的大纲,一个理想的OG模型应该能够捕获三个层次的连贯性,即上下文段落之间的连贯性,一个章节与其标题之间的连贯性,以及上下文标题之间的连贯性。前两种方法是确定路段的基础,后两种方法是生成一致性标题的关键。在这项工作中,我们制定了OG任务作为一个层次结构化的预测问题,即,首先预测一系列的节边界,然后相应地预测一系列的节标题。我们针对该任务提出了一种新型的分层结构神经生成模型,名为HiStGen。我们的模型试图通过以下方式来捕获三级一致性。首先,我们引入了一个马尔可夫段落之间的依赖关系的上下文段落识别机制。其次,我们采用了一个节意识的注意力机制,以确保节和它的标题之间的语义一致性。最后,我们利用马尔可夫标题依赖机制和上下文标题之间的审查机制,以提高一致性和消除重复的章节标题。此外,我们建立了一个新的WIKIOG数据集,一个公共集合,其中包括超过175万个文档大纲对的OG任务的研究。我们的基准数据集上的实验结果表明,我们的模型可以显着优于几个国家的最先进的顺序生成模型的OG任务。
2019-05-24 cs.CL
Experiments on Paraphrase Identification Using Quora Question Pairs Dataset
Jakarta Artificial Intelligence Research(雅加达人工智能研究院)
我们对Quora问题对数据集进行建模,以识别类似的问题。我们使用的数据集由Quora提供。该任务是一个二元分类。我们尝试了几种方法和算法,并从以前的作品不同的方法。对于特征提取,我们使用了包括计数向量化器的词袋,以及XGBoost和CatBoost的具有unigram的词频-逆文档频率。此外,我们还尝试了WordPiece标记器,它显着提高了模型性能。我们达到了97%的准确率。代码和数据集。
2020-06-05 cs.AI cs.CL cs.LG
TxPI-u: A Resource for Personality Identification of Undergraduates
Universidad Autónoma Metropolitana (UAM)(大都会自治大学(UAM))
在自然语言处理(NLP)领域中,诸如标记语料库之类的资源对于训练自动模型是必要的。从历史上看,关于大量问题的大量资源大多以英语提供。其中一个问题被称为人格识别,其中基于心理模型(例如大五模型),目标是找到受试者的人格特征,例如,由同一受试者撰写的文本。在本文中,我们介绍了一个新的语料库在西班牙语称为文本的个性识别(TxPI)。这个语料库将有助于开发模型,自动分配一个文本文档的作者的个性特征。我们的语料库,TxPI-U,包含416墨西哥本科生的一些人口统计信息,如,年龄,性别和他们就读的学术课程的信息。最后,作为一个额外的贡献,我们提出了一组基线,为进一步的研究提供一个比较方案。
2018-06-20 cs.CL
Reusable Templates and Guides For Documenting Datasets and Models for Natural Language Processing and Generation: A Case Study of the HuggingFace and GEM Data and Model Cards
University of Washington(华盛顿大学);Hugging Face;KNUST(夸梅·恩克鲁玛科技大学);Masakhane;UT Austin(德克萨斯大学奥斯汀分校);IIIT Hyderabad(海得拉巴国际信息技术学院);Google Research(谷歌研究院)
为数据集和模型开发文档指南和易于使用的模板是一项具有挑战性的任务,特别是考虑到参与构建自然语言处理(NLP)工具的人员的背景,技能和动机的多样性。尽管如此,在整个NLP领域采用标准文档实践,促进了对NLP数据集和模型的更易访问和更详细的描述,同时支持研究人员和开发人员反思他们的工作。为了帮助文档的标准化,我们提出了两个案例研究,旨在开发可重用的文档模板-HuggingFace数据卡,NLP数据集的通用卡,GEM基准数据和模型卡,重点是自然语言生成。我们描述了我们开发这些模板的过程,包括识别相关的利益相关者群体,定义一套指导原则,使用现有模板作为我们的基础,以及基于反馈的迭代修订。
2021-08-16 cs.CL cs.DB
Automatic Identification of Document Translations in Large Multilingual Document Collections
文本及其翻译是一种丰富的语言资源,可用于训练和测试基于语法的机器翻译系统和许多其他应用。在本文中,我们提出了一个工作系统,可以识别翻译和其他非常相似的文件之间的大量的候选人,通过表示文档内容与一个向量的词库术语从多语言词库,然后测量向量之间的语义相似性。对不同文本类型的测试表明,该系统可以在820个或更多文档的大搜索空间中以超过96%的精度检测翻译。该系统被调整为忽略特定语言的相似性,并给予第二语言的类似文档与相同语言的等效文档相同的相似性得分。该应用程序还可用于检测跨语言文档剽窃。
2006-09-12 cs.CL cs.IR
Unsupervised Identification of Relevant Prior Cases
Indian Institute of Technology(印度理工学院)
文献检索在知识理解的几乎所有领域都发挥了作用,包括法律领域。判例是指法院的判决,它被认为是决定涉及相同或类似事实或类似法律问题的后续案件的权威。在这项工作中,我们提出了不同的无监督的方法来解决的任务,确定相关的先例,以一个给定的查询情况。我们提出的方法是使用词嵌入,如word 2 vec,doc 2 vec和sent 2 vec,使用TF-IDF查找余弦相似性,使用BM 25分数检索相关文档,使用预训练模型和SBERT查找最相似的文档,并使用BM 25和TF-IDF分数的乘积查找给定查询的最相关文档。我们比较了所有基于10倍精确度、10倍回收率和MRR的方法。通过比较分析,我们发现TF-IDF得分乘以BM 25得分得到的结果最好。在本文中,我们还介绍了我们为提高BM 25分数所做的分析。
2021-07-19 cs.CL cs.IR
Graph-Community Detection for Cross-Document Topic Segment Relationship Identification
Instituto Superior Técnico(高等技术学院);Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们提出了一个图-社区发现的方法来识别跨文档的关系,在主题段的水平。给定一组相关文档,我们通过聚类具有相似内容(主题)的片段来自动找到这些关系。在这种情况下,我们研究了不同的权重机制如何影响发现的单词社区,涉及到不同的主题中发现的文件。最后,我们测试了不同的映射函数来分配主题段到单词社区,确定哪些主题段被认为是等价的。通过执行此任务,可以实现高效的多文档浏览,因为当用户在一个文档中找到相关内容时,我们可以提供对其他文档中类似主题的访问。我们在两个不同的场景中部署我们的方法。一个是教育场景,需要在学习材料之间找到对等关系;另一个是社会背景下的一系列对话,学生讨论常见的话题。结果表明,我们提出的方法更好地发现等价关系的学习材料的文件,并在社会语音领域,其中表现最好的方法是聚类技术,获得了接近的结果。
2016-06-13 cs.CL cs.IR cs.SI
Out-of-Category Document Identification Using Target-Category Names as Weak Supervision
University of Illinois at Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校);Pohang University of Science and Technology (POSTECH)(浦项科技大学)
识别离群文档,其内容与语料库中的大多数文档不同,在管理大型文本集合中发挥了重要作用。然而,由于缺乏关于内点(或目标)分布的明确信息,现有的无监督离群点检测器可能会根据语料库中离群点的密度或多样性做出不可靠的结果。为了解决这一挑战,我们引入了一个新的任务,称为类外检测,其目的是区分文件,根据其语义相关性的内层(或目标)类别,使用类别名称作为弱监督。在实践中,这项任务可以广泛适用,因为它可以根据用户的兴趣灵活地指定目标类别的范围,同时只需要目标类别名称作为最低限度的指导。在本文中,我们提出了一个类外检测框架,有效地衡量如何确信每个文件属于一个目标类别的基础上,其类别特定的相关性得分。我们的框架采用两步方法;(i)首先通过利用文本嵌入空间中编码的单词-文档相似性来生成所有未标记文档的伪类别标签,然后(ii)通过使用伪标签来训练神经分类器,以便从其目标类别预测中计算置信度。在真实世界数据集上的实验表明,我们的框架在指定不同目标类别的各种场景中实现了所有基线方法中的最佳检测性能。
2021-11-24 cs.CL cs.IR cs.LG
A Hybrid Approach to Extract Keyphrases from Medical Documents
Jadavpur University(贾达普大学)
关键词是由一个或多个词组成的短语,代表文章中的重要概念。关键词是有用的各种任务,如文本摘要,自动索引,聚类/分类,文本挖掘等。本文提出了一种混合的方法,从医学文档中提取关键词。本文提出的关键词提取方法是两种方法的融合:第一种方法是基于位置、词频、逆文档频率等特征的有效组合来为候选关键词分配权重,第二种方法是使用关于候选关键词与存储器(存储的关键词列表)中的关键词的结构和特征的相似性的一些知识来为候选关键词分配权重。本文还介绍了一种有效的候选关键词识别方法作为建议的关键词提取系统的第一个组成部分。实验结果表明,所提出的混合方法的性能优于一些国家的最先进的关键词提取方法。
2014-01-25 cs.CL cs.IR
Authorship Identification in Bengali Literature: a Comparative Analysis
Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校)
文体学是研究个体独特的语言风格和写作行为的学科。它属于文本分类的核心任务,如作者身份识别,剽窃检测等,虽然已经进行了合理数量的研究,在英语语言,没有重大的工作已经完成,迄今在孟加拉语。在这项工作中,我们将提出一个示范的作者身份识别的文件写在孟加拉语。我们采用一组细粒度的文体特征来分析文本,并使用它们开发了两种不同的模型:由三种度量及其组合组成的统计相似性模型,以及决策树,神经网络和SVM的机器学习模型。实验结果表明,支持向量机优于其他国家的最先进的方法后,10倍交叉验证。我们还验证了每个风格特征的相对重要性,以表明其中一些特征在本实验中使用的每个模型中始终保持显著性。
2013-02-24 cs.CL cs.IR
Explainable identification of similarities between entities for discovery in large text
Kansas State University(堪萨斯州立大学)
本研究针对现有文本相似性工具缺乏可解释性、多关注文本而非讨论主体的问题,提出带权重评分的n-gram分析框架,结合可视化工具,可跨领域挖掘可解释的实体相似性,代码已公开。
2025-03-22 cs.IR cs.LG
OFAR: A Multimodal Evidence Retrieval Framework for Illegal Live-streaming Identification
针对非法直播识别中人工证据检索耗时费力的问题,本文提出多模态证据检索框架 OFAR,通过 OFA 双编码器与基于 MaxSim 的对比延迟交互提升匹配效果,并在工业数据集 TaoLive 上验证其显著性能。
2023-04-26 cs.IR
Using word clouds for fast identification of papers' subject domain and reviewers' competences
生成单词(标签)云是一种强大的数据可视化技术,它允许人们轻松了解大量文本文档的内容,并在几秒钟内识别其主题域,而无需阅读它们。本文建议将文字云可视化应用于会议管理系统(专门的文件管理和决策支持系统),以支持和促进至少两个重要过程中的决策-通过邀请合适的审稿人和人工(重新)分配审稿人来组建计划委员会。词云被证明是一个非常有用的工具,用于快速识别论文的主题领域和审稿人的能力。
2021-12-29 cs.DL cs.IR
Tracing Content Requirements in Financial Documents using Multi-granularity Text Analysis
针对金融文档内容完整性核查效率低的问题,提出结合规则与数据驱动、多粒度分析的FITI框架,实现金融信息类型文本块自动识别,性能优于Transformer基线,可检测约80%缺失信息类型。
2025-03-25 cs.IR
Identifying Supporting Facts for Multi-hop Question Answering with Document Graph Networks
University of Manchester(曼彻斯特大学)
阅读理解方面的最新进展已经产生了一些模型,当答案包含在一段连续的文本中时,这些模型的表现超过了人类的表现。然而,复杂的问答(QA)通常需要多跳推理-即,整合来自不同来源的支持事实,以推断正确答案。本文提出了文档图网络(DGN),一个消息传递体系结构,用于识别支持事实的图形结构表示的文本。对HotpotQA的评估表明,与在原始文本上操作的阅读理解基线相比,DGN获得了具有竞争力的结果,证实了结构化表示支持多跳推理的相关性。
2019-10-01 cs.AI cs.CL cs.IR
VTLayout: Fusion of Visual and Text Features for Document Layout Analysis
University of Chinese Academy of Sciences(中国科学院大学);The Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
文档通常包含复杂的物理结构,这使得文档布局分析(DLA)任务具有挑战性。作为内容提取的预处理步骤,DLA具有大规模捕获历史或科学文档中丰富信息的潜力。尽管许多基于深度学习的计算机视觉方法在从文档中检测\emph{Figure}方面已经取得了优异的性能,但它们在识别DLA中的\emph{List}、\emph{Table}、\emph{Text}和\emph{Title}类别块方面仍然不令人满意。本文提出了一种融合文档的深视觉、浅视觉和文本特征的VTLayout模型来定位和识别不同的类别块。该模型主要包括两个阶段,三个特征提取器建立在内置的第二阶段。在第一阶段,Cascade Mask R-CNN模型直接应用于定位文档的所有类别块。在第二阶段中,深视觉,浅视觉和文本特征提取融合,以确定类别块的文档。因此,我们加强了分类能力的不同类别块的基础上现有的本地化技术。实验结果表明,VTLayout的识别能力优于基于PubLayNet数据集的最先进的DLA方法,F1得分高达0.9599。
2021-08-12 cs.CL cs.IR cs.LG
Context-sensitive access to e-document corpus
上下文相关的电子文档访问方法将上下文作为一个问题模型,从应用领域中提取知识,并以应用本体的形式表示。需要高效地访问文本形式的信息。Wiki资源作为一种现代文本格式,以半形式化的结构提供了大量的文本。在该方法的第一阶段,对代表宏观情况的本体对文档进行索引。索引方法使用主题树作为文档和应用本体之间的中间层。在第二阶段,确定与当前情况有关的文件(抽象和操作背景),并按相关程度进行排序。抽象上下文是一个面向问题的基于本体的模型。操作上下文是抽象上下文与信息源提供的数据的实例化。描述了该方法的以下部分:(i)用于测量电子文档与本体的相似性的度量,(ii)存储针对本体的电子文档的索引的结果的文档索引;(iii)用于基于语义相似性度量来识别相关电子文档的方法。维基百科(维基资源)是作为一个语料库的电子文档的方法评估的案例研究。文本分类、元数据的存在以及与不同主题相关的大量文章的存在是语料库的特征。
2006-10-11 cs.IR
Machine Identification of High Impact Research through Text and Image Analysis
University of Rochester(罗切斯特大学)
学术论文提交和出版的数量正在以越来越快的速度增长。虽然大量的研究有望在各个领域取得进展,但大量的输出本质上增加了噪音。我们提出了一个系统,自动分离的论文与那些获得引用的可能性低,作为一种手段,以快速找到高影响力,高质量的研究。我们的系统同时使用了一个视觉分类器,用于推测文档的整体外观,和一个文本分类器,用于做出内容知情的决定。该领域目前的工作重点是由个别会议的论文组成的小型数据集。尝试在较大的数据集上使用类似的技术通常只考虑文档的摘录,例如摘要,可能会丢弃有价值的数据。我们通过提供一个由PDF文档和引文计数组成的数据集来纠正这些问题,该数据集跨越了两个独立的学术领域:计算机科学和医学。这个新的数据集使我们能够通过跨时间和学术领域的概括来扩展该领域的现有工作。此外,我们探索了域间预测模型-评估分类器在未训练的域上的性能-以进一步了解这个重要问题。
2020-05-20 cs.DL cs.IR cs.LG
Wastewater Pipe Rating Model Using Natural Language Processing
Louisiana Tech University(路易斯安那理工大学);Trenchless Technology Center(非开挖技术中心);Southeast University(东南大学)
本文提出一种基于自然语言处理的自动化框架,从管道修复文件中识别缺陷症状及频率并生成评级,模型准确率达95.0%,可用于大规模管道故障检测。
2022-12-24 cs.IR cs.LG
Clust-LDA: Joint Model for Text Mining and Author Group Inference
社交媒体语料库带来了独特的挑战和机遇,包括通常较短的文档长度和丰富的元数据,如作者特征和关系。这为系统分析庞大的用户群体创造了巨大的潜力,从而为有针对性的营销等工业战略提供了启示。在这里,我们提出了一种新的和统计原则的方法,clust-LDA,将作者身份结构的主题建模,从而完成的任务的主题推理的基础上,跨文件的作者身份,同时,作者之间的分组识别。我们开发了一个推理程序集群LDA和模拟数据上的表现,表明集群LDA优于“香草”LDA的主题识别任务,作者表现出独特的主题偏好。我们还展示了clust-LDA基于Reddit的真实社交媒体数据集的经验性能。
2018-10-05 cs.IR cs.SI stat.AP