Recognizing Descriptive Wikipedia Categories for Historical Figures
Stony Brook University(石溪大学)
Wikipedia是一个有用的知识源,在语言处理和知识表示中有许多应用。维基百科的一个重要特征是分类。维基百科页面根据其内容被分配不同的类别,作为人类注释的标签,可用于信息检索,特别搜索改进,实体排名和标签推荐。然而,重要的页面通常被分配了太多的类别,这使得很难识别出最重要的页面,这些页面给出了最好的描述。在本文中,我们提出了一种方法来识别最具描述性的维基百科类别。我们观察到,在一个精确的类别中的历史人物大概是相互相似的,这种类别的连贯性可以通过文本或维基百科链接的类别中相应的成员进行评估。我们排名维基百科类别的描述性水平,根据其连贯性和我们的排名产生88.27%的总体协议相比,人类的智慧。
2017-04-24 cs.CL
WikiMatrix: Mining 135M Parallel Sentences in 1620 Language Pairs from Wikipedia
Facebook AI(脸书人工智能研究院)
我们提出了一种基于多语言句子嵌入的方法,自动提取平行的句子从维基百科的文章中的85种语言,包括几种方言或低资源的语言的内容。我们不限制提取过程与英语对齐,但系统地考虑所有可能的语言对。总的来说,我们能够为1620种不同的语言对提取1.35亿个平行句子,其中只有34M与英语对齐。这个平行句子的语料库可以在https://github.com/facebookresearch/LASER/tree/master/tasks/WikiMatrix上免费获得。为了获得对提取的双文本质量的指示,我们仅对1886个语言对的挖掘数据进行训练神经MT基线系统,并在TED语料库上对其进行评估,许多语言对都获得了很高的BLEU分数。WikiMatrix双文本似乎特别有趣,可以在远距离语言之间训练机器翻译系统,而不需要通过英语进行旋转。
2019-07-16 cs.CL
Opinion Mining in Online Reviews About Distance Education Programs
CITEC Bielefeld University(比勒费尔德大学CITEC);Semalytix(Semalytix公司);Online Akademie(在线学院);IMS Uni Stuttgart(斯图加特大学IMS)
远程教育项目的普及正在快速增长。与此同时,学生之间在论坛、社交媒体和复习平台上的在线交流也在增加。利用这些信息来支持同学或机构需要提取相关的意见,以便自动生成报告,提供不同远程教育计划的利弊概述。我们报告的实验涉及远程教育专家的目标是开发一个数据集的评论注释相关的类别和方面,在每个类别中讨论的具体审查连同情绪的指示。基于这个实验,我们提出了一种方法来提取一般类别和具体方面的讨论中的审查连同他们的情绪。我们框架这个任务作为一个多标签的分层文本分类问题,并实证研究不同的分类架构的性能,以耦合预测的类别与预测的特定方面在这个类别。我们评估不同的架构,并表明,分层的方法导致优越的结果相比,一个平面模型,独立决策。
2016-07-21 cs.CL
Scalable Text Mining with Sparse Generative Models
University of Waikato(怀卡托大学)
信息时代带来了大量的数据。其中大部分是以文本形式出现的,人类无法逾越,计算机无法理解。文本挖掘是一个不断扩展的研究领域,旨在利用包含在大量文档集合中的信息。基于机器学习的常规数据采掘方法面临着文本数据规模的挑战,需要可扩展的文本挖掘方法。本文提出了一种可伸缩文本挖掘的解决方案:结合稀疏计算的生成模型。一个统一的形式化生成文本模型的定义,汇集了研究传统,使用正式等效的模型,但忽略了平行的发展。该框架允许使用在不同的处理任务(如检索和分类)中开发的方法,从而在不同的文本挖掘任务中产生有效的解决方案。提出了一种基于倒排索引的概率模型稀疏计算方法。这降低了根据稀疏性的常见文本挖掘操作的计算复杂性,产生具有现代搜索引擎的可扩展性的概率模型。建议的组合提供稀疏生成模型:文本挖掘的解决方案是通用的,有效的,可扩展的。对文本分类和排名检索数据集进行了广泛的实验,结果表明,所提出的解决方案在有效性上与领先的特定任务方法相匹配或优于领先的特定任务方法,维基百科文章分类的分类时间减少了一个数量级。所开发的方法进一步应用于2014年的两个Kaggle数据采掘竞赛,有超过一百个参赛团队,获得第一名和第二名。
2016-02-07 cs.AI cs.CL cs.IR
Supporting Land Reuse of Former Open Pit Mining Sites using Text Classification and Active Learning
Leipzig University(莱比锡大学);Institute for Applied Informatics (InfAI)(应用信息学研究所(InfAI))
露天矿使世界上许多地区不适合居住或不适合居住。为了使这些地区重新投入使用,必须使整片土地重新自然化。为了可持续的后续使用或转移到一个新的主要用途,许多受污染的场地和土壤信息必须得到永久管理。在大多数情况下,这些信息以专家报告的形式存在于非结构化的数据汇集或文件夹中,最好的情况是数字化。由于数据的规模和复杂性,一个人很难对这些数据进行概述,以便能够做出可靠的陈述。这是将这些区域迅速转移到使用后的最重要障碍之一。对这一问题采取基于信息的方法有助于实现有关环境问题、健康和气候行动的若干可持续发展目标。我们使用光学字符识别,文本分类,主动学习和地理信息系统可视化堆栈有效地挖掘和可视化这些信息。随后,我们将提取的信息链接到地理坐标,并使用地理信息系统将其可视化。主动学习发挥着至关重要的作用,因为我们的数据集不提供训练数据。我们总共处理了九个类别,并积极学习它们在数据集中的表示。我们分别对OCR、主动学习和文本分类进行了评估,以报告系统的性能。主动学习和文本分类的结果是双重的:虽然我们关于限制的类别工作足够($>$ .85 F1),但七个面向主题的类别对于人类编码员来说很复杂,因此结果获得了中等的评估分数($<$ .70 F1)。
2022-03-22 cs.CL
A multimodal movie review corpus for fine-grained opinion mining
Télécom Paris, Université Paris-Saclay(巴黎高等电信学校,巴黎-萨克雷大学)
在本文中,我们为由1000个视频组成的POM电影评论数据集引入了一组观点注释。注释活动的动机是发展一个分层的意见预测框架,允许人们预测意见的不同组成部分(例如极性和方面),并确定相应的文本跨度。由此产生的注释已经收集在两个粒度级别:一个粗糙的(固执己见的跨度)和一个更精细的(意见组件的跨度)。我们引入特定的类别,以使电影评论的意见更容易注释。例如,某些类别允许在电影评论中发现用户推荐和偏好。我们提供了一个定量分析的注释和报告的注释者之间的协议下的不同级别的粒度。因此,我们提供了第一组地面实况注释,可用于细粒度多模态意见预测的任务。我们提供了一个分析的数据收集,通过一个inter-annotator的研究,并表明,一个线性结构化的预测学习有意义的功能,即使是对稀缺的标签的预测。注释和基线系统都是公开的。https://github.com/eusip/POM/
2021-04-29 cs.CL cs.MM
Mining Meaning from Wikipedia
University of Waikato(怀卡托大学)
维基百科是一座信息的金矿;不仅对它的许多读者来说,而且对越来越多的研究人员来说,他们认为它是一种具有特殊规模和实用性的资源。它代表了人工努力和判断的巨大投资:一个巨大的,不断发展的概念和关系的挂毯,被应用于一系列任务。这篇文章提供了一个全面的描述这项工作。它侧重于提取和利用维基百科中的概念、关系、事实和描述的研究,并将工作分为四大类:将维基百科应用于自然语言处理;使用它来促进信息检索和信息抽取;以及作为本体构建的资源。这篇文章讨论了维基百科是如何被使用的,它是如何被改进和调整的,以及它是如何与其他结构相结合来创建全新的资源的。我们确定了参与的研究小组和个人,以及他们的工作在过去几年中是如何发展的。我们提供了一个完整的清单,列出了他们制作的开源软件。
2009-05-10 cs.AI cs.CL cs.IR
Utilize Transformers for translating Wikipedia category names
Dalat University(大叻大学)
针对维基百科手动创建类别耗时费力的问题,研究用15000个英-越类别对微调中小规模序列到序列Transformer预训练模型,发现小存储的OPUS-MT-en-vi以0.73的BLEU得分表现最优,为低资源翻译任务提供替代方案。
2024-08-12 cs.CL
Reading Stockholm Riots 2013 in social media by text-mining
Stockholm University(斯德哥尔摩大学);Jagiellonian University(雅盖隆大学);CIOP – National Research Instutute(CIOP国家研究院)
2013年5月在斯德哥尔摩发生的骚乱是一个在世界媒体上引起反响的事件,因为它的暴力层面已经蔓延到瑞典首都。在这项研究中,我们通过文本挖掘和自然语言处理研究了社交媒体在创造媒体现象中的作用。我们的分析重点关注两个沟通渠道:Twitter和Poloniainfo.se(瑞典波兰社区论坛)。我们的初步结果显示,一些热门话题驱动的讨论主要涉及瑞典警察和瑞典政治通过计数字的使用。媒体干预的典型特征。我们已经建立了最流行的短语网络,按类别(地理,媒体机构等)聚类。情感分析显示出对警察的负面内涵。这个初步的探索性定量研究的目的是产生问题和假设,我们可以仔细遵循更深入的定性方法。
2013-10-04 cs.CL cs.SI physics.soc-ph
Talking to oneself in CMC: a study of self replies in Wikipedia talk pages
CNRS(法国国家科学研究中心);University of Toulouse(图卢兹大学);University of Nice Côte d’Azur(蔚蓝海岸大学)
针对维基百科讨论页中同一用户撰写讨论前两条消息的自我回复现象,提出七分类类型学并标注英、法样本,分析比较人类标注者与指令微调LLMs的表现差异。
2024-11-28 cs.CL
Yoga-Veganism: Correlation Mining of Twitter Health Data
Purdue University(普渡大学)
如今,社交媒体是一个巨大的数据平台。人们通常通过讨论、推特、状态来分享他们的兴趣、想法。不可能手动检查所有数据。我们需要挖掘数据,以探索隐藏的模式或未知的相关性,找出数据中的主导主题,并通过讨论了解人们的兴趣。在这项工作中,我们探索与健康相关的Twitter数据。我们通过主题建模提取Twitter中不同类别(如饮食、运动)下的热门话题,观察模型在新推文上的行为,发现有趣的相关性(如瑜伽-素食主义)。我们通过与地面实况进行比较来评估准确性,使用手动注释训练和测试数据。
2019-06-15 cs.AI cs.CL cs.CY
Leveraging Foreign Language Labeled Data for Aspect-Based Opinion Mining
Posts and Telecommunications Institute of Technology(越南邮电技术学院)
基于方面的观点挖掘是在观点文本的方面层次上识别情感的任务,它包括两个子任务:方面类别提取和情感极性分类。虽然方面类别提取的目的是检测和分类的意见目标,如产品特征,情感极性分类分配一个情感标签,即积极的,消极的,或中性的,每个识别的方面。监督学习方法已被证明可以为这项任务提供更好的准确性,但它们需要标记的数据,这是昂贵的,特别是对于资源贫乏的语言,如越南语。为了解决这个问题,我们提出了一个监督方面为基础的意见挖掘方法,利用标记的数据从外语(英语在这种情况下),这是翻译成越南语的自动翻译工具(谷歌翻译)。由于不同语言中的方面和观点可能由不同的词来表达,因此我们提出使用词嵌入以及其他特征来减少原文和译文之间的词汇差异,从而提高方面类别提取和情感极性分类过程的有效性。我们还介绍了一个注释语料库的方面类别和情感极性提取的餐馆评论在越南,并进行了一系列的实验语料库。实验结果证明了该方法的有效性。
2020-03-15 cs.AI cs.CL cs.IR
SLHCat: Mapping Wikipedia Categories and Lists to DBpedia by Leveraging Semantic, Lexical, and Hierarchical Features
Graduate School of Information, Production, and Systems, Waseda University(早稻田大学信息生产系统研究生院);United Automotive Electronic Systems Co., Ltd(联合汽车电子有限公司)
本文提出 SLHCat,将 Wikipedia 分类与列表到 DBpedia 的映射建模为本体对齐,结合知识图谱结构、语义与词汇特征生成远程监督数据,并微调 BERT,在 3000 个标注映射对上准确率较基线提升 25%。
2023-09-27 cs.CL cs.DL
A new classification system of beer categories and styles based on large-scale data mining and self-organizing maps of beer recipes
本研究通过数据挖掘六万余份啤酒配方并结合自组织映射,构建了基于原料和发酵参数的客观啤酒分类体系,识别出四个主要类别,为啤酒研发与教育提供了可扩展工具。
2025-05-13 cs.CL
Harvesting comparable corpora and mining them for equivalent bilingual sentences using statistical classification and analogy- based heuristics
平行句子是一种相对稀缺但非常有用的资源,对于许多应用,包括跨语言检索和统计机器翻译。这项研究探索了我们从以前获得的可比语料库中挖掘此类数据的新方法。这项任务是非常实用的,因为非平行的多语言数据存在的数量远远超过平行语料库,但平行的句子是一个更有用的资源。在这里,我们提出了一种网络爬行方法,用于从例如维基百科转储和Euronews网页构建主题对齐的可比语料库。机器翻译的改进显示在各种文本域的波兰语-英语语言对上。我们还测试了另一种基于可比语料库数据构建平行语料库的方法。它可以自动扩大现有的语料库的句子从语料库的主题之间的类比的基础上。
2015-11-18 cs.CL stat.ML
Entity Extraction from Wikipedia List Pages
University of Mannheim(曼海姆大学)
当涉及到广泛领域的事实知识时,维基百科通常是网络上的主要信息来源。DBpedia和YAGO作为大型跨领域知识图谱,通过为维基百科中的每个页面创建一个实体并通过边缘连接它们来编码知识的子集。然而,众所周知,基于维基百科的知识图谱远未完成。特别是,由于维基百科的政策只允许关于主题的页面,如果他们有一定的知名度,这样的图表往往缺乏关于不太知名的实体的信息。关于这些实体的信息通常在百科全书中可用,但不表示为单独的页面。在本文中,我们提出了一种从维基百科列表页面中提取实体的两阶段方法,事实证明,这些列表页面是有价值的信息来源。在第一阶段,我们以DBpedia为主干,从类别和列表页面构建一个大型分类法。通过远程监督,我们提取用于识别列表页面中的新实体的训练数据,我们在第二阶段中使用这些数据来训练分类模型。通过这种方法,我们提取了超过70万个新实体,并扩展了DBpedia,其中包含750万个新类型语句和380万个高精度的新事实。
2020-03-11 cs.CL cs.IR
Automated Phrase Mining from Massive Text Corpora
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院);Army Research Laboratory(陆军研究实验室)
短语挖掘是文本分析的基本任务之一,其目的是从文本语料库中提取高质量的短语。短语挖掘在诸如信息抽取/检索、分类构造和主题建模等各种任务中是重要的。大多数现有的方法依赖于复杂的,受过训练的语言分析器,因此可能在新领域和体裁的文本语料库上的性能不令人满意,而无需额外但昂贵的适应。近年来,一些数据驱动的方法已经被成功地开发出来,用于从大量特定领域的文本中提取短语。然而,没有一个最先进的模型是完全自动化的,因为它们需要人类专家来设计规则或标记短语。由于人们可以很容易地从公共知识库中获得许多高质量的短语,其规模远远大于人类专家所产生的规模,因此在本文中,我们提出了一种用于自动短语挖掘的新框架AutoPhrase,该框架以有效的方式利用了大量的高质量短语,并与有限的人类标记短语相比,实现了更好的性能。此外,我们开发了一个POS引导的短语分割模型,它结合了浅层句法信息的词性(POS)标签,以进一步提高性能,当一个POS标签可用。请注意,AutoPhrase可以支持任何语言,只要通用知识库(例如,Wikipedia),同时受益于但不需要POS标记器。与最先进的方法相比,新方法在不同领域和语言的五个真实数据集上的有效性有了显着提高。
2017-03-11 cs.CL
FactGenius: Combining Zero-Shot Prompting and Fuzzy Relation Mining to Improve Fact Verification with Knowledge Graphs
Simula Metropolitan Center for Digital Engineering(模拟元数字工程中心)
针对传统事实验核方法依赖人工数据整理、规则化的局限,研究提出FactGenius方法,结合大语言模型零样本提示与知识图谱模糊匹配,经DBpedia优化关联,在FactKG基准上性能优于现有基线,为鲁棒事实验核提供新工具。
2024-06-03 cs.CL
Factual Inconsistencies in Multilingual Wikipedia Tables
CNR ISTC(意大利国家研究委员会信息与通信技术研究所);Fraunhofer Institute for Applied Information Technology FIT(弗劳恩霍夫应用信息技术研究所);Tallinn University of Technology(塔林理工大学);EURECOM(欧瑞康);Technical University of Munich(慕尼黑技术大学);University of Amsterdam(阿姆斯特丹大学)
本研究探讨了多语言维基百科结构化内容中的跨语言不一致问题,特别是表格数据,通过开发方法收集、对齐和分析多语言维基百科文章中的表格,定义不一致的类别,并应用定量和定性指标评估多语言对齐,为事实验证、多语言知识交互和可靠AI系统设计提供启示。
2026-05-18 cs.CL cs.DB cs.DL
Generalized Category Discovery in Event-Centric Contexts: Latent Pattern Mining with LLMs
School of Informatics, Xiamen University(信息学院,厦门大学);Institute of Artificial Intelligence, Xiamen University(人工智能研究院,厦门大学);Ant Group(蚂蚁集团)
针对事件中心场景下广义类别发现面临的聚类分类不一致和少数类不公平对齐问题,提出PaMA框架,利用LLM提取优化事件模式并采用排序-过滤-挖掘管道平衡原型表示,在多个基准上取得显著性能提升。
2025-05-29 cs.CL
A comprehensive study on Frequent Pattern Mining and Clustering categories for topic detection in Persian text stream
Islamic Azad University(伊斯兰阿扎德大学);Iran University of Science and Technology(伊朗科技大学);National Yunlin University of Science and Technology(台湾云林科技大学)
本研究针对波斯语话题检测,综合比较频繁模式、聚类及混合三类共十种算法,提出新评估标准FS,实验表明混合类适合关键词话题,频繁模式类适合帖子聚类。
2024-03-15 cs.CL
Wikipedia in the Era of LLMs: Evolution and Risks
Huazhong University of Science and Technology(华中科技大学);École Normale Supérieure (ENS) – Université Paris Sciences et Lettres (PSL)(巴黎高等师范学院(ENS)–巴黎文理研究大学(PSL));International School for Advanced Studies (SISSA)(国际高等研究学院(SISSA))
本文研究了大语言模型对维基百科的影响,分析了其在文章内容、页面浏览和NLP任务中的作用,指出潜在风险并提出监控框架。
2026-03-02 cs.AI cs.CL cs.CY
Cross Script Hindi English NER Corpus from Wikipedia
Jamia Millia Islamia(贾米亚·米利亚·伊斯兰大学)
社交媒体平台上生成的文本基本上是混合语言文本。任何形式的语言混合都会给语言处理系统带来相当大的困难。此外,语言处理研究的进展取决于标准语料库的可用性。混合语言印度命名实体识别(NER)系统的发展面临的障碍,由于缺乏标准的评估语料库。这样的语料库可能是混合语言的性质,其中文本是使用多种语言编写的,主要是使用一个单一的脚本。我们的工作的动机是强调自动生成这样的语料库,以鼓励混合语言的印度语净率。本文介绍了一个跨脚本印地语-英语语料库的准备从维基百科的类别页面。语料库成功地使用标准的CoNLL-2003的PER,ORG,MISC的类别进行注释。对多种机器学习算法进行了评价,取得了良好的效果。
2018-10-08 cs.CL cs.IR cs.LG
Generating Categories for Sets of Entities
Bloomberg(彭博);University of Stavanger(斯塔万格大学);Carnegie Mellon University(卡内基梅隆大学)
范畴系统是知识库的核心组成部分,因为它们提供了语义相关概念和实体的层次分组。它们是一种独特而宝贵的资源,可用于广泛的信息访问任务。为了帮助知识编辑者手动扩展类别系统,本文提出了一种为实体集生成类别的方法。首先,我们采用神经抽象摘要模型来生成候选类别。接下来,为每个候选者标识层次结构内的位置。最后,使用基于结构、内容和层次的特征对候选人进行排名,以确定最有希望的候选人(根据特异性、层次和重要性进行测量)。我们开发了一个基于维基百科类别的测试集合,并证明了所提出的方法的有效性。
2020-08-19 cs.CL cs.IR
Contextual Categorization Enhancement through LLMs Latent-Space
Deggendorf Institute of Technology(代根多夫应用技术大学)
本文提出利用 transformer 模型将 Wikipedia 文本及分类提取至潜空间,结合 Convex Hull、HNSW 和基于欧式距离的指数衰减函数检索高 Reconsideration Probability 项目,帮助数据库管理员改进数据分组并识别异常值。
2024-04-25 cs.AI cs.CL
TiFi: Taxonomy Induction for Fictional Domains [Extended version]
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
分类法是结构化知识库的重要组成部分,从文本源和维基百科构建分类法受到了广泛关注。在本文中,我们专注于虚构领域的分类法的建设,使用嘈杂的类别系统从球迷维基或文本提取作为输入。这些虚构的领域是维基百科覆盖不足的实体宇宙的原型,例如企业特定的知识库或高度专业化的垂直领域。我们的小说为目标的方法,称为TiFi,由三个阶段组成:(i)类别清洗,通过识别候选类别,真正代表感兴趣的领域中的类,(ii)边缘清洗,通过选择对应于类包容的子类关系,和(iii)顶级建设,通过映射类到一个子集的高级WordNet类别。一项全面的评估表明,TiFi能够为各种虚构领域构建分类,如指环王,The Greek Mythology或希腊神话,具有非常高的精度,并且它在分类归纳方面的表现远远优于最先进的基线。
2019-01-29 cs.AI cs.CL cs.IR
Mining Trends of COVID-19 Vaccine Beliefs on Twitter with Lexical Embeddings
Maharaja Surajmal Institute of Technology, GGSIPU(马哈拉贾苏拉杰马尔技术学院,GGSIPU);Indraprastha Institute of Information Technology Delhi(德里英德拉普拉斯塔信息技术学院);All India Institute of Medical Sciences(全印度医学科学学院)
社交媒体在全球传播新闻方面发挥着关键作用,并成为人们就各种主题发表意见的平台。全球各地的COVID-19疫苗接种活动伴随着各种各样的观点,这些观点往往受到情绪的影响,这些情绪会随着病例的增加、疫苗的批准以及在线讨论的多种因素而变化。本研究的目的是分析不同的情绪类别的时间演变:犹豫,愤怒,悲伤,预期,信仰和满意度的影响因素:疫苗推出,错误信息,健康影响和不公平的词汇类别创建属于五个国家的推文与重要的疫苗推出计划,即印度,美国,巴西,英国和澳大利亚。我们提取了近180万条与COVID-19疫苗接种相关的Twitter帖子的语料库。我们使用选定种子词的余弦距离,扩大了每个类别的词汇量,并跟踪了2020年6月至2021年4月期间其强度的纵向变化。我们使用社区发现算法来发现正相关网络中的模块。我们的研究结果表明,在所有国家中,对疫苗表示犹豫的推文中提到的健康相关影响最多。我们的研究结果表明,犹豫的模式在不同的地理位置是不同的,可以帮助我们学习有针对性的干预措施。我们还观察到,在疫苗批准前后,犹豫和满意等类别的线性趋势发生了显著变化。在冲积图中,愤怒和悲伤等负面情绪的重要性最高。它们与2021年4月印度观察到第二波COVID-19病例时的所有影响因素形成了一个重要模块。情绪和影响因素之间的关系被发现是可变的国家。
2021-07-20 cs.CL cs.SI
Priberam Labs at the NTCIR-15 SHINRA2020-ML: Classification Task
Priberam Labs(普里贝拉姆实验室)
维基百科是一个在线百科全书,提供285种语言。它构成了一个非常相关的知识库(KB),自动系统可以利用它来实现多种目的。然而,这种信息的结构和组织不容易自动解析和理解,因此,有必要对这些知识进行结构化。当前SHINRA 2020-ML任务的目标是利用维基百科页面,将其对应的实体分类到268个层次类别中,属于扩展命名实体(ENE)本体。在这项工作中,我们提出了三个不同的模型的基础上产生的多语言BERT的上下文嵌入。我们探讨了一个线性层的性能,并没有明确使用本体的层次结构,和门控递归单元(GRU)层。我们还测试了几种池化策略,以利用BERT的嵌入和基于标签得分的选择标准。我们能够在各种语言中实现良好的性能,包括那些在微调过程中看不到的语言(zero-shot语言)。
2021-05-12 cs.CL cs.LG
Boosting Protein Language Models with Negative Sample Mining
School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院)
针对蛋白质语言模型过度依赖共进化知识的问题,提出利用跨类别蛋白质负样本在注意力分数空间训练 transformer,从而在多任务和多模型上提升性能并增强生物学一致性。
2024-06-29 cs.AI cs.CL cs.LG