Distilling Text LMs into Speech-to-Speech LMs by Matching Internal Text Predictions
TTI-Chicago(芝加哥信息技术研究所);Stony Brook University(石溪大学)
本研究首次将文本LM蒸馏应用于语音到语音LM,通过构建内部文本接口实现知识迁移,提升了语音延续生成困惑度及文本、语音评估下的事实性能。
2026-10-14 cs.CL
Label Dependencies-aware Set Prediction Networks for Multi-label Text Classification
Sunshine Insurance Group Corporation Limited(阳光保险集团股份有限公司);Tsinghua University(清华大学)
本文提出一种标签依赖感知的集合预测网络,利用图卷积网络建模标签相关性,并引入Bhattacharyya距离提升召回,在多标签文本分类任务上优于现有基线。
2024-03-14 cs.CL
This Patient Looks Like That Patient: Prototypical Networks for Interpretable Diagnosis Prediction from Clinical Text
Berliner Hochschule für Technik (BHT)(柏林工程应用技术大学);Charité Berlin(柏林夏里特医学院);Leibniz University Hannover(汉诺威莱布尼茨大学)
使用深度神经模型从临床文本中进行诊断预测已经显示出有希望的结果。然而,在临床实践中,这种模型不仅必须准确,而且必须为医生提供可解释和有用的结果。我们介绍ProtoPatient,一种基于原型网络和标签式注意力的新方法。ProtoPatient根据与原型患者相似的文本部分做出预测-提供医生理解的理由。我们在两个公开的临床数据集上评估了该模型,并表明它优于现有的基线。医生的定量和定性评价进一步表明,该模型为临床决策支持提供了有价值的解释。
2022-10-16 cs.CL
Relative Position Prediction as Pre-training for Text Encoders
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
意义是由它所拥有的公司来定义的。然而,公司是双重的:它基于令牌的身份以及它们的位置(拓扑)。我们认为,一个位置为中心的角度是更普遍和有用的。NLP中经典的MLM和CLM目标很容易被表述为对整个词汇的位置预测。在NLP中采用相对位置编码范式来创建自监督学习的相对标签,我们试图通过下游任务的表现来显示优越的预训练。
2022-02-02 cs.CL
Towards Flow Graph Prediction of Open-Domain Procedural Texts
Graduate School of Informatics, Kyoto University(京都大学信息学研究科);Academic Center for Computing and Media Studies, Kyoto University(京都大学学术计算与媒体研究中心)
本文提出基于食谱流程图构建开放领域程序性文本流程图预测框架,并引入wikiHow-FG语料库,通过领域自适应实验证明跨领域迁移能提升流程图预测性能。
2023-05-31 cs.CL
Bleaching Text: Abstract Features for Cross-lingual Gender Prediction
University of Groningen(格罗宁根大学);Jozef Stefan Institute(约瑟夫·斯特凡研究所);IT University of Copenhagen(哥本哈根信息技术大学)
性别预测通常集中在词汇和社交网络特征上,产生了良好的性能,但使系统高度依赖于语言,主题和平台。跨语言嵌入规避了其中的一些限制,但捕获性别特定的风格较少。我们提出了一种替代方案:漂白文本,即,将词汇字符串转换为更抽象的特征。这项研究提供的证据表明,这些功能允许更好地跨语言迁移。此外,我们提出了第一个研究人类进行跨语言性别预测的能力。我们发现人类的预测能力与我们的漂白模型相似,并且都比词汇模型表现得更好。
2018-05-08 cs.CL
Improving Text Auto-Completion with Next Phrase Prediction
University of Southern California(南加州大学);Upstage AI Research(Upstage AI 研究院);Singapore University of Technology and Design(新加坡科技设计大学)
语言模型,如GPT-2,在构建文本自动完成任务的句法健全的句子表现良好。然而,这样的模型通常需要相当大的训练努力来适应特定的写作领域(例如,医学)。在本文中,我们提出了一种中间训练策略,以提高预训练的语言模型在文本自动完成任务中的性能,并使其快速适应特定领域。我们的策略包括一个新的自监督训练目标,称为下一个短语预测(NPP),它鼓励语言模型完成部分查询与丰富的短语,并最终提高模型的文本自动完成性能。初步实验表明,我们的方法是能够超越基线的自动完成电子邮件和学术写作领域。
2021-09-15 cs.CL
Text2Time: Transformer-based Article Time Period Prediction
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出 Text2Time,基于六十年间逾 35 万篇《纽约时报》新闻构建数据集,并用微调的预训练 BERT 预测文章发表年代,性能优于基线。
2023-04-24 cs.CL
DetectGPT-SC: Improving Detection of Text Generated by Large Language Models through Self-Consistency with Masked Predictions
Macao Polytechnic University(澳门理工大学);Iowa State University(爱荷华州立大学);HKUST (GZ)(香港科技大学(广州))
针对AI生成文本的检测问题,提出基于掩码预测自洽性的DetectGPT-SC方法,利用零样本和简单提示进行掩码与自洽性预测,在多种任务上超越了现有最先进检测器。
2023-10-23 cs.CL
Token Prediction as Implicit Classification to Identify LLM-Generated Text
Carnegie Mellon University(卡内基梅隆大学)
本文提出通过将分类任务重构为下一词元预测并微调T5模型,以识别生成文本的LLM,该方法简单高效,并构建了包含34万样本的OpenLLMText数据集。
2023-11-15 cs.CL
WT5?! Training Text-to-Text Models to Explain their Predictions
Google Research(谷歌研究院)
神经网络最近在各种具有挑战性的自然语言处理(NLP)任务上取得了人类水平的性能,但众所周知,很难理解为什么神经网络会产生特定的预测。在本文中,我们利用文本到文本的框架提出的Raffel等人。(2019)来训练语言模型,以输出自然的文本解释以及它们的预测。至关重要的是,这不需要修改损失函数或训练和解码过程-我们只需训练模型,以便在生成(自然文本)预测后输出解释。我们表明,这种方法不仅获得了最先进的可解释性基准的结果,而且还允许从有限的一组标记的解释中学习,并在数据集之间转移合理化能力。为了促进可重复性和未来的工作,我们发布了我们的代码来训练模型。
2020-04-30 cs.CL cs.LG
Do We Still Need Audio? Rethinking Speaker Diarization with a Text-Based Approach Using Multiple Prediction Models
Emory University(埃默里大学)
针对音频类说话人分割受音频质量等限制的问题,提出仅用对话文本的句子级说话人变化检测方法,构建单、多预测模型,在精选数据集上表现可比肩甚至在短对话中优于现有音频系统,为语义类分割研究开辟新方向。
2025-06-12 cs.CL
Bi-Link: Bridging Inductive Link Predictions from Text via Contrastive Learning of Transformers and Prompts
Modelbest;Tsinghua University(清华大学);University College London(伦敦大学学院)
归纳知识图谱完备化要求模型理解关系的底层语义和逻辑模式。随着预训练语言模型的发展,最近的研究已经为链接预测任务设计了Transformers。然而,实证研究表明,线性化三元组会影响关系模式的学习,如反转和对称。在本文中,我们提出了双链接,一个对比学习框架与概率语法提示链接预测。使用语法知识的BERT,我们有效地搜索关系提示,根据学习的语法模式,推广到大型知识图谱。为了更好地表达对称关系,我们设计了一个对称链接预测模型,在前向预测和后向预测之间建立双向链接。这种双向链接在测试时提供灵活的自集成策略。在我们的实验中,Bi-Link在链接预测数据集(WN 18 RR,FB 15 K-237和Wikidata 5 M)上的表现优于最近的基线。此外,我们构造Zeshel-Ind作为一个域内的归纳实体连接的环境,以评估双链接。实验结果表明,我们的方法产生鲁棒的表示,可以推广下域移位。
2022-10-26 cs.CL
Multimodal Emoji Prediction
Large Scale Text Understanding Systems Lab, TALN, UPF, Barcelona, Spain(加泰罗尼亚理工大学文本分析与自然语言处理实验室(TALN)大规模文本理解系统实验室,西班牙巴塞罗那);IBM Research, U.S(IBM研究,美国);Integrative Biomedical Informatics Group, GRIB, IMIM-UPF, Barcelona, Spain(巴塞罗那生物医学信息学研究所(IMIM)整合生物医学信息学小组,加泰罗尼亚理工大学(UPF),西班牙巴塞罗那)
照片是社交媒体短信中常见的小图片。在同一条信息中,视觉和文本内容的结合建立了一种现代的交流方式,自动系统无法处理。在本文中,我们通过提出一种能够预测Instagram帖子中的表情符号的多模态方法来扩展表情符号预测的最新进展。Instagram帖子由图片和文本组成,有时还包括表情符号。我们表明,这些表情符号可以通过使用文本来预测,但也可以使用图片。我们的主要发现是,将这两种协同模式结合在一个组合模型中,可以提高表情符号预测任务的准确性。这一结果表明,这两种形式(文本和图像)编码了关于表情符号使用的不同信息,因此可以相互补充。
2018-04-17 cs.CL
Finding the Evidence: Localization-aware Answer Prediction for Text Visual Question Answering
MediaTek(联发科技)
图像文本承载着理解场景和执行推理的基本信息。基于文本的视觉问答(文本VQA)任务侧重于需要阅读图像中的文本的视觉问题。现有的文本VQA系统通过从光学字符识别(OCR)文本或固定词汇表中进行选择来生成答案。文本的位置信息未得到充分利用,并且生成的答案缺乏证据。因此,本文提出了一种定位感知答案预测网络(LaAP-Net)来解决这一挑战。我们的LaAP-Net不仅生成问题的答案,而且还预测一个限界框作为生成的答案的证据。此外,上下文丰富的OCR表示(COR)的多模态融合提出了促进本地化任务。我们提出的LaAP-Net在文本VQA任务的三个基准数据集上的性能明显优于现有方法。
2020-10-06 cs.CL cs.CV
Twitter User Geolocation Using a Unified Text and Network Prediction Model
The University of Melbourne(墨尔本大学)
我们提出了一种基于改进吸附的标签传播方法来进行地理位置预测,具有两个增强功能:(1)去除“名人”节点以增加位置同质性并提高易处理性,以及(2)为测试用户引入基于文本的地理位置先验。在三个Twitter基准数据集上的实验取得了最先进的结果,并证明了增强的有效性。
2015-09-22 cs.CL cs.SI
Iterative Answer Prediction with Pointer-Augmented Multimodal Transformers for TextVQA
Facebook AI Research (FAIR)(脸书人工智能研究院);University of California, Berkeley(加州大学伯克利分校)
许多视觉场景包含携带关键信息的文本,因此理解图像中的文本对于下游推理任务至关重要。例如,警告标志上的深水标签警告人们现场的危险。最近的工作探索了TextVQA任务,该任务需要阅读和理解图像中的文本来回答问题。然而,现有的TextVQA方法大多是基于一对两种模态之间的自定义成对融合机制,并且通过将TextVQA作为分类任务来限制于单个预测步骤。在这项工作中,我们提出了一种新的模型,TextVQA任务的基础上,多模态Transformer架构伴随着丰富的图像中的文本表示。我们的模型自然地融合不同的模态均匀地嵌入到一个共同的语义空间,自我注意力被应用到模型间和内模态上下文。此外,它支持使用动态指针网络进行迭代答案解码,允许模型通过多步预测而不是一步分类来形成答案。我们的模型在TextVQA任务的三个基准数据集上的表现优于现有方法。
2020-03-24 cs.CL cs.CV
Prediction of ICD Codes with Clinical BERT Embeddings and Text Augmentation with Label Balancing using MIMIC-III
University of California, Berkeley(加州大学伯克利分校)
本文使用MIMIC-III数据集实现了ICD代码预测任务的最新结果。这是通过使用临床BERT(Alsentzer等人,2019年)。嵌入和文本增强以及标签平衡,以提高ICD章节和ICD疾病代码的F1评分。我们将改进的性能主要归因于使用新颖的文本增强来在训练过程中打乱句子的顺序。与Top-32 ICD代码预测(Keyang Xu,et.(见上文)在F1得分为0.76的情况下,我们实现了0.75的最终F1得分,但是在总共前50个ICD代码上。
2020-08-24 cs.AI cs.CL
Point-of-Interest Type Inference from Social Media Text
University of Sheffield(谢菲尔德大学);Bloomberg(彭博社)
物理场所有助于塑造我们如何感知我们在那里的经历。这是我们第一次研究社交媒体文本与发布地点类型之间的关系,无论是公园、餐馆还是其他地方。为了促进这一点,我们引入了一个新的数据集$\sim$ 200,000英语推文发布从2,761个不同的兴趣点在美国,丰富了地点类型信息。我们训练分类器来预测推文发送位置的类型,这些位置在八个类别中达到43.67的宏F1,并发现与每种类型的地方相关联的语言标记。从推文中预测语义位置信息的能力在推荐系统、个性化服务和文化地理学中有应用。
2020-10-02 cs.CL cs.SI
Explainable Prediction of Text Complexity: The Missing Preliminaries for Text Simplification
University of Michigan(密歇根大学)
文本简化降低了专业内容的语言复杂性,以实现可访问性。端到端的神经网络模型已经被广泛采用来直接生成输入文本的简化版本,通常用作黑盒。我们表明,文本简化可以分解成一个紧凑的任务管道,以确保过程的透明度和可解释性。这个流程中的前两个步骤经常被忽略:1)预测给定的文本是否需要简化,2)如果需要,识别文本的复杂部分。这两个任务可以使用词汇或深度学习方法单独解决,也可以联合解决。简单地应用可解释的复杂度预测作为初步步骤,最先进的黑盒简化模型的样本外文本简化性能可以大幅提高。
2021-07-07 cs.AI cs.CL cs.LG
Training and Prediction Data Discrepancies: Challenges of Text Classification with Noisy, Historical Data
Allstate Insurance Company(好事达保险公司)
用于文本分类的行业数据集很少用于此目的。在大多数情况下,数据和目标预测是累积的历史数据的副产品,通常充满了噪声,存在于基于文本的文档以及目标标签中。在这项工作中,我们解决的问题,以及性能指标计算的噪声,历史数据反映预期的未来机器学习模型输入的性能。结果证明了脏训练数据集的实用性,这些数据集用于为更清洁(和不同)的预测输入构建预测模型。
2018-09-11 cs.CL cs.IR cs.LG
Enhancing Traffic Prediction with Textual Data Using Large Language Models
Tongji University(同济大学)
本文提出用大语言模型提取文本嵌入并结合历史交通数据输入传统时空模型,以区域级和节点级两种结构融合上下文信息,在 New York Bike 数据集上显著提升预测准确率。
2024-05-10 cs.AI cs.CL
Link Prediction with Mutual Attention for Text-Attributed Networks
Université de Lyon, Lyon 2(里昂大学里昂第二大学)
在这个扩展的摘要中,我们提出了一个算法,该算法从结构化语料库的网络拓扑结构中学习文档之间的相似性度量。我们利用最近提出的一种注意力机制Scaled Dot-Product Attention来设计文档对之间的相互注意力机制。为了训练其参数,我们使用网络链路作为监督。我们提供了两个预测任务的引文数据集的初步实验结果,证明了我们的模型学习有意义的文本相似性的能力。
2019-03-20 cs.CL cs.LG cs.SI
From Affect Prediction to Affect Forecasting: Evidence for Distinct Information Sources in Longitudinal Text
School of Electrical Engineering and Computer Science (SEECS), National University of Sciences and Technology (NUST)(国立科技大学电气工程与计算机科学学院);Department of Communication, Quality Management and Information Systems, Mid Sweden University(中瑞典大学通信、质量管理和信息系统系)
本文区分当前情感估计与未来情感变化预报,提出TSAP框架和ACF-Hybrid模型,实验表明文本语义支持当前预测,而数值轨迹动力学更适用于未来变化预报。
2026-06-16 cs.AI cs.CL
Understanding Information Spreading Mechanisms During COVID-19 Pandemic by Analyzing the Impact of Tweet Text and User Features for Retweet Prediction
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);TU Kaiserslautern(凯泽斯劳滕工业大学);Deakin University(迪肯大学)
COVID-19影响了世界经济和几乎每个人的日常生活。它一直是Twitter、Facebook等社交媒体平台上的热门话题,这些社交媒体平台使用户能够与其他用户分享信息,这些用户可以分享这些信息,从而导致这些信息的传播。Twitter的转推功能允许用户与其他用户分享现有内容,而不会改变原始内容。对社交媒体平台的分析有助于在大流行期间发现紧急情况,从而采取预防措施。其中一种分析类型是预测给定COVID-19相关推文的转发数量。最近,CIKM组织了一个针对COVID-19推文的转发预测挑战赛,重点是只使用数字特征。然而,我们的假设是,推文文本可能在准确的转推预测中起着至关重要的作用。在本文中,我们结合数字和文本特征进行COVID-19相关的转推预测。为此,我们提出了两个基于CNN和RNN的模型,并使用七种不同的评估指标在公开的TweetsCOV 19数据集上评估这些模型的性能。我们的评估结果表明,结合推文文本与数字特征显着提高了转推预测的性能。
2021-05-26 cs.CL cs.SI
Extending Text Informativeness Measures to Passage Interestingness Evaluation (Language Model vs. Word Embedding)
Université d’Avignon et des Pays de Vaucluse(阿维尼翁大学);École Polytechnique de Montréal(蒙特利尔高等理工学院)
用于评估自动文本摘要的标准信息性度量主要依赖于自动摘要和参考摘要之间的n-gram重叠。这些度量不同于它们使用的度量(余弦,ROUGE,Kullback-Leibler,对数相似性等)。以及他们考虑的术语包(单个词、词n-gram、实体、nuggets等)。最近的词嵌入方法提供了一个连续的替代离散的方法的基础上的存在/不存在的文本单元。信息量的措施已扩展到焦点信息检索评价涉及用户的信息需求表示的短查询。特别是对于CLEF-INEX推文上下文化的任务,推文内容被认为是查询。在本文中,我们定义的概念,概括的信息性,即信息需求是多样的,形式化为一个未知的一组隐式的查询。然后,我们研究国家的最先进的信息量的措施,以应付这种泛化的能力。最近,我们表明,在这个新的框架,标准的词嵌入优于离散措施,只有在uni-gram,但bi-gram似乎是一个关键点的兴趣评估。最后,我们证明了CLEF-INEX推文语境化2012对数相似性度量提供了最佳结果。
2020-04-14 cs.CL cs.IR
TBIN: Modeling Long Textual Behavior Data for CTR Prediction
Meituan(美团)
针对文本行为建模中的长序列截断与兴趣压缩问题,本文提出TBIN,利用局部敏感哈希和移位分块自注意力动态激活用户多样兴趣,并在食品推荐平台的离线与在线实验中验证其CTR预测效果。
2023-08-09 cs.CL cs.IR cs.LG
MolSight: Molecular Property Prediction with Images
University of Central Florida(中央佛罗里达大学);Birla Institute of Technology and Science(比拉理工学院和科学学院)
MolSight首次系统研究基于视觉的分子属性预测,通过10种视觉架构和7种预训练策略,在10个下游任务中展示性能,提出化学引导课程提升效果,以更低的FLOPs实现优异结果。
2026-06-16 cs.CL cs.CV
SPOT: Text Source Prediction from Originality Score Thresholding
提出SPOT方法,基于原创性分数阈值预测文本来源,通过给定LLM检测其他LLM,实证证明其对现代LLM的架构、训练数据、评估数据、任务和压缩具有鲁棒性。
2024-05-30 cs.CL cs.LG
Graph-Based Learning for Stock Movement Prediction with Textual and Relational Data
Ecole Polytechnique(巴黎综合理工学院);Exoduspoint Capital Management France(法国Exoduspoint资本管理公司);ENSAE Paris(巴黎国立统计与经济管理学院)
由于市场的不确定性和从机器的角度理解自然语言的困难,从文本信息预测股票价格是一项具有挑战性的任务。以往的研究主要集中在基于单个新闻的情感提取上。然而,金融市场上的股票可能是高度相关的,关于一只股票的一个消息可以迅速影响其他股票的价格。考虑到这种影响,我们提出了一个新的股票走势预测框架:多图递归网络股票预测(MGRN)。该架构允许将来自金融新闻的文本情感和从其他金融数据中提取的多个关系信息相结合。通过对STOXX欧洲600指数股票的准确性测试和交易模拟,我们证明了我们的模型比其他基准更好的表现。
2021-12-15 cs.CL q-fin.ST
Knowledge Graph-Enabled Text-Based Automatic Personality Prediction
University of Tabriz(大不里士大学)
人们如何思考,感受和行为,主要是他们个性特征的表现。通过意识到我们正在处理或决定处理的个人的个性特征,我们可以胜任地改善关系,无论其类型如何。随着基于互联网的通信基础设施(社交网络、论坛等)的兴起,相当多的人类交流都在那里进行。在这种交流中,最突出的工具是书面和口头形式的语言,它巧妙地编码了个人的所有基本人格特征。基于文本的自动人格预测(APP)是基于生成/交换的文本内容自动预测个人的人格。本文提出了一种新的知识图谱启用的方法,以基于文本的APP,依赖于大五人格特质。为此,给定一个文本,通过将输入文本的概念与DBpedia知识库条目进行匹配,建立了一个知识图谱,它是一组相互关联的概念描述。然后,由于实现了更强大的表示,该图用DBpedia本体、NRC情感强度词典和MRC心理语言学数据库信息来丰富。然后,将知识图谱(现在是输入文本的知识替代物)嵌入以产生嵌入矩阵。最后,为了执行个性预测,将得到的嵌入矩阵独立地馈送到四个建议的深度学习模型,它们基于卷积神经网络(CNN)、简单递归神经网络(RNN)、长短期记忆(LSTM)和双向长短期记忆(BiLSTM)。结果表明,在所有建议的分类器的预测精度有相当大的改善。
2022-06-16 cs.AI cs.CL
UR-BERT: Scaling Text Encoders for Massively Multilingual TTS Through Universal Romanization and Speech Token Prediction
Dept. of Electronics and Electrical Engineering, Yonsei University(延世大学电子与电气工程系)
提出UR-BERT,一种基于罗马化转录的TTS编码器,通过统一书写系统为罗马化表示,结合语音标记预测目标,在495种语言上实现高效多语言TTS,优于现有基线并泛化到未见语言。
2026-06-12 cs.CL cs.SD
Textual Entailment for Effective Triple Validation in Object Prediction
针对基于提示的语言模型事实检索不稳定、易产生幻觉的问题,提出用文本蕴含验证完形填空提取的事实,可提升不同训练机制下的预测效果,还适用于验证知识图谱、文本段落等其他来源的候选事实。
2024-01-29 cs.AI cs.CL cs.DL
cs60075_team2 at SemEval-2021 Task 1 : Lexical Complexity Prediction using Transformer-based Language Models pre-trained on various text corpora
Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校)
本文描述了团队cs60075_team2在SemEval 2021任务1 -词汇复杂度预测中的表现。本文的主要贡献是对基于transformer的语言模型进行微调,这些语言模型在几个文本语料库上进行了预训练,其中一些是通用的(例如,维基百科,BooksCorpus),一些是语料库的CompLex数据集被提取,和其他的是从其他特定的领域,如金融,法律等,我们进行消融研究选择的Transformer模型,以及如何他们的个人复杂性得分汇总得到的复杂性得分。我们的方法在子任务1(单个词)中实现了$0.784$的最佳Pearson相关,并且在子任务2(多个词表达)中实现了$0.836$的最佳Pearson相关。
2021-06-04 cs.AI cs.CL
Joint prediction of truecasing and punctuation for conversational speech in low-resource scenarios
Johns Hopkins University(约翰斯·霍普金斯大学);VoiceLab(VoiceLab(波兰语音实验室))
大写和标点符号是理解书面文本和会话记录的重要线索。然而,许多ASR系统不产生标点和大小写格式的语音转录。我们建议使用一个多任务系统,可以利用套管和标点符号之间的关系,以提高其预测性能。而文本数据预测标点符号和truecasing似乎是丰富的,我们认为,书面文本资源是不够的会话模型的训练数据。我们通过比较标点符号和词的情况下的联合分布,并通过测试我们的模型跨域量化书面和会话文本域之间的不匹配。此外,我们表明,通过在书面文本域中训练模型,然后将迁移学习转移到对话中,我们可以用更少的数据实现合理的性能。
2021-09-13 cs.CL cs.LG
BERTChem-DDI : Improved Drug-Drug Interaction Prediction from text using Chemical Structure Information
Microsoft Research Lab(微软研究院)
从预训练语言模型获得的嵌入的传统生物医学版本最近在医学领域的关系抽取(RE)任务中显示了最先进的结果。在本文中,我们探讨如何将领域知识,可在药物的分子结构的形式,预测药物相互作用的文本语料库。我们提出了一种方法,BERTChem-DDI,有效地结合药物的丰富的化学结构与现成的特定领域的BioBERT嵌入为基础的RE架构获得的药物嵌入。在DDIExtraction 2013语料库上进行的实验清楚地表明,该策略将其他强基线架构提高了3.4%的宏F1分数。
2020-12-21 cs.AI cs.CL
Text-Based Automatic Personality Prediction Using KGrAt-Net; A Knowledge Graph Attention Network Classifier
University of Tabriz(大不里士大学)
如今,大量的人类通信发生在基于互联网的通信基础设施上,如社交网络、电子邮件、论坛、组织通信平台等。实际上,通过个人的书面或交换文本来自动预测或评估个人的个性将有利于改善他们的关系。为此,本文提出了一种基于知识图谱的注意力网络文本分类器KGrAt-Net。首次将知识图谱注意力网络应用于大五人格特征的自动人格预测。在进行一些预处理活动后,它首先试图通过构建其等价的知识图谱来获得输入文本中概念背后的知识的知识表示。知识图谱以机器可读的形式收集概念、实体和关系的互连描述。实际上,它提供了一个机器可读的概念和它们之间的语义关系的认知理解。然后,应用注意力机制,尝试关注图形中最相关的部分,来预测输入文本的个性特征。我们使用了Essays Dataset中的2,467篇文章。结果表明,KGrAt-Net大大提高了人格预测的准确率(平均高达70.26%)。此外,KGrAt-Net还使用知识图谱嵌入来丰富分类,这使得它在APP中的准确率更高(平均为72.41%)。
2023-01-05 cs.CL cs.LG
Phoneme-Level BERT for Enhanced Prosody of Text-to-Speech with Grapheme Predictions
Columbia University(哥伦比亚大学)
大规模预训练的语言模型已被证明有助于提高文本到语音(TTS)模型的自然度,使它们能够产生更自然的韵律模式。然而,这些模型通常是单词级或超音素级的,并且与音素联合训练,使得它们对于仅需要音素的下游TTS任务效率低下。在这项工作中,我们提出了一个音素级的BERT(PL-BERT)的借口任务,预测相应的字随着定期掩蔽音素预测。主观评价表明,我们的音素级BERT编码器已显着提高了平均意见分数(MOS)的额定自然度的合成语音相比,国家的最先进的(SOTA)的StyleTTS基线外的分布(OOD)的文本。
2023-01-20 cs.CL cs.SD eess.AS
Faithful and Robust Local Interpretability for Textual Predictions
Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Laboratoire Jean-Alexandre Dieudonné(让-亚历山大·迪厄多内实验室);Laboratoire d’Informatique, Signaux et Systèmes de Sophia Antipolis(索菲亚·安蒂波利斯信息、信号与系统实验室);Julius-Maximilians Universität(维尔茨堡大学);Institute of Computer Science(计算机科学研究所)
针对文本预测解释缺乏理论保证的问题,提出 FRED,通过最小影响词集、token 重要性评分和反事实示例实现忠实鲁棒的局部解释。
2024-04-09 cs.CL cs.LG stat.ML
Dependency Learning for Legal Judgment Prediction with a Unified Text-to-Text Transformer
State Key Laboratory for Novel Software Technology, Software Institute, Nanjing University(南京大学软件学院计算机软件新技术国家重点实验室);Amazon Alexa AI(亚马逊 Alexa AI)
法律判决预测是根据案件的实际情况,对违法条款、罪名、刑期等进行预测的一系列子任务。我们建议利用一个统一的文本到文本的Transformer的LJP,其中子任务之间的依赖关系可以自然地建立在自回归解码器。与以前的工作相比,它有三个优点:(1)它适合于掩蔽语言模型的预训练模式,从而可以受益于每个子任务的语义提示,而不是将它们视为原子标签,(2)它利用一个统一的架构,使所有子任务之间的完整参数共享,(3)它可以合并分类和生成子任务。我们表明,这个统一的Transformer,虽然预训练的一般领域的文本,优于专门为法律领域定制的预训练模型。通过大量的实验,我们发现捕获依赖关系的最佳顺序与人类的直觉不同,人类最合理的逻辑顺序可能是模型的次优顺序。我们还包括两个辅助任务:法院视图生成和文章内容预测,表明它们不仅可以提高预测精度,而且即使在错误发生时也可以为模型输出提供可解释的解释。在最佳配置下,我们的模型比以前的SOTA和统一Transformer的单任务版本性能更好。
2021-12-13 cs.AI cs.CL cs.LG
NENET: An Edge Learnable Network for Link Prediction in Scene Text
Indian Institute of Technology, Bombay(印度理工学院孟买分校)
基于深度神经网络的场景中的文本检测已经显示出有希望的结果。代替使用单词限界框回归,最近的最先进的方法已经开始关注字符限界框和像素级预测。这就需要连接相邻的字符,我们在本文中提出使用一种新的图神经网络(GNN)架构,使我们能够学习节点和边缘功能,而不是只有节点功能下的典型GNN。使用GNN进行链接预测的主要优点在于它能够连接空间上分离并具有任意方向的字符。我们在著名的SynthText数据集上展示了我们的概念,与最先进的方法相比,取得了最好的结果。
2020-05-25 cs.CL cs.CV cs.LG
Text2Token: Unsupervised Text Representation Learning with Token Target Prediction
CCSE, School of Computer Science and Engineering, Beihang University, Beijing, China(计算机科学与工程学院,北京航空航天大学,北京,中国);Zhongguancun Laboratory, Beijing, China(中关村实验室,北京,中国);Shen Yuan Honors College, Beihang University, Beijing, China(神元荣誉学院,北京航空航天大学,北京,中国)
本文提出无监督文本表示学习生成框架 Text2Token,通过预测目标词元分布作为监督信号,在 MTEB v2 基准上取得了与无监督对比学习 LLM2Vec 相媲美的性能。
2025-10-11 cs.CL cs.IR
TextHacker: Learning based Hybrid Local Search Algorithm for Text Hard-label Adversarial Attack
Huazhong University of Science and Technology(华中科技大学);Huawei(华为);Harbin Institute of Technology(哈尔滨工业大学)
现有的文本对抗攻击通常利用梯度或预测置信度来生成对抗样本,这使得它很难被部署到现实世界的应用中。为此,我们考虑一种很少研究但更严格的设置,即硬标签攻击,其中攻击者只能访问预测标签。特别地,我们发现我们可以通过对抗性示例上的单词替换引起的预测标签的变化来学习不同单词的重要性。基于这一观察,我们提出了一种新的对抗攻击,称为文本硬标签攻击者(TextHacker)。TextHacker随机干扰大量的单词来制作一个对抗性的例子。然后,TextHacker采用了一种混合局部搜索算法,从攻击历史中估计单词的重要性,以最大限度地减少对抗干扰。对文本分类和文本蕴涵的广泛评估表明,TextHacker在攻击性能和对手质量方面明显优于现有的硬标签攻击。
2022-10-24 cs.CL cs.LG
Automating Political Bias Prediction
每天,媒体都会产生大量的文本。对媒体报道的公正看法需要了解媒体内容的政治偏见。在这种情况下,估计文本政治偏见的辅助技术可能会有所帮助。本研究提出了一种简单的统计学习方法来预测文本中的政治偏见。从政党的演讲和宣言中提取的标准文本特征被用来预测政党从属关系和政治观点方面的政治偏见。结果表明,政治偏见可以预测上述机会的准确性。该模型的错误可以解释为政治行为者的政策变化。本文提出了两种方法使结果更具可解释性:a)区别性文本特征与政党的政治取向有关; b)文本的情感特征与政治权力的衡量标准有关。政治权力似乎与文本的积极情绪密切相关。为了突出一些潜在的用例,一个Web应用程序展示了该模型如何用于政治偏见不明确的文本,如新闻文章。
2016-08-07 cs.CL cs.SI
Text Injection for Capitalization and Turn-Taking Prediction in Speech Models
Google(谷歌)
本文将 JEIT 文本注入用于 ASR 模型的大小写转换与话轮转换预测,证明其可改善长尾大小写性能并提高话轮检测召回率。
2023-08-14 cs.CL cs.LG cs.SD
FastPitch: Parallel Text-to-speech with Pitch Prediction
NVIDIA Corporation(英伟达公司)
我们提出了FastPitch,一个基于FastSpeech的完全并行的文本转语音模型,条件是基频轮廓。该模型在推理过程中预测音高轮廓。通过改变这些预测,生成的语音可以更有表现力,更好地匹配话语的语义,最终更吸引听众。使用FastPitch均匀地增加或减少音高会产生类似于语音的自愿调制的语音。对频率轮廓的调节提高了合成语音的整体质量,使其与最先进的技术相媲美。它不会引入开销,FastPitch保留了有利的全并行Transformer架构,具有超过900倍的实时因子,用于典型话语的梅尔频谱图合成。
2021-02-16 cs.CL cs.LG cs.SD
Clinical Text Prediction with Numerically Grounded Conditional Language Models
University College London(伦敦大学学院);William Harvey Research Institute(威廉·哈维研究所);Queen Mary University of London(伦敦玛丽女王大学)
辅助文本输入技术可以节省时间和精力,并提高文本质量。在本文中,我们研究如何接地和条件扩展标准神经语言模型可以带来改进的任务,单词预测和完成。这些扩展将结构化的知识库和文本中的数值纳入用于预测下一个单词的上下文。我们对临床数据集的自动评估显示,扩展模型的性能显着优于标准模型。我们最好的系统同时使用调节和接地,因为它们具有正交优势。对于包含5个建议的单词预测,它将召回率从25.03%提高到71.28%,对于单词补全,它将节省的时间从34.35%提高到44.81%,其中该数据集的理论界限为58.78%。我们还进行了定性研究,以了解具有较低困惑度的模型如何偶尔在任务中表现得更好。我们发现,在测试时,数字对文档级别的影响大于对单个单词概率的影响。
2016-10-20 cs.CL cs.HC cs.NE
Large Language Models in the Task of Automatic Validation of Text Classifier Predictions
针对文本分类模型验证需人工标注样本、成本高且难持续的问题,提出用大型语言模型(LLMs)替代人类标注者测试分类器预测正确性的方法,以保障模型质量并支持高质量增量学习。
2025-08-25 cs.AI cs.CL cs.LG
Image-Text Relation Prediction for Multilingual Tweets
Artificial Intelligence Research Center(人工智能研究中心);National Institute of Advanced Industrial Science and Technology(国家先进工业科学与技术研究院)
本文研究多语言视觉-语言模型在图像-文本关系预测任务上的表现,构建了拉脱维亚语推文及英文翻译的平衡基准数据集,发现新模型能力提升但仍有改进空间。
2025-05-08 cs.AI cs.CL cs.CV
ISeeU2: Visually Interpretable ICU mortality prediction using deep learning and free-text medical notes
Auckland University of Technology(奥克兰理工大学);Universidad Tecnológica de Bolívar(玻利瓦尔理工大学)
准确的死亡率预测使重症监护室(ICU)能够充分衡量临床实践,并识别出出现意外结果的患者。传统上,简单的统计模型已被用于评估患者的死亡风险,很多时候,次优性能。另一方面,深度学习有望通过利用医疗数据来辅助诊断和预测(包括死亡率预测),从而对临床实践产生积极影响。然而,由于强大的深度学习模型在生成预测时是否具有可靠的医学知识支持的相关性的问题仍然存在,因此需要额外的可解释性工具来促进信任并鼓励临床医生使用AI。在这项工作中,我们展示了一个在MIMIC-III上训练的深度学习模型,该模型使用原始护理笔记预测死亡率,以及对单词重要性的视觉解释。我们的模型达到了0.8629(+/-0.0058)的ROC,优于传统的SAPS-II分数,并与类似的深度学习方法相比,提供了增强的可解释性。
2020-05-19 cs.CL cs.LG stat.ML
MAGVLT: Masked Generative Vision-and-Language Transformer
Korea University(高丽大学);Kakao Brain
虽然已经利用大规模成对数据集积极开发了多模态图像-文本数据的生成建模,但是通过单个模型而不是以另一模态为条件的一个固定模态的生成来生成图像和文本数据的尝试有限。在本文中,我们探讨了一个统一的生成视觉和语言(VL)模型,可以产生图像和文本序列。特别地,我们提出了一种基于非自回归掩模预测的生成VL Transformer,称为MAGVLT,并将其与自回归生成VL Transformer(ARGVLT)进行了比较。与ARGVLT相比,所提出的MAGVLT能够实现双向上下文编码,通过迭代细化中的并行令牌预测进行快速解码,以及扩展的编辑功能,例如图像和文本填充。为了从头开始使用图像-文本对严格训练我们的MAGVLT,我们结合了图像到文本,文本到图像以及联合图像和文本掩码预测任务。此外,我们设计了两个额外的任务的基础上的步骤展开掩模预测和选择性预测的混合物的两个图像-文本对。各种下游生成任务的VL基准测试的实验结果表明,我们的MAGVLT优于ARGVLT的大幅利润,即使有显着的推理加速。特别是,MAGVLT实现了竞争力的结果zero-shot图像到文本和文本到图像生成任务从MS-COCO的一个中等大小的模型(小于500 M参数),即使没有使用单峰数据和网络。
2023-03-21 cs.CL cs.CV cs.LG
Explainable Prediction of Medical Codes from Clinical Text
Georgia Institute of Technology(佐治亚理工学院)
临床笔记是临床医生为每次患者就诊创建的文本文档。它们通常伴随着医疗代码,其中描述了诊断和治疗。注释这些代码是劳动密集型的并且容易出错;此外,代码和文本之间的连接没有注释,从而模糊了特定诊断和治疗背后的原因和细节。我们提出了一个注意力卷积网络,它可以从临床文本中预测医疗代码。我们的方法使用卷积神经网络聚合文档中的信息,并使用注意力机制为数千个可能的代码中的每一个选择最相关的片段。该方法是准确的,实现了0.71的精确度@8和0.54的Micro-F1,这两者都优于现有技术。此外,通过医生的可解释性评估,我们表明,注意力机制为每个代码分配识别有意义的解释
2018-04-16 cs.CL cs.LG stat.ML
Fast Text-Only Domain Adaptation of RNN-Transducer Prediction Network
Speechly;University of Helsinki(赫尔辛基大学)
众所周知,端到端语音识别系统对新任务的适应具有挑战性。已经提出了许多解决方案,其应用具有各种融合方法的外部语言模型,可能具有两遍解码的组合。此外,TTS系统已被用于生成端到端模型的适应数据。在本文中,我们证明了RNN转换器模型可以有效地适应新的领域,只使用少量的文本数据。通过利用模型的固有结构,其中预测网络被解释为语言模型,我们可以对模型应用快速自适应。适配该模型避免了对复杂的解码时间融合和外部语言模型的需要。使用适当的正则化,预测网络可以适应新的领域,同时仍然保持良好的泛化能力。我们展示了多个ASR评估任务,这种方法如何在目标任务WER中提供10-45%的相对收益。我们还分享了RNN转换器预测网络如何作为语言模型执行的见解。
2021-06-09 cs.CL cs.SD eess.AS
Towards unstructured mortality prediction with free-text clinical notes
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校)
医疗保健数据继续蓬勃发展,但相对较小的一部分,主要是结构化的,正在有效地用于预测临床结果。非结构化临床笔记中丰富的主观信息可能有助于提高区分度,但在死亡率预测中往往未得到充分利用。这项工作试图评估的增益性能时,已被最低限度地预处理的多个音符被用作预测的输入。由卷积层和循环层组成的分层架构用于同时对在单个住院期间编译的不同笔记进行建模。该方法在MIMIC-III数据集上预测住院死亡率。与利用结构化数据的方法相比,尽管需要更少的清理和预处理,但它实现了更高的指标。这证明了非结构化数据在增强死亡率预测方面的潜力,并表明需要将更多的原始非结构化数据纳入当前的临床预测方法。
2019-11-19 cs.AI cs.CL cs.LG