OYXOY: A Modern NLP Test Suite for Modern Greek
Aalto University(阿尔托大学);University of Crete(克里特大学)
该研究推出面向现代希腊语的OYXOY NLP测试套件,含四项专家验证的任务,提出多标签推理数据集与低成本低资源语料构建方法,实验验证了任务难度与发展必要性。
2024-01-26 cs.CL
GASC: Genre-Aware Semantic Change for Ancient Greek
Amazon(亚马逊);University of Warwick(华威大学);University of Helsinki(赫尔辛基大学);University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所);University of Cambridge(剑桥大学)
单词含义会随着时间的推移而变化,具体取决于语言和语言外因素。将一个词的正确含义与其历史背景相关联是历时研究的核心挑战,并且与一系列NLP任务相关,包括历史文本中的信息检索和语义搜索。贝叶斯模型的语义变化已经成为一个强大的工具,以解决这一挑战,提供明确的和可解释的表示语义变化现象。然而,虽然语料库通常带有丰富的元数据,现有的模型是有限的,他们无法利用上下文信息(如文本体裁)超出文档的时间戳。这一点在古代语言中尤为重要,因为缺乏数据和漫长的历时跨度使得很难明确区分一词多义(一个词有几个意义)和语义变化(获得、失去或改变意义的过程),而目前的系统在这些语言中表现不佳。我们开发了GASC,一个动态语义变化模型,利用关于文本体裁的分类元数据来促进推理,并揭示古希腊语料库中的意义演变。在一个新的评估框架中,与最先进的模型相比,我们的模型实现了更好的预测性能。
2019-06-02 cs.CL cs.LG stat.ML
The Large Language Model GreekLegalRoBERTa
KTH Royal Institute of Technology(瑞典皇家理工学院);National and Kapodistrian University of Athens(雅典国立卡波迪斯特里亚大学)
本文开发了四个版本的 GreekLegalRoBERTa 大型语言模型,在希腊语法律文本的命名实体识别和多类法律主题分类任务上超越了现有模型,为低资源语言的领域特定 NLP 研究做出贡献。
2024-10-10 cs.CL cs.LG
A Systematic Survey of Natural Language Processing for the Greek Language
Athens University of Economics and Business(雅典经济与商业大学);Athena Research Center(雅典娜研究中心);Stockholm University(斯德哥尔摩大学)
本研究提出一个可推广的系统性单语NLP综述框架,应用于希腊语(2012-2023),通过结构化搜索、任务与资源分类法分析现状与资源空白,并提供公开更新的常青资源,展示了对低资源语言的适用性。
2025-06-18 cs.AI cs.CL
Evaluation of Greek Word Embeddings
Athens University of Economics and Business(雅典经济与商业大学)
由于词嵌入是许多NLP任务中最受欢迎的输入,因此评估其质量至关重要。大多数的研究工作都集中在英语词嵌入。本文讨论的问题,构建和评估这种模型的希腊语言。我们创建了一个新的词类比语料库,考虑到原来的英语Word2vec词类比语料库和希腊语的一些特定的语言方面,以及。此外,我们还创建了一个希腊语版本的WordSim353语料库,用于单词相似性的基本评估。我们测试了七个词向量模型,我们的评估表明,我们能够创建有意义的表示。最后,我们发现希腊语的形态复杂性和一词多义会影响所得到的词嵌入的质量。
2020-04-04 cs.CL
PENELOPIE: Enabling Open Information Extraction for the Greek Language through Machine Translation
Technical University of Crete(克里特理工大学);Hellenic Army Academy(希腊陆军学院)
在本文中,我们介绍了我们提交的EACL 2021 SRW;一种旨在弥合开放信息抽取背景下高资源和低资源语言之间差距的方法,并在希腊语中展示。本文的目标是双重的:首先,我们建立神经机器翻译(NMT)模型的基础上Transformer架构的英语到希腊语和希腊语到英语。其次,我们利用这些NMT模型来生成希腊语文本的英语翻译,作为我们NLP管道的输入,我们应用了一系列预处理和三重提取任务。最后,我们将提取的三元组反向翻译为希腊语。我们进行了评估,我们的NMT和OIE的方法在基准数据集上,并证明我们的方法优于目前最先进的希腊自然语言。
2021-03-28 cs.CL
Forging GEMs: Advancing Greek NLP through Quality-Based Corpus Curation
Novelcore;Department of Statistics & Insurance University of Piraeus(统计与保险系 帕里埃斯大学)
针对希腊语数据稀缺和架构局限,提出GEMs模型家族,通过质量策展语料库训练,在三个基准上显著提升准确率,最高达3.6%。
2025-10-24 cs.AI cs.CL
Open or Closed LLM for Lesser-Resourced Languages? Lessons from Greek
AUEB(雅典经济与商业大学);Archimedes/Athena RC(阿基米德/雅典研究中心);University of Ioannina(约阿尼纳大学);ILSP/Athena RC(语言处理研究所/雅典研究中心)
本研究针对现代希腊语,评估了开源与闭源大语言模型在七个NLP任务上的性能,创新性地将作者归属用于检测预训练数据使用,并展示了STE方法在法律文本聚类中的优势,为资源较少语言的NLP发展提供了路线图。
2025-01-22 cs.AI cs.CL cs.LG
Language-Routed RAG and Direct Option Scoring for Multilingual Financial QA: DS@GT at FinMMEval
Georgia Institute of Technology(佐治亚理工学院)
该研究针对多语言金融问答基准FinMMEval 2026任务1,构建基于LangGraph的检索增强管道,用RADS评分,通过加权倒数排名融合低资源语言索引,采用语言路由选择模型,揭示语言感知检索等对多语言金融推理的重要性。
2026-07-28 cs.AI cs.CL cs.IR
Multi-granular Legal Topic Classification on Greek Legislation
National and Kapodistrian University of Athens(雅典国立与卡波迪斯特里亚大学);University of Copenhagen(哥本哈根大学)
在这项工作中,我们研究的任务,分类法律文本写在希腊语。我们介绍并公开提供一个基于希腊立法的新数据集,包括超过47000个官方分类的希腊立法资源。我们对这个数据集进行了实验,并评估了一系列先进的方法和分类器,从传统的机器学习和基于RNN的方法到最先进的基于Transformer的方法。我们表明,经常性的架构与特定领域的词嵌入提供了更好的整体性能,同时具有竞争力,甚至基于变换的模型。最后,我们展示了最先进的基于多语言和单语言转换器的模型在分类器排名中名列前茅,这让我们质疑将单语言迁移学习模型作为经验法则进行训练的必要性。据我们所知,这是第一次在一个开放的研究项目中考虑希腊法律文本分类的任务,而希腊语通常是一种NLP资源非常有限的语言。
2021-09-30 cs.CL
Big Bird: Transformers for Longer Sequences
Google Research(谷歌研究院)
基于transformers的模型,如BERT,是NLP最成功的深度学习模型之一。不幸的是,它们的核心限制之一是由于它们的完全注意力机制而对序列长度的二次依赖性(主要是在记忆方面)。为了解决这个问题,我们提出了BigBird,一个稀疏的注意力机制,将这种二次依赖性降低到线性。我们表明,BigBird是一个通用的序列函数的逼近器,是图灵完备的,从而保持这些属性的二次,充分注意力模型。在此过程中,我们的理论分析揭示了拥有$O(1)$全局令牌(如CLS)的一些好处,这些令牌作为稀疏注意力机制的一部分关注整个序列。所提出的稀疏注意力可以处理长度高达8倍的序列,这是以前使用类似硬件所能做到的。由于能够处理更长的上下文,BigBird大大提高了各种NLP任务的性能,例如问答和摘要。我们还提出了新的应用基因组学数据。
2021-01-08 cs.CL cs.LG stat.ML
Low-resource Information Extraction with the European Clinical Case Corpus
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);University of Padua(帕多瓦大学);GOI institute(GOI研究所);Basque Summer University (UEU)(巴斯克夏季大学(UEU))
本文提出E3C-3.0多语言医学数据集,通过半自动标注投影和人工修订构建,实验证明微调可提升LLM性能,且跨语言迁移学习有效缓解低资源问题。
2025-03-26 cs.CL
Exploring Large Language Models for Classical Philology
Heidelberg University(海德堡大学)
本研究创建了四个在架构和语言维度上变化的古希腊语语言模型,通过形态和句法任务评估,证明了其相比SoTA的显著改进,为古典语言模型设计提供了系统分析和社区资源。
2023-05-23 cs.CL
Proverbs or Pythian Oracles? Sentiments and Emotions in Greek Sayings
Archimedes/Athena Research Center(阿基米德/雅典娜研究中心);Athens University of Economics and Business(雅典经济与商业大学)
本文通过多标签标注框架分析希腊箴言的情感与情绪分布,揭示其多维特性,并展示LLMs在理解地方性箴言景观中的应用。
2026-01-08 cs.CL
GreekT5: A Series of Greek Sequence-to-Sequence Models for News Summarization
University of Patras(帕特雷大学)
本文提出一系列希腊语新闻摘要序列到序列模型GreekT5,在相同数据集上评估,多数模型显著优于最先进的GreekBART,并公开评估代码以促进可重复研究。
2023-11-13 cs.AI cs.CL
Ancient Greek to Modern Greek Machine Translation: A Novel Benchmark and Fine-Tuning Experiments on LLMs and NMT Models
National and Kapodistrian University of Athens, Department of Informatics and Telecommunications(雅典国家和卡普迪斯特里亚大学信息与电信系);Institute for Language and Speech Processing, Athena RC(语言与语音处理研究所,雅典RC)
本文提出了一种新的基准测试,并对LLM和NMT模型进行了微调实验,以解决古希腊语到现代希腊语的低资源机器翻译问题,展示了微调在提升翻译性能上的显著效果。
2026-05-18 cs.CL
Characterizing the Efficiency vs. Accuracy Trade-off for Long-Context NLP Models
Duke University(杜克大学)
随着自然语言处理(NLP)的许多实际应用都包含长文本,NLP基准测试已经出现,这些基准测试可以衡量可以处理更长输入序列的模型的准确性。然而,这些基准测试没有考虑输入大小或模型大小变化时精度、速度和功耗之间的权衡。在这项工作中,我们对两个广泛使用的长序列模型- Longformer-Encoder-Decoder(LED)和Big Bird -在对SCROLLS基准测试的四个数据集进行微调和推理期间,对这种精度与效率的权衡进行了系统的研究。为了研究这种权衡在超参数设置中的差异,我们在固定资源预算下比较了四种序列长度(1024,2048,3072,4096)和两种模型大小(基础和大)的模型。我们发现LED始终比Big Bird以更低的能源成本实现更高的精度。对于总结,我们发现,增加模型大小比增加序列长度更节能,以获得更高的准确性。然而,这是以推理速度大幅下降为代价的。对于问答,我们发现较小的模型更有效,更准确,因为在固定的资源预算下可能有更大的训练批量。
2022-04-15 cs.CL cs.LG
Kleister: A novel task for Information Extraction involving Long Documents with Complex Layout
Adam Mickiewicz University(亚当·密茨凯维奇大学);Nicolaus Copernicus University(尼古拉·哥白尼大学);Warsaw University of Technology(华沙理工大学);Samsung R&D Institute Poland(三星波兰研发研究所)
最先进的自然语言处理(NLP)解决方案能够捕获广泛的上下文,例如短文档的文档级上下文或文档级上下文。但是,当涉及到更长的、真实世界的文档时,这些解决方案仍然在努力,这些文档的信息编码在文档的空间结构中,例如表格、表单、页眉、开头或页脚等页面元素;复杂的页面布局或多个页面的存在。为了鼓励更深入和更复杂的信息抽取(IE)的进展,我们引入了一个新的任务(名为Kleister)与两个新的数据集。利用文本和结构布局功能,NLP系统必须在长的正式文档中找到关于各种类型实体的最重要的信息。我们提出管道方法作为一个纯文本的基线与不同的命名实体识别架构(Flair,BERT,RoBERTa)。此外,我们检查了最流行的PDF文本提取处理工具(pdf 2djvu,Tesseract和Texextract),以分析IE系统在这些工具引入错误时的行为。
2020-03-06 cs.CL
LLMs Got Rhythm? Hybrid Phonological Filtering for Greek Poetry Rhyme Detection and Generation
University of Crete(克里特大学)
本文提出混合语音学算法与LLMs结合,解决希腊诗歌押韵检测与生成问题,通过验证循环提升性能至73.1%。
2026-01-23 cs.CL
Greek2MathTex: A Greek Speech-to-Text Framework for LaTeX Equations Generation
NCSR Demokritos(希腊德谟克利特国家科学研究中心)
本文提出Greek2MathTex,一个针对希腊语的语音转LaTeX方程系统,结合ASR和NLP技术,实现自然语言口述数学表达式并自动转换为LaTeX格式,已开源。
2024-12-11 cs.AI cs.CL eess.AS
Svarna: An Open Corpus Workbench for Modern Greek
Department of Philosophy, Linguistics and Theory of Science (FLoV), University of Gothenburg(哥德堡大学哲学、语言学与理论科学系)
介绍一个免费开源的现代希腊语网络语料库工作台Svarna,整合五个数据库共5.07亿词,提供索引、频率分析、搭配提取等功能,填补希腊语言技术空白。
2026-07-10 cs.CL
LittleBird: Efficient Faster & Longer Transformer for Question Answering
Kakao Enterprise Corp.(Kakao企业公司)
LittleBird 基于 BigBird 改进,结合 ALiBi 位置表示和打包/解包注意力,在保持准确率的同时提升长文本处理速度并降低内存占用,且可复用短输入预训练模型,在 KorQuAD2.0 等问答任务上表现优异。
2023-04-12 cs.AI cs.CL
slang.gr as a Large-Scale Crowdsourced Resource for Non-Standard Greek
ICS-FORTH(希腊研究与技术基金会计算机科学研究所);University of Crete(克里特大学)
研究针对希腊非标准语言众包词汇表slang.gr展开,结合词汇、标签和交互数据,通过映射标签到结构化分类法进行分析,发现俚语特点,引入基于社区的置信度分数,为非标准希腊语研究及相关领域提供了计算资源和基础。
2026-07-24 cs.AI cs.CL
Multilingual BERT has an accent: Evaluating English influences on fluency in multilingual models
Stanford University(斯坦福大学)
本文发现多语言BERT存在语法结构偏差,即英语等高资源语言的语法会渗入低资源语言,并通过西班牙语代词省略和希腊语主谓顺序实验证明其偏向英语式结构,呼吁更关注语言学意识的流利度评估。
2023-04-13 cs.CL
AxomiyaBERTa: A Phonologically-aware Transformer Model for Assamese
Colorado State University(科罗拉多州立大学)
本文提出面向低资源阿萨姆语的 AxomiyaBERTa 模型,仅通过 MLM 任务训练,结合嵌入分散器与语音信号,在多项任务上取得 SOTA。
2023-05-23 cs.CL
Happiness is Sharing a Vocabulary: A Study of Transliteration Methods
University of British Columbia, Canada(不列颠哥伦比亚大学,加拿大);Sungkyunkwan University, Republic of Korea(成均馆大学,韩国);Seoul National University, Republic of Korea(首尔国立大学,韩国);Electronics and Telecommunications Research Institute, Republic of Korea(电子通信研究院,韩国);Carnegie Mellon University, USA(卡内基梅隆大学,美国)
本文研究了多语言模型中共享脚本、重叠词库和共享语音对性能的影响,发现罗马化在12种评估设置中显著优于其他输入类型。
2026-03-23 cs.AI cs.CL
Benchmarking GPT-5 for biomedical natural language processing
University of Minnesota(明尼苏达大学)
本研究通过统一基准评估GPT-5在生物医学NLP任务中的性能,发现其优于GPT-4o,尤其在推理密集型问答上,且成本更低,并提出了分层提示策略以平衡精度与效率。
2025-10-23 cs.AI cs.CL
Teaching NLP with Bracelets and Restaurant Menus: An Interactive Workshop for Italian Students
University of Trento(特伦托大学);Aston University(阿斯顿大学);University of Bologna(博洛尼亚大学);University of Pisa(比萨大学);University of Trieste(的里雅斯特大学);University of Groningen(格罗宁根大学)
针对意大利高中缺乏计算语言学教育的问题,开发了面向13至18岁学生的互动工作坊,通过游戏化方式教授NLP和计算语言学核心概念,以提升学生的认知与长期兴趣。
2021-05-14 cs.CL
Bringing replication and reproduction together with generalisability in NLP: Three reproduction studies for Target Dependent Sentiment Analysis
Lancaster University(兰卡斯特大学)
缺乏可重复性和可推广性是自然语言处理持续科学发展的两个重大威胁。语言模型和学习方法是如此复杂,以至于科学会议论文不再包含足够的空间用于复制或再现所需的技术深度。以目标依赖情感分析为例,我们展示了该领域最近的工作如何没有一致地发布代码,或描述足够详细的学习方法的设置,并且在训练,测试或验证数据中缺乏可比性和通用性。为了调查概括性,并使国家的最先进的比较评价,我们进行了第一次再现研究的三组互补的方法,并进行了第一次大规模的质量评估六个不同的英语数据集。根据我们的经验,我们建议未来的复制或再现实验应始终考虑各种数据集,同时记录和发布其方法和已发布的代码,以最大限度地减少可重复性和可推广性的障碍。我们已经在GitHub上发布了我们的代码和一个模型动物园,以帮助理解和完整的文档,我们建议其他人通过匿名的GitHub帐户在提交论文时也这样做。
2018-08-06 cs.CL
HiPool: Modeling Long Documents Using Graph Neural Networks
University of Tokyo(东京大学);Yale University(耶鲁大学)
本文提出HiPool,一种基于图神经网络的长文档建模方法,通过分块和新型注意力机制建模句内及跨句相关性,并在新基准上超越层次序列模型,F1提升2.6%。
2023-05-15 cs.CL
The NLP Cookbook: Modern Recipes for Transformer based Deep Learning Architectures
University of Bridgeport(桥港大学)
近年来,自然语言处理(NLP)模型在语言和语义任务中取得了惊人的成功,如文本分类、机器翻译、认知对话系统、通过自然语言理解(NLU)的信息检索和自然语言生成(NLG)。这一壮举主要归功于开创性的Transformer架构,导致了BERT,GPT(I,II,III)等设计,虽然这些大尺寸的模型已经取得了前所未有的性能,他们在高计算成本。因此,最近的一些NLP架构已经利用了迁移学习、修剪、量化和知识蒸馏的概念来实现适度的模型大小,同时保持与其前辈几乎相似的性能。此外,为了从知识提取的角度减轻由语言模型引起的数据大小挑战,已经构建了知识检索器以更高的效率和准确性从大型数据库语料库中提取显式数据文档。最近的研究也集中在通过对较长的输入序列提供有效的注意力来进行高级推理。在本文中,我们总结并研究了当前最先进的(SOTA)NLP模型,这些模型已用于众多NLP任务,以获得最佳性能和效率。我们提供了对不同架构的详细理解和功能,NLP设计的分类,比较评估以及NLP的未来方向。
2021-04-24 cs.CL cs.LG
Unveiling factors influencing judgment variation in Sentiment Analysis with Natural Language Processing and Statistics
Universidade da Coruña(拉科鲁尼亚大学);University of Augsburg(奥格斯堡大学)
本研究以西班牙语TripAdvisor评论为对象,利用单词标题和统计检验分析词性、情感词与中性词对众包极性判断差异的影响,发现形容词和情感词可降低差异、中性词提高差异,但该效应在长标题中未必复现。
2024-05-20 cs.CL
Large-Scale News Classification using BERT Language Model: Spark NLP Approach
Brawijaya University(布拉维贾亚大学)
在NLP之上的大数据分析的兴起增加了大规模文本处理的计算负担。NLP面临的问题是非常高维的文本,因此需要大量的计算资源。MapReduce允许大型计算的并行化,并且可以提高文本处理的效率。本研究旨在研究基于深度学习方法的大数据处理对自然语言处理任务的影响。我们使用预先训练好的模型对BERT进行微调,对新闻主题的大文本进行分类。在本研究中使用了具有不同数量参数的五个预训练模型。为了衡量这种方法的效率,我们将BERT的性能与Spark NLP的流水线进行了比较。结果表明,与使用Spark NLP的BERT相比,使用Spark NLP的BERT具有更高的精度。使用BERT的所有模型的平均精度和训练时间为0.9187和35分钟,而使用Spark NLP管道的BERT为0.8444和9分钟。模型越大,需要的计算资源越多,完成任务的时间也越长。然而,与没有Spark NLP的BERT相比,使用Spark NLP的BERT的准确率平均仅下降了5.7%,而训练时间则显著减少了62.9%。
2021-07-15 cs.CC cs.CL cs.LG
From Lengthy to Lucid: A Systematic Literature Review on NLP Techniques for Taming Long Sentences
Aristotle University of Thessaloniki(亚里士多德大学);Medoid AI;Pfizer Center for Digital Innovation(辉瑞数字创新中心)
本文系统综述了NLP中处理长句子的两种主要技术:句子压缩和分割,并探讨了当前方法的挑战与未来研究方向。
2026-01-31 cs.CL
LegaLMFiT: Efficient Short Legal Text Classification with LSTM Language Model Pre-Training
Jus Mundi
基于transformer的大型语言模型,如BERT,已经在许多NLP任务上带来了广泛的性能提升。这些模型的特定领域变体在各种专业任务上表现出出色的性能。在法律NLP中,基于BERT的模型在多个任务上产生了新的最先进的结果。对这些模式的探索表明了捕捉法律语言及其词汇的特殊性的重要性。然而,这种方法的计算成本高,导致更高的生态影响和更低的可访问性。我们的研究结果,重点是英语语言的法律文本,表明轻量级的LSTM为基础的语言模型能够捕捉足够的信息,从一个小的法律文本预训练语料库,并取得了良好的性能,对短的法律文本分类任务。与基于BERT的模型相比,这是通过显着减少的计算开销来实现的。然而,我们的方法在更复杂的任务上也显示出性能下降,即对较长文档的多标签分类,突出了这种轻量级方法的局限性。
2021-09-15 cs.CL
The Tokenizer Tax Across 25 European Languages: Domain Invariance, Cross-Lingual Few-Shot Effects, and the Ukrainian Penalty
LEX AI Platform(LEX AI平台);legal.org.ua;Kyiv, Ukraine(基辅,乌克兰)
研究测量了10个基础模型在25种欧洲语言上的tokenizer生育率,揭示了从英语到其他语言的成本差异,并发现乌克兰语因预训练数据不足而支付额外成本。
2026-05-23 cs.CL
Towards mapping the contemporary art world with ArtLM: an art-specific NLP model
Ecole Polytechnique(巴黎综合理工学院);Docent Art;Goldsmiths CCA(金史密斯当代艺术学院)
随着艺术世界中数据量的增加,发现适合收藏家口味的艺术家和艺术品成为一项挑战。在当代艺术中,使用视觉信息已经不够了,因为艺术家的背景信息已经变得同样重要。在这项工作中,我们提出了一个通用的自然语言处理框架(称为ArtLM),以发现当代艺术家之间的联系,基于他们的传记。在这种方法中,我们首先继续用大量未标记的艺术相关数据对现有的通用英语语言模型进行预训练。然后,我们用艺术行业的专业团队手动注释的传记对数据集微调这个新的预训练模型。通过大量的实验,我们证明了我们的ArtLM达到了85.6%的准确率和84.0%的F1分数,优于其他基线模型。我们还提供了从ArtLM的输出建立的艺术家网络的可视化和定性分析。
2022-12-22 cs.CL cs.LG
CamemBERT 2.0: A Smarter French Language Model Aged to Perfection
Inria(法国国家信息与自动化研究所)
本文提出两个更新的法语语言模型 CamemBERTav2 和 CamemBERTv2,通过采用更大更新的数据集和新分词器解决时间概念漂移问题,在多项NLP任务上大幅超越前代模型。
2024-11-13 cs.CL
TAPIR: Learning Adaptive Revision for Incremental Natural Language Understanding with a Two-Pass Model
University of Potsdam(波茨坦大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
针对增量处理中RNN单调无法修正与Transformer重复计算成本高的问题,提出两阶段自适应修正模型TAPIR,通过增量监督信号学习修正策略,在序列标注任务中实现了更优的增量性能、更快推理速度且几乎不损失完整序列性能。
2023-05-18 cs.CL
What is Wrong with Language Models that Can Not Tell a Story?
CEMAPRE;University of Lisbon(里斯本大学)
该研究指出叙事理解与长文本趣味生成是NLP及AI发展的关键瓶颈,且当前缺乏支撑叙事处理研究的数据集、评估方法与可操作概念。
2022-11-10 cs.AI cs.CL
Toucan: Token-Aware Character Level Language Modeling
Johns Hopkins University(约翰霍普金斯大学)
针对字符级语言模型效率低的问题,提出Toucan增强方法,使其令牌感知,在字符生成上显著加速且不损性能,并发现动态分词优于固定词汇方案。
2023-11-15 cs.CL cs.LG
Transient Chaos in BERT
The University of Tokyo(东京大学)
语言是人类复杂的、动态的交互活动的产物,因此自然语言处理技术是建立在人类语言活动的基础上的。来自Transformers的双向编码器表示(BERT)最近通过在几个NLP基准测试中建立最先进的分数而受到欢迎。Lite BERT(ALBERT)的字面特征是BERT的轻量级版本,其中通过重复应用称为Transformer的编码器层的相同神经网络来减少BERT参数的数量。通过使用大量自然语言数据预训练参数,ALBERT可以将输入句子转换为通用的高维向量,从而有可能解决多个NLP任务。从这个意义上说,ALBERT可以被看作是一个设计良好的高维动力系统,其算子是Transformer的编码器,因此人类语言的基本结构有望被封装在其动力学。在这项研究中,我们研究了ALBERT的嵌入特性,以揭示如何通过利用其动态来有效地解决NLP任务。因此,我们的目的是探索人类语言的自然语言处理模型的动态表达。我们的短期分析表明,预先训练的模型稳定地产生具有更高维度的轨迹,这将增强NLP任务所需的表达能力。此外,我们的长期分析表明,ALBERT本质上表现出瞬态混沌,这是一种典型的非线性现象,仅在其瞬态中表现出混沌动力学,与随机初始化的模型相比,预训练的ALBERT模型往往会在更长的时间内产生混沌轨迹。我们的研究结果表明,局部混沌性将有助于提高NLP性能,揭示了混沌动力学在人类语言行为中的作用的一个新方面。
2021-06-09 cs.AI cs.CL cs.LG
Thus Spake Long-Context Large Language Model
Shanghai AI Lab(上海人工智能实验室);School of Computer Science, Fudan University(复旦大学计算机科学技术学院);Shanghai Innovation Institute(上海创新研究院)
本研究综述长上下文大语言模型(LLMs)领域,梳理其从长度外推到架构、基础设施等多维度的发展,类比人类超越死亡的过程展示技术全貌,并提出10个未解决问题,为该领域提供系统性导论。
2025-11-11 cs.CL
Pretraining Strategies using Monolingual and Parallel Data for Low-Resource Machine Translation
AIMS Senegal(塞内加尔AIMS)
该研究针对低资源语言林加拉语,基于Reid和Artetxe的预训练方法,探索多语言融合、单语与平行数据并用的预训练策略,证实其能显著提升翻译质量,为缩小高低资源语言翻译性能差距、构建普惠NLP模型提供参考,代码与数据集(部分除外)已公开。
2025-10-29 cs.CL
Inference Acceleration for Large Language Models on CPUs
本文提出利用现代CPU并行能力、请求批处理及NUMA隔离的多worker方案加速LLM推理,实现最高22倍吞吐提升并降低48.9%功耗。
2024-03-04 cs.CL cs.DC
Can Grammarly and ChatGPT accelerate language change? AI-powered technologies and their impact on the English language: wordiness vs. conciseness
Faculty of Languages, University of Gdańsk(格但斯克大学语言学院)
本文通过 in order to 的案例研究,分析 Grammarly 和 ChatGPT 对英语冗长性与简洁性的影响,发现二者倾向推荐更简洁表达,并论证此类 AI 工具不仅能反映语言变迁,还可能加速其进程。
2025-02-06 cs.CL cs.CY