Analyzing Linguistic Complexity and Scientific Impact
Nanjing University of Science and Technology（南京理工大学）；Indiana University（印第安纳大学）；Shandong Normal University（山东师范大学）；Nanjing University（南京大学）；Wuhan University（武汉大学）；Université de Montréal（蒙特利尔大学）
出版物的数量和被引用的数量已经成为衡量学术成功的最常见指标。在这种背景下，科学写作在学者的科学生涯中扮演着越来越重要的角色。为了了解科技写作与科技影响力之间的关系，本文选取了12个语言复杂性变量作为描述科技写作的指标。然后，我们分析了36，400篇全文生物学文章和1，797篇全文心理学文章的这些特征。将这些特征与文章的科学影响进行比较，分为高，中，低类别。结果表明，在这两个学科的语言复杂性和引文层之间没有实际的显着关系。这表明，文本的复杂性在我们的数据集的科学影响中几乎没有发挥作用。
2019-07-27 cs.CL cs.DL physics.soc-ph
Structural Scaffolds for Citation Intent Classification in Scientific Publications
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
识别科学论文中引用的意图（例如，背景信息、方法的使用、比较结果）对于单个出版物的机器阅读和科学文献的自动分析至关重要。我们提出了结构支架，一个多任务模型，将结构信息的科学论文引用有效分类的引用意图。我们的模型在现有ACL选集数据集（ACL-ARC）上实现了新的最先进水平，F1分数绝对增加了13.3%，而不依赖于现有方法中的外部语言资源或手工设计的特征。此外，我们还引入了一个新的引用意图数据集（SciCite），与现有数据集相比，该数据集的大小超过五倍，涵盖了多个科学领域。我们的代码和数据可在https://github.com/allenai/scicite上获得。
2019-09-30 cs.CL
Some of Them Can be Guessed! Exploring the Effect of Linguistic Context in Predicting Quantifiers
ILLC - Institute for Logic, Language and Computation, University of Amsterdam（阿姆斯特丹大学（ILLC - 逻辑、语言与计算研究所））
我们研究了语言语境在预测量词（'few'，'all'）中的作用。我们收集来自人类参与者的众包数据，并在本地（单句）和全局上下文（多句）条件下测试各种模型。模型在前一种情况下的表现明显优于人类，而在后一种情况下仅略好于人类。虽然人类的表现随着更多的语言背景而改善（特别是在比例量词上），但模型的表现会受到影响。模型在利用词汇和形态句法模式方面非常有效;人类更善于真正理解（全局）上下文的含义。
2018-06-01 cs.AI cs.CL
From Citations to Criticality: Predicting Legal Decision Influence in the Multilingual Swiss Jurisprudence
University of Bern（伯尔尼大学）；Bern University of Applied Sciences（伯尔尼应用科学大学）；Stanford University（斯坦福大学）；University of Copenhagen（哥本哈根大学）
针对法院案件积压问题，研究提出Criticality Prediction数据集，通过算法生成双层标签评估案件优先级，并证明在特定领域任务中，拥有大型训练集的微调模型优于大型语言模型。
2025-05-30 cs.AI cs.CL cs.LG
Learning Linguistic Biomarkers for Predicting Mild Cognitive Impairment using Compound Skip-grams
Monash University Malaysia（马来西亚莫纳什大学）
预测轻度认知障碍（MCI）目前是一个挑战，因为现有的诊断标准依赖于神经心理学检查。在MCI患者的口头话语上训练的自动机器学习（ML）模型可以帮助诊断。使用skip-gram特征的组合，我们的模型学习了几种语言生物标志物，以区分来自DementiaBank语言转录临床数据集的19名MCI患者和19名健康对照个体。实验结果表明，在小样本MCI数据下，采用跳图复合的模型具有更好的AUC，可以帮助ML预测。
2015-12-10 cs.AI cs.CL
Language Agnostic Code-Mixing Data Augmentation by Predicting Linguistic Patterns
Johns Hopkins University（约翰斯·霍普金斯大学）
在这项工作中，我们专注于内部语义代码混合，并提出了几种不同的合成代码混合（SCM）数据增强方法，在不同数量的标记黄金数据的下游情感分析任务上优于基线。最重要的是，我们提出的方法表明，战略性地替换部分句子在矩阵语言与一个常数掩码显着提高分类精度，激励进一步的语言学见解的现象代码混合。我们在各种低资源和跨语言环境中测试了我们的数据增强方法，在极其稀缺的英语-马拉雅拉姆语数据集上达到了7.73%的相对改善。我们得出结论，语码转换模式在语码混合句中也是重要的模型学习。最后，我们提出了一个语言无关的SCM算法，是廉价的，但非常有助于低资源的语言。
2022-11-14 cs.CL
Predicting cross-linguistic adjective order with information gain
Oracle Corporation（甲骨文公司）；University of California, Irvine（加州大学欧文分校）；Boston College（波士顿学院）
语言在名词之前、之后或周围的多个形容词的位置上各不相同，但它们通常在这些形容词的相对顺序上表现出强烈的语言内倾向（例如，英语中倾向于使用`big blue box'，法语中倾向于使用` big blue box'，阿拉伯语中倾向于使用`alsundalq al'azraq alkab\=ır'）。我们提出了一个新的定量帐户的形容词顺序跨类型不同的语言的基础上最大限度地提高信息增益。我们的模型解决了左右不对称的法国型ANA序列与AAN和NAA排序相同的方法，没有呼吁其他机制。我们发现，在32种语言中，形容词的优先顺序在很大程度上反映了一种有效的算法，最大限度地提高信息增益。
2020-12-30 cs.CL
Scientific document summarization via citation contextualization and scientific discourse
Georgetown University（乔治城大学）
科学文献的快速增长使研究人员难以快速了解各自领域的发展。科学文献摘要通过提供科学论文重要贡献的摘要来应对这一挑战。我们提出了一个利用引文和科学语篇结构的科学文摘框架。引文文本往往缺乏证据和上下文来支持被引用论文的内容，有时甚至是不准确的。我们首先解决的问题，从被引用的论文中找到相关的上下文的引用文本的不准确性。我们提出了三种基于查询重构、词嵌入和监督学习的上下文引用方法。然后，我们训练一个模型来识别每个引用的话语方面。最后，我们提出了一种利用分面引文及其相应的上下文来总结科技论文的方法。我们在生物医学和计算语言学领域的两个科学摘要数据集上评估了我们提出的方法。广泛的评估结果表明，我们的方法可以提高了最先进的大幅度。
2017-06-12 cs.CL cs.DL
Predicting States of Understanding in Explanatory Interactions Using Cognitive Load-Related Linguistic Cues
Faculty of Linguistics；Literary Studies, Bielefeld University, Bielefeld, Germany Faculty of Arts；Humanities, Paderborn University, Paderborn, Germany \| SFB/Transregio 318 ‘Constructing Explainability’, Bielefeld \& Paderborn, Germany
研究通过分析对话中说话者和听者的语言特征，探讨如何预测听者的理解状态。通过MUNDEX语料库的统计分析，发现认知负荷相关的语言线索与听者理解水平相关，使用三种语言线索和文本特征可提升预测效果。
2026-03-20 cs.CL
Predicting emergent linguistic compositions through time: Syntactic frame extension via multimodal chaining
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）
自然语言依赖于有限的词汇来表达无限的新兴思想。这种紧张关系的一个结果是形成新的成分，这样现有的语言单位可以与新出现的项目组合成新的表达方式。我们开发了一个框架，利用链和多模态知识的认知机制，通过时间来预测紧急组成的表达。我们提出的句法框架扩展模型（SFEM），借鉴了从“概念”，“概念”和“语言”的链接和知识的理论来推断动词如何扩展他们的框架，形成新的组合与现有的和新的名词。我们严格评估SFEM的1）知识形态和2）分类模型的链接，在过去150年的句法分析的英语语料库。我们发现，多模态SFEM预测新出现的动词句法和参数大大优于竞争模型，使用纯粹的语言或单峰知识。我们发现一个范例链接的观点，而不是原型视图的支持，并揭示如何联合的方法多模态链接可能是根本的创造字面和比喻的语言使用，包括隐喻和转喻。
2021-09-10 cs.CL
Predicting Mental Health Help-Seeking Behaviour on Reddit: A Survival Analysis of Linguistic and Behavioural Signals
University of Strathclyde（思克莱德大学）；Sir Syed CASE Institute of Technology（赛义德·卡塞理工学院）；NUST（国立科学与技术大学）
该研究将Reddit用户的心理健康求助视为时间-事件问题，通过构建两组队列，结合行为与文本特征，采用多种生存分析模型，发现行为特征对求助可能性预测更优、文本特征对求助时间预测更稳定，分离两类问题可提升分析效果。
2026-10-14 cs.CL cs.LG cs.SI
Describing Images $\textit{Fast and Slow}$: Quantifying and Predicting the Variation in Human Signals during Visuo-Linguistic Processes
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
本研究针对预训练模型忽略视语言变异人类信号的问题，基于荷兰语图像描述与眼动语料探究变异关联，验证预训练视觉编码器仅能弱到中等程度捕捉变异，揭示其相关认知偏向的缺失。
2024-02-02 cs.AI cs.CL cs.CV
Computational Modeling of Artistic Inspiration: A Framework for Predicting Aesthetic Preferences in Lyrical Lines Using Linguistic and Stylistic Features
University of Waterloo（滑铁卢大学）；David R. Cheriton School of Computer Science（戴维·R·切里顿计算机科学学院）；Department of Management Science and Engineering（管理科学与工程系）
本研究针对艺术灵感难以系统研究的问题，提出结合语言学与风格特征及校准网络的歌词审美偏好计算框架，构建标注数据集EvocativeLines，实验显示其性能优于LLaMA-3-70b近18个点，可适配分析各类主观艺术偏好。
2024-10-03 cs.CL
Analyzing Individual Neurons in Pre-trained Language Models
Qatar Computing Research Institute（卡塔尔计算研究所）；HBKU Research Complex（哈马德·本·哈利法大学研究中心）；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
虽然已经进行了大量的分析来证明在深度NLP模型中学习的表示所捕获的语言知识，但很少关注单个神经元。我们使用预测形态，语法和语义的核心语言任务对预训练的语言模型进行神经元级分析，问题如下：i）预训练模型中的单个神经元是否捕获语言信息？（2）网络的哪些部分对某些语言现象了解更多？（三）信息的分布和重点如何？以及iv）不同的体系结构在学习这些属性方面有何不同？我们发现了小的神经元子集来预测语言任务，与预测语法的高级任务相比，较低级别的任务（例如形态学）位于更少的神经元中。我们的研究还揭示了有趣的跨架构比较。例如，我们发现XLNet中的神经元在预测属性时比BERT和其他神经元更局部化和不相交，在其他神经元中它们更分散和耦合。
2020-10-06 cs.CL
Predicting Turn-Taking and Backchannel in Human-Machine Conversations Using Linguistic, Acoustic, and Visual Signals
School of Informatics, Xiamen University（厦门大学信息学院）
针对人机对话话轮转换与反馈语预测的研究缺口，本文构建了超210小时的多模态对话数据集MM-F2F，提出支持多模态任意组合的端到端预测框架，在两项任务上均达到SOTA，相关资源已公开。
2025-05-20 cs.AI cs.CL
Predicting the top and bottom ranks of billboard songs using Machine Learning
Pacific Northwest National Laboratory（太平洋西北国家实验室）
音乐产业是一个1300亿美元的产业。预测一首歌是否抓住了观众的脉搏影响了整个行业。在本文中，我们使用几种计算语言学算法来分析歌曲歌词中的语言，并根据语言特征预测歌曲是否会在公告牌排名中名列前茅或垫底。我们训练和测试了一个SVM分类器的径向核函数的语言特征。结果表明，我们可以分类一首歌是否属于顶部和底部的公告牌排行榜的精度为0.76。
2015-12-03 cs.CL cs.LG
SChuBERT: Scholarly Document Chunks with BERT-encoding boost Citation Count Prediction
University of Groningen（格罗宁根大学）
预测学术文献的被引次数是学术文献处理领域的一项重要任务。除了这些信息的内在价值外，它还具有更广泛的用途，可以作为质量的不完美代理，其优点是可以廉价地获得大量的学术文献。以前的工作已经处理了相对较小的训练数据集，或较大的数据集，但与短，不完整的输入文本的引用预测的数量。在这项工作中，我们利用开放获取ACL选集集合与语义学者文献计量数据库相结合，创建一个大型语料库的学术文献与相关的引用信息，我们提出了一个新的引文预测模型称为SCUBERT。在我们的实验中，我们将SCuBERT与几种最先进的引文预测模型进行了比较，结果表明它的性能大大优于以前的方法。我们还展示了使用更多的训练数据和更长的输入来预测引文数量的优点。
2020-12-21 cs.CL cs.LG
Dead or Murdered? Predicting Responsibility Perception in Femicide News Reports
University of Groningen（格罗宁根大学）；University of Pavia（帕维亚大学）
不同的语言表达可以从不同的角度对同一事件进行概念化，强调某些参与者。在这里，我们调查的情况下，这有社会后果：如何基于性别的暴力（GBV）的语言表达的影响，我们认为谁负责？我们建立在以前的心理语言学研究在这一领域进行了大规模的感知调查GBV的描述自动提取的语料库的意大利报纸。然后，我们训练回归模型，预测性别暴力参与者的显着性方面的不同维度的感知责任。我们的最佳模型（微调后的BERT）显示出了稳定的整体表现，维度和参与者之间存在很大差异：突出焦点比突出责备更可预测，肇事者的突出性比受害者的突出性更可预测。使用不同表示的岭回归模型的实验表明，基于语言学理论的特征类似于基于词的特征。总体而言，我们表明，不同的语言选择触发不同的责任感，这种看法可以自动建模。这项工作可以成为提高公众和新闻制作者对不同视角的后果的认识的核心工具。
2022-09-24 cs.CL
Words That Stick: Predicting Decision Making and Synonym Engagement Using Cognitive Biases and Computational Linguistics
State University of New York at Albany（纽约州立大学奥尔巴尼分校）；Google（谷歌公司）
本研究基于认知心理学和NLP技术，提出READ模型整合四种认知偏差，预测数字平台上的用户决策与同义词参与度，发现符合特定认知特征的同义词能显著提升用户参与度，为跨领域数字内容设计提供了新视角。
2023-07-26 cs.AI cs.CL cs.HC
How to Write High-quality News on Social Network? Predicting News Quality by Mining Writing Style
Key Laboratory of Intelligent Information Processing Center for Advanced Computing Research, Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；National Tsing Hua University（国立清华大学）
互联网技术的快速发展促使传统报纸在社交网络上进行新闻报道。然而，社交网络上的人们可能有不同的需求，这自然产生了一个问题：我们是否可以自动分析写作风格对新闻质量的影响，并帮助作者提高新闻质量？这是具有挑战性的，因为写作风格和“质量”很难衡量。首先，我们用“受欢迎程度”作为衡量“质量”的标准。这在社交网络上是很自然的，但也带来了新的问题：受欢迎程度也受到事件和发布者的影响。因此我们设计了两种方法来减轻它们的影响。然后，根据八条写作准则，我们提出了八类语言特征（共53个特征），并分析了它们与新闻质量的关系。实验结果表明，这些语言特征对新闻质量有很大的影响。在此基础上，设计了一个基于社会网络的新闻质量评估模型（SNQAM）。SNQAM在预测质量、呈现可解释的质量分数以及根据我们参考的写作指南提供关于如何改进质量分数的可访问建议方面表现出色。
2021-04-21 cs.CL cs.SI
Measuring academic influence: Not all citations are equal
National Research Council Canada（加拿大国家研究委员会）；TELUQ, Université du Québec（魁北克大学电视大学）；University of Ottawa（渥太华大学）
一篇研究文章的重要性通常通过计算它被引用的次数来衡量。然而，以同等权重对待所有引文忽略了引文执行的各种功能。我们希望自动识别参考书目中对引用论文有核心学术影响的参考文献子集。为了这个目的，我们研究了各种功能的有效性，以确定引文的学术影响力。通过要求作者识别自己工作中的关键参考文献，我们创建了一个数据集，其中引用根据其学术影响力进行标记。使用带有监督机器学习的自动特征选择，我们发现了一个预测学术影响力的模型，该模型仅使用四个特征就在该数据集上实现了良好的性能。在我们评估的功能中，最好的功能是基于引用论文中引用参考文献的次数。这些特征的表现启发我们设计了一个影响力引导的h指数（hip-index）。与传统的h指数不同，它根据参考文献被提及的次数对引用进行加权。根据我们的实验，髋关节指数是一个更好的指标，研究人员的表现比传统的h指数。
2015-01-26 cs.CL cs.DL cs.LG
ForeCite: Adapting Pre-Trained Language Models to Predict Future Citation Rates of Academic Papers
Memorial University of Newfoundland and Labrador（纽芬兰纪念大学）
本文提出 ForeCite 框架，在预训练因果语言模型上增加线性头以回归预测论文月均引用率，并在大规模生物医学论文数据集上显著刷新性能。
2025-05-13 cs.CL cs.LG
Predicting Startup Exit from Textual Descriptors - A Computational Linguistics Framework
该研究提出计算语言学框架，仅靠文本描述符结合LightGBM等模型，可在无需财务等变量的情况下预测初创企业退出，还引入了量化的炒作得分，为高信息不对称下的风险投资提供预测信号。
2026-09-24 cs.CL econ.GN q-fin.EC
Left-right asymmetry in predicting brain activity from LLMs' representations emerges with their formal linguistic competence
Centre d’Analyse et de Mathématique Sociales CNRS, EHESS, Paris, France（分析与数学社会中心 CNRS，EHESS，巴黎，法国）；Cognitive Neuroimaging Unit CNRS, INSERM, CEA, Neurospin Center, 91191 Gif-sur-Yvette, France（认知神经成像单元 CNRS，INSERM，CEA，Neurospin中心，法国91191 Gif-sur-Yvette）
研究发现LLM的正式语言能力与大脑预测活动的左右不对称性同步发展，且与算术或世界知识任务无关。
2026-07-16 cs.AI cs.CL q-bio.NC
The Who in Code-Switching: A Case Study for Predicting Egyptian Arabic-English Code-Switching Levels based on Character Profiles
University of Stuttgart（斯图加特大学）；Ulm University（乌尔姆大学）；German International University（德国国际大学）
语码转换（CS）是多语言个体表现出的一种常见语言现象，他们倾向于在一次对话中在不同语言之间交替。语篇连贯是一个复杂的现象，它不仅包含语言学上的挑战，而且在跨说话者的动态行为方面也包含了大量的复杂性。鉴于引起CS的因素因国而异，以及从一个人到另一个人，CS被认为是一个说话者依赖的行为，其中外语嵌入的频率不同的发言者。虽然一些研究人员已经从语言学的角度研究了预测CS行为，但仍然缺乏从社会学和心理学角度预测用户CS行为的研究。我们提供了一个实证用户研究，在那里我们调查用户的CS水平和性格特征之间的相关性。我们对双语者进行采访，并收集他们的个人资料，包括他们的人口统计数据，性格特征和旅行经历。然后，我们使用机器学习（ML）来预测用户的CS水平的基础上，他们的配置文件，在那里我们确定建模过程中的主要影响因素。我们对分类和回归任务进行了实验。研究结果表明，交际行为受说话人之间的关系、旅行经历以及神经质和外倾性人格特质的影响。
2022-07-31 cs.CL
Quantitative methods for Phylogenetic Inference in Historical Linguistics: An experimental case study of South Central Dravidian
在本文中，我们研究了两类算法的有用性距离方法，离散字符方法（Felsenstein和Felsenstein 2003）广泛用于遗传学，预测一组相关语言之间的家族关系，因此，历时语言变化。将这些算法应用于Krishnamurti等人（1983）给出的属于达罗毗荼语亚族的一组六种语言的共享同源词--有变化的同源词和变化的同源词以及不变的同源词的数量数据，我们观察到，所得到的系统发育树与使用比较重建方法构建的语言谱系树基本一致，只有一些微小的差异。此外，我们研究了这些微小的差异，发现即使对于训练有素的历史语言学家来说，它们也是真正的歧义。我们使用一个定义明确的标准来评估通过我们的实验获得的树，并在这里报告结果。我们最后得出结论，定量的方法，如我们所研究的是非常有用的预测语言之间的家庭关系。此外，我们的结论是，一定程度的信心所附的直觉，可能确实存在一个平行的过程之间的语言和遗传的变化是不是完全错位。
2014-01-03 cs.AI cs.CL
Predicting Poets' Origins from Verse: A Computational Analysis of Regional Linguistic Fingerprints in the Complete Tang Poems
Harvard University（哈佛大学）；University of Washington（华盛顿大学）
通过全唐诗和CBDB数据，使用字符n-gram TF-IDF和领域特征，以多类分类预测诗人籍贯，发现语言距离随地理距离衰减、南北可分性随时间变化等历史意义。
2026-06-24 cs.AI cs.CL
We are Who We Cite: Bridges of Influence Between Natural Language Processing and Other Academic Fields
National Research Council Canada（加拿大国家研究委员会）；University of Göttingen（哥廷根大学）；Institute for Better Health（健康研究院）
本研究通过分析约7.7万篇NLP论文及其引用，提出引用领域多样性指数，发现NLP跨领域影响从1980年的0.58降至2022年的0.31，且引用集中于计算机科学，凸显其封闭性及反思需求。
2024-07-16 cs.CL cs.DL
Eyettention: An Attention-based Dual-Sequence Model for Predicting Human Scanpaths during Reading
University of Potsdam（波茨坦大学）；University of Zurich（苏黎世大学）
本文提出首个基于跨序列注意力机制的双序列模型Eyettention，通过同时处理词汇序列与注视时间序列，有效解决了阅读眼动轨迹预测中的双序列对齐难题，在多语言跨数据集评估中显著优于现有模型。
2023-05-18 cs.CL cs.HC cs.LG
Analyzing Hong Kong's Legal Judgments from a Computational Linguistics point-of-view
The University of Hong Kong（香港大学）
针对香港法律判决分析资源匮乏、成本高昂的问题，提出多种结合统计、机器学习等的分析方法，借助大语言模型基准验证效果，提升判决分析自动化程度与效率。
2023-05-04 cs.CL cs.IR
Predicting Psychological Well-Being from Spontaneous Speech using LLMs
University of Edinburgh（爱丁堡大学）；Centre for Medical Informatics (CMI) Usher Institute University of Edinburgh（医学信息学中心（CMI）乌舍研究所爱丁堡大学）
研究利用大语言模型对自发语音进行零样本预测，探索其在心理幸福感评分中的应用，发现模型能提取语义信息，实现高达0.8的相关性，并通过统计分析和词云分析提升可解释性。
2026-05-11 cs.CL
Flow-SLM: Joint Learning of Linguistic and Acoustic Information for Spoken Language Modeling
Toyota Technological Institute at Chicago（芝加哥技术学院）；Stony Brook University（石溪大学）
针对无文本口语语言模型缺乏声学上下文与细节控制的问题，提出Flow-SLM，通过流匹配目标联合建模语义token与连续声学表示，在语言性能相当的同时提升了生成语音的声学细节。
2025-10-21 cs.CL
XAI in Computational Linguistics: Understanding Political Leanings in the Slovenian Parliament
Jozef Stefan Institute（约泽夫·斯蒂芬研究所）；Jozef Stefan International Postgraduate School（约泽夫·斯蒂芬国际研究生院）
本研究利用斯洛文尼亚议会2014-2020年移民辩论记录，开发经典机器学习和Transformer模型预测议员政治倾向，并通过可解释性技术揭示左右翼用词差异，展示了可解释AI在跨学科研究中的价值。
2023-05-08 cs.AI cs.CL
Predicting CEFRL levels in learner English on the basis of metrics and full texts
University of Richmond（里士满大学）；Université Paris Diderot（巴黎狄德罗大学）；The Insight Centre for Data Analytics NUI Galway（爱尔兰国立大学戈尔韦分校洞察数据分析中心）
本文分析了语言指标的贡献，并可能，语言结构，分类法国英语学习者根据欧洲共同语言参考框架（CEFRL）的水平。其目的是建立一个模型，作为语言复杂性功能的学习者水平的预测。我们使用了EFCAMDAT语料库，这是一个包含一百万份学习者书面作业的数据库。在对文本应用语言复杂性度量之后，我们构建了一个表示，将文本的语言度量与其分配的CEFRL级别相匹配。词汇和句法指标计算LCA，LSA和koRpus。通过使用梯度提升树和Keras神经网络方法并通过对比CEFRL水平对来构建几个监督学习模型。结果表明，有可能实现成对区分，特别是对于A1至B1范围内的水平（A1=>A2：0.916 AUC和A2=>B1：0.904 AUC）。模式解释揭示了语料库中预测性的重要语言特征。单词标记和单词类型似乎在确定水平方面起着重要作用。这表明级别高度依赖于特定的语义配置文件。
2018-06-28 cs.CL
Semantic Analysis for Automated Evaluation of the Potential Impact of Research Articles
University of Leicester（莱斯特大学）；Lobachevsky University（罗巴切夫斯基大学）
对科技论文文本中使用的词汇的语义分析能否预测其未来的影响力（通过引用来衡量）？这项研究详细介绍了自动文本分类的例子，这些例子在区分高引用和低引用文章方面取得了80%的成功率。自动化智能系统允许识别可能在科学界产生影响的有前途的作品。自从自然语言处理出现以来，文本意义的量化和人类语言表示的问题就已经很清楚了。本文提出了一种基于信息论的文本语义矢量表示方法，并以莱斯特科学语料库为例，说明了如何将这种信息语义用于文本分类。我们描述的实验框架，用于评估科学文章的影响，通过其信息语义。我们的兴趣是在引文分类，以发现文本的语义是多么重要的预测引用计数。我们提出的文本的语义作为一个重要因素的引用预测。对于每一篇文章，我们的系统提取论文的摘要，表示为向量的抽象的话在意义空间，自动分析的科学类别（Web of Science类别）的分布在文本中的摘要，然后根据引用计数（高引用，低引用）的论文进行分类。我们表明，一个信息的方法来表示文本的含义提供了一种方法来有效地预测研究论文的科学影响。
2021-04-26 cs.CL cs.IT cs.LG
The Impact of ASR on the Automatic Analysis of Linguistic Complexity and Sophistication in Spontaneous L2 Speech
RWTH Aachen University（亚琛工业大学）；AppTek GmbH（AppTek有限公司）
近年来，自动化的方法来评估语言的复杂性在第二语言（L2）的写作取得了显着的进展，在衡量学习者的表现，预测人类的评级的质量学习者的产品，并基准L2的发展。相比之下，在口语领域的工作相对较少，特别是在评估L2自发语音的全自动方法方面。虽然一个性能良好的ASR系统的重要性被广泛认可，很少有研究已经进行了调查，其性能对后续的自动文本分析的影响。在本文中，我们专注于这个问题，并检查使用国家的最先进的ASR系统的影响，随后自动分析的语言复杂性自发产生的L2语音。一组30个选定的措施被认为是，分为四类：句法，词汇，n-语法频率，和信息理论的措施。通过相关性分析确定了基于ASR生成与手动transmittance获得的这些测量值之间的一致性。还提出了在控制任务类型影响时，ASR性能对特定类型的复杂性措施的更有区别的影响。
2021-06-16 cs.CL
Joint processing of linguistic properties in brains and language models
Inria Bordeaux（法国国家信息与自动化研究所波尔多分部）；MPI for Software Systems（马克斯·普朗克软件系统研究所）；Microsoft（微软）
本文通过消除语言模型表征中的表层、句法和语义信息，评估其与fMRI大脑记录对齐的变化，证明各类语言属性均有作用且句法属性影响最大。
2023-11-08 cs.CL q-bio.NC
Team ÚFAL at CMCL 2022 Shared Task: Figuring out the correct recipe for predicting Eye-Tracking features using Pretrained Language Models
Charles University（查理大学）；Faculty Of Mathematics and Physics（数学与物理学院）
眼动追踪数据是研究人类认知，特别是语言理解的一个非常有用的信息来源。在本文中，我们描述了我们的系统CMCL 2022共享任务预测眼动追踪信息。我们描述了我们使用预训练模型（如BERT和XLM）进行的实验，以及我们使用这些表示来预测四个眼动追踪特征的不同方式。除了分析使用两种不同类型的预训练多语言语言模型和不同的池化标记级表示的方法的效果外，我们还探讨了上下文信息如何影响系统的性能。最后，我们还探讨了增加语言信息等因素是否会影响预测。我们提交的作品平均MAE为5.72，在共享任务中排名第五。平均MAE在任务后评价中进一步降低至5.25。
2022-04-11 cs.CL cs.LG
Speaker Information Can Guide Models to Better Inductive Biases: A Case Study On Predicting Code-Switching
Carnegie Mellon University（卡内基梅隆大学）；University of Haifa（海法大学）；University of Pittsburgh（匹兹堡大学）；University of Washington（华盛顿大学）
在人工生成的数据上训练的自然语言处理（NLP）模型可能是不可靠的，因为在没有任何约束的情况下，它们可以从与任务无关的虚假相关性中学习。我们假设，以一种受控的、有教养的方式用说话者信息丰富模型，可以引导它们发现相关的归纳偏见。对于扬声器驱动的任务，预测代码转换点在英语-西班牙语双语对话，我们表明，添加社会语言学接地扬声器功能作为前置提示显着提高准确性。我们发现，通过向输入中添加有影响力的短语，说话者知情模型可以学习有用且可解释的语言信息。据我们所知，我们是第一个将说话者特征纳入神经模型进行代码转换的人，更一般地说，我们朝着开发透明的、个性化的模型迈出了一步，这些模型以受控的方式使用说话者信息。
2022-03-16 cs.CL
