A Measure for Transparent Comparison of Linguistic Diversity in Multilingual NLP Data Sets
University of Zurich(苏黎世大学);University of Neuchâtel(纳沙泰尔大学);Telepathy Labs GmbH(心灵感应实验室有限公司)
本文提出基于参考语言样本、Jaccard 指数与文本特征的语言多样性度量,用于解释并比较多语言 NLP 数据集,分析九个常用数据集并发现多数缺少(多式)综合语。
2024-04-16 cs.CL
Quantifying the Risks of Tool-assisted Rephrasing to Linguistic Diversity
University of Konstanz(康斯坦茨大学)
本文首次在多领域人类文本语料库上测量改写工具带来的语义与词汇变化,以量化大语言模型被广泛采用时对语言多样性的潜在风险。
2024-10-23 cs.CL
The State and Fate of Linguistic Diversity and Inclusion in the NLP World
Microsoft Research(微软研究院)
语言技术有助于在世界各地促进使用多种语言和语言多样性。然而,在世界上7000多种语言中,只有极少数的语言在迅速发展的语言技术和应用中得到了体现。在本文中,我们研究了语言类型、资源及其在NLP会议中的表示之间的关系,以了解不同语言随着时间的推移所遵循的轨迹。我们的定量调查强调了语言之间的差距,特别是在他们的资源方面,并质疑当前的模型和系统的“语言不可知论”的地位。通过这篇论文,我们试图说服ACL社区优先解决这里强调的困境,这样就不会有任何语言被抛在后面。
2021-01-27 cs.CL
Investigating the Relationship between Multi-Party Linguistic Entrainment, Team Characteristics, and the Perception of Team Social Outcomes
University of Pittsburgh(匹兹堡大学);University of Maryland(马里兰大学)
多方语言夹带是指说话人在会话过程中说话方式趋于相似的现象。首先,我们开发了新的措施,描述语言风格的功能,多方夹带,然后检查夹带和团队特征的性别组成,团队规模和多样性之间的关系。接下来,我们预测的感知团队的社会成果,使用多方语言夹带和团队特征与层次回归模型。我们发现,性别多样性更大的团队比性别多样性更少的团队具有更高的最小收敛性。无论是单独还是控制团队特征,夹带都对预测感知的团队社会成果有显着贡献。
2019-09-02 cs.CL
Detecting Linguistic Diversity on Social Media
Geospatial Research Institute(地理空间研究所);University of Canterbury(坎特伯雷大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究利用社交媒体数据与人口普查数据对比,验证其反映地方语言多样性的有效性,并证明其对人口及社会政治变化的敏感性。
2025-02-28 cs.CL
Rank diversity of languages: Generic behavior in computational linguistics
Universidad Nacional Autónoma de México(墨西哥国立自治大学)
语言的统计研究主要集中在词的等级频率分布上。相反,我们在这里引入一个衡量单词等级如何随时间变化的方法,并将此分布称为\emph{rank diversity}。我们计算了自1800年以来以六种欧洲语言出版的书籍的多样性,发现它遵循普遍的对数正态分布。基于对数正态分布的平均值和标准差,我们定义了三种不同的语言词的制度:“头”由几乎不改变他们的排名在时间上的话,“机构”是一般使用的话,而“尾巴”是由特定的上下文的话,并改变他们的排名相当大的时间。头部和身体反映了语言学家为基本交流所确定的语言核心的大小。我们提出了一个高斯随机游走模型,它再现了单词在时间上的排名变化,从而多样性。单词的等级多样性可以理解为等级随机变化的结果,其中变化的大小取决于等级本身。我们发现,核心大小是相似的所有语言研究。
2015-05-14 cs.CL
Linguistic Patterns in Pandemic-Related Content: A Comparative Analysis of COVID-19, Constraint, and Monkeypox Datasets
Manchester Metropolitan University(曼彻斯特城市大学)
本研究通过比较 COVID-19 虚假叙事、一般 COVID-19 内容和猴痘帖子三个语料库,发现 misinformation 具有更低可读性、更多恐惧与说服性词汇及更少感叹号,为数字健康 misinformation 检测和危机沟通提供语言指标参考。
2025-10-08 cs.AI cs.CL cs.LG
Lexical Diversity in Kinship Across Languages and Dialects
University of Trento(特伦托大学);IMT Atlantique(IMT大西洋大学);Lab-STICC CNRS UMR 628(Lab-STICC法国国家科学研究中心联合研究单元628)
本文提出一种在计算词典中表征语言多样性的方法,并通过阿拉伯方言与印尼语言的亲属称谓案例研究验证其有效性,揭示了相近社区内部的词汇多样性。
2023-10-26 cs.CL
Generative AI and linguistic diversity in academic writing and publishing: Perspectives from World Englishes
本文通过5位学者的结构化对话,探讨GenAI对学术写作语言多样性的影响,提出需制定公平政策、培养AI素养等应对建议,指出GenAI既可能强化语言层级也可成为抵抗载体。
2026-07-31 cs.CL
The Shrinking Landscape of Linguistic Diversity in the Age of Large Language Models
University of Southern California(南加利福尼亚大学);Information Science Institute(信息科学研究所)
该研究通过三项针对超88万篇文本的研究,发现广泛使用大语言模型作为写作助手会降低语言多样性,使写作风格同质化、复杂性方差下降21%-50%,对多领域存在潜在影响。
2026-08-26 cs.CL
DiverseDialogue: A Methodology for Designing Chatbots with Human-Like Diversity
University of Pennsylvania(宾夕法尼亚大学);National Institutes of Health(美国国立卫生研究院)
本文提出DiverseDialogue方法,通过基于真实人类交互特征自动优化提示,显著提升LLM模拟对话的人类相似性和语言多样性,平均特征误差降低54%。
2024-08-30 cs.CL
What's in a Caption? Dataset-Specific Linguistic Diversity and Its Effect on Visual Description Models and Metrics
University of California, Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
虽然在自动视频描述领域已经取得了显着的进步,但自动描述模型对新领域的泛化性能仍然是在现实世界中使用这些系统的主要障碍。已知大多数视觉描述方法捕获和利用训练数据中的模式,从而导致评估度量增加,但是这些模式是什么?在这项工作中,我们研究了几个流行的视觉描述数据集,并捕获,分析和理解模型利用但不推广到新领域的特定语言模式。在令牌级别,样本级别和数据集级别,我们发现,标题的多样性是一个主要的驱动因素背后的通用和无信息的标题的生成。我们进一步表明,最先进的模型在现代指标上甚至优于地面实况字幕,这种效果是数据集中语言多样性的产物。理解这种语言多样性是构建强大的字幕模型的关键,我们推荐了几种方法和方法来保持新数据收集的多样性,并在使用当前模型和指标时处理有限多样性的后果。
2023-01-12 cs.CL cs.CV
Visualizing Linguistic Diversity of Text Datasets Synthesized by Large Language Models
Google Research(谷歌研究院)
针对LLM合成数据集在语义、句法和词汇上的重复问题,本文提出交互式可视化工具LinguisticLens,通过多轴聚类与分层浏览帮助分析其语言多样性。
2023-09-27 cs.AI cs.CL
From Local to Global: Navigating Linguistic Diversity in the African Context
Makerere University(马凯雷雷大学)
本研究针对非洲受关注较少的本土方言与阿拉伯语方言的NLP处理难题,提出改进方法并验证其有效性,可为相关企业优化客户体验与产品开发提供支持,还可作为教学工具助力激发学习兴趣与科技创业。
2023-05-02 cs.CL cs.LG
TrackList: Tracing Back Query Linguistic Diversity for Head and Tail Knowledge in Open Large Language Models
ATILF, University of Lorraine - CNRS, France(ATILF,洛林大学 - CNRS,法国);Center for Data Science in Humanities, Chosun University, South Korea(人文数据科学中心,全州大学,韩国)
TrackList研究了预训练数据对LLMs回答多样化语言查询的影响,发现LLMs在定义型问题表现最佳,但在例子型问题表现最差,且更倾向于改写流行知识而非尾部和技术知识。
2025-11-27 cs.CL
Cross-linguistic disagreement as a conflict of semantic alignment norms in multilingual AI~Linguistic Diversity as a Problem for Philosophy, Cognitive Science, and AI~
Japan Advanced Institute of Science and Technology(日本先进科学技术学院);Victoria University of Wellington(惠灵顿维多利亚大学);Macquarie University(麦考瑞大学);Nanzan University(南山大学);Kyoto University(京都大学)
本文通过考察多语言LLM在英语和日语中的回答,揭示跨语言分歧源于跨语言一致性与民间判断一致性两种对齐规范的冲突,并指出这构成概念性跨语言知识障碍,需多学科协作应对。
2025-03-01 cs.AI cs.CL
Linguistic and Argument Diversity in Synthetic Data for Function-Calling Agents
Technion(技术学院);TII(技术研究所)
本文提出了一种生成合成数据集的方法,通过优化通用多样性度量标准,提高功能调用代理训练数据的语言和论证多样性,从而提升模型在分布外任务中的性能。
2026-01-25 cs.AI cs.CL
Improving Linguistic Diversity of Large Language Models with Possibility Exploration Fine-Tuning
University College Dublin(都柏林大学学院);School of Computer Science(计算机科学学院);ML-Labs(机器学习实验室)
针对LLM输出语言多样性下降且现有方法任务受限、成本高的问题,本文提出任务无关的PEFT框架,可零额外延迟生成多个可控且语义多样的回复,并降低人口偏见。
2024-12-04 cs.AI cs.CL
Using Linguistic Typology to Enrich Multilingual Lexicons: the Case of Lexical Gaps in Kinship
National University of Mongolia(蒙古国立大学);University of Trento(特伦托大学)
本文介绍了一种利用词汇类型学知识,丰富词汇资源的方法。我们通过词汇空缺和语言特定词的概念来捕捉多样性现象,并使用一种系统的方法来大规模地半自动地推断空缺。作为亲属术语领域的第一个结果,我们发布了一个词汇语义资源,包括198个领域概念,1,911个单词和37,370个缺口,涵盖699种语言。我们看到了使用我们这样的资源来改进各种跨语言NLP任务的潜力,我们通过评估机器翻译系统的下游应用程序来证明这一点。
2022-04-11 cs.CL
On the Impact of Voice Anonymization on Speech Diagnostic Applications: a Case Study on COVID-19 Detection
Institut national de la recherche scientifique, University of Québec(魁北克大学国家科学研究院)
本文通过案例研究评估语音匿名化对COVID-19语音诊断系统的影响,测试三种匿名化方法在五个系统和三个数据集上的效果,并证明匿名化外部数据可缓解诊断准确率下降。
2024-06-26 cs.CL cs.SD eess.AS
Hybrid Retrieval for COVID-19 Literature: Comparing Rank Fusion and Projection Fusion with Diversity Reranking
School of Electronic Engineering and Computer Science(电子工程与计算机科学学院);Queen Mary University of London(伦敦女王学院)
本文提出一种新冠文献混合检索系统,通过比较排名融合与投影融合方法,展示了其在相关性、效率和多样性重排序方面的性能对比。
2026-04-15 cs.CL cs.IR
Modeling the human lexicon under temperature variations: linguistic factors, diversity and typicality in LLM word associations
University of Fribourg(弗里堡大学);LLF (Université Paris Cité / CNRS)(LLF(巴黎Cité大学/国家科学研究中心));Lucerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学)
研究通过比较人类与LLM生成的词关联,探讨模型对人类词汇模式的捕捉准确性,发现大模型倾向于生成典型但变量小的响应,而小模型则更变量但典型性低,温度设置影响这一平衡。
2026-03-18 cs.CL
Diversity and Language Technology: How Techno-Linguistic Bias Can Cause Epistemic Injustice
University of Amsterdam(阿姆斯特丹大学);University of Trento(特伦托大学);IMT Atlantique(大西洋国立高等工业、信息与自动化技术学院);University of Hamburg(汉堡大学)
本文揭示AI语言技术中的技术语言偏见,指出其源于对多样性的简单化理解,导致系统无法表征边缘语言社区概念,并引发认知不公正等社会政治后果。
2023-07-25 cs.CL cs.CY
COVID-19 Infodemic. Understanding content features in detecting fake news using a machine learning approach
Faculty of Computer Science & Information Technology, Universiti Malaya(马来亚大学计算机科学与信息技术学院);LIGM, Univ Gustave Eiffel, CNRS(法国埃菲尔大学LIGM研究所,CNRS)
本研究通过机器学习方法探讨内容特征在虚假新闻检测中的应用,发现文本和语言特征单独使用能提升检测效果,但结合使用未显著提升性能。
2026-05-07 cs.AI cs.CL cs.LG
Investigating a Benchmark for Training-set free Evaluation of Linguistic Capabilities in Machine Reading Comprehension
The University of Manchester(曼彻斯特大学)
本文研究机器阅读理解语言能力的无训练集评估,提出用合成挑战集替代众包数据,并证明其在自然度与词汇多样性上有效,同时揭示SOTA模型可能只学会答题而未真正掌握语言现象。
2024-08-09 cs.CL
IndicEval-XL: Bridging Linguistic Diversity in Code Generation Across Indic Languages
Deutsche Telekom Digital Labs(德国电信数字实验室)
针对现有代码生成基准以英语为中心的问题,提出IndicEval-XL基准,覆盖6种印度语言和12种编程语言,旨在提升多语言代码生成评估的包容性,并公开数据集以促进研究。
2025-02-26 cs.CL cs.SE
Academic case reports lack diversity: Assessing the presence and diversity of sociodemographic and behavioral factors related to Post COVID-19 Condition
Dalla Lana School of Public Health, University of Toronto(多伦多大学达拉纳公共卫生学院);York University(约克大学);Vector Institute(矢量研究院);Public Health Ontario(安大略省公共卫生局)
本研究利用NLP技术分析COVID-19后遗症病例报告中的社会健康决定因素,构建语料库并评估NER模型,发现BERT优于RNN,且敏感类别代表性不足。
2025-02-24 cs.AI cs.CL
Limited Linguistic Diversity in Embodied AI Datasets
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Institute of Computer Science, University of Tartu(塔尔图大学计算机科学学院);Department of Mechanical Engineering, The University of Texas at Austin(德克萨斯大学奥斯汀分校机械工程系);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
本文分析了多个广泛使用的视觉-语言-动作数据集的语言特性,发现其指令存在高度重复和结构单一的问题,旨在推动更详细的 dataset 报告和语言覆盖的扩展策略。
2026-04-28 cs.AI cs.CL cs.RO
Losing our Tail, Again: (Un)Natural Selection & Multilingual LLMs
Research Centre for Cognitive Science & Artificial Intelligence(认知科学与人工智能研究中心);Department of Computational Cognitive Science(计算认知科学系);Tilburg University(蒂尔堡大学)
本文探讨多语言大语言模型中翻译技术导致语言多样性丧失的问题,指出模型崩溃可能使语言形式、语法特征和文化内涵消失,呼吁保护多语言多样性。
2026-04-23 cs.CL
Are LLMs Stable Formal Logic Translators in Logical Reasoning Across Linguistically Diversified Texts?
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China(认知智能国家重点实验室,中国科学技术大学);School of Computer Science and Technology, University of Science and Technology of China(计算机科学与技术学院,中国科学技术大学);School of Information Science and Technology, University of Science and Technology of China(信息科学与技术学院,中国科学技术大学)
本文提出SoLT基准测试和MenTaL方法,揭示LLMs在跨语言多样化文本中存在符号映射不一致问题,并通过增强语言多样性提升推理稳定性。
2026-01-30 cs.CL
Voice of a Continent: Mapping Africa's Speech Technology Frontier
The University of British Columbia(不列颠哥伦比亚大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Invertible AI
本文系统绘制非洲语音数据集与技术空间地图,提出综合基准 SimbaBench 和 Simba 模型家族,在多种非洲语言任务上取得最先进性能,并揭示资源、数据质量与语系关系对性能的影响。
2025-07-04 cs.CL
Where Are We? Evaluating LLM Performance on African Languages
The University of British Columbia(不列颠哥伦比亚大学);MBZUAI;Invertible AI(可逆AI)
本文通过Sahara基准系统评估大语言模型在非洲语言上的表现,揭示政策导致的数据不平等如何使多数本土语言被边缘化,并提出政策改革与包容性数据实践建议。
2025-06-03 cs.CL
Diversidade linguística e inclusão digital: desafios para uma ia brasileira
Departamento de Letras Vernáculas(本土语言系);Universidade Federal de Sergipe - UFS(塞尔希培联邦大学 - UFS)
本文探讨语言多样性在生成AI发展中的威胁,分析技术应用中多样性选择偏差的影响及标准化语言的恶性循环。
2024-11-02 cs.CL cs.CY
Cross-Linguistic Syntactic Difference in Multilingual BERT: How Good is It and How Does It Affect Transfer?
Fudan University(复旦大学);Max Planck Institute for Evolutionary Anthropology(马克斯·普朗克进化人类学研究所)
多语言BERT(mBERT)已经显示出相当大的跨语言句法能力,由此它能够实现句法知识的有效zero-shot跨语言迁移。有些语言之间的迁移比较成功,但尚不清楚是什么导致了这种差异,以及它是否公平地反映了语言之间的差异。在这项工作中,我们调查的语法关系的分布从mBERT在24个类型不同的语言的背景下。我们表明,不同语言的分布之间的距离是高度一致的语法差异的语言形式主义。这种通过自我监督学习的差异在zero-shot迁移中起着至关重要的作用,并且可以通过语言之间的形态句法特性的变化来预测。这些结果表明,mBERT正确地编码语言的方式与语言的多样性和跨语言迁移的机制提供了见解。
2022-12-21 cs.CL
Evaluating the Diversity, Equity and Inclusion of NLP Technology: A Case Study for Indian Languages
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
本文提出从多样性、公平性和包容性三个维度评估NLP技术的范式,引入基尼系数衡量语言间公平性,揭示印度语言技术的困境,并提出区域化建模与微调资源优化分配方法。
2023-04-12 cs.CL
Experiences Build Characters: The Linguistic Origins and Functional Impact of LLM Personality
University of Sheffield(谢菲尔德大学);University of Oklahoma(俄克拉荷马大学)
本研究通过持续预训练和大五人格框架,揭示了大语言模型人格的形成机制,发现模型能力在特定性格类型中表现最佳,并揭示了训练数据语言特征对推理性能的影响。
2026-03-06 cs.AI cs.CL
Sequence-to-Sequence Models for Data-to-Text Natural Language Generation: Word- vs. Character-based Processing and Output Diversity
Institute for Natural Language Processing (IMS)(自然语言处理研究所);Universität Stuttgart(斯图加特大学)
我们提出了一个基于单词和基于字符的序列到序列模型的数据到文本的自然语言生成,生成结构化输入的自然语言描述的比较。在最近两代挑战的数据集上,我们的模型实现了与最佳挑战提交相比相当或更好的自动评估结果。随后的详细统计和人工分析揭示了两种输入表示之间的差异以及生成文本的多样性。在一个由模板生成的合成训练数据的对照实验中,我们展示了神经模型学习模板的新组合的能力,从而超越了它们所训练的语言结构。
2018-10-11 cs.CL
BERnaT: Basque Encoders for Representing Natural Textual Diversity
HiTZ Center - Ixa, University of the Basque Country UPV/EHU(希茨中心 - Ixa,巴斯克国家大学UPV/EHU)
本文提出BERnaT模型,通过结合标准、社交媒体和历史文本构建新语料库,训练三种配置的编码器模型,评估框架区分标准和多样任务,结果表明混合训练模型在各类任务中表现更优。
2026-03-23 cs.AI cs.CL
Building and curating conversational corpora for diversity-aware language science and technology
Radboud University(拉德堡德大学);Centre for Language Studies(语言研究中心)
我们提出了一个分析管道和最佳实践指南,用于构建和策划不同语言的日常对话语料库。调查语言文档语料库和其他资源,涵盖67种语言和品种,从28门,我们描述了编译和策展过程,指定最小的属性的统一格式的international数据,并开发质量控制的方法,考虑到轮流和时间。两个案例研究显示了会话数据在以下方面的广泛用途:(i)绘制人类交互基础设施;(ii)跟踪当前ASR解决方案的挑战和机遇。语言多样性的会话语料库可以为语言科学提供新的见解,为语言技术提供更强的经验基础。
2022-05-10 cs.CL
Surprisal reveals diversity gaps in image captioning and different scorers change the story
Centre for Linguistic Theory and Studies in Probability (CLASP), Department of Philosophy, Linguistics and Theory of Science (FLoV), University of Gothenburg(语言理论与概率研究中心(CLASP)、哲学、语言学与科学理论系(FLoV)、哥德堡大学)
本文提出用意外度方差衡量图像描述多样性,发现不同评分器会反转人类与模型之间的多样性比较结论,强调多样性评估需采用多评分器报告。
2025-11-06 cs.CL
A study of conceptual language similarity: comparison and evaluation
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
本研究详细探讨并评估了基于基本概念表示的语言相似性新方法,并在二分类任务上验证了其有效性。
2023-05-22 cs.CL
LaiDA: Linguistics-aware In-context Learning with Data Augmentation for Metaphor Components Identification
School of Computer and Artificial Intelligence, Zhengzhou University(郑州大学计算机与人工智能学院)
针对隐喻成分识别的复杂性与语境依赖难题,提出融合语言学感知与数据增强的LaiDA框架,通过图注意力网络检索相似示例微调大语言模型,在NLPCC2024相关子任务中获第二名。
2024-08-10 cs.CL
RuBLiMP: Russian Benchmark of Linguistic Minimal Pairs
University of Edinburgh(爱丁堡大学);HSE University(高等经济大学);University of Groningen(格罗宁根大学);Ghent University(根特大学);SaluteDevices(SaluteDevices公司);Toloka AI(Toloka AI公司);University of Oslo(奥斯陆大学)
该研究构建含4.5万对句子的俄语最小对立体基准RuBLiMP,评估25个模型,揭示其在结构关系、否定、及物性和时态理解上仍落后于人类。
2024-10-01 cs.CL
Cheetah: Natural Language Generation for 517 African Languages
The University of British Columbia(不列颠哥伦比亚大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出了支持517种非洲语言的大规模多语言自然语言生成模型Cheetah,在六项下游任务中五项显著优于其他模型,促进了低资源语言NLP的发展。
2024-01-10 cs.CL
Beware of Words: Evaluating the Lexical Diversity of Conversational LLMs using ChatGPT as Case Study
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Universidad Politécnica de Madrid(马德里理工大学);Universidad de Valladolid(巴利亚多利德大学)
本文以ChatGPT为案例,提出评估对话式大语言模型生成文本词汇丰富度的方法,揭示词汇多样性受模型版本、参数(如存在惩罚)和角色设定的影响,并公开数据集与工具以推动相关研究。
2024-10-21 cs.CL
On the Amplification of Linguistic Bias through Unintentional Self-reinforcement Learning by Generative Language Models -- A Perspective
Chung-Ang University(中央大学)
本文探讨了生成式语言模型(GLMs)普及可能触发的无意自强化学习循环,该循环会放大语言偏见并影响人类语言与认知,权衡利弊后提出提升透明度等应对措施以保障技术公平使用与语言多样性。
2023-06-12 cs.AI cs.CL
Autoencoder-Based Framework to Capture Vocabulary Quality in NLP
University of Houston(休斯顿大学)
本文提出基于自编码器的框架,利用神经网络容量动态评估词汇丰富性、多样性和复杂性,弥补传统指标在上下文和语义捕捉上的不足,并在DIFrauD和Project Gutenberg数据集上验证了其鲁棒性。
2025-02-28 cs.CL
Bridging the Language Gap: Synthetic Voice Diversity via Latent Mixup for Equitable Speech Recognition
University of California Los Angeles, Department of Statistics(加州大学洛杉矶分校统计学系)
本文提出了一种通过潜在混合提升合成语音多样性的方法,以改善低资源语言的语音识别性能。
2025-11-25 cs.CL
Measuring Emotions in the COVID-19 Real World Worry Dataset
University College London(伦敦大学学院)
COVID-19疫情对全球社会及经济造成重大影响。随着各种封锁和社交距离措施的实施,大规模了解情绪反应变得非常重要。在本文中,我们提出了对COVID-19情绪反应的第一个地面实况数据集。我们要求参与者表明他们的情绪,并用文字表达出来。这导致了真实世界担忧数据集的5,000个文本(2,500个短文本+2,500个长文本)。我们的分析表明,情绪反应与语言措施。主题模型进一步揭示了英国人对家庭和经济状况的担忧。推特大小的文本起到了呼吁团结的作用,而较长的文本则揭示了担忧和关切。使用预测建模方法,我们能够从文本中近似参与者的情感反应,其实际值在14%以内。我们鼓励其他人使用数据集,并改进我们如何使用自动化方法来了解情绪反应和对紧急问题的担忧。
2020-05-14 cs.CL cs.IR cs.SI
What is "Typological Diversity" in NLP?
Aalborg University(奥尔堡大学);KU Leuven(鲁汶大学)
本文系统审视NLP中“类型学多样性”的语言选择主张,提出多维度指标衡量样本多样性,发现标准缺失、论文差异显著且偏斜选择会高估多语言性能。
2024-10-02 cs.CL
Large Language Models Approach Expert Pedagogical Quality in Math Tutoring but Differ in Instructional and Linguistic Profiles
African University of science and Technology(非洲科学与技术大学);University of Konstanz(康斯坦茨大学)
通过分析数学辅导对话数据集,比较专家、新手教师和七种大型语言模型的教学质量,发现大型语言模型平均接近专家水平,但在教学策略和语言特征上存在系统性差异。
2026-05-26 cs.CL cs.CY
Linguistic Monoculture in LLM-Assisted Language Use
该研究针对LLM辅助语言使用中的语言单一文化问题,构建数学框架分析作者与LLM的共同演化机制,发现个性化可保留语言多样性,且个体理性作者的过度一致性会产生负外部性。
2026-07-30 cs.AI cs.CL cs.GT
Leveraging Social Media Data for COVID-19 Studies
Faculty of Computing, University Malaysia Pahang(马来西亚乌拉大学 computing 学院);Faculty of Electronic Engineering Technology, University Malaysia Perlis(马来西亚霹雳大学电子工程技术学院)
本文探讨社交媒体在COVID-19大流行期间的作用,分类使用数据,介绍机器学习、特征工程、自然语言处理和调查方法,并指出未来研究方向。
2026-06-24 cs.CL cs.SI
Language Diversity across the Consonant Inventories: A Study in the Framework of Complex Networks
Microsoft Research India(微软印度研究院);Malaviya National Institute of Technology, Jaipur(斋浦尔马拉维亚国家理工学院)
在本文中,我们试图通过一个基于复杂网络的增长模型来解释世界上一些主要语系的辅音库存中存在的语言多样性的出现。这个模型只有一个参数,这意味着在其他基于偏好连接的生长过程中引入少量的随机性。使用该模型参数的实验表明,在一个家族内的语言中辅音的选择远比跨家族的选择更优先。这一结果的含义是双重的-(a)说话者天生倾向于获得某些语言结构,而不是其他语言结构;(b)共同的祖先促使一个家族内的语言之间的优先联系比跨家族的语言之间的优先联系更强。此外,我们的观察表明,这一参数可能承担的调查中的语言家族存在的时间相关。
2009-04-08 cs.CL physics.comp-ph physics.soc-ph