HSKBenchmark: Modeling and Benchmarking Chinese Second Language Acquisition in Large Language Models through Curriculum Tuning
HSKBenchmark通过课程调优构建首个中文SLA大语言模型基准，涵盖HSK 3-6级，提供教学文本、合成指令和评估系统，验证LLMs在写作和语法上的表现。
2025-11-19 cs.AI cs.CL
Paraphrase Acquisition from Image Captions
Bauhaus-Universität Weimar（魏玛包豪斯大学）；Friedrich-Schiller-Universität Jena（耶拿弗里德里希·席勒大学）；Leipzig University（莱比锡大学）
我们建议使用来自Web的图像标题作为以前未充分利用的资源进行释义（即，具有相同“消息”的文本）并创建和分析相应的数据集。当图像在Web上被重用时，通常会分配原始标题。我们假设，不同的标题为同一图像自然形成一组相互释义。为了证明这个想法的适用性，我们分析了英文维基百科中的标题，编辑经常为不同的文章重新标记相同的图像。本文介绍了底层的挖掘技术，由此产生的维基百科-IPC数据集，并比较已知的释义语料库的语法和语义的释义相似性，我们的新资源。在这种情况下，我们引入特征图沿两个相似性维度来识别来自不同来源的释义的风格。注释研究表明算法确定的特征图的高可靠性。
2023-02-15 cs.CL
Modeling the Developmental Shift in Telicity Acquisition
Michigan State University（密歇根州立大学）；University of South Carolina（南卡罗来纳大学）
本研究提出惊异度差异方法自动标注完结性，发现儿童依赖动词后限定词线索而成人依赖动词类别，支持句法引导的习得轨迹。
2026-09-17 cs.CL
The formation of perceptual space in early phonetic acquisition: a cross-linguistic modeling approach
The University of Hong Kong（香港大学）
本研究通过跨语言建模方法，利用自编码器在无上下文声学信息上进行无监督训练，发现母语与非母语条件能形成可比的感知空间表示，揭示了早期语音习得中感知空间与语音类别的形成机制。
2024-07-26 cs.CL cs.LG cs.SD
Generalizing Multimodal Pre-training into Multilingual via Language Acquisition
Renmin University of China（中国人民大学）
基于英语的视觉语言预训练（VLP）在各种下游任务中取得了巨大的成功。已经采取了一些努力，通过多语言视觉语言预训练（M-VLP）将这一成功推广到非英语语言。然而，由于语言数量庞大，M-VLP模型往往需要巨大的计算资源，并且不能灵活地扩展到新的语言。在这项工作中，我们提出了一个\textbf{M}多\textbf{L}语言\textbf{A}采集（MLA）框架，可以很容易地推广到多语言的单语视觉语言预训练模型。具体来说，我们设计了一个轻量级的语言习得编码器的基础上，最先进的单语VLP模型。我们进一步提出了一个两阶段的训练策略来优化语言习得编码器，即母语迁移阶段和语言暴露阶段。在使用更少的多语种训练数据和计算资源的情况下，我们的模型在多语种图像-文本和视频-文本检索基准测试中达到了最先进的性能。
2022-05-29 cs.AI cs.CL
Modeling Color Terminology Across Thousands of Languages
Johns Hopkins University（约翰斯·霍普金斯大学）
有一个广泛的学术史，什么构成了一个“基本”的颜色词，以及一个广泛证明的收购序列的基本颜色词在许多语言中，阐述了在柏林和凯（1969年）的开创性工作。本文采用了一套不同的措施，大量的跨语言数据的操作和批评柏林和凯的颜色词假设。总的来说，我们设计的14个基于语义的计算语言学指标-以及它们的聚合-与柏林和凯的基本/次要颜色项分区（伽马=0.96）及其假设的通用获取序列密切相关。测量和结果提供了来自计算语言学的进一步经验证据来支持他们的主张，以及额外的细微差别：他们建议将分区视为光谱而不是二分法。
2019-10-03 cs.CL
A Bayesian account of pronoun and neopronoun acquisition
本文提出基于nCRFP的概率图模型，用于建模代词和新代词的灵活获取，以实现对queer人群的尊重与灵活性。
2025-04-03 cs.CL
From Speech to Text Corpora: Evaluating ASR-Based Data Acquisition for Low-Resource Fongbe and Hausa
Carnegie Mellon University Africa（卡内基梅隆大学非洲分校）；North-West University（北开普大学）
研究利用ASR管道为低资源非洲语言Fongbe（声调语言）和豪萨语（非声调语言）扩展文本语料，通过微调MMS-300M和Whisper-Small模型，在Fongbe上实现9.48%的词错误率（相对降低78%），并评估转录质量，发现豪萨语接近可用而Fongbe需后处理。
2026-06-23 cs.AI cs.CL cs.LG
Language Independent Acquisition of Abbreviations
IBM Research（IBM研究院）
本文讨论了从纯非结构化文本中自动提取缩写词（包括首字母缩略词和缩写词）以及相应的长形式扩展。我们创建并将发布一个多语言资源，用于缩略语及其相应的扩展，通过利用维基百科重定向和消歧页面自动构建，可以用作评估的基准。我们解决了以前的工作中只使用重定向页面的缺点，所以每个缩写只有一个扩展，即使多个不同的扩展是可能的许多缩写。我们还开发了一个原则性的机器学习为基础的方法，使用不同的技术，如近义词，主题相关性和表面相似性的指标来评分扩展候选人。我们在七种语言中表现出了改进的性能，其中包括两种非拉丁字母，相对于强基线。
2017-09-23 cs.CL
Temporal Common Sense Acquisition with Minimal Supervision
University of Pennsylvania（宾夕法尼亚大学）；Allen Institute for AI（艾伦人工智能研究所）
时间常识（例如，事件的持续时间和频率）对于理解自然语言至关重要。然而，它的获取是具有挑战性的，部分原因是这些信息往往没有明确地表达在文本中，并且人类对这些概念的注释是昂贵的。这项工作提出了一种新的序列建模方法，利用显式和隐式提到的时间常识，从一个大型语料库中提取，建立TACOLM，时间常识语言模型。我们的方法被证明是给质量预测的各种维度的时间常识（UDST和一个新收集的数据集从RealNews）。它还产生表示的相关任务，如持续时间比较，父子关系，事件相互引用和时间QA（在TimeBank，HiEVE和MCTACO），比使用标准的BERT更好。因此，它将是时态NLP的重要组成部分。
2020-05-08 cs.CL
Towards Interactive Language Modeling
University of Amsterdam（阿姆斯特丹大学）；Meta AI Labs（Meta人工智能实验室）
照顾者和儿童之间的互动在人类语言习得和发展中起着至关重要的作用。鉴于这一观察结果，显式交互在人工语言建模中几乎没有作用是值得注意的-这也是针对人类语言的习得，但通过人工模型。此外，语言建模的交互式方法有可能使语言模型变得更加通用，并对下游应用产生相当大的影响。出于这些考虑，我们开拓了交互式语言建模的空间。作为第一个贡献，我们提出了一个路线图，我们在其中详细说明了需要采取的步骤，以实现交互式语言建模。然后，我们以身作则，在这一路线图上迈出第一步，展示我们方法的初步可行性。因此，这项工作旨在成为交互式语言建模更大研究议程的开始。
2022-09-28 cs.AI cs.CL
Acquisition of Translation Lexicons for Historically Unwritten Languages via Bridging Loanwords
The College of New Jersey（新泽西学院）；The Ohio State University（俄亥俄州立大学）
随着社交媒体等非正式电子通信的出现，历史上不成文的口语第一次在代码转换严重的环境中被写入。我们提出了一种方法，通过使用专家知识，在这些设置中，有大约为零的资源以外的语言线人，甚至可能没有大量的单语数据的翻译词典的部分。我们调查诱导摩洛哥Darija英语翻译词汇通过法语借词桥接到英语，并发现一个有用的词汇诱导人工辅助翻译和统计机器翻译。
2017-08-20 cs.CL
Understanding Cross-Domain Adaptation in Low-Resource Topic Modeling
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文针对低资源主题建模提出域适应框架 DALTA，通过共享编码器、专用解码器与对抗对齐实现选择性知识迁移，并以泛化界和实验证明其性能优势。
2025-06-09 cs.CL
The Importance of Context in Very Low Resource Language Modeling
Center for Language and Cognition（语言与认知中心）；University of Groningen（格罗宁根大学）
本文研究了非常低资源的语言模型预训练，当少于10万个句子。我们发现，在资源非常少的情况下，统计n-gram语言模型的性能优于最先进的神经模型。我们的实验表明，这主要是由于前者的重点放在当地的情况下。因此，我们引入了三种方法来提高神经模型在低资源环境中的性能，发现限制模型的自我注意力是最有效的方法，对于我们测试的语言：英语，印地语和土耳其语，NLI和POS标记等下游任务的改进高达5%。
2022-05-10 cs.CL
Low Resourced Machine Translation via Morpho-syntactic Modeling: The Case of Dialectal Arabic
New York University Abu Dhabi（纽约大学阿布扎比分校）；Ohio State University（俄亥俄州立大学）；Carnegie Mellon University Qatar（卡内基梅隆大学卡塔尔分校）
我们提出了第二次评估阿拉伯语方言到方言的机器翻译的努力，第一次利用外部资源超出了一个小的平行语料库。由于缺乏自然发生的平行数据，这个问题以前没有得到认真的关注;但它的重要性是由方言阿拉伯语的广泛使用和方言间变异的广度所证明的，与罗曼语相当。我们的研究结果表明，建模的形态和语法显着提高方言到方言的翻译，虽然优化这样的数据稀疏模型需要考虑方言之间的语言差异和可用数据和资源的性质。在单参考盲测试集上，未翻译的输入得分为6.5 BLEU，仅在并行数据上训练的模型达到14.6，枢轴技术和形态句法建模将性能显着提高到17.5。
2017-12-18 cs.CL
Towards Collaborative Plan Acquisition through Theory of Mind Modeling in Situated Dialogue
University of Michigan（密歇根大学）；Massachussets Institute of Technology（麻省理工学院）
本文研究情境对话中的协作计划获取问题，提出基于感知和对话历史预测自身及伙伴缺失知识的计算策略，发现预测伙伴缺失知识并显式建模其对话行为与心智状态效果更优。
2023-05-18 cs.AI cs.CL cs.CV
When Is Multilinguality a Curse? Language Modeling for 250 High- and Low-Resource Languages
University of California San Diego（加利福尼亚大学圣迭戈分校）
本研究通过预训练超过10,000个模型覆盖250多种语言，发现适度添加多语言数据可提升低资源语言建模性能（相当于数据增加33%），但高资源语言性能下降，且数据过多时因模型容量限制产生“多语言诅咒”，表明针对性模型更优。
2023-11-15 cs.CL
Tracing Multilingual Knowledge Acquisition Dynamics in Domain Adaptation: A Case Study of English-Japanese Biomedical Adaptation
The University of Tokyo（东京大学）；National Institute of Informatics（日本信息机构）；Institute of Industrial Science, The University of Tokyo（东京大学工业科学研究所）
本研究通过提出自适应评估方法AdaXEval，追踪LLM在多语言领域适应中的知识获取动态，发现跨语言迁移在英日生物医学场景下仍具挑战性。
2025-10-14 cs.CL
MELM: Data Augmentation with Masked Entity Language Modeling for Low-Resource NER
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Nanyang Technological University（南洋理工大学）
数据增强是解决低资源情景下数据稀缺问题的有效办法。然而，当应用于令牌级任务，如NER，数据增强方法往往遭受令牌标签错位，这导致不满意的性能。在这项工作中，我们提出了掩蔽实体语言建模（MELM）作为一种新的数据增强框架低资源NER。为了缓解标记标签不对齐的问题，我们显式地将NER标签注入到句子上下文中，因此微调的MELM能够通过显式地调节它们的标签来预测掩蔽的实体标记。因此，MELM生成具有新实体的高质量增强数据，这提供了丰富的实体规则性知识并提高了NER性能。当来自多种语言的训练数据可用时，我们还将MELM与代码混合集成以进一步改进。我们证明了MELM在单语，跨语言和多语言NER在各种低资源水平的有效性。实验结果表明，我们的MELM提出了实质性的改善基线方法。
2022-03-18 cs.CL
Low-resource neural machine translation with morphological modeling
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出一种面向低资源神经机器翻译的形态建模框架，采用双层Transformer编码形态信息、多任务多标签训练与束搜索解码，并通过注意力增强集成预训练语言模型及数据增强，在基尼亚卢旺达语—英语翻译上取得与大型多语言模型相当的竞争力。
2024-04-03 cs.CL
Project MOSLA: Recording Every Moment of Second Language Acquisition
Octanove Labs（奥克塔诺夫实验室）；Earth Species Project（地球物种项目）；Mantra Inc.（曼特拉公司）
Project MOSLA构建了一个纵向、多模态、多语言且受控的第二语言习得数据集，通过两年在线教学录制并半自动标注，揭示了学习者语言能力发展规律及多模态焦点检测潜力，为相关研究提供宝贵资源。
2024-03-26 cs.CL
Leveraging Twitter for Low-Resource Conversational Speech Language Modeling
University of Washington（华盛顿大学）
在涉及会话语音的应用中，数据稀疏性是构建更好的语言模型的限制因素。我们提出了一种简单的，独立于语言的方法，可以快速从Twitter中收集大量数据，以补充与该领域更紧密匹配的较小训练集。这些技术导致四种低资源语言的困惑显着减少，即使这些语言在Twitter上的存在相对较小。我们还发现，Twitter的文本是更有用的学习词类比域中的文本，使用这些词类导致进一步减少困惑。此外，我们介绍了一种方法，使用社会和文本信息，优先级的下载队列在Twitter的爬行。这最大化了可以收集的有用数据的数量，影响了困惑度和词汇覆盖率。
2015-04-09 cs.CL
Islamic Large Language Models: From Knowledge Acquisition to Trustworthy and Hallucination-Resistant AI
Paris Dauphine University（巴黎多芬纳大学）
综述伊斯兰大语言模型领域，提出构建可信、抗幻觉的伊斯兰AI需结合阿拉伯语NLP、检索增强生成、教法学派推理及专家评估等关键技术。
2026-06-16 cs.CL
Modeling the Graphotactics of Low-Resource Languages Using Sequential GANs
Haverford College（哈弗福德学院）；University of Pennsylvania（宾夕法尼亚大学）
生成对抗网络（GANs）已被证明有助于在难以获得大量真实数据的情况下创建人工数据。这个问题在计算语言学领域尤为突出，研究人员经常被要求对低资源语言的复杂形态和语法过程进行建模。本文将讨论一个GAN的实现和测试，该GAN试图仅使用100个示例字符串来建模和再现语言的图形策略。这些人工的，但符合图形学的字符串是为了帮助建模低资源语言的形态变化。
2022-10-26 cs.CL cs.LG
Deep Bayesian Active Learning for Preference Modeling in Large Language Models
University of Oxford（牛津大学）
针对大语言模型偏好标注成本高的问题，提出新型贝叶斯主动学习策略BAL-PM，通过兼顾高不确定性样本与提示分布熵减少冗余采集，实验显示其所需标签量较现有方法降低33%-68%。
2024-10-28 cs.CL cs.LG stat.ML
Neural Variational Learning for Grounded Language Acquisition
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
我们提出了一个学习系统，其中语言是基于视觉感知没有特定的预定义类别的条款。我们提出了一个统一的生成方法来获取共享的语义/视觉嵌入，使语言学习的范围广泛的现实世界的对象。我们通过预测对象的语义并比较神经和非神经输入的性能来评估这种学习的有效性。我们发现，这种生成方法在低资源设置下，在没有预先指定视觉类别的情况下，在语言基础方面表现出很好的效果。我们的实验表明，这种方法是通用的多语言，高度多样化的数据集。
2021-07-20 cs.AI cs.CL cs.LG
Automating Knowledge Acquisition for Content-Centric Cognitive Agents Using LLMs
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出一种利用大语言模型自动扩充认知智能体语义词典的方法，通过混合架构结合知识库与LLM，成功学习与及物动词等价的多词表达式，验证了其有效性。
2023-12-27 cs.AI cs.CL
Visually Grounded Speech Models for Low-resource Languages and Cognitive Modelling
Stellenbosch University（斯泰伦博斯大学）
本文研究视觉接地语音模型在低资源语言少样本关键词定位中的应用，并分析其互斥性偏置，发现多语性对该偏置的影响与儿童不同。
2024-09-03 cs.CL cs.CV
Computational modeling of early language learning from acoustic speech and audiovisual input without linguistic priors
本文提出了一种从语音和视听输入中无语言先验进行早期语言学习的计算建模方法，展示了自监督和视觉基础模型在学习语音特征方面的有效性，并探讨了这些模型与婴儿语言发展实证发现的联系。
2026-03-11 cs.AI cs.CL eess.AS
Bridging the Knowledge Void: Inference-time Acquisition of Unfamiliar Programming Languages for Coding Tasks
State Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学，中国）；National Institute of Healthcare Data Science, Nanjing University, China（健康数据科学国家研究院，南京大学，中国）
本文提出ILA-agent框架，通过推理时动态交互获取不熟悉编程语言，提升编码任务性能。
2026-01-16 cs.AI cs.CL cs.LG
Efficient neural speech synthesis for low-resource languages through multilingual modeling
ReadSpeaker（ReadSpeaker公司）
神经TTS的最新进展导致了可以产生高质量合成语音的模型。然而，这些模型通常需要大量的训练数据，这使得产生具有所需质量的新语音的成本很高。虽然多说话人建模可以减少新语音所需的数据要求，但这种方法通常不适用于许多缺乏丰富多说话人数据的低资源语言。因此，在本文中，我们研究了多语言多说话者建模在多大程度上可以替代单语多说话者建模，并探讨了如何将外语数据与低资源语言数据最好地结合起来。我们发现多语言建模可以增加低资源语言语音的自然度，表明多语言模型可以产生与单语多说话者模型相当的自然度，并看到目标语言自然度受到用于添加外语数据的策略的影响。
2020-08-20 cs.CL cs.SD eess.AS
Unsupervised Language Acquisition
本文提出了一种无监督语言习得的计算理论，精确地定义了从普通的口语或书面语中学习语言的过程，没有老师的明确帮助。该理论在很大程度上基于从机器学习和统计估计中借用的概念。特别是，学习是通过将语言的随机生成模型与证据相匹配来进行的。本文的大部分内容都致力于解释这种一般学习策略达到语言学上理想的语法所必须具备的条件。本文介绍了各种技术创新，其中包括一个共同的证据和语法表示，和一个学习策略，分离的“内容”的语言参数从他们的表示。基于它的算法很少遇到困扰其他语言习得计算方法的搜索问题。该理论已被测试的问题，学习词汇和语法，从未分割的文本和连续的语音，和声音之间的映射和表示的意义。它在各种客观标准上都表现得非常好，获得的知识使它能够像人类一样为话语分配几乎完全相同的结构。这项工作已应用于数据压缩，语言建模，语音识别，机器翻译，信息检索，以及其他依赖于语言的结构或随机描述的任务。
1996-11-12 cmp-lg cs.CL
Evaluating Neural Language Models as Cognitive Models of Language Acquisition
University of Pennsylvania（宾夕法尼亚大学）；Stony Brook University（石溪大学）
本文指出现有神经语言模型语法能力评估基准不够严谨，建议使用经过严格评估的语料库以更准确研究语言习得机制。
2023-10-31 cs.AI cs.CL
Multilingual bottleneck features for subword modeling in zero-resource languages
University of Edinburgh（爱丁堡大学）
我们如何有效地为没有转录数据的语言开发语音技术？许多现有的方法根本不使用注释资源，但是利用来自其他语言的大型注释语料库的信息是有意义的，例如以从监督语音识别系统获得的多语言瓶颈特征（BNF）的形式。在这项工作中，我们评估的好处BNF的子词建模（特征提取）在六个看不见的语言上的一个字的歧视任务。首先，我们建立了一个强大的无监督基线结合现有的两种方法：声道长度归一化（VTLN）和对应的自动编码器（cAE）。然后，我们表明，在一种语言上训练的BNF已经超过了这个基线;包括多达10种语言会带来额外的改进，这是仅仅从一种语言中添加更多数据所无法比拟的。最后，我们表明，cAE可以进一步提高的BNF，如果高质量的相同的词对。
2018-06-18 cs.CL eess.AS
The Zero Resource Speech Benchmark 2021: Metrics and baselines for unsupervised spoken language modeling
Facebook AI Research（Facebook人工智能研究院）；EHESS（社会科学高等学院）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）
我们引入了一个新的无监督任务，口语建模：从没有任何标签的原始音频信号中学习语言表示，以及零资源语音基准2021：一套4个黑盒，zero-shot指标，在4个语言水平上探索学习模型的质量：语音，词汇，语法和语义。我们展示了由三个无监督系统串联而成的复合基线的结果和分析：自监督对比表示学习（CPC），聚类（k-means）和语言建模（LSTM或BERT）。语言模型基于从聚类学习的表示导出的伪文本进行学习。这个简单的流水线在所有四个指标上都表现出了优于机会的性能，证明了从原始语音进行口语建模的可行性。与在相同数据上训练的基于文本的“背线”系统相比，它的性能也更差，描绘了由更复杂的端到端模型探索的空间。
2020-12-01 cs.CL cs.SD eess.AS
Exploiting Cross-Lingual Knowledge in Unsupervised Acoustic Modeling for Low-Resource Languages
The Chinese University of Hong Kong（香港中文大学）
本文研究了零资源环境下的自动语音识别（ASR）的无监督声学建模（UAM）问题。UAM不仅在解决ASR技术发展中数据稀缺的普遍问题方面非常重要，而且对于许多非主流应用也至关重要，例如语言保护，语言习得和病理性言语评估。本研究集中在两个研究问题。第一个问题涉及在给定语言中的基本（子字级）语音单元的无监督发现。在零资源条件下，可以仅从声学信号推断语音单元，而不需要或涉及任何语言方向和/或约束。第二个问题被称为无监督子字建模。从本质上讲，需要从未转录的语音中学习帧级特征表示。学习的特征表示是子词单元发现的基础。期望它是语言上有区别的，并且对非语言因素是鲁棒的。特别是广泛使用的跨语言知识的子词单元发现和建模是本研究的重点。
2020-07-29 cs.CL cs.SD eess.AS
