Competency Tracking for English as a Second or Foreign Language Learners
我的系统利用Moodle和其他学习内容管理系统(LCMS)中的成果功能来跟踪学生掌握的语言能力以及他们想要达到的目标所需的能力。这些能力是基于(英语)语言学习的共同欧洲框架。这些数据可以提供给每个人参与一个给定的学生的进步(例如教育工作者,家长,监督员和学生自己)。一个特定学生过去的成就记录也可以与他的同学相结合。不仅学生的能力很容易看到和跟踪,教育工作者可以查看一组学生的能力,在班级注册之前实现。这将使教育工作者更容易和更有效地制定课程决策。
2013-06-26 cs.CL
Good Examples Make A Faster Learner: Simple Demonstration-based Learning for Low-resource NER
University of Southern California(南加州大学);Sony Group Corporation(索尼集团公司)
近年来,基于完形填空的学习方法在Few-Shot文本分类中取得了很好的效果。在命名实体识别(NER)上已经进行了类似的尝试,其手动设计模板以预测句子中每个文本跨度的实体类型。然而,这样的方法可能遭受由实体跨度检测引起的错误传播、由于枚举所有可能的文本跨度而导致的高成本、以及省略句子中的标记标签之间的相互依赖性。在这里,我们提出了一个简单的示范为基础的学习方法NER,它让输入由任务演示为上下文学习。我们进行了一个系统的研究演示策略包括什么(实体的例子,有或没有周围的上下文),如何选择的例子,以及使用什么样的模板。域内学习和领域自适应的结果表明,模型在低资源环境中的性能可以通过适当的演示策略(例如,在25个训练实例上提高4-17%)。我们还发现,良好的示范可以节省许多标记的例子和一致性的示范有助于更好的性能。
2022-03-31 cs.CL
No Such Thing as a General Learner: Language models and their dual optimization
PSL University(PSL大学);EHESS(高等社会科学研究学院);CNRS(法国国家科学研究中心);ENS(巴黎高等师范学院);University of Cape Town(开普敦大学);University of Bristol(布里斯托尔大学)
本文论证人类与LLM均非一般学习者,提出LLM遵循训练优化与类自然选择双重优化过程,并指出其表现难以直接裁决人类认知偏见在语言中的重要性。
2024-08-21 cs.CL
What learning algorithm is in-context learning? Investigations with linear models
Google Research(谷歌研究院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Stanford University(斯坦福大学)
探究transformers上下文学习机制,提出并验证其隐式实现标准学习算法的假设,证明其能通过梯度下降、岭回归等算法构建预测器,并在算法层面具备可理解性。
2023-05-17 cs.CL cs.LG
Error-Supervised Synthetic Learner Writing for Automated Essay Scoring
University of Greenwich(格林威治大学);FPT University(FPT大学)
本研究提出一种错误监督的合成作文生成方法,通过微调LLM生成器于错误标注文本,在较大数据下优于常规合成基线,并产生类似学习者的错误分布。
2026-09-22 cs.CL
LLMs are Frequency Pattern Learners in Natural Language Inference
University of Edinburgh(爱丁堡大学);HKUST(香港科技大学)
本文发现LLMs在NLI微调中通过学习数据集的频率模式来提升推理性能,揭示了其对频率偏差的依赖及与文本蕴含的相关性。
2025-05-27 cs.CL
Instruction Pre-Training: Language Models are Supervised Multitask Learners
Microsoft Research(微软研究院);Tsinghua University(清华大学)
针对有监督多任务学习的潜力,本文提出指令预训练框架,通过开源模型构建的高效合成器生成2亿条指令-响应对增强语料库预训练语言模型,实验表明其能增强基础模型、提升指令调优收益,还能让Llama3-8B媲美甚至超越Llama3-70B。
2024-11-28 cs.CL
Language Models Are Poor Learners of Directional Inference
University of Edinburgh(爱丁堡大学);Google Research(谷歌研究院)
我们通过带有提示的监督微调来检验LM的方向谓词蕴涵能力。我们的分析表明,与他们在标准NLI上的明显成功相反,LM在学习这种方向性推理方面表现出有限的能力;此外,现有的数据集无法测试方向性,和/或被可以作为蕴涵代理学习的伪影所感染,从而产生过于乐观的结果。作为回应,我们提出了BoOQA(布尔开放QA),一个强大的多语言评估基准的方向谓词蕴涵,外在于现有的训练集。在BoOQA上,我们建立了基线,并显示了现有LM提示模型是不称职的方向蕴涵学习者的证据,与蕴涵图相反,但受稀疏性限制。
2022-10-14 cs.CL
Accidental Learners: Spoken Language Identification in Multilingual Self-Supervised Models
NVIDIA(英伟达)
在本文中,我们通过在多语言预训练范例中试验基于Conformer的架构,扩展了以前的自监督语言识别方法。我们发现,预先训练的语音模型最佳编码语言歧视性信息在较低的层。此外,我们证明了从这些层获得的嵌入对于分类看不见的语言和不同的声学环境是非常鲁棒的,而无需额外的训练。在VoxLingua107数据集上对预训练的Conformer模型进行微调后,我们获得了与当前最先进的语言识别系统相似的结果。此外,我们的模型用少5倍的参数实现了这一点。我们通过NVIDIA NeMo工具包开源了该模型。
2023-03-13 cs.CL cs.SD eess.AS
Naturally Supervised 3D Visual Grounding with Language-Regularized Concept Learners
Stanford University(斯坦福大学)
本文提出语言正则化概念学习器LARC,利用从大语言模型蒸馏的语言约束正则化神经符号学习,在仅用3D场景和问答对的自然监督设置下提升3D视觉定位与推理性能。
2024-04-30 cs.AI cs.CL cs.CV
Large Language Model Augmented Exercise Retrieval for Personalized Language Learning
Georgia Institute of Technology(佐治亚理工学院);Duolingo(多邻国公司)
针对在线语言学习中的零样本个性化习题检索,本文提出 mHyER,利用大语言模型将学习者输入生成假设性习题以弥合语义鸿沟,并在两个新基准上超过强基线。
2024-02-08 cs.AI cs.CL cs.IR
QS-TTS: Towards Semi-Supervised Text-to-Speech Synthesis via Vector-Quantized Self-Supervised Speech Representation Learning
Chinese University of Hong Kong(香港中文大学);Xiaohongshu(小红书)
QS-TTS通过向量量化自监督语音表征学习,利用无标签音频降低监督数据需求,提升半监督TTS质量,在低资源场景下取得最优性能。
2023-08-31 cs.CL cs.SD eess.AS
LLMs Are In-Context Bandit Reinforcement Learners
Cornell University(康奈尔大学);EPFL(洛桑联邦理工学院);Harvard University(哈佛大学)
本文研究LLM能否基于外部奖励进行在线上下文赌博机强化学习,通过500M至70B模型的分类实验验证ICRL能力,并分析其稳定性、标签形式、扩展趋势及错误推理局限。
2025-09-29 cs.AI cs.CL cs.LG
What artificial intelligence might teach us about the origin of human language
Nagoya University of Business and Commerce(名古屋商科大学)
这项研究探讨了一个有趣的模式,从研究中出现的结合人工智能与声音象征。在这些研究中,监督机器学习算法被训练成基于所指名称的声音对样本进行分类。机器学习算法是声音符号的有效学习者,但它们倾向于偏向一个类别。模式是这样的:当一个类别可以说代表更大的威胁时,算法往往会对该类别进行过度预测。一个假设,错误管理理论框架,提出建议,这可能是适应偏好谨慎行为的证据。通过构建极端梯度提升(XGBoost)模型,使用的声音,使中国,日本和韩国的口袋妖怪的名字和观察分类误差分布,这一假设进行了测试。
2023-01-15 cs.CL cs.LG cs.SD