The Shape of Addition: Geometric Structures of Arithmetic in Large Language Models
University of Science and Technology of China(中国科学技术大学)
通过分析多操作数加法中残差流的几何结构,发现等原始和轨迹(IRST)并建立噪声量化模型,将算术错误解释为由内部神经噪声引起的几何滑移,并利用几何一致性检查方法检测和纠正量化失败。
2026-05-29 cs.AI cs.LG
Pre-trained Large Language Models Use Fourier Features to Compute Addition
University of Southern California(南加州大学)
本文揭示预训练LLM利用傅里叶特征计算加法,MLP用低频特征近似数值大小,注意力层用高频特征执行模加法,证明预训练表示能解锁Transformer学习精确算法机制的能力。
2024-06-05 cs.CL cs.LG
Architecture of a Web-based Predictive Editor for Controlled Natural Language Processing
Macquarie University(麦考瑞大学)
在本文中,我们描述了一个基于Web的预测文本编辑器正在开发的控制自然语言彭$^{ASP)$的体系结构。这种受控语言可用于编写非单调规范,其表达能力与答案集程序相同。为了支持这些规范的编写过程,预测文本编辑器与受控的自然语言处理器异步通信,该受控的自然语言处理器为规范文本的作者生成先行类别和附加辅助信息。文本编辑器可以为不同的可能的句子完成、照应表达式同时显示多组先行类别,并支持向词典中添加新的内容词。
2014-06-27 cs.AI cs.CL
Addressing Hallucinations in Language Models with Knowledge Graph Embeddings as an Additional Modality
Institute for Clarity in Documentation(文献清晰研究所);Inria Paris-Rocquencourt(法国国家信息与自动化研究所巴黎-罗康校区);Rajiv Gandhi University(拉吉夫·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕尔默研究实验室)
本研究提出将知识图谱嵌入作为额外模态,通过训练适配器整合到语言模型中,无需外部检索与模型微调,构建了含300万样本的WikiEntities数据集,在多个基准上验证了其减少大语言模型幻觉、提升事实准确性的效果。
2025-01-14 cs.AI cs.CL
Scaling Multilingual Mixture-of-Experts: How Language Coverage Changes Capacity and Compute Allocation
Paderborn University(帕德博恩大学);Heinz Nixdorf Institute(海因茨·尼克斯多夫研究所);Data Science Group(数据科学组)
针对多语言模型新增语言可能损害现有语言性能的问题,提出感知重复的联合缩放定律,发现混合专家模型可降低语言扩展的损失惩罚,为多语言模型扩展的容量分配提供指导。
2026-10-22 cs.CL cs.LG
Taxation Perspectives from Large Language Models: A Case Study on Additional Tax Penalties
University of Seoul(首尔大学)
研究探讨大语言模型在税收领域的能力,通过PLAT基准测试发现其在复杂法律推理任务中表现有限。
2026-02-08 cs.AI cs.CL
Explaining Tree Model Decisions in Natural Language for Network Intrusion Detection
University of Notre Dame(圣母大学)
本文研究利用大语言模型为网络入侵检测中的决策树模型生成自然语言解释,并提出基于自动生成测验问题的人工评估框架,证明LLM解释在可读性、质量和背景知识运用上与人类评分高度相关,同时提升对决策边界的理解。
2023-10-30 cs.AI cs.CL
Regex-augmented Domain Transfer Topic Classification based on a Pre-trained Language Model: An application in Financial Domain
Manulife(宏利金融);University of Waterloo(滑铁卢大学)
本文提出在金融领域文本分类中,将正则表达式模式作为领域知识特征引入预训练语言模型微调过程,并结合注意力网络,实验证明该方法优于仅用领域文本微调和线性层的方法。
2023-05-23 cs.AI cs.CL
An Augmented Transformer Architecture for Natural Language Generation Tasks
Hong Kong Applied Science and Technology Research Institute Company Limited(香港应用科技研究院有限公司);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
基于Transformer的神经网络由于其固有的基于结构的优势,在各种自然语言处理和其他序列到序列任务的大多数评估中显示出显著的优势。尽管人们一直在探索Transformer的主要架构,但很少关注位置编码模块。在本文中,我们通过最大化编码的连续位置之间的方差来增强正弦位置编码算法以获得额外的提升。此外,我们提出了一种增强的Transformer架构,该架构编码有额外的语言知识,例如词性(POS)标记,以提高某些自然语言生成任务的性能,例如,自动翻译和摘要任务。实验表明,该架构达到不断优于香草相比,Transformer的结果。
2019-10-30 cs.CL cs.LG
Reservoir Computing inspired Matrix Multiplication-free Language Model
Graduate School of Life Science and Systems Engineering, Kyushu Institute of Technology, Japan(九州工学技术大学生命科学与系统工程研究生院);Research Center for Neuromorphic AI Hardware, Kyushu Institute of Technology, Japan(九州工学技术大学神经形态人工智能硬件研究中心)
本研究提出一种受回声计算启发的无矩阵乘法语言模型,通过共享权重和优化内存访问,有效降低计算成本并提升效率。
2025-12-29 cs.AI cs.CL
Rows from Many Sources: Enriching row completions from Wikidata with a pre-trained Language Model
Microsoft Research(微软研究院);Harbin Institute of Technology(哈尔滨工业大学)
行补全是用额外的相关行来扩充给定的文本和数字表的任务。该任务分为两个步骤:主题建议,填充主列的任务;和空白填充,填充其余列的任务。我们提出了国家的最先进的结果为主题的建议和差距填补衡量的标准基准(WikiTables)。我们的想法是通过和谐地结合知识库表解释和自由文本生成来解决这个任务。我们使用知识库来解释表,以建议新的行并通过属性链接生成像标题这样的元数据。为了提高候选人的多样性,我们通过GPT-3使用自由文本生成来合成额外的行,并且至关重要的是,我们利用我们解释的元数据来产生更好的文本生成提示。最后,我们验证了额外的合成内容可以链接到知识库或可信的网络源,如维基百科。
2022-04-14 cs.AI cs.CL
Rethinking with Retrieval: Faithful Large Language Model Inference
University of Rochester(罗切斯特大学);Tencent AI Lab(腾讯人工智能实验室);University of Pennsylvania(宾夕法尼亚大学)
尽管大语言模型(LLM)在各种自然语言处理(NLP)任务中取得了成功,但这些模型中存储的知识可能不可避免地不完整,过时或不正确。这促使需要利用外部知识来帮助LLM。不幸的是,目前纳入外部知识的方法往往需要额外的培训或微调,这可能是昂贵的,可能是不可行的法学硕士。为了解决这个问题,我们提出了一种新的后处理方法,重新思考与检索(RR),检索相关的外部知识的基础上得到的分解推理步骤的思想链(CoT)提示。这种轻量级方法不需要额外的训练或微调,也不受LLM输入长度的限制。我们评估RR的有效性,通过广泛的实验与GPT-3三个复杂的推理任务:常识推理,时间推理,表格推理。我们的研究结果表明,RR可以产生更忠实的解释,并提高LLM的性能。
2022-12-31 cs.AI cs.CL
The Wisdom of Hindsight Makes Language Models Better Instruction Followers
University of California, Berkeley(加州大学伯克利分校)
强化学习在微调大语言模型以通过人类反馈更好地与指令保持一致方面取得了广泛的成功。所谓的算法,强化学习与人类反馈(RLHF)证明了GPT系列模型令人印象深刻的性能。然而,底层的强化学习(RL)算法很复杂,需要额外的奖励和价值网络训练管道。在本文中,我们考虑一种替代方法:通过重新标记原始反馈并以监督方式训练模型以更好地对齐,将反馈转换为指令。这种算法除了原始语言模型外不需要任何额外的参数,并且最大限度地重用了预训练管道。为了实现这一点,我们制定指令对齐问题的语言模型作为一个目标达成的问题,在决策。我们提出了后见之明指令重标记(HIR),一种新的算法对齐语言模型与指令。由此产生的两阶段算法揭示了一个家庭的奖励免费的方法,利用事后重新标记的指示的基础上的反馈。我们在12个具有挑战性的BigBench推理任务上广泛评估了HIR的性能,并表明HIR优于基线算法,与监督微调相当甚至超过监督微调。
2023-02-10 cs.AI cs.CL
Understanding Prior Bias and Choice Paralysis in Transformer-based Language Representation Models through Four Experimental Probes
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所)
最近在基于transformer的神经网络上的工作已经在多选择自然语言理解(NLU)问题上取得了令人印象深刻的进展,例如问答(QA)和溯因推理。尽管取得了这些进展,但在理解这些模型是否以足够稳健的方式对受干扰的多项选择实例做出响应,从而使它们在现实世界中值得信赖方面,工作仍然有限。我们提出了四个混淆探针,灵感来自于行为科学界首次发现的类似现象,以测试先验偏见和选择麻痹等问题。在实验中,我们使用四个已建立的基准数据集探测了一个广泛使用的基于transformer的多选NLU系统。在这里,我们表明,该模型表现出显着的先验偏差和较小的,但仍然非常显着的程度,选择瘫痪,除了其他问题。我们的研究结果表明,更强的测试协议和额外的基准可能是必要的,在语言模型用于面向前端的系统或决策与现实世界的后果。
2022-10-03 cs.AI cs.CL
Improving Training Efficiency and Reducing Maintenance Costs via Language Specific Model Merging
Qualtrics(Qualtrics公司);George Mason University(乔治·马歇尔大学)
本文提出通过语言特定模型合并提升训练效率并降低维护成本,展示在多语言任务中显著减少训练时间和成本的方法。
2026-01-23 cs.AI cs.CL
Knowledge of Pretrained Language Models on Surface Information of Tokens
Tokyo Institute of Technology(东京工业大学);Fujitsu Limited(富士通公司)
本文考察了12个英日预训练语言模型对词元长度、子串和构成等表层信息的掌握与生成能力,发现模型了解长度和子串但不了解构成,并指出解码器端存在知识利用瓶颈。
2024-02-22 cs.CL
Learn and Don't Forget: Adding a New Language to ASR Foundation Models
ALTA Institute, Machine Intelligence Lab, Department of Engineering, Cambridge University, UK
研究向ASR基础模型添加新语言同时保持原语言性能的方法,比较了软语言代码调优、软提示调优、LoRA和EWC等策略,发现直接微调效果最好但有损原语言能力,EWC能针对特定语言平衡此问题,仅用适应参数可维持原能力但新语言性能受限。
2024-09-24 cs.CL cs.LG cs.SD
IndoLEM and IndoBERT: A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP
The University of Melbourne(墨尔本大学);The University of Queensland(昆士兰大学)
尽管印度尼西亚语有近2亿人使用,是世界上使用人数第10多的语言,但它在NLP研究中的代表性不足。以前的印尼语工作受到缺乏注释数据集,语言资源稀少和缺乏资源标准化的阻碍。在这项工作中,我们发布了IndoLEM数据集,包括印度尼西亚语的七个任务,涵盖形态语法,语义和话语。我们还发布了IndoBERT,这是一种针对印度尼西亚语的新的预训练语言模型,并通过IndoLEM对其进行评估,此外还根据现有资源对其进行基准测试。我们的实验表明,IndoBERT在IndoLEM中的大多数任务上都达到了最先进的性能。
2020-11-02 cs.CL
A Knowledge-Grounded Dialog System Based on Pre-Trained Language Models
Hithink RoyalFlush Information Network Co.,Ltd.(同花顺信息网络股份有限公司)
我们提出了一个知识为基础的对话系统开发的第九届对话系统技术挑战赛(DSTC 9)轨道1 -超越域API:面向任务的会话建模与非结构化知识访问。我们利用迁移学习与现有的语言模型来完成这个挑战轨道中的任务。具体来说,我们将任务划分为四个子任务,并在每个子任务上微调了几个Transformer模型。我们做了额外的改变,在性能和效率上都有所提高,包括将模型与传统的实体匹配技术相结合,以及在语言模型的输出层添加指针网络。
2021-06-28 cs.CL
Exploring Attention Mechanisms in Integration of Multi-Modal Information for Sign Language Recognition and Translation
Bangladesh University of Engineering and Technology (BUET)(孟加拉工程技术大学)
针对手语识别与翻译中多模态特征融合效果差、模型计算量大的问题,提出轻量交叉注意力插件模块与两阶段训练方法,在相关数据集上实现了识别WER降低0.9、翻译BLEU-4提升0.8的效果。
2024-10-05 cs.CL cs.CV cs.LG
Strengthening Target-Language Features: SAE-Based Steering for Multilingual Inference
Johns Hopkins University(约翰斯·霍普金斯大学)
本研究针对多语言大模型性能跨语言差异问题,提出基于SAE的推理时引导方法,通过注入目标语言特征提升模型在XCOPA、XNLI、MGSM等基准上的准确率。
2026-10-14 cs.CL
Evaluating LLMs Robustness in Less Resourced Languages with Proxy Models
NASK - National Research Institute(NASK国家研究院)
本文提出结合少量字符改动与小型代理模型计算词重要性的低成本攻击方法,用于评估LLM在波兰语等低资源语言中的安全鲁棒性,并公开数据集与代码。
2025-06-09 cs.CL
Task-adaptive Pre-training of Language Models with Word Embedding Regularization
NTT Media Intelligence Laboratories, NTT Corporation(NTT媒体智能实验室,NTT公司)
预训练的语言模型(PTLM)通过对大量文本资源的预训练来获取与领域无关的语言知识。额外的预训练是有效的,在适应PTLM的领域,没有很好地覆盖的预训练语料库。在这里,我们专注于静态词嵌入的PTLM的领域自适应教PTLM领域特定意义的话。我们提出了一种新的微调过程:任务自适应预训练与词嵌入正则化(TAPTER)。TAPTER通过使PTLM的静态词嵌入接近使用fastText在目标域中获得的词嵌入来运行额外的预训练。除了下游任务的训练数据之外,TAPTER不需要额外的语料库。我们证实,TAPTER提高了BioASQ(生物医学领域的问答)和SQuAD(维基百科领域)的标准微调和任务自适应预训练的性能,当它们的预训练语料库不受域内数据的支配时。
2021-09-17 cs.CL
Modular Monolingual Adaptation using Pretrained Language Models
Charles University, Faculty of Mathematics and Physics Institute of Formal and Applied Linguistics(查尔斯大学数学与物理系形式与应用语言学研究所)
提出一种模块化方法,通过替换标记、冻结对应嵌入并调整模型其余部分,在低资源语言上提升NLU任务性能,优于全模型微调。
2026-06-04 cs.CL
Teaching Llama a New Language Through Cross-Lingual Knowledge Transfer
Institute of Computer Science(计算机科学研究所);University of Tartu(塔尔图大学)
本文面向低资源爱沙尼亚语,基于 Llama 2 结合单语预训练与跨语言指令微调,推出首个开源指令模型 Llammas 和数据集 Alpaca-est。
2024-04-05 cs.CL
Do Large Language Models Truly Grasp Addition? A Rule-Focused Diagnostic Using Two-Integer Arithmetic
Zhejiang University(浙江大学);School of Engineering, Westlake University(西湖大学工程学院)
本文通过双整数加法的交换律、符号表示不变性和操作数长度扩展一致性诊断12个LLMs,发现其高准确率源于模式匹配而非规则归纳,为模型架构和训练创新提供了新方向。
2025-09-17 cs.CL
The Interplay of Variant, Size, and Task Type in Arabic Pre-trained Language Models
New York University Abu Dhabi(纽约大学阿布扎比分校);Carnegie Mellon University in Qatar(卡内基梅隆大学卡塔尔分校)
在本文中,我们探讨了阿拉伯语预训练语言模型的语言变体,数据大小和微调任务类型的影响。为此,我们在阿拉伯语的三种变体上构建了三个预训练的语言模型:现代标准阿拉伯语(MSA),方言阿拉伯语和古典阿拉伯语,以及第四个语言模型,该语言模型是在这三种语言的混合上进行预训练的。我们还研究了预训练数据大小的重要性,通过构建额外的模型,这些模型是在MSA变体的缩小集上进行预训练的。我们将不同的模型相互比较,并通过在跨越12个数据集的5个NLP任务上对它们进行微调,将它们与8个公开可用的模型进行比较。我们的研究结果表明,变量接近预训练数据微调数据比预训练数据的大小更重要。我们利用这一洞察力在定义一个优化的系统选择模型的研究任务。
2021-09-04 cs.CL
Logical forms complement probability in understanding language model (and human) performance
University of Chicago(芝加哥大学);University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
本文构建命题与模态逻辑三段论受控数据集,系统评估LLM的自然语言逻辑推理能力,证明逻辑形式与输入概率共同影响模型行为,并比较了人类与LLM的推理异同。
2025-02-17 cs.CL cs.LO
On the Feasibility of Vision-Language Models for Time-Series Classification
Citadel Securities(城堡证券);Telaeris Inc(泰拉里斯公司);Carnegie Mellon University(卡内基梅隆大学);Meta;AWS GenAI(亚马逊云科技生成式AI部门)
本研究探索利用视觉语言模型进行时间序列分类,通过结合图形与数值数据并微调少量周期,实现高效且可扩展的分类与生成式标签。
2025-01-17 cs.AI
Language Models Encode the Value of Numbers Linearly
Peking University(北京大学)
本文通过线性探针和向量干预实验,揭示了大型语言模型在不同层上线性编码数字值并存储计算结果的机制,为理解和利用LLMs中的数值信息提供了证据。
2024-11-14 cs.CL
Transferring Knowledge from Vision to Language: How to Achieve it and how to Measure it?
Chalmers University of Technology(查尔姆斯理工大学);Recorded Future
已知大语言模型遭受幻觉问题,因为它们倾向于输出错误或不一致的语句,指示缺乏知识。对此,一个建议的解决方案是为模型提供额外的数据模态,以补充通过文本获得的知识。我们调查使用视觉数据,以补充知识的大语言模型提出了一种方法,用于评估视觉知识转移到文本的单模态或多模态语言模型。该方法是基于两个步骤,1)一个新的任务查询记忆颜色的知识,即众所周知的对象的典型颜色,和2)过滤模型训练数据,以清楚地分离知识的贡献。此外,我们引入了一个模型架构,涉及到一个视觉想象的步骤,并评估它与我们提出的方法。我们发现,我们的方法可以成功地用于测量模型中的视觉知识传递能力,并且我们的新模型架构显示出在单峰环境中利用多模态知识的有希望的结果。
2021-09-30 cs.CL
Evaluating Transformer Language Models on Arithmetic Operations Using Number Decomposition
本文提出 Calculon 模型,通过先将数字按个位、十位等分解再计算的流水线微调 Transformer,并在 GPT-3 同款算术测试集上验证其显著提升。
2023-04-21 cs.CL stat.ML
Layer-Condensed KV Cache for Efficient Inference of Large Language Models
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心)
提出层压缩KV缓存方法,仅计算和缓存少量层的KV,显著节省内存并提升大型语言模型推理吞吐量达26倍,同时保持竞争力且与现有技术正交。
2024-06-04 cs.CL
VidLBEval: Benchmarking and Mitigating Language Bias in Video-Involved LVLMs
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);Sichuan University(四川大学)
本文提出VidLBEval基准和MCD方法,评估并缓解视频LVLM中语言偏见问题,实验证明MCD无需重训即可有效改善。
2025-02-23 cs.AI cs.CV
Pre-trained Language Models Can be Fully Zero-Shot Learners
UC Santa Barbara(加州大学圣巴巴拉分校);Microsoft(微软)
本文提出非参数提示预训练语言模型NPPrompt,仅利用预训练语言模型实现完全零样本语言理解,无需标注数据、额外语料或人工构建提示标签词,在文本分类和GLUE基准上显著超越此前最佳的完全零样本方法。
2023-05-26 cs.CL
SignBank+: Preparing a Multilingual Sign Language Dataset for Machine Translation Using Large Language Models
Bar-Ilan University(巴伊兰大学);University of Zürich(苏黎世大学)
本文提出清理版多语言手语数据集SignBank+,证明传统文本到文本翻译方法在该数据集上同样有效,模型表现超越原数据集并确立了新基准。
2024-03-21 cs.CL
Benchmarking Large Language Model Capabilities for Conditional Generation
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院)
本文研究了如何将特定应用生成基准适应于预训练大型语言模型,并从规模、架构和语言等维度实证评估了PLMs在自然语言生成任务中的局限与能力,为模型选择和未来基准测试提供指导。
2023-06-29 cs.CL
Multi-turn Natural Language to Graph Query Language Translation
East China Normal University(东华师范大学);AISpeech;Zhejiang University(浙江大学)
针对现有NL2GQL研究多限于单轮转换且缺乏多轮数据集的问题,提出基于大语言模型自动构建多轮NL2GQL数据集MTGQL,并设计三类基线方法评估效果,为多轮图查询翻译研究奠定基础。
2025-08-03 cs.AI cs.DB
SEA: Low-Resource Safety Alignment for Multimodal Large Language Models via Synthetic Embeddings
South China University of Technology, China(华南理工大学);Beihang University, China(北航);Pazhou Laboratory, China(琶洲实验室)
本文提出SEA方法,通过梯度更新合成额外模态嵌入以扩展文本数据集,实现仅用文本数据的低资源多模态安全对齐,并引入VA-SafetyBench基准验证视频和音频安全风险。
2025-06-02 cs.CL cs.CR cs.MM
Sovereign Large Language Models: Advantages, Strategy and Regulations
Ukrainian Catholic University(乌克兰天主教大学);OpenBabylon Inc(OpenBabylon公司)
报告分析全球LLMs发展趋势与国家经验,评估投资可行性,并探讨国家层面实施、监管和资助AI项目的战略。
2025-02-05 cs.CL cs.CY
Interpreting Song Lyrics with an Audio-Informed Pre-trained Language Model
Queen Mary University of London(伦敦玛丽女王大学);NYU Shanghai(上海纽约大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
歌词解释可以帮助人们快速理解歌曲及其歌词,也可以更容易地从不断增长的大量音乐档案中有效地管理、检索和发现歌曲。在本文中,我们提出了BART融合,一种新的模型,用于从歌词和音乐音频中生成歌词解释,该模型将大规模预训练的语言模型与音频编码器相结合。我们采用跨模态注意模块将音频表示合并到歌词表示中,以帮助预训练的语言模型从音频角度理解歌曲,同时保留语言模型的原始生成性能。我们还发布了Song Interpretation Dataset,这是一个新的大规模数据集,用于训练和评估我们的模型。实验结果表明,额外的音频信息有助于我们的模型更好地理解单词和音乐,并生成精确和流畅的解释。跨模态音乐检索的另一个实验表明,由BART融合产生的解释也可以帮助人们比原始的BART更准确地检索音乐。
2022-08-24 cs.CL cs.SD eess.AS
Zero-Shot Language Transfer vs Iterative Back Translation for Unsupervised Machine Translation
这项工作的重点是比较低资源语言对上的机器翻译的不同解决方案,即zero-shot迁移学习和无监督机器翻译。我们讨论了数据大小如何影响无监督MT和迁移学习的性能。此外,我们还研究了数据的域如何影响无监督MT的结果。在这个项目中执行的所有实验的代码都可以在Github上访问。
2021-03-31 cs.AI cs.CL cs.LG
Warped Language Models for Noise Robust Language Understanding
Amazon Alexa AI(亚马逊Alexa人工智能部门)
Masked语言模型(MLM)是一种自我监督的神经网络,它被训练成用掩码标记来填充给定句子中的空白。尽管MLM对于各种基于文本的任务取得了巨大的成功,但是它们对于口语语言理解,特别是对于自发的会话语音识别噪声,并不鲁棒。在这项工作中,我们介绍了扭曲的语言模型(WLM),其中输入的句子在训练时经过相同的修改,在传销,加上两个额外的修改,即插入和丢弃随机令牌。这两个修改除了在MLMs中的修改之外,还扩展和收缩了句子,因此名称中的单词“warped”。在WLM的训练期间输入文本的插入和丢弃修改类似于由于自动语音识别(ASR)错误而引起的噪声类型,并且因此WLM可能对ASR噪声更鲁棒。通过计算结果,我们表明,建立在WLM之上的自然语言理解系统比建立在MLM之上的系统表现得更好,特别是在存在ASR错误的情况下。
2020-11-03 cs.AI cs.CL
Unsupervised Transfer Learning for Spoken Language Understanding in Intelligent Agents
Carnegie Mellon University(卡内基梅隆大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
用户与语音驱动代理的交互会产生大量未标记的话语。在本文中,我们探索的技术,有效地转移这些未标记的话语知识,以提高口语语言理解(SLU)任务的模型性能。我们使用嵌入从语言模型(ELMo),以利用未标记的数据,通过学习上下文的单词表示。此外,我们还提出了ELMo-Light(ELMoL),这是一种更快,更简单的SLU无监督预训练方法。我们的研究结果表明,与从头开始训练相比,在大型未标记话语语料库上进行无监督预训练可以显著提高SLU性能,甚至可以优于传统的监督传输。此外,我们表明,从无监督转移技术的收益可以进一步提高监督转移。这些改进在低资源设置中更加明显,并且当仅使用1000个标记的域内样本时,我们的技术与从头开始训练10- 15倍标记的域内数据的性能相匹配。
2018-11-13 cs.AI cs.CL cs.LG
To What Degree Can Language Borders Be Blurred In BERT-based Multilingual Spoken Language Understanding?
Amazon Alexa(亚马逊Alexa)
本文讨论的问题,在何种程度上基于BERT的多语言口语语言理解(SLU)模型可以跨语言的知识转移。通过实验,我们将表明,虽然它的工作相当不错,即使在遥远的语言群体,仍然有一个理想的多语言性能的差距。此外,我们提出了一种新的基于BERT的对抗模型架构,以学习多语言SLU的语言共享和语言特定的表示。我们的实验结果证明,该模型是能够缩小差距,理想的多语言性能。
2020-11-10 cs.AI cs.CL
Leveraging Grammar Induction for Language Understanding and Generation
Shanghai Jiao Tong University(上海交通大学)
本研究提出一种无监督语法归纳方法,将归纳的语法特征作为句法掩码融入Transformer引导自注意力,在机器翻译与自然语言理解任务上性能优于基线模型,且适用于从零训练和预训练场景。
2024-10-07 cs.AI cs.CL