TeleCom-Bench: How Far Are Large Language Models from Industrial Telecommunication Applications?
ZTE Corporation(中兴通讯)
本文提出TeleCom-Bench,一个包含12个评估集和22678个精选样本的全面基准,旨在评估大型语言模型在电信领域的综合能力,揭示其在工业流程中的执行能力缺口。
2026-05-18 cs.AI
Enhancing Large Language Models (LLMs) for Telecom using Dynamic Knowledge Graphs and Explainable Retrieval-Augmented Generation
School of Computer Science, McGill University(麦吉尔大学计算机科学学院);Standards and Mobility Innovation Lab, Samsung Research America(三星美国标准与移动创新实验室)
本文提出KG-RAG框架,通过整合知识图谱与检索增强生成技术,提升大型语言模型在电信领域中的准确性与可靠性。
2026-02-19 cs.AI
Using Large Language Models to Understand Telecom Standards
Ericsson AB(爱立信公司)
针对3GPP电信标准信息获取难的问题,研究评估了LLM作为3GPP文档问答助手的能力,提出了评估基准、通用优化方案,还推出了性能比肩基础LLM但参数量少一个量级的TeleRoBERTa模型,验证了其在电信领域的应用潜力。
2024-04-12 cs.AI cs.CL
Telecom Language Models: Must They Be Large?
Paris Research Centre Huawei Technologies(华为技术巴黎研究中心)
本文评估小型语言模型Phi-2在电信领域的理解能力,通过检索增强生成方法整合电信标准知识库增强其性能,使其在电信标准问答上的准确度接近GPT-3.5,为资源受限环境下的电信模型部署提供可行方案。
2024-06-25 cs.CL cs.LG
TeleTables: A Benchmark for Large Language Models in Telecom Table Interpretation
Paris Research Center, Huawei Technologies(巴黎研究中心,华为技术)
TeleTables 是一个用于评估大语言模型在电信表格解释能力的基准,揭示了在电信标准上进行领域微调的重要性。
2026-09-07 cs.AI cs.CL cs.LG
Tele-LLMs: A Series of Specialized Large Language Models for Telecommunications
Yale University(耶鲁大学);Amazon Web Services(亚马逊网络服务)
本文针对电信领域缺乏专用大语言模型的问题,构建了Tele-Data和Tele-Eval数据集,系统研究适配训练技术,并开源了参数量1B到8B的Tele-LLMs系列模型,在电信任务上超越通用模型且避免灾难性遗忘。
2025-05-05 cs.AI cs.IT cs.LG
Large Language Models for Telecom: Forthcoming Impact on the Industry
Paris Research Center, Huawei Technologies(华为技术有限公司巴黎研究中心);Khalifa University of Science and Technology(哈利法科技大学)
本文分析大型语言模型对电信行业的潜在影响,梳理其能力与局限,提出可落地的运营用例,并指出电信领域应用LLM的关键研究方向。
2024-02-25 cs.AI cs.IT cs.LG
SafeCOMM: A Study on Safety Degradation in Fine-Tuned Telecom Large Language Models
Technical University Munich(慕尼黑技术大学);IBM Research(IBM研究院);Florida Atlantic University(佛罗里达 Atlantic 大学);Virginia Tech(弗吉尼亚理工大学)
本文研究了在电信领域微调的大型语言模型的安全退化问题,提出TeleHarm基准测试及三种防御方法,展示了如何通过安全重对齐提升模型安全性,实现SafeCOMM模型。
2026-02-06 cs.CL cs.CR cs.CY
Linguistic Intelligence in Large Language Models for Telecommunications
School of Computing, Queen’s University(女王大学计算学院);Paris Research Center, Huawei Technologies(华为技术有限公司巴黎研究中心)
本文首次在电信领域对Llama-2、Falcon、Mistral和Zephyr四个LLM进行零样本评估,发现其性能可比肩微调模型,证明预训练可赋予LLM一定专业化能力,并揭示其作为缺乏标注数据领域的宝贵资源的潜力。
2024-02-24 cs.CL
TeleQnA: A Benchmark Dataset to Assess Large Language Models Telecommunications Knowledge
Huawei Technologies(华为技术有限公司);Khalifa University of Science and Technology(哈利法科技大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出首个电信领域基准数据集TeleQnA,包含10,000个问答对,通过评估GPT-3.5和GPT-4等模型及电信专业人士的表现,揭示了LLMs在电信知识方面的潜力与局限。
2023-10-23 cs.AI cs.IT cs.LG
Concept-Level AI for Telecom: Moving Beyond Large Language Models
Esme Research Lab, SA ESME, Ivry-Sur-Seine, France(Esme研究实验室,SA ESME,法国伊维尔--sur-塞纳);University of Doha for Science and Technology (UDST)(多哈科学技术大学);Côte d'Azur University, LEAT, Sophia Antipolis, France(蔚蓝海岸大学,LEAT,法国索菲亚-安蒂波利斯)
针对LLMs在处理电信跨层依赖、时空故障关联等复杂需求时的局限性,本文提出采用大型概念模型(LCMs),通过双曲潜空间和概念嵌入实现稳健的AI驱动电信管理。
2025-06-27 cs.AI cs.NI
Evaluating Open-Source Large Language Models for Technical Telecom Question Answering
Luxembourg Institute of Science and Technology (LIST)(卢森堡科学与技术研究院);RMT Labs(RMT实验室)
本文通过构建105个电信问答对基准,评估Gemma 3 27B与DeepSeek R1 32B在技术问答中的表现,发现Gemma语义保真度更优、DeepSeek词汇一致性略高,并指出领域适配模型的必要性。
2025-09-26 cs.CL cs.NI
MM-Telco: Benchmarks and Multimodal Large Language Models for Telecom Applications
IIT Bhilai(比哈尔理工学院);IIT Kanpur(坎pur理工学院);INPT(伊斯兰北方技术大学)
本文提出MM-Telco,为电信领域设计的多模态基准和模型,旨在解决领域特定挑战,通过基准任务和实验验证提升大语言模型在电信中的性能。
2026-04-17 cs.AI cs.CV cs.ET
H2LooP Telecom Model v1: From Telecom Comprehension to Autonomous Issue and PR Resolution
H2LooP.ai
本文提出 H2LooP 电信模型 v1,通过领域微调实现电信理解与自主代码生成,在 OT-Lite 等基准上超越闭源模型,且保持通用能力无遗忘。
2026-09-22 cs.AI cs.CL
Think Less, Label Better: Multi-Stage Domain-Grounded Synthetic Data Generation for Fine-Tuning Large Language Models in Telecommunications
Ericsson(爱立信)
本文提出一种多阶段自动化方法,利用领域知识图生成高质量合成数据,用于电信领域大型语言模型的微调,减少人工标注依赖,提升数据质量。
2026-01-30 cs.AI cs.CL cs.IT
Test Code Generation for Telecom Software Systems using Two-Stage Generative Model
Global AI Accelerator, Ericsson(爱立信全球人工智能加速器)
针对电信软件系统复杂化带来的测试开发难题,提出两阶段自动化测试生成框架,结合时间序列生成模型与大语言模型生成测试数据和脚本,经多数据集验证效果良好。
2024-04-14 cs.CL cs.LG cs.SE
Leveraging Multi-Agent System (MAS) and Fine-Tuned Small Language Models (SLMs) for Automated Telecom Network Troubleshooting
Ericsson(爱立信)
针对电信网络故障排除难题,提出基于多智能体系统(MAS)的方法,利用大语言模型协调专业工具,通过微调小语言模型生成修复计划,实现全自动故障排除,加速了无线接入网和核心网领域的故障排除自动化。
2026-07-13 cs.AI cs.CL cs.IT
Telecom AI Native Systems in the Age of Generative AI -- An Engineering Perspective
Ericsson(爱立信);Blekinge Institute of Technology(布莱金厄理工学院)
本文从工程视角探讨了基础模型在电信行业的整合,阐述了AI原生电信概念,并分析了在软件生命周期中实施FMs的工程考量、独特挑战及伦理监管问题。
2023-10-18 cs.AI cs.SE
TeleEval-OS: Performance evaluations of large language models for operations scheduling
针对电信运维调度领域缺乏大模型评估基准的问题,提出首个包含13个子任务、覆盖四个运维阶段的TeleEval-OS基准,将大模型能力分为四个层级,评测14款大模型后发现开源模型在特定场景表现更优。
2025-05-06 cs.AI cs.CL cs.PF
A Graph-based Approach for Multi-Modal Question Answering from Flowcharts in Telecom Documents
Ericsson R&D Bangalore Karnataka India(爱立信研发部班加罗尔卡纳塔克邦印度)
针对技术文档问答中基于文本的RAG无法处理流程图类问题的痛点,提出将VLM生成的流程图图表示整合进文本RAG的端到端方法,在电信专有数据集上验证了其检索性能与成本优势。
2025-07-25 cs.AI cs.CL
QMOS: Enhancing LLMs for Telecommunication with Question Masked loss and Option Shuffling
College of Engineering, Carnegie Mellon University(卡内基梅隆大学工程学院)
本文提出QMOS方法,通过问题掩码损失和选项打乱技巧增强开源小模型在电信领域多项选择题问答中的表现,在RAG框架下将Falcon-7B和Phi-2的准确率分别提升至49.30%和84.65%。
2025-02-04 cs.AI cs.CL cs.LG
Observations on LLMs for Telecom Domain: Capabilities and Limitations
Global AI Accelerator(全球人工智能加速器);Ericsson(爱立信)
本文分析大语言模型在电信领域对话界面中的能力与局限性,基于Cradlepoint数据比较多种用例,为定制化对话系统开发提供见解。
2023-05-22 cs.AI cs.CL cs.HC
Telco-GAIA: Bilingual Benchmark for Agents in Telecom Domain
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);stc(沙特电信公司)
介绍电信-GAIA双语多模态基准测试,含100个人工验证问答任务,需多跳推理,跨越多种异构源。以沙盒化Docker环境提供,通过规范化精确字符串匹配评分。评估发现其具有挑战性,为企业智能体提供测试平台和构建基准测试的模板。
2026-08-25 cs.AI cs.CL
TelcoAgent-Bench: A Multilingual Benchmark for Telecom AI Agents
Research Institute for Digital Future, Khalifa University(哈利法大学数字未来研究所)
本文提出TelcoAgent-Bench和TelcoAgent-Metrics,用于评估多语言电信LLM代理,通过结构化指标评估意图识别、工具执行、解决正确性和稳定性,以量化LLM代理在电信环境中的可靠性。
2026-03-16 cs.CL
TelecomGPT-R1: Unified Post-Training for Reasoning Across Heterogeneous Telecom Tasks
Zhejiang University(浙江大学);University of Michigan(密歇根大学);Khalifa University(哈利法大学)
针对电信大模型多任务推理能力不足的问题,提出TelecomGPT-R1统一推理模型,通过轴感知数据生成、SFT和DAPO强化学习,在GSMA基准上以89.64%平均分超越GPT-5等专有模型。
2026-09-23 cs.CL
OTel: Building Domain-Specialized Telecom LLM Foundations for Intelligent Networks
AT&T Chief Data Office(AT&T首席数据办公室);GSMA(全球移动通信系统协会);RelationalAI(RelationalAI公司);Khalifa University(哈利法大学);University of Leeds(利兹大学);Yale University(耶鲁大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本研究推出开源电信AI资源OTel,含多类任务数据集与30个模型基线,后训练提升三类模型性能,获大量下载与媒体报道,邀请社区共建更强电信大语言模型。
2026-08-18 cs.AI cs.NI
PEFT of SLM for Telecommunications Customer Support: A Comparative Study of LoRA Configurations with Energy Consumption Analysis
Orange
本研究系统比较了不同LoRA配置在Qwen2.5-3B模型上的参数高效微调效果,结合能耗分析和LLM评判框架,发现验证损失最低的配置并不一定获得最佳定性排名,并提出了组合式合成数据生成方法。
2026-08-03 cs.AI cs.CL
First Token Probability Guided RAG for Telecom Question Answering
Shenzhen Research Institute of Big Data(深圳大数据研究院);School of Science and Engineering, The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳)理工学院);School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院)
针对电信领域多项选择问答中RAG检索质量不足、幻觉问题突出的挑战,提出首词概率引导的RAG框架,通过选项概率归一化的置信度迭代优化超参数、动态调整上下文,提升了领域问答准确率。
2025-01-11 cs.AI cs.CL
Toward Low-Latency End-to-End Voice Agents for Telecommunications Using Streaming ASR, Quantized LLMs, and Real-Time TTS
NetoAI
提出一种面向电信的低延迟端到端语音代理流水线,集成流式ASR、量化LLM与实时TTS,在500个真实电信问题上实现RTF低于1.0,为呼叫中心自动化与智能客服提供新基准。
2025-08-05 cs.AI cs.SD eess.AS
TelecomGPT-R1: A Unified Open-Source Reasoner for the Telecom Stack
该研究发布开源电信推理器TelecomGPT-R1-9B,通过两阶段后训练方案优化,在公开电信基准中表现优于同类开源模型,性能接近闭源前沿推理器。
2026-08-28 cs.CL cs.IT math.IT
Chat3GPP: An Open-Source Retrieval-Augmented Generation Framework for 3GPP Documents
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
Chat3GPP是一个开源检索增强生成框架,通过分块、混合检索和高效索引,无需微调即可高效处理3GPP文档,在电信数据集上表现优于现有方法,并可扩展至其他标准。
2025-01-20 cs.AI cs.CL cs.DC
Adversarial Network Imagination: Causal LLMs and Digital Twins for Proactive Telecom Mitigation
Binghamton University(宾夕法尼亚州立大学)
提出对抗性网络想象框架,结合因果大语言模型、知识图谱和数字孪生,主动生成、模拟和评估对抗性网络故障,实现从被动故障排查向预期韧性分析的转变。
2026-05-22 cs.AI cs.NI
NEFMind: Parameter-Efficient Fine-Tuning of Open-Source LLMs for Telecom APIs Automation
Alto University, School of Science, Espoo, Finland(阿尔托大学科学学院,芬兰);Networked Systems Security (NSS) Group -- KTH Royal Institute of Technology, Stockholm, Sweden(网络系统安全(NSS)小组——皇家理工学院,瑞典);Ericsson, Finland(爱立信,芬兰)
本文提出 NEFMind 框架,通过参数高效微调开源 LLM(如 Phi-2),结合合成数据集生成与量化低秩适应技术,实现 5G API 自动化调用,在保持计算效率的同时达到 98-100% 的识别准确率,性能媲美 GPT-4。
2025-08-12 cs.AI cs.CL cs.NI
Efficient Telecom Specific LLM: TSLAM-Mini with QLoRA and Digital Twin Data
NetoAI Solutions Ltd(NetoAI解决方案有限公司)
本文提出利用 DigiTwin 生成的10万样本电信数据集和 QLoRA 微调38亿参数 TSLAM-Mini,并以 Qwen3-235B-A22B 自动评测,证明其在20类电信任务中的优势。
2025-05-10 cs.AI cs.NI
Convolutional vs Large Language Models for Software Log Classification in Edge-Deployable Cellular Network Testing
VIAVI Solutions Inc.(维亚维解决方案公司);Brunel University of London(伦敦布鲁内尔大学)
本文针对电信网络测试中复杂软件日志的自动化缺陷分诊问题,提出一种轻量级CNN架构,以200,000字符上下文窗口实现超96%准确率,显著优于LLM方法且可边缘部署。
2024-07-04 cs.AI cs.CL cs.LG
TelePlanNet: An AI-Driven Framework for Efficient Telecom Network Planning
Nanjing University of Posts and Telecommunications(南京邮电大学);China Telecom Corporation Limited Jiangsu Branch(中国电信江苏分公司)
针对5G基站选址中人工低效、AI难以满足多目标需求的问题,提出TelePlanNet框架,集成LLM与GRPO强化学习,实现多目标优化,将规划一致性提升至78%。
2025-05-27 cs.AI
ARMOR: Adaptive Retriever Optimization for Low-Resource Telecom Question Answering
Rensselaer Polytechnic Institute(罗切斯特理工学院);Cornell University(康奈尔大学);Samsung Research America(三星美国研究院)
针对电信问答中证据分散且资源稀缺的问题,提出ARMOR方法,通过联合优化RAG似然和InfoNCE对比目标来适配查询编码器,在固定生成器下提升检索和答案生成性能。
2026-06-29 cs.AI cs.CL cs.IR
T-VEC: A Telecom-Specific Vectorization Model with Enhanced Semantic Understanding via Deep Triplet Loss Fine-Tuning
NetoAI
针对通用嵌入模型难以表示电信专用语义的问题,提出基于gte-Qwen2-1.5B微调的三元组损失嵌入模型T-VEC,在电信检索基准上超越多个基线,并开源75%数据集及模型。
2025-10-09 cs.AI cs.CL
Evaluation of RAG Metrics for Question Answering in the Telecom Domain
Ericsson R&D(爱立信研发中心)
本研究评估了RAGAS指标在电信领域问答中的适用性,通过修改RAGAS包获取中间输出,分析了正确与错误检索及不同嵌入下的指标表现,指出了其挑战与适用性。
2024-07-15 cs.AI cs.CL cs.IR
SKILLS: Structured Knowledge Injection for LLM-Driven Telecommunications Operations
independent.academia.edu(独立学术教育)
研究探讨LLM在电信运维中执行API流程的可靠性,提出SKILLS框架,通过结构化知识指导提升模型性能,实验显示技能增强效果显著。
2026-03-16 cs.AI cs.CR cs.SE
LLM-Assisted Crisis Management: Building Advanced LLM Platforms for Effective Emergency Response and Public Collaboration
University at Albany, SUNY(纽约州立大学奥尔巴尼分校);College of Emergency Preparedness, Homeland Security, and Cybersecurity(应急准备、国土安全与网络安全学院)
本文提出使用开源LLAMA2识别和分类社交媒体及紧急消息中的危机信息,为911接警员提供处置建议,并在系统过载时指导公众、通知政府机构。
2024-01-12 cs.AI cs.CL cs.HC
A Picture is Worth a Thousand Tokens: How Vision Language Models Cut AI Energy Costs While Improving Accuracy
该研究提出将时间序列编码为二维图的视觉语言模型,可大幅减少输入词元、降低推理能耗,同时在电信异常检测等任务中提升准确率,解决了LLM处理多维度KPI数据的低效问题。
2026-08-10 cs.AI cs.PF
Data Trajectory Alignment for LLM Domain Adaptation: A Two-Phase Synthesis Framework for Telecommunications Mathematics
Global Technical Service (GTS) Huawei Technologies Co., Ltd(华为技术有限公司全球技术服务部)
本文提出两阶段数据轨迹对齐框架DTA,通过重写教师解题过程并与学生模型归纳偏置对齐,在电信数学任务TELEMATH上以更高效率取得SOTA准确率。
2025-11-10 cs.AI cs.LG
Preservation of Language Understanding Capabilities in Speech-aware Large Language Models
Adam Mickiewicz University(亚当·密茨凯维奇大学)
提出C3T基准,通过文本任务和语音克隆TTS评估语音感知大语言模型在语音输入下语言理解能力的保持程度、说话者公平性及跨模态鲁棒性。
2025-10-16 cs.AI cs.CL
Can Machines Read Coding Manuals Yet? -- A Benchmark for Building Better Language Models for Code Understanding
IBM Research, T.J. Watson Research Center(IBM研究院托马斯·J·沃森研究中心);Rensselaer Polytechnic Institute (RPI)(伦斯勒理工学院)
代码理解是人工智能日益重要的应用。理解代码的一个基本方面是理解关于代码的文本,例如,文件和论坛讨论。预先训练的语言模型(例如,BERT)是各种NLP任务的流行方法,现在有各种基准测试,如GLUE,以帮助改进此类模型的开发,以实现自然语言理解。然而,人们对此类模型在有关代码的文本工件上的效果知之甚少,而且我们不知道此类评估的任何系统性下游任务集。在本文中,我们得出了一组基准(BLANCA -基准语言模型编码工件),评估代码理解的基础上的任务,如预测的最佳答案的问题在一个论坛帖子,找到相关的论坛帖子,或预测类相关的层次结构从类文档。我们评估了当前最先进的语言模型在这些任务上的性能,并表明微调对每个任务都有显着的改善。我们还表明,多任务训练BLANCA任务有助于建立更好的语言模型的代码理解。
2021-09-15 cs.AI cs.CL
Language Model is All You Need: Natural Language Understanding as Question Answering
Amazon Alexa AI(亚马逊Alexa人工智能部门)
不同风格的迁移学习在推进机器学习的研究和应用方面表现出巨大的影响。在这项工作中,我们研究了使用一个特定的家庭的迁移学习,目标域映射到源域。具体来说,我们映射自然语言理解(NLU)的问题,翻译(QA)的问题,我们表明,在低数据制度,这种方法提供了显着的改进相比,其他方法NLU。此外,我们表明,这些收益可以通过连续的迁移学习从不同领域的NLU问题。我们表明,我们的方法可以减少所需的数据量相同的性能高达10倍。
2020-11-05 cs.AI cs.CL
Learning Executable Semantic Parsers for Natural Language Understanding
Stanford University(斯坦福大学)
为了构建问答系统和自然语言接口,语义解析已经成为一种重要而强大的范例。语义分析器将自然语言映射为逻辑形式,这是许多重要语言现象的经典表示。现代的转折是,我们对从数据中学习语义解析器感兴趣,这引入了一个新的统计和计算问题层。本文列出了统计语义解析器的组件,并强调了关键的挑战。我们将看到,语义解析是逻辑和统计世界的丰富融合,这种融合将在未来的自然语言理解系统中发挥不可或缺的作用。
2016-03-22 cs.AI cs.CL
Testing Pre-trained Language Models' Understanding of Distributivity via Causal Mediation Analysis
University of Washington(华盛顿大学)
预训练的语言模型在多大程度上掌握了关于分布现象的语义知识?在本文中,我们介绍了DistNLI,一个新的诊断数据集的自然语言推理,目标的语义差异所产生的分布性,并采用因果中介分析框架来量化模型的行为,并探讨在这个语义相关的任务的潜在机制。我们发现,模型的理解程度与模型大小和词汇量有关。我们还提供了模型如何编码这种高层次的语义知识的见解。
2022-10-19 cs.AI cs.CL
Enhancing Large Language Models (LLMs) for Telecommunications using Knowledge Graphs and Retrieval-Augmented Generation
School of Computer Science(计算机科学学院);Department of Electrical and Computer Engineering(电气与计算机工程系);Standards and Mobility Innovation Lab(标准与移动创新实验室);Samsung Research America(三星美国研究)
针对大语言模型在电信领域应用的适配性与准确性不足问题,提出结合知识图谱与检索增强生成的KG-RAG框架,在常用电信数据集问答任务上准确率达88%,优于纯RAG和纯LLM方案。
2025-05-21 cs.CL
Language over Content: Tracing Cultural Understanding in Multilingual Large Language Models
KAIST(韩国釜山科学技术院)
本研究通过测量激活路径重叠度,探究多语言大型语言模型的内部文化理解机制,发现语言对内部表示的影响强于文化,且语言相似性未必带来文化表示一致性。
2025-11-11 cs.AI cs.CL cs.LG
ShapeWorld - A new test methodology for multimodal language understanding
University of Cambridge(剑桥大学)
我们引入了一个新的框架,用于评估多模态深度学习模型的语言理解和泛化能力。在这种方法中,根据实验者的规格自动生成人工数据。在训练和评估过程中,数据的内容可以被详细控制,这使得能够创建需要真正的泛化能力的任务,特别是以新颖的方式组合先前引入的概念。我们通过评估四个不同任务的各种视觉问答模型来展示我们方法的潜力,并展示我们的框架如何让我们详细了解它们的能力和局限性。通过开源我们的框架,我们希望刺激多模态语言理解领域的进步。
2017-04-14 cs.AI cs.CL cs.CV
Understanding 6G through Language Models: A Case Study on LLM-aided Structured Entity Extraction in Telecom Domain
School of Computer Science, McGill University(计算机科学系,麦吉尔大学);Standards and Mobility Innovation Lab, Samsung Research America(标准与移动创新实验室,三星研究美国)
本研究针对6G网络知识理解需求,提出基于语言模型的电信结构化实体提取技术TeleSEE,结合令牌高效表示与分层并行解码方法,并构建6GTech数据集验证,其准确率更优且处理速度提升5至9倍。
2025-05-20 cs.CL cs.SY eess.SY
Understanding by Understanding Not: Modeling Negation in Language Models
Mila/Université de Montréal(米拉/蒙特利尔大学);Mila/McGill University(米拉/麦吉尔大学);Element AI;ServiceNow;Microsoft Research(微软研究院)
否定是自然语言中的一个核心结构。尽管在许多任务上非常成功,但最先进的预训练语言模型通常会错误地处理否定。为了改善语言模型在这方面,我们建议增加语言建模的目标与不可能的目标,是基于否定的通用句子从原始文本语料库。通过使用得到的组合目标训练BERT,我们在否定的LAMA数据集上将平均top~1出错率降低到4%。我们也看到了否定的NLI基准的一些改进。
2021-05-07 cs.CL
Data Augmentation for Spoken Language Understanding via Pretrained Language Models
Microsoft Research(微软研究院)
口语语言理解(SLU)模型的训练常常面临数据稀缺的问题。在本文中,我们提出了一种数据增强方法,使用预训练的语言模型,以提高生成的话语的可变性和准确性。此外,我们调查并提出了解决方案,以前被忽视的半监督学习的情况下,数据稀缺的SLU:i)丰富的本体:本体信息与许多有效的对话行为; ii)丰富的话语:大量的未标记的话语。实证结果表明,我们的方法可以产生合成的训练数据,提高性能的语言理解模型在各种情况下。
2021-03-11 cs.CL