Evaluating Open-Source Large Language Models for Technical Telecom Question Answering
Luxembourg Institute of Science and Technology (LIST)(卢森堡科学与技术研究院);RMT Labs(RMT实验室)
本文通过构建105个电信问答对基准,评估Gemma 3 27B与DeepSeek R1 32B在技术问答中的表现,发现Gemma语义保真度更优、DeepSeek词汇一致性略高,并指出领域适配模型的必要性。
2025-09-26 cs.CL cs.NI
TeleMath: A Benchmark for Large Language Models in Telecom Mathematical Problem Solving
Paris Research Center, Huawei Technologies(巴黎研究中心,华为技术)
针对大语言模型在电信专业数学任务中表现未被充分探索的问题,本文推出含500个问答对的电信数学基准TeleMath,评估发现专用推理模型表现优于大参数量通用模型,且已开源相关资源。
2025-06-12 cs.AI cs.CL
TelcoLM: collecting data, adapting, and benchmarking language models for the telecommunication domain
Orange(奥兰治公司)
本文研究将大型语言模型适配至电信领域,通过收集800M tokens领域语料并采用多种方法适配,实验证明基于Llama-2-7b的领域适配模型可挑战大型通用模型,且仅需单一指令微调步骤。
2024-12-20 cs.AI cs.CL
QMOS: Enhancing LLMs for Telecommunication with Question Masked loss and Option Shuffling
College of Engineering, Carnegie Mellon University(卡内基梅隆大学工程学院)
本文提出QMOS方法,通过问题掩码损失和选项打乱技巧增强开源小模型在电信领域多项选择题问答中的表现,在RAG框架下将Falcon-7B和Phi-2的准确率分别提升至49.30%和84.65%。
2025-02-04 cs.AI cs.CL cs.LG
Think Less, Label Better: Multi-Stage Domain-Grounded Synthetic Data Generation for Fine-Tuning Large Language Models in Telecommunications
Ericsson(爱立信)
本文提出一种多阶段自动化方法,利用领域知识图生成高质量合成数据,用于电信领域大型语言模型的微调,减少人工标注依赖,提升数据质量。
2026-01-30 cs.AI cs.CL cs.IT
Using Large Language Models to Understand Telecom Standards
Ericsson AB(爱立信公司)
针对3GPP电信标准信息获取难的问题,研究评估了LLM作为3GPP文档问答助手的能力,提出了评估基准、通用优化方案,还推出了性能比肩基础LLM但参数量少一个量级的TeleRoBERTa模型,验证了其在电信领域的应用潜力。
2024-04-12 cs.AI cs.CL
Observations on LLMs for Telecom Domain: Capabilities and Limitations
Global AI Accelerator(全球人工智能加速器);Ericsson(爱立信)
本文分析大语言模型在电信领域对话界面中的能力与局限性,基于Cradlepoint数据比较多种用例,为定制化对话系统开发提供见解。
2023-05-22 cs.AI cs.CL cs.HC
Leveraging Multi-Agent System (MAS) and Fine-Tuned Small Language Models (SLMs) for Automated Telecom Network Troubleshooting
Ericsson(爱立信)
针对电信网络故障排除难题,提出基于多智能体系统(MAS)的方法,利用大语言模型协调专业工具,通过微调小语言模型生成修复计划,实现全自动故障排除,加速了无线接入网和核心网领域的故障排除自动化。
2026-07-13 cs.AI cs.CL cs.IT
TelecomGPT-R1: Unified Post-Training for Reasoning Across Heterogeneous Telecom Tasks
Zhejiang University(浙江大学);University of Michigan(密歇根大学);Khalifa University(哈利法大学)
针对电信大模型多任务推理能力不足的问题,提出TelecomGPT-R1统一推理模型,通过轴感知数据生成、SFT和DAPO强化学习,在GSMA基准上以89.64%平均分超越GPT-5等专有模型。
2026-09-23 cs.CL
TelcoAgent-Bench: A Multilingual Benchmark for Telecom AI Agents
Research Institute for Digital Future, Khalifa University(哈利法大学数字未来研究所)
本文提出TelcoAgent-Bench和TelcoAgent-Metrics,用于评估多语言电信LLM代理,通过结构化指标评估意图识别、工具执行、解决正确性和稳定性,以量化LLM代理在电信环境中的可靠性。
2026-03-16 cs.CL
TelecomGPT-R1: A Unified Open-Source Reasoner for the Telecom Stack
该研究发布开源电信推理器TelecomGPT-R1-9B,通过两阶段后训练方案优化,在公开电信基准中表现优于同类开源模型,性能接近闭源前沿推理器。
2026-08-28 cs.CL cs.IT math.IT
TeleEval-OS: Performance evaluations of large language models for operations scheduling
针对电信运维调度领域缺乏大模型评估基准的问题,提出首个包含13个子任务、覆盖四个运维阶段的TeleEval-OS基准,将大模型能力分为四个层级,评测14款大模型后发现开源模型在特定场景表现更优。
2025-05-06 cs.AI cs.CL cs.PF
H2LooP Telecom Model v1: From Telecom Comprehension to Autonomous Issue and PR Resolution
H2LooP.ai
本文提出 H2LooP 电信模型 v1,通过领域微调实现电信理解与自主代码生成,在 OT-Lite 等基准上超越闭源模型,且保持通用能力无遗忘。
2026-09-22 cs.AI cs.CL
Convolutional vs Large Language Models for Software Log Classification in Edge-Deployable Cellular Network Testing
VIAVI Solutions Inc.(维亚维解决方案公司);Brunel University of London(伦敦布鲁内尔大学)
本文针对电信网络测试中复杂软件日志的自动化缺陷分诊问题,提出一种轻量级CNN架构,以200,000字符上下文窗口实现超96%准确率,显著优于LLM方法且可边缘部署。
2024-07-04 cs.AI cs.CL cs.LG
LLM-Assisted Crisis Management: Building Advanced LLM Platforms for Effective Emergency Response and Public Collaboration
University at Albany, SUNY(纽约州立大学奥尔巴尼分校);College of Emergency Preparedness, Homeland Security, and Cybersecurity(应急准备、国土安全与网络安全学院)
本文提出使用开源LLAMA2识别和分类社交媒体及紧急消息中的危机信息,为911接警员提供处置建议,并在系统过载时指导公众、通知政府机构。
2024-01-12 cs.AI cs.CL cs.HC
PEFT of SLM for Telecommunications Customer Support: A Comparative Study of LoRA Configurations with Energy Consumption Analysis
Orange
本研究系统比较了不同LoRA配置在Qwen2.5-3B模型上的参数高效微调效果,结合能耗分析和LLM评判框架,发现验证损失最低的配置并不一定获得最佳定性排名,并提出了组合式合成数据生成方法。
2026-08-03 cs.AI cs.CL
Enhancing Large Language Models (LLMs) for Telecommunications using Knowledge Graphs and Retrieval-Augmented Generation
School of Computer Science(计算机科学学院);Department of Electrical and Computer Engineering(电气与计算机工程系);Standards and Mobility Innovation Lab(标准与移动创新实验室);Samsung Research America(三星美国研究)
针对大语言模型在电信领域应用的适配性与准确性不足问题,提出结合知识图谱与检索增强生成的KG-RAG框架,在常用电信数据集问答任务上准确率达88%,优于纯RAG和纯LLM方案。
2025-05-21 cs.CL
Understanding 6G through Language Models: A Case Study on LLM-aided Structured Entity Extraction in Telecom Domain
School of Computer Science, McGill University(计算机科学系,麦吉尔大学);Standards and Mobility Innovation Lab, Samsung Research America(标准与移动创新实验室,三星研究美国)
本研究针对6G网络知识理解需求,提出基于语言模型的电信结构化实体提取技术TeleSEE,结合令牌高效表示与分层并行解码方法,并构建6GTech数据集验证,其准确率更优且处理速度提升5至9倍。
2025-05-20 cs.CL cs.SY eess.SY
Generative Linguistics, Large Language Models, and the Social Nature of Scientific Success
Center for Data Science, New York University(纽约大学数据科学中心)
本文回应Chesi与Piantadosi关于生成语言学危机的论述,指出危机根源在于社会抱负有限而非严谨性不足,主张生成语言学家应扩大抱负以吸引外部投入。
2025-03-25 cs.CL
Calibrated Language Models Must Hallucinate
OpenAI(开放人工智能公司);Georgia Tech(佐治亚理工学院)
本研究证明校准的语言模型对无法从训练数据确定真实性的任意事实必然存在幻觉统计下界,其概率接近数据中仅出现一次事实的比例,需通过后训练缓解;但对多次出现或系统性事实则无此限制。
2024-03-20 cs.AI cs.CL
Large Language Models Must Be Taught to Know What They Don't Know
New York University(纽约大学);Abacus AI;Cambridge University(剑桥大学);Columbia University(哥伦比亚大学)
本文证明仅靠提示不足以校准大语言模型的不确定性,提出用少量分级样本微调模型特征即可高效获得可靠且可泛化的不确定性估计,并验证其可跨模型通用及辅助人机协作。
2025-08-17 cs.AI cs.CL cs.LG
SNEAK: Evaluating Strategic Communication and Information Leakage in Large Language Models
Georgia Institute of Technology(佐治亚理工学院)
SNEAK通过模拟盟友和间谍两种角色,评估语言模型在信息共享与保密之间的平衡能力,发现当前系统在非对称信息下的战略沟通仍存在挑战,人类表现显著优于模型。
2026-03-31 cs.CL
TeleOracle: Fine-Tuned Retrieval-Augmented Generation with Long-Context Support for Network
Khalifa University(哈利法大学);Carleton University(卡尔顿大学)
TeleOracle基于Phi-2构建电信专用RAG系统,采用两阶段检索和长上下文支持,在问答任务中准确率达81.20%,比基础模型提升30%,且忠实度优于大型LLM。
2024-11-04 cs.CL cs.LG cs.NI
ColBERT Retrieval and Ensemble Response Scoring for Language Model Question Answering
本文提出基于ColBERT检索和集成响应评分的方法,提升小语言模型在电信领域问答任务中的性能,Phi-2模型达到81.9%准确率,Falcon-7B模型达到57.3%准确率。
2024-10-13 cs.CL cs.IR
Chat3GPP: An Open-Source Retrieval-Augmented Generation Framework for 3GPP Documents
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
Chat3GPP是一个开源检索增强生成框架,通过分块、混合检索和高效索引,无需微调即可高效处理3GPP文档,在电信数据集上表现优于现有方法,并可扩展至其他标准。
2025-01-20 cs.AI cs.CL cs.DC
BERT has a Mouth, and It Must Speak: BERT as a Markov Random Field Language Model
New York University(纽约大学);Facebook AI Research(Facebook人工智能研究院)
我们表明,BERT(Devlin等人,2018)是马尔可夫随机场语言模型。这个公式让位于从BERT中抽取句子的自然过程。我们从BERT生成,发现它可以生成高质量、流畅的生成。与传统的从左到右的语言模型相比,BERT生成的句子更多样化,但质量略差。
2019-04-09 cs.CL cs.LG
NEFMind: Parameter-Efficient Fine-Tuning of Open-Source LLMs for Telecom APIs Automation
Alto University, School of Science, Espoo, Finland(阿尔托大学科学学院,芬兰);Networked Systems Security (NSS) Group -- KTH Royal Institute of Technology, Stockholm, Sweden(网络系统安全(NSS)小组——皇家理工学院,瑞典);Ericsson, Finland(爱立信,芬兰)
本文提出 NEFMind 框架,通过参数高效微调开源 LLM(如 Phi-2),结合合成数据集生成与量化低秩适应技术,实现 5G API 自动化调用,在保持计算效率的同时达到 98-100% 的识别准确率,性能媲美 GPT-4。
2025-08-12 cs.AI cs.CL cs.NI
What A Situated Language-Using Agent Must be Able to Do: A Top-Down Analysis
University of Potsdam(波茨坦大学)
即使在我们这个文本越来越密集的时代,语言使用的主要场所也是位于共同在场的互动中。它在个体发生学和生殖发生学上都是主要的,而且可以说,它在日常社会情境的谈判中仍然是主要的。情境交互也是自然语言处理的最后前沿,与文本处理领域相比,在过去十年中取得的进展很少,并且有无数的实际应用等待被解锁。虽然通常的方法在该领域是达到,自下而上,为永远下一个“相邻的可能”,在本文中,我试图一个自上而下的分析的要求是什么,不受限制的位于互动的参与代理,并建议在这种分析可以结构计算模型和研究它们的方式。具体来说,我讨论了代表性的需求(世界模型,语言模型,情境模型,话语模型和代理模型的建立和应用)和我所说的锚定过程(增量处理,增量学习,会话接地,多模式接地),将代理绑定到这里,现在和我们。
2023-02-16 cs.CL
MUST: A Multilingual Student-Teacher Learning approach for low-resource speech recognition
University of Sheffield(谢菲尔德大学)
本文提出MUST多语言学生-教师学习方法,通过后验概率映射克服知识蒸馏中字符集不一致的限制,利用教师集成训练低资源语音识别模型,使相对字符错误率最多降低9.5%。
2023-10-29 cs.CL cs.SD eess.AS
How Open Must Language Models be to Enable Reliable Scientific Inference?
Massachusetts Institute of Technology(麻省理工学院);EleutherAI;University of California San Diego(加州大学圣地亚哥分校);Rutgers University-Newark(新泽西州立大学罗威特分校);Stony Brook University(史泰森布魯克大學)
本文探讨了语言模型的开放程度如何影响基于其研究的科学推断可靠性,指出封闭模型通常不适合科学用途,并提出系统识别和缓解推断威胁的方法。
2026-05-20 cs.AI cs.CL
Evaluating Creative Language Generation: The Case of Rap Lyric Ghostwriting
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
试图模仿人类创造性地使用语言的能力的语言生成任务很难评估,因为必须考虑所生成文本的创造性、风格和其他重要方面。本文的目标是开发这样一个任务,说唱歌词的代笔的评价方法,并提供一个明确的,可量化的基础,这项任务的目标和未来的发展方向。代笔必须产生与模仿艺术家风格相似的文本,但内容不同。我们开发了一种新的评估方法,解决了这一任务的几个互补方面,并说明了如何这样的评估可以用来有意义地分析系统性能。我们提供了一个语料库的歌词为13说唱艺术家,注释风格的相似性,这使我们能够评估生成的诗句手动评估的可行性。
2016-12-09 cs.CL
Why LLMs Hallucinate, and How to Get (Evidential) Closure: Perceptual, Intensional, and Extensional Learning for Faithful Natural Language Generation
UC Berkeley(加州大学伯克利分校)
本文指出LLM幻觉源于输出缺乏证据闭包,提出通过感知、外延和内涵学习约束模型输出,并设计Learn-Babble-Prune程序拒绝无证据同义输出以实现忠实生成。
2023-10-23 cs.AI cs.CL
To Build Our Future, We Must Know Our Past: Contextualizing Paradigm Shifts in Natural Language Processing
Carnegie Mellon University(卡内基梅隆大学);Cornell University(康奈尔大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本文通过26名NLP研究人员的长篇访谈和ACL Anthology的定量分析,探讨了塑造NLP领域的文化、激励和基础设施因素,揭示了周期性模式与基准文化等新转变,旨在促进对社区隐性规范的知情讨论以有意识地塑造未来。
2023-10-11 cs.CL cs.CY
Gender in Danger? Evaluating Speech Translation Technology on the MuST-SHE Corpus
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
从没有生产性语法性别的语言(如英语)翻译成性别标记的语言是机器的一个众所周知的困难。这种困难也是由于这样一个事实,即建立模型的训练数据通常反映了自然语言的不对称性,包括性别偏见。机器翻译只提供文本数据,因此在本质上受到输入句子并不总是包含有关所指人类实体性别身份的线索的事实的限制。但是,如果输入是音频信号,语音翻译会发生什么?音频能否提供更多信息以减少性别偏见?我们提出了第一次彻底调查的性别偏见在语音翻译,有助于:i)发布一个基准有用的未来的研究,和ii)不同的技术(级联和端到端)的比较两种语言方向(英语-意大利语/法语)。
2020-06-10 cs.AI cs.CL cs.SD