BLEnD: A Benchmark for LLMs on Everyday Knowledge in Diverse Cultures and Languages
KAIST(韩国科学技术院);Cardiff University(卡迪夫大学);Universität Hamburg(汉堡大学);Bahir Dar University(巴赫达尔大学);NAVER AI Lab(NAVER人工智能实验室);Imperial College London(伦敦帝国学院)
针对大语言模型缺乏多元文化日常知识、现有评估基准存在局限的问题,提出覆盖16个地区13种语言的手工基准BLEnD,实验发现模型在高在线代表性文化和中高资源语言当地语境下表现更优。
2025-01-16 cs.CL
LLMic: Romanian Foundation Language Model
University Politehnica of Bucharest(布加勒斯特理工大学);Broadcom Inc.(博通公司)
针对低资源语言罗马尼亚语的开源大模型表现不佳的问题,研究团队构建了专门的双语基础模型LLMic,完整记录预训练流程,实验证明其经微调后效果可比肩更大规模开源模型,英罗翻译表现超现有方案。
2025-01-13 cs.CL
The Sociolinguistic Foundations of Language Modeling
University of Birmingham(伯明翰大学)
该研究从社会语言学视角出发,提出大语言模型本质是语言变体模型,给出语言变体的技术定义,探讨其对解决语言建模五大挑战的作用,强调构建适配语言变体的训练语料对提升模型性能与社会价值的关键意义。
2024-07-12 cs.CL
Foundation Models for Low-Resource Language Education (Vision Paper)
University of Georgia(佐治亚大学)
本文展望 LLM 与多语言基础模型如何克服低资源语言的数据、文化及教育资源限制,通过社区驱动学习和数字平台等实际应用改善相关教育。
2024-12-06 cs.CL
Multilingual Gloss-free Sign Language Translation: Towards Building a Sign Language Foundation Model
Institute of Science Tokyo(东京科学大学);NHK Science & Technology Research Laboratories(日本广播协会科学技术研究所)
针对多语言手语翻译中语言冲突与对齐困难的问题,提出一种基于双重 CTC 目标的多语言无词汇表模型,支持 10 种手语并处理多种翻译任务,在三大基准上取得与最先进方法相媲美的性能。
2025-05-30 cs.CL
Recent Advances of Foundation Language Models-based Continual Learning: A Survey
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院)
本文针对基础语言模型因灾难性遗忘无法模拟人类持续学习的问题,对其持续学习方法进行系统分类(离线/在线及子类)、性能比较,填补领域空白并分析挑战与未来方向。
2024-11-29 cs.CL
Speech Translation with Speech Foundation Models and Large Language Models: What is There and What is Missing?
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
本文聚焦语音到文本翻译任务,通过分析相关论文提出SFMs与LLMs整合方案的统一视角,梳理经验教训并指出评估局限,为未来工作提供建议以明确该类方案的优劣势。
2024-11-29 cs.CL
Danish Foundation Models
Aarhus University(奥胡斯大学);The Alexandra Institute(亚历山德拉研究所);Alvenir;Beyond Work
丹麦基础模型项目旨在通过公私合作,为丹麦语提供开放、高质量的基础模型,以应对小语种因训练成本高而落后的风险。
2023-11-13 cs.CL
The Foundational Capabilities of Large Language Models in Predicting Postoperative Risks Using Clinical Notes
National University of Singapore(新加坡国立大学)
本研究利用84,875份术前记录,考察大型语言模型通过多种微调策略预测六项术后风险的表现,发现统一基础模型取得最优性能,凸显了LLMs在围手术期护理中的基础能力。
2024-08-31 cs.CL
Surpassing Scale by Efficiency: A Compact 135M Parameter Foundational LLM Natively Adapted for the Bangla Language
Independent Researcher(独立研究者)
提出一个135M参数的紧凑型解码器模型bangla-smollm-135m,通过确定性交集-追加词元合并策略解决孟加拉语子词碎片化,在零样本多任务基准上匹配或超越两倍大小模型。
2026-06-16 cs.CL
How do Multimodal Foundation Models Encode Text and Speech? An Analysis of Cross-Lingual and Cross-Modal Representations
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文分析三个多模态基础模型在跨语言文本与语音语义等价句子上的激活,揭示表征随层收敛、长度适配作用及模态与语言差距规律。
2025-02-20 cs.CL
Let Me Teach You: Pedagogical Foundations of Feedback for Language Models
EPFL(洛桑联邦理工学院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本文借鉴教育学理论提出FELT框架,系统刻画LLM自然语言反馈空间并建立内容分类体系,为反馈设计提供理论依据并揭示新的研究方向。
2024-10-23 cs.CL
SeaLLMs 3: Open Foundation and Chat Multilingual Large Language Models for Southeast Asian Languages
DAMO Academy, Alibaba Group(阿里巴巴达摩院)
SeaLLMs 3是专为东南亚语言设计的开源多语言大模型,通过高效语言增强与指令微调降低成本,在知识、推理等任务达SOTA,兼顾安全与包容性。
2024-07-29 cs.CL
Code-Switching Detection via Language-Selective Dimensions in Speech Foundation Models
Apple MLR(苹果公司MLR部门)
本研究提出一种基于语音基础模型语言选择性维度的轻量语码转换检测方法,利用预训练语音编码器的帧级语言信息,在CS-FLEURS数据集14种语言对的平均F1值达0.798,为构建多语种语料库提供工具。
2026-10-16 cs.CL
Cross-Lingual Transfer for Machine Translation in Turkic Languages
该研究以五种突厥语为对象,利用成对迁移矩阵和mT5模型,发现紧密相关突厥语对间跨语言迁移更强,迁移方向及拉丁化对翻译指标有特定影响,迁移源在多数场景下稳定。
2026-08-03 cs.AI cs.CL
FLAVA: A Foundational Language And Vision Alignment Model
Facebook AI Research (FAIR)(脸书人工智能研究院)
最先进的视觉和视觉与语言模型依赖于大规模的神经语言预训练,以在各种下游任务上获得良好的性能。一般来说,这些模型通常是跨模态(对比)或多模态(早期融合),但不是两者兼而有之;它们通常只针对特定的模态或任务。一个有希望的方向是使用一个单一的整体通用模型作为“基础”,它同时针对所有模态--一个真正的视觉和语言基础模型应该擅长视觉任务、语言任务以及跨模态和多模态的视觉和语言任务。我们介绍FLAVA作为这样一个模型,并展示了令人印象深刻的性能在广泛的35个任务跨越这些目标的方式。
2022-03-29 cs.CL cs.CV
Foundations of Large Language Model Compression -- Part 1: Weight Quantization
本文从凸优化视角提出LLM权重量化框架CVXQ,支持训练后压缩至任意模型规模,并可扩展至数千亿参数模型。
2024-10-03 cs.CL cs.LG
Architectural Foundations for the Large Language Model Infrastructures
本文探讨LLM基础设施、软件和数据管理的复杂格局,分析核心组件,强调关键考虑因素与保障措施,为构建稳健有效的LLM基础设施提供挑战与策略的综合见解。
2024-08-21 cs.AI cs.CL
Elsevier Arena: Human Evaluation of Chemistry/Biology/Health Foundational Large Language Models
该论文原聚焦化学、生物与健康领域基础大语言模型的人类评估,当前版本因提交者无许可授权已被arXiv管理员移除。
2024-09-17 cs.AI cs.CL
GigaAM Multilingual: Foundation Model for Underrepresented Languages
SaluteDevices, Russia(SaluteDevices)
针对多语言ASR中长尾语言数据稀缺问题,提出GigaAM Multilingual,用Conformer编码器在大量音频上预训练,预训练时引入聚类级数据平衡策略,微调时采用领域感知采样方法,在目标语言上优于其他编码器,发布相关模型提供多语言适应方法。
2026-07-14 cs.CL eess.AS
Vision-and-Language Navigation Today and Tomorrow: A Survey in the Era of Foundation Models
Michigan State University(密歇根州立大学);University of Michigan(密歇根大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);University of Adelaide(阿德莱德大学)
本文综述了基础模型时代视觉与语言导航的研究现状,提出具身规划与推理框架,梳理当前方法并展望基础模型在该领域的未来机遇。
2024-12-29 cs.CL cs.CV
Foundations of Large Language Models
Northeastern University(东北大学);NiuTrans Research(小牛翻译研究院)
本书聚焦大语言模型基础概念,分预训练、生成模型、提示、对齐、推理五章,面向NLP相关专业学生与从业者,是大语言模型领域的基础参考读物。
2026-10-09 cs.AI cs.CL cs.LG
A Survey on the Applications of Frontier AI, Foundation Models, and Large Language Models to Intelligent Transportation Systems
Nanyang Technological University(南洋理工大学);Pyramids Higher Institute for Engineering and Technology(金字塔高等工程与技术学院)
本文综述了前沿人工智能、基础模型和大语言模型在智能交通系统中的应用,涵盖交通管理、自动驾驶和智慧城市建设,并分析其挑战与未来研究方向。
2024-01-12 cs.AI cs.CL
Towards Interpretable Time Series Foundation Models
本文通过将时间序列推理能力蒸馏到小型指令微调语言模型中,构建可解释的时间序列基础模型,并验证其在轻量级部署中的有效性。
2025-07-10 cs.AI cs.CL
Foundation CAN LM: A Pretrained Language Model For Automotive CAN Data
本文提出基础CAN语言模型,通过预训练实现对汽车CAN数据的多目标下游泛化,推动汽车AI中的可泛化表征学习。
2026-01-31 cs.AI cs.CL
Visual Clues: Bridging Vision and Language Foundations for Image Paragraph Captioning
Microsoft(微软)
人们说:“一张照片胜过千言万语。那么我们怎样才能从图像中提取出丰富的信息呢?我们认为,通过使用视觉线索来桥接大型预训练视觉基础模型和语言模型,我们可以在没有任何额外的跨模态训练的情况下做到这一点。由于基础模型强大的zero-shot能力,我们首先构建图像的丰富语义表示(例如,图像标签、对象属性/位置、标题)作为结构化的文本提示,称为视觉线索,使用视觉基础模型。基于视觉线索,使用大语言模型对视觉内容进行一系列综合描述,然后再次通过视觉模型进行验证,选出与图像最匹配的候选项。我们通过定量和定性测量来评估生成的描述的质量。结果表明,这种结构化的语义表示的有效性。
2022-09-14 cs.AI cs.CL cs.CV
Tracing Moral Foundations in Large Language Models
Department of Computer Science, University of Southern California(南加州大学计算机科学系);Department of Psychology, University of Southern California(南加州大学心理学系);Center for Computational Language Sciences, University of Southern California(南加州大学计算语言科学中心)
本文研究了大型语言模型中道德基础的编码、组织和表达,通过多层方法分析道德基础与人类道德感知的一致性,并发现道德结构在预训练和微调过程中自然形成,且部分解耦。
2026-11-11 cs.AI cs.CL
JIANG: Chinese Open Foundation Language Model
KDF
针对现有大模型因词汇设计和训练语料限制在中文上能力发挥不足的问题,提出专为中文设计的开放基础语言模型JIANG,通过收集大量中文语料训练并优化模型结构,实验证明其性能优异。
2023-08-01 cs.AI cs.CL
FPM: A Collection of Large-scale Foundation Pre-trained Language Models
大规模的Transformer模型极大地促进了自然语言处理应用的发展。然而,几乎没有努力统一有效的模型。在本文中,在未来提供一组新的基线模型的驱动下,我们采用了各种新颖的Transformer架构,并在最近的主流技术的帮助下推出了一个模型集。我们重点讨论基于现有强大的编码器-解码器结构优化网络的深度。我们表明,通过适当地避免训练缺陷,如不收敛和退化,扩展现成的Transformer架构始终提供更好的性能。为了刺激未来的研究大规模语言模型预训练,我们提出了广泛的结果和详细的讨论网络性能的改善方面的网络深度,并确认存在的最佳层数在特定的任务。据我们所知,我们提供最大的中文生成模型和最大的中文编码模型。我们在英语数据集上训练的BERT语言模型的F1得分比Turing-NLR高14.45%。
2022-04-09 cs.AI cs.CL
The language of time: a language model perspective on time-series foundation models
College of Computer Science and Artificial Intelligence, Fudan University(计算机科学与人工智能学院,复旦大学);Shanghai Key Laboratory of Data Science(上海数据科学重点实验室);ZCTech;School of Mathematics and Statistics, Beijing Institute of Technology(数学与统计学学院,北京理工大学)
本文从语言模型视角揭示基于分块的时间序列基础模型通过将连续分块量化为类自然语言的离散词汇表,从而继承大语言模型的表示与迁移能力,并据此解释其跨领域泛化悖论。
2025-06-29 cs.AI cs.CL cs.LG
An Explainable Biomedical Foundation Model via Large-Scale Concept-Enhanced Vision-Language Pre-training
Shenzhen People’s Hospital(深圳人民医院);The Chinese University of Hong Kong(香港中文大学)
针对医学AI黑盒模型缺乏可解释性的问题,提出首个可解释生物医学基础模型ConceptCLIP,利用2300万三元组数据集进行双重对齐预训练,在52项临床任务上实现最优诊断准确率并提供经专家验证的解释。
2025-04-26 cs.CL cs.CV
OpenFMNav: Towards Open-Set Zero-Shot Object Navigation via Vision-Language Foundation Models
Peking University(北京大学);University of Notre Dame(圣母大学)
本文提出OpenFMNav框架,利用LLM提取目标、VLM构建语义得分图,实现开放集零样本目标导航,在HM3D基准上超越所有基线并验证了真实世界泛化能力。
2024-03-25 cs.CL cs.RO
LLaVA-Gemma: Accelerating Multimodal Foundation Models with a Compact Language Model
Intel Labs(英特尔实验室)
本文基于LLaVA框架和Gemma系列LLM(特别是2B模型)构建了LLaVA-Gemma多模态基础模型,通过消融实验分析连接器预训练、视觉骨干规模和语言骨干规模的影响,并公开了训练配方、代码和权重。
2024-06-10 cs.AI cs.CL
A unified foundational framework for knowledge injection and evaluation of Large Language Models in Combustion Science
School of Mechanics and Engineering Science, Peking University(力学与工程科学学院,北京大学);AI for Science Institute(人工智能科学研究院)
本研究提出一个统一框架,用于开发燃烧科学专用的大语言模型,通过三阶段知识注入路径提升模型性能。
2026-02-27 cs.AI cs.CL
VEPO: Variable Entropy Policy Optimization for Low-Resource Language Foundation Models
本文提出VEPO,通过强化学习可验证奖励整合确定性结构约束,提升低资源语言的分词效率和翻译质量。
2026-03-19 cs.AI cs.CL
Cross-lingual Collapse: How Language-Centric Foundation Models Shape Reasoning in Large Language Models
NAVER Cloud(NAVER云);KAIST(韩国科学技术院)
该研究探讨了多语言模型在长链思考中因语言中心化先验导致的推理能力下降问题,并提出通过语言一致性奖励等方法缓解这一现象。
2026-02-23 cs.AI cs.CL
Theoretical Foundations and Mitigation of Hallucination in Large Language Models
Department of Computer Science, University of Sana'a(桑加大学计算机科学系)
该研究对大语言模型幻觉问题给出形式化定义与理论分析,推导幻觉风险边界,调研检测与缓解方法,提出统一工作流与评估协议,为解决该挑战提供理论基础与实践指南。
2025-07-20 cs.AI cs.CL
Language-Pretraining-Induced Bias: A Strong Foundation for General Vision Tasks
MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出随机标签桥梁训练方法,通过模态适应学习有效对齐大语言模型参数与视觉任务,揭示部分桥梁训练在视觉任务中的优势。
2026-04-03 cs.CL cs.CV cs.LG
Heterogeneous Scientific Foundation Model Collaboration
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出Eywa框架,通过将语言模型与领域特定基础模型结合,提升科学领域多模态任务的推理能力,实验显示其在结构化数据任务中表现更优。
2026-04-30 cs.AI cs.CL cs.LG
Learn and Don't Forget: Adding a New Language to ASR Foundation Models
ALTA Institute, Machine Intelligence Lab, Department of Engineering, Cambridge University, UK
研究向ASR基础模型添加新语言同时保持原语言性能的方法,比较了软语言代码调优、软提示调优、LoRA和EWC等策略,发现直接微调效果最好但有损原语言能力,EWC能针对特定语言平衡此问题,仅用适应参数可维持原能力但新语言性能受限。
2024-09-24 cs.CL cs.LG cs.SD
Voxlect: A Speech Foundation Model Benchmark for Modeling Dialects and Regional Languages Around the Globe
Voxlect是一个用于全球方言和地区语言建模的语音基础模型基准,通过评估多种模型在30个语料库上的分类性能,并展示其在ASR增强和语音生成评估中的应用。
2025-08-03 cs.CL cs.SD eess.AS
Moral Foundations of Large Language Models
University of California, Berkeley(加州大学伯克利分校);Google Research(谷歌研究院);University of Cambridge(剑桥大学)
本文基于道德基础理论(MFT)分析大型语言模型(LLMs)的道德偏见,发现模型表现出特定的道德基础且与人类政治立场相关,并指出对抗性提示可影响其在下游任务中的行为,揭示了潜在风险。
2023-10-23 cs.AI cs.CL cs.CY
LESS: Large Language Model Enhanced Semi-Supervised Learning for Speech Foundational Models Using in-the-wild Data
LESS通过利用大规模语言模型校正野外数据生成的伪标签,提升了语音基础模型在多种语言和任务中的性能,显著降低了词错误率并提高了BLEU分数。
2026-03-13 cs.CL cs.SD eess.AS
Chronicle: A Multimodal Foundation Model for Joint Language and Time Series Understanding
InertialAI;Department of Electrical and Computer Engineering, Queen’s University(皇后大学电气与计算机工程系);Department of Mechanical and Materials Engineering, Queen’s University(皇后大学机械与材料工程系)
本文提出Chronicle,一种联合训练语言和时间序列的多模态基础模型,通过统一架构实现两者共享参数,从而在多个任务上取得了优异表现。
2026-05-18 cs.AI cs.CL cs.LG
Investigating the Potential of Large Language Model-Based Router Multi-Agent Architectures for Foundation Design Automation: A Task Classification and Expert Selection Study
King Mongkut's University of Technology Thonburi(国王科技大学)
本研究针对基础设计自动化需求,提出基于大语言模型路由的多智能体任务分类与专家选择架构,经多模型多场景测试验证性能显著优于传统方案,可作为工程设计辅助工具。
2025-06-13 cs.AI cs.CL cs.MA
Training Fast Robot Policies with Slow Foundation Models
本文提出VGRS方法,通过利用慢速基础模型训练快速机器人策略,结合LLM生成奖励与视觉分析诊断,提升机器人在复杂任务中的表现和部署效率。
2026-07-22 cs.CL cs.LG cs.RO
A decoder-only foundation model for time-series forecasting
Google Research(谷歌研究院)
受NLP大模型启发,提出一种仅解码器的时间序列基础模型,通过在大规模语料上预训练补丁解码器注意力模型,实现零样本预测性能接近各数据集上的监督模型,且适应多种预测长度与粒度。
2024-04-17 cs.AI cs.CL cs.LG
Adapting an ASR Foundation Model for Spoken Language Assessment
ALTA Institute(ALTA研究所);Cambridge University(剑桥大学);Cambridge University Press & Assessment(剑桥大学出版社与评估部);EST Ltd(EST有限公司)
针对口语评估中ASR输出可读性高但不够精确的问题,分析Whisper输出,提出微调和软提示调优两种方法,实验表明能有效生成考生实际所说的单词。
2023-10-10 cs.CL cs.SD eess.AS
ORBIT: Preserving Foundational Language Capabilities in GenRetrieval via Origin-Regulated Merging
Johns Hopkins University(约翰霍普金斯大学);Google DeepMind(谷歌DeepMind);Google(谷歌)
ORBIT通过跟踪模型权重距离并使用加权平均策略,在生成检索微调中减少模型漂移,有效保留语言基础能力。
2026-05-12 cs.CL cs.IR cs.LG
Embodied AI with Foundation Models for Mobile Service Robots: A Systematic Review
本文系统综述了基础模型在移动服务机器人中的应用,探讨了其在具身AI中的整合、核心挑战及未来研究方向。
2026-01-28 cs.AI cs.CL cs.CV
MOSEL: 950,000 Hours of Speech Data for Open-Source Speech Foundation Model Training on EU Languages
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
针对现有语音基础模型未真正开源权重、代码与训练数据的问题,本文构建MODEL语料,汇集95万小时欧盟24种官方语言语音数据,并发布44.1万小时无标注数据的CC-BY自动转写。
2024-10-01 cs.AI cs.CL cs.SD
A Comprehensive Survey of Hallucination in Large Language, Image, Video and Audio Foundation Models
Indian Institute of Technology Patna(印度理工学院巴特那分校);Stanford University(斯坦福大学);Amazon GenAI(亚马逊生成式人工智能部门)
本文系统综述了语言、图像、视频和音频基础模型中的幻觉问题,提出涵盖定义、分类与检测策略的统一框架,并总结各模态下检测与缓解幻觉的最新方法,为多模态基础模型的可靠性研究奠定基础。
2024-10-03 cs.AI cs.CL cs.CV
Open World Knowledge Aided Single-Cell Foundation Model with Robust Cross-Modal Cell-Language Pre-training
BGI Research(华大研究院);Renmin University of China(中国人民大学);Chongqing Medical University(重庆医科大学)
OKR-CELL通过开放世界知识和鲁棒跨模态预训练,提升单细胞基础模型在细胞-语言跨模态任务中的表现。
2026-01-09 cs.AI cs.CL cs.LG
Investigating the Effects of Large-Scale Pseudo-Stereo Data and Different Speech Foundation Model on Dialogue Generative Spoken Language Model
NVIDIA(英伟达);National Taiwan University(台湾大学)
本文提出将单声道对话转换为伪立体声数据的流程,把训练数据扩展至17,600小时,并比较不同语音基础模型的离散单元,以提升口语对话生成模型性能。
2024-07-02 cs.CL cs.HC cs.SD