AgriGov: A Structured Multilingual Dataset Curation for Indian Government Schemes for Farmers
National Institute of Technology Calicut(国立卡利卡特理工学院)
提出AgriGov三语数据集,通过自动抓取、翻译流水线和人工后编辑构建约8000句对齐的农业政策领域平行语料,支持机器翻译、问答等应用。
2026-06-06 cs.AI cs.CL
RDF-Based Structured Quality Assessment Representation of Multilingual LLM Evaluations
Leipzig University of Applied Sciences(莱比锡应用科学大学)
提出基于RDF的框架评估多语言LLM在知识冲突下的质量,通过四种上下文条件捕获响应并分析知识泄露与多语言一致性,实验验证了词汇表在28个问题研究中的充分性。
2025-04-30 cs.AI cs.CL cs.IR
Probing Structured Pruning on Multilingual Pre-trained Models: Settings, Algorithms, and Efficiency
The Chinese University of Hong Kong(香港中文大学);Alibaba Group(阿里巴巴集团);Peking University(北京大学)
结构化修剪已经在单语预训练语言模型上得到了广泛的研究,并且还没有在多语言模型上得到充分的评估。本文研究了多语言预训练语言模型的结构化剪枝的三个方面:设置、算法和效率。对九个下游任务的实验显示了几个反直觉的现象:对于设置,对每种语言单独修剪并不会产生更好的结果;对于算法,最简单的方法表现最好;对于效率,快速模型并不意味着它也很小。为了便于在所有稀疏性级别上进行比较,我们提出了动态稀疏化,这是一种简单的方法,允许对模型进行一次训练,并在推理时适应不同的模型大小。我们希望这项工作填补了多语言预训练模型的结构化修剪研究的空白,并为未来的研究提供指导。
2022-04-06 cs.CL
BC Protocol: Structured Dual-Expert Dialogue for Eliciting High-Quality Chain-of-Thought Post-Training Data
针对大语言模型后训练中高质量专家思维链数据生产瓶颈,提出BC协议——一种结构化双专家引出方法,通过配对领域专家与知识工程师,系统外化专家隐性判断为自然语言推理链,实验证明其在推理过程自然性上具有压倒性优势。
2026-05-25 cs.AI cs.CL cs.LG
mCoT: Multilingual Instruction Tuning for Reasoning Consistency in Language Models
Center for Language and Cognition (CLCG)(语言与认知中心(CLCG));University of Groningen(格罗宁根大学)
针对大语言模型多语言推理可靠性存疑的问题,构建覆盖11种语言的mCoT-MATH数据集,提出多语言CoT指令微调,7B参数的mCoT模型实现跨语言推理一致性和优异性能。
2024-07-10 cs.CL
Same Values, Different Languages? From Multilingual Probing to Steering LLMs Toward Chinese Social Values
School of Information Science and Technology, Beijing Foreign Studies University(北京外国语大学信息科学与技术学院);Beijing Academy of Artificial Intelligence(北京人工智能研究院);Beihang University(北京航空航天大学)
本研究构建多语言对比数据集C-Voices,提出无需微调的价值观向量引导方法,发现大语言模型价值观偏好存在语言敏感性,并实现有效的跨语言价值观对齐。
2026-09-09 cs.AI cs.CL
Multilingual State Space Models for Structured Question Answering in Indic Languages
Santa Clara University(圣克拉拉大学);Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院);Stanford University(斯坦福大学)
本文首次将状态空间模型(SSMs)应用于印度语言问答任务,通过在多语言数据集上评估多种架构并优化框架,显著提升了低资源环境下的问答性能并建立了基础基准。
2025-10-31 cs.AI cs.CL
HintMR: Eliciting Stronger Mathematical Reasoning in Small Language Models
University at Albany(阿尔巴尼大学);University at Buffalo(布法罗大学);Stony Brook University(石溪大学)
本文提出HintMR框架,通过提示辅助引导小型语言模型进行多步数学问题解决,通过协作的双模型系统提升推理准确性,实验表明在多种数学基准上显著提升性能。
2026-04-14 cs.AI cs.CL
SoT: Structured-of-Thought Prompting Guides Multilingual Reasoning in Large Language Models
Key Laboratory of Big Data & Artificial Intelligence in Transportation (Beijing Jiaotong University), Ministry of Education(大数据与人工智能交通 key laboratory(北京交通大学));School of Computer Science and Technology, Beijing Jiaotong University(计算机科学与技术学院(北京交通大学));University of Montreal(蒙特利尔大学)
针对非高资源语言下大语言模型多语言推理能力不足的问题,提出无需训练的结构化思维提示方法SoT,通过两步变换实现跨语言一致推理,在多基准上优于强基线且可兼容其他免训练策略。
2025-10-03 cs.CL
Multilingual, Multimodal Pipeline for Creating Authentic and Structured Fact-Checked Claim Dataset
Ruhr-Universität Bochum(博尔塔尔大学波恩)
本文提出一个多语言、多模态的数据收集与处理流水线,通过整合ClaimReview feeds、抓取完整驳斥文章、标准化异构声明裁定并添加结构化元数据和对齐的视觉内容,构建了法语和德语的事实核查数据集,提升了事实核查的可解释性和证据基础。
2026-03-17 cs.CL
OmniConfess: Eliciting Token Confessions to Mitigate Omni-Modal Hallucination
Beijing University of Posts and Telecommunications(北京邮电大学);Nanyang Technological University(南洋理工大学)
OmniConfess通过令牌级通道干预生成证据坦白,无需训练即可缓解全模态大模型的幻觉,并在OmniHalluBench基准上验证了有效性。
2026-10-06 cs.CL
Polyglots or Multitudes? Multilingual LLM Answers to Value-laden Multiple-Choice Questions
Sorbonne Université, CNRS, ISIR(索邦大学、国家科学研究中心、ISIR);CREST, CNRS, Institut Polytechnique de Paris(CREST、国家科学研究中心、巴黎高等理工学院)
研究多语言LLM在价值导向选择题中的回答一致性,发现语言影响回答,需进一步探讨偏好微调的作用。
2026-02-05 cs.CL
BPE Stays on SCRIPT: Structured Encoding for Robust Multilingual Pretokenization
Cohere;EleutherAI
针对 BPE 在多语言预分词中惩罚非西方文字及部分 UTF-8 序列的问题,提出基于 Unicode 属性的 SCRIPT 编码方案与强制字符完整性的受限 BPE 合并策略,消除了非拉丁文字的编码惩罚并实现了有竞争力的压缩率。
2025-05-30 cs.CL
Do LLMs Need Inherent Reasoning Before Reinforcement Learning? A Study in Korean Self-Correction
ETRI
本研究探讨LLMs在强化学习前是否需要具备内在推理能力,通过韩国自我修正研究发现,对齐模型内部推理与韩语输入关键,提升多语言推理效果。
2026-01-09 cs.AI cs.CL
Is It Good Data for Multilingual Instruction Tuning or Just Bad Multilingual Evaluation for Large Language Models?
University of Edinburgh(爱丁堡大学);Northeastern University(东北大学);Tsinghua University(清华大学)
本研究探讨多语言大模型微调与评估中过度依赖翻译带来的问题,发现母语或生成基准能揭示母语与翻译指令数据的显著差异,并证明正则化有助于在结构化任务上弥合此差距。
2024-09-26 cs.AI cs.CL
Data Therapist: Eliciting Domain Knowledge from Subject Matter Experts Using Large Language Models
Aarhus University(奥胡斯大学);Seoul National University(首尔大学);Oregon State University(俄勒冈州立大学)
Data Therapist是一个基于Web的系统,通过结合大型语言模型驱动的迭代问答与交互式注释,帮助领域专家外化数据中的隐性知识,以支持人类与自动化的可视化设计。
2025-10-31 cs.AI cs.HC
WorldBench: Culturally Grounded Benchmark for Multilingual Agents
University of Edinburgh(爱丁堡大学);School of Informatics, University of Edinburgh(爱丁堡大学信息学院);School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院)
本文提出WorldBench多语言文化贴合基准,含1600个跨语言跨文化任务,引入CTS指标评估,发现前沿模型CTS仅49.2%,当前智能体在相关场景下仍较脆弱。
2026-09-02 cs.AI cs.CL
Debate, Reflect, and Distill: Multi-Agent Feedback with Tree-Structured Preference Optimization for Efficient Language Model Enhancement
Beijing Institute of Technology(北京理工大学);Singapore Management University(新加坡国立大学)
本文提出辩论与反思(D&R)框架和树结构直接偏好优化(T-DPO),通过多智能体辩论反馈高效训练较小语言模型,显著提升其准确性、鲁棒性和泛化能力。
2025-06-04 cs.AI cs.CL
IGT @ FinMMEval 2026 Task 2: Question-Type Prompting with Targeted Extraction for Multilingual Financial QA
Georgia Institute of Technology(佐治亚理工学院)
提出IGT系统,针对多语言金融问答,按题型区分结构化数值抽取与综合新闻选择,开发集ROUGE-1达0.395,测试集排名第三。
2026-09-09 cs.AI cs.CL
From Literal to Liberal: A Meta-Prompting Framework for Eliciting Human-Aligned Exception Handling in Large Language Models
Independent Researcher(独立研究者)
针对LLMs规则僵化问题,提出低计算量元提示框架RID,通过结构化认知图式激发零样本人类对齐异常处理,在20场景基准上达到95%人类对齐分数,优于基线和CoT。
2025-10-14 cs.AI cs.CL cs.LG
MedReason: Eliciting Factual Medical Reasoning Steps in LLMs via Knowledge Graphs
UC Santa Cruz(加州大学圣克鲁兹分校);University of British Columbia(不列颠哥伦比亚大学);Nanyang Technological University(南洋理工大学);Stanford University(斯坦福大学);Weill Cornell Medicine(威尔康奈尔医学院);NYU Langone Health(纽约大学兰贡医学中心);Chungnam National University Sejong Hospital(忠南大学世宗医院);Vector Institute(矢量研究院);Pusan National University Hospital(釜山国立大学医院);Massachusetts General Hospital(麻省总医院)
针对医疗推理缺乏透明步骤数据集的问题,提出MedReason数据集,利用知识图谱将临床QA转化为逻辑推理链,微调后显著提升了LLM的医疗问题求解能力并超越现有先进模型。
2025-04-04 cs.AI cs.CL
When the API Speaks the Wrong Language: Revisiting Post-Training for Multilingual Tool Use
Amazon(亚马逊)
针对多语言API调用中存在的参数语言不匹配问题,研究发现监督微调可实现接近或优于复杂强化学习方法的性能,强化学习仅能提供渐进式改进。
2026-08-13 cs.AI cs.CL
Querying Structured Data Through Natural Language Using Language Models
National University of Science and Technology POLITEHNICA Bucharest(布加勒斯特理工大学);Institute of Communication and Computer Systems (ICCS)(通信与计算机系统研究所)
本文提出一种开源方法,使用户能通过自然语言查询结构化非文本数据集,通过训练LLM生成可执行查询,展示了在资源受限环境下小型领域模型的高效性。
2026-04-03 cs.AI cs.CL
TelcoAgent-Bench: A Multilingual Benchmark for Telecom AI Agents
Research Institute for Digital Future, Khalifa University(哈利法大学数字未来研究所)
本文提出TelcoAgent-Bench和TelcoAgent-Metrics,用于评估多语言电信LLM代理,通过结构化指标评估意图识别、工具执行、解决正确性和稳定性,以量化LLM代理在电信环境中的可靠性。
2026-03-16 cs.CL
PolyWorkBench: Benchmarking LLM Agents for Cross-Lingual Long-Horizon Workflows
Beijing Jiaotong University(北京交通大学);Weixin AI, Tencent Inc(腾讯微云人工智能实验室)
研究多语言长视野工作流程中LLM智能体的表现,提出PolyWorkBench基准测试及结合多种评估方式的混合框架,发现最先进LLM智能体在多语言设置中性能降,强调联合建模语言变化和程序决策对智能体评估的重要性。
2026-08-18 cs.AI cs.CL
Integrating knowledge graphs and multilingual scholarly corpora for domain-adaptive LLMs in SSH
Huma-Num, CNRS(人文数字实验室,法国国家科学研究中心);CNR - Institute for Computational Linguistics “A. Zampolli” (CNR-ILC)(意大利国家研究委员会 - 计算语言学“ A. 赞波利”研究所(CNR-ILC));Inria(法国国家信息与自动化研究所);Inist, CNRS(法国国家科学研究中心人文社会科学信息研究所)
本文针对LLMs集成到SSH科研工作流程的挑战,介绍欧洲项目LLMs4EU和ALT-EDIC基础设施中的用例,通过遵循特定协议的评估框架,将模型适配嵌入相关框架,探索领域敏感且合规的生成式AI对SSH学术研究的支持。
2026-07-08 cs.AI cs.CL
Inductive Linguistic Reasoning with Large Language Models
Greenwich High School(格林威治高中);University of Pennsylvania(宾夕法尼亚大学)
本文通过极低资源语言谜题研究大语言模型的抽象多语言推理能力,提出两阶段类比提示方法,有效提升GPT-4o和Llama-3.1-405B-Instruct等模型在modeLing和LINGOLY数据集上的推理性能。
2024-12-09 cs.AI cs.CL
ILM: An AI-Powered Storytelling Educational Tool
McMaster University(麦克马斯特大学)
ILM是一款结合阿拉伯语NLP、KG和LLM的交互式教育平台,用于辅助多语言环境下伊斯兰先知故事的结构化学习、理解与评估。
2026-10-15 cs.CL
PsychoSafe: Eliciting Psychologically-Informed Refusals in Large Language Models
University of Southern Denmark(南丹麦大学);University of Turin(都灵大学);University of Hamburg(汉堡大学);University of Lübeck(吕贝克大学)
提出PsychoSafe框架,将LLM的拒绝行为重构为基于证据干预策略的结构化支持性沟通,通过构建5个心理风险领域的8019个提示-响应对,对Qwen 3.5 27B进行提示和参数高效微调,在拒绝质量上比通用基线提升28.1%,同时保持非拒绝任务性能。
2026-10-30 cs.CL
Lost in Execution: On the Multilingual Robustness of Tool Calling in Large Language Models
University of Southern California(南加州大学);Arizona State University(亚利桑那州立大学)
研究探讨了多语言环境下大型语言模型工具调用的鲁棒性,通过MLCL基准测试发现参数值语言不匹配是主要失败模式,尽管策略减少错误但无法恢复英语水平性能。
2026-06-28 cs.AI cs.CL cs.LG
MultiFinBen: Benchmarking Large Language Models for Multilingual and Multimodal Financial Application
提出首个专家标注的多语言多模态金融基准MultiFinBen,包含多语言金融推理和金融OCR任务,评估21个领先LLM发现前沿模型在多语言与多模态金融推理上仍存在显著局限。
2025-10-11 cs.CL
Incremental Multilingual Text2Cypher with Adapter Combination
Neo4j London UK(Neo4j伦敦英国)
本文提出一种可扩展的多语言文本到图结构方法,通过训练语言特定的LoRA适配器并结合统一线性融合或学习融合MLP,实现无需全量微调即可支持新语言,提升数据效率和性能。
2026-05-11 cs.CL
Prix-LM: Pretraining for Multilingual Knowledge Base Construction
University of Cambridge(剑桥大学);University of Southern California(南加州大学)
知识库包含了大量的结构化世界知识和常识知识。因此,它们往往补充基于文本的分发信息,并促进各种下游任务。由于其手动构建是资源和时间密集型的,最近的努力已经尝试利用大型预训练的语言模型(PLM),以生成额外的单语知识事实的知识库。然而,这些方法还没有被尝试用于构建和丰富多语言知识库。除了更广泛的应用之外,这种多语言知识库可以提供比单语言更丰富的组合知识(例如,English)KBs.用不同语言表达的知识可能是互补的,分布不均匀:这意味着用资源丰富的语言提供的知识可以转移到资源较少的语言。为了实现这一目标,在共享/统一的空间中表示多语言知识至关重要。为此,我们提出了一个统一的表示模型,Prix-LM,多语言知识库的建设和完成。我们利用两种类型的知识,单语三元组和跨语言的链接,从现有的多语言知识库中提取,并通过因果语言建模目标调整多语言编码器XLM-R。Prix-LM将有用的多语言和基于知识库的事实知识集成到一个模型中。标准的实体相关的任务,如链接预测在多种语言,跨语言的实体链接和双语词典归纳的实验,证明了其有效性,与收益报告强任务专业化的基线。
2022-03-09 cs.CL
MLingualFC: Evaluating Jailbreak Vulnerabilities in Multilingual Vision-Language Models
Dwarkadas Jivanlal Sanghvi College of Engineering(达沃拉斯·吉万拉尔·桑格维工程学院);King’s College London(伦敦国王学院);Indian Institute of Technology Jodhpur(印度理工学院朱罗普尔)
提出多语言多模态基准MLingualFC,使用流程图编码有害指令评估多语言VLM的越狱漏洞,发现拉丁语系攻击成功率显著高于非拉丁语系,揭示安全机制跨语言泛化不足。
2026-06-05 cs.AI cs.CR
DARE: Dialectical Agentic Reasoning for Structured Knowledge Fact Checking
University of Science and Technology of China(中国科学技术大学)
DARE提出多智能体辩证推理框架,通过关系约束检索、双向验证和置信度反思,在结构化知识事实核查中使8B模型达到88.12%准确率,媲美GPT-4o基线。
2026-09-15 cs.CL
Towards Efficient Multimodal and Multilingual Opinion Extraction for STI: A QLoRA-Based Fine-Tuning Approach
Beihang University(北京航空航天大学);Nanchang University(南昌大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
本研究针对科技情报观点抽取的噪声过滤与结构化输出问题,提出基于QLoRA微调的多模态框架,在2194样本数据集上实现多语言观点抽取性能显著提升。
2026-08-17 cs.AI
Translation Circuit Discovery and Targeted Optimization for Low-Resource Multilingual Translation
Indraprastha Institute of Information Technology Delhi(英迪拉普拉斯塔信息技术学院德里分校)
本研究针对低资源多语言翻译,提出TITAN框架发现并优化仅解码器LLM的翻译回路,仅更新不到5%参数,在印地语到乌尔都语、信德语翻译上获显著BLEU提升,且揭示多语言翻译的稀疏回路机制。
2026-10-16 cs.CL
Benchmarking Concept-Spilling Across Languages in LLMs
EPFL(洛桑联邦理工学院);ETH AI Center(苏黎世联邦理工学院人工智能中心)
本文提出了一种评估多语言LLMs语义鲁棒性的框架,通过分析模型在生成多义词时的表现,揭示模型和语言间的语义鲁棒性差异,并贡献了可扩展的评估基准和验证流程。
2026-01-18 cs.AI cs.CL
An Agentic Hybrid Top-Down and Bottom-Up Approach to Knowledge Graph Generation
Malt
针对HR平台的多语言非标准化技能声明问题,提出结合LLM与Wikidata KG的智能体式混合KG生成流水线,可生成可扩展可解释的技能KG。
2026-08-10 cs.AI cs.CL
Multilingual Mathematical Reasoning: Advancing Open-Source LLMs in Hindi and English
Indraprastha Institute of Information Technology, Delhi(德里英德拉普拉斯塔信息技术学院)
本研究旨在提升开源LLMs在印地语和英语中的数学推理能力,通过课程学习、分解策略和结构化解决方案设计,使WizardMath 7B在英语数据集上超越Gemini准确率6%,并在印地语数据集上匹配其性能。
2024-12-24 cs.AI cs.CL
MultiHal: Multilingual Dataset for Knowledge-Graph Grounded Evaluation of LLM Hallucinations
Department of Computer Science, Aalborg University(计算机科学系,奥胡斯大学);Institute of Logic and Computation, TU Wien(逻辑与计算研究所,维也纳技术大学)
针对现有幻觉评估基准缺乏知识图谱路径和多语言支持的问题,提出多语言多跳基准MultiHal,通过挖掘并精选2.59万条知识图谱路径,在KG-RAG中显著提升语义相似度、NLI蕴含和幻觉检测得分,验证了知识图谱集成的潜力。
2025-10-23 cs.CL
Language Steering for Multilingual In-Context Learning
Texas A&M University(德克萨斯农工大学)
本文提出语言向量用于多语言情境学习,通过调整隐藏状态偏移量提升模型对目标语言的识别能力,实验显示在19种语言和三种模型上均取得显著提升。
2026-10-15 cs.CL
Turning English-centric LLMs Into Polyglots: How Much Multilinguality Is Needed?
University of Zurich(苏黎世大学);Textshuttle;ETH Zurich(苏黎世联邦理工学院);University of Edinburgh(爱丁堡大学)
本文研究英语中心大语言模型实现跨语言泛化所需的最少多语言微调量,发现仅用两到三种语言进行多语言指令微调即可有效激发跨语言能力,且对生成式任务尤其有益。
2024-10-03 cs.CL
Multilingual Prompt Engineering in Large Language Models: A Survey Across NLP Tasks
New York University, CIMS(纽约大学);Cleveland State University(克利夫兰州立大学)
本文综述多语言提示工程,按任务分类39种提示技术,分析覆盖约250种语言的36篇论文及30项NLP任务,并总结LLM、SoTA方法与跨语系资源差异。
2025-05-16 cs.AI cs.CL cs.LG
What Really Counts? Examining Step and Token Level Attribution in Multilingual CoT Reasoning
University of Groningen(格罗宁根大学)
本研究通过对比多语言Co-T推理中步骤和令牌级归因方法,揭示了归因分数的偏差及结构化提示对高资源语言准确性的影响,强调了多语言鲁棒性和解释透明性的挑战。
2025-11-19 cs.CL
Bridging Language Gaps: Advances in Cross-Lingual Information Retrieval with Multilingual LLMs
The Alan Turing Institute(艾伦·图灵研究所);Queen Mary University of London(伦敦女王学院);University College London(伦敦大学学院)
本综述梳理了跨语言信息检索从基于翻译到嵌入驱动、生成式技术的发展,介绍其核心组件、评估与资源,指出现存挑战并提出未来发展方向。
2025-10-01 cs.AI cs.CL cs.IR
Language-Routed RAG and Direct Option Scoring for Multilingual Financial QA: DS@GT at FinMMEval
Georgia Institute of Technology(佐治亚理工学院)
该研究针对多语言金融问答基准FinMMEval 2026任务1,构建基于LangGraph的检索增强管道,用RADS评分,通过加权倒数排名融合低资源语言索引,采用语言路由选择模型,揭示语言感知检索等对多语言金融推理的重要性。
2026-07-28 cs.AI cs.CL cs.IR
Text-to-SPARQL Goes Beyond English: Multilingual Question Answering Over Knowledge Graphs through Human-Inspired Reasoning
WSE Research Group, Leipzig University of Applied Sciences(莱比锡应用科学大学WSE研究组);DICE Research Group, University of Paderborn(波德恩堡大学DICE研究组)
针对多语言知识图谱问答,本文提出受人类启发的 mKGQAgent 框架,通过 LLM 智能体协同完成规划、实体链接与查询精化,并在 Text2SPARQL 2025 两项基准中夺冠。
2025-07-22 cs.AI cs.CL cs.IR
Mining Healthcare Procurement Data Using Text Mining and Natural Language Processing -- Reflection From An Industrial Project
Information School, the University of Sheffield(谢菲尔德大学信息学院);Vamstar Ltd.(Vamstar有限公司)
虽然文本挖掘和NLP研究已经建立了几十年,但在报告这些技术在构建真实世界应用程序中的使用的文献中仍然存在空白。例如,他们通常只关注单一的,有时甚至是简化的任务,而不深入讨论现实世界中常见的数据异构性和不一致性,或者它们对方法开发的影响。此外,很少有以前的工作集中在医疗保健领域。在这项工作中,我们描述了一个行业项目,该项目开发了文本挖掘和NLP解决方案,以挖掘医疗保健行业数百万个异构的多语言采购文档。我们提取结构化的采购合同数据,用于为动态评估供应商风险的平台提供动力。我们的工作在许多方面做出了独特的贡献。首先,我们处理高度异构的多语言数据,并记录我们应对这些挑战的方法。这主要是基于一种有效使用领域知识并推广到多种文本挖掘和NLP任务和语言的方法。其次,应用这种方法挖掘数以百万计的采购文件,我们开发了第一个结构化的采购合同数据库,这将有助于促进招标过程。第二,最后,我们讨论了实际的文本挖掘/NLP开发的经验教训,并为未来的研究和实践提出建议。
2023-01-09 cs.AI cs.CL
Understanding Multilingualism in Mixture-of-Experts LLMs: Routing Mechanism, Expert Specialization, and Layerwise Steering
National University of Singapore(新加坡国立大学);Beijing University of Posts and Telecommunication(北京邮电大学);Harbin Institute of Technology(哈尔滨工业大学);University of Science and Technology of China(中国科学技术大学)
本文研究了混合专家语言模型中的多语言处理机制,揭示了路由行为、专家专业化和逐层引导对多语言性能的影响,并提出了一种改进方法以提升多语言表现。
2026-01-20 cs.CL
How Language Directions Align with Token Geometry in Multilingual LLMs
Semyung University(顺阳大学)
研究揭示多语言大语言模型通过训练数据塑造的潜在表示结构区分语言,而非表面文字特征。
2025-11-16 cs.CL
Increasing Coverage and Precision of Textual Information in Multilingual Knowledge Graphs
Sapienza University of Rome(罗马第一大学);Apple(苹果公司);University of Calgary(卡尔加里大学)
本文提出自动知识图谱增强(KGE)任务,旨在弥合英语与非英语语言间文本信息的数量和质量差距,并引入无监督方法M-NTA结合机器翻译、网络搜索和大型语言模型生成高质量文本信息,同时发布了首个多语言人工策划基准WikiKGE-10。
2023-11-27 cs.AI cs.CL cs.LG
Do LLMs Build World Models From Text? A Multilingual Diagnostic of Spatial Reasoning
University of New South Wales(新南威尔士大学);Essential Energy;University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);Zhejiang University(浙江大学);Fudan University(复旦大学);Tsinghua University(清华大学)
通过多语言诊断基准 MentalMap 评估大语言模型的空间推理能力,发现所有模型在视角推理上存在普遍的性能瓶颈(L3 推理悬崖),表明该限制源于纯文本工作记忆约束而非特定架构。
2026-05-27 cs.AI
Low-Resource Fine-Tuning for Multi-Task Structured Information Extraction with a Billion-Parameter Instruction-Tuned Model
National Tsing Hua University(台湾清华大学);Accton Technology Corporation(智邦科技公司);University of Taipei(台北市立大学)
本研究提出ETLCH,一个基于LLaMA的十亿参数模型,通过低秩适配在少量样本上微调,用于多任务结构化信息抽取,以低计算成本实现稳定准确输出。
2025-09-10 cs.AI cs.CL