Can LLMs Convert Graphs to Text-Attributed Graphs?
University of Notre Dame(圣母大学);University of Connecticut(康涅狄格大学)
本文提出TANS方法,利用大语言模型结合拓扑信息将现有图转换为文本属性图,以解决跨图学习中特征空间不一致问题,并在文本缺失图上显著优于手工设计节点特征的方法。
2025-02-07 cs.AI cs.CL cs.LG
Less is More: Learning Graph Tasks with Just LLMs
本文实证表明,仅通过指导性思维链训练,无需专门的图编码器,小型 LLMs 即可学会解决图任务并泛化至新结构与新任务。
2025-08-13 cs.AI cs.LG
DrKGC: Dynamic Subgraph Retrieval-Augmented LLMs for Knowledge Graph Completion across General and Biomedical Domains
University of Minnesota(明尼苏达大学);University of Michigan(密歇根大学)
DrKGC通过轻量级训练学习结构嵌入与逻辑规则,结合自底向上动态子图检索和GCN适配器增强提示,提升LLM在通用及生物医学知识图谱补全中的性能与可解释性。
2025-11-10 cs.AI cs.CL cs.LG
GUNDAM: Aligning Large Language Models with Graph Understanding
Renmin University of China(中国人民大学);University of Chinese Academy of Sciences(中国科学院大学)
针对现有LLMs图学习研究重文本特征、轻结构理解的不足,本研究提出GUNDAM模型以增强LLMs的图结构理解与推理能力,实验证明其性能优于SOTA基线,并通过理论分析揭示了推理路径的作用。
2024-10-08 cs.AI cs.CL cs.LG
MINT: Evaluating LLMs in Multi-turn Interaction with Tools and Language Feedback
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Renmin University of China(中国人民大学)
该研究提出评估LLMs多轮交互能力的MINT基准,支持工具调用与自然语言反馈,通过对20款模型的测试发现单轮性能不代表多轮表现,指令微调与RLHF甚至可能损害多轮能力。
2024-03-12 cs.AI cs.CL cs.LG
Several categories of Large Language Models (LLMs): A Short Survey
Cardinal Health(卡地纳健康)
本综述梳理了金融、多语言、生物医学临床、视觉、代码等五类大语言模型的方法、数据集等进展,指出聊天机器人开发的现存问题,为相关研究者与从业者提供参考与方向。
2023-07-05 cs.CL cs.LG
Distilling LLMs' Decomposition Abilities into Compact Language Models
ETH Zurich(苏黎世联邦理工学院)
本研究通过离线强化学习将大语言模型的分解能力蒸馏至紧凑模型,并利用AI生成数据集和基线建立,展示了紧凑模型复制复杂问题解决技能的潜力。
2024-02-02 cs.AI cs.CL cs.LG
Stochastic LLMs do not Understand Language: Towards Symbolic, Explainable and Ontologically Based LLMs
Institute for Experiential AI(体验式人工智能研究所);Northeastern University(东北大学)
本文指出数据驱动LLM在事实可靠性、知识可解释性和语言推论上存在缺陷,建议在符号环境中应用自下而上逆向工程策略,构建符号化、可解释且基于本体论的语言模型。
2023-09-14 cs.AI cs.CL
Child vs. machine language learning: Can the logical structure of human language unleash LLMs?
ZAS(莱布尼茨语言信息中心);HU Berlin(柏林洪堡大学)
本文对比人类与机器语言学习差异,通过德语复数形成实验证明大语言模型遗漏语言逻辑,提出关注结构差异以提升性能。
2025-02-24 cs.AI cs.CL
LLMs Underperform Graph-Based Parsers on Supervised Relation Extraction for Complex Graphs
University of Bologna(博洛尼亚大学);Dalhousie University(达尔豪斯大学)
本文研究了大型语言模型在复杂图结构下的关系抽取性能,发现基于图的解析器在复杂图中表现更优,主要贡献是验证了图解析器在复杂场景下的优势。
2026-04-09 cs.AI cs.CL
Graph Machine Learning in the Era of Large Language Models (LLMs)
The Hong Kong Polytechnic University(香港理工大学);Michigan State University(密歇根州立大学);North Carolina State University(北卡罗来纳州立大学);Baidu Inc(百度公司)
本文综述了大语言模型如何增强图机器学习的泛化、迁移和少样本学习能力,以及图如何提升大语言模型的推理和可解释性。
2026-05-29 cs.AI cs.CL cs.LG
Understanding Syllogistic Reasoning in LLMs from Formal and Natural Language Perspectives
本文从形式和自然语言角度研究大语言模型的三段论推理能力,通过测试14种模型的符号推理和自然语言理解,探讨大语言模型是否正向形式化推理机制发展。
2025-12-29 cs.AI cs.CL
Learning on Graphs with Large Language Models(LLMs): A Deep Dive into Model Robustness
Jilin University(吉林大学);Emory University(埃默里大学);Michigan State University(密歇根州立大学)
本文深入探究了LLMs在图对抗攻击下的鲁棒性,发现作为增强器或预测器的LLMs在抵御结构和文本攻击方面均优于浅层模型,并开源了基准库。
2024-07-28 cs.AI cs.LG
In-context Language Learning for Endangered Languages in Speech Recognition
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本研究探讨了LLMs通过上下文学习在语音识别中学习濒危语言的可能性,并展示了基于概率的方法在语言学习中的优势。
2026-01-27 cs.AI cs.CL
Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via Prompt Augmented by ChatGPT
University of California, Davis(加州大学戴维斯分校)
本文提出Graph-ToolFormer框架,通过ChatGPT增强提示教会大语言模型使用外部图推理API工具,以解决其在多步逻辑推理、精确计算及空间时间感知上的缺陷,从而提升复杂图数据推理能力。
2023-05-11 cs.AI cs.LG
Adapting Language-Specific LLMs to a Reasoning Model in One Day via Model Merging -- An Open Recipe
SCB 10X R&D SCBX Group(SCB 10X研发中心SCBX集团)
本文提出一种基于数据选择与模型合并的开放配方,以120美元预算将语言特定LLM(如泰语模型)的推理能力提升至DeepSeek R1水平,同时保持目标语言能力。
2025-03-27 cs.AI cs.CL
LLMs4OL: Large Language Models for Ontology Learning
TIB Leibniz Information Centre for Science and Technology(TIB莱布尼茨科学技术信息中心)
本文提出LLMs4OL方法,利用大语言模型通过零样本提示在术语类型化、分类发现和非分类关系提取三项任务上实现本体学习,并在涵盖词汇、地理和医学知识的多个数据集上评估了九个模型族。
2023-08-02 cs.AI cs.CL cs.IT
Mind the Language Gap: Automated and Augmented Evaluation of Bias in LLMs for High- and Low-Resource Languages
Luxembourg Institute of Science and Technology(卢森堡科学与技术研究院);Universitat Oberta de Catalunya(开放大学);University of Luxembourg(卢森堡大学)
针对LLMs训练数据中的社会偏见问题,提出MLA-BiTe框架,利用自动翻译与改写技术实现系统性多语言偏见测试,并在六种语言和七类敏感类别下验证了其有效性。
2025-04-19 cs.AI cs.CL
Ethical Reasoning and Moral Value Alignment of LLMs Depend on the Language we Prompt them in
Microsoft Corporation(微软公司);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文研究 GPT-4、ChatGPT 和 Llama2-70B-Chat 在六种语言下的伦理推理表现,发现语言会显著影响其道德判断,其中 GPT-4 跨语言一致性最高,但所有模型均存在语言相关的道德价值偏差。
2024-04-29 cs.AI cs.CL
Facts Do Care About Your Language: Assessing Answer Quality of Multilingual LLMs
Princeton University(普林斯顿大学)
本文评估 Llama3.1 系列多语言大模型在初高中事实性问题上的回答质量,发现其在非英语语言中不仅正确性下降、产生冗余低真实度信息,还加剧了对稀有语言的偏见。
2025-06-03 cs.AI cs.CL
LLMs4OL 2024 Overview: The 1st Large Language Models for Ontology Learning Challenge
TIB Leibniz Information Centre for Science and Technology(TIB莱布尼茨科学与技术信息中心)
本文介绍了与ISWC 2024同场举办的首届LLMs4OL挑战赛,该赛事探索大语言模型在本体学习中的应用潜力,推动相关领域创新,契合语义网发展目标。
2024-09-16 cs.AI cs.CL
Towards Explainable and Language-Agnostic LLMs: Symbolic Reverse Engineering of Language at Scale
Institute for Experiential AI at Northeastern University(东北大学体验人工智能研究院)
针对LLM因亚符号性质导致无法解释的局限,提出在符号环境下对语言进行大规模自下而上的逆向工程,结合符号表示与LLM成功关键,探讨该项目的实现路径。
2023-07-27 cs.AI cs.CL
Meta-Tuning LLMs to Leverage Lexical Knowledge for Generalizable Language Style Understanding
Georgia Institute of Technology(佐治亚理工学院)
本文提出基于代表性风格词汇对大语言模型进行元训练,使其无需微调即可识别新风格,并在13个既有任务和63个新任务上验证了该方法能持续提升零样本跨风格迁移能力。
2024-06-06 cs.CL cs.LG
Can LLMs Effectively Leverage Graph Structural Information through Prompts, and Why?
University of Michigan(密歇根大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文通过无泄漏数据集与提示分析,考察LLM能否理解并利用图结构,发现性能提升主要来自邻域中的标签相关短语而非结构本身。
2024-06-15 cs.AI cs.LG
Learning the Topic, Not the Language: How LLMs Classify Online Immigration Discourse Across Languages
Harvard University(哈佛大学);University of Liverpool(利物浦大学)
本文提出一种轻量级开源框架,利用微调后的LLaMA模型跨13种语言分类移民相关推文,展示LLMs在少量数据下可泛化主题理解,并通过多语言微调捕捉意识形态细微差别,实现高效且低成本的多语言分析。
2025-12-29 cs.AI cs.CL
Similarity All The Way Up: Multilingual Generalization in LLMs Relies on Language-Level Similarity Structures
Princeton University(普林斯顿大学)
研究大语言模型多语言泛化能力,通过借鉴认知科学,探究其对不同语言层次相似性结构的捕捉,发现潜在表示能恢复印欧语系语言家族树结构,且模型反映语言相似性程度与XNLI表现相关,扩展了相似性驱动泛化工作。
2026-08-14 cs.AI cs.CL
Unnatural Languages Are Not Bugs but Features for LLMs
National University of Singapore(新加坡国立大学);Carnegie Mellon University(卡内基梅隆大学);Sea AI Lab(Sea AI实验室);Mila, University of Montreal(蒙特利尔大学Mila研究所)
本文系统研究证明非自然语言对LLM是可用特性而非缺陷,其潜在特征可跨模型和任务泛化,且基于非自然指令微调的模型性能与自然语言训练相当。
2025-06-03 cs.AI cs.CL
The Language Barrier: Dissecting Safety Challenges of LLMs in Multilingual Contexts
Johns Hopkins University(约翰斯·霍普金斯大学);University of Pennsylvania(宾夕法尼亚大学);Ohio State University(俄亥俄州立大学)
本文揭示LLMs在低资源语言中更易产生不安全或不相关响应,并指出跨语言对齐瓶颈源于预训练阶段而非指令调优。
2024-01-23 cs.AI cs.CL
Investigating Instruction Tuning Large Language Models on Graphs
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);National Taiwan University(台湾大学)
本研究构建含79类图任务的指令调优数据集,探究发现JSON格式图表示更利于大语言模型理解图结构,并分析了影响其跨图任务泛化能力的关键因素。
2024-08-10 cs.AI cs.CL
Adapting Psycholinguistic Research for LLMs: Gender-inclusive Language in a Coreference Context
Insight SFI Research Centre for Data Analytics(Insight SFI数据 analytics研究中心);School of Information and Communication Studies(信息与传播研究学院);School of Mathematics and Statistics(数学与统计学院);University College Dublin(都柏林大学学院)
该研究把法语心理语言学实验适配到英语和德语,检验LLM在共指消解中是否保持给定性别表达,发现其存在男性偏见且德语中偏见更强。
2025-02-18 cs.AI cs.CL
Graph-Grounded LLMs: Leveraging Graphical Function Calling to Minimize LLM Hallucinations
Honda Research Institute(本田研究所)
本文提出 Graph-Grounded LLMs,通过函数调用接入图库为 LLM 提供图结构扎根,以减少图任务中的幻觉和数学错误,并在 NLGraph 及灾难救援场景中验证其效果。
2025-03-13 cs.AI cs.LG cs.RO
llm-japanese-dataset v0: Construction of Japanese Chat Dataset for Large Language Models and its Methodology
The University of Tokyo(东京大学)
本研究构建了包含约840万条记录的日语聊天数据集llm-japanese-dataset v0,用于LLMs的训练与微调,涵盖翻译和知识等任务,实验证明该数据集对LLMs有益,但也揭示了非英语LLMs构建的困难。
2023-05-22 cs.AI cs.CL
Executing Natural Language-Described Algorithms with Large Language Models: An Investigation
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
本研究通过算法测试集评估大语言模型执行自然语言描述算法的能力,发现GPT-4等模型在无重数值计算时可有效执行,贡献于代码执行能力评估。
2024-03-14 cs.AI cs.CL
MindMerger: Efficient Boosting LLM Reasoning in non-English Languages
Nanjing University(南京大学);Carnegie Mellon University(卡内基梅隆大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对LLM非英语推理能力不足的问题,提出MindMerger方法,融合多语言模型的外部语言理解能力与LLM内建推理能力,通过两步训练提升多语言推理性能,实验显示在低资源语言上显著优于基线。
2024-05-27 cs.AI cs.CL
Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs
Michigan State University(密歇根州立大学);Baidu Inc.(百度公司);Emory University(埃默里大学);The Hong Kong Polytechnic University(香港理工大学)
本文系统探索了大型语言模型在图学习中的潜力,提出LLMs-as-Enhancers和LLMs-as-Predictors两种流程,并通过节点分类实验揭示了利用LLMs增强图学习的新方向。
2024-01-16 cs.AI cs.LG
Okapi: Instruction-tuned Large Language Models in Multiple Languages with Reinforcement Learning from Human Feedback
University of Oregon(俄勒冈大学);Adobe Research(奥多比研究院)
针对现有开源大模型多语言指令微调仅依赖SFT的局限,本文提出首个基于RLHF的多语言指令微调系统Okapi,提供26种语言的数据与基准,并验证了RLHF优于SFT。
2023-08-02 cs.CL cs.LG
LLMs-Healthcare : Current Applications and Challenges of Large Language Models in various Medical Specialties
本文综述了大型语言模型在医疗领域中的最新应用与挑战,涵盖诊断、治疗及各专科的创新贡献,探讨其在医疗诊断和患者护理中的潜力与限制。
2024-02-26 cs.AI cs.CL
Bridging Language Barriers in Healthcare: A Study on Arabic LLMs
M42 Health(M42医疗)
该研究针对多语言医学大语言模型开发难题,通过实验发现训练数据最优语言组合因任务而异,更大模型经语言比例校准后母语临床表现更优,指出预训练比微调更能提升多语言医疗性能,为普惠医疗AI构建提供指导。
2025-01-16 cs.AI cs.CL
GraphiT: Efficient Node Classification on Text-Attributed Graphs with Prompt Optimized LLMs
Arteria AI
针对文本属性图节点分类中LLMs难以高效利用图结构及提示依赖手动调整的问题,提出GraphiT框架,通过编码节点邻域为文本并利用DSPy优化提示,在三个数据集上优于基线,且成本更低、可复现性强。
2025-02-14 cs.AI cs.LG
Don't Trust ChatGPT when Your Question is not in English: A Study of Multilingual Abilities and Types of LLMs
Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所);University of Alberta(阿尔伯塔大学)
本文研究了LLMs在多语言环境下的性能差异与跨语言泛化现象,提出基于反向翻译的提示方法,发现GPT在多语言场景下表现出高度类似翻译的行为。
2023-10-24 cs.AI cs.CL
UnifiedCrawl: Aggregated Common Crawl for Affordable Adaptation of LLMs on Low-Resource Languages
Ajou University(明知大学)
本文提出 UnifiedCrawl 方法,从 Common Crawl 中低成本提取大规模低资源语言单语数据,并结合 QLoRA 微调多语言 LLM,在降低显存占用的同时显著提升低资源语言性能。
2024-11-21 cs.AI cs.CL
When Safety Speaks a Language: A Mechanistic Analysis of Safety-Language Identity Entanglement in LLMs
L3S Research Center(L3S研究中心);Leibniz Universität Hannover(汉诺威莱布尼茨大学)
本研究通过稀疏自编码器特征分析,揭示大语言模型中安全与语言身份的纠缠机制,发现安全相关特征具架构依赖性,为多语言安全干预提供机制解释。
2026-09-01 cs.CL cs.LG
Efficient Graph Understanding with LLMs via Structured Context Injection
Indian Institute of Technology, Delhi(印度理工学院德里分校)
本研究提出无需微调的结构化上下文注入框架,将任务信息嵌入输入引导大语言模型解决图推理任务,在多类图任务上实现性能提升,兼具成本效益与可扩展性。
2025-08-31 cs.AI cs.LG
Benchmarking LLMs for Mimicking Child-Caregiver Language in Interaction
ENS, PSL Research University, EHESS, CNRS, France(巴黎社会科学高等学院、巴黎综合理工研究大学、高等社会科学研究院、法国国家科学研究中心)
该研究通过静态和交互式基准测试考察LLM模拟儿童-照料者互动语言的能力,发现前沿LLM可在词汇话语层面近似对话但存在话语模式、对齐及多样性缺陷,旨在推动儿童应用LLM综合基准开发。
2025-08-30 cs.AI cs.CL
Concept Bottleneck Large Language Models
提出概念瓶颈大型语言模型框架,将内在可解释性集成到LLMs中,在文本分类和生成任务上实现可解释推理、精确概念检测与安全控制,增强模型安全性与可信度。
2025-09-07 cs.CL cs.LG
Do Multilingual LLMs have specialized language heads?
本文研究多语言大语言模型是否为每种语言具有专门的语言注意力头部,并探讨移除不需要语言头部对性能的影响。
2026-02-09 cs.CL
Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts
DAMO Academy, Alibaba Group(阿里巴巴达摩院);Nanyang Technological University(南洋理工大学)
提出一种无监督提示方法,利用多语言合成示例将低资源语言翻译为英语,再生成语内示例执行任务,性能媲美监督少样本学习,并显著提升翻译与摘要效果。
2024-07-19 cs.AI cs.CL
Can Knowledge Graphs Reduce Hallucinations in LLMs? : A Survey
Arizona State University(亚利桑那州立大学)
本综述系统梳理了利用知识图谱增强大语言模型以减少幻觉的技术,将其分为三大类并进行比较与评估,探讨了当前趋势、挑战及未来研究方向。
2024-03-16 cs.CL cs.LG
CodeGraph: Enhancing Graph Reasoning of LLMs with Code
HKUST(香港科技大学)
本文提出 CodeGraph 方法,将图问题解编码为可执行代码,通过从示例学习、生成并执行程序来解决图推理任务,在 GraphQA 数据集上较现有方法显著提升了性能并增强了推理的可控性与可解释性。
2024-08-25 cs.AI cs.CL
GraphLLM: Boosting Graph Reasoning Ability of Large Language Model
State Grid Zhejiang Electric Power Supply Co. Ltd.(国网浙江省电力有限公司);University of Washington(华盛顿大学);Zhejiang University(浙江大学)
针对大语言模型图推理能力不足、Graph2Text转换存在瓶颈的问题,提出将图学习模型与大语言模型协同整合的GraphLLM方法,大幅提升了图推理准确率并减少了上下文长度。
2023-10-09 cs.AI cs.CL
TaCo: Enhancing Cross-Lingual Transfer for Low-Resource Languages in LLMs through Translation-Assisted Chain-of-Thought Processes
University of New Haven(纽黑文大学)
本文提出含132种语言翻译的MITS数据集及翻译辅助思维链方法TaCo,通过课程学习低成本增强LLM低资源跨语言迁移,低资源语言评测性能较单纯指令微调翻倍。
2024-04-05 cs.AI cs.CL
Framing Political Bias in Multilingual LLMs Across Pakistani Languages
School of Computing, Macquarie University(计算机学院,麦考瑞大学)
研究评估了巴基斯坦五种语言中13种先进LLM的政治偏见,发现其在区域语言中表现出更集权的框架,强调文化适应的偏见审计框架的重要性。
2026-01-30 cs.AI cs.CL
LLMs Are Few-Shot In-Context Low-Resource Language Learners
HKUST(香港科技大学);AI Singapore(新加坡AI研究院)
本文在25种低资源语言和7种高资源语言上广泛研究了ICL及X-ICL,指出了上下文标签对齐的缺陷并提出了更有效的查询对齐方法,证明了少样本上下文信息能显著提升LLM的低资源语言理解质量。
2024-06-25 cs.AI cs.CL
STAGE: Simplified Text-Attributed Graph Embeddings Using Pre-trained LLMs
Quantexa(昆泰科萨)
提出STAGE方法,利用预训练大语言模型生成文本属性嵌入,简化图神经网络节点特征增强流程,在节点分类基准上取得有竞争力结果,并实现扩散模式GNN以提升可扩展性。
2024-07-10 cs.AI cs.CL