Tracing the Data Trail: A Survey of Data Provenance, Transparency and Traceability in LLMs
Pro2Future GmbH;Know Center Research GmbH;Graz University of Technology(格拉茨技术大学)
本文综述了大型语言模型中数据溯源、透明性和可追溯性的问题,提出分类法并分析了数据生成、水印、偏见测量等关键方法及透明性与隐私的权衡。
2026-01-19 cs.AI cs.CR cs.LG
Enhancing Supply Chain Transparency in Emerging Economies Using Online Contents and LLMs
Peking University(北京大学)
本研究提出结合大语言模型与网络爬虫技术的供应链知识图谱挖掘系统,自动收集分析在线信息,有效提升新兴经济体供应链透明度并弥补现有数据集空白。
2024-12-22 cs.AI cs.IR
Building Trust in Clinical LLMs: Bias Analysis and Dataset Transparency
M42, Abu Dhabi(阿布扎比M42)
该研究针对临床大语言模型的偏见问题,推出超890亿token的HC4预训练数据集,结合通用基准与医疗专用方法分析不同群体的阿片类药物处方倾向差异,以提升临床AI的公平性与可信度。
2025-10-21 cs.CL
Phonetic Perturbations Reveal Tokenizer-Rooted Safety Gaps in LLMs
Université Paris-Saclay(巴黎-萨克雷大学);IIT Kharagpur(印度理工学院卡哈拉格普尔分校)
研究通过CMP-RT探测器揭示LLMs因分词机制导致的安全漏洞,发现语音扰动使安全关键token分裂为无害子词,导致安全机制失效,且该漏洞能绕过标准防御并扩展至多种模型。
2026-04-07 cs.AI cs.CL
Enhancing Trust in LLMs: Algorithms for Comparing and Interpreting LLMs
Northeastern University(东北大学);Bear Brown & Company(贝尔·布朗公司)
本文综述了评估大型语言模型(LLMs)的算法方法与指标,涵盖困惑度、NLP指标、对抗测试等,并引入LLMMaps、幻觉分数等创新评估框架,以提升模型的透明度、公平性与用户信任。
2024-06-04 cs.AI cs.CL
Challenges and Contributing Factors in the Utilization of Large Language Models (LLMs)
SoundAI(声智科技);Beihang University(北京航空航天大学);Beijing Normal University(北京师范大学);Beijing University of Posts and Telecommunications(北京邮电大学)
本文综述了大型语言模型在领域特异性、知识遗忘、重复、幻觉和毒性等方面的挑战,提出通过数据多样化、模型微调及伦理训练等策略加以应对,并展望了多模态学习与实时反馈等未来技术趋势。
2023-10-20 cs.AI cs.CL
Towards Root Memory: Benchmarking and Enhancing Implicit Logical Memory Retrieval for Personalized LLMs
University of Science and Technology of China(中国科学技术大学)
针对现有记忆系统依赖语义相似性而忽略逻辑关键记忆的问题,构建首个高质量基准IMLogic,并提出根记忆表示与RootMem框架,通过结构化逻辑记忆提升个性化LLM检索性能。
2026-10-27 cs.CL
How Reliable are LLMs for Reasoning on the Re-ranking task?
Multiscale Networked Systems (MNS) Group, University of Amsterdam(多尺度网络系统(MNS)组,阿姆斯特丹大学)
本研究分析不同训练方法对LLMs在重排序任务中语义理解的影响,并探究模型能否生成更知情的文本推理以克服透明度和数据有限的挑战。
2026-05-26 cs.AI cs.CL
Advancing Symbolic Integration in Large Language Models: Beyond Conventional Neurosymbolic AI
Data Science, AI & Modelling Centre (DAIM)(数据科学、人工智能与建模中心);School of Digital and Physical Sciences(数字与物理科学学院);University of Hull(霍尔大学)
本文提出一种新的LLMs符号集成分类法及四维路线图,以解决LLMs透明度不足的问题,并推动符号技术与LLMs的有效融合。
2025-10-24 cs.AI
Word-level Annotation of GDPR Transparency Compliance in Privacy Policies using Large Language Models
Erasmus University Rotterdam(埃因霍温大学)
本文提出基于LLM的隐私政策词级注释方法,用于评估GDPR透明性合规性,通过模块化管道和双层评估提升注释准确性。
2025-11-24 cs.AI cs.CL
ToolBridge: An Open-Source Dataset to Equip LLMs with External Tool Capabilities
The University of Hong Kong(香港大学);Microsoft(微软公司)
本文提出开源数据集 ToolBridge,通过从开放数据池中识别并插入外部工具 API 的数据进行监督微调,显著提升了 LLMs 在数据处理、数值计算和事实检索等任务上的预测准确性。
2024-10-08 cs.AI cs.CL
Unpredictable Safety: Domain-Dependent Compliance and the Transparency Gap in Open-Weight LLMs
Astera Institute(Astera研究院)
通过7个伦理领域的标准化实验,发现开放权重大语言模型的合规率在14.7%到85.7%之间波动,且同一模型在不同领域表现高度不一致,揭示了安全机制缺乏透明度和一致性。
2026-06-01 cs.AI cs.LG cs.SE
A Little Leak Will Sink a Great Ship: Survey of Transparency for Large Language Models from Start to Finish
MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文综述了LLMs训练数据泄露问题,定义了泄露率、输出率和检测率三个标准,并提出一种基于少样本学习的自我检测方法,实验表明少量泄露数据会极大影响输出,且该方法优于现有检测方法。
2024-03-24 cs.CL
Rethinking Scale: The Efficacy of Fine-Tuned Open-Source LLMs in Large-Scale Reproducible Social Science Research
University of Catania(卡塔尼亚大学);Harvard University(哈佛大学);University of Insubria(因苏布里亚大学)
本研究针对闭源大语言模型用于社会科学文本分类的风险与成本问题,验证了微调小型开源LLM性能可媲美甚至超过ChatGPT-4,探究了训练集规模与微调效果的关联,并提出兼顾性能、透明度与可复现性的混合工作流。
2024-10-31 cs.AI cs.CL stat.ML
Fact or Fiction? Can LLMs be Reliable Annotators for Political Truths?
Vector Institute for Artificial Intelligence(向量人工智能研究院)
本研究利用开源大语言模型作为政治新闻事实性检测的标注者,通过人类专家验证和LLM评判评估,提供了一种可扩展且稳健的事实核查替代方案。
2024-11-08 cs.AI cs.CL
LLM Factoscope: Uncovering LLMs' Factual Discernment through Inner States Analysis
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
本文提出LLM factoscope,一种基于孪生网络的模型,利用LLM内部状态进行事实检测,在多种架构上实现超过96%的准确率,为提升LLM可靠性和透明度开辟新途径。
2024-07-18 cs.AI cs.CL
Closing the gap between open-source and commercial large language models for medical evidence summarization
Columbia University(哥伦比亚大学);National Library of Medicine(美国国家医学图书馆);National Institutes of Health(美国国立卫生研究院);Weill Cornell Medicine(威尔康奈尔医学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院)
本研究通过微调PRIMERA、LongT5和Llama-2三种开源LLMs,在MedReview数据集上显著提升医学证据摘要性能,缩小了与商用模型的差距,并为领域特定任务的模型选择提供依据。
2024-07-25 cs.AI cs.CL
Attribution-Driven Explainable Intrusion Detection with Encoder-Based Large Language Models
本文提出利用基于编码器的大型语言模型进行网络入侵检测,通过归因分析揭示模型决策由有意义的流量行为模式驱动,提升透明度和信任度。
2026-04-07 cs.AI cs.CR
Large Language Models (LLMs) for Telecom Root Cause Analysis (RCA): A Structured Reasoning Framework for Evidence-Grounded Diagnosis
Samsung Research America(三星美国研究院)
本研究针对5G/6G电信网络RCA难题,提出LLM驱动的结构化推理框架,经TeleLogs、TelecomTS数据集验证,可提升诊断准确率与决策一致性,为实用型LLM-RCA系统提供关键支撑。
2026-09-03 cs.AI
Leveraging Large Language Models for DRL-Based Anti-Jamming Strategies in Zero Touch Networks
Khalifa University(哈利法大学);Western University(韦仕敦大学);Carleton University(卡尔顿大学)
本文研究将大语言模型融入零接触网络,以基于 DRL 的抗干扰为案例,说明其可将复杂网络运行转化为可读解释,并讨论隐私、透明与偏见等挑战。
2023-08-18 cs.CL cs.HC
Joint Enhancement of Relational Reasoning for Long-Context LLMs
UCAS-Terminus AI Lab, University of Chinese Academy of Sciences, China(中国科学院大学Terminus AI实验室,中国科学院大学)
本文提出 JERR 框架,通过概要提取、DAG 图构建与 MCTS 关系推理联合增强长上下文 LLM 的理解能力,在 ROUGE、F1 和 LLM-Rater 上均优于基线。
2025-08-28 cs.CL
EmoDynamiX: Emotional Support Dialogue Strategy Prediction by Modelling MiXed Emotions and Discourse Dynamics
LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI,Telecom Paris, Institut Polytechnique de Paris);Inria Paris(Inria巴黎)
针对LLMs端到端情感支持对话系统策略不透明及偏好偏差问题,提出EmoDynamiX框架,将策略预测与生成解耦,建模用户细粒度情绪与系统策略的话语动态,提升性能与透明度。
2025-06-16 cs.CL
Can LLMs plan paths in the real world?
Duke University(杜克大学);George Mason University(乔治梅森大学)
该研究通过六个不同难度的真实导航场景测试三个 LLM,发现其均频繁出错、规划不可靠,并指出现实核查、透明度与小型化是改进方向。
2024-12-02 cs.AI cs.RO
Towards Intrinsic Interpretability of Large Language Models:A Survey of Design Principles and Architectures
MOE Key Lab of Computational Linguistics, Peking University(计算语言学MOE实验室,北京大学);Beijing Academy of Artificial Intelligence, Beijing, China(北京人工智能研究院,北京,中国);Nanjing University of Science and Technology(南京理工大学);Purdue University(普渡大学)
本文综述了大语言模型内在可解释性的发展,分类现有方法为五种设计范式,并讨论开放挑战与未来研究方向。
2026-04-20 cs.AI cs.CL cs.LG
Beyond Metrics: Evaluating LLMs' Effectiveness in Culturally Nuanced, Low-Resource Real-World Scenarios
Microsoft Corporation(微软公司);University of Washington(华盛顿大学)
本文基于多语言、语码混杂的 WhatsApp 情感分析数据集评估七个主流 LLM,结合 F1 与解释定性分析,指出高指标不等于文化语境理解能力,并呼吁构建相应评估基准。
2024-06-13 cs.CL
Tackling the Root of Misinformation by Teaching Laypeople about Logical Fallacies via Socratic Questioning and Critical Argumentation
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(苏黎世联邦理工学院人工智能中心)
提出LFTutor智能辅导系统,利用大语言模型结合苏格拉底式提问和批判性论证原则,帮助外行人学习识别逻辑谬误,显著优于基线模型。
2026-05-31 cs.AI cs.LG
Balancing Specialized and General Skills in LLMs: The Impact of Modern Tuning and Data Strategy
Emory University(埃默里大学);Bytedance Inc.(字节跳动公司)
本研究提出兼顾LLM通用与专业能力的微调及评估方法,通过混合数据、定制45题评估框架与规模影响分析,助力专业场景的LLM适配,并计划公开评估框架促进行业协作。
2023-10-07 cs.AI cs.CL
RaLLe: A Framework for Developing and Evaluating Retrieval-Augmented Large Language Models
Kioxia Corporation(铠侠公司)
RaLLe是一个开源框架,用于开发、评估和优化检索增强大型语言模型,通过改进提示和评估各推理过程,提升知识密集型任务的性能。
2023-10-16 cs.AI cs.CL
Towards LLM-based Root Cause Analysis of Hardware Design Failures
School of Computer Science and Engineering(计算机科学与工程学院);University of Calgary(卡尔加里大学)
本研究探索利用大语言模型自动分析硬件设计故障的根因,在34个缺陷场景中,o3-mini模型在pass@5下达到100%准确率,其他模型在RAG辅助下超过90%。
2025-07-09 cs.AI cs.AR
A Human-Centered Workflow for Using Large Language Models in Content Analysis
本文提出了一种面向人类的大型语言模型在内容分析中的工作流程,涵盖注释、摘要和信息提取三个任务,强调通过API利用LLM的潜力,并提供验证方法和最佳实践以解决黑盒、提示敏感和幻觉等问题。
2026-02-27 cs.AI cs.CL
Measuring Political Bias in Large Language Models: What Is Said and How It Is Said
Centre for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));The Hong Kong University of Science and Technology(香港科技大学)
本文提出从生成内容的内容实质与词汇风格两个维度衡量LLMs的政治偏见,并在11个开源模型上验证了该框架的可扩展性与可解释性。
2024-03-27 cs.AI cs.CL
A Survey of Large Language Models for Healthcare: from Data, Technology, and Applications to Accountability and Ethics
National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学)
本综述全面探讨了医疗保健领域大语言模型的发展路线、技术对比、训练数据与方法及伦理问责问题,指出从判别式AI向生成式AI、以模型为中心向以数据为中心的范式转变。
2025-01-27 cs.CL
Reasoning Language Models for Root Cause Analysis in 5G Wireless Networks
Huawei, France(华为,法国)
针对5G网络根因分析的可解释性与推理需求,提出结合监督微调与强化学习的两阶段训练框架,基于TeleLogs数据集适配LLM,显著提升诊断准确率与泛化性。
2025-07-29 cs.AI cs.NI
From Understanding to Utilization: A Survey on Explainability for Large Language Models
Imperial College London(帝国理工学院)
本文综述了大语言模型可解释性研究,从局部分析与全局分析两类方法出发,系统梳理了模型编辑、控制生成和模型增强等可解释性利用途径,并评估了相关指标与数据集,旨在连接理论理解与实际应用。
2024-02-22 cs.AI cs.CL
EasyJudge: an Easy-to-use Tool for Comprehensive Response Evaluation of LLMs
Minzu University of China(中央民族大学);National Language Resource Monitoring & Research Center Minority Languages Branch(国家语言资源监测与研究中心少数民族语言分中心)
EasyJudge是一个轻量、高效的开源LLM评估工具,通过精细提示和数据集优化,在消费级硬件上实现与人类及专有模型高度一致的评估结果,并提供直观的可视化界面。
2024-10-13 cs.AI cs.CL
Bayesian Network Fusion of Large Language Models for Sentiment Analysis
School of Information Technology, Deakin University(德克萨斯大学信息技术学院);School of Computing Technologies, RMIT University(皇家墨尔本理工学院计算机技术学院)
针对LLM在情感分析中成本高、跨域不一致等问题,提出BNLF框架,通过贝叶斯网络对FinBERT等模型预测进行后期融合,准确率提升约6%。
2025-10-30 cs.AI cs.CL
Privacy Meets Explainability: Managing Confidential Data and Transparency Policies in LLM-Empowered Science
CSIRO’s Data61(CSIRO Data61);Australian National University(澳大利亚国立大学)
针对LLM赋能科学工作流中的机密数据泄露风险,本文提出DataShield框架,通过检测数据泄露、总结隐私政策和可视化数据流保障合规性,助力科学家保护敏感信息并开展用户研究评估框架效果。
2025-04-14 cs.AI cs.HC
T-REX: Table -- Refute or Entail eXplainer
Institut Polytechnique de Paris(巴黎政治科技学院)
针对非专家难以使用现有表格事实核查工具的问题,本文引入首个实时交互式工具T-REX,利用指令调优推理LLMs实现多模态多语言表格主张验证,以准确性和透明度赋能非专家且已在线开放。
2025-08-08 cs.AI cs.CL
Position: Avoid Overstretching LLMs for every Enterprise Task
Eka Labs AI;Microsoft(微软);SAP
本文提出企业任务应避免过度依赖大语言模型,主张通过模块化架构提升可靠性与可维护性。
2026-05-10 cs.AI cs.CL
LLMs for Explainable AI: A Comprehensive Survey
University of Oklahoma(俄克拉荷马大学)
本综述探讨了利用大型语言模型(LLMs)将复杂机器学习输出转化为易懂叙述以增强可解释AI(XAI)的方法,全面评估了现有技术、挑战及未来多学科发展方向。
2025-03-31 cs.AI cs.CL
Enhancing Adversarial Resistance in LLMs with Recursion
针对 LLM 易受越狱与对抗性提示操纵的问题,提出基于提示简化的递归框架,以提升恶意输入检测与防御的可靠性。
2024-12-09 cs.AI cs.CR
Large Language Models in Politics and Democracy: A Comprehensive Survey
Zhejiang University(浙江大学)
本综述系统梳理了大型语言模型在政策制定、政治沟通、外交安全等领域的应用与挑战,强调需以负责任开发和治理框架确保其符合民主价值。
2024-12-16 cs.AI cs.CL cs.CY
Auditing Training Data in Domain-adapted LLMs: LoRA-MINT
University of Granada(格拉纳达大学)
提出LoRA-MINT方法,通过成员推理测试审计LoRA微调的大语言模型训练数据,在四个模型和三个基准上达到0.77-0.92的精度,优于现有基线。
2026-06-05 cs.AI cs.CL
Benchmarking Benchmark Leakage in Large Language Models
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Generative AI Research Lab (GAIR)(生成式人工智能研究实验室)
针对大型语言模型中基准数据集泄露问题,提出基于 Perplexity 和 N-gram accuracy 的检测流水线,揭示 31 个 LLMs 在数学推理中的测试集误用现象,并建议通过“Benchmark Transparency Card”提升透明度。
2024-04-29 cs.AI cs.CL cs.LG
Are Large Language Models a Good Replacement of Taxonomies?
HKUST(香港科技大学);Meta Reality Labs(元宇宙实验室(Meta Reality Labs));HKUST (GZ)(香港科技大学(广州))
该研究针对LLMs能否替代分类法的疑问,构建了覆盖多领域多层级的TaxoGlimpse基准,经18个主流LLMs的实验发现其仍难以掌握专业分类法及叶级实体知识。
2024-06-20 cs.AI cs.CL cs.DB
Automating Detection and Root-Cause Analysis of Flaky Tests in Quantum Software
本文提出利用LLMs自动化检测量子软件中的故障测试并识别其根本原因,通过扩展数据集和评估模型性能,展示了LLMs在提升量子软件测试可靠性方面的潜力。
2026-03-09 cs.AI cs.ET cs.SE
Citation: A Key to Building Responsible and Accountable Large Language Models
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出将引用机制引入大语言模型,通过增强内容透明度和可验证性来应对知识产权与伦理问题,并规划了相关研究方向。
2024-03-31 cs.AI cs.CL cs.CR
Evaluating Explanations Through LLMs: Beyond Traditional User Studies
Università della Svizzera italiana(瑞士意大利语大学);The University of Queensland(昆士兰大学)
本文提出用七个大语言模型在多种设置下模拟人类参与者,复现比较反事实与因果解释的用户研究,证明LLM可作为可扩展、低成本的定性XAI评估替代方案。
2024-10-23 cs.AI
Hypothesize-Then-Verify: Speculative Root Cause Analysis for Microservices with Pathwise Parallelism
Peking University(北京大学);Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学)
SpecRCA通过假设-验证范式提升微服务系统根本原因分析的准确性和效率。
2026-01-06 cs.AI cs.SE
CitiLink: Enhancing Municipal Transparency and Citizen Engagement through Searchable Meeting Minutes
University of Beira Interior(贝拉内大学);University of Porto(波尔图大学);INESC TEC
CitiLink利用NLP和信息检索技术将非结构化市政会议纪要转化为结构化可搜索数据,提升地方政府信息的可访问性和透明度。
2026-03-26 cs.CL
TAMO: Fine-Grained Root Cause Analysis via Tool-Assisted LLM Agent with Multi-Modality Observation Data in Cloud-Native Systems
School of Computer Science and Technology, Shandong University(山东大学计算机科学与技术学院);Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院)
针对云原生系统中LLM根因分析面临的多模态输入、上下文窗口和动态依赖图三大挑战,提出工具辅助LLM智能体TAMO,通过多模态对齐、根因定位和故障分类工具实现细粒度根因分析,并在两个基准数据集上优于SOTA方法。
2025-11-05 cs.AI
Secret Use of Large Language Model (LLM)
Northeastern University(东北大学)
本文通过混合方法研究用户秘密使用LLM的情境与原因,发现特定任务类型通过影响感知外部评判驱动秘密行为,为设计透明度干预措施提供依据。
2024-10-19 cs.AI cs.HC
Navigating LLM Ethics: Advancements, Challenges, and Future Directions
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究梳理大型语言模型(LLMs)的通用与特有伦理挑战,提出跨学科合作、领域定制伦理框架及动态审计系统等缓解策略,为LLM的负责任发展与落地提供路线指引。
2025-06-15 cs.AI cs.CL cs.CY
Assessing the Performance of Human-Capable LLMs -- Are LLMs Coming for Your Job?
Luxembourg Tech School A.s.b.l.(卢森堡技术学校A.s.b.l.)
本文提出并验证了SelfScore基准,用于评估自动化LLM智能体在帮助台任务中的表现,发现结合RAG的LLM智能体优于未结合者且均超过人类对照组,引发对人类工作被取代的伦理关注。
2024-10-05 cs.AI cs.CL cs.CY