LLMs with User-defined Prompts as Generic Data Operators for Reliable Data Processing
Walmart Global Tech(沃尔玛全球技术)
本文提出LLM-GDO设计模式,用用户定义提示替代编程实现,使LLMs作为通用数据操作符,实现低代码、无依赖、知识感知的可靠数据处理。
2023-12-26 cs.AI cs.DB
Large Language Model Is Not a Good Few-shot Information Extractor, but a Good Reranker for Hard Samples!
S-Lab, Nanyang Technological University(南洋理工大学S-Lab);Singapore Management University(新加坡管理大学)
该研究通过实验证明大语言模型少样本信息抽取性能弱于微调小模型,进而提出自适应过滤-重排范式,让小模型过滤、大模型重排难样本,以可接受成本提升抽取性能。
2023-10-21 cs.AI cs.CL
Adapting LLMs for Efficient Context Processing through Soft Prompt Compression
Boston University(波士顿大学);University of California, Davis(加州大学戴维斯分校);Washington University in St. Louis(圣路易斯华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
本研究提出SoftPromptComp框架,结合自然语言摘要与软提示压缩,并采用加权机制优化信息保留,以降低计算开销并提升LLMs在长上下文处理中的效率与质量。
2024-04-18 cs.AI cs.CL cs.LG
CITBench: A Comprehensive Benchmark for Interactive Tabular Data Processing with LLMs
Peking University(北京大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
本文提出 CITBench 交互式表格数据处理基准,评估发现现有 LLM 在简单表格任务表现良好,但在复杂多轮交互场景下的理解、规划与表格结构感知仍存在显著挑战。
2026-08-04 cs.AI cs.DB
Do Large Language Models Mirror Cognitive Language Processing?
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);College of Computer and Information Engineering, Tianjin Normal University(天津师范大学计算机与信息工程学院)
该研究采用表征相似性分析衡量23种主流大语言模型与大脑fMRI信号的对齐程度,探究预训练数据规模、模型缩放等因素的影响,发现模型能力与大脑对齐度高度相关。
2025-01-15 cs.AI cs.CL
Can LLMs Generate Good Stories? Insights and Challenges from a Narrative Planning Perspective
Autodesk Research(Autodesk研究院)
该研究从叙事规划视角出发,构建基于文学案例的评估基准检验LLM的故事生成能力,发现GPT-4级LLM可生成小规模因果合理的故事,但角色意图与冲突规划仍有难度,为相关应用提供了参考。
2025-06-11 cs.AI cs.CL
Are LLMs Good Text Diacritizers? An Arabic and Yoruba Case Study
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);University of British Columbia(不列颠哥伦比亚大学)
本文研究了大语言模型在阿拉伯语和约鲁巴语中的文本附加符号化效果,引入了多语言数据集MultiDiac,并评估了12种不同规模的语言模型,发现通用模型在某些情况下优于专用模型,但小型模型易出现幻觉。
2026-03-16 cs.AI cs.CL
A Reliable Knowledge Processing Framework for Combustion Science using Foundation Models
University of Michigan(密歇根大学)
本研究针对燃烧科学领域多元数据处理需求,提出融合RAG框架、提示工程与离线开源大模型的知识处理框架,可降低成本、提升准确性与隐私性,有效减少幻觉问题,为科学数据同化研究提供基础。
2024-01-02 cs.AI cs.LG
Identifying Good and Bad Neurons for Task-Level Controllable LLMs
Singapore Management University(新加坡管理大学);ShanghaiTech University(上海科技大学)
NeuronLLM通过对比学习识别任务级可控大语言模型中的好神经元和坏神经元,以提升任务表现和理解能力。
2026-03-05 cs.AI cs.CL
Can LLMs Ask Good Questions?
University of California Berkeley(加州大学伯克利分校);KACST(王国立科学与技术委员会);University of Washington(华盛顿大学)
本研究从六个维度比较了LLM与人类生成的问题,发现LLM问题更均匀覆盖上下文且要求更长答案,为问题质量研究提供参考。
2025-06-17 cs.AI cs.CL
Are LLMs Any Good for High-Level Synthesis?
University of Arizona(亚利桑那大学)
本文评估大型语言模型在高层次综合中的应用,通过实验比较其与标准工具生成的Verilog设计,量化对性能、功耗和资源的影响,为优化硬件设计指明方向。
2024-08-19 cs.AI cs.AR
Technical Language Processing for Telecommunications Specifications
L3 A&S;Nokia Networks Oy(诺基亚网络公司)
本文指出开箱即用NLP工具处理电信规范的局限性,将技术语言处理(TLP)扩展至电信领域,并探讨特定领域LLMs加速专家培训的潜力。
2024-06-04 cs.AI cs.CL
DHP Benchmark: Are LLMs Good NLG Evaluators?
Texas A&M University(德克萨斯农工大学);Rice University(莱斯大学);Axon Enterprise, Inc.(Axon企业公司)
针对LLM作为NLG评估器能力未充分探索的问题,提出DHP基准框架,通过层次扰动和统计检验量化评估能力,覆盖四类任务,对五大LLM家族进行基准测试,揭示其优劣。
2025-02-25 cs.AI cs.CL
Are LLMs Good Annotators for Discourse-level Event Relation Extraction?
Texas A&M University(德克萨斯农工大学)
本研究评估了LLMs在篇章级事件关系抽取中的表现,发现其显著弱于监督学习基线,存在捏造事件提及、忽视传递规则等弱点,且微调扩展性不佳。
2025-02-22 cs.AI cs.CL
ATACompressor: Adaptive Task-Aware Compression for Efficient Long-Context Processing in LLMs
DCST, Tsinghua University(清华大学数据科学研究院)
ATACompressor通过自适应任务感知压缩提升LLMs长上下文处理效率,实现信息保留与压缩效率的平衡。
2026-02-03 cs.AI cs.CL
From Good to Great: Improving Math Reasoning with Tool-Augmented Interleaf Prompting
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hong Kong University of Science and Technology(香港科技大学)
本文提出IMP-TIP框架,通过自我提示与工具增强交错提示结合LLM和工具增强LLM的多个解答并交叉检验,在GSM8K-Hard上将准确率从56.0%提升至65.2%,显著增强数学推理能力。
2023-12-18 cs.AI math.HO
Position: LLMs Can be Good Tutors in English Education
Squirrel Ai Learning;Tsinghua University(清华大学);HKUST (Guangzhou)(香港科技大学(广州));Peng Cheng Laboratory(鹏城实验室);Fudan University(复旦大学);The Chinese University of Hong Kong(香港中文大学);University of Illinois at Chicago(伊利诺伊大学香槟分校)
本文主张大语言模型可在英语教育中担任导师,通过数据增强、任务预测和智能体三种角色,推动个性化与包容性教育。
2025-09-06 cs.AI cs.CL
Benchmarking large language models for biomedical natural language processing applications and recommendations
Yale University(耶鲁大学);National Institutes of Health(美国国立卫生研究院);University of Texas Health Science at Houston(休斯顿德克萨斯大学健康科学中心);University of Minnesota(明尼苏达大学)
本文对四种LLMs在12个BioNLP基准上的表现进行系统评估,发现传统微调在多数任务中优于零或少样本LLMs,但GPT-4在推理任务中表现突出,开源模型仍需微调,且LLM输出存在信息缺失与幻觉问题。
2025-04-25 cs.AI cs.CL cs.IR
The Good, The Bad, and The Greedy: Evaluation of LLMs Should Not Ignore Non-Determinism
Peking University(北京大学);Allen Institute for AI(艾伦人工智能研究所)
针对大语言模型评估常忽视非确定性的问题,研究对比贪婪解码与采样的性能,验证对齐可降低采样方差,提出best-of-N采样法让小模型可匹敌甚至超越大模型,强调评估需考虑非确定性。
2024-07-15 cs.AI cs.CL
Analyzing Narrative Processing in Large Language Models (LLMs): Using GPT4 to test BERT
University Erlangen-Nürnberg(埃尔朗根-纽伦堡大学);University Hospital Erlangen(埃尔朗根大学医院)
本研究利用ChatGPT生成叙事风格变体并输入BERT,通过分析隐藏单元激活模式发现BERT浅层先编码风格、深层再编码内容,从而为理解LLMs内部机制及人脑语言处理提供新模型。
2024-05-03 cs.AI cs.CL
Causality for Natural Language Processing
本论文系统研究大型语言模型中的因果推理能力,涵盖机制、因果/反因果学习及计算社会科学应用,通过新数据集和基准识别挑战,为提升LLM因果能力奠定基础。
2025-04-20 cs.AI cs.CL cs.CY
Do LLMs Know a Good Hypothesis When They See One? Logit-Based Energy Scoring Outperforms Prompted LLM-as-Judge for Scientific Hypothesis Ranking
Oak Ridge National Laboratory(橡树岭国家实验室)
本研究针对科学假说评估难题,提出基于logit的能量评分方法,在12学科1323篇论文的基准测试中,该方法的Hit@1显著优于提示式LLM评判器,展现出模型内在置信度的应用潜力。
2026-08-19 cs.AI
Metamorphic Testing of Large Language Models for Natural Language Processing
University of Auckland(奥克兰大学)
本文提出了一种针对大型语言模型的变形测试方法,通过收集和实验191个变形关系,评估了变形测试在自然语言处理任务中的有效性与局限性。
2025-11-03 cs.AI cs.SE
Are LLMs Good For Quantum Software, Architecture, and System Design?
UT Austin(德克萨斯大学奥斯汀分校)
本文探讨大语言模型在量子系统设计中的应用,评估了九种前沿模型与研究生在量子计算问题上的表现,提出未来研究方向。
2026-03-27 cs.AI quant-ph
Can LLMs Predict Polymer Physics Just by Reading Synthesis and Processing Prose?
Yale University(耶鲁大学);UC Davis(加州大学戴维斯分校);Indiana University Bloomington(印第安纳大学布卢明顿分校)
本文提出PolyLM模型,通过自然语言直接预测材料性能,利用大规模文献数据训练,实现高精度预测,展示了自然语言在材料性能预测中的强大潜力。
2026-05-07 cond-mat.mtrl-sci cs.AI cs.LG
Large Language Models are Good Relational Learners
Stanford University(斯坦福大学)
本文提出Rel-LLM,通过GNN编码器在RAG框架内生成保留关系结构的提示,使LLM能有效推理实体关系,并在关键RDL任务上超越现有方法。
2025-06-06 cs.AI cs.CL cs.LG
In Search of Needles in a 11M Haystack: Recurrent Memory Finds What LLMs Miss
AIRI;MIPT(莫斯科物理技术学院);London Institute for Mathematical Sciences(伦敦数学科学研究所)
本文提出BABILong基准,发现GPT-4和RAG仅能处理万级元素序列,而通过循环记忆增强微调GPT-2可处理1100万元素长文档,刷新神经网络最长输入处理纪录。
2024-02-21 cs.AI cs.CL cs.LG
lmgame-Bench: How Good are LLMs at Playing Games?
UC San Diego(加州大学圣地亚哥分校);MBZUAI(穆桑贝斯人工智能研究院);UC Berkeley(加州大学伯克利分校)
本文提出lmgame-Bench基准,通过统一API和感知记忆支架将平台跳跃、解谜与叙事游戏转化为可靠的LLM评估,并在13个模型上验证其区分度及跨任务迁移能力。
2025-06-03 cs.AI
SMART: Automatically Scaling Down Language Models with Accuracy Guarantees for Reduced Processing Fees
Cornell University(康奈尔大学)
提出SMART框架,通过性能分析阶段评估多个LLM并策略性组合不同模型,在保证用户设定准确率约束下显著降低NLP任务的推理成本。
2024-03-11 cs.AI cs.CL cs.DB
Cut Costs, Not Accuracy: LLM-Powered Data Processing with Guarantees
UC Berkeley(伯克利大学)
提出BARGAIN方法,通过自适应采样和统计估计策略,在数据处理中明智使用经济型LLM,显著降低成本的同时提供准确率、精确率或召回率的强理论保证。
2025-09-12 cs.AI cs.DB
Rethinking Visual Information Processing in Multimodal LLMs
Seoul National University(首尔国立大学);Amazon(亚马逊)
针对LLaVA架构在视觉-语言任务中因模态不匹配导致视觉特征整合困难的问题,提出LLaViT,通过三项关键修改让LLM同时充当视觉编码器,实验表明其显著优于基线方法,甚至超过参数翻倍的模型。
2025-11-13 cs.AI cs.CV
Efficient Intent-Based Filtering for Multi-Party Conversations Using Knowledge Distillation from LLMs
Microsoft AI(微软人工智能)
针对大语言模型处理多方对话资源消耗高的问题,提出利用LLM知识蒸馏构建意图过滤器,用标注数据集微调MobileBERT实现多标签意图分类,仅传相关片段给LLM,在算力受限环境下显著降低运营成本。
2025-03-21 cs.AI cs.CL
Large Language Models "Ad Referendum": How Good Are They at Machine Translation in the Legal Domain?
Dublin City University(都柏林城市大学);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
本研究对比评估了LLMs与传统NMT系统在法律领域的机器翻译质量,发现尽管LLMs在自动评估指标上略逊,但在人工评估中表现相当或更优,凸显了人工评估的重要性。
2024-02-12 cs.AI cs.CL
Contextual Feature Extraction Hierarchies Converge in Large Language Models and the Brain
Columbia University(哥伦比亚大学);The Feinstein Institutes for Medical Research(范斯坦医学研究所);Northwell Health(诺斯韦尔健康中心)
本研究通过对比多组参数相近的高性能大语言模型,发现模型性能提升时其特征提取层级与大脑更趋同、编码效率更高,证实了上下文信息的关键作用,为类脑语言模型开发提供新方向。
2024-01-31 cs.AI cs.CL q-bio.NC
How Good Are Large Language Models for Course Recommendation in MOOCs?
Kyushu University(九州大学);Florida International University(佛罗里达国际大学)
本文研究将大型语言模型用于MOOC课程推荐,通过提示和微调等多种方法与传统模型对比,实验证明LLMs在准确性、多样性和新颖性上表现良好,展示了其在教育推荐中的潜力。
2025-04-11 cs.AI cs.IR
Are LLMs good pragmatic speakers?
University of Edinburgh(爱丁堡大学)
本文利用 RSA 框架和基于 TUNA 语料库的指称游戏,比较 Llama3-8B-Instruct 与 RSA 模型的候选话语评分,发现二者仅呈一定正相关,尚不足以证明 LLM 具备语用说话者行为。
2024-11-03 cs.AI cs.CL
Understanding LLM Performance Degradation in Multi-Instance Processing: The Roles of Instance Count and Context Length
School of Computer Science and Informatics, Cardiff University(卡迪夫大学计算机科学与信息学学院)
研究多实例处理中LLM性能下降的原因,发现实例数量和上下文长度均影响性能,但实例数量影响更显著。
2026-11-13 cs.AI cs.CL
Empirical Characterization of Temporal Constraint Processing in LLMs
Independent Researcher(独立研究者)
针对智能体架构中LLMs时间约束处理能力未经测试的问题,通过截止时间检测任务表征8个生产级模型,揭示性能双峰分布等风险,证明需结合符号推理模块的混合架构才能可靠处理时间约束。
2025-11-02 cs.AI cs.CL
A Survey on Large Language Model (LLM) Security and Privacy: The Good, the Bad, and the Ugly
Drexel University(德雷塞尔大学)
本文综述了LLMs在安全与隐私领域的双重影响,将其应用分为有益、攻击性及漏洞三类,发现LLMs能提升代码与数据安全但也可被用于攻击,并指出了模型提取与安全微调等需深入研究的方向。
2024-03-20 cs.AI cs.CR
Are Large Language Models a Good Replacement of Taxonomies?
HKUST(香港科技大学);Meta Reality Labs(元宇宙实验室(Meta Reality Labs));HKUST (GZ)(香港科技大学(广州))
该研究针对LLMs能否替代分类法的疑问,构建了覆盖多领域多层级的TaxoGlimpse基准,经18个主流LLMs的实验发现其仍难以掌握专业分类法及叶级实体知识。
2024-06-20 cs.AI cs.CL cs.DB
A Comprehensive Evaluation of Large Language Models on Benchmark Biomedical Text Processing Tasks
York University(约克大学);School of Information Technology, York University(约克大学信息技术学院);Department of Biology, York University(约克大学生物系)
本文首次在26个生物医学数据集上综合评估4种大型语言模型,发现零样本LLM在小训练集任务中可超越微调模型,且不同LLM表现因任务而异,表明LLM对缺乏标注数据的生物医学任务具有潜在价值。
2024-02-19 cs.AI cs.CL
Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);University of California, Irvine(加利福尼亚大学欧文分校)
本研究通过贝叶斯视角将大型语言模型视为潜变量模型,解释上下文学习机制,并提出一种利用小型LM选择最优少样本示例并泛化至更大模型的算法,在多数据集上显著提升性能。
2024-02-12 cs.AI cs.CL cs.LG
Too Good to be Bad: On the Failure of LLMs to Role-Play Villains
Tencent(腾讯)
该研究发现现代大语言模型因安全对齐限制难以真实扮演反派角色,通过构建Moral RolePlay基准评估,揭示角色道德水平越低角色扮演保真度越差,为平衡模型安全与创意保真度的对齐方法开发提供基础。
2025-11-12 cs.AI cs.CL
On the Use of LLMs for Specialised Terminology: A Good Alternative to Corpora?
研究探讨大语言模型在专业翻译中找英语到法语对应词的作用,评估四个模型在两个领域的表现,比较两种提示策略,发现模型等存在差异,大语言模型对专业译者有用但不能取代语料库,为后续研究铺了路。
2026-07-29 cs.AI cs.CL
GazeLLM: Multimodal LLMs incorporating Human Visual Attention
The University of Tokyo(东京大学);Sony CSL(索尼计算机科学实验室)
本文提出 GazeLLM,通过融合眼动追踪数据将第一人称视频分解为注视焦点子区域,在将像素输入减少至十分之一的同时实现与全分辨率处理相当或更优的任务理解效果。
2025-03-31 cs.AI cs.CV cs.HC
Probing LLMs for Joint Encoding of Linguistic Categories
Institute for Logic, Language and Computation, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所)
本文提出检验大语言模型中语言范畴联合编码的框架,发现词性类别之间及其与句法依存关系之间存在共享表示,且该模式在多语言模型中跨语言一致。
2023-10-28 cs.AI cs.CL cs.LG
Genshin: General Shield for Natural Language Processing with Large Language Models
Institute of Prospective Technology Research, Changan Automobile(长安汽车前瞻技术研究院)
针对LLMs不透明性限制高风险应用的问题,提出级联框架Genshin,利用LLM作为防御插件将文本恢复至原始状态,结合泛化、判别与可解释性,有效提升防御效率与鲁棒性。
2024-06-03 cs.AI cs.CL
Comparing Human and Language Models Sentence Processing Difficulties on Complex Structures
Blavatnik School of Computer Science, Tel Aviv University, Israel(巴尔-艾塔夫大学计算机科学学院);Department of Linguistics, Tel Aviv University, Israel(巴尔-艾塔夫大学语言学系);Sagol School of Neuroscience, Tel Aviv University, Israel(巴尔-艾塔夫大学神经科学学院)
本研究系统比较人类与五类LLM在七种复杂语言结构上的句子理解,发现LLM在花园路径句上困难显著,且与人类表现的相关性随模型规模增加而增强,揭示了二者的趋同与分歧。
2025-10-16 cs.AI cs.CL
The Performance of the LSTM-based Code Generated by Large Language Models (LLMs) in Forecasting Time Series Data
Texas Tech University(德克萨斯理工大学);Johns Hopkins University(约翰霍普金斯大学);San Jose State University(圣何塞州立大学)
本文研究并比较了ChatGPT、PaLM等主流LLMs生成的时间序列预测深度学习模型的性能,通过受控实验发现其可生成与手动优化LSTM性能相当的模型,ChatGPT表现最优且性能受temperature参数影响,结果对相关从业者有益。
2024-11-27 cs.AI cs.SE
How Good (Or Bad) Are LLMs at Detecting Misleading Visualizations?
Hong Kong University of Science and Technology(香港科技大学)
本研究探讨了多模态LLM在检测误导性图表中的能力,通过设计九种提示测试四种模型识别21种图表问题,发现多模态LLM具备较强的图表理解和批判性思维能力,能有效应对误导性可视化问题。
2024-07-24 cs.AI cs.CL cs.CV
SCOPE: Sign Language Contextual Processing with Embedding from LLMs
ShanghaiTech University(上海科技大学)
SCOPE框架利用大语言模型嵌入和对话上下文提升手语识别与翻译性能,并贡献了72小时中文手语对话数据集,在多个基准上取得最先进结果。
2024-09-02 cs.AI cs.CL cs.CV
How Good Are LLMs for Literary Translation, Really? Literary Translation Evaluation with Humans and LLMs
University of Mannheim(曼海姆大学);University of Aberdeen(阿伯丁大学);University of Technology Nuremberg(纽伦堡工业大学)
本研究通过构建LITEVAL-CORPUS语料库,系统评估文学翻译质量,发现人类评估的充分性受方案复杂度和评估者专业水平影响,且人工翻译始终优于大型语言模型翻译。
2025-02-25 cs.AI cs.CL
Corrupted by Reasoning: Reasoning Language Models Become Free-Riders in Public Goods Games
University of Zurich(苏黎世大学);KAIST AI(韩国科学技术院人工智能);ETH Zürich(苏黎世联邦理工学院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Toronto(多伦多大学);Vector Institute(矢量研究所)
本文用带制度选择的重复公共物品博弈评估多智能体LLM的高成本惩罚与合作,发现o1等推理模型反而更易搭便车,说明增强推理并不必然促进合作。
2025-07-24 cs.AI cs.CL
Are Large Language Models Good In-context Learners for Financial Sentiment Analysis?
Kenan-Flagler Business School, University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校凯南-弗拉格勒商学院)
本文首次系统研究大型语言模型在金融情感分析中的上下文学习能力,覆盖DeepSeek V3等现代LLMs及多种样本选择方法,并通过实验验证其有效性。
2025-03-06 cs.AI cs.CL q-fin.CP