Plan-and-Write: Structure-Guided Length Control for LLMs without Model Retraining
Amazon Web Services(亚马逊网络服务)
本文提出一种无需模型重训练的结构引导提示工程方法Plan-and-Write,通过在提示中引入规划与字数统计机制实现精确长度控制,在文档摘要任务中显著提升了多个LLM的长度保真度且保持或提升了输出质量。
2025-11-03 cs.AI cs.CL
On the Effectiveness of Large Language Models in Writing Alloy Formulas
University of Texas at Austin(德克萨斯大学奥斯汀分校)
该研究通过对照实验探究大语言模型编写Alloy公式的三类应用场景,使用ChatGPT和DeepSeek在11个规约上验证了其在公式生成、等价改写及草图补全方面的良好效果,为规约编写提供了新助力。
2025-02-21 cs.AI cs.FL cs.PL
Can LLMs Write Correct TLA+ Specifications? Evaluating Natural-Language-to-TLA+ Generation
Department of Computer Science, Loyola University Chicago(洛约奈大学芝加哥分校计算机科学系)
本文首次系统评估基于 LLM 从自然语言合成 TLA+ 规范的能力,发现模型在语义正确性上仅达 8.6%,且成功依赖于渐进式提示,揭示了模型大小与质量无关、代码专用模型表现不佳等关键发现。
2026-06-04 cs.AI cs.LG cs.LO
PURPLE: Making a Large Language Model a Better SQL Writer
School of Computer Science, Fudan University(复旦大学计算机科学学院);Transwarp Technology (Shanghai) Co., Ltd(Transwarp技术(上海)有限公司)
PURPLE通过检索包含所需逻辑算子组合的示范来引导大语言模型生成更准确的SQL,在Spider基准上取得新的最先进性能,并展现出跨基准、跨预算和跨模型的鲁棒性与成本效益。
2024-03-29 cs.AI cs.CL cs.DB
AceCoder: Utilizing Existing Code to Enhance Code Generation
Peking University(北京大学)
针对LLM代码生成需求理解与实现难题,提出AceCoder提示技术,通过引导代码生成与示例检索机制,显著提升多语言、多规模模型在基准测试中的Pass@k表现及人类偏好。
2023-09-07 cs.AI cs.SE
KernelGenBench: Can LLMs and Agents Write Efficient Kernels Across Operator Sources and Hardware Platforms?
Beijing Normal University(北京师范大学);Beijing Jiaotong University(北京交通大学);Institute of Automation, CAS(中国科学院自动化研究所);Peking University(北京大学);BAAI(北京智源人工智能研究院)
该研究提出KernelGenBench基准,评估LLM与智能体生成的Triton内核,发现智能体方法优于纯LLM采样,cuBLAS算子最具挑战,跨平台性能退化严重,自主生成成本远高于简单采样。
2026-09-10 cs.AI cs.LG
Your Language Model Can Secretly Write Like Humans: Contrastive Paraphrase Attacks on LLM-Generated Text Detectors
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);Harbin Institute of Technology(哈尔滨工业大学);Pengcheng Laboratory(鹏城实验室)
针对LLM生成文本检测器,提出无需训练的对比改写攻击CoPA,通过对比机器类与人类类分布并减去机器模式,有效欺骗检测器,理论分析与实验验证其优越性。
2025-09-10 cs.AI cs.CL
LLMs: A Game-Changer for Software Engineers?
本文分析大语言模型(LLMs)的技术优劣势、应用案例与研究方向,指出其正重塑软件开发模式与开发者角色,虽有挑战但能提供创新协作机遇,为从业者利用LLMs优化工作提供参考。
2024-11-01 cs.AI cs.SE
Kill-Chain Canaries: Stage-Level Tracking of Prompt Injection Across Attack Surfaces and Five Production LLMs
Massachusetts Institute of Technology(麻省理工学院);University of Chicago(芝加哥大学)
研究通过跟踪加密令牌四个阶段,揭示提示注入是管道-架构问题,发现写节点位置是最高安全决策,所有防御因通道不匹配失效,且隐形白字体PDF负载可匹配或超越可见文本ASR。
2026-10-01 cs.AI cs.CR cs.LG
Bug In the Code Stack: Can LLMs Find Bugs in Large Python Code Stacks
University of Waterloo(滑铁卢大学)
本研究提出评估LLM在大型Python代码栈中识别简单语法Bug能力的BICS基准,发现代码环境检索难度高于文本环境,不同模型性能差异大,且上下文越长性能普遍越差。
2024-06-21 cs.AI cs.SE
Does GenAI Rewrite How We Write? An Empirical Study on Two-Million Preprints
City University of Macau(澳门城市大学);CSIRO Data61(CSIRO数据61);The University of Adelaide(阿德莱德大学)
本文分析四大知识库中 210 多万篇预印本,结合中断时间序列、语言画像和主题建模等方法,发现 LLM 主要作为选择性催化剂加速发表周期并扩大学科差异。
2025-10-18 cs.AI cs.CL cs.CY
AutoSurvey: Large Language Models Can Automatically Write Surveys
Westlake University(西湖大学);Peking University(北京大学);Nanjing University(南京大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Squirrel AI(松鼠AI)
针对传统文献综述撰写效率低、大语言模型自动化生成存在上下文限制等问题,提出AutoSurvey系统方法,实现AI等领域综述自动生成,并给出评估方案与有效性验证,开源相关资源。
2024-06-18 cs.AI cs.CL cs.IR
Can LLMs Write Faithfully? An Agent-Based Evaluation of LLM-generated Islamic Content
Information Technology University(信息科技大学);Qatar University(卡塔尔大学);Hamad Bin Khalifa University(哈马德·本·卡西姆大学)
本研究针对大语言模型生成伊斯兰内容的准确性风险,采用双智能体框架评估三款模型,发现各有优劣,指出需建立穆斯林视角的社区基准以提升高风险领域AI可靠性。
2025-10-28 cs.AI cs.CL cs.CY
Tweetorial Hooks: Generative AI Tools to Motivate Science on Social Media
Columbia University(哥伦比亚大学);Barnard College(巴纳德学院)
针对 STEM 专家难以撰写社交媒体推文教程开篇钩子的问题,本文提出基于 LLM 的交互式辅助方法,帮助其联系日常经验、避免术语并激发好奇,评估显示可降低认知负荷、提升钩子质量。
2023-12-05 cs.AI cs.CY cs.HC
SAGE: A Novelty Gate for Efficient Memory Evolution in Agentic LLMs
Duke University(杜克大学)
提出SAGE门控机制,基于von Mises-Fisher密度估计和自适应阈值,将记忆写入控制建模为新奇性检测问题,在LoCoMo上以更低成本实现最优token-F1。
2026-06-23 cs.AI cs.CL cs.LG
Think Before you Write: QA-Guided Reasoning for Character Descriptions in Books
Institute of Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
本文提出一种解耦推理与生成的框架,通过问答引导推理提升字符描述的准确性、信息量和现实基础。
2026-04-13 cs.AI cs.CL cs.IR
Trained Persistent Memory for Frozen Decoder-Only LLMs
Inha University in Tashkent, Uzbekistan(乌兹别克斯坦塔什克恩的因哈大学)
本文研究解码器-only LLMs中持久内存的实现,通过六种方法在冻结的GPT-2上训练小型适配器,发现架构先验对保留内存性能有显著影响,且在10倍容量下所有方法均收敛。
2026-03-20 cs.AI cs.LG
Think Twice Before You Write -- an Entropy-based Decoding Strategy to Enhance LLM Reasoning
Oracle AI Science(甲骨文人工智能科学);University of Pennsylvania(宾夕法尼亚大学)
本文提出一种基于熵的解码策略,通过在生成过程中引入令牌级适应性,提高大语言模型的推理能力,实验表明在GSM8K等数据集上表现优异。
2026-03-10 cs.AI cs.CL
Hallucination by Code Generation LLMs: Taxonomy, Benchmarks, Mitigation, and Challenges
UNIST(蔚山科学技术院);Handong Global University(韩东国际大学);Korea University(高丽大学);Seoul National University of Science and Technology(首尔科学技术院)
本文综述 CodeLLM 代码生成中的幻觉问题,系统梳理幻觉类型、现有基准、缓解策略与开放挑战,并提出检测和消除幻觉的未来研究方向。
2025-05-13 cs.AI cs.SE
Computational Approaches to Understanding Large Language Model Impact on Writing and Information Ecosystems
Stanford University(斯坦福大学)
本论文以计算方法研究LLMs对写作与信息生态系统的影响,涵盖AI检测器的公平性问题、LLMs在多写作领域的采用模式及LLMs为研究者提供手稿反馈的潜力。
2026-08-04 cs.AI cs.CL cs.CY
Enhancing ICU Patient Recovery: Using LLMs to Assist Nurses in Diary Writing
Delft University of Technology(代尔夫特理工大学)
本文探讨利用大语言模型辅助护士撰写ICU患者日记以改善长期康复,分析了推广障碍及社会技术与实践挑战,并提出未来研究方向。
2024-02-23 cs.AI cs.HC
Sharing State Between Prompts and Programs
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出共享程序状态抽象,使提示可直接访问程序变量并实现控制流,通过Nightjar系统验证了其在任务准确性和代码效率上的优势。
2026-03-16 cs.AI cs.PL
From What to How: Bridging User Requirements with Software Development Using Large Language Models
University of Science and Technology Beijing(北京科技大学);Hong Kong University of Science and Technology(香港科学大学);University of Science(科学大学)
本文提出DesBench基准测试,评估LLMs在软件设计相关任务中的表现,揭示LLMs在代码生成、面向对象建模及测试用例设计方面的局限性。
2026-02-14 cs.AI cs.SE
How Do Humans Write Code? Large Models Do It the Same Way Too
East China Normal University(华东师范大学);Central Conservatory of Music(中央音乐学院);INF Technology(INF科技)
针对思维程序在数学推理中引入更多错误的问题,提出人类思维语言(HTL),整合思维链与思维程序,通过新生成范式、焦点注意力和强化学习,在多个数据集上显著提升推理准确率并展现强迁移性。
2024-10-16 cs.AI cs.CL cs.PL
Small Language Models can Outperform Humans in Short Creative Writing: A Study Comparing SLMs with Humans and LLMs
UNED, Madrid, Spain(UNED, 马德里, 西班牙);IE University, Madrid, Spain(IE大学, 马德里, 西班牙)
本文通过人类评分和语言分析比较微调SLM BART-large、人类及GPT-3.5/GPT-4o的短篇创意写作,发现BART-large总体超越普通人类写作者,证明小模型在特定创意写作场景中可媲美人类与大模型。
2025-01-13 cs.AI cs.CL
ABScribe: Rapid Exploration & Organization of Multiple Writing Variations in Human-AI Co-Writing Tasks using Large Language Models
University of Toronto(多伦多大学);University of Toronto Mississauga(多伦多大学密西沙加分校)
ABScribe通过将LLM提示转换为可复用按钮并在文本内相邻存储变体,支持写作者快速、结构化地探索和比较多种写作变体,显著降低工作负载并提升修订体验。
2024-03-27 cs.AI cs.HC cs.LG
Trained Persistent Memory for Frozen Encoder--Decoder LLMs: Six Architectural Methods
Inha University in Tashkent, Uzbekistan(乌兹别克斯坦塔什克ENT的Inha大学)
本文探讨了在冻结编码器-解码器语言模型中通过持久内存实现连续潜在空间的可行性,提出六种架构方法,通过训练适配器实现对话学习,验证了容量作为关键设计参数的重要性。
2026-03-17 cs.AI cs.LG
Four Types of LLM Reliance and Their Predictors Among Undergraduate Writers: A Mixed-Methods Study at a Minority-Serving R1 University
School of Education, University of Maryland, Baltimore County(大学教育学院,马里兰大学巴尔的摩县分校)
本研究在少数族裔服务大学通过混合方法识别出本科生的四种LLM依赖类型(策略型、工具型、对话型、依赖型),发现价值与成本信念预测依赖强度,AI素养预测依赖类型,且策略型用户在标准结果测量中得分最低。
2026-07-03 cs.AI cs.CY cs.HC
Clinical Notes Reveal Physician Fatigue
University of Chicago(芝加哥大学);University of California, Berkeley(加州大学伯克利分校)
该研究基于129,228次急诊记录训练模型识别医生疲劳,发现其与检查检出率下降、种族差异及LLM生成文本的高可预测性相关。
2023-12-05 cs.AI cs.CL cs.CY
Benchmarking Large Language Models for News Summarization
大语言模型(LLM)已经显示出自动摘要的前景,但其成功背后的原因却知之甚少。通过对不同预训练方法、提示和模型尺度的10个LLM进行人工评估,我们得出了两个重要的观察结果。首先,我们发现指令微调,而不是模型大小,是LLM的zero-shot总结能力的关键。其次,现有的研究受到低质量参考文献的限制,导致低估了人类的表现,以及较低的Few-Shot和微调性能。为了更好地评估LLM,我们对我们从自由撰稿人那里收集的高质量摘要进行了人工评估。尽管主要的文体差异,如释义量,我们发现,LMM摘要被判断为与人类的书面摘要。
2023-01-31 cs.AI cs.CL cs.LG
LPML: LLM-Prompting Markup Language for Mathematical Reasoning
Albert Inc.(阿尔伯特公司);The University of Tokyo(东京大学);Center for Advanced Intelligence Project, RIKEN(理化学研究所高级智能项目中心);Kyoto University(京都大学)
提出LPML框架,通过XML式标记语言将思维链与Python REPL结合,利用零样本提示增强LLM的数学推理能力,并纠正推理与计算错误。
2023-10-11 cs.AI cs.LG cs.PL
Repair Is Nearly Generation: Multilingual Program Repair with LLMs
Microsoft(微软)
大多数程序员在编写代码时都会犯错误。这些错误中有一些很小,只需要对原始程序进行很少的编辑--这类错误最近被称为“最后一英里错误”。这些错误打断了有经验的开发人员的流程,并可能使新手程序员感到困惑。针对这类错误的现有自动修复技术是特定于语言的,并且不容易转移到新的语言。转移符号方法需要大量的工程,神经方法需要数据和再训练。我们介绍了RING,一个多语言修复引擎,由一个大语言模型训练的代码(LLMC),如Codex。这种多语言引擎实现了编程辅助的翻转模型,与传统的代码建议技术相比,程序员编写代码,人工智能辅助建议修复。从程序员手动修复错误的方式中获得灵感,我们展示了一种基于修复的策略,该策略将修复概念化为本地化,转换和候选人排名,可以以最小的努力成功地修复多种语言的程序。我们提出了这样一个多语言修复引擎的第一个结果,通过评估6种不同的语言,并比较特定语言的修复引擎的性能。我们表明,RING可以优于这些语言中的三种语言的特定语言的修复引擎。
2022-12-05 cs.AI cs.PL cs.SE
On the Tip of the Tongue: Why LLMs Hallucinate Answers They Can Decode
研究揭示语言模型幻觉源于对不确定性整合失败,而非检测能力不足。通过拓扑分析发现不确定性表示碎片化而非统一退避,梯度和Fisher探针显示不确定性方向敏感性坍缩,交叉熵训练缺乏退避吸引子,导致关联机制放大碎片化激活。
2026-10-05 cs.AI cs.CL cs.LG
Can LLMs Tell Stories Out of Order? A Corpus and Benchmark for Nonlinear Narrative Generation
Islamic University of Technology(伊斯兰科技大学);University of Utah(犹他大学);University of Southern California(南加州大学)
本文构建含83部作品的非线性叙事生成基准,测试19个LLMs,发现其默认更倾向时间顺序故事,遵循无序创作指令的表现仍不及人类。
2026-10-16 cs.AI cs.CL
Understanding the Capabilities of Large Language Models for Automated Planning
University of South Carolina(南卡罗来纳大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心);University of Udine(乌迪内大学);University of Brescia(布雷西亚大学)
本文通过四个关键问题系统评估大型语言模型在自动规划中的能力,比较预训练数据、微调与提示方法,并考察计划泛化能力,为LLMs在复杂规划问题中的应用提供方法指导。
2023-05-25 cs.AI
When AI Writes, Whose Voice Remains? Quantifying Cultural Marker Erasure Across World English Varieties in Large Language Models
Independent Researcher(独立研究者);BNRIST, Dept. of CST, Tsinghua University(BNRIST计算机科学与技术系,清华大学)
研究揭示大型语言模型在处理不同英语变体时对文化标记的系统性消除现象,并提出量化指标与改进方法。
2026-02-25 cs.AI cs.CL cs.HC
SecRepoBench: Benchmarking Code Agents for Secure Code Completion in Real-World Repositories
University of Maryland(马里兰大学);Google Deepmind(谷歌DeepMind)
SecRepoBench通过评估代码代理在现实世界仓库中进行安全代码补全的能力,揭示了代码代理在生成正确且安全代码方面的优势及改进方向。
2026-02-14 cs.AI cs.CR
Think Fast, Talk Smart: Partitioning Deterministic and Neural Computation for Structured Health Text Generation
Kai-Chen Cheng Haejun Han David Q. Sun
提出一种将确定性计算与有限LLM调用相结合的流水线,用于结构化健康文本生成,在降低错误率和成本的同时保持忠实性。
2026-05-28 cs.AI
Thinkink: 2D Spatial Ink-native Interaction with LLMs
Cheriton School of Computer Science, University of Waterloo(滑铁卢大学计算机科学学院)
为将大语言模型融入手写笔记和草图构思,提出Thinkink,通过语义树和轻量级UI实现交互,经三阶段设计,研究不同阶段用户实践及交互挑战,贡献设计启示与交互工具。
2026-07-24 cs.AI cs.HC
Evaluating LLMs for Hardware Design and Test
New York University(纽约大学);University of New South Wales(新南威尔士大学)
本文研究 LLM 依据规格同时生成硬件功能与验证 Verilog 的能力,通过 8 个基准评估先进对话模型,并在 Skywater 130nm 工艺完成流片验证。
2024-12-02 cs.AI cs.AR cs.CL
How Does Naming Affect LLMs on Code Analysis Tasks?
College of Information Science and Technology, The Pennsylvania State University(宾夕法尼亚州立大学信息科学与技术学院);Heinz College, Carnegie Mellon University(卡内基梅隆大学海因茨学院)
本文研究了程序命名如何影响LLMs在代码分析任务上的表现,通过构建包含无意义或误导性名称的数据集并使用CodeBERT和GPT进行实验,发现命名质量对模型性能有显著影响。
2024-07-28 cs.AI cs.CR
Pron vs Prompt: Can Large Language Models already Challenge a World-Class Fiction Author at Creative Text Writing?
School of Computer Science, UNED, Madrid, Spain(计算机科学学院,UNED,马德里,西班牙);Faculty of Education, UCM, Madrid, Spain(教育学院,UCM,马德里,西班牙);Faculty of Philosophy, UNED, Madrid, Spain(哲学学院,UNED,马德里,西班牙)
本文通过让获奖小说家 Patricio Pron 与 GPT-4 进行标题创作和短篇小说写作竞赛,并由文学专家依据 Boden 创造力定义进行人工评估,发现当前 LLMs 仍远未达到顶尖人类创意写作水平,且仅靠扩大模型规模难以实现这一目标。
2024-10-28 cs.AI cs.CL
GateSight: Recurrent Memory Anticipates Attention Memory for Query-Agnostic KV Eviction in Hybrid LLMs
Shanghai Jiao Tong University(上海交通大学)
GateSight利用GDN层预填充阶段的信号预测KV条目效用,以轻量每头MLP实现与查询无关的KV缓存淘汰,在仅需十分之一注意力KV缓存时,在多基准上优于现有方法。
2026-10-14 cs.AI
ClickDiffusion: Harnessing LLMs for Interactive Precise Image Editing
Georgia Tech(佐治亚理工学院)
本文提出 ClickDiffusion,通过将图像与多模态指令序列化为文本表示,结合 LLM 和用户点击式视觉反馈,实现精确的交互式图像布局与外观编辑。
2024-04-05 cs.AI cs.CV
Understanding Help-Seeking Behavior of Students Using LLMs vs. Web Search for Writing SQL Queries
University of Toronto(多伦多大学);University of Toronto Mississauga(多伦多大学密西沙加分校)
本研究通过数据库课堂随机访谈,对比学生用网络搜索、ChatGPT及教师调优LLM编写SQL查询的求助行为,发现调优LLM交互更多但心理负荷更低,各组查询质量无显著差异,为编程教育工具应用提供参考。
2024-08-15 cs.AI cs.CY cs.DB
Prompt-Based One-Shot Exact Length-Controlled Generation with LLMs
本文提出一种基于倒计时提示的一次性方法,使大语言模型无需微调即可精确控制生成文本的token数量,在多个基准上显著提升长度合规率并保持答案质量。
2025-08-19 cs.AI cs.CL
An AI-Powered Research Assistant in the Lab: A Practical Guide for Text Analysis Through Iterative Collaboration with LLMs
Universidad Externado de Colombia(哥伦比亚外部大学);Universidad de los Andes(安第斯大学);University of Michigan(密歇根大学);Rice University(莱斯大学);University of Toronto(多伦多大学);University of Southampton(南安普顿大学)
该研究提出一套研究者与LLMs迭代协作的文本分析分步教程,以个人目标文本为例演示分类体系的构建、优化、测试与应用流程,达到高编码者间信度,同时探讨了LLMs用于文本分析的潜力与局限。
2025-05-16 cs.AI cs.CL cs.HC
Navigating the Path of Writing: Outline-guided Text Generation with Large Language Models
Boston University(波士顿大学);NAVER AI Platform(NAVER人工智能平台);Seoul National University(首尔国立大学)
针对LLM生成文本难以满足用户意图的问题,提出WritingPath框架,利用显式大纲引导生成高质量目标导向文本,并通过多样化数据集和全面评估验证其有效性。
2025-02-23 cs.AI cs.CL cs.HC
Visored: A Controlled-Natural-Language Prover for LLM-Generated Mathematics
University of Washington(华盛顿大学);University of Innsbruck(因斯布鲁克大学)
提出一种基于依赖类型的证明器,其表面模仿数学自然语言,并通过规则驱动的自动化层填补常规步骤,使LLM无需专用训练数据即可在miniF2F基准上有效使用,并输出可检查的Lean文件。
2026-06-17 cs.AI cs.PL
An Exploration of Pattern Mining with ChatGPT
Carleton University(卡尔顿大学)
本文探索使用 ChatGPT 进行模式挖掘,提出结合人类洞察与 AI 能力的八步协作流程,并通过创建集成 LLMs 的模式语言进行演示,主张将底层组件的可供性纳入模式描述。
2024-12-22 cs.AI
Diffusion On Syntax Trees For Program Synthesis
University of California, Berkeley(加州大学伯克利分校)
针对LLM逐token生成代码缺乏输出反馈及编辑数据稀缺的问题,提出作用于任意上下文无关文法语法树的神经扩散模型,通过迭代编辑代码保持语法有效性,结合搜索实现逆向图形任务的程序合成与调试。
2024-05-30 cs.AI
Can LLMs Solve Science or Just Write Code? Evaluating Quantum Solver Generation
Politecnico di Milano(米兰理工大学);University of Luxembourg(卢森堡大学)
本文提出Q-SAGE方法,通过迭代优化评估LLM生成量子求解器的能力,发现迭代改进提升成功率但带来计算开销,模型能力增强后失败模式从执行错误转为数值不准确,揭示LLM在量子软件中的局限。
2026-05-11 cs.SE
QUICK: Quantization-aware Interleaving and Conflict-free Kernel for efficient LLM inference
SqueezeBits Inc.(SqueezeBits公司)
本文提出QUICK,一组新型优化CUDA内核,通过离线交错量化权重矩阵以跳过反量化后的共享内存写回,解决了混合精度矩阵乘法的共享内存库冲突问题,在多种NVIDIA GPU上实现了最高1.91倍加速和1.94倍吞吐量提升。
2024-02-15 cs.AI cs.CL cs.LG
Writing as a testbed for open ended agents
Google DeepMind(谷歌DeepMind)
本文以写作为测试平台,研究LLMs作为自主协作共同作者的潜力,分析三个模型的动作多样性、人类对齐和迭代改进能力,并建立基准框架,以应对开放式任务的挑战。
2025-03-25 cs.AI cs.CL cs.HC