OpenAssistant Conversations -- Democratizing Large Language Model Alignment
本文发布多语言众包人类对话与评分语料库 OpenAssistant Conversations,用于支持开放的 LLM 对齐研究,并验证基于该数据训练的模型相较基础模型具有稳定提升。
2023-10-31 cs.AI cs.CL
MoECollab: Democratizing LLM Development Through Collaborative Mixture of Experts
IIIT Delhi(德里印度信息技术学院)
提出 MoECollab 框架,以可训练门控网络协调分布式专家模块,支持低资源协作开发 LLM,并在准确率、计算成本和专家利用率上取得显著提升。
2025-03-16 cs.AI cs.CL cs.LG
Towards Democratizing Multilingual Large Language Models For Medicine Through A Two-Stage Instruction Fine-tuning Approach
AI Engineering Team(人工智能工程团队);SpassMed Inc.(斯帕斯医疗公司)
本文构建 MMed-IFT 与 MMed-IFT-MC 多语言医学指令数据集,提出先注入通用医学知识、再微调多选题的两阶段方法,在英语及多语言基准上实现效率与性能兼顾。
2024-09-09 cs.CL
Democratizing Reasoning Ability: Tailored Learning from Large Language Model
Sun Yat-sen University(中山大学);Peking University(北京大学);Microsoft(微软)
本文提出一种定制化学习方法,通过交互式多轮学习范式和自我反思机制,将大型语言模型的推理能力蒸馏到较小的语言模型中,以促进推理能力的民主化。
2023-10-20 cs.AI cs.CL
Democratizing Large Language Model-Based Graph Data Augmentation via Latent Knowledge Graphs
The University of Hong Kong(香港大学)
针对现有图数据增强忽略上下文、LLM图学习方法难民主化的问题,提出黑盒上下文驱动的DemoGraph方法,利用LLM生成知识图谱并动态整合,结合粒度感知提示和指令微调,实验证明其优于现有方法且在EHRs场景表现突出。
2025-02-19 cs.AI cs.LG
ManuSearch: Democratizing Deep Search in Large Language Models with a Transparent and Open Multi-Agent Framework
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院);Harbin Institute of Technology(哈尔滨工业大学);Department of Computer Science, National University of Singapore(新加坡国立大学计算机科学系)
ManuSearch提出透明模块化多智能体框架,分解搜索推理为三智能体协作,引入ORION基准,超越开源及闭源系统,推动深度搜索民主化。
2025-05-23 cs.CL
Democratizing AI: Open-source Scalable LLM Training on GPU-based Supercomputers
University of Maryland(马里兰大学);ELLIS Institute Tübingen(蒂宾根ELLIS研究所);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of California, Berkeley(加利福尼亚大学伯克利分校)
提出基于开源框架AxoNN的四维混合并行算法及优化,实现GPT模型在多超级计算机上的高扩展训练,同时通过实验揭示大模型灾难性记忆风险并提出预防方法,还展示了4050亿参数LLM的微调能力。
2025-02-12 cs.AI cs.DC cs.LG
Apollo: A Lightweight Multilingual Medical LLM towards Democratizing Medical AI to 6B People
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
为将医疗AI普及至61亿人,本文提出覆盖六种最广泛语言的轻量级医疗LLM Apollo,构建了ApolloCorpora数据集和XMedBench基准,其0.5B至7B模型在同等规模中表现最佳,且能通过代理调优增强大模型能力。
2024-10-12 cs.AI cs.CL
FinGPT: Democratizing Internet-scale Data for Financial Large Language Models
Columbia University(哥伦比亚大学);Rice University(莱斯大学)
针对金融领域LLM数据稀缺和闭源问题,提出开源数据中心的FinGPT框架,自动化收集互联网34个来源的实时金融数据,结合RLSP和LoRA低成本微调,实现金融LLM的民主化。
2023-11-14 cs.CL cs.LG q-fin.GN
Zebra-Llama: A Context-Aware Large Language Model for Democratizing Rare Disease Knowledge
University of California San Francisco(加利福尼亚大学旧金山分校);Plix AI;Sapienza University of Rome(罗马第一大学);PhenoTips
本文提出Zebra-Llama,一种基于上下文感知微调和RAG的专用语言模型,针对埃勒斯-当洛斯综合征(EDS)实现高精度问答,显著提升全面性、准确性、清晰度和引用可靠性,为罕见病知识普及建立开源框架。
2024-11-04 cs.CL
Apertus: Democratizing Open and Compliant LLMs for Global Language Environments
EPFL(洛桑联邦理工学院);ETH Zurich(苏黎世联邦理工学院);CSCS(瑞士国家超级计算中心);HES-SO Valais-Wallis(瑞士西部应用科学与艺术大学瓦莱州分校);HSLU(卢塞恩应用科学与艺术大学);IST Austria(奥地利科学技术研究所);ZHAW(苏黎世应用科学大学);University of Zurich(苏黎世大学);University of Bern(伯尔尼大学);Vischer
Apertus通过开放且合规的大型语言模型,解决数据合规性和多语言表示问题,提供透明的开发资源以促进全球语言环境的应用。
2025-12-01 cs.AI cs.CL cs.LG
OKBench: Democratizing LLM Evaluation with Fully Automated, On-Demand, Open Knowledge Benchmarking
University of Chicago(芝加哥大学);TTI-Chicago(芝加哥技术研究所);UC Santa Barbara(圣巴巴拉大学);Stony Brook University(石溪大学)
针对静态知识基准无法捕捉动态知识、集中式编纂滞后于LLM发展的问题,提出全自动智能体框架OKBench,按需生成新闻领域动态知识基准,评估显示其能揭示模型应对新信息的行为并验证检索对缩小模型性能差距的作用。
2025-10-31 cs.AI cs.CL
Democratizing LLMs: An Exploration of Cost-Performance Trade-offs in Self-Refined Open-Source Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出无目标的迭代自我批评与自我精炼变体及新排名指标PeRFICS,在兼顾性能与成本下优选模型,实验证明开源模型经精炼后性能显著提升,部分超越ChatGPT,促进LLMs民主化。
2023-10-22 cs.AI cs.CL cs.PF
Democratizing MLLMs in Healthcare: TinyLLaVA-Med for Efficient Healthcare Diagnostics in Resource-Constrained Settings
New York University Abu Dhabi(纽约大学阿布扎比分校)
针对资源受限医疗环境,通过指令微调 TinyLLaVA 得到 TinyLLaVA-Med,在低功耗(18.9W)下实现接近最先进水平的医疗视觉问答准确率。
2024-09-02 cs.AI cs.LG
Democratizing LLM Efficiency: From Hyperscale Optimizations to Universal Deployability
本文提出通过改进LLM的效率方法,使其在有限资源和专业知识下仍能有效运作,以实现更广泛的部署和公平性。
2025-11-03 cs.CL
NNsight and NDIF: Democratizing Access to Open-Weight Foundation Model Internals
Northeastern University(东北大学);TU Clausthal(克劳斯塔尔工业大学);University of Hamburg(汉堡大学)
本文提出协同工作的NNsight与NDIF技术,通过Intervention Graph架构解耦实验设计与模型运行时,为研究者提供透明高效访问超大语言模型内部机制的途径,降低了研究成本与复杂性。
2025-04-01 cs.AI cs.LG
Tensor Train Low-rank Approximation (TT-LoRA): Democratizing AI with Accelerated LLMs
Theoretical Division, Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室理论分部);Advanced Research in Cyber Systems, Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室网络系统高级研究分部);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
提出 TT-LoRA 参数高效微调方法,以优化的 tensor train 分解替代 Adapters 和 LoRA 结构,在保持下游性能的同时提升 LLM 压缩率并降低推理开销。
2024-08-02 cs.AI cs.LG
Democratizing Large-Scale Re-Optimization with LLM-Guided Model Patches
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(赫尔曼·米利特·斯图尔特工业与系统工程学院,佐治亚理工学院);Department of Operations and Decision Systems, Université Laval(运营与决策系统系,拉瓦尔大学)
提出一个基于大语言模型的代理重新优化框架,通过自然语言交互和优化工具箱,使非专家用户能够动态更新和重新优化部署的优化模型,并在两个大规模实际案例中验证了其有效性和可扩展性。
2026-05-27 cs.AI math.OC
OpenSeeker: Democratizing Frontier Search Agents by Fully Open-Sourcing Training Data
Shanghai Jiao Tong University(上海交通大学)
OpenSeeker通过两项技术创新实现前沿性能,利用开源数据提升搜索代理能力,实验表明其在多个基准测试中表现优异,超越现有开源和工业竞争对手。
2026-03-16 cs.AI cs.CL
LLM-Net: Democratizing LLMs-as-a-Service through Blockchain-based Expert Networks
Kwansei Gakuin University(关西学院大学);Victoria University of Wellington(惠灵顿维多利亚大学)
本文提出基于区块链的去中心化框架LLM-Net,通过整合分布式领域专家模型与协作提示机制实现LLMs即服务的民主化,并利用声誉机制维持服务质量。
2025-02-02 cs.AI
MAPLE: Metadata Augmented Private Language Evolution
National Taiwan University(国立台湾大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究);Meta
MAPLE通过差分隐私元数据提取和上下文学习,解决私有演化中初始化瓶颈问题,实现更优的隐私-效用平衡和更低的API成本。
2026-09-18 cs.AI cs.CL cs.CR
Large Language Models Can Be Strong Differentially Private Learners
Stanford University(斯坦福大学);Google Research(谷歌研究院)
差分私有(DP)学习在构建大型文本深度学习模型方面取得了有限的成功,直接将差分私有随机梯度下降(DP-SGD)应用于NLP任务的尝试导致了大幅性能下降和高计算开销。我们发现,这种性能下降可以通过以下方式来缓解:(1)使用大型预训练语言模型;(2)适合DP优化的非标准超参数;(3)与预训练过程一致的微调目标。有了上述内容,我们获得了在相同的隐私预算和强大的非私有基线下性能优于最先进的DP训练模型的NLP模型-通过在中等规模的语料库上直接微调DP优化的预训练模型。为了解决使用大型Transformers运行DP-SGD的计算挑战,我们提出了一种节省内存的技术,该技术允许在DP-SGD中运行裁剪,而无需为模型中的任何线性层实例化每个示例的梯度。该技术使私有训练Transformers具有与非私有训练几乎相同的内存成本,并且运行时开销适中。与DP优化在学习高维模型时失败的传统观点相反(由于噪声随维度缩放),经验结果表明,使用预训练的语言模型的私人学习并不倾向于遭受维度相关的性能下降。可以在https://github.com/lxuechen/private-transformers上找到重现结果的代码。
2022-11-10 cs.CL cs.LG
Enhancing Data Privacy in Large Language Models through Private Association Editing
University of Rome Tor Vergata(罗马第二大学);Almawave S.p.A.(阿尔玛威夫股份公司)
本文提出Private Association Editing(PAE)方法,无需重新训练即可移除LLMs中的个人身份信息,有效防止私有数据泄露,相比基线方法表现更优,为实际应用提供更安全的模型。
2024-10-16 cs.AI cs.CL
Differentially Private Decoding in Large Language Models
Amazon Alexa AI(亚马逊Alexa人工智能部门)
最近的大规模自然语言处理(NLP)系统使用预先训练的大语言模型(LLM)在大规模和多样化的语料库作为一个开端。在实践中,通过对特定于任务的数据集进行微调,预先训练的模型可以适应各种任务。LLM虽然有效,但已被证明可以记住训练数据的实例,从而潜在地揭示在预训练期间处理的私人信息。潜在的泄漏可能进一步传播到LLM被微调的下游任务。另一方面,隐私保护算法通常涉及从头开始重新训练,这对于LLM来说非常昂贵。在这项工作中,我们提出了一个简单,易于解释,计算量小的扰动机制,应用于一个已经训练好的模型在解码阶段。我们的扰动机制是模型不可知的,可以与任何LLM结合使用。我们提供的理论分析表明,所提出的机制是差分私人,和实验结果显示的隐私效用权衡。
2022-09-08 cs.CL cs.LG
Teach LLMs to Phish: Stealing Private Information from Language Models
Princeton University(普林斯顿大学);Google DeepMind(谷歌DeepMind);Southeast University(东南大学);Dartmouth College(达特茅斯学院)
本文提出“neural phishing”数据提取攻击,仅需向训练集注入少量看似良性的句子,即可从 LLM 中定向窃取信用卡号等 PII,成功率最高达 50%。
2024-03-01 cs.AI cs.CL cs.CR
Differentially Private Fine-tuning of Language Models
Sun Yat-sen University(中山大学);Microsoft Research Asia(微软亚洲研究院);Microsoft(微软);Microsoft Research(微软研究院);University of Waterloo(滑铁卢大学);University of Washington(华盛顿大学)
我们为大规模预训练语言模型的差异化私有微调提供了更简单,更稀疏,更快速的算法,这些算法在许多标准NLP任务中实现了最先进的隐私与实用性权衡。我们针对这个问题提出了一个元框架,其灵感来自于最近高度参数高效的微调方法的成功。我们的实验表明,这些方法的差异化私有适应在三个重要方面优于以前的私有算法:实用性,隐私性以及私有训练的计算和内存成本。在许多常用的研究数据集上,私有模型的效用接近非私有模型。例如,在MNLI数据集上,我们使用RoBERTa-Large实现了$87.8\%$的准确度,使用RoBERTa-Base实现了$83.5\%$的准确度,隐私预算为$ε= 6.7$。相比之下,在没有隐私约束的情况下,Roberta-Large实现了$90.2\%$的准确性。我们的发现与自然语言生成任务相似。使用DART、GPT-2-Small、GPT-2-Medium、GPT-2-Large和GPT-2-XL进行的私人微调分别实现了38.5、42.0、43.1和43.8的BLEU评分(隐私预算为$ε= 6.8,δ=$ 1e-5),而非私人基线为$48.1$。我们所有的实验都表明,更大的模型更适合私人微调:虽然众所周知,它们在非私人情况下可以实现更高的准确性,但我们发现,当引入隐私时,它们也可以更好地保持其准确性。
2022-07-14 cs.CL cs.CR cs.LG
Efficient and Private: Memorisation under differentially private parameter-efficient fine-tuning in language models
Imperial College London(帝国理工学院);Flashbots;Technical University of Munich(慕尼黑工业大学);AI for Medicine
本文研究差分隐私约束下的参数高效微调方法,证明其能以更少参数达到与标准微调相当的性能并显著降低隐私泄露,同时通过数据投毒实验直接测量记忆化风险,为LLMs隐私保护与资源高效微调提供有效方案。
2024-11-24 cs.AI cs.LG
Future-proofing Education: A Prototype for Simulating Oral Examinations Using Large Language Models
Brandenburg University of Applied Sciences(勃兰登堡应用技术大学)
本文研究利用大型语言模型构建自动化口试模拟原型,并通过师生评估验证其在模拟口试、个性化反馈和减轻教师负担方面的有效性,展示LLMs促进教育民主化与提升教学效率的潜力。
2023-12-22 cs.AI cs.CY
When Language Model Meets Private Library
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Microsoft Research Asia(微软亚洲研究院)
随着预训练技术的迅速发展,大量的语言模型已经在大规模的代码语料库上进行了预训练,并在代码生成中表现良好。在本文中,我们研究了如何使预先训练好的语言模型具有为私有库生成代码生成的能力。在实践中,程序员使用私有库编写代码是很常见的。然而,这对语言模型来说是一个挑战,因为它们在训练期间从未见过私有API。受私有库通常附带详细的API文档这一事实的启发,我们提出了一个具有两个模块的新框架:APIRetriever发现有用的API,然后APICoder使用这些API生成代码。对于API检索器,我们提出了一个稠密检索系统,并设计了一个友好的交互,涉及使用。对于APICoder,我们可以直接使用现成的语言模型,或者在包含API信息的代码语料库上持续预训练基础模型。这两个模块都是用公共图书馆的数据训练的,可以推广到私人图书馆。此外,我们为私有库制作了三个基准测试,分别为TorchDataEval、MonkeyEval和BeatNumEval。实验结果表明,令人印象深刻的性能,我们的框架。
2022-10-31 cs.CL cs.PL cs.SE
Islamic Chatbots in the Age of Large Language Models
Department of Computer Science & Software Engineering University of Washington Bothell(计算机科学与软件工程系华盛顿大学Bothell分校)
本文探讨了大型语言模型驱动的伊斯兰聊天机器人对宗教实践的影响,分析了其在知识获取民主化与权威侵蚀之间的矛盾,并提出负责任设计的建议。
2025-12-31 cs.AI cs.CY
On the Recoverability of Private Information Unlearning in Large Language Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Ottawa(渥太华大学);Tongji University(同济大学)
本研究针对大型语言模型的私有信息遗忘问题,构建含虚假私有信息的合成数据集,提出白盒审计框架,发现五种现有遗忘方法中,逆贪心解码可恢复所谓已遗忘的信息,表明当前遗忘方法常无法完全消除敏感信息,需更可靠方法保障LLMs隐私。
2026-09-01 cs.CL cs.LG
Flocks of Stochastic Parrots: Differentially Private Prompt Learning for Large Language Models
University of Toronto(多伦多大学);Vector Institute(向量研究所)
本文针对大语言模型提示数据的隐私泄露问题,提出差分隐私提示学习方法,通过软提示私有梯度下降和随机鹦鹉群带噪投票机制,在接近非私有基线性能的同时实现隐私保护。
2023-05-24 cs.CL cs.CR cs.LG
DP-OPD: Differentially Private On-Policy Distillation for Language Models
Santa Clara University(圣克拉拉大学);Independent Researcher(独立研究员)
本文提出DP-OPD,一种无需合成的差分隐私在线策略蒸馏框架,通过在学生模型上应用DP-SGD实现隐私保护,利用冻结的教师模型提供密集的token级目标,提升压缩效率和隐私-效用平衡。
2026-04-06 cs.AI cs.CL cs.LG
Differentially Private Tabular Data Synthesis using Large Language Models
Emory University(埃默里大学)
本文提出DP-LLMTGen框架,利用预训练大语言模型通过两阶段微调和新型损失函数实现差分隐私表格数据合成,在多数据集和隐私设置下优于现有机制并具备可控生成能力。
2024-06-03 cs.CL cs.CR cs.LG
Differentially Private Steering for Large Language Model Alignment
Technical University of Darmstadt(达姆施塔特工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Copenhagen(哥本哈根大学)
本研究针对私有数据集对齐大语言模型时的隐私泄露问题,提出带差分隐私保障的PSA激活编辑算法,在多基准多模型实验中实现隐私保护与极小性能损失的平衡,还首次提出对应成员推理攻击方法验证隐私效果。
2025-03-20 cs.CL cs.LG
DP-OPT: Make Large Language Model Your Privacy-Preserving Prompt Engineer
University of Texas at Austin(德克萨斯大学奥斯汀分校);Princeton University(普林斯顿大学);MIT(麻省理工学院);University of Chicago(芝加哥大学)
本文提出DP-OPT方法,在客户端差分隐私调整离散提示并迁移至云模型,利用LLM自身建议的提示,在保护隐私的同时实现与GPT3.5等相当的性能。
2024-03-17 cs.AI cs.CL
DP-2Stage: Adapting Language Models as Differentially Private Tabular Data Generators
CISPA Helmholtz Center for Information Security(CISPA 欧洲信息安全研究中心)
本文提出DP-2Stage两阶段微调框架,通过先在伪数据集上非隐私微调再在私有数据集上差分隐私微调,有效解决了LLMs在差分隐私下生成表格数据时隐私预算分配低效的问题,显著提升了各指标性能。
2025-04-29 cs.CL cs.CR cs.LG
Parameter Efficient Multimodal Instruction Tuning for Romanian Vision Language Models
National University of Science and Technology(科学技术大学)
针对罗马尼亚语这种低资源语言,通过翻译并扩展Flickr30K数据集,采用参数高效的LoRA方法微调开源视觉语言模型来降低多模态NLP资源差距,模型在视觉问答等任务中能力提升且语法错误减少。
2026-07-07 cs.AI cs.CL cs.LG
Private Text Generation by Seeding Large Language Model Prompts
Amazon(亚马逊公司);MIT(麻省理工学院);Tel-Aviv University(特拉维夫大学)
针对敏感文本无法直接用于训练或共享给LLM的问题,本文提出DP-KPS,用差分私有的关键短语嵌入提示LLM生成合成语料,并在文本分类任务上验证其效用。
2025-02-18 cs.CL
Optimizing Language Models for Grammatical Acceptability: A Comparative Study of Fine-Tuning Techniques
Georgia Tech(佐治亚理工学院)
本研究针对语法可接受性任务,比较多种微调技术对OPT-125M模型的优化效果,发现LoRA可在保持准确率的同时大幅提升计算效率,为降低大语言模型使用门槛提供参考。
2025-01-14 cs.AI cs.CL
Private Fine-tuning of Large Language Models with Zeroth-order Optimization
Princeton University(普林斯顿大学);Google DeepMind(谷歌DeepMind);FAIR, Meta(Meta FAIR)
提出DP-ZO框架,通过仅私有化零阶优化中的标量步长来实现大型语言模型的隐私微调,在保证隐私-效用权衡的同时显著提升了内存效率。
2025-01-31 cs.CL cs.CR cs.LG
Private Memorization Editing: Turning Memorization into a Defense to Strengthen Data Privacy in Large Language Models
Human Centric ART, University of Rome Tor Vergata(罗马托尔维加塔大学人本艺术研究中心);Almawave S.p.A.(阿尔马韦斯公司)
本文提出私有记忆编辑(PME)方法,通过检测并编辑LLMs对训练数据中PII的记忆,将模型的记忆能力转化为隐私防御策略,在不影响底层语言模型的前提下有效降低隐私训练数据提取攻击的泄露量,甚至使攻击准确率降为零。
2025-06-09 cs.AI cs.CL cs.CR
PrE-Text: Training Language Models on Private Federated Data in the Age of LLMs
Carnegie Mellon University(卡内基梅隆大学);Meta;Coldrays(科尔德雷公司)
本文提出PrE-Text方法,通过生成差分隐私合成文本数据替代端侧训练,在降低通信和计算开销的同时提升小模型与LLM在私有数据上的性能。
2024-10-17 cs.AI cs.CL cs.CR
How to Train Private Clinical Language Models: A Comparative Study of Privacy-Preserving Pipelines for ICD-9 Coding
针对临床文本训练大模型易泄露隐私、差分隐私方法易降低诊断准确率的问题,对比四种ICD-9编码隐私保护训练流水线,发现中等及宽松隐私预算下,差分隐私教师模型的知识蒸馏方法隐私-效用权衡最优,为临床NLP隐私保护提供实用路径。
2025-11-18 cs.CL cs.LG
Democratizing Ethical Assessment of Natural Language Generation Models
Credo AI
自然语言生成模型是当用作为上下文的单词序列提示时生成连贯语言的计算机系统。尽管语言生成模型无处不在,而且有许多有益的应用,但它们也有可能产生歧视性语言、仇恨言论、亵渎内容和其他有害材料,从而造成社会危害。因此,对这些模型进行伦理评估至关重要。但这也是一项具有挑战性的任务,需要在几个专业领域的专业知识,如计算语言学和社会正义。虽然研究界在这一领域取得了重大进展,但由于准入门槛高,更广泛的人群获得此类伦理评估的机会有限。本文介绍了一种新的工具,以民主化和标准化的伦理评估的自然语言生成模型:工具伦理评估的语言生成模型(TEAL),一个组件的信条AI镜头,一个开源的评估框架。
2022-07-22 cs.CL
DP-LAC: Lightweight Adaptive Clipping for Differentially Private Federated Fine-tuning of Language Models
Samsung AI Centre Cambridge(三星剑桥人工智能中心)
本文提出DP-LAC,通过隐私直方图估计估计初始截断阈值,并在训练过程中自适应调整,无需额外隐私预算或新超参数,提升联邦微调语言模型的隐私保护与准确性。
2026-05-11 cs.AI cs.CR cs.DC
You Don't Know My Favorite Color: Preventing Dialogue Representations from Revealing Speakers' Private Personas
Hong Kong University of Science and Technology(香港科技大学);WeBank(微众银行)
社交聊天机器人,也被称为聊天聊天机器人,随着大型预训练语言模型的快速发展。尽管取得了巨大的进步,但最近出现了隐私问题:大语言模型的训练数据可以通过模型反演攻击提取。另一方面,用于训练聊天机器人的数据集包含两个人之间的许多私人对话。在这项工作中,我们进一步研究了通过语言建模训练的聊天机器人的隐藏状态的隐私泄漏,这还没有得到很好的研究。我们表明,说话人的人物角色可以推断,通过一个简单的神经网络与高精度。为此,我们提出了有效的防御目标,以保护隐藏状态的人物泄漏。我们进行了大量的实验,证明我们提出的防御目标可以大大降低攻击的准确性从37.6%到0.5%。同时,所提出的目标保留了语言模型强大的生成能力。
2022-04-26 cs.CL cs.CR cs.LG
Prompt Public Large Language Models to Synthesize Data for Private On-device Applications
Google(谷歌公司)
本文提出利用公共数据训练的大语言模型通过精心设计的提示来过滤、转换和生成接近真实用户分布的合成数据,用于差分隐私联邦学习下端侧语言模型的预训练,在Gboard真实数据上显著提升预测准确率并在生产A/B测试中优于基线。
2024-08-07 cs.CL cs.CR cs.LG
Differentially Private Preference Data Synthesis for Large Language Model Alignment
Department of Computer Science, University of Virginia, Charlottesville, Virginia, USA(弗吉尼亚大学计算机科学系);Department of Electrical and Computer Engineering, University of Virginia, Charlottesville, Virginia, USA(弗吉尼亚大学电气与计算机工程系)
提出DPPrefSyn算法,基于Bradley-Terry偏好模型和DP-PCA生成差分隐私合成偏好数据,实现隐私保护的偏好对齐。
2026-05-29 cs.AI cs.CR cs.LG
Small, Private Language Models as Teammates for Educational Assessment Design
Wright State University(怀特州立大学);University of Florida(佛罗里达大学);TIB – Leibniz Information Centre for Science and Technology(莱布尼茨信息科学与技术研究中心)
本文研究小型语言模型在教育评估设计中的有效性,通过对比大型语言模型和小型语言模型,评估生成质量并分析可靠性,发现小型模型在隐私和资源限制下表现优异,但模型评估仍存在系统性偏差,强调需引入人类在循环机制。
2026-05-14 cs.AI cs.CL cs.HC
Improved Algorithms for Differentially Private Language Model Alignment
Peking University(北京大学)
针对语言模型对齐中的隐私问题,本文提出可结合DPO与RLHF的差分隐私对齐算法,DP-AdamW在中等隐私预算下最高提升15%对齐质量。
2025-05-13 cs.AI cs.CR cs.LG
Differentially-private text generation degrades output language quality
本研究探讨了差分隐私微调对大语言模型生成文本质量和效用的影响,发现更强的隐私约束会导致文本变短、语法正确性和多样性下降,并降低下游分类任务的准确率。
2025-09-14 cs.AI cs.CL
An Early Categorization of Prompt Injection Attacks on Large Language Models
Copenhagen Business School(哥本哈根商学院);Temple University(天普大学)
针对大语言模型面临的新型提示注入攻击问题,本文梳理相关新兴威胁,提出攻击分类体系以指导后续研究与开发漏洞核查,并结合文献与实证分析其对三类相关群体的影响。
2024-01-31 cs.CL cs.CR cs.LG
NLP From Scratch Without Large-Scale Pretraining: A Simple and Efficient Framework
Tsinghua University(清华大学);Recurrent AI, Inc(循环智能公司);Shanghai Qi Zhi Institute(上海期智研究院)
由于强大的性能,预训练的语言模型已经成为许多NLP任务的标准方法,但训练它们非常昂贵。我们提出了一个简单而有效的学习框架TLM,它不依赖于大规模的预训练。给定一些标记的任务数据和一个大型的通用语料库,TLM使用任务数据作为查询,检索通用语料库的一个小子集,并从头开始联合优化任务目标和语言建模目标。在四个领域的八个分类数据集上,TLM实现了比预训练的语言模型更好或相似的结果(例如,Roberta-Large),同时将训练FLOP降低两个数量级。我们希望TLM能够以其高精度和高效率,为NLP的民主化和加速其发展做出贡献。
2022-07-22 cs.CL cs.LG