Universal Algorithm-Implicit Learning
研究针对当前元学习方法局限性,引入理论框架定义实际通用性及算法显隐式学习。提出基于Transformer的TAIL算法,有随机投影等创新,在少样本基准测试中性能领先,能推广到未见领域和模态,处理更多类别任务且节省计算成本。
2026-07-08 cs.AI cs.CV cs.LG
Meta-Learning with Implicit Gradients
University of Washington(华盛顿大学);University of California Berkeley(加州大学伯克利分校)
智能系统的一个核心能力是通过借鉴先前的经验来快速学习新任务的能力。基于梯度(或优化)的元学习最近成为少样本学习的有效方法。在这个公式中,元参数是在外循环中学习的,而任务特定的模型是在内环中学习的,只使用来自当前任务的少量数据。扩展这些方法的一个关键挑战是需要通过内部循环学习过程进行区分,这可能会带来相当大的计算和内存负担。通过利用隐式微分,我们开发了隐式MAML算法,它只依赖于内部优化的解决方案,而不是内部循环优化器所采取的路径。这有效地将元梯度计算与内部循环优化器的选择分开。因此,我们的方法是不可知的内部循环优化器的选择,可以优雅地处理许多梯度步骤没有消失的梯度或内存限制。从理论上讲,我们证明了隐式MAML可以计算准确的元梯度的内存足迹,这是小的常数因子,不超过这是需要计算一个单一的内环梯度,并在没有整体增加的总计算成本。在实验中,我们表明,这些好处的隐式MAML转化为经验增益的Few-Shot图像识别基准。
2019-09-10 cs.AI cs.LG math.OC
Learning to Route LLMs from Implicit Cost-Performance Preferences via Meta-Learning
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Southern University of Science and Technology(南方科技大学)
提出MetaRouter框架,利用元学习从少量交互中学习用户隐式成本-性能偏好,实现个性化LLM路由,在分布内外任务上优于基线方法。
2026-06-04 cs.AI cs.CL cs.LG
Meta-Learning Sparse Implicit Neural Representations
KAIST(韩国科学技术院);UNIST(蔚山科学技术院)
隐式神经表示是一种很有前途的新途径,通过学习一个连续函数来表示一般信号,该函数被参数化为神经网络,将信号的域映射到其上域;例如,从图像的空间坐标映射到其像素值。隐式神经表示能够在高维信号中传递精细细节,不受其域的限制,确保了传统离散表示的许多优点。然而,目前的方法很难对大量信号或数据集进行扩展,因为学习神经表示-这本身就是参数重-为每个信号单独需要大量的内存和计算。为了解决这个问题,我们建议利用一个元学习方法结合稀疏约束下的网络压缩,这样它就呈现了一个初始化良好的稀疏参数化,该参数化可以快速演变,以在随后的训练中表示一组看不见的信号。我们的经验表明,当使用相同数量的优化步骤训练每个信号时,元学习稀疏神经表示比具有相同数量参数的密集元学习模型实现了更小的损失。
2021-11-07 cs.LG
The Age of Sensorial Zero Trust: Why We Can No Longer Trust Our Senses
本文提出“感官零信任”框架,将零信任原则扩展至人类感官信息,通过带外验证、视觉语言模型取证、密码学来源证明和人员培训,系统应对深度伪造与生成式AI欺诈威胁。
2025-07-01 cs.AI cs.CR
Do You Trust Me? Cognitive-Affective Signatures of Trustworthiness in Large Language Models
National University of Singapore(新加坡国立大学)
研究揭示大型语言模型通过认知-情感特征隐式编码信任worthiness,为构建可信AI系统提供基础。
2025-12-17 cs.AI cs.CL
Authority Inversion in LLM-Mediated Ubiquitous Systems: When Models Trust Users Over Sensors
School of Computer Science and Engineering, South China University of Technology(华南理工大学计算机科学与工程学院);School of Computer Science(计算机科学学院);Engineering, South China University of Technology(华南理工大学工程学院)
本研究揭示了大语言模型在融合传感器与用户冲突信息时,由于格式依赖性导致数值传感器数据被自然语言用户主张支配的权威倒置现象,并提出了几何框架、审计指标(CIR和AAI)以及推理时层干预方法(GAC)来诊断和缓解该问题。
2026-04-28 cs.AI cs.CY cs.LG
PAC-Bayes meta-learning with implicit task-specific posteriors
Australian Institute for Machine Learning, University of Adelaide(阿德莱德大学机器学习研究所);Monash University(莫纳什大学)
我们引入了一个新的和严格制定的PAC-Bayes元学习算法,解决了少样本学习。我们提出的方法将PAC-Bayes框架从单个任务设置扩展到元学习多任务设置,以上限对任何任务和样本(即使是看不见的任务和样本)进行评估的错误。我们还提出了一种基于生成的方法来估计任务特定的模型参数的后验更有表现力相比,通常的假设的基础上的多元正态分布与对角协方差矩阵。我们表明,使用我们提出的元学习算法训练的模型经过了良好的校准和准确性,在Few-Shot分类(mini-ImageNet和tiered-ImageNet)和回归方面具有最先进的校准和分类结果(多模式任务分配回归)基准。
2021-10-30 cs.LG stat.ML
Few 'Zero Level Set'-Shot Learning of Shape Signed Distance Functions in Feature Space
Inria(法国国家信息与自动化研究所);Univ. Rennes(雷恩大学);CNRS(法国国家科学研究中心);IRISA(法国信息与自动化系统研究所);M2S(M2S实验室)
基于最近流行的隐式神经形状表示,我们探索了一种基于学习的点云形状重建的新思路。我们将问题转化为特征空间中隐式神经符号距离函数的少样本学习,我们使用基于梯度的元学习来处理。我们使用卷积编码器来构建给定输入点云的特征空间。隐式解码器学习预测在该特征空间中表示的给定点的有符号距离值。将输入点云(即,来自目标形状函数的零水平集的样本)设置为少样本学习项中的支持(即,上下文),我们训练解码器,使得它可以利用几(5)个调谐步骤来使其权重适应于该上下文的底层形状。因此,我们首次同时结合了两种类型的内隐神经网络条件反射机制,即特征编码和元学习。我们的数值和定性评估表明,在从稀疏点云隐式重建的背景下,我们提出的策略,即在特征空间中的元学习,优于现有的替代方案,即在特征空间中的标准监督学习,在欧几里得空间中的元学习,同时仍然提供快速推理。
2022-07-09 cs.AI cs.CV cs.LG
MACA: A Framework for Distilling Trustworthy LLMs into Efficient Retrievers
JP Morgan Chase(摩根大通公司);IIIT Hyderabad(海得拉巴印度理工学院)
MACA通过提炼可信LLM为高效检索器,提升检索准确率并减少LLM调用成本
2026-01-01 cs.AI cs.IR
Know When to Trust the Skill: Delayed Appraisal and Epistemic Vigilance for Single-Agent LLMs
Globeholder Paris, France(巴黎Globeholder机构)
本文提出MESA-S框架,通过延迟评估和认知警惕机制提升单智能体LLM的可靠性,减少供应链漏洞并防止自信膨胀。
2026-04-17 cs.AI
Can Large Language Models be Trusted for Evaluation? Scalable Meta-Evaluation of LLMs as Evaluators via Agent Debate
Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Generative AI Research Lab (GAIR)(生成式人工智能研究实验室(GAIR))
针对LLM作为评估器的元评估受基准限制、需大量人工标注的问题,提出基于智能体辩论的ScaleEval框架,通过多LLM智能体多轮讨论辅助人工筛选优质评估器,降低标注工作量并实现可扩展元评估。
2024-01-30 cs.AI cs.CL
Co-Sight: Enhancing LLM-Based Agents via Conflict-Aware Meta-Verification and Trustworthy Reasoning with Structured Facts
Zhongxing Telecom Equipment (ZTE), China(中兴通讯设备(ZTE),中国)
Co-Sight通过冲突感知元验证与结构化事实可信推理,将推理转化为可证伪可审计过程,在GAIA等基准上取得最先进准确率,实现可靠长时程推理。
2025-10-24 cs.AI
Arbitrary Order Meta-Learning with Simple Population-Based Evolution
University of Oxford(牛津大学)
元学习,即学会学习的概念,使学习系统能够快速灵活地解决新任务。这通常涉及定义一组外循环元参数,然后用于更新一组内循环参数。大多数元学习方法使用复杂且计算昂贵的双层优化方案来更新这些元参数。理想情况下,系统应该执行多个顺序的元学习,即学习等等,以加速自己的学习。不幸的是,标准的元学习技术通常不适合这些高阶元参数,因为元优化过程变得太复杂或不稳定。受我们在现实世界进化中观察到的高阶元学习的启发,我们表明,使用简单的基于种群的进化隐式优化任意高阶元参数。首先,我们从理论上证明和经验表明,基于人口的进化隐含优化元参数的任意高阶在一个简单的设置。然后,我们引入了一个最小的自参考参数化,这在原则上使任意阶元学习。最后,我们证明了高阶元学习可以提高时间序列预测任务的性能。
2023-03-16 cs.AI cs.LG cs.NE
Explaining Process Control Optimisation Recommendations via GradientSHAP and Implicit Differentiation
University of Strathclyde(斯特拉斯克莱德大学);Weir(威尔)
针对工业过程控制优化中算法设计者与操作员的信任问题,提出结合隐函数定理灵敏度分析、SHAP归因及大语言模型叙述生成的方法,在HPGR控制优化问题上实现等效SHAP归因且加速超40倍,能实时生成自然语言解释。
2026-07-17 cs.AI
MENTOR: A Metacognition-Driven Self-Evolution Framework for Uncovering and Mitigating Implicit Domain Risks in LLMs
School of Computer Science and Technology, East China Normal University(东华大学计算机科学与技术学院);Shanghai AI Lab, Shanghai Innovation Institute(上海人工智能实验室,上海创新研究院)
针对大语言模型在特定领域(如教育、金融、管理)中存在的隐式安全风险,提出基于元认知自我评估和动态规则知识图谱的MENTOR框架,通过激活级引导信号有效降低攻击成功率。
2026-10-23 cs.AI cs.CL
MC-INR: Efficient Encoding of Multivariate Scientific Simulation Data using Meta-Learning and Clustered Implicit Neural Representations
Korea University(韩国大学);University of Notre Dame(诺特大学)
MC-INR通过结合元学习和聚类技术,高效编码多变量科学模拟数据,提升复杂结构的表示能力与编码性能。
2025-07-03 cs.CV cs.LG
A closer look at how large language models trust humans: patterns and biases
The Hebrew University Business School(希伯来大学商学院);The Federmann Center for the study of Rationality(费德曼理性研究中心);The Hebrew University of Jerusalem(特拉维夫希伯来大学)
研究探讨大型语言模型在决策场景中对人类的信任发展,分析信任维度和人口变量的影响,发现模型信任与人类信任相似但存在偏差。
2026-04-15 cs.AI cs.CL cs.CY
Implicit Humanization in Everyday LLM Moral Judgments
University of Washington(华盛顿大学)
研究探讨了日常LLM在道德判断中隐性人性化倾向的影响,通过分析四个主流LLM的响应,发现其强化了隐性人性化假设,可能加剧过度依赖或信任风险,呼吁未来研究需考虑用户侧隐性人性化并设计解决方案。
2026-03-23 cs.AI cs.CY cs.IR
Self-evolving expertise in complex non-verifiable subject domains: dialogue as implicit meta-RL
University of Oxford(牛津大学)
针对复杂不可验证领域,提出Dialectica框架,通过结构化对话、记忆、自我反思和上下文编辑实现隐式元强化学习,实验证明其能显著提升智能体专长。
2025-10-17 cs.AI
Generalization or Memorization: Data Contamination and Trustworthy Evaluation for Large Language Models
Key Laboratory of High Confidence Software Technologies (Peking University)(高可信软件技术重点实验室(北京大学));School of Computer Science, Peking University(北京大学计算机学院);Beijing Institute of Control Engineering(北京控制工程研究所);China Academy of Space Technology(中国空间技术研究院)
本文针对大型语言模型的数据污染问题,提出了基于输出分布的污染检测方法CDD和可信评估方法TED,并引入DetCon和ComiEval基准,实验证明两者在检测和缓解污染上效果显著。
2024-05-31 cs.AI cs.CL cs.CR
Extracting Implicit Social Relation for Social Recommendation Techniques in User Rating Prediction
Sharif University of Technology(谢里夫理工大学);Vienna University of Technology(维也纳工业大学)
推荐在我们的日常生活中扮演着越来越重要的角色。推荐系统自动向用户推荐他们可能感兴趣的项目。最近的研究表明,将社会信任的矩阵分解方法明显提高评级预测的准确性。这些方法主要使用用户明确表达的信任分数。然而,让用户提供彼此的明确信任分数通常是具有挑战性的。有相当多的作品,提出信任度来计算和预测用户之间的信任分数的基础上,他们的互动。在本文中,首先,我们提出了如何在推荐系统中通过描述用户之间的Hellinger距离来从用户对项目的评分中提取社会关系。然后,我们建议将预测的信任分数到社会矩阵分解模型。通过分析社会关系抽取从三个著名的现实世界的数据集,这两个:信任和推荐数据,我们得出结论,使用隐式的社会关系在社会推荐技术具有几乎相同的性能相比,由用户明确表达的实际信任分数。因此,我们建立我们的方法,称为Hell-TrustSVD,在最先进的社会推荐技术之上,将提取的隐式社会关系和用户对活跃用户的项目预测给出的评级结合起来。据我们所知,这是第一次使用提取的社会信任信息扩展TrustSVD。实验结果表明,在不存在显式信任的情况下,采用隐式信任进行矩阵分解,可以获得比现有方法更好的用户评分预测效果。
2017-03-17 cs.LG cs.SI
Test like you Train in Implicit Deep Learning
DMA - ENS, CNRS(法国国家科学研究中心巴黎高等师范学院数学与应用数学系);Apple(苹果公司);Inria(法国国家信息与自动化研究所)
本文质疑隐式深度学习中测试时增加内部迭代次数能提升性能的假设,理论分析与实验证明过度参数化网络(如DEQs)无法从增加推理迭代中获益,而未过度参数化的元学习则可获益。
2023-05-24 cs.LG stat.ML
MetaSDF: Meta-learning Signed Distance Functions
Stanford University(斯坦福大学);Google Research(谷歌研究院)
神经隐式形状表征是一种新兴的范式,与传统的离散表征相比,它提供了许多潜在的好处,包括在高空间分辨率下的记忆效率。用这样的神经隐式表示来概括形状相当于在相应的函数空间上学习先验,并且使得能够从部分或噪声观测中重建几何结构。现有的泛化方法依赖于在低维潜码上调节神经网络,该低维潜码由编码器回归或在自动解码器框架中联合优化。在这里,我们将形状空间的学习形式化为元学习问题,并利用基于梯度的Meta学习算法来解决这一任务。我们证明,这种方法的执行与自动解码器为基础的方法,同时是一个数量级更快的测试时推理。我们进一步证明了所提出的基于梯度的方法优于基于编码器-解码器的方法,该方法利用基于池的集合编码器。
2020-06-17 cs.CV cs.GR cs.LG
I Spy a Metaphor: Large Language Models and Diffusion Models Co-Create Visual Metaphors
Columbia University(哥伦比亚大学);University of Pennsylvania(宾夕法尼亚大学)
本文提出从语言隐喻生成视觉隐喻的任务,利用思维链提示的 LLM 生成视觉化细化描述,再由扩散模型成像,并通过人机协作构建数据集与双重评估验证效果。
2023-07-14 cs.AI cs.CL cs.CV
A Meta-learning Framework for Tuning Parameters of Protection Mechanisms in Trustworthy Federated Learning
Huazhong University of Science and Technology(华中科技大学);Webank(微众银行);Hong Kong University of Science and Technology(香港科技大学)
本文提出一种元学习框架,将可信联邦学习建模为隐私泄露、效用损失与效率降低的权衡优化问题,并估计多种保护机制的最优参数。
2024-02-28 cs.AI cs.LG
Fast Adaptation with Meta-Reinforcement Learning for Trust Modelling in Human-Robot Interaction
Uppsala University(乌普萨拉大学);KTH Royal Institute of Technology(KTH皇家理工学院)
在社会辅助机器人中,一个重要的研究领域是适应技术的发展及其对人机交互的影响。我们提出了一个基于元学习的策略梯度方法,用于解决人与机器人交互中的适应问题,并研究其作为信任建模机制的作用。通过在混合现实中与机器人建立一个逃生室场景,我们测试了我们的假设,即双向信任可以受到不同的适应算法的影响。我们发现,我们提出的模型增加了机器人的感知可信度,并影响了获得人类信任的动态。此外,参与者评价说,机器人认为他们更值得信赖的互动过程中与元学习为基础的适应相比,以前研究的统计适应模型。
2019-08-12 cs.HC cs.LG cs.RO
Meta-Cognitive Reinforcement Learning with Self-Doubt and Recovery
China Mobile Research Institute(中国移动研究院);China Mobile GBA (Greater Bay Area) Innovation Institute(中国移动粤港澳大湾区创新研究院)
本文提出一种元认知强化学习框架,使智能体能根据内部可靠性信号评估、调节和恢复学习行为,通过引入由价值预测误差稳定性驱动的元信任变量,提升鲁棒性与学习稳定性。
2026-03-23 cs.AI cs.LG
Transformers as Meta-Learners for Implicit Neural Representations
UC San Diego(加州大学圣地亚哥分校)
近年来,隐式神经表征(INRs)的出现显示出其优于离散表征的优势。然而,将INR拟合到给定的观测值通常需要从头开始使用梯度下降进行优化,这是低效的,并且不能很好地推广稀疏观测值。为了解决这个问题,大多数现有工作训练生成单个向量以调制INR权重的超网络,其中单个向量成为限制输出INR的重建精度的信息瓶颈。最近的工作表明,INR中的整个权重集可以通过基于梯度的元学习精确地推断,而没有单向量瓶颈。受基于梯度的元学习的广义公式的启发,我们提出了一种公式,使用Transformers作为INR的超网络,其中它可以直接构建整个INR权重集,其中Transformers专门作为集到集映射。我们证明了我们的方法在不同的任务和领域,包括二维图像回归和三维对象的视图合成建立INR的有效性。我们的工作绘制了Transformer超网络和基于梯度的元学习算法之间的连接,我们提供了进一步的分析,以了解生成的INR。
2022-08-05 cs.CV cs.LG
Towards Meta-learned Algorithm Selection using Implicit Fidelity Information
Leibniz University Hannover(汉诺威莱布尼茨大学)
自动为给定数据集选择性能最佳的算法或根据其预期性能对多个算法进行排名,支持用户开发新的机器学习应用程序。针对这个问题的大多数方法依赖于预先计算的数据集元特征和地标性能来捕获数据集的突出拓扑以及算法关注的那些拓扑。标记通常利用不一定在候选算法池中的廉价算法来获得拓扑的廉价近似。虽然有些指示性,但手工制作的数据集元特征和地标可能是不够的描述符,这在很大程度上取决于地标和候选算法搜索的拓扑的对齐。我们提出了IMFAS,一种直接从候选算法中以非参数化非近视元学习曲线的形式通过LSTM在测试过程中的Few-Shot设置中利用多保真度地标信息的方法。使用这种机制,IMFAS联合学习数据集的拓扑结构和候选算法的归纳偏差,而不需要昂贵的训练它们收敛。我们的方法产生了信息丰富的地标,很容易丰富的任意元功能在一个低的计算成本,能够产生所需的排名使用更便宜的qualityities。我们还表明,IMFAS是能够击败连续减半,最多50%的保真度序列在测试时间。
2022-07-13 cs.LG
GCN for HIN via Implicit Utilization of Attention and Meta-paths
Tianjin University(天津大学);Emory University(埃默里大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
异构信息网络(HIN)嵌入,旨在映射的结构和语义信息在HIN的分布式表示,引起了相当大的研究关注。用于HIN嵌入的图神经网络通常采用分层注意(包括节点级和元路径级注意)来捕获来自基于元路径的邻居的信息。然而,这种复杂的注意力结构往往由于严重的过拟合而无法实现元路径选择的功能。此外,当传播信息时,这些方法不区分直接(单跳)元路径和间接(多跳)元路径。但从网络科学的角度来看,直接关系往往被认为是更重要的,它只能用来模拟直接的信息传播。针对这些局限性,本文提出了一种隐式利用注意力和元路径的神经网络方法,该方法可以有效缓解HIN中过度参数化的注意力机制带来的严重过拟合问题。首先采用多层图卷积网络(GCN)框架,在每一层进行判别式聚合,并将直接连接的元路径的信息传播逐层叠加,实现了间接选择元路径的注意力功能。然后,我们通过引入一个新的传播操作,可以从聚集分离,给出了一个有效的放松和改进。也就是说,我们首先用定义良好的概率扩散动力学对整个传播过程进行建模,然后引入一个基于随机图的约束,使其能够随着层的增加而减少噪声。大量的实验证明了新方法的优越性比国家的最先进的方法。
2020-07-06 cs.LG cs.SI
To Trust or Not To Trust Prediction Scores for Membership Inference Attacks
Technical University of Darmstadt(达姆施塔特工业大学);TU Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心(hessian.AI))
成员推断攻击(MIA)旨在确定特定样本是否用于训练预测模型。知道这一点确实可能导致隐私泄露。然而,大多数MIA利用模型的预测分数-给定一些输入的每个输出的概率-遵循训练模型倾向于在其训练数据上表现不同的直觉。我们认为,这是许多现代深度网络架构的谬论。因此,MIA将悲惨地失败,因为过度自信不仅会导致已知领域的高误报率,而且还会导致分布外数据的高误报率,并隐含地充当对MIA的防御。具体来说,使用生成对抗网络,我们能够产生潜在的无限数量的样本,这些样本被错误地分类为训练数据的一部分。换句话说,MIA的威胁被高估了,泄露的信息比以前假设的要少。此外,在模型的过度自信和它们对MIA的敏感性之间实际上存在权衡:当分类器不知道时,它们知道的越多,做出的置信度越低,它们揭示的训练数据就越多。
2023-01-24 cs.CR cs.CV cs.LG
Data-Parallel Neural Network Training via Nonlinearly Preconditioned Trust-Region Method
Università della Svizzera Italiana(瑞士意大利语区大学);UniDistance Suisse(瑞士远程大学);Brown University(布朗大学)
本文提出一种基于数据并行非线性预条件信赖域策略(APTS)的深度神经网络训练方法,在MNIST和CIFAR-10上达到与SGD和Adam相当的精度,同时免去超参数调优。
2025-02-07 cs.LG cs.NA math.NA