日前据报道，多款大模清静钻研职员Trail of Bits发现了一个倾向，主流有可能从GPU内存中窃取“关键数据”，发现英伟达、激进苹果、数据AMD以及高通等多个型号的多款大模破费性GPU受到影响。

该倾向被命名为“LeftoverLocals”，主流这个倾向不光是发现针抵破费者运用挨次，而是激进经由侵入狂语言模子（LLM）以及机械学习（ML）模子中运用的GPU来实现使命。由于模子磨炼波及敏感数据运用，数据因此提取数据更危害。多款大模

卡内基梅隆大学（Carnegie Mellon University）的主流专家正在对于LeftoverLocals妨碍跟踪，据称该信息已经被受其影响的发现主要GPU提供商同享，其中搜罗英伟达、激进苹果、数据AMD、Arm、英特尔、高通以及Imagination等。

在AMD Radeon RX 7900 XT上运行70亿参数目模子时，LeftoverLocals倾向在GPU每一次调用数据时可能会泄露约5.5MB数据，在llama.cpp上运行7B模子时，每一次LLM查问总共会泄露约181MB数据。这些信息足以高精度地重修狂语言模子照应。

LeftoverLocals至关依赖GPU若何阻止其内存，而这与CPU框架差距，因此经由可编程接口取患上对于GPU同享碰头权限的侵略者可能窃取GPU内的内存数据，这将带来多种清静服从。

对于艰深破费者来说，LeftoverLocals可能不值患上耽忧，但对于云端运算或者推理等财富的相关职员来说，会使LLM以及ML框架的清静性存在疑虑。