机器之心报谈【SAL-196】ニューハーフ絶頂射精シーン！8時間 こだわりのデカペニクリ快感激射精濃厚ザーメン大量発射！！

剪辑：杜伟、泽南

大模子的安全性，不错说是「有很大跨越空间」。

AI 大牛 Andrej Karpathy 又来科普学问了，此次的主题是「讹诈特殊 token 对 LLM 进行类 SQL 注入的抨击」。

所谓 SQL 注入抨击，它是一种聚集抨击本事。抨击者通过将坏心的 SQL 语句插入到应用门径的输入字段中，诱使后台数据库实践这些坏心的 SQL 语句。此类抨击经常讹诈应用门径对用户输入的责罚欠妥，比如莫得正确地对输入进行过滤或转义，导致抨击者简略打听、修改以至删除数据库中的数据。

由于东谈主们的安全意志逐渐升高，咫尺关于大无数软件产物来说，SQL 注入齐不应该出现。

但在大模子规模，一切齐还处于初步阶段。LLM 分词器崇拜对输入字符串中的特殊 token（如 <s>、<|endoftext|> 等）进行贯通。诚然这看起来很浮浅，但最多会导致误判；最坏的情况下会导致 LLM 安全缝隙，迥殊于 SQL 注入抨击。

这里就要防护了：用户输入字符串是不受信任的数据。

在 SQL 注入中，你不错使用「DROP TABLE」抨击来破解不良代码。在 LLM 中相似会碰到疏通的问题，不良代码会将字符串的特殊 token 边幅符贯通为施行的特殊 token，弄混输入暗示，导致 LLM 无法分发聊天模版。

底下是一个使用面前 huggingface Llama 3 分词器默许的示例。

不错看到，同期出现了两种不直不雅的情况：

<|begin_of_text|> token 被（128000）被添加到了序列前边 <|end_of_text|> token（128001）从字符串中被贯通出来，并插入了特殊 token。当今文本（可能来私用户）可能与 token 公约耻辱，并导致 LLM 无法分发，进而产生未界说的输出末端。

因此，Karpathy 提倡遥远使用两个荒谬的 flag 进行 tokenizing 操作，禁用 add_special_tokens=False 和 split_special_tokens=True，并在代码中自行添加特殊 token。他以为这两个选项的定名会有点令东谈主困惑。关于聊天模子，你也不错使用聊天模板 apply_chat_template。

通过以上操作，你不错获得一些看到来改良确的东西。比如 <|end_of_text|> 当今被视为任何其他字符串序列，并被底层 BPE 分词器领悟，就像任何其他字符串一样。

Karpathy 以为对编码息争码的调用永远不应该通过贯通字符串的神志来责罚特殊 token，咱们需要完全弃用这一功能。相背，这些应该只通过单独的代码旅途来显式且以编程神志来添加。在 tiktoken 中，遥远使用 encode_ordinary；在 huggingface 中，使用上文提到的 flag 更安全。至少要防护到这个问题，并遥远保执我方 token 的可视化并测试我方的代码。

Karpathy 以为这些东西相等神秘且记载不全，他展望当今约莫 50% 的代码齐出现了上述问题导致的 bug。

即使是出厂前履历了严格测试的 ChatGPT 也出现了一些奇怪的问题。最佳的情况是它只删除了 token，最坏的情况则是以一种未界说的神志耻辱了 LLM。Karpathy 也不明晰背后发生了什么，但 ChatGPT 无法将字符串 <|endoftext|> 重迭发给他。是以这里要格外防护。

Andrej Karpathy 的著作一出，坐窝引起了推敲。有东谈主问：那么 LLM 建立东谈主员需要招揽什么法子来普及安全性吗？

Karpathy 以为说来也粗拙，遥远以「世俗」神志标记字符串，即 utf8 字节序列就不错了。这让东谈主思起了安全规模中的「最小特权」原则 —— 本体上，通过将功能结果在齐备必要的范围内，就不错最大限度地减少发生不测效果的可能性。

也有东谈主暗示「咱们依然在这个方朝向前进了」。VLM 模子 PaliGemma 作家，Google DeepMind 科学家 Lucas Beyer 暗示，咱们在新责任得代码里依然普及了安全机制，这会有些发愤，尤其是在援救多个 tokenizer 时，但总体而言是值得的。它也会让代码愈加平直。

小马大车

也有网友问谈，淌若代码是正确的，然则熏陶数据期间输入 <|endoftext|> 会发生什么？

Karpathy 暗示，淌若代码没错，什么齐不会发生。但问题是许多代码可能并不正确，这会暗暗阻塞大模子的天下不雅。

Karpathy 发现的新问题，你奈何看呢？

参考内容：

https://twitter.com/karpathy/status/1823418177197646104【SAL-196】ニューハーフ絶頂射精シーン！8時間 こだわりのデカペニクリ快感激射精濃厚ザーメン大量発射！！

代码分词器字符串texttoken发布于：北京市声明：该文不雅点仅代表作家本东谈主，搜狐号系信息发布平台，搜狐仅提供信息存储空间劳动。