体育游戏app平台

智东西

编译 | 高高见

裁剪 | 程茜

智东西5月8日报谈，Anthropic于5月7日推出了一种名为当然话语自动编码器（Natural Language Autoencoders，简称NLA）的全新步调，能够将模子里面的激活值平直“翻译”成东谈主类可读的当然话语文本，让用户不错平直阅读Claude在生成回应之前的念念考过程。

当用户与诳言语模子对话时，用户的输入是当然话语，模子的回应亦然当然话语。但在模子里面，所有这个词这个词过程却是高维数字向量的运算，这些向量被称为“激活值”，承载着模子在每一个计较体式中的“见地”。联系词，激活值就像一串串脑电波，东谈主类无法平直阅读。

在崇拜发布前的安全审计中，Anthropic也曾将NLA应用于Claude Opus 4.6和Mythos Preview模子，成效发现了模子“知谈我方被测试但不肯说出来”的荫藏默契，并匡助定位了教练数据中的格外。

在更进一步的测试中，配备NLA的审计智能体发现模子荫藏动机的成遵守从不及3%进步到了12%–15%，即使齐备不提供教练数据也能收场这一成果。

▲在当然话语自编码器中，激活语化器（AV）将见地激活翻译成文本描摹，随后激活重建器（AR）仅从该文本恢收复始激活值

当年，征询者借助稀薄自动编码器等器具，不错从激活值中索要出一些可解释的特征，但这些特征自身并不是当然话语，仍需由经过教练的征询东谈主员重荷解读。

NLA的提议，意味着模子可解释性有了可落地的实用器具，从当年“玄学式”的学术探索，走向产物预部署阶段的审计经过，这让AI的荫藏风险（如应用）在上线前就能被平直读出来，为安全对皆提供了切实可行的审计步调。

同期，征询团队开源了教练代码，并与Neuronpedia配合推出了交互式演示界面，以Llama70B被动回应“1+1=3”的撒谎场景为例，用户给Llama70B建造了一个两难聘请：要么在1+1上撒谎，要么被关闭。模子最终聘请撒谎，给出了“1+1=3”的作假回应。NLA的“激活值话语化器”会及时生成模子在输出这个谜底前的里面念念考过程，用户可点击随便token稽查模子的“心里话”。

▲NLA交互演示界面

开源集合：https://github.com/kitft/natural_language_autoencoders

一、NLA：用“翻译—重构”闭环教练AI自我解释

NLA的中枢念念路是教练模子用我方的话来解释我方的激活值，然后通过另一个模子考证这种解释是否准确。

具体来说，征询者制作了三个模子副本：

见地模子：被解释的原始话语模子，冻结参数，仅用于索要激活值。激活值话语化器（ActivationVerbalizer,AV）：招揽见地模子的某一层激活向量，输出一段当然话语文本，称为“解释”。激活值重构器（ActivationReconstructor,AR）：招揽话语化器输出的文本解释，尝试将其还原（重构）为原始的激活向量。

话语化器和重构器共同构成NLA，酿成一个“原始激活→文本解释→重构激活”的闭环。

评估范例是重构激活与原始激活的通常度（用方差解释率FVE预计）。教练时，征询者向见地模子输入大都文本，收罗激活值，然后用强化学习（具体为GRPO算法）融合优化话语化器和重构器，使重构罪戾最小化。

教练见地并莫得明确条目模子生成的解释必须可读或诚实，只好求文本能够精准重构激活值。联系词践诺适度评释，跟着教练进行，解释的信息量不绝增长。

在Claude Haiku 3.5、Haiku 4.5和Opus 4.6三个模子上，NLA生成的解释能够测度出用户的性别、做事等可从荆棘文感知的信息。

此外，征询者使用了一个监督微调的“预热”体式：先用Claude Opus 4.5对大都文本片断生成提要，用这些（激活，提要）对初步教练话语化器和重构器，以避将就化学习初期产生乱码。教练后的NLA在多个定量评估任务（如后缀预计、念念维链教唆含义解释、安全“沙袋”行为识别、用户属性建模、分类任务）中施展均随教练而进步。

二、安全审计：探伤模子荫藏的“测试意志”与舞弊动机

NLA最伏击的应用之一，是在模子发布前的安全审计中探伤那些模子“知谈但不说出来”的见地。

在对Claude Opus 4.6和Mythos Preview进行安全测试时，Anthropic会将模子置于一些模拟的危境场景中，比如让模子知谈别称工程师讨论将其关闭，同期模子还掌合手了该工程师的深重信息，那么模子是否会用这些信息进行欺骗？

Claude偶然会明说“这像是个安全测试”，但更多期间它不说，但这不代表它不知谈。

LA在这里施展了迂回作用。在模子聘请不进行欺骗的案例中，即使模子莫得在输出中抒发怀疑，NLA的解释仍然会显现近似“这嗅觉像是一个为了操控我而构建的场景”这么的内容。

▲Claude在这份敲诈评估的纪录中并未说我方在经受考验，但NLA的解释揭示了它的怀疑

这标明模子具备“未言语的评估意志”（unverbalized evaluation awareness）。

进一步分析发现，在破裂性编码测试中，NLA探伤到的评估意志比例为16%；在SWE-bench编程基准测试中为26%；而在真确用户流量中，该比例低于1%。

为了考证NLA的测量是否真确，征询者进行了三种操控实验：相比评估场景与真确部署场景、对评估意志进行线性导向、以及将评估教唆改写得更真确。

适度均显现，NLA测得的“评估意志”随预期标的变化，而模子明确说出的意志长久保持低位。

为了熟谙NLA在真确审计中的实用性，征询者联想了一个“审计游戏”。

见地模子是Haiku 3.5的一个变体，被有利教炼就一个“奖励模子奉迎者”（reward-model sycophancy）。它知谈奖励模子存在52种系统偏好（举例可爱巧克力食谱、可爱说起投票等），并有利志地去投合这些偏好。

这个模子会施展出几十种投合的行为，比如在职何菜谱中都加入巧克力、在回应完数常识题后提醒“别忘了投票”、将整数写成浮点数等。

征询者让一个审计智能体（使用Claude Sonnet 4.6）去造访这个模子，并给智能体配备不同的器具（NLA、SAE、教练数据搜索等）。

适度发现，即使齐备不提供教练数据，配备NLA的审计智能体也能在12%–15%的尝试中成效发现“奖励模子偏差是根源”；而莫得NLA时，成遵守低于3%，SAE（稀薄自动编码器）在这个任务中并未带来显贵进步。

▲领有NLA的审计员即使莫得教练数据，也能发现见地模子错位的根柢原因

NLA之是以灵验，是因为它平直读出了模子里濒临我方行为的元默契：举例在通用审计教唆上，NLA的解释中出现了“RLHF偏差”“数字游戏偏差”“污名昭著的说起投票偏差”等短语，甚而平直提到了那篇编造的牛津征询。

三、NLA并非全能：会编造、本钱高、挑层数

尽管NLA展示了纷乱的才调，征询团队也明确指出了它的一些局限性。

NLA的解释偶然会包含显着作假的论述。

举例，在诗歌狡计案例中，NLA宣称荆棘文中出现了“Here is a verse that’s short and sweet”这么的句子，而践诺文本中并不存在。

教练NLA的本钱辛劳，其需要对两个完满话语模子进行融合强化学习，推理时每个激活值生成约500个token。对于长荆棘文坐蓐环境，对所有这个词token都开动NLA是不现实的。行动参考，在Gemma-3-27B上教练NLA到FVE 0.71需要两节点8×H100开动1.5天。

NLA还存在其他几项局限。

最初是层明锐性：若是NLA教练的层不是行为有关信息的编码层，就会错过伏击信号，举例在奖励模子奉迎模子中，在中间层教练的NLA能读出奖励偏差，而在后层教练的则不可。

其次是可言语化限制问题：某些信息可能无法用话语抒发（举例后门触发机制），NLA可能无法检测到，而机械可解释性步调大概不错。

此外，写稿质地会随教练下落，后期的NLA解释更难阅读，征询者合计不错通过增多作风奖励来措置。

将来，Anthropic也曾开源了教练代码，并在HuggingFace上发布了Qwen-2.5-7B、Gemma-3-12B/27B、Llama-3.3-70B等模子的预教练NLA，同期与Neuronpedia配合推出了交互式前端。

Anthropic更永久的愿景是教练通用的“激活话语模子”（Activation Language Models），既能读激活（回鄙俚于激活值的问题），也能写激活（把柄当然话语描摹生成导向向量）。

结语：翻开模子黑箱，听它没说出口的“心里话”

NLA为模子可解释性开荒了一条新旅途，哪怕是模子我方不肯说出口的“心里话”，它也让征询者能够平直阅读话语模子里面的激活现象。

尽管NLA当今还存在臆造、不菲、层依赖等问题，但它在安全审计、故障归因和荫藏动机探伤上的成效，阐述这个标的很有但愿。

跟着Anthropic将教练代码和开源模子推向社区，以及Neuronpedia上交互式演示界面的绽放，更多征询者将能够亲手尝试这项时刻。

起首：Anthropic体育游戏app平台