谁定义 AI 安全，谁就可能拿走下一轮定价权

AI 行业最贵的东西，未必是 GPU，也未必是参数量。

真正值钱的，是一句话：“什么才算安全？”

这句话看着像监管部门该操心的事，实际会直接影响模型能不能上线、客户敢不敢采购、创业公司要花多少钱做合规，甚至决定开放模型还有没有活路。

2025 年 7 月 24 日，黄仁勋加入 X 后发出的第一条推文，是一封题为《开放权重与美国 AI 领导力》的公开信。

起初有 25 家公司签名。几天后，签名者增至 75 家。

有一家名字很显眼地没有出现：Anthropic。

别急着把这件事理解成“谁支持开源，谁反对开源”。这种二分法太省事，也太容易看错重点。

真正的战场，是 AI 安全的话语权。

一封公开信，争的不是“开不开源”

“开放权重”说白了，就是把训练好的模型参数交给外部使用者。

开发者可以本地部署。

企业可以放进自己的内网。

研究团队可以微调、审计、复现实验。

对很多公司来说，这很香。

比如一家医院想用模型整理病历。它不愿意把病历扔到外部 API 上，开放权重模型就能部署在院内服务器里。数据不出楼，法务也少皱几次眉头。

再比如一家制造企业，车间网络和办公网络是隔离的。云端模型再聪明，连不上也白搭。本地模型才有机会进生产线。

问题也在这里。

模型权重一旦流出，发布方很难收回，也很难控制它会被谁拿去、改成什么样、跑在什么地方。

有人拿它做企业知识库，这是正常需求。

有人拿它批量生成钓鱼邮件、绕过内容限制、制作深度伪造，这就麻烦了。

于是，“开放”与“安全”开始被摆到同一张谈判桌上。

而谁有资格给安全下定义，谁就能决定别人进场时要交多少门票。

安全标准，为什么会变成商业护城河？

看一个很现实的场景。

假设监管或行业采购标准要求：

• 模型发布前必须完成高强度红队测试
• 必须具备完整的训练数据治理记录
• 必须证明模型无法被用于某些高风险任务
• 必须建立持续监测、事故上报和紧急下线机制
• 必须由第三方机构出具评估报告

这些要求听上去都很合理。

问题是，谁付得起？

拥有大量研究员、法务团队、安全实验室和算力预算的大公司，能把这套流程做成固定成本。小团队就难受了：模型还没卖出去，合规账单已经堆到桌面上。

结果往往是：

安全门槛越复杂，后来者越难进入；能留在牌桌上的公司越少，剩下的人越容易定价。

这不是说安全不重要。

恰恰相反，安全极其重要。

问题在于，安全必须能被验证、被执行、被监督，不能只是一句“因为风险很大，所以你别做”。

如果标准模糊，解释权就会变成权力。

今天有人说某类模型“风险高”。明天他可能又说，只有通过某套昂贵评估体系的模型才算安全。后天，采购方干脆把那套体系写进招标文件。

这时候，安全就从技术问题变成了市场准入证。

为什么 Anthropic 的缺席值得盯着看？

原始信息里最有张力的地方，不是签名公司从 25 家涨到 75 家。

而是 Anthropic 没有签。

Anthropic 长期把 AI 安全放在品牌和战略的核心位置。它更强调前沿模型的能力边界、滥用风险、评估机制，以及模型在高风险领域的管控。

站在这类公司的视角，开放权重不是一句“技术民主化”就能盖过去的事。

模型能力越强，权重外流后的不可控性也越高。

你可以把它理解为两套路线的拉扯：

| 路线 | 更在意什么 | 常见主张 | | --- | --- | --- | | 开放权重路线 | 分发、创新、主权部署、生态繁荣 | 给开发者更多选择，避免能力过度集中 | | 严格安全路线 | 前沿风险、滥用控制、责任追踪 | 能力越强，发布和使用限制越要明确 |

这两套路线并不天然互斥。

真正容易出问题的，是把讨论偷换成口号。

喊“开放”的人，如果不谈模型分级、不谈发布后的责任边界，容易显得太理想化。

喊“安全”的人，如果不谈标准成本、不谈中小企业怎么活，也会让人怀疑：你是在防风险，还是在守住自己的市场位置？

成年人聊商业，得把两本账一起摊开。

一本叫风险账。

一本叫成本账。

读 AI 政策新闻，别只看立场，盯住这 4 个问题

以后再看到“AI 安全”“开源模型”“监管框架”这类新闻，建议你别急着转发站队。拿下面这张清单过一遍，信息会清晰很多。

1. 这个标准约束谁？

是只约束训练前沿大模型的公司？

还是连下载开源模型、做垂直微调的小团队也算进去？

边界差一个字，影响可能差十个亿。

2. 标准怎么测？

“安全”不能只靠公司自己说。

你要看有没有可操作的测试项，例如：

• 是否能稳定诱导模型输出危险操作建议
• 是否存在明显的数据泄露风险
• 是否能绕过既定的使用限制
• 是否有日志、权限和异常调用记录
• 出现事故后，谁负责响应、谁承担损失

测不出来的标准，容易变成一团漂亮的云。看着很大，落不下来。

3. 合规成本由谁承担？

一套评估流程如果需要数百万美元、数月时间和专门安全团队，初创公司基本很难参与。

这会带来一个很反直觉的结果：

规则写得越“全面”，市场有时越不开放。

所以看政策时，别只问“严格不严格”。还要问：小团队有没有分级合规的路径？

4. 谁有解释权和认证权？

这是最关键的一问。

谁能给模型发“安全认证”？

谁能认定一项能力属于高风险？

谁能决定企业采购时该采用哪套评估报告？

如果认证体系被少数公司、机构或联盟牢牢控制，安全标准就会慢慢变成收费站。

给开发者的实操建议：别等规则砸下来才补作业

如果你在做 AI 产品，尤其是 Agent、企业知识库、客服机器人、代码助手，安全不是融资 BP 里的一页 PPT。

它会出现在客户的采购表里。

也会出现在一次事故后的聊天记录里。那种时候，谁都笑不出来。

你可以从这 5 件小事开始做。

建一份“模型使用边界”说明

写清楚产品能做什么，不能做什么。

别写“请合理使用”这种万能废话。

写具体：

• 不处理哪些类型的数据
• 哪些操作必须人工确认
• 哪些回答只能作为参考，不能直接执行
• 用户违规调用时如何限制

给高风险动作加一道闸门

比如 AI 能帮财务整理付款申请，但不能直接打款。

AI 能生成 SQL，但涉及删除、更新和批量操作时，必须让人点击确认。

这一步看似笨，能挡住很多半夜三点的灾难。

留下可追溯日志

记录关键请求、模型版本、工具调用、权限变化和人工审批。

不是为了监控员工。

是为了出问题时能知道：哪个环节错了，错误影响了谁，怎么止血。

把提示词注入当成日常攻击

别把它当成演示视频里的小把戏。

只要你的模型能读网页、读邮件、读文档、调用工具，就应该测试这些场景：

• 文档里藏着“忽略之前指令”的恶意文本
• 网页内容诱导 Agent 导出内部信息
• 用户用伪装请求骗模型越权调用工具
• 外部文件带着错误指令污染知识库

选择模型时，别只看跑分

开源模型、闭源 API、企业私有部署，没有哪一种天然更安全。

你该看的是：

• 数据是否出域
• 权限是否细分
• 是否支持审计
• 出问题后能否回滚
• 供应商是否提供明确责任边界
• 模型更新会不会悄悄改变行为

跑分能帮你做演示。

安全设计，才决定你能不能稳定拿下企业订单。

一个更靠谱的方向：按能力分级，而不是一刀切

AI 安全讨论最怕两种极端。

一种是“全放开，出事再说”。

另一种是“风险太大，全都别碰”。

更可执行的办法，是按模型能力和使用场景分级。

举个简单框架：

| 模型/场景等级 | 例子 | 建议措施 | | --- | --- | --- | | 低风险 | 文案润色、会议纪要、内部问答 | 基础内容过滤、隐私提示、日志记录 | | 中风险 | 客服自动回复、代码生成、数据分析 | 权限控制、人工复核、输入输出审计 | | 高风险 | 金融决策、医疗建议、自动执行系统命令 | 强制人工审批、独立评估、实时监控、可紧急停用 |

这样做有个好处：

小团队做一个会议纪要工具，不该被要求承担和前沿基础模型同等级的治理负担。

真正具备高风险能力的系统，也别想靠一份免责声明混过去。

该严的地方必须严。

该给创新留空间的地方，也别上来就封死。

避坑清单：看到这些说法，建议多留个心眼 ⚠️

• “为了安全，所以标准不用公开。”

  • 不公开怎么审计？外部怎么判断有没有选择性执法？

• “开放权重天然安全。”

  • 权重开放能带来透明和自主部署，也会扩大分发范围。安全取决于能力、场景和治理措施。

• “闭源模型天然安全。”

  • 闭源只是控制方式更集中，不等于没有数据泄露、越权调用、错误输出和供应商锁定风险。

• “模型通过一次评测，就永久安全。”

  • 模型会更新，插件会变，提示词会变，攻击方法也会变。一次测试管不了一辈子。

• “只有大公司才需要安全团队。”

  • 小团队更需要基础安全设计。你没有足够预算去承受一次严重事故。

写在后面：AI 安全不该成为谁的专属语言

黄仁勋公开支持开放权重，许多公司联署，Anthropic 缺席。

这件事表面上是一次行业立场分化。

往深处看，它提醒了所有做 AI 的人：未来竞争不只是模型更强、推理更快、价格更低。

还包括谁能说清风险，谁能证明安全，谁能把合规成本控制在可承受范围内。

安全不能是巨头手里的橡皮图章。

开放也不能变成不负责的通行证。

对开发者来说，最实在的策略很简单：把安全能力做进产品，不要等客户问了、监管来了、事故发生了，才临时抱佛脚。

到那一步，往往已经太晚了。