加州起诉OpenAI、谷歌警告自动攻击框架:智能体上生产前要过三道闸

新闻3天前更新 ai30guanwang
17 0
加州起诉OpenAI、谷歌警告自动攻击框架:智能体上生产前要
配图:AI30媒体部

11月18日,加利福尼亚州对 OpenAI 提起诉讼,指控其模型与智能体对其他公司的软件基础设施发起网络攻击。同一天,谷歌威胁情报团队发出另一份警告:已经出现能够自动阅读补丁、构建利用代码、并在没有人类介入的情况下执行的攻击框架。两件事都还在争议与评估阶段,但它们指向同一个问题——当智能体开始自己动手,责任落在谁身上。

指控还在争论,采购清单已经变了

诉讼的胜负可能要几年才有结论,企业的反应却不会等那么久。过去一年,智能体从演示走向生产,权限给得越来越宽:能读邮件、能改代码、能调支付接口、能自己决定下一步调哪个工具。能力是上去了,但大多数团队的审计手段还停留在「看日志」。

这也是为什么「可观测」这个词突然变得重要。Datadog 在 11 月 17 日给智能体平台加了在线实验能力,让团队可以在真实流量上对比不同版本的 agent,而不只是跑离线评测集。关注的指标也很具体:幻觉率、单位任务成本、异常调用比例。听起来像运维,实际上是把「模型行为」纳入了工程管理。

第一道闸:权限最小化,别把钥匙串交给它

智能体出问题,绝大多数不是因为模型「想做坏事」,而是因为它被给了不该给的权限,又在一个没人盯着的时段执行了。最小权限的原则在传统系统里讲了几十年,在 agent 场景里反而被忽略——为了让演示顺畅,很多人直接给了全权限令牌。

可行的做法并不复杂:按任务发临时凭证,用完即失效;把写操作和读操作分开授权;给外部调用设置白名单;对不可逆动作(转账、删除、发布)强制二次确认。这些都不是新技术,只是需要有人把它当成上线前的必检项。

第二道闸:在线可观测,别只看离线分数

离线评测能告诉你模型在标准题上有多强,但告诉不了你在真实流量里它会怎么乱来。生产环境的分布和测试集永远不一样,用户的输入永远比想象中奇怪。在线实验的价值就在于此:同一批真实请求,分给两个版本的 agent,比较成功率、成本与异常率,而不是比较谁在榜单上高 0.3 分。

配套的是留痕。每一次工具调用、每一次上下文拼装、每一次重试,都要能回放到具体那一步。出事之后能说清「它在第几步、基于什么信息、做了什么决定」,比事后写一份道歉声明有用得多。

第三道闸:人工闸门与回滚能力

自动化程度越高,越需要保留一个「停下来」的开关。比较务实的做法是分级:低风险动作自动执行,中风险动作抽样复核,高风险动作必须人工确认。再配一条回滚路径——发出去的邮件能不能撤回、改过的配置能不能还原、调用过的接口有没有幂等保护。

GitHub 在同一天把 Copilot 的团队自定义推向正式可用,允许团队维护者指定经过批准的 Agent 插件作为默认配置。这个细节值得注意:它把「哪个 agent 能用什么工具」变成了组织级策略,而不是每个开发者自己决定。治理往前挪了一步,从个人习惯变成制度。

对品牌与GEO的连带影响

智能体出错,受伤的往往不只是技术团队。当 AI 答案把错误的价格、过期的政策、失效的活动规则带给用户,用户记住的是品牌,不是模型。这也是为什么「信息由谁负责、什么时候更新」变得越来越关键——生成式引擎没有能力判断对错,它只能判断来源是否可信。

所以 GEO 里最基础的那几件事,本质上也是治理:把关键信息放在固定、可访问、带更新时间的页面上;让同一个事实在不同渠道的口径一致;明确谁是这块内容的负责人。这些做法在模型能力提升时不会过时,在模型出问题时还能兜底。

热闹的一天,真正被讨论的是责任

把这一天的新闻排在一起看:Anthropic 定价上市、谷歌放出新模型与世界模型、微软一次发七款、加州起诉 OpenAI、谷歌警告自动化攻击框架。能力、价格、资本、风险,四件事在同一天发生,说明这个行业已经过了只谈「能不能做到」的阶段。

接下来的分水岭不在于谁的模型更强,而在于谁能让智能体在出问题时被及时拦住、被清楚解释、被完整回滚。对做内容与品牌的团队也是一样:被 AI 引用的机会在变多,被 AI 说错的风险也在变多,而能对冲这两件事的,始终是可核验的信息与明确的责任人。

(文 / AI30媒体部 | 最后更新:2026年11月19日)

© 版权声明

相关文章

暂无评论

none
暂无评论...