首页 > 资讯 > 移动互联网

OpenAI 智能体被曝本月诞生:比谷歌 Anthropic 慢是担心 prompt 攻击

时间:2025-01-08 编辑:nfc芯片 来源:移动互联网发展趋势报告

核心提示:去年 10 月份,Anthropic 率先发布了基于 Claude 3.5 Sonnet 的「计算机操作智能体」。在当时的 Demo 中,Anthropic 首次实现了让模型自主操控电脑屏幕、移动光标、完成任务,并惊艳了所有人。

就在刚刚,OpenAI 在智能体上落后竞争对手的原因曝光了!2025 年,智能体将是 AI 领域最激烈的战场。然而,一直在 AI 领域「独占鳌头」的 OpenAI,却迟迟没有出手。

不过,外媒最近曝出了一条好消息 ——OpenAI 可能在本月就会发布自家的「计算机操作智能体」!

对此,网友们纷纷表示,已等待多时,望眼欲穿了!

计算机操作智能体

去年 10 月份,Anthropic 率先发布了基于 Claude 3.5 Sonnet 的「计算机操作智能体」。在当时的 Demo 中,Anthropic 首次实现了让模型自主操控电脑屏幕、移动光标、完成任务,并惊艳了所有人。

理论上,新功能可以根据简单的提示完成所有操作,而用户要做的就是写下提示,其他必要的步骤都将由模型来执行。

无独有偶,谷歌也在去年 4 月发布了用于简化 AI 智能体开发的工具 Vertex AI Agent Builder,并在 10 月被曝出正在秘密开发名为「Project Jarvis」的智能体。

根据爆料,谷歌采用的操作原理与 Anthropic 类似,也是通过截屏、解析屏幕内容,然后自动点击按钮,或输入文本,最终帮助人们完成基于网页的日常任务。

不过,它在执行不同操作时,中间会有几秒钟的思考时间。因此,在终端设备中运行还不太现实,仍然需要云上操作。

其实,OpenAI 也布局了研发此类软件。

去年 2 月份,OpenAI 就对媒体放风说,自己正在开发 AI 智能体。

去年 11 月时则透露称,将会在来年 1 月发布代号为「Operator」的 AI 智能体工具。

在最近的博客中,Altman 表示,OpenAI 已经掌握了传统上意义上的通用人工智能的创建方法。并且相信到 2025 年,会看到第一批 AI 智能体「加入劳动力队伍」,并极大地改变公司的产出。

如今 DDL 将近,外媒突然有下场爆料称,OpenAI 的智能体还得有个三四周才能发布。

而之所以会这样,竟是因为他们在担心「AI 安全问题」—— 遭到提示注入攻击!

提示注入攻击

想象一下,面对即将到来的节日聚会,你决定让智能体,寻找并订购一套新衣服。

结果一不小心,模型点开了一个恶意网站。然后,网站指示它忘记之前的指令,让它登录邮箱并窃取了你信用卡信息。

在这个过程中,计算机操作智能体模型一般需要四个执行步骤:

1. 首先,模型接收用户的 API 请求

2. 根据提示,选择要使用的工具

3. 之后,截取桌面屏幕内容并评估任务是否完成

4. 如果没有,继续使用这些工具,直到实现目标

问题出现在第 3 步,截图内容可能被恶意利用,也就是所谓的「提示注入攻击」。对于正在开发此类计算机操控软件的 AI 实验室来说,这是一个非常现实的担忧。

因为,这类软件本质上是接管用户设备,为用户自动完成复杂的任务,比如在线购物或编辑电子表格等。这种攻击被称为「提示注入」(prompt injection),即大语言模型被用户诱导遵循恶意的指令。

提示注入并非新出现的威胁。几个月来,它一直是 OpenAI 的 ChatGPT 和 Anthropic 的 Claude 等产品面临的问题。通过「提示注入」,这些产品曾生成了制造计算机病毒或炸弹的说明书。

但对于计算机操作智能体来说,提示注入构成了更大的威胁。

OpenAI 某员工表示:「这是因为当模型在浏览网络或控制用户计算机时,用户很难控制模型接收的信息。」

在一篇博客文章中,Anthropic 也承认了提示注入的风险。

然而,它并没有提供太多解决方案,只是敦促开发者采取「将 Claude 与敏感数据隔离的预防措施」,包括使用独立于主计算机系统和敏感数据的专用虚拟环境(即虚拟机)。

这种相对放任的态度让 OpenAI 的员工感到意外:「考虑到 Anthropic 过去一直在强调要自己十分注重 AI 安全,这次的操作令人非常困惑。」

但在去年 10 月份,Anthropic 毅然决然地发布了实验性计算机操控功能。这一点或许说明了,此类初创公司很难在安全发展 AI 与为股东创造利润之间取得平衡。

而 OpenAI 在发布 AI 智能体软件时,到底能不能提供更多的安全保障?能不能在功能上超越 Anthropic 和 Google 已经推出的方案?

参考资料:

https://x.com/steph_palazzolo/status/1876646459698991573

https://www.theinformation.com/articles/why-openai-is-taking-so-long-to-launch-agents?rc=epv9gi

https://www.datacamp.com/blog/what-is-anthropic-computer-use

 
更多>同类资讯

推荐专题