OpenAI CEO 奥特曼重磅发布，云端浏览器AI代理Operator全程图文解析

本文内容整理自OpenAI CEO Sam Altman Operator在线发布会，公开发表于2025年01月24日。原始内容参考：https://www.youtube.com/watch?v=CSE77wAdDLg

推荐使用GPT中文版,国内可直接访问：https://ai.gpt86.top 

内容提要: 萨姆·阿尔特曼等人Operator在线发布和演示

1. Operator的功能： Operator是一个基于网页浏览器的AI系统，能够独立完成用户分配的任务，例如网上订餐、购物、订票等。它通过控制云端浏览器中的鼠标和键盘来操作网页，无需用户手动操作。

2. 技术原理： Operator 利用类似于ChatGPT 的技术，并结合了CUA 技术，能够直接解读网页像素，无需依赖网站API即可与网站交互。  这使得它能够处理更多没有提供API的网站。

3. 用户交互： Operator 界面简洁，类似ChatGPT，用户只需输入提示即可。Operator会在执行操作前进行确认，以确保用户意图得到正确执行，并允许用户随时“接管”控制权，进行手动操作或提供更多信息。

4. 应用场景举例： 演示中Operator成功完成了OpenTable订餐、Instacart购物、StubHub订票、DoorDash订餐以及寻找清洁工等任务。

5. 安全措施：  Operator 采取多层安全措施来防止恶意使用，包括拒绝有害任务、审核模型、事后检测、屏蔽网站以及“提示注入监视器”等，以确保安全可靠地运行。

6. 当前状态及未来规划： Operator 目前处于早期研究预览阶段，首先面向美国专业用户开放，之后会逐步向其他国家和Plus用户开放。团队会持续改进Operator，使其更完善、更便宜、更普及，并计划推出更多类似的AI智能体。  同时，Operator的API也将在几周后推出。

7. 性能评估：  Operator 在OSworld和WebArena两个基准测试中取得了高于其他公开发布结果的成绩，但仍有提升空间，与人类水平还有一定差距。

发布会全程图文

主持人Sam：  早上好。今天我们有一些激动人心的东西要展示给大家。我们将推出我们的第一个智能体。AI智能体是能够独立为你工作的AI系统。你给它们一个任务，来帮助你获取你自己的数据。你可以用它来处理你自己的数据。

它们可以完成什么。我们今天从Operator开始。Operator是一个可以使用网页浏览器的系统，这里指的是云端的网页浏览器，来完成你给它的任务。我们马上会做一个演示。但它能做的事情真的非常酷。就像你使用网页浏览器一样，你可以输入像素，你可以看屏幕，Operator可以做到这些，然后控制键盘和鼠标，做各种各样的事情。

今天它将在美国面向专业用户上线。不久后也会在其他国家推出。不幸的是，欧洲可能需要一段时间。在未来几个月，我们也会向Plus用户开放。这是一个早期的研究预览。我们还有很多需要改进的地方。我们会让它更好、更便宜、更普及。

但我们真的希望把它交到人们手中。我们还将在未来几周和几个月推出更多智能体。稍后我们会更多地谈论这个问题。我很兴奋；我只想给你们展示一个演示。我把它交给Yash。

Yash：  太棒了，谢谢Sam。大家好，我是Yash，这是Casey，那是Ray，我们都在使用智能体团队的计算机工作。我们非常激动今天向大家展示Operator。正如Sam所说，Operator是一个早期的研究预览版。它会做很多很酷的事情，但也会犯错，有时会是令人尴尬的错误。但让我们来展示一下Operator能做什么。

好的，这是Operator的主页。它位于Operator.chatgpt.com，直播结束后就可以访问。正如你所看到的，界面和ChatGPT非常相似。你可以输入一个提示，Operator会尽力执行该任务。你还会看到我们这里有一些预先填充好的提示。这些并不是真正意义上的推荐；它们旨在让你了解Operator可以做什么。

我们还与OpenTable、Allrecipes、StubHub、Uber、Thumbtack、DoorDash、eBay和Target等多个品牌合作，以确保Operator在这些网站上运行良好。我们相信用户会发现Operator在与这些平台互动时非常有价值。

那么，让我们开始一个演示吧。我将从一个相当简单的例子开始：我将使用OpenTable。

Ray：  然后说，今晚7点在Beretta预订一张两人桌。

Yash：  你特别选择了OpenTable。是的。在这种情况下，我要求Operator使用OpenTable在Beretta预订一张两人桌。Beretta是旧金山的一家餐厅。它很棒。你应该去试试。时间是晚上7点。我在这里使用OpenTable，但我本可以简单地说，预订Beretta。它可能会去搜索引擎，找到如何预订的方法。但让我们看看它会怎么做。

主持人Sam：  你能解释一下这里发生了什么吗？

Yash：  我输入查询后，Operator立即实例化了一个完全远程的浏览器。这个浏览器在云端的某个地方运行，正如你所看到的，它已经启动并运行了。我的手没有放在键盘上。我没有在输入这些东西。所以这只是AI在点击。AI只是在点击。它启动了这个浏览器会话。它知道OpenTable网站的地址，即opentable.com。正如你所看到的，这里也有一个摘要的思维链，它去了URL，搜索了Beretta，然后发生了一些非常酷的事情，那就是，由于某种原因，Operator OpenTable认为我们在旧金山。

所以，它自动更正为旧金山。这是利用，就像chatgpt一样，在Operator中，你也可以给出自定义指令。我将在这里快速展示一下。好的，我给出了一个自定义指令，对于需要的查询，我住在旧金山。所以，Operator识别出了这一点，然后自动更正了自己。

好的，看来晚上7点没有位置了，但是你知道吗？7点45分也可以，所以我们就这样做吧。在这种情况下，Operator返回了结果，这是一个任务委托的很好的例子，当Operator需要帮助或需要协助，或者只是想问你

Yash：  嘿，我不能预订7点半的位置。我们从一个网络应用程序开始。你会收到通知等等。当Operator进入移动端时，你会收到移动通知，就像我们与普通应用程序的交互一样。

Ray：  好的，是的，太棒了，就这样吧。

Yash：  好的，再一次，就像你和一个助手之间的简单交互一样，就是，嘿，我找到了一个预订，晚上7点没有位置，我们预订7点45分吧。而且，你可以看到Operator这时已经说，这再次说明了我们稍后将讨论的确认工作的一个很好的例子。但是，你知道，在执行一个在某种程度上不可逆转的操作之前（当然你可以取消预订），Operator在实际执行之前会征求我们的意见。在这种情况下，我会说，就这么做吧。

好的，速度很快，我想说是50秒左右。而且，我们这次一直在看着它，等等。但是，正如Sam所说，把它启动并运行。好的，让我们试试其他的事情。不幸的是，那个桌子不再可用了。所以它可能会去寻找其他的时间段。这很酷，实际上。这以前从未发生过。现场演示，伙计。太棒了。我们订15号吧。在它运行的时候，我们试试更复杂一点的事情怎么样？

主持人Sam：  哦，买杂货。

Yash：  是的，我喜欢买杂货。我一直在使用Operator购买我所有的杂货。我非常喜欢做饭。而且我一直在专门使用Operator购买杂货。我这里有一个购物清单，就是这个。让我们看看是什么。鸡蛋、菠菜、蘑菇、鸡腿、辣椒脆。这是一张你在这里上传的图片。没错。我将使用Instacart，这也是我们通常使用的。

Ray：  你能帮我买这些吗？我也会指定我喜欢的商店。

Yash：  好吧，让我们看看它是否能意识到我漏掉了。但我们看看。好的，在这种情况下，Operator实际上很快就利用GPT-4o的视觉能力识别出了图像说的是鸡蛋、菠菜、蘑菇、鸡腿，并且它实际上知道Gus's market。

Ray：  听起来不错。

Yash：  酷。再说一次，就像 OpenTable 一样，它实例化了一个浏览器，然后会开始进行测试。我要展开视图，看看它会做什么。所以在这两种情况下，你都说了你希望它使用什么。如果你只是说，帮我买这些杂货，而不指定 Instacart，会发生什么？它会像我们一样，进行搜索，使用搜索引擎，它会找到 Instacart，或者 Gus 的直接网站，或者搜索引擎上的其他任何东西。然后会浏览这些网站，如果需要澄清，会问你问题，然后继续。不过，我很好奇这里发生了什么，Ray。你想跟我们讲讲吗？

Ray：  我们在OpenAI训练了一个模型，我们称之为计算机使用代理（Computer Use Agent），简称CUA。所以CUA是基于GPT-4o构建的模型，但它也接受过训练，能够像人类一样使用和控制计算机，只需查看屏幕并使用鼠标和键盘进行控制。以前，如果你想在没有 CUA 的情况下构建类似Operator的东西，你需要使用一些专门的 API。例如，如果你想让你的模型从 Instacart 购买东西，你需要弄清楚 Instacart 是否有 API，你需要弄清楚该 API 是否具有它需要的所有功能，并且你需要为你的模型提供该 API 的规范。但是，如果你的网站（像大多数其他网站一样）没有 API，那么你就倒霉了。

是的。这就是 CUA 的用武之地。通过教模型如何使用我们使用的相同的基本界面...

Casey：  所以这是键盘和鼠标，对吧？它只是用键盘和鼠标来...

Ray：  完全正确，是的。这才是这个很酷的研究项目的意义所在。它是关于消除我们在通往 AGI 的道路上的一个瓶颈，让我们的智能体在数字世界中移动和行动。那么，让我们通过查看这个任务，看看Operator究竟是如何使用计算机的，来让它更具体一些。它似乎已经完成了。但是，让我们稍微回到顶部。好的，我选择了一个随机的位置。

在 Instacart 上搜索鸡蛋的结果页面。所以 CUA 理解这一点。它只是看到原始像素。在 CUA 看到这张图像后，它会决定下一步做什么。所以现在它正在进行一些内心独白，这就是总结的思路链。所以 CUA 正在做的事情是，根据它所说，它正在选择有机鸡蛋并将其添加到购物车中，这是一个合理的操作。在完成这个计划后，它会弄清楚下一步的行动是什么。

好的，您看到它点击了这里的“添加”按钮。这很合理。现在，每当 CUA 执行一个动作时，它都会获取计算机的下一个屏幕截图，以便它知道其操作对计算机产生了什么影响。那么，让我们看看接下来会发生什么。是的，好的，在单击“添加”按钮后，您现在可以在购物车中看到它了。

好的，所以它创建了下一个子计划，即添加鸡蛋并搜索菠菜。所以它现在可能会搜索菠菜。好的，它点击了那里的搜索栏。它输入菠菜。因此，这个循环，即采取行动、获取屏幕截图和创建新内容，一直循环，直到Operator确定任务已完成，然后它会返回给你。

Casey：  看到它的思维过程在那里进行非常酷。

Ray：  是的，的确是。所以让我们回到实时演示，是的，Operator已经完成了。Yash，你想看看Operator是否完成了你的工作吗？是的，让我们看看。

Yash：  你知道吗，我想要多一点鸡蛋。我觉得我们吃很多鸡蛋。好的，所以我现在可以做的是，我将点击这个名为“接管控制”的按钮。所以这个远程，正如我们之前所讨论的，就像Operator启动这个远程浏览器来完成操作一样。我们几乎把它看作是Operator可以工作，然后我也可以工作的表面区域。例如，在这种情况下，我从Operator那里接管了控制权，这也是我们如何考虑用户和用户控制的关键。例如，在任何时候，用户都应该能够接管控制权，并向Operator发出指令或提供更多信息、进行更多指导等。

Casey：  这就像把笔记本电脑传来传去，就像你和 Ray 做的那样。

Yash：  完全是，完全是，完全正确。就像，在这种情况下，我将把它们变成两个，然后我将告诉Operator。这再次非常像你和我一起工作一样，比如，嘿，我做了这个，你能修复它吗？我要告诉Operator，我又加了一个鸡蛋。

说得好。所以当你接管时，它非常像你本地浏览器的会话。它是完全私密的。Operator看不到这个，这也是我必须告诉Operator的原因之一。你真的不必担心；他们可以查看最后一个屏幕截图并尝试猜测。但这真的很好。这有点像你和我一起工作，我去做了一些事情，然后我回来，比如，“Ray，我完全搞砸了。你能修复一下吗？” 我需要告诉你吗？

在这种情况下，我要告诉Operator，“嘿，继续。” 现在我将控制权还给Operator。当你接管控制时，这是一个完全私密的会话。您会注意到我在这里登录了 Instacart。我在演示之前就登录了，或者我已经登录一段时间了。

同样，它非常像您的本地浏览器。当您登录 Instacart 时，直到清除 cookie，您都会保持登录状态。我们有非常好的控制；您可以进入设置并随时控制和删除您的会话。

Ray：  那么，让我们看看。

Yash：  好的，我将跳过付款部分。我们接下来要做什么，我们应该尝试做更多的事情吗？我们试试，好。你们接下来打算做什么？我敢肯定湖人队这周末会在城里。湖人队在城里，肯定。让我们看比赛。我们大家都能去看比赛吗？我们走吧。好吧，好的，所以我们要用 StubHub。

Ray：  你能给我们买四张票吗？

Yash：  是勇士队的比赛，不是湖人队的比赛。对不起，你是对的。这周末在旧金山。

Ray：  但请给我们几个选择。好的。

Yash：  好的，我们开始吧。所以我们在不同的类别中有很多应用程序，正如主页上显示的那样。所以有 StubHub、Target、Etsy 以及所有垂直领域。但是，Operator实际上不受这些应用程序的限制。您可以使用几乎任何网站的Operator。糟糕。

让我们看看，让我们尝试修复它。所以这是一个很好的例子，说明，你知道，有时在现场演示中会发生一些事情。我们已经设置了一个保护措施，我们只允许Operator使用 HTTP 站点，不知何故，我认为必须发生重定向，

Ray：  好了。继续。

Yash：  好的，酷。所以再次，正如我们所讨论的，它是一个远程浏览器。因此，您可以执行很多操作。这样做的好处之一是，您可以并行执行很多任务，正如 Sam 你之前所说的那样。因此，让我们尝试执行更多任务。澳大利亚网球公开赛正在进行中，我从中获得了很大的启发。你们看了四分之一决赛吗？

太棒了。好的，所以我将尝试看看是否可以帮忙。

Ray：  你能看看圣玛丽是否有场地和空闲时间吗？

Yash： 我说圣玛丽是因为我住在布鲁内尔高地，那里离得挺近的。同时，在它进行的时候，我们还可以并行处理其他任务。

Ray：  你能帮我找下周的清洁工吗，拜托？

Yash：  好的。最后，我们整个团队都非常努力地为大家带来了这个成果。整个团队，我们这里有一大帮人，每个人都在工作。我们真的饿了。我没吃早餐。我有点想吃披萨，即使早餐吃披萨有点奇怪。没关系。所以我打算去点一些披萨。没问题，不好意思。好了。所以我们这次用DoorDash。你能帮我们点吗？

Yash：  就像和一个真人说话一样。我是在自言自语，然后再把它打出来。

好的，它在问，它只是在让我确认我说的，用一种更好的方式。是的。我们在直播中看不到弹出的通知，但例如，当其他任务在进行时，如果我需要帮助，例如，在这种情况下，它问我，嘿，是941100吗。

我可以直接说“是”，但我会收到通知等等，这样每当Operator需要帮助时，我们就可以回去帮忙。看起来在这种情况下，它已经为我们找到了网球场，好的，我们还需要做一些选择。

哇，所有的座位都很棒。我知道；我为什么会认为374比262好呢？

Casey：  但是它的评分更低。

Yash：  我们应该选哪个？

Casey：  第六排。我觉得第一排。

主持人Sam： 好的，就选那个。

Ray：  就选214区，第一排。

Casey：  现在是讨论我们一直在开发的人在环交互模式的好时机。你可以看到，当Operator要执行任何有影响的事情时，会回来请求确认。是的，我想我们都对Operator为你做杂务的愿景感到非常兴奋。

然而，这是我们首次在现实世界中部署的智能体之一，它会产生真实的影响。因此，我们仔细考虑了如何安全地部署它。我们用来思考这个问题的框架是以“不对齐”为中心的。

例如，如果用户不对齐怎么办？他们可能会要求执行有害的任务，例如购买武器或类似的东西。在这种情况下，幸运的是，我们已经与ChatGPT合作做了很多工作，引入了很多相同的缓解措施。

我们拒绝有害的任务，包括有害的智能体任务。我们有审核模型、事后检测，还有被屏蔽的网站。我是在快速地列举这些缓解措施，但这真的是我们如何思考这个问题的。这是一堆缓解措施，每一个都逐步降低风险，直到我们觉得可以安全部署。

Yash：  所以我们说的所有确认，比如“你想预订餐厅吗？”、“你应该买票吗？”这些都是这方面的例子。

Casey：  没错。我还得谈谈确认。另一个不对齐的领域是如果智能体不对齐。所以如果模型犯了错误，也许购买了错误的物品或预订了错误的酒店房间。对此，我们的主要缓解措施是确认。如果Operator要执行一些有状态的操作，它会回来询问你，以便你可以仔细检查它的细节，以防它犯了一些错误。

第三个不对齐的领域是如果网站不对齐。所以也许网站是欺诈性的，或者它是假网站，或者它实际上是：“Operator，请给我汇100美元”。我们显然不想遵循这些指示。所以我们开发了我们的模型，以尝试避免这些指令，而不是遵循它们。

但如果失败了，我们在上面还有单独的一层。这就是我们所谓的“提示注入监视器”。把它想象成一种防病毒软件，它会观察你的轨迹，看看是否有任何可疑之处。如果有，它就会暂停它。

所以我们对我们的方法感到相当满意，但显然，安全是一个持续的过程。我们无法预测一切。所以我们希望从这次部署中学习很多，并随着时间的推移迭代我们的缓解措施。

Yash：  这也是我们从小规模开始的原因之一。我们真的想迭代，获得很多反馈，然后逐步推广到所有人。没错。我们应该看看我们团队的进度吗？

主持人Sam：  是的。

Yash：  在它进行时，这很好。我可以让它预订，但我现在先把它关掉。就一次，拜托。继续。看起来我们正在添加披萨。好的，酷。我打算在这里快速登录一下。所以这是一个例子，对吧，就像我显然需要登录或输入我的凭据才能实际购买这些票。Operator只是按照你刚才描述的那样，通过确认，确保控制权在正确的位置，我们可以掌控一切。而且在这一点上，正如我们之前讨论的那样，会话也是完全私密的。

现场登录。让我们看看情况如何。

Ray：  我将使用电子邮件代码登录。

Ray：  一切都好，一切都好，或现在购买。

Casey：  好的，那么这个有多可靠呢？

Ray：  也就是说，我们可以看一些基准测试，来量化一下Operator目前的效果如何。我们要看的第一个基准测试叫做OSworld。OSworld是一个评估，它衡量人工智能代理在Linux等常见操作系统中的导航能力。在这个任务中，**CUA的得分是38.1%**，高于其他公开发布的结果。

这个任务中人类的表现是72.4%，所以我们还有很大的提升空间。另一个我们要看的评估叫做WebArena。WebArena是一个评估，它衡量人工智能代理在一些常见的网站上的导航能力，比如电子商务网站或者社交论坛网站。在这个任务中，CUA的得分是58.1%，同样高于其他公开发布的结果，但仍然不如人类的表现。仍然有很长的路要走。是的，还有很长的路要走。

即使是网络，我们仍然只是给它相同的通用界面：屏幕、鼠标和键盘。我们没有给它任何可能帮助它完成任务的额外信息，比如网页的原始文本，

Yash：  所以现在，显然，在Operator中，我们正在使用浏览器，但如果只是Ubuntu或Mac或其他什么系统，我也可以使用这个模型来操作电脑。是的，你可以。太棒了，对吧？

嗯，在过去的15分钟里，我想我完成了这周所有的差事。买了我的杂货。效率很高。丹尼斯的代码已经预订了，清洁工要来了。但愿吧。我们来看看状态。我们有票了。一切就绪。

这真的是我们认为Operator非常有价值的地方。我们可以委托很多你自己可以完成的任务，但你可以委托给它。它可以和你一起取得很大的进展。有时候它会卡住。正如我们所说，现在还处于早期阶段，但是你可以回来帮助它，随着时间的推移，它会变得越来越好。

还有最后一件事。我们今天发布这个产品。我们现在将开始逐步推出。今天结束的时候，美国的所有Pro用户都将可以使用，而且我们也在开发API。这个模型将在API中提供，并将于几周后推出。

主持人Sam：  各位，恭喜。这是项了不起的工作。这个产品能发布真是太令人兴奋了。我想大家会喜欢的。正如我们提到的，这还处于早期阶段，但我们在这里有着悠久而辉煌的历史，早期的研究预览最终发展成为人们真正喜欢的产品。所以这真的是这个产品的开始。这是我们踏出第一步，

与大家合作，找出它到底应该走向何方。再次祝贺。希望你们喜欢它。非常感谢。