# 【闪客】Computer Use 是什么？它真的有在看你的屏幕吗？可能和你想的不太一样...

- Source: https://www.bilibili.com/video/BV1QuYX6XEZ4 (哔哩哔哩)
- Creator: 飞天闪客
- Published: 2026-09-12T03:46:39.000Z
- Transcribed by Memora: 2026-09-18T06:00:30.726Z
- Canonical page: https://dailymemora.com/bilibili/697

> Transcript and summary produced by Memora from the publicly available
> video linked above. The original video belongs to its creator.

## Summary

### 建别墅不是盯着屏幕点鼠标，而是直接上脚本

作者实测 **GPT-6** 的 Computer Use 在 Blender 中操作，经历 Agent 模式选择、macOS 系统升级等卡点后，发现它并不像人类那样看屏幕、点鼠标建模。

- **操作路径**：优先打开 **Blender 脚本控制台**，而不是走 GUI 点击。
- **批量化**：用类似 Python 的脚本批量创建**数百个对象**生成别墅。

### Keynote 画神经网络：GUI 只是备用，读的是 AX 布局文本

在 Keynote 里画神经网络时虽然出现了 GUI 点击，但追踪底层发现 Computer Use 有明确的优先级。

- **优先级**：API、CLI、脚本优先，GUI 只是备用。
- **信息获取**：通过 macOS 无障碍 **AX 接口**返回布局文本，并非真正读取屏幕像素。
- **实际表现**：曾用 **AppleScript** 操作 Keynote，或用 macOS 辅助功能画图。

### 网上酷炫 3D 视频可能不是真建模，但能力在提升

作者指出，网上许多酷炫 3D 视频可能用 **HTML** 或 **Three.js** 完成。不过他认为 Computer Use 的能力正在提升，已经能较丝滑地完成三维创作。

### 澄清误区：CLI、脚本、API 不但没死，反而更重要

作者强调，模型并非只会硬生生地读屏幕操作，而是会优先选择更高效的 **MCP、CLI、API 或脚本**等方式，这种选择本身就是智能的体现。

- **常见误读**：把 Computer Use 理解成单纯“看屏幕、读屏幕、操作屏幕”。
- **可笑论断**：有人因此喊出“GUI 当立，CLI、脚本、API 已死”。
- **真实趋势**：这些接口反而越来越重要。

## Key points

- GPT-6 的 Computer Use 在 Blender 中并不像人类看屏幕点鼠标建模，而是优先打开脚本控制台，用 Python 脚本批量创建数百个对象生成别墅。
- 在 Keynote 里画神经网络时虽然出现 GUI 点击，但底层优先通过 API、CLI 或脚本完成，GUI 只是备用。
- Computer Use 获取界面信息走的是 macOS 无障碍 AX 接口返回布局文本，并不是真正读取屏幕像素。
- 网上很多酷炫 3D 视频可能用 HTML 或 Three.js 完成，但 Computer Use 的三维创作能力正在提升到较丝滑。
- 把 GPT-6 强大仅归因于狭义 Computer Use、并认为“GUI 当立，CLI、脚本、API 已死”是误解；实际上这些接口越来越重要。

## Chapters

- [0:00](https://dailymemora.com/bilibili/697?t=0) GPT6与Blender爆火
- [1:02](https://dailymemora.com/bilibili/697?t=62) 实测GPT6操作Blender
- [1:56](https://dailymemora.com/bilibili/697?t=116) 生成过程的真实情况
- [3:08](https://dailymemora.com/bilibili/697?t=188) Blender脚本控制台
- [3:40](https://dailymemora.com/bilibili/697?t=220) 非人类操作的震撼
- [4:03](https://dailymemora.com/bilibili/697?t=243) 效率远超人类
- [4:20](https://dailymemora.com/bilibili/697?t=260) 尝试用GPT6操作Keynote
- [5:12](https://dailymemora.com/bilibili/697?t=312) 追溯操作背后的原理
- [7:03](https://dailymemora.com/bilibili/697?t=423) 关键工具说明
- [8:48](https://dailymemora.com/bilibili/697?t=528) 无障碍文本的真相
- [10:37](https://dailymemora.com/bilibili/697?t=637) 总结与误区

## Transcript

**[0:00]** 最近GPT6加Blender生成的视频在网上遍地都是。

**[0:03]** 甚至把原本只有3D建模式用的这个Blender软件都给带火了。

**[0:07]** 但其实这里我有一个很大的困惑。

**[0:09]** 那我们稍后再说。

**[0:10]** 我也用GPT6根据我家的图片生成了一个第一视角游戏。

**[0:13]** 那我在让它调色之后，

**[0:15]** 发现跟我家实在是太像了。

**[0:17]** 我都不敢放完整的视频了。

**[0:18]** 那我还用简简单单的两行提示词，

**[0:20]** 复刻了网上的经典的泳池别墅。

**[0:23]** 那真的就是两行提示词。

**[0:24]** 与此同时，

**[0:25]** GPT6的Computer Use功能，

**[0:27]** 也就是操作电脑，

**[0:28]** 好像成为了最大的功臣。

**[0:29]** 那这也是OpenAI在宣传业上特别强大的一个重大提升点。

**[0:33]** GPT6，

**[0:34]** Computer Use，

**[0:35]** Blender，

**[0:35]** 这三个原本不怎么大尬的词，

**[0:37]** 这回算是彻底关联在了一起。

**[0:39]** 那看到这儿，

**[0:40]** 你的第一直觉是不是这样的？

**[0:42]** GPT6用强大的Computer Use功能，

**[0:44]** 打开了Blender这个软件，

**[0:46]** 像人一样看屏幕，

**[0:47]** 点鼠标，

**[0:48]** 按键盘，

**[0:48]** 一顿操作猛龙虎之后，

**[0:50]** 一个酷炫的3D模型就建出来了。

**[0:52]** 就像亲眼看到一个人类建筑师几个小时的创作过程一样。

**[0:56]** 那我们再往后推，

**[0:56]** 可能就是CRI已死，

**[0:58]** MCP已死，

**[0:59]** GUI当立这种言论了。

**[1:01]** 但事实真的是这样吗？

**[1:02]** 看完这期视频，

**[1:03]** 你会发现它和你直觉上的理解可能是不同的，

**[1:06]** 甚至是相反的。

**[1:07]** 今天就不搞那么多理论铺垫了，

**[1:09]** 我们直接开干。

**[1:10]** 打开Codex，

**[1:11]** 切换成，

**[1:12]** 诶，

**[1:12]** 这个GPT6呢？

**[1:13]** 我高贵的20倍Pro会员都用不了吗？

**[1:16]** 哦，

**[1:16]** 原来这里要选择工作，

**[1:17]** 也就是Agent的模式才有。

**[1:19]** 这是我遇到的第一个卡。

**[1:20]** 然后我打开Blender。

**[1:22]** 把它和Codex放在一起，

**[1:23]** 方便大家来观看。

**[1:24]** 直接一句话，

**[1:25]** 给我在Blender里面画个球。

**[1:27]** 诶，

**[1:27]** 什么电脑控制服务启动失败。

**[1:30]** 这啥意思？

**[1:30]** 哦，

**[1:31]** 我问了一下Codex。

**[1:32]** 原来是我的MacOS系统版本过低了。

**[1:34]** 于是呢，

**[1:35]** 我各种升级系统，

**[1:36]** 冲击电脑，

**[1:37]** 这样几个小时就过去了。

**[1:38]** 这就是我遇到的第二个卡。

**[1:39]** 这回应该没有问题了吧？

**[1:41]** 同样的提示词再来一遍。

**[1:43]** 诶，

**[1:43]** 好像看起来正常了。

**[1:45]** 开始欣赏我们的GPT操作电脑吧。

**[1:47]** 诶，

**[1:47]** 等会等会。

**[1:48]** 你怎么开始写上代码了？

**[1:49]** 说好的在屏幕上酷炫的点点点呢？

**[1:51]** 当然了，

**[1:52]** 最后他确实成功画了个球。

**[1:53]** 但这个过程怎么和我想的不太一样呢？

**[1:56]** 这就是我遇到的第三个卡。

**[1:57]** 肯定是我这个任务太简单了吧。

**[1:59]** 我给他选个难点了吧。

**[2:00]** 这个网站记录了很多，

**[2:02]** 又大模型生成的3D案例。

**[2:04]** 还贴心的附上了提示词。

**[2:05]** 我操这什么鬼？

**[2:06]** 那我就选最近的一个非常经典的永世别墅。

**[2:09]** 直接把这个提示词粘贴过来。

**[2:11]** 发射。

**[2:12]** 接下来我用100倍速给大家播放。

**[2:14]** 诶，

**[2:15]** 不是不是。

**[2:15]** 怎么看着大部分还是代码呀？

**[2:17]** 我去。

**[2:18]** 最后这个模型就直接闪现出来了。

**[2:20]** 然后我让他直接导出一段视频给我。

**[2:22]** 最终的效果就是这样子。

**[2:24]** 当然因为我这里用的是Mac电脑。

**[2:26]** 所以就不带大家在Blender里面查看了。

**[2:28]** 否则基本上就是卡成PBT了。

**[2:30]** 实际上房间的各种家具的细节都是非常精致的。

**[2:33]** 那这是怎么回事呢？

**[2:34]** 为什么没有出现我们刚刚想象中的那种场景呢？

**[2:37]** 那我们详细回看一下他完成这个任务的过程。

**[2:40]** 首先第一步就是查看当前的Blender工程。

**[2:43]** 也就是定位到了我们这个Blender程序。

**[2:45]** 然后呢又查看了三维视图。

**[2:47]** 就是用了个屏幕截图。

**[2:49]** 那看完这个屏幕截图之后，就应该开始点点点了吧？

**[2:51]** 但是这里的第一步居然是打开Blender场景脚本控制台。

**[2:52]** 啊，这第一步就直接开始写脚本了。

**[2:56]** 然后再往后他看了一眼Blender控制台的屏幕截图。

**[2:56]** 发现已经密密麻麻全是脚本了。

**[2:58]** 然后再往后发现别墅已经生成并保存了。

**[3:02]** 包含了650个场景对象。

**[3:03]** 所以他就是从第二步开始就直接写脚本了。

**[3:06]** 唯一有一点GUI交互的，就是点到这个脚本控制台里面而已。

**[3:08]** 那这是不是跟你想的又完全不一样？

**[3:12]** 那这个Blender脚本控制台是什么呢？

**[3:14]** 非常简单。

**[3:16]** 其实你打开Blender之后。

**[3:18]** 这里面就有个叫脚本的东西。

**[3:20]** 点开它之后，你就可以在这里面输入代码了。

**[3:21]** 这格式跟Python差不多。

**[3:22]** 比如说我们输入这么一行东西，它就可以在画面中心直接画出个球。

**[3:24]** 然后我们再改一下里面的坐标啊、大小啊等等。

**[3:25]** 然后再来回车，它就会直接生成另一个球。

**[3:27]** 也就是说，在刚刚这个场景里面，有几百个对象啊、家居啊、泳池啊等等。

**[3:29]** 全都是通过这么一大堆脚本创建的。

**[3:31]** 根本就不是什么鼠标在屏幕上点点点。

**[3:33]** 看到这里，不知道你有什么感觉。

**[3:36]** 反正我是有两种情绪的。

**[3:36]** 第一就是，大模型果然还是擅长处理文本啊。

**[3:37]** 我就说嘛，怎么可能用电脑GUI，把这么复杂的模型给画出来的？

**[3:39]** 那得多浪费token啊。

**[3:40]** 但另外一种情绪就是。

**[3:41]** 空行占位1

**[3:43]** 空行占位2

**[3:44]** 空行占位3

**[3:44]** 空行占位4

**[3:47]** 空行占位5

**[3:49]** 空行占位6

**[3:50]** 空行占位7

**[3:51]** 空行占位8

**[3:53]** 空行占位9

**[3:54]** 空行占位10

**[3:56]** 空行占位11

**[3:57]** 空行占位12

**[3:58]** 空行占位13

**[4:00]** 空行占位14

**[4:01]** 空行占位15

**[4:03]** 这也太离谱了。

**[4:04]** 这种操作不是更像非人类的操作吗？

**[4:06]** 就单论这个最终的成果来看，

**[4:08]** 这绝对就是对人类通过视觉操作的一种降维打击啊！

**[4:12]** 没有人搞这种东西，完全是通过一行一行脚本去弄的。

**[4:15]** 但大模型却认为这种方式是更简单的，

**[4:18]** 更擅长一些。

**[4:19]** 你说这不是非人类吗？

**[4:20]** 当然了。

**[4:21]** 我还是希望看到GPT6对着屏幕点点点，这种效果。

**[4:24]** 于是呢，

**[4:25]** 我就选择了自己非常擅长也更简单的Keynote，

**[4:27]** Windows上就叫PPT。

**[4:29]** 我的视频动画全都是用这玩意做的。

**[4:31]** 然后呢，

**[4:31]** 我让GPT6帮我在上面画个简单的神经网络。

**[4:35]** 其实这个东西如果是我自己手动画的话，

**[4:37]** 还真是有点浪费时间。

**[4:39]** 因为都是重复性的，

**[4:40]** 还需要精确点击到准确的位置。

**[4:42]** 对大模型来说应该是很擅长的。

**[4:44]** 那可以看到，

**[4:45]** 这回它真的是拿着鼠标各种点点点了，

**[4:47]** 帮我一笔一笔地把它画出来。

**[4:49]** 中间还画错了两根线。

**[4:51]** 不过呢，

**[4:51]** 它最后自查了一下，

**[4:52]** 然后给纠正好了。

**[4:53]** 好了。

**[4:54]** 这回终于是看到了我们想要的结果了。

**[4:56]** 这回它就是不断读取屏幕，

**[4:58]** 然后理解屏幕上的内容，

**[5:00]** 然后精确的控制鼠标点击到各种的位置吧。

**[5:02]** 好了。

**[5:03]** 那本期视频到底也结束了。

**[5:04]** 拜拜。

**[5:04]** 我又回来了。

**[5:07]** 因为我要one more thing一下了。

**[5:09]** 它真的是看屏幕，

**[5:10]** 然后找到那些按钮的位置，

**[5:12]** 然后点点点的吗？

**[5:12]** 那我们就再详细追溯一下这个过程的详情。

**[5:15]** 可以看到它整体的思路是没有问题的。

**[5:18]** 那这次呢，我们更细致的看一下，

**[5:20]** 它第一步到底做了什么。

**[5:21]** 和刚刚的blender一样，

**[5:23]** 这里仍然是一个什么叫查看keynote的东西。

**[5:26]** 然后具体的返回值，

**[5:27]** 是一段又臭又长的文本。

**[5:29]** 刚刚我没有看。

**[5:30]** 当然在这个页面操作实在是太不方便了

**[5:32]** 所以我直接让AI把所有的对话细节

**[5:35]** 做成了一个html页面

**[5:36]** 这就非常清晰了

**[5:38]** 那我们在这里直接看看

**[5:39]** 刚刚那段又臭又长的文本吧

**[5:41]** 可以看到

**[5:42]** 它调用了一个叫getapp的方法

**[5:44]** 传入了一个名字

**[5:45]** 就叫keynote

**[5:45]** 很显然就是查看keynote这个软件的一些

**[5:49]** 当前什么状态信息

**[5:50]** 然后呢就是输出了一大堆文字

**[5:52]** 当然这里面我下面加了一个中文翻译的部分

**[5:55]** 我们来详细阅读一下

**[5:56]** 电脑操作

**[5:57]** 就是computer use

**[5:58]** 看来是给computer use的一个工具说明

**[6:01]** 类似于skill

**[6:02]** 通过读取或操作用户页面

**[6:04]** 控制用户电脑上的原生应用和浏览器

**[6:07]** 这不就是我们直观理解上的那个GUI操作吗

**[6:10]** 有专用连接器API或命令行工具时优先使用它们

**[6:15]** 那这句话的信息量就很大了

**[6:17]** 其实操作一个软件

**[6:18]** 我们知道既可以通过mcp

**[6:20]** 也可以通过cli

**[6:21]** 也可以通过各种脚本

**[6:23]** 当然也可以使用人类看起来最直观的这个GUI

**[6:26]** 这几个blender全都支持

**[6:27]** 而这句话就是在告诉我们

**[6:29]** 其实GUI这种方式是排在前面所有这些方式之后的

**[6:33]** 是一个迫不得已式的备用选择

**[6:35]** 那这也就是刚刚为什么在blender里面

**[6:37]** 仍然优先采用脚本的方式进行的原因

**[6:39]** 然后再往后就是告诉大模型

**[6:41]** 如果你想要操作电脑的话

**[6:43]** 就使用我这些接口

**[6:44]** 比如说获取屏幕的截图

**[6:46]** 复制粘贴

**[6:46]** 拖拽

**[6:47]** 按下按键等等等等

**[6:48]** 然后我们再看下面这个描述

**[6:50]** 执行一个或多个界面后

**[6:52]** 在决定下一步之前

**[6:53]** 调用getaxstate这个方法

**[6:55]** 这样可以掌握当前页面的状态

**[6:57]** 并从最新的无障碍文本中

**[6:59]** 重新获取元素所以

**[7:01]** 避免沿用过期所以

**[7:02]** 诶，

**[7:03]** 这看来还没完。

**[7:04]** 这句话又是一个信息量很大的话。

**[7:06]** 也就是说，

**[7:07]** 即使我们必须用电脑的GUI来操作，

**[7:09]** 那么也需要先调用一个叫getaxstate

**[7:12]** 这么一个函数。

**[7:13]** 它会返回一个什么无障碍文本。

**[7:15]** 那它是什么东西呢？

**[7:17]** 其实这个无障碍文本，

**[7:18]** 就是第二段这个文字输出的内容。

**[7:20]** 聪明的你一看就知道了，

**[7:22]** 这应该就是对Keynote一个布局的文字描述嘛，

**[7:25]** 也就是所谓的无障碍文本了。

**[7:27]** 那可以看到有非常非常非常多的信息。

**[7:29]** 相当于你把屏幕看到的结构，

**[7:31]** 以树状的形式给表达出来了。

**[7:33]** 接下来所有的步骤都是优先调用了这个方法，

**[7:36]** 拿到屏幕的文字描述。

**[7:38]** 而且这里还很聪明的用了增量描述的方法，

**[7:41]** 节省了token。

**[7:41]** 那这个无障碍文本是从哪里来的呢？

**[7:44]** 其实这个东西我们都非常非常熟悉。

**[7:46]** 就在Mac电脑上有个叫辅助功能的权限，

**[7:49]** 也可以叫做无障碍。

**[7:50]** 比如说这个codex的computer use就打开了这个权限。

**[7:53]** 而这个功能就是帮助有障碍的人，

**[7:55]** 比如说视觉障碍来了解屏幕的内容的。

**[7:57]** 比较直观的是你可以点开这个旁白。

**[8:00]** 那是不是很好理解了？

**[8:10]** 它其实就是把屏幕中的信息读出来，

**[8:12]** 给视障人士或者不方便看屏幕的人准备的。

**[8:15]** 而这个能力更底层就是依赖苹果官方的AX接口，

**[8:18]** 也就是刚刚我们看到的，

**[8:20]** 返回了类似树状结构的屏幕信息的接口。

**[8:23]** 当然了这个接口肯定实现起来，

**[8:25]** 就不是大模型的什么多模态视觉能力了。

**[8:27]** 它直接就是各个APP自己内部提供的，

**[8:30]** 对接了苹果的这个无障碍。

**[8:31]** 那就非常非常简单了。

**[8:33]** 所以呢，

**[8:33]** 其实刚刚我们看到的GPT6，

**[8:35]** 花里胡哨的操作Keynote这个过程，

**[8:37]** 其实底层大部分还是基于纯文本的信息理解，

**[8:40]** 根本就没有直接去看屏幕上的内容。

**[8:43]** 而且这个纯文本的信息，

**[8:44]** 还非常聪明的以增量描述的方法，

**[8:46]** 再次节省了大量token。

**[8:48]** 这块跟你理解的是不是又有偏差了？

**[8:50]** 还没完。

**[8:52]** 最后再说一点。

**[8:53]** 这可能跟你想象的还是不一样。

**[8:54]** 就是很多网上的素材，

**[8:56]** 连操作的软件都不一定是blender。

**[8:58]** 比如说我视频开头生成的，

**[9:00]** 这个自己家的3D画面，

**[9:01]** 其实我就只是在XGBT的网页端，

**[9:04]** 把我家的图片上传了一堆，

**[9:06]** 然后就做出来了。

**[9:07]** 它实际上是一个纯HTML文本，

**[9:09]** 使用的GS库就是大名鼎鼎的3.js，

**[9:12]** 是一个3D库。

**[9:13]** 最终加载渲染的速度也都非常快，

**[9:15]** 可以直接上手做成一个第一视角游戏。

**[9:18]** 这个HTML页面就更是一个纯文本的信息了。

**[9:21]** 所以你看其实网上很多的这个比较酷炫的视频，

**[9:26]** 它就不一定是用blender做的。

**[9:27]** 那即使是用blender做的，

**[9:29]** 也不一定是手动点屏幕操作的blender，

**[9:31]** 更多的可能是CRI啊，

**[9:33]** MCP啊，

**[9:34]** 或者说脚本操作等等。

**[9:35]** 所以其实这次GPT6和blender火出圈，

**[9:37]** 那我觉得一方面原因，

**[9:38]** 肯定是它的computer use能力有了大幅的提升。

**[9:41]** 因为我也是了其他家的agent产品，

**[9:43]** 是做不出这样的效果的。

**[9:44]** 另一方面我觉得是，

**[9:46]** 它的computer use能力，

**[9:47]** 刚好达到了一定的预值。

**[9:48]** 就是说可以一次性的，

**[9:50]** 非常丝滑的，

**[9:51]** 没有中间卡点的，

**[9:52]** 完成人们创作一个三维作品的想象。

**[9:54]** 而这个能力还需要综合它的其他方面的能力，

**[9:57]** 共同实现这个效果。

**[9:58]** 然后还有就是我觉得这个computer use能力设计的，

**[10:01]** 也非常合理。

**[10:02]** 就是人们直观上理解的computer use的优先级，

**[10:05]** 其实是低于MCP CRI API或者脚本去操作的。

**[10:08]** 这也说明了大墨星其实还是更擅长跟blender交道。

**[10:12]** 它处理的逻辑就是跟人不一样，

**[10:14]** 而且效率会更高。

**[10:15]** 之前我也有一期视频演示着通过Apple Script，

**[10:18]** 去操作Keynote的一个过程。

**[10:20]** 其实画神经网络这个事，

**[10:21]** 也可以通过这个脚本来实现。

**[10:23]** 那可能它评估了之后，

**[10:24]** 发现直接用MacOS提供的一个辅助功能，

**[10:26]** 可能更方便一些。

**[10:27]** 这也正是它智能的体现。

**[10:29]** 不是说所有的操作都要硬生生地去读屏幕。

**[10:32]** 可以看到，除了读屏幕之外，

**[10:34]** 还有非常非常多的模型更擅长的方式去处理。

**[10:37]** 好了，本期视频到这里就真正结束了。

**[10:39]** 其实更多的是想更正很多人的一些误区。

**[10:42]** GPT6的能力确实是非常非常强，

**[10:44]** 但很多人把它的强大

**[10:45]** 仅仅归结于狭义上的Computer Use。

**[10:48]** 然后又有很多人把Computer Use的强大

**[10:50]** 仅仅理解成他们脑海中想象的那种，

**[10:52]** 看屏幕、读屏幕、操作屏幕的样子。

**[10:54]** 那这个时候你在看很多言论，

**[10:56]** 说GUI当立，

**[10:57]** CRI脚本API已死这种言论，

**[11:00]** 是不是就非常可笑了？

**[11:01]** 相反，

**[11:01]** 它们反而是越来越重要了。

**[11:03]** 不信，

**[11:08]** 打，

**[11:09]** 遗终，

**[11:09]** 这是，

**[11:12]** 费念，

**[11:14]** 有，

**[11:15]** 对，

**[11:17]** 在，

**[11:19]** 这，

**[11:20]** 是，

**[11:20]** 想。