AI脉搏

Gemini 拿到 Mac 的“手”:能操作你的电脑,也能整理你的文件

AI 资讯 2 分钟阅读

谷歌宣布 macOS 版 Gemini 应用获得 computer use 能力,能够跨本地文件、桌面应用与网页完成多步骤任务。同一天,Gemini API 上线 Tool Retrieval,让智能体可以挂载上百个工具而少烧 token。

能力边界

按照谷歌的说法,Gemini 现在能“在本地文件、桌面应用和网页之间完成多步骤任务”。官方举的例子偏向办公场景:整理文件、填写表单、把散落在多个应用里的信息汇总成一份结果。这本质上是把浏览器的自动化能力搬进了操作系统。

与 API 侧的配合

同一天,Google DeepMind 在 Gemini API 中推出 Tool Retrieval 预览:让智能体在接入数百个工具时,只按需检索相关工具定义,而不是把全部工具描述塞进上下文。tool 定义膨胀是当前智能体成本的主要来源之一,这个功能直接冲着成本结构去的。

桌面智能体的三个前提

一是权限:应用必须愿意暴露可操作接口;二是可撤销:用户要能随时看到并中断正在执行的动作;三是失败处理:多步任务里任何一步失败,代理是回滚还是继续,决定它能否用于真实工作。目前三者在消费级产品上都还只是及格水平。

竞争态势

苹果被曝正在招募工程师做自有 Mac 智能体,Meta 的 Muse 已经在硬件上落地。桌面正在成为智能体落地的第一战场,原因很简单:桌面应用数量多、任务有价值密度、且没有移动端那样严苛的沙箱。

隐忧

让一个模型在你的文件系统上执行动作,风险远高于让它生成文本。一旦出现误删、误发、误提交,损失是不可撤销的。这也是为什么这类功能在消费者手里的实际使用率,通常会远低于发布时的演示效果。

相关阅读