Windows Copilot更新：Researcher智能体新增计算机使用能力

微软近日正式推出了Windows Copilot的重大更新，现在每位用户都能免费体验这款能够直接操作电脑界面的AI助手。

具体而言，Microsoft 365 Copilot中的Researcher智能体现已新增“计算机使用”（Computer Use）功能，从而能够生成更智能的研究分析、更深入的行业洞察以及更全面的工作报告。

为何深度研究智能体需要具备“计算机使用”能力？微软列举了以下几大理由：

安全访问需要登录认证的企业内部数据。

使用代码自动生成PPT、表格或应用程序。

利用私人会议记录、文件、聊天记录等完善工作报告。

具体效果可通过视频演示查看：

这项更新目前已经在Microsoft 365 Copilot的预览版中上线，用户可通过参加Frontier Program测试计划获取体验资格。

AI助手从“说”到“做”的跨越

不同于以往仅能通过API调用特定功能，支撑计算机使用能力的是一系列可由Researcher编排层调用的新工具。

编排层连接到一个沙箱环境，并提供每一步操作的实时截图。

当模型确定需要执行某个操作时，便会启动一个运行在Windows 365上的虚拟机，该虚拟机托管在云端，并与内网和用户设备完全隔离。

虚拟机完全处于临时的沙盒环境中，仅在当前会话期间有效。虚拟机默认已安装浏览器并具备执行模型预测命令所需的所有组件。

智能体的指令通过安全通道发送，任何用户凭据都不会持久保存，也不会在沙盒环境内外传输。

沙盒环境中配备虚拟浏览器、终端和文本浏览器，浏览器和终端界面的输出截图会返回给模型，文本浏览器可以加速纯文本内容的推理和搜索。

所有中间推理步骤都包含屏幕截图、终端界面输出，用户可以实时查看智能体的操作过程。

当模型要求用户确认操作或填写密码时，可通过安全的屏幕共享连接来控制沙盒。

性能测试结果

在GAIA和BrowseComp基准测试中，Researcher with Computer Use进行了评估，这些基准测试衡量AI系统在开放网络上进行推理、搜索和综合信息的能力。

在专注于复杂多步骤浏览任务的基准测试BrowseComp中，Researcher with Computer Use的性能比当前版本的 Researcher提升了44% 。以下是其中一个任务示例：

在2010年代末期，一家采用非传统管理结构（设有多个CEO）的公司提供脑外科手术辅助服务。该公司声称是员工持股公司，截至2022年3月尚未在公开市场交易。该公司在其年度报告中披露，董事会在2013财年召开了12次会议。请问该公司董事会在2022年召开了多少次会议？

Researcher将散落在多个网页上的信息整合起来，通过关联财务报告、新闻稿和公司文件，从而得出了一个经过验证的答案。

在衡量人工智能系统在真实世界数据中查找、验证和推理的能力的GAIA测试中，Researcher with Computer Use的性能比当前版本提升了6% 。在GAIA测试中，该模型回答了以下问题：

根据世界银行的数据，在2001年至2010年期间，哪些国家的年度储蓄总额超过GDP的35%？为了解决这个问题，智能体找到了相关的世界银行数据集，直接通过其终端环境下载了该数据集，并使用Python提取和筛选了数据。

不过微软仅公布了两项测试中的成绩提升百分比，并未透露原始具体分数。

鉴于微软与OpenAI的合作关系，我们只能参考OpenAI DeepResearch在这两个测试上的成绩，而较新的数据来自Qwen模型。

参考链接：

[1]https://techcommunity.microsoft.com/blog/microsoft365copilotblog/introducing-researcher-with-computer-use-in-microsoft-365-copilot/4464766