豆包手机助手：系统级GUI Agent引领AI手机新纪元

移动设备中的人工智能，如今已展现出前所未有的拟人化特质。

近期，科技领域被一款并非出自传统硬件巨头的手机所震撼，它与字节跳动旗下的豆包密切相关。

这款集成豆包手机助手的工程样机在网络上引发热潮，让众多用户首次切实体验到智能体已近在咫尺。在淘宝等平台，该设备的价格甚至被推高至近五千元。

本月初亮相的豆包手机助手，目前仍处于技术预览阶段。与多数作为独立应用存在的AI助手不同，它通过将AI智能体深植于系统底层，实现了端侧AI能力的全面飞跃，带来了革新性的交互模式与多感官体验。在许多科技行业观察者眼中，豆包手机助手已将AI工具的认知边界拓展至新高度，它不再仅是辅助工具或外部应用，而是与移动操作系统深度整合的“全能管家”。

只需一句指令，豆包手机助手便能真正执行跨应用的复杂命令。除其他手机智能体常见的订餐、记账、调整设置等功能外，它还能应对较为模糊且繁琐的多步骤需求。

豆包手机助手能够不间断地完成“在地图上标注餐厅、搜索博物馆并通过旅行平台预订门票”等多重要求、长链条任务。

如此表现令人惊叹：“这智能程度是否有些超乎想象了？”

与此同时，关于豆包手机助手的持续热议也引发了一些不同见解与深入探讨：“AI操控手机”真会成为未来人们使用移动设备的常态吗？要打造这样一部AI手机，豆包手机助手究竟做对了哪些关键举措？

在深入探究豆包手机助手背后的技术基础，并与四位学术专家交流后，我们对其如何重塑交互模式、推动系统级GUI智能体实现有了更全面、更清晰的理解。

为手机集成系统级智能体，为何如此困难？

近年来，无论是新兴的AI硬件创业公司，还是国内外主流手机制造商，都显现出一个显著趋势：致力于将原生AI能力更深层次地融入设备系统，其中最重要的形式之一便是引入AI智能体。

其中，GUI智能体作为一种由多模态视觉模型驱动的AI系统，在遵循自然语言指令的前提下，能够解读屏幕内容、进行自主推理，并在用户界面上执行类似人类操作的交互，如读取信息、点击按钮、输入文本等，从而达成特定目标。

随着GUI智能体在端侧的能力不断增强，以更高集成度和更深系统权限为特征的系统级GUI智能体正逐渐成为下一阶段的核心追求，这不仅要求高效执行任务，还需理解上下文、协调多应用流转等。

但实现系统级集成并非易事。从学术与工程实践的角度看，大致需要攻克以下四个层面的难题：

一是感知层：智能体需在毫秒级别内识别屏幕上所有可交互元素，例如图标、按钮和文本框。此外，还需具备抗动态干扰能力，这是因为应用界面复杂，弹窗广告、浮动层、动态加载内容会产生视觉噪音。GUI智能体必须拥有“像素级”的精确定位能力，同时理解图标背后所代表的“功能含义”。

二是规划层：主要涉及跨应用的信息流转，包括应用切换、上下文记忆提取、剪贴板操作等多个环节；执行过程中也可能遇到网络延迟、登录失效、意外弹窗等突发状况。传统脚本一旦中断便难以继续。GUI智能体需保持跨多应用的逻辑连贯性，并具备自我反思能力，例如在发现路径受阻时尝试其他方式。

三是决策层：GUI智能体必须具备强大的泛化能力，不能仅局限于已见过的界面，还要能在未接触过的同类应用中执行相似操作。同时，手机操作除点击外，还包括长按、滑动和缩放等其他精细操作，这对智能体的反馈循环提出了更高要求，也意味着决策过程必须更为迅速与准确。

四是系统层：首先是响应速度，用户无法容忍长时间的等待；其次是权限壁垒，在Android等严格的沙盒机制下，难以轻易获取其他应用的屏幕信息或进行操作。GUI智能体需在确保数据隐私安全和低延迟的前提下，打破操作系统内部的数据孤岛。

这四个层面的障碍共同构成了系统级GUI智能体落地过程中的核心挑战。在谈及系统级跨应用操作所面临的难题时，蒙特利尔大学与MILA实验室副教授刘邦提到了感知层的界面理解与元素定位问题，以及规划层的长链条任务规划与状态管理。真实用户任务往往需要数十个步骤、跨越多个应用，还可能遇到弹窗、网络延迟、权限请求、验证码、异步加载等情况。智能体必须记住之前已完成的操作、当前状态如何、接下来可能发生什么，并能够应对失败或异常。

西湖大学通用人工智能（AGI）实验室负责人、助理教授张驰指出了上下文记忆和推理速度这两项对GUI智能体产品化至关重要的能力。上海交通大学计算机学院教授、博士生导师张伟楠博士认为，当前的AI巨头通常通过一个或几个应用发力，无法获得最大的数据访问与操控权限，因此难以对齐用户上下文，也无法实现用户可完成的操作。

浙江大学百人计划研究员、博士生导师沈永亮总结了几大难点，包括长链条规划、推理速度以及轻量级模型如何管理短期与长期记忆，这些也是当前学术界普遍关注的核心瓶颈。

对于这样一项贯穿AI技术、终端硬件、操作系统和生态协同的全链路重构工程，任何环节的不成熟都可能影响智能体走向真正的产品化。近两年，学界和业界开始致力于释放智能体载体的能力，包括通用GUI智能体研究工作如AppAgent、Mobile-Agent、UI-TARS等，以及依赖视觉识别与无障碍控制的Rabbit式通用智能体和手机厂商在操作系统层面构建的系统级智能体。

通过这些尝试，AI已开始能够像人类一样操控手机屏幕并完成一些特定任务，但仍存在不少问题，例如不同应用的权限开放、长链条复杂任务成功率低、等待时间长、缺乏处理UI突发状况的能力，这些都限制了系统级GUI智能体的稳定性和实用性。

豆包手机助手取长补短，采取了“GUI智能体 + 系统级权限”的路径。一方面，通过深度系统集成在手机上获得Android系统级权限，同时设有更严格的使用限制，仅在用户主动授权后才会调用该权限。这使得豆包手机助手能够模拟用户点击、滑动、输入、跨应用操作。另一方面，借助视觉多模态能力，即识别屏幕UI、理解界面内容、解析用户意图和执行规划，豆包手机助手自主决定“下一步该点击哪里、输入什么、跳转到哪个应用”。用刘邦的比喻，这相当于一个“幽灵手指 + 大脑 + 决策系统”。

张驰强调了豆包手机助手的系统级整合能力，通过基础能力的持续增强和多种技术方案的整合（如系统功能接口调用），实现了更优的GUI智能体体验。张伟楠表示，豆包手机助手通过GUI智能体打通了应用之间的壁垒，在对齐用户上下文和操作空间上取得了显著进展。“作为首款由手机厂商与大模型公司主导设计的AI手机，其设计逻辑相较于传统手机厂商进行AI转型设计的手机更具颠覆性。”

沈永亮同样突出了豆包手机助手主打的原生GUI视觉操作，通过与手机厂商深度合作达成系统级操作权限，直接向系统内核发送指令来模拟人手指的点击和滑动。这种基于系统底层的视觉操作与以往依赖无障碍服务的第三方应用有本质区别，具备了极强的通用性，执行过程更稳定、更贴近真人，在推理速度与任务完成率上表现均衡，长上下文处理能力也相当出色。

总体来看，豆包手机助手正在构建一个集“视觉理解、大模型推理与系统级原生执行”于一体的通用智能体层，在面对不同应用和界面形态时实现了可泛化的UI操作。

从兼容性、跨应用自动化执行、长链条任务处理、多任务调度等多个维度评估，豆包手机助手已展现出优于传统脚本式自动化或无障碍接口方案的能力。这些都为实现更高阶的系统级GUI智能体提供了更坚实的基础。

UI-TARS：豆包手机助手背后的自研系统级GUI智能体引擎

相信大家已被豆包手机助手的各种演示视频所包围，无论是跨应用预订机票、自动比价、修改图片，还是在手机上流畅完成一整套复杂流程，这些能力表明：手机不再只是等待用户操作的工具，而是开始具备了主动完成任务的能力。

这些能力的背后，正是字节跳动在2025年陆续推出的自研开源模型UI-TARS。据悉，豆包手机助手使用的是UI-TARS的闭源版本，其性能不仅优于开源版本，还针对移动使用进行了大量优化。

UI-TARS最早可追溯至今年一月，它奠定了字节在GUI智能体方向的基础框架；四月，团队进一步发布了进阶版UI-TARS-1.5，该版本融入了由强化学习带来的高级推理能力，使模型能够在执行动作前先进行思考推演。九月推出的UI-TARS-2则将这一体系推进到新阶段。

UI-TARS包含了用于可扩展数据生成的数据飞轮机制、稳定的多轮强化学习框架、融合文件系统与终端的混合式GUI环境，以及支持大规模rollouts的统一沙箱平台。

首先，缓解数据稀缺问题。当前，大规模预训练和强化学习在对话、推理等领域已非常成熟，但一旦切换到需要长链条操作的GUI任务上，便难以直接扩展。因为GUI场景不像文本和代码那样易于收集海量数据，而是必须记录完整的操作轨迹，包括每一步的推理、点击、界面变化和反馈。这类数据不仅难以获取、成本高昂，而且规模化收集尤为困难。

UI-TARS设计了可扩展的数据飞轮（Data Flywheel）机制，通过反复训练持续提升模型能力和数据质量。在每一轮循环中，最新模型会生成新的智能体轨迹，这些轨迹随后被过滤并分配到最合适的训练阶段。高质量输出会被提升至更靠后的阶段（如SFT），而质量较低的输出则会回收至更早的阶段（如CT）。随着多次迭代，这种动态再分配方式确保每个训练阶段都使用与其最匹配的数据，从而形成一个自我强化的闭环：更好的模型产生更好的数据，更好的数据又训练出更强的模型。

其次，需要解决可扩展的多轮强化学习问题。在交互环境中进行强化学习颇具挑战，因为智能体很难及时知晓自身行动是否正确：奖励往往来得迟缓，有时甚至没有；训练过程也容易不稳定。

为突破这一瓶颈，UI-TARS构建了一个专门面向长链条场景的训练框架，其中包括使用带有状态保持能力的异步rollout来维持上下文一致性；通过流式更新来避免长尾轨迹导致的训练瓶颈；以及结合奖励塑形、自适应优势估计和值预训练的增强版近端策略优化（PPO）算法，以进一步提升训练效果。

第三，突破纯GUI操作限制。现实中的许多任务无法仅靠界面点击完成，例如数据处理、软件开发、系统管理等，更高效的方式往往是直接操作文件系统、使用终端或调用外部工具。如果智能体只能依赖GUI交互，其能力边界将非常有限。因此，一个真正高级的GUI智能体必须能够将图形化操作与这些系统资源无缝结合，使其不仅能点击界面，还能执行更真实、更复杂的工作流。

为此，UI-TARS搭建了一个混合式GUI中心环境，使智能体不仅可执行屏幕上的操作，还能调用文件系统、终端及其他外部工具，从而解决更广泛的真实任务。这意味着，在UI-TARS的训练体系中，智能体的操作空间已从单纯的点击、输入、滚动，拓展为能够自由组合GUI操作与系统指令的更高维动作集合。例如，它既可以在文件管理器中拖拽文件，也可以直接通过Shell命令处理文本、解压压缩包、运行脚本。这可以说是系统级GUI智能体能够走向真实应用的关键一步。

最后，即便具备丰富的交互能力，要部署大规模强化学习环境仍是工程瓶颈。因为系统需要在浏览器、虚拟机、模拟器中反复运行上百万次交互，还要保证结果可重复、出错能恢复、不影响训练流程。但现实情况是，这类环境往往速度慢、成本高，且容易崩溃，想长期、稳定地运行大规模强化学习几乎是项极其困难的工程任务。

为支持大规模训练与评估，UI-TARS构建了一个统一沙箱平台，其核心创新之一是共享文件系统：这使得GUI智能体可以在同一个容器实例中实现诸如通过浏览器下载文件并立即用Shell命令处理等连续跨工具操作。该沙箱不仅保持了复杂任务所需的稳定性与可复现性，还在分布式计算资源上支持高吞吐训练，同时为数据标注、评估和推理提供一致的环境。

依托这四项技术，UI-TARS为系统级GUI智能体提供了真正可落地的基础能力，使豆包手机助手能够在真实手机操作系统中稳定执行跨应用、长链条的复杂任务，实现从对话智能向行动智能的跃迁。

UI-TARS的突出表现，也得到了四位学界专家的认可。在刘邦看来：「UI-TARS-2 在学术层面为通用 GUI Agent 路线提供了一套经过验证、可扩展的基础框架。」

他特别指出 UI-TARS-2 的研究价值在于它让 AI 自动操作图形界面（GUI）具备了通用性与端到端特性：模型只需观察屏幕截图，就能通过视觉理解、多模态推理、模型推理、自动点击、输入、滚动等操作，模拟人类操作界面。在这一基础上，UI-TARS-2 通过大规模强化学习、自我生成与迭代的数据飞轮、统一的动作空间设计以及混合式（Hybrid）环境，让 Agent 在各种不同环境中都有较好表现。

张驰也对这项研究给予了客观评价。他指出，「UI-TARS-2 做出了许多兼具工业价值与学术价值的规模化探索，从模型底层能力入手，对 GUI Agent 进行了系统性的强化。」

他进一步强调，与学术界普遍聚焦于 Agent 架构或策略改进不同，字节跳动选择直接面向模型能力本身发力，用大规模数据、算力与强化学习训练体系去提升智能体在真实 GUI 环境中的最终效果，补上了学术界在资源与工程实践方面的短板。

张伟楠表示，UI-TARS 是字节今年推出的杰出科研成果，自己带领的团队在推进 GUI Agent 研究时也多次参考并引用了 UI-TARS。在他看来，这套体系不仅为系统级 GUI Agent 提供了清晰的技术路径，也让外界看到了字节在智能体方向持续输出更强研究成果的能力。

沈永亮则从初代 UI-TARS 到 UI-TARS 2.0 做了很好的点评：「UI-TARS 1.0 走了一条视觉原生的端到端路线，通过构建人工标注数据和进行大规模的 SFT、DPO 训练，向行业证明了只要数据飞轮转起来，不依赖各种花式 workflow 的纯视觉方案也能走的通。后续版本这种领先优势进一步从感知延伸到了推理和环境交互。UI-TARS 1.5 让我们看到了强化学习在处理复杂任务时的关键作用，紧接着 UI-TARS 2.0 推出沙盒环境，让模型能够进行无限的数据 Scaling，通过在虚拟环境中不断试错和生成数据，实现了左脚踩右脚式的自我迭代提升。这一整套从纯视觉感知到沙盒自我进化的研究闭环，无疑是目前行业里最前沿的探索。」

写在最后

从应用体验到背后的 AI 模型技术，豆包手机助手首次在端侧设备上实现了变革式的 AI 交互体验升级，或许未来 AI 手机的终极形态，就会从这里开始。

以它为起点继续推演，在未来的手机上，我们可能面对的将不再是一个个独立的 App，而是有一个「无所不能」的系统级 GUI Agent 来自动帮我们解决问题。

随着 AI 能力被内化为核心，手机 OS 系统不再只是资源管理器，而会进化成为你的意图调度器，实现真正的 AI 原生。各种能力由 AI 调用，交互的范式将会由「人找服务」转变到「服务找人」。

你的手机将会从一个「能打电话的电脑」，转变成为一个「拥有自主行动能力的个人智能体」，它会真正成为能与你自然共处、深刻理解你、并能在数字与物理世界为你有效行动的伙伴。

如果当「意图驱动 + 自动化 + Agent」演变为系统自带的功能，系统级 GUI Agent 将成为下一代手机操作系统的标配能力，刘邦和张驰都表达出了类似的观点。张伟楠也认同GUI Agent 是当前 AI 手机的实现路径之一，并且相信很快可以达到媲美人类的操作智能水平。沈永亮虽然没有给出明确的答案，但他举了触屏手机取代实体键盘的例子来说明，当人们习惯了一句话就能让手机自动帮你完成任务（比如订票、订酒店），这种「用了就回不去」的便利性其实已经告诉我们未来会走向哪里。

不过仍有一些关键挑战需要解决，包括设备端算力、系统级 Agent 的协调管理权限、兼容与安全机制等。对于 AI 技术本身来说，模型感知的准确度，在复杂任务上的规划推理能力也是决定智能化程度的关键。

未来究竟会发展成什么样？我们尚不能给出准确的答案，不过可以肯定的是，系统级 GUI Agent 探索所带来的变革才刚刚开始，想象空间远比我们当下所能看到的更为广阔。