随着多模态大语言模型的发展，OS Agents 迎来重大机遇，使先进 AI 助手的设想更具现实性。
本文将阐述 OS Agents 的基础，涵盖其关键构成与能力；梳理构建 OS Agents 的方法，包括领域特定的基础模型与智能体框架；介绍评估协议和基准测试，分析各类指标并分类基准测试。
此外，安全与隐私、个性化与自我进化等核心问题是后续研究的重点。期待为OS Agents的持续发展贡献力量，增强其在学术界和工业界的应用价值与实际意义。
《钢铁侠》中的贾维斯（J.A.R.V.I.S.）可以帮助托尼·斯塔克控制各种系统并自动达成目标，构建一个像这样的超级AI助手一直是人类长期以来的梦想。
我们把这一类实体称为OS Agents，它们可以通过操作系统（OS）提供的环境和接口（如图形用户界面，GUI）在诸如电脑或者手机等计算设备上自动化的完成各类任务。
OS Agents有巨大的潜力改善全球数十亿用户的生活，想象一个世界：在线购物、预订差旅等日常活动都可以由这些智能体无缝完成，这将大幅度提高人们的生活效率和生产力。
过去，诸如Siri、Cortana 和Google Assistant 等AI助手，已经展示了这一潜力。然而，由于模型能力在过去较为有限，导致这一些产品只能完成有限的任务。
(M)LLMs展现出令人瞩目的能力，使得OS Agents能够更好地理解复杂任务并在计算设备上执行。
例如，Computer Use利用Claude 与用户的计算机直接互动，旨在实现无缝的任务自动化。与此同时，学术界已经提出了很多方法来构建基于(M)LLM的OS Agents。
例如，OS-Atlas 提出一种GUI基础模型，通过跨多个平台综合 GUI 操作数据，大幅改进了模型对 GUI 的操作能力，提升OOD任务的表现。
而OS-Copilot 则是一种OS Agents框架，能够使智能体在少监督情况下实现广泛的计算机任务自动化，并展示了其在多种应用中的泛化能力和自我改进能力。
OS Agents综述首先阐明了OS Agents的基础，探讨了其关键要素，包括环境、观察空间和动作空间，并概述了理解、规划和执行操作等核心能力。接着，审视了构建OS Agents的方法，着重关注OS Agents领域特定的基础模型和智能体框架的开发。
随后，详细回顾了评估协议和基准测试，展示了OS Agents在多种任务中的评估方式。最后讨论了当前的挑战并指出未来研究的潜在方向，包括安全与隐私、个性化与自我进化。
本文旨在梳理OS Agents研究的现状，为学术研究和工业开发提供帮助。为了逐步推动该领域的创新。
环境（Environment）：智能体操作的系统或平台，例如电脑、手机和浏览器。环境是智能体达成目标的舞台，支持从简单的信息检索到复杂的多步骤操作。
观察空间（Observation Space）：智能体可获取的所有信息范围。这一些信息诸如屏幕截图、文本描述或GUI界面结构，是智能体理解环境和任务的基础。例如，网页的 HTML 代码或手机的屏幕截图。
动作空间（Action Space）：智能体与环境交互的动作集合。它定义了可执行的操作，如点击、输入文本、导航操作甚至调用外部工具。这使得智能体能够自动化达成目标并优化工作流。
在OS Agents的这些关键要素后，如何与操作系统正确、有效的交互，这就需要考验OS Agents自身各方面的能力。
OS Agents 第一步是要理解复杂的操作环境。无论是 HTML 代码、屏幕截图，还是屏幕界面中密集的图标和文本信息，智能体都需要通过理解能力提取关键内容，构建对任务和环境的全面认知。这种理解能力是处理信息检索等任务的前提。
在任务执行中，OS Agents 的规划能力至关重要。规划能力有一定的要求OS Agents将复杂任务拆解为多个子任务，并制定操作序列来实现目标。同时，它们最好还要能够据环境变化动态调整计划，以适应复杂的操作系统环境，例如动态网页和实时更新的用户屏幕界面。
OS Agents最终需要将规划转化为具体的、可执行的操作，例如点击按钮、输入文本或调用 API。这种将规划“落地”的能力使得它们能够在真实环境中高效达成目标，并实现从文字描述到操作执行的精准转换。
要构建能够高效执行任务的 OS Agents ，其核心在于开发适配的基础模型。这些模型不仅需要理解复杂的屏幕界面，还要在多模态场景下执行任务。我们在这部分对基础模型的架构与训练策略做了详细归纳与总结：
我们将主要的模型架构分为四个类别：1、Existing LLMs：直接采用开源的大语言模型架构，将结构化的屏幕界面信息以文本形式输入给LLMs，从而使得模型可以感知环境；2、Existing MLLMs：直接采用开源的多模态大语言模型架构，整合文本和视觉解决能力，提升对GUI的理解能力，减少文本化视觉信息而造成的特征损失；3、 Concatenated MLLMs：由LLM与视觉编码器桥接而成，灵活性更高，能够准确的通过任务需求选不一样的语言模型和视觉模型进行组合；4、Modified MLLMs：对现有 MLLM 架构来优化调整，以解决特定场景的挑战，如：添加额外模块（高分辨率视觉编码器或图像分割模块等），以更细致地感知和理解屏幕界面细节。
预训练任务覆盖屏幕定位（Screen Grounding）、屏幕理解（Screen Understanding）与光学字符识别（OCR）等。
监督微调让模型更贴合 GUI 场景，是提升OS Agents规划能力和执行能力的重要手段。
例如，通过记录任务执行轨迹生成训练数据，或利用 HTML 渲染屏幕界面细节，提升模型对不同 GUI 的泛化能力。
现阶段的强化学习实现了用(M)LLMs作为特征提取到(M)LLM-as-Agent的范式转变，帮助了OS Agents在动态环境中交互，根据奖励反馈，一直在优化决策。
这种方法不仅提升了智能体的对齐程度，还为视觉和多模态智能体提供了更强的泛化能力与任务适配性。
感知作为OS Agents 的“眼睛”，通过输入的多模态数据（如屏幕截图、HTML 文档）观察环境。我们将感知细分为：1、文本感知：将操作系统的状态转化为结构化文本描述，如 DOM 树或 HTML 文件；2、屏幕界面感知：使用视觉编码器对屏幕界面截图进行理解，通过视觉定位（如按钮、菜单）和语义连接（如 HTML 标记）精准识别关键元素。
规划作为OS Agents 的“大脑”，负责制定任务的执行策略，可大致分为：1、全局规划：一次生成完整计划并执行；2、迭代规划：随着环境变化动态调整计划，使智能体能适应实时更新的屏幕界面和任务需求。
OS Agents框架的“记忆”部分能够在一定程度上帮助存储任务数据、操作历史和环境状态。记忆分为三个类型：1、内部记忆（Internal Memory）：存储操作历史、屏幕截图、状态数据和动态环境信息，支持任务执行的上下文理解和轨迹优化。例如，借助截图解析屏幕界面布局或根据历史操作生成决策；2、外部记忆（External Memory）：提供长期知识支持，例如通过调用外部工具（如 API）或知识库获取领域背景知识，辅助复杂任务的决策；3、特定记忆（Specific Memory）：聚焦于特定任务的知识和客户的真实需求，例如存储子任务分解方法、用户偏好或屏幕界面交互功能，提供高度针对性的操作支持。此外，我们还总结了多种记忆优化策略。
我们将OS Agents 的行动范围定义为动作空间，这包含操作系统交互的方式，我们将其细分为三个类别：1、输入操作：输入是 OS Agents 与数字屏幕界面交互的基础，最重要的包含鼠标操作、触控操作和键盘操作；2、导航操作：使 OS Agents 能够探索和移动于目标平台，获取执行任务所需的信息；3、扩展操作突破了传统屏幕界面交互的限制，为智能体提供更灵活的任务执行能力，例如：代码执行与API 调用。
在 OS Agents 的发展中，科学的评估起到了关键作用，帮助开发者衡量智能体在各种场景中的性能。如下表格包含我们对近期有关OS Agents评估基准论文的总结：
OS Agents评估的核心可总结为两个核心问题：评估过程应怎么样做与需要对哪几个方面进行评估。下面我们将围绕这两个问题，阐述操作系统智能体的评估原则和指标。
评估原则（Evaluation Principle）：OS Agents 的评估结合了多维度的技术方法，提供对其能力与局限性的全面洞察，主要分为两种类型：1、客观评估（Objective Evaluation）：通过标准化的数值指标，评估智能体在特定任务中的性能。例如，操作的准确性、任务的成功率以及语义匹配的精准度。这样的评估方法能快速且标准化地衡量智能体的性能；2、主观评估（Subjective Evaluation）：基于人类用户的主观感受，评估智能体的输出质量，包括其相关性、自然性、连贯性和整体效果。越来越多的研究也利用(M)LLM-as-Judge来做评估，从而提高效率和一致性。
Lift3D的创新之处在于系统性地增强了隐式和显式的3D机器人表示。为了评估其有效性，将Lift3D与来自三个类别的9种方法进行了比较：
为了全面评估 OS Agents 的性能，研究者开发了多种评估基准，涵盖不同平台、环境设置和任务类别。这些基准测试为衡量智能体的跨平台适应性、动态任务执行能力提供了科学依据。
评估平台（Evaluation Platform）：评估平台构建了集成的评估环境，不同平台具有独特的挑战和评估重点，我们将其大致上可以分为三类：移动平台（Mobile）、桌面平台（Desktop）与网页平台（Web）。
基准设置（Benchmark Setting）：该部分将 OS Agents 的评估环境分为两大类：静态（Static）环境和交互式（Interactive）环境，并进一步将交互式环境细分为模拟（Simulated）环境和真实世界（Real-World）环境。静态环境适用于基础任务的离线评估，而交互式环境（尤其是真实世界环境）更能全面测试OS Agents在复杂动态场景中的实际能力。真实世界环境强调泛化能力和动态适应性，是未来评估的重要方向。
任务（Task）：为了全面评估OS Agents的能力，当前的基准测试整合了各种专业化任务，涵盖从系统级任务（如安装和卸载应用程序）到日常应用任务（如发送电子邮件和在线购物）。主要可大致分为以下三类：1、GUI 定位（GUI Grounding）：评估OS Agents将指令转换为屏幕界面操作的能力，即如何在操作系统中与指定的可操作元素交互；2、信息处理（Information Processing）：评估OS Agents高效处理和总结信息的能力，尤其在动态和复杂环境中，从大量数据中提取有用信息；3、智能体任务(Agentic Tasks)：评估OS Agents的核心能力，如规划和执行复杂任务的能力。这类任务为智能体提供目标或指令，要求其在没有显式指导的情况下完成任务。
当前研究大多分布在于设计专门应对注入攻击和后门攻击等特殊威胁的防御方案，急待开发全面的且可扩展防御框架，以提升 OS Agents 的整体安全性和可靠性。
个性化OS Agents应该要依据用户偏好不断调整行为和功能。多模态大语言模型正逐步支持理解用户历史记录和动态适应客户的真实需求，OpenAI 的
让智能体通过用户交互和任务执行过程持续学习和优化，从而提升个性化程度和性能。未来将记忆机制扩展到更复杂的形式，如音频、视频、传感器数据等，从而提供更高级的预测能力和决策支持。同时，支持用户数据驱动的自我优化，增强用户体验。
研究机构：浙江大学、复旦大学、OPPO、中国科学院大学、中国科学院自动化研究所、香港中文大学、清华大学、零一万物、香港理工大学、上海交通大学