一、AutoGLM-Phone:到底是什么?
简单来说,AutoGLM-Phone 是一个能“看懂”手机屏幕并帮你操作的智能体框架。
- 核心:它基于一个名为AutoGLM-Phone-9B的9B(90亿)参数多模态大模型。这个模型经过专门训练,能同时理解文本指令和手机屏幕截图。
- 能力:它不只是一个模型,而是一套完整的解决方案。提供训练好的模型、手机操作框架、工具链,以及覆盖50+常用中文App(如微信、美团、小红书)的示例。
- 工作原理:你通过自然语言下达指令(如“帮我订一张明天去上海的机票”),它会自动解析意图、分析当前手机界面、规划操作步骤(点击、输入、滑动等),并通过ADB(安卓调试桥)自动执行,直到任务完成。系统对敏感操作(如支付)设有确认机制。
二、两种主流部署方案对比
部署的核心是将 AutoGLM-Phone-9B 模型在拥有高性能GPU的服务器上运行起来,并提供API服务。以下是两种主流路径的对比:
| 特性 | 方案一:使用 PPIO 算力市场(模板化部署,推荐新手) | 方案二:使用模力方舟等传统云GPU(手动部署) |
|---|---|---|
| 核心优势 | 一键部署,极大简化流程,无需关心环境配置、命令参数。 | 灵活性高,适合需要深度定制或研究底层过程的开发者。 |
| 部署流程 | 1. 在PPIO模板市场选择“AutoGLM-Phone-9B”模板。 2. 选择配置(通常已优化)并部署实例。 3. 等待几分钟,实例自动完成模型下载、服务启动。 | 1. 租用云GPU服务器(如2*NVIDIA 4090)。 2. 手动通过命令行克隆项目、安装依赖、下载模型。 3. 手动编写并调试复杂的启动命令脚本 ( run.sh)。 |
| 技术门槛 | 极低,如同使用云服务产品。 | 高,需要具备Linux命令行、Python环境、模型部署相关知识。 |
| 适合人群 | 希望快速体验、测试或专注于应用开发的用户。 | 希望学习完整部署流程、进行二次开发或研究的开发者。 |
三、测试与使用流程(两种方案通用)
无论采用上述哪种方案部署好模型服务,后续在本地电脑上连接手机进行测试的步骤是相同的。
准备工作:
- 安卓手机:开启“开发者模式”和“USB调试”。
- 本地电脑:安装
adb工具,并能通过USB正常连接手机(执行adb devices可见设备)。 - 获取模型API地址:
- PPIO方案:在实例详情页直接获取访问地址(如
http://xxx.ppio.cloud:8000/v1)。 - 手动方案:需要通过SSH隧道将云服务器的端口(如8000)转发到本地(如
localhost:8118),地址为http://localhost:8118/v1。
- PPIO方案:在实例详情页直接获取访问地址(如
操作步骤:
- 准备客户端环境:
# 1. 克隆客户端代码仓库gitclone https://github.com/zai-org/Open-AutoGLM.gitcdOpen-AutoGLM# 2. (建议)创建Python虚拟环境uv venv# 或使用 python -m venv venv# 3. 安装必要的客户端依赖(与服务端依赖不同)# 编辑 requirements.txt,通常只保留 Pillow 和 openaiuv pipinstallPillow openai# 或使用 pip - 连接并运行:
- 用USB连接手机,确认
adb devices列出设备。 - 运行客户端脚本,指向你的模型服务地址:
# 将 --base-url 参数替换为你实际的API地址python main.py --base-url http://你的模型API地址 --model"autoglm-phone-9b""打开抖音,搜索热门视频" - 用USB连接手机,确认
- 开始交互:
- 运行命令后,系统会自动截取手机屏幕,连同你的指令发送给模型。
- 模型会返回操作规划,并自动通过ADB控制手机执行。
- 你可以在命令行中直接输入新的指令继续交互。
四、总结与建议
- 对于绝大多数想尝鲜或快速集成的用户,强烈推荐通过PPIO算力市场的模板进行部署。这是目前最简单、最快速的入门方式,能让你在几分钟内跳过所有复杂步骤,直接进入测试环节。
- 对于开发者或研究人员,手动部署方案能让你更透彻地理解整个系统的工作机制、依赖关系以及如何调整参数(如使用
vLLM进行推理优化),便于后续的定制开发。 - 核心体验一致:无论选择哪种部署后端,最终获得的Phone Agent核心能力体验是一致的,都能实现通过自然语言控制手机完成复杂任务。