MobileAgent-阿里发布的自主多模式移动设备代理

MobileAgent是什么？

MobileAgent是阿里巴巴和北京交通大学开发的可以模拟人类操作手机的自主多模态AI代理。该项目利用人工智能技术，特别是在多模态大型语言模型（如GPT-4V）的应用，以实现移动设备代理的自主决策和交互。

MobileAgent的主要特点

MobileAgent是一个纯视觉解决方案，不需要系统代码，而是通过分析图像来理解和操作手机。能够自主完成打开淘宝找帽子添加到购物车，播放音乐，自主使用导航APP等任务。

• 纯可视化解决方案，独立于 XML 和系统元数据。
• 操作范围不受限制，可进行多应用操作。
• 多种视觉感知工具，用于操作定位。
• 无需探索和培训，即插即用。

如何使用MobileAgent？

目前MobileAgent已经开源，你可以自己按需部署体验。

项目地址：https://github.com/X-PLUG/MobileAgent