当前位置：首页AI视频CogAgent是什么？ CogAgent是一个由清华大学智谱AI开发的基于CogVLM改进的新型视觉语言模型（VLM）。该模型专门设计用于理解和导航图形用户界面（GUI）。它采用了低分辨率和高分辨率图像编码器的双编码器系统，能够处理和理解复杂的GUI元素和文本内容。 CogAgent-18B拥有110亿的视觉参数和70亿的语言参数, 支持1120*1120分辨率的图像理解。在CogVLM的能力之上，它进一步拥有了GUI图像Agent的能力。 CogAgent-18B 在9个经典的跨模态基准测试中实现了最先进的通用性能，包括 VQAv2, OK-VQ, TextVQA, ST-VQA, ChartQA, infoVQA, DocVQA, MM-Vet, 和 POPE 测试基准。它在包括AITW和Mind2Web在内的GUI操作数据集上显著超越了现有的模型。 CogAgent可以做什么？ CogAgent的主要功能是提高GUI的交互效率和准确性。它能够识别和解释小型GUI元素和文本，这对于有效的GUI交互至关重要。CogAgent在多个任务中表现优于现有的基于大型语言模型的方法，尤其是在PC和Android平台的GUI导航方面。此外，它还在多个文本丰富和一般视觉问答基准上表现出色。潜在应用包括自动化GUI操作（如点击按钮、输入文本和选择菜单）、提供GUI帮助和指导，以及开发新的GUI设计和交互方式。 CogAgent 的潜在应用包括： 自动化 GUI 操作，例如点击按钮、输入文本和选择菜单。 提供 GUI 帮助和指导，例如解释功能和提供操作说明。 开发新的 GUI 设计和交互方式。 CogAgent 仍处于早期开发阶段，但其潜在影响是巨大的。该模型有可能彻底改变我们与计算机交互的方式。 如何使用CogAgent？ CogAgent对外开放了论文、代码，提供了在线体验功能： 论文：https://arxiv.org/abs/2312.08914 代码：https://github.com/THUDM/CogVLM 体验Demo：Streamlit

CogAgent是什么？ CogAgent是一个由清华大学智谱AI开发的基于CogVLM改进的新型视觉语言模型（VLM）。该模型专门设计用于理解和导航图形用户界面（GUI）。它采用了低分辨率和高分辨率图像编码器的双编码器系统，能够处理和理解复杂的GUI元素和文本内容。 CogAgent-18B拥有110亿的视觉参数和70亿的语言参数, 支持1120*1120分辨率的图像理解。在CogVLM的能力之上，它进一步拥有了GUI图像Agent的能力。 CogAgent-18B 在9个经典的跨模态基准测试中实现了最先进的通用性能，包括 VQAv2, OK-VQ, TextVQA, ST-VQA, ChartQA, infoVQA, DocVQA, MM-Vet, 和 POPE 测试基准。它在包括AITW和Mind2Web在内的GUI操作数据集上显著超越了现有的模型。 CogAgent可以做什么？ CogAgent的主要功能是提高GUI的交互效率和准确性。它能够识别和解释小型GUI元素和文本，这对于有效的GUI交互至关重要。CogAgent在多个任务中表现优于现有的基于大型语言模型的方法，尤其是在PC和Android平台的GUI导航方面。此外，它还在多个文本丰富和一般视觉问答基准上表现出色。潜在应用包括自动化GUI操作（如点击按钮、输入文本和选择菜单）、提供GUI帮助和指导，以及开发新的GUI设计和交互方式。 CogAgent 的潜在应用包括： 自动化 GUI 操作，例如点击按钮、输入文本和选择菜单。 提供 GUI 帮助和指导，例如解释功能和提供操作说明。 开发新的 GUI 设计和交互方式。 CogAgent 仍处于早期开发阶段，但其潜在影响是巨大的。该模型有可能彻底改变我们与计算机交互的方式。 如何使用CogAgent？ CogAgent对外开放了论文、代码，提供了在线体验功能： 论文：https://arxiv.org/abs/2312.08914 代码：https://github.com/THUDM/CogVLM 体验Demo：Streamlit

CogAgent-可免费商用的带 Agent 能力的视觉模型

温馨提示：

文章标题：CogAgent是什么？ CogAgent是一个由清华大学智谱AI开发的基于CogVLM改进的新型视觉语言模型（VLM）。该模型专门设计用于理解和导航图形用户界面（GUI）。它采用了低分辨率和高分辨率图像编码器的双编码器系统，能够处理和理解复杂的GUI元素和文本内容。 CogAgent-18B拥有110亿的视觉参数和70亿的语言参数, 支持1120*1120分辨率的图像理解。在CogVLM的能力之上，它进一步拥有了GUI图像Agent的能力。 CogAgent-18B 在9个经典的跨模态基准测试中实现了最先进的通用性能，包括 VQAv2, OK-VQ, TextVQA, ST-VQA, ChartQA, infoVQA, DocVQA, MM-Vet, 和 POPE 测试基准。它在包括AITW和Mind2Web在内的GUI操作数据集上显著超越了现有的模型。 CogAgent可以做什么？ CogAgent的主要功能是提高GUI的交互效率和准确性。它能够识别和解释小型GUI元素和文本，这对于有效的GUI交互至关重要。CogAgent在多个任务中表现优于现有的基于大型语言模型的方法，尤其是在PC和Android平台的GUI导航方面。此外，它还在多个文本丰富和一般视觉问答基准上表现出色。潜在应用包括自动化GUI操作（如点击按钮、输入文本和选择菜单）、提供GUI帮助和指导，以及开发新的GUI设计和交互方式。 CogAgent 的潜在应用包括： 自动化 GUI 操作，例如点击按钮、输入文本和选择菜单。 提供 GUI 帮助和指导，例如解释功能和提供操作说明。 开发新的 GUI 设计和交互方式。 CogAgent 仍处于早期开发阶段，但其潜在影响是巨大的。该模型有可能彻底改变我们与计算机交互的方式。 如何使用CogAgent？ CogAgent对外开放了论文、代码，提供了在线体验功能： 论文：https://arxiv.org/abs/2312.08914 代码：https://github.com/THUDM/CogVLM 体验Demo：Streamlit

文章链接：https://yuntunft.cn/6253.html

更新时间：2024年07月01日

给TA打赏
共{{data.count}}人
人已打赏
AI AgentAI代理CogAgent智谱AI
猜你喜欢

GitAgent是面壁智能联合清华大学自然语言处理实验室发布的一种可以自主扩展工具箱的大模型智能体应用框架。通过 GitAgent，大模型智能体可以从 GitHub 上扩展工具集合，以应对复杂任务需求。 GitAgent 的工具箱扩充过程包括搜索、配置、应用和存储四个阶段。 在搜索阶段，GitAgent 会在 GitHub 上搜索适合用户需求的仓库，并判断仓库是否能用来解决问题。 在配置阶段，GitAgent 会根据仓库的 README 文件执行配置命令，还可以通过学习人类经验来解决问题。 在应用阶段，GitAgent 使用配置好的仓库来解决用户需求，如果仓库没有清晰的使用入口，GitAgent 还可以通过学习人类经验来解决问题。 在存储阶段，GitAgent 将配置好的仓库及其执行环境存储下来，以便未来使用。 GitAgent的四阶段过程图示 研究团队通过案例展示了 GitAgent 的应用，包括 Qlib 搜索、Bringing-Old-Photos-Back-to-Life 配置和 Sniffles 应用。通过 GitAgent，可以灵活选择不同的搜索策略，并能够熟练处理配置和应用阶段中的各种问题。 GitAgent 的发布拓展了大模型智能体的能力边界，使其可以自主扩展工具箱，从而更好地应对复杂任务需求。这一研究成果有望推动大模型智能体技术的发展，帮助人类实现更加多样更加复杂的任务需求。 论文地址： https://arxiv.org/abs/2312.17294

026

MobileAgent是什么？ MobileAgent是阿里巴巴和北京交通大学开发的可以模拟人类操作手机的自主多模态AI代理。该项目利用人工智能技术，特别是在多模态大型语言模型（如GPT-4V）的应用，以实现移动设备代理的自主决策和交互。 MobileAgent的主要特点 MobileAgent是一个纯视觉解决方案，不需要系统代码，而是通过分析图像来理解和操作手机。能够自主完成打开淘宝找帽子添加到购物车，播放音乐，自主使用导航APP等任务。 纯可视化解决方案，独立于 XML 和系统元数据。 操作范围不受限制，可进行多应用操作。 多种视觉感知工具，用于操作定位。 无需探索和培训，即插即用。 如何使用MobileAgent？ 目前MobileAgent已经开源，你可以自己按需部署体验。 项目地址：https://github.com/X-PLUG/MobileAgent

021

智谱清言

059

Octopus v2是什么？ Octopus v2是由斯坦福大学研究团队最近推出的可在设备上运行的端侧AI模型，引起了开发者社区的广泛关注，一夜之间下载量超过了2000次。Octopus v2是一个拥有20亿参数的模型，能够在智能手机、汽车、个人电脑等设备上运行。它在准确性和延迟方面超越了GPT-4，且将上下文长度减少了95%。与基于RAG的Llama7B模型相比，Octopus v2的速度快了36倍。 Octopus v2的功能特性 高准确性和低延迟：通过优化模型结构和参数，Octopus v2实现了在设备上运行时的高准确性和低延迟性能。 大幅减少上下文长度：相较于传统模型，Octopus v2在模型推断过程中将上下文长度减少了超过95%。 适用于边缘设备：该模型的设计考虑到了边缘设备的性能和资源限制，使其能够在智能手机、汽车、VR头盔和个人电脑等设备上高效运行。 保护隐私和降低成本：相对于依赖云计算的大型语言模型，Octopus v2提供了一种在保护用户隐私和降低推理成本方面的优势。 Octopus v2的应用场景 移动设备应用：在智能手机上运行复杂的语言处理任务，提供即时反馈和交互。 汽车内置系统：在汽车的娱乐和信息系统中，提供更智能的语音交互功能。 个人电脑软件：为个人电脑上的软件应用提供高效的语言处理能力，包括文本分析和自然语言理解。 智能家居设备：在智能家居设备中，利用语言模型提高设备的智能交互和自动化水平。 如何使用Octopus v2？ Octopus v2的论文和模型已提供下载。 论文地址：https://arxiv.org/abs/2404.01744 模型主页：https://huggingface.co/NexaAIDev/Octopus-v2 Octopus v2的推出标志着设备端AI智能体时代的到来，为开发者和用户提供了前所未有的AI应用体验和可能性。

028

PowerLawGLM是什么？ "PowerLawGLM"是由幂律智能联合智谱AI发布的千亿参数级法律垂直大模型。这个模型专注于法律细分领域，针对中文法律场景的应用效果具有独特优势，具备丰富的法律知识和法律语言理解能力。 基于PowerLawGLM推出了法律对话产品ChatMe，已正式上线。 ChatMe申请地址：https://jinshuju.net/f/wvpvKk PowerLawGLM特色 理解能力：理解复杂的法律文本，包括各种法律条款、判例、合同和其他法律文件。 推理能力：从法律文本中推断出潜在的问题，提供可能的解决方案，或者预测出可能的法律后果。 生成能力：回答法律问题，为用户提供咨询，甚至帮助起草法律文件。它还可以进行法律对话，帮助用户理解复杂的法律问题。 PowerLawGLM应用场景 合同咨询：ChatMe拥有丰富的合同知识数据，能够回答诸如“合同租期期限”等合同知识问题。 合同起草：贴近中文合同起草场景，模版起草、条款组合起草、端对端生成起草等多种解决方案，让生成的合同质量更高。 合同信息抽取：能够识别合同中的关键信息进行提取，如主体信息，合同总金额等等。 合同审查：能够针对合同条款的风险点给出相关建议，提示风险。 通用法律咨询：提供具有专业法律依据的法律咨询服务。 此外，幂律智能将持续专注法律垂直大模型的技术提升和落地应用，将法律大模型能力深度融入智能合同管理产品MeFlow及智能合同审查产品MeCheck中。同时，幂律将面向企业客户开放能力接口，企业可以将法律大模型能力快速接入现有业务流与系统中，带来显著效率提升。

022
❯

解锁会员权限

开通会员

解锁海量优质VIP资源

立刻开通
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索

  • 扫码打开当前页

返回顶部