当前位置：首页AI视频自从 2023 年 11 月 Grok 首次亮相以来，马斯克的 xAI 正在大模型领域不断取得进步，向 OpenAI 等先行者发起进攻。在 Grok-1 开源后不到一个月，xAI 的首个多模态模型Grok-1.5V就问世了。 Grok-1.5V是什么？ Grok-1.5V是一个由马斯克旗下公司xAI发布的全新多模态AI大模型，它不仅具备强大的文本处理能力，还可以处理各种视觉信息，如文档、图表、截图和照片。这使得Grok-1.5V能够在多学科推理、理解科学图表、阅读文本和实现真实世界的空间理解等领域与现有的前沿多模态模型竞争。 Grok-1.5V的主要特性 强大的多模态能力：Grok-1.5V不仅在处理文本方面表现出色，还能理解和处理广泛的视觉信息，如文档、图表、截图和照片。这种能力使它能够在多个领域内执行复杂的任务，提供更全面的解决方案。 竞争力强的基准表现：在多个前沿模型的基准测试中，Grok-1.5V展现了卓越的性能。它在多学科推理、数学问题解决、图表解析和文档理解等方面与其他顶尖模型竞争，显示出其广泛的应用潜力。 先进的实世界理解：特别引入的RealWorldQA基准针对真实世界的空间理解进行测评，Grok-1.5V在这一基准中表现优异，超越了多数同类模型。这表明它能有效理解并处理与真实世界互动相关的复杂场景和问题。 零样本学习能力：Grok-1.5V在未经特定训练的情况下，也能展现出良好的性能。这种能力使其能够灵活适应新的任务和挑战，而不需要针对每一种情况进行专门的训练。 多样的输入处理：该模型能够处理来自不同领域和格式的输入，无论是科学图表、复杂文档还是现实世界的图片，都能被有效解析和理解。这使得Grok-1.5V特别适合需要处理大量不同类型数据的应用。 Grok-1.5V 与 GPT-4V、Claude 3Sonnet、Claude 3 Opus 和 Gemini Pro 1.5 的测试对比。 Grok-1.5V 应用场景 xAI在博客中展示了 Grok-1.5V 的几个应用示例： 科学图表理解：Grok-1.5V能够解析复杂的科学图表，并从中提取关键信息。这使得模型可以在学术研究或数据分析中应用，帮助用户理解和解释图表中的数据趋势和关系。 多学科推理：该模型在处理涉及多个学科的复杂问题时表现出色，例如可以同时理解物理、生物和化学的概念，并将这些知识应用于解决跨学科的问题。 真实世界的空间理解：通过RealWorldQA基准测试，Grok-1.5V展示了其对真实世界图像的高度理解能力。例如，它能分析城市街景的图片，识别和解释路标、建筑和其他重要元素。 数学问题解决：Grok-1.5V可以解决复杂的数学问题，包括但不限于代数、几何和统计问题。这一能力使得它可以在教育领域或任何需要精确数学计算的场合中发挥作用。 文档和文字处理：该模型还能处理和生成文本内容，适用于文档摘要、自动报告生成和内容创作等应用。它可以从大量的文本资料中提取关键信息，生成结构化和有洞察力的输出。 Grok-1.5V根据流程图生成代码 如何使用Grok-1.5V？ 目前，Grok-1.5V 还没有完全开放，但会很快提供给早期测试者和现有的 Grok 用户。 了解更多详情：https://x.ai/blog/grok-1.5v Grok-1.5V的推出是向理解和生成多模态内容迈出的重要一步，预计在未来几个月内，它在图像、音频和视频等多种模态上的理解和生成能力都将得到显著提升。

自从 2023 年 11 月 Grok 首次亮相以来，马斯克的 xAI 正在大模型领域不断取得进步，向 OpenAI 等先行者发起进攻。在 Grok-1 开源后不到一个月，xAI 的首个多模态模型Grok-1.5V就问世了。 Grok-1.5V是什么？ Grok-1.5V是一个由马斯克旗下公司xAI发布的全新多模态AI大模型，它不仅具备强大的文本处理能力，还可以处理各种视觉信息，如文档、图表、截图和照片。这使得Grok-1.5V能够在多学科推理、理解科学图表、阅读文本和实现真实世界的空间理解等领域与现有的前沿多模态模型竞争。 Grok-1.5V的主要特性 强大的多模态能力：Grok-1.5V不仅在处理文本方面表现出色，还能理解和处理广泛的视觉信息，如文档、图表、截图和照片。这种能力使它能够在多个领域内执行复杂的任务，提供更全面的解决方案。 竞争力强的基准表现：在多个前沿模型的基准测试中，Grok-1.5V展现了卓越的性能。它在多学科推理、数学问题解决、图表解析和文档理解等方面与其他顶尖模型竞争，显示出其广泛的应用潜力。 先进的实世界理解：特别引入的RealWorldQA基准针对真实世界的空间理解进行测评，Grok-1.5V在这一基准中表现优异，超越了多数同类模型。这表明它能有效理解并处理与真实世界互动相关的复杂场景和问题。 零样本学习能力：Grok-1.5V在未经特定训练的情况下，也能展现出良好的性能。这种能力使其能够灵活适应新的任务和挑战，而不需要针对每一种情况进行专门的训练。 多样的输入处理：该模型能够处理来自不同领域和格式的输入，无论是科学图表、复杂文档还是现实世界的图片，都能被有效解析和理解。这使得Grok-1.5V特别适合需要处理大量不同类型数据的应用。 Grok-1.5V 与 GPT-4V、Claude 3Sonnet、Claude 3 Opus 和 Gemini Pro 1.5 的测试对比。 Grok-1.5V 应用场景 xAI在博客中展示了 Grok-1.5V 的几个应用示例： 科学图表理解：Grok-1.5V能够解析复杂的科学图表，并从中提取关键信息。这使得模型可以在学术研究或数据分析中应用，帮助用户理解和解释图表中的数据趋势和关系。 多学科推理：该模型在处理涉及多个学科的复杂问题时表现出色，例如可以同时理解物理、生物和化学的概念，并将这些知识应用于解决跨学科的问题。 真实世界的空间理解：通过RealWorldQA基准测试，Grok-1.5V展示了其对真实世界图像的高度理解能力。例如，它能分析城市街景的图片，识别和解释路标、建筑和其他重要元素。 数学问题解决：Grok-1.5V可以解决复杂的数学问题，包括但不限于代数、几何和统计问题。这一能力使得它可以在教育领域或任何需要精确数学计算的场合中发挥作用。 文档和文字处理：该模型还能处理和生成文本内容，适用于文档摘要、自动报告生成和内容创作等应用。它可以从大量的文本资料中提取关键信息，生成结构化和有洞察力的输出。 Grok-1.5V根据流程图生成代码 如何使用Grok-1.5V？ 目前，Grok-1.5V 还没有完全开放，但会很快提供给早期测试者和现有的 Grok 用户。 了解更多详情：https://x.ai/blog/grok-1.5v Grok-1.5V的推出是向理解和生成多模态内容迈出的重要一步，预计在未来几个月内，它在图像、音频和视频等多种模态上的理解和生成能力都将得到显著提升。

Grok-1.5V：xAI发布的多模态AI大模型

温馨提示：

文章标题：自从 2023 年 11 月 Grok 首次亮相以来，马斯克的 xAI 正在大模型领域不断取得进步，向 OpenAI 等先行者发起进攻。在 Grok-1 开源后不到一个月，xAI 的首个多模态模型Grok-1.5V就问世了。 Grok-1.5V是什么？ Grok-1.5V是一个由马斯克旗下公司xAI发布的全新多模态AI大模型，它不仅具备强大的文本处理能力，还可以处理各种视觉信息，如文档、图表、截图和照片。这使得Grok-1.5V能够在多学科推理、理解科学图表、阅读文本和实现真实世界的空间理解等领域与现有的前沿多模态模型竞争。 Grok-1.5V的主要特性 强大的多模态能力：Grok-1.5V不仅在处理文本方面表现出色，还能理解和处理广泛的视觉信息，如文档、图表、截图和照片。这种能力使它能够在多个领域内执行复杂的任务，提供更全面的解决方案。 竞争力强的基准表现：在多个前沿模型的基准测试中，Grok-1.5V展现了卓越的性能。它在多学科推理、数学问题解决、图表解析和文档理解等方面与其他顶尖模型竞争，显示出其广泛的应用潜力。 先进的实世界理解：特别引入的RealWorldQA基准针对真实世界的空间理解进行测评，Grok-1.5V在这一基准中表现优异，超越了多数同类模型。这表明它能有效理解并处理与真实世界互动相关的复杂场景和问题。 零样本学习能力：Grok-1.5V在未经特定训练的情况下，也能展现出良好的性能。这种能力使其能够灵活适应新的任务和挑战，而不需要针对每一种情况进行专门的训练。 多样的输入处理：该模型能够处理来自不同领域和格式的输入，无论是科学图表、复杂文档还是现实世界的图片，都能被有效解析和理解。这使得Grok-1.5V特别适合需要处理大量不同类型数据的应用。 Grok-1.5V 与 GPT-4V、Claude 3Sonnet、Claude 3 Opus 和 Gemini Pro 1.5 的测试对比。 Grok-1.5V 应用场景 xAI在博客中展示了 Grok-1.5V 的几个应用示例： 科学图表理解：Grok-1.5V能够解析复杂的科学图表，并从中提取关键信息。这使得模型可以在学术研究或数据分析中应用，帮助用户理解和解释图表中的数据趋势和关系。 多学科推理：该模型在处理涉及多个学科的复杂问题时表现出色，例如可以同时理解物理、生物和化学的概念，并将这些知识应用于解决跨学科的问题。 真实世界的空间理解：通过RealWorldQA基准测试，Grok-1.5V展示了其对真实世界图像的高度理解能力。例如，它能分析城市街景的图片，识别和解释路标、建筑和其他重要元素。 数学问题解决：Grok-1.5V可以解决复杂的数学问题，包括但不限于代数、几何和统计问题。这一能力使得它可以在教育领域或任何需要精确数学计算的场合中发挥作用。 文档和文字处理：该模型还能处理和生成文本内容，适用于文档摘要、自动报告生成和内容创作等应用。它可以从大量的文本资料中提取关键信息，生成结构化和有洞察力的输出。 Grok-1.5V根据流程图生成代码 如何使用Grok-1.5V？ 目前，Grok-1.5V 还没有完全开放，但会很快提供给早期测试者和现有的 Grok 用户。 了解更多详情：https://x.ai/blog/grok-1.5v Grok-1.5V的推出是向理解和生成多模态内容迈出的重要一步，预计在未来几个月内，它在图像、音频和视频等多种模态上的理解和生成能力都将得到显著提升。

文章链接：https://yuntunft.cn/49354.html

更新时间：2024年07月02日

AI大模型多模态模型
猜你喜欢

商量拟人大模型是什么？ 商汤商量拟人大模型是商汤科技推出的AI角色对话大模型，支持个性化角色创建与定制、知识库构建、长对话记忆、多人群聊等功能,可实现行业领先的角色对话、人设、及剧情推动能力，广泛应用于情感陪伴、影视/动漫/网文IP角色、明星/网红/艺人AI分身、语言角色扮演游戏等拟人对话场景。 官网链接：https://character.sensetime.com/ 商量拟人大模型的主要功能 角色创建与定制：用户可以自定义AI角色的基本信息、详细设定、对话风格和开场白等，创建独特的虚拟人物。 知识库构建：平台支持行业领先的知识库构建，使AI角色能够精确回复与其角色设定、人物关系、世界观、剧情事件相关的内容。 长对话记忆：AI角色能够记住几十轮以上的历史对话内容，提供连贯且个性化的对话体验。 多人群聊功能：支持三人及以上的群聊对话，AI角色能识别自我身份及人物关系，并逻辑地推动剧情发展。 角色亲密度：支持设置不同档位的对话亲密度，使AI角色可在不同阶段给予用户不同对话体验。 商量拟人大模型的应用场景 情感陪伴：通过与虚拟伴侣、友人、情绪树洞等角色对话，用户可以获得情感沟通与陪伴，帮助排解孤独感，消磨时间。 影视/动漫/网文IP角色互动：用户可以与热门影视、动漫、网络文学作品中的IP角色进行互动，获得沉浸式体验，同时帮助版权方提升用户粘性和IP变现。 明星/网红/艺人AI分身：粉丝可以与明星、网红、艺人的AI分身进行对话，获得专属且及时的亲密互动，帮助经纪公司提升粉丝运营质量及效率。 语言角色扮演游戏：玩家可以在庞大的世界观下扮演特定角色，与各角色互动推进剧情，展开冒险。 商量拟人大模型通过模拟真实的人际互动，为用户带来了多样化的虚拟社交和娱乐体验，同时为企业和内容创作者提供了新的互动和变现途径。

052

目录 Toggle OPPO AndesGPT是什么？ OPPO AndesGPT可以做什么？ OPPO AndesGPT适用人群 OPPO AndesGPT是什么？ 11 月 16 日，在2023 OPPO开发者大会上，OPPO 正式推出了自主训练的大模型 AndesGPT。AndesGPT有三大类规格：AndesGPT-Tiny、AndesGPT-Turbo和AndesGPT-Titan，可涵盖十亿至千亿以上多种不同参数规模的模型规格，根据不同场景智能调度。 据介绍，AndesGPT 拥有对话增强、个性专属和端云协同三大技术特征，对于大模型带来的变革，OPPO 认为体现在四个方面：知识、 记忆、工具和创作。 在知识能力方面，AndesGPT 融合了知识图谱及通用搜索能力，为用户提供更专业的问答。通过知识增强技术，将外部知识与模型融合生成结果，降低幻觉。 在记忆能力方面，AndesGPT 实现长期记忆机制，以支持无限长度的上下文和有状态服务。而长期记忆带来首字推理延迟这个技术挑战。为了解决该难题，OPPO 研发了一种注意力算 法命名为 SwappedAttention。SwappedAttention 能够在多轮长上下文对话中，有效降低每个 query 的首字推理时长。其核心技术原理是，通过外部存储和 KV 压缩的方式实现会话级 KV 缓存。结合 PagedAttention 算法一起使用，能够带来 50%的首字延迟降低，以及 30%的推理吞吐提升。 工具使用也是 AndesGPT 一项核心能力，更好的理解设备控制与服务 API，端到端生成可执行指令。 目前 AndesGPT 已支持使用系统设置、一方应用、三方服务、代码解释器等各类工具。 在创作方面，AndesGPT 已全面支持文生图与图生图场景。 AndesGPT模型在SuperCLUE测评基准的排行榜上表现出色，特别是在“知识与百科”能力测试中，得分高达98.33，仅次于GPT4，排名国内第一。 OPPO AndesGPT可以做什么？ OPPO AndesGPT的主要功能是提升对话能力，尤其是在与智能助理核心应用场景的结合上。它通过引入高质量的知识图谱和问答数据，以及对预训练和指令精调技术的优化，显著提高了模型在知识和百科方面的覆盖面和准确性。AndesGPT将被用于加强OPPO智能助手小布的AI能力，并逐步应用于更多OPPO核心产品中。 OPPO AndesGPT适用人群 OPPO AndesGPT主要适用于使用OPPO智能设备的用户。这包括那些需要高效、准确的语音助手服务的用户，特别是那些依赖智能手机进行日常任务和信息查询的人。 随着技术的进一步整合和发展，AndesGPT可能会扩展到更广泛的用户群体，包括企业用户和开发者，他们可以利用这种高级AI技术来提升产品和服务的智能化水平。

023

什么是千穰大模型？ 近日，航旅纵横发布了首个民航领域垂直大模型 —— 千穰大模型。该大模型基于Transformer架构，构建了10亿、100亿、300亿等多种参数模型，融合了视觉大模型、语言大模型、多模态大模型和计算大模型，通过强大的人工智能技术，为民航产业的数智化建设和旅客的智慧出行提供支持。 千穰大模型可以做什么？ 千穰大模型具有智能问答和民航搜索的能力，能够提供准确的实时民航信息和解答旅客的出行问题。千穰还提供全场景的数智化解决方案，包括机坪机位、航站楼和旅客服务等多个场景。通过千穰的应用，民航产业的运行效率和服务质量将得到显著提升。 同时，千穰还能跨模态理解图文信息，实现人机之间的畅通无阻的交流。 如何体验千穰大模型？ 千穰已经在航旅纵横 App 上落地，并为航旅纵横 Plus 会员提供服务。千穰也正在为越来越多的旅客、民航从业者，航空公司、机场、管理机构等行业主体提供创新应用和全面支持。 此外，千穰还为机场的机坪、机位保障和航站楼等场景提供智能化解决方案，提高飞机进出场的安全和运行效率。千穰还可以用于旅客满意度分析、行业智能客服和多模态点评感知等服务。

024

Ferret是什么？ Ferret是苹果公司开发的端到端机器学习语言模型，Ferret不仅可以准确识别图像并描述其内容，还能够识别和定位图像中的各种元素，无论你用怎样的方式描述图像内容，Ferret都能准确地在图像中找到并识别出来。Ferret结合了混合区域表示和空间感知的视觉采样器，使得在MLLM中实现细粒度和开放词汇的指代和定位成为可能。 Ferret拥有7B和13B两个版本，为了增强 Ferret 模型的能力，苹果特别收集了一个包含1.1M个样本的GRIT 数据集。 GitHub：https://github.com/apple/ml-ferret 论文：https://arxiv.org/abs/2310.07704 Ferret的主要功能和特点 Ferret能够理解和处理图像与文本之间的复杂关系。这个模型的特别之处在于它能够识别和定位图像中的各种元素，无论这些元素是什么形状或大小。 多模态理解：Ferret结合了自然语言处理和计算机视觉技术，能够理解复杂的语言指令，并在图像中找到具体的物体或区域。 细粒度定位：它能够在非常精确的层面上，根据文字描述在图片中定位和识别物体，甚至是图片中的一小部分。 开放词汇的应用：Ferret支持开放词汇的处理，这意味着它能够理解和响应各种各样的、未预先定义的语言表达。 大规模数据集：它使用了一个名为GRIT的大规模数据集，这个数据集包含了大量的实例，用于训练和提高模型的准确性和效率。 多模态评估基准：Ferret-Bench是一个综合性的评估工具，用于测试模型在理解语言、图像处理、知识获取和逻辑推理等多个方面的能力。 适用于复杂任务：Ferret特别适合于需要综合处理语言和视觉信息的复杂任务，如自动图像标注、智能搜索和内容创建等。 灵活性和适应性：由于其开放词汇和细粒度处理的能力，Ferret在多种场景下都有很好的适应性和应用潜力。 Ferret适用场景 由于Ferret强大的图像和文本处理能力，Ferret 适用于多种应用场景，包括图像搜索、自动图像标注、交互式媒体探索等。 Ferret适用人群 Ferret适合机器学习研究人员、开发者和任何对先进的自然语言处理和计算机视觉技术感兴趣的人。它特别适用于那些在自然语言理解、图像处理和多模态机器学习领域工作的专业人士。

030
❯
搜索

  • 扫码打开当前页

返回顶部