当前位置：首页AI视频Grok-1是什么？ Grok-1是马斯克旗下AI公司xAI发布的开源AI大模型，其参数量达到了3140亿，远超OpenAI GPT-3.5的1750亿。这是迄今参数量最大的开源大语言模型，遵照Apache 2.0协议开放模型权重和架构。 Grok-1是一个混合专家（Mixture-of-Experts，MOE）大模型，这种MOE架构重点在于提高大模型的训练和推理效率，形象地理解，MOE就像把各个领域的“专家”集合到了一起，遇到任务派发给不同领域的专家，最后汇总结论，提升效率。决定每个专家做什么的是被称为“门控网络”的机制。 Grok-1模型的公开发布，为研究人员和开发者提供了一个新的大型语言模型资源。 Grok-1的主要特性 xAI还特别强调了Grok-1的几大特性： 首先，Grok-1是一个未针对特定任务进行微调的基础模型，它基于大量文本数据训练而成； 其次，作为一款基于混合专家技术构建的大语言模型，Grok-1拥有3140亿参数，在处理每个token时有25%的权重处于活跃状态； 最后，Grok-1是xAI团队使用JAX和Rust编程语言自定义训练栈从零开始训练的成果，训练完成于2023年10月。 Grok-1的技术参数 基础信息： 模型大小：3140亿参数，其中混合了8名专家（2名活跃）活动参数：860亿特色技术：使用旋转嵌入（Rotary Embeddings，简称#rope），而非固定位置嵌入 模型结构细节: 分词器词汇量：131,072（与GPT-4相似），即2^17嵌入尺寸：6,144（48*128）架构层数：64层变压器层每层结构：包含一个解码器层，具有多头注意力块和密集块键值大小：128 多头注意力块: 查询头数量：48键/值（KV）头数量：8KV大小：128密集块（Dense Block）: 加宽系数：8隐藏层大小：32,768每个代币从8名专家中选择2名 旋转位置嵌入:尺寸：6,144，与模型的输入嵌入大小相同上下文长度：8,192个标记精度：bf16 如何使用Grok-1？ xAI已经将Grok-1的权重和架构在GitHub上开源。 GitHub地址：https://github.com/xai-org/grok-1

Grok-1是什么？ Grok-1是马斯克旗下AI公司xAI发布的开源AI大模型，其参数量达到了3140亿，远超OpenAI GPT-3.5的1750亿。这是迄今参数量最大的开源大语言模型，遵照Apache 2.0协议开放模型权重和架构。 Grok-1是一个混合专家（Mixture-of-Experts，MOE）大模型，这种MOE架构重点在于提高大模型的训练和推理效率，形象地理解，MOE就像把各个领域的“专家”集合到了一起，遇到任务派发给不同领域的专家，最后汇总结论，提升效率。决定每个专家做什么的是被称为“门控网络”的机制。 Grok-1模型的公开发布，为研究人员和开发者提供了一个新的大型语言模型资源。 Grok-1的主要特性 xAI还特别强调了Grok-1的几大特性： 首先，Grok-1是一个未针对特定任务进行微调的基础模型，它基于大量文本数据训练而成； 其次，作为一款基于混合专家技术构建的大语言模型，Grok-1拥有3140亿参数，在处理每个token时有25%的权重处于活跃状态； 最后，Grok-1是xAI团队使用JAX和Rust编程语言自定义训练栈从零开始训练的成果，训练完成于2023年10月。 Grok-1的技术参数 基础信息： 模型大小：3140亿参数，其中混合了8名专家（2名活跃）活动参数：860亿特色技术：使用旋转嵌入（Rotary Embeddings，简称#rope），而非固定位置嵌入 模型结构细节: 分词器词汇量：131,072（与GPT-4相似），即2^17嵌入尺寸：6,144（48*128）架构层数：64层变压器层每层结构：包含一个解码器层，具有多头注意力块和密集块键值大小：128 多头注意力块: 查询头数量：48键/值（KV）头数量：8KV大小：128密集块（Dense Block）: 加宽系数：8隐藏层大小：32,768每个代币从8名专家中选择2名 旋转位置嵌入:尺寸：6,144，与模型的输入嵌入大小相同上下文长度：8,192个标记精度：bf16 如何使用Grok-1？ xAI已经将Grok-1的权重和架构在GitHub上开源。 GitHub地址：https://github.com/xai-org/grok-1

Grok-1：马斯克xAI发布的开源AI大模型，可商用

温馨提示：

文章标题：Grok-1是什么？ Grok-1是马斯克旗下AI公司xAI发布的开源AI大模型，其参数量达到了3140亿，远超OpenAI GPT-3.5的1750亿。这是迄今参数量最大的开源大语言模型，遵照Apache 2.0协议开放模型权重和架构。 Grok-1是一个混合专家（Mixture-of-Experts，MOE）大模型，这种MOE架构重点在于提高大模型的训练和推理效率，形象地理解，MOE就像把各个领域的“专家”集合到了一起，遇到任务派发给不同领域的专家，最后汇总结论，提升效率。决定每个专家做什么的是被称为“门控网络”的机制。 Grok-1模型的公开发布，为研究人员和开发者提供了一个新的大型语言模型资源。 Grok-1的主要特性 xAI还特别强调了Grok-1的几大特性： 首先，Grok-1是一个未针对特定任务进行微调的基础模型，它基于大量文本数据训练而成； 其次，作为一款基于混合专家技术构建的大语言模型，Grok-1拥有3140亿参数，在处理每个token时有25%的权重处于活跃状态； 最后，Grok-1是xAI团队使用JAX和Rust编程语言自定义训练栈从零开始训练的成果，训练完成于2023年10月。 Grok-1的技术参数 基础信息： 模型大小：3140亿参数，其中混合了8名专家（2名活跃）活动参数：860亿特色技术：使用旋转嵌入（Rotary Embeddings，简称#rope），而非固定位置嵌入 模型结构细节: 分词器词汇量：131,072（与GPT-4相似），即2^17嵌入尺寸：6,144（48*128）架构层数：64层变压器层每层结构：包含一个解码器层，具有多头注意力块和密集块键值大小：128 多头注意力块: 查询头数量：48键/值（KV）头数量：8KV大小：128密集块（Dense Block）: 加宽系数：8隐藏层大小：32,768每个代币从8名专家中选择2名 旋转位置嵌入:尺寸：6,144，与模型的输入嵌入大小相同上下文长度：8,192个标记精度：bf16 如何使用Grok-1？ xAI已经将Grok-1的权重和架构在GitHub上开源。 GitHub地址：https://github.com/xai-org/grok-1

文章链接：https://yuntunft.cn/48956.html

更新时间：2024年07月01日

给TA打赏
共{{data.count}}人
人已打赏
AI大模型xAI开源模型
猜你喜欢

AIHub 最新消息 12月26日，深言科技“语鲸大模型”正式通过《生成式人工智能服务管理暂行办法》备案，将陆续面向社会公众开放服务。那么语鲸大模型是什么，可以做什么，如何使用呢，一起来看看。 语鲸大模型是什么？ LingoWhale-8B是由深言科技推出的语鲸系列大模型中首个开源的中英双语大语言模型，拥有约80亿参数，在数万亿token的高质量中英数据上进行预训练，具有强大的基础能力，在多个公开评测基准上均达到领先效果。在预训练阶段，模型使用8K的上下文长度进行训练，能够完成更长上下文的理解和生成任务。 语鲸大模型可以做什么？ “语鲸大模型”具备强大的语义理解与文本生成、代码理解与生成、逻辑推理等能力，提供文本创作、数学计算、代码补全等服务，在中文理解和生成能力上行业领先，做到了更懂中文，更懂中文使用场景。 以下是深言科技提供的测试样例： 语鲸大模型测评结果 语鲸大模型在各种公开评测基准上进行了测试，比如 C-Eval、MMLU 和 CMMLU。这些评估基准提供了标准化的测试和度量，用于评估语言模型在不同任务和领域上的性能和能力。 语鲸大模型在多个公开评测基准上取得了领先效果。评测方法和测评结果如下表所示： Model C-Eval MMLU CMMLU GAOKAO HumanEval GSM8K BBH AGIEval 5-shot 5-shot 5-shot 5-shot 0-shot 8-shot 3-shot 5-shot GPT-4 68.4 83.9 70.3 66.2 69.5 90.0 75.1 63.3 GPT-3.5 Turbo 51.1 68.5 54.1 47.1 52.4 57.8 61.6 46.1 LLaMA2-7B 28.9 45.7 31.4 26.0 12.8 16.2 39.2 26.5 ChatGLM2-6B* 51.7 47.9 - - - 32.4 33.7 - Baichuan2-7B-Base* 54.0 54.2 57.1 47.5 18.3 24.5 41.6 42.7 Qwen-7B v1.1* 63.5 58.2 62.2 - 29.9 51.7 45.0 - LingoWhale-8B-base 63.6 60.2 62.8 50.3 32.9 55.0 47.5 43.8 *表示其模型结果来自于官方， 所有的结果都精确到小数点后1位。 如何使用语鲸大模型？ 语鲸大模型模型已经开源，供学术研究免费使用，商业用途需要通过申请获取授权。 在开源模型权重的同时，语鲸大模型也提供了符合用户习惯的Huggingface推理接口以及LoRA等参数高效微调示例，便于开发者快速使用LingoWhale-8B模型。 开源地址： GitHub：https://github.com/DeepLangAI/LingoWhale-8B Huggingface：https://huggingface.co/deeplang-ai/LingoWhale-8B ModelScope：https://www.modelscope.cn/models/DeepLang/LingoWhale-8B Wisemodel：https://wisemodel.cn/models/DeepLang/LingoWhale-8B 若你期望将此源模型或其衍生品用作商业用途，请填写问卷进行申请，通过后即可免费商用。 关于深言科技 深言科技官网：https://deeplang.ai/ 深言科技（DeepLang AI）由清华大学计算机系自然语言处理实验室（THUNLP）与北京智源人工智能研究院（BAAI）共同孵化，是国内最早开展大模型研发与探索大模型落地的创业公司之一。 公司创始团队曾深度参与智源·悟道大模型的研发，目前已发布产品包括世界首个中文及跨语言反向词典WantWords、名句语义检索系统WantQuotes、智能写作工具深言达意等，已为超过800万用户提供智能文本信息处理服务。 公司成立以来已获得多项荣誉，包括入选《中国企业家》大模型新锐9名单、中国最具价值 AGI 创新机构 TOP 50、第十一届中国创新创业大赛（初创组）优秀企业等，并已入选北京市通用人工智能产业创新伙伴计划。

066

目录 Toggle OPPO AndesGPT是什么？ OPPO AndesGPT可以做什么？ OPPO AndesGPT适用人群 OPPO AndesGPT是什么？ 11 月 16 日，在2023 OPPO开发者大会上，OPPO 正式推出了自主训练的大模型 AndesGPT。AndesGPT有三大类规格：AndesGPT-Tiny、AndesGPT-Turbo和AndesGPT-Titan，可涵盖十亿至千亿以上多种不同参数规模的模型规格，根据不同场景智能调度。 据介绍，AndesGPT 拥有对话增强、个性专属和端云协同三大技术特征，对于大模型带来的变革，OPPO 认为体现在四个方面：知识、 记忆、工具和创作。 在知识能力方面，AndesGPT 融合了知识图谱及通用搜索能力，为用户提供更专业的问答。通过知识增强技术，将外部知识与模型融合生成结果，降低幻觉。 在记忆能力方面，AndesGPT 实现长期记忆机制，以支持无限长度的上下文和有状态服务。而长期记忆带来首字推理延迟这个技术挑战。为了解决该难题，OPPO 研发了一种注意力算 法命名为 SwappedAttention。SwappedAttention 能够在多轮长上下文对话中，有效降低每个 query 的首字推理时长。其核心技术原理是，通过外部存储和 KV 压缩的方式实现会话级 KV 缓存。结合 PagedAttention 算法一起使用，能够带来 50%的首字延迟降低，以及 30%的推理吞吐提升。 工具使用也是 AndesGPT 一项核心能力，更好的理解设备控制与服务 API，端到端生成可执行指令。 目前 AndesGPT 已支持使用系统设置、一方应用、三方服务、代码解释器等各类工具。 在创作方面，AndesGPT 已全面支持文生图与图生图场景。 AndesGPT模型在SuperCLUE测评基准的排行榜上表现出色，特别是在“知识与百科”能力测试中，得分高达98.33，仅次于GPT4，排名国内第一。 OPPO AndesGPT可以做什么？ OPPO AndesGPT的主要功能是提升对话能力，尤其是在与智能助理核心应用场景的结合上。它通过引入高质量的知识图谱和问答数据，以及对预训练和指令精调技术的优化，显著提高了模型在知识和百科方面的覆盖面和准确性。AndesGPT将被用于加强OPPO智能助手小布的AI能力，并逐步应用于更多OPPO核心产品中。 OPPO AndesGPT适用人群 OPPO AndesGPT主要适用于使用OPPO智能设备的用户。这包括那些需要高效、准确的语音助手服务的用户，特别是那些依赖智能手机进行日常任务和信息查询的人。 随着技术的进一步整合和发展，AndesGPT可能会扩展到更广泛的用户群体，包括企业用户和开发者，他们可以利用这种高级AI技术来提升产品和服务的智能化水平。

023

AIChat介绍 AIChat是一款非常优秀的AI人工智能助手，它可以解决我们所有想知道的问题，还可以根据我们的需求自动写论文、写小说、写代码、写文案等等，同时还可以扮演各种各样的角色与我们进行对话，还可以讲故事、陪聊天，还可以对我们提供各种建议。 官网地址：https://dmla.lanzoui.com/b05qhd1ad 亮点1 软件使用非常简单，如下图所示，我们只需要在软件主页中输入问题，它就会根据我们的问题进行回复，比如我们输入厦门旅游攻略，它会立马给我们推荐好玩的景点、好吃的美食以及购物的好去处，堪称一条龙服务，非常完美！ 亮点2 软件中还内置了非常强大的插件库，包含了非常多实用的功能，比如AI语音合成、PDF文档AI翻译、AI真人语音合成、AI论文模式、AI一键生成PPT等等，真的非常强大，完全释放放手！ 亮点3 不论是学生还是职场工作者，经常都需要搞PPT，写工作总结或者策划方案等，是不是非常的头疼？有了这款AI工具完全不用操心，直接输入想要制作的PPT标题，完全一键生成PPT文档，同时还有非常多的模版选择，全自动操作，太方便了！ 亮点4 看到这里是不是感觉很牛逼？别急，还有更牛逼的，下面带大家看看它的AI绘图功能，主要分为文生图和图生图功能，如下图所示，文生图就是我们输入一些文字描述，它根据我们的描述自动生成我们想要的图片，比如我输入：一个美女正在吃饭；输入描述以后，我们选择想要的图片模型，这里有美女写真、二次元动漫、游戏3D角色、真实写真、艺术相片、卡通动漫等等，大家可以自行选择使用！ 亮点5 图生图功能也很好理解，就是根据我们上传的图片，然后输入图片的文字描述，选择图片模型即可一键生成我们想要的图片，同时软件中还包含了艺术二维码生成功能，效果非常赞，大家可以自行使用体验！ 亮点6 该软件的功能非常多，在软件功能界面中，我们可以看到，这里包含了非常多的AI功能，覆盖了工作、学习和生活方面，它还可以写代码、创作诗歌、产品策划、写脚本、陪聊天、问题探讨、扮演各种角色等等！是目前为止最强大的AI神器！ 亮点7 软件中提供了很多的提示示例，如下图所示，可以更好的指引大家操作该软件为自己解决问题，解决工作问题、学习问题，提高效率！ 亮点8 来到软件模型界面中，这里还有很多官方推荐的AI模型以及网友分享的AI模型，它可以扮演任意角色解决我们的各种问题，可以是游戏大神、也可以是律师、医生、老师、顾问等等！ 亮点9 当它是老师时，我们可以请教所有关于学术的相关问题，它都会为我们解答，当它是厨师时，我们可以咨询一些关于炒菜做饭的问题，当它是老师时，我们可以询问一切关于学习的问题等等！软件中还有很多非常牛逼的功能，大家可以自行下载体验哦！！！ 软件下载 官网地址：https://dmla.lanzoui.com/b05qhd1ad

056

TripoSR是什么？ TripoSR是由Stability AI 和国内AI企业VAST合作开源的快速3D物体重建模型，能在1秒内从单张2D图像快速生成高质量的3D模型。 这项技术利用先进的人工智能算法，通过分析图片内容，自动创建出相应的三维模型。TripoSR的目标是简化3D建模过程，使得用户即使没有专业的3D建模技能，也能够轻松地从现有的2D图像中创建出3D内容。 TripoSR的主要特性： TripoSR的主要功能是将单张2D图片转换成3D对象。以下是其核心功能： 3D对象生成：从用户提供的2D图片中自动创建三维模型。这包括识别图片中的对象、提取其形状和特征，并构建相应的3D几何结构。 快速转换：TripoSR能够迅速处理图像并生成3D模型，大大减少了传统3D建模所需的时间和资源。 用户友好的操作：简化了3D建模的复杂性，使得没有专业3D建模经验的用户也能轻松使用。 高质量渲染：尽管生成过程快速，但TripoSR仍然注重输出的3D模型质量，确保模型的细节和真实感。 广泛的应用场景：生成的3D对象可以应用于多种领域，如游戏开发、动画制作、虚拟现实（VR）、增强现实（AR）、电影特效、产品设计等。 适应多种图像：TripoSR能够处理各种类型的2D图片，包括静态图像和具有一定复杂性的图像。 易于集成：TripoSR可能提供API或其他接口，方便开发者将其集成到现有的工作流程或应用程序中。 这些功能使得TripoSR成为一个强大的工具，它不仅提高了3D内容创作的效率，也为那些需要快速生成3D模型的用户提供了便利。 TripoSR的应用场景 TripoSR的应用场景非常广泛，涵盖了多个行业和领域。以下是一些主要的应用场景： 游戏开发：游戏设计师可以使用TripoSR快速将概念艺术或参考图片转换成3D游戏资产，加速游戏开发过程。 电影和动画制作：电影制作人员可以利用TripoSR从静态图片创建3D角色、场景和道具，用于电影特效或动画制作。 建筑和城市规划：建筑师和城市规划者可以基于现有的2D蓝图或照片，快速生成3D建筑模型，用于可视化和模拟。 产品设计：设计师可以利用TripoSR将2D设计图转换成3D模型，用于产品原型制作、测试和展示。 虚拟现实（VR）和增强现实（AR）：开发者可以创建3D虚拟对象和环境，用于VR游戏、教育应用或AR体验。 教育和培训：教师和培训师可以创建3D教学模型，用于科学、工程和医学等领域的教育。 电子商务：零售商可以使用TripoSR为产品创建3D展示，提供更加生动的在线购物体验。 艺术和创作：艺术家和创作者可以利用TripoSR将他们的2D作品转换成3D形式，探索新的艺术表达方式。 数据可视化：数据分析师和科学家可以创建3D图表和模型，用于更直观地展示和分析数据。 历史复原：历史学家和考古学家可以利用TripoSR从历史照片或绘画中重建古代建筑和文物的3D模型。 TripoSR的这些应用场景展示了其在简化3D建模流程和提高创作效率方面的潜力。随着技术的进步，未来可能会出现更多创新的应用方式。 如何使用TripoSR？ TripoSR在低推理预算下运行，对没有GPU的用户完全可用。当在英伟达A100上测试时，它在大约0.5秒内生成草稿质量的3D输出（纹理网格），优于其他开放的图像转3D模型，如OpenLRM。在MIT许可下，TripoSR模型权重和源代码可下载，允许商业、个人和研究使用。 开源代码：https://github.com/VAST-AI-Research/TripoSR 模型权重：https://huggingface.co/stabilityai/TripoSR 技术报告：https://stability.ai/s/TripoSR_report.pdf

025

Gemma是什么？ Gemma是谷歌最新发布的一款轻量级开放模型，它采用了与创建Gemini模型相同的研究和技术，是一个小尺寸的大语言模型。Gemma是由Google DeepMind和Google其他团队合作开发的，并用拉丁语中意为“宝石”的gemma为其命名。 Gemma共有两个版本：Gemma 2B（20亿参数）和Gemma 7B（70亿参数），每种规模都提供了预训练和指令微调版本。这些模型尺寸相对较小，应用成本也更低，适合各种规模的组织（无论规模大小）进行商用和分发。未来，Gemma这个系列还会发布更大尺寸的模型。 在训练数据上，Gemma主要在大量英文文本数据上进行训练的，这些数据主要来源于网络文档、数学和代码。具体来说，Gemma 2B模型训练了大约2万亿（2T）个token，而Gemma 7B模型则训练了大约6万亿（6T）个token。 不过，Gemma没有接受过处理图像或视频等非文本数据的训练，也没有专门针对多语言任务进行优化。 为了方便开发者，谷歌不仅开源模型，还附带开发套装，包括全新的“负责任生成式AI工具包”，为基于Gemma开发安全的人工智能应用程序提供了必要指导和工具，以及跨主流框架（如JAX、PyTorch及原生Keras 3.0下的TensorFlow）的推理和监督微调（SFT）工具链。 各种设备也已经适配好。谷歌已经基于英伟达的GPUs和谷歌云TPUs等多个AI硬件平台，对Gemma进行优化，让模型可以直接在笔记本电脑或台式机上运行。 Gemma官网入口：https://ai.google.dev/gemma Gemma的主要特点 以下是Gemma模型的一些主要特点： 模型大小：Gemma提供了两种大小的模型权重，分别是Gemma 2B和Gemma 7B，每种大小都有预训练和指令调整（instruction-tuned）的变体。 负责任的生成AI工具包：Google发布了一个新的工具包，提供指导和必要工具，帮助开发者使用Gemma创建更安全的AI应用。 工具链支持：Gemma模型支持在所有主要框架（JAX、PyTorch和TensorFlow通过原生Keras 3.0）上进行推理和监督式微调（SFT）。 易用性：提供了预制的Colab和Kaggle笔记本，以及与Hugging Face MaxText、NVIDIA NeMo TensorRT-LLM等流行工具的集成，使得开始使用Gemma变得容易。预训练和指令调整的Gemma模型可以在笔记本电脑、工作站或Google Cloud上运行，并且可以轻松部署在Vertex AI和Google Kubernetes Engine（GKE）上。 性能优化：Gemma模型在多个AI硬件平台上进行了优化，包括NVIDIA GPU和Google Cloud TPUs，确保了行业领先的性能。 负责任的设计：Gemma在设计时遵循了Google的AI原则。为了确保预训练模型的安全和可靠性，Google使用了自动化技术从训练集中过滤掉某些个人信息和其他敏感数据。此外，通过人类反馈的强化学习（RLHF）对指令调整模型进行了广泛的微调，以确保模型行为的负责任性。Google还进行了包括手动红队测试、自动化对抗性测试和模型能力评估在内的严格评估。 跨框架、工具和硬件优化：Gemma模型可以在多种工具和系统上进行微调，以适应特定应用需求，如摘要或检索增强生成（RAG）。Gemma支持多种工具和系统，包括跨设备兼容性和与NVIDIA GPU的优化。 免费资源：为了支持开发者和研究人员，Google提供了Kaggle的免费访问、Colab笔记本的免费层级，以及首次使用Google Cloud的300美元信用额度。研究人员还可以申请高达50万美元的Google Cloud信用额度以加速他们的项目。 Google期待随着Gemma模型家族的扩展，将引入更多针对不同应用的新变体，并在接下来的几周内提供连接、学习和与Gemma共同构建的活动和机会。 Gemma的评测结果 在Gemma的技术报告中，谷歌放出了大量训练细节，其中就包括Llama-2的测试对比结果图，大多数指标都超过了Llama-2。 Gemma与Llama-2的测试对比结果图 在测试中，Gemma模型在18个文本任务中的11个上超越了同样规模的开放模型。它在问答、常识推理、数学和科学以及编程等领域表现出色。Gemma 7B模型在70亿参数规模的语言模型中表现最佳，甚至超过了一些参数量更大的模型。 Gemma模型在18个文本任务中的评测结果 而最近风头正盛，号称要做“欧洲版OpenAI”的MistralAI是开源领域的新势力，旗下的Mistral 7B被誉为是“最强7B模型”。 在问答、推理、数学/科学、代码场景里，Gemma的表现同样领先。 Gemma与Mistral 7B的评测结果 如何使用Gemma？ 1、个人用户体验地址：https://huggingface.co/chat，模型里选择Gemma即可体验。 2、开发者使用：Gemma提供了面向开发者的快速入门指南，开发者和研究人员可以通过ai.google.dev/gemma了解更多关于Gemma的信息，并获取快速入门指南。

021
❯

解锁会员权限

开通会员

解锁海量优质VIP资源

立刻开通
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索

  • 扫码打开当前页

返回顶部