当前位置:首页AI对话聊天ChatGLM

ChatGLM

文章目录[隐藏]

ChatGLM

更新时间:2023/05/25

访问官网

ChatGLM-130B是由AI编程助手「CodeGeex」背后的智谱AI团队开发的1300亿参数的开源的、支持中英双语的对话语言模型。

GLM-130B是一个开源开放的双语(中文和英文)双向稠密模型,拥有1300亿参数,模型架构采用通用语言模型(GLM1)。它旨在支持在一台A100(40G*8)或V100(32G*8)服务器上对千亿规模参数的模型进行推理。截至2022年7月3日,GLM-130B已完成4000亿个文本标识符(中文和英文各2000亿)的训练,它有以下独特优势:

  • 双语:同时支持中文和英文。
  • 高精度(英文):在LAMBADA上优于GPT-3175B(+4.0%)、OPT-175B(+5.5%)和BLOOM-176B(+13.0%),在MMLU上略优于GPT-3175B(+0.9%)。
  • 高精度(中文):在7个零样本CLUE数据集(+24.26%)和5个零样本FewCLUE数据集(+12.75%)上明显优于ERNIETITAN3.0260B。
  • 快速推理:支持用一台A100服务器使用SAT和FasterTransformer进行快速推理(提速最高可达2.5倍)。
  • 可复现性:所有结果(超过30个任务)均可通过我们的开源代码和模型参数轻松复现。
  • 跨平台:支持在NVIDIA、HygonDCU、Ascend910和Sunway处理器上进行训练与推理。

 

,https://chatglm.cn/

温馨提示:

文章标题:ChatGLM

文章链接:https://yuntunft.cn/16616.html

更新时间:2024年10月12日

搜索