今天在网上到处瞎逛的时候，我发现了一款好东西，能让普通人也能够使用AI，无需复杂的配置。更神奇的是，它居然可以兼容我的AMD RX580，运行起来非常流畅。
\
这是这个工具的全部截图。操作极其简单，如果要运行什么，会提示你去下载模型，下载模型会自动下载，为了节约大伙的时间，我已经把模型全部放在压缩包里面了。基本就实现了解压即可使用，下面看下我随便问几个问题。
但是运行还是很流畅，感觉很作为平时AI助手一类来提升工作效率了，比我之前分享的那些还是要强一些，主要是操作极其方面。配置要求不高，无需设置各种复杂的参数，基本有手就行。而且很人性化，有很多参数可以实现微调，以更好的达到所需要求。如果自己的硬件允许的情况下，至少要3B起步，低于3b的感觉就很弱智了。如果你英文不是很好的，最好是选择中文模型，这样回复你的时候也是中文。带有cn字样的就是中文模型。我也是初次接触这个工具，
这个项目开源地址 https://github.com/josStorer/RWKV-Runner
下面是这个项目的一些介绍
本项目旨在消除大语言模型的使用门槛，全自动为你处理一切，你只需要一个仅仅几MB的可执行程序。此外本项目提供了与OpenAI API兼容的接口，这意味着一切ChatGPT客户端都是RWKV客户端。
RWKV模型管理，一键启动
前后端分离，如果你不想使用客户端，也允许单独部署前端服务，或后端推理服务，或具有WebUI的后端推理服务。 简明服务部署示例 | 服务器部署示例
与OpenAI API兼容，一切ChatGPT客户端，都是RWKV客户端。启动模型后，打开 http://127.0.0.1:8000/docs 查看API文档
全自动依赖安装，你只需要一个轻巧的可执行程序
预设多级显存配置，几乎在各种电脑上工作良好。通过配置页面切换Strategy到WebGPU，还可以在AMD，Intel等显卡上运行
自带用户友好的聊天，续写，作曲交互页面。支持聊天预设，附件上传，MIDI硬件输入及音轨编辑。预览 | MIDI硬件输入
内置WebUI选项，一键启动Web服务，共享硬件资源
易于理解和操作的参数配置，及各类操作引导提示
内置模型转换工具
内置下载管理和远程模型检视
内置一键LoRA微调 (仅限Windows)
也可用作 OpenAI ChatGPT, GPT Playground, Ollama 等服务的客户端 (在设置内填写API URL和API Key)
多语言本地化
主题切换
自动更新
下面是一些简单使用说明
准备启动环境
首次打开 RWKV Runner 软件时，点击“运行”按钮，软件会提示你缺失 Python 等依赖项。
跟随软件的引导点击 “安装”，RWKV Runner 会为你自动下载并安装所需的文件。
下载完成并启动 RWKV Runner 后，放置 RWKV Runner 的文件夹应该会具有以下标准的离线环境目录：
启动环境只需在首次启动 RWKV Runner 时配置一次。
对于 Mac 和 Linux 用户，请手动安装 Python3.10 (通常最新的系统已经内置了)。此外，你可以在设置中指定使用的 Python 解释器。
模型配置与运行
完成启动环境的配置后，我们可以开始下一步：配置、下载并运行 RWKV 模型。
为了照顾新手用户，RWKV Runner 内置了一系列预设模型配置，以降低使用难度。
例如 GPU-8G-3B-CN，表示该配置用于 Nvidia 显卡，需要 8G 显存，模型规模为 30 亿参数，使用的是中文模型。
模型的规模越大，理论上的任务效果会更好，但对设备的内存、显存等性能要求也会更高。
如果你使用 NVIDIA（英伟达）的显卡，可以选择“GPU” 前缀的预设模型配置。
如果你使用的是 AMD 或 Intel 的显卡，请选择 “CPU” 或“AnyGPU” 前缀的预设模型配置。
选择一项预设的模型配置后，点击右下角的 运行 按钮，即可运行对应的模型。
如果你尚未拥有该预设配置所需的 RWKV 模型，请点击弹窗的“下载”按钮，系统将自动为你下载对应的模型文件。
（如果模型下载失败或无响应，请勾选使用Huggingface镜像源）
迅雷网盘
提取码复制
解压码复制
夸克网盘
提取码复制
解压码复制
百度网盘
提取码复制
解压码复制