chat-with-mlx：适合多语言环境下的数据交互和模型集成

chat-with-mlx应用支持多种语言和模型，可以处理文本文档、PDF、TXT文件以及YouTube视频链接，非常适合多语言环境下的数据交互和模型集成。

特性介绍

• 数据交流：支持处理doc(x)、pdf、txt文件和YouTube视频链接。
• 支持多语言：包括中文、英语、法语、德语、印地语、意大利语、日语、韩语、西班牙语、土耳其语和越南语。
• 模型集成简便：可以轻松集成任何兼容HuggingFace和MLX的开源模型。

安装和使用步骤

简易设置

1. 安装Pip。
2. 使用命令pip install chat-with-mlx进行安装。
3. 注意：如果你想在UI中添加自己的模型，这种设置方式相对困难，但它是测试应用的快速方法。

手动Pip安装

    
 

  
  复制
 
    
git clone https://github.com/qnguyen3/chat-with-mlx.git
cd chat-with-mlx
python -m venv .venv
source .venv/bin/activate
pip install -e .

git clone https://github.com/qnguyen3/chat-with-mlx.git<br />
cd chat-with-mlx<br />
python -m venv .venv<br />
source .venv/bin/activate<br />
pip install -e .<br />

手动Conda安装
    
 

  
  复制
 
    
git clone https://github.com/qnguyen3/chat-with-mlx.git
cd chat-with-mlx
conda create -n mlx-chat python=3.11
conda activate mlx-chat
pip install -e .

git clone https://github.com/qnguyen3/chat-with-mlx.git<br />
cd chat-with-mlx<br />
conda create -n mlx-chat python=3.11<br />
conda activate mlx-chat<br />
pip install -e .<br />

使用方法

启动应用：输入命令chat-with-mlx。

支持的模型
列出了支持的几种模型，如Google Gemma系列、Mistral系列和其他多种模型，适用于不同的语言和任务需求。
添加自定义模型
方案1

只需在chat_with_mlx/models/configs中添加一个简单的.yaml配置文件即可添加自己的模型。
示例配置文件内容如下：

    
 

  
  复制
 
    
original_repo: google/gemma-2b-it
mlx-repo: mlx-community/quantized-gemma-2b-it
quantize: 4bit
default_language: multi

original_repo: google/gemma-2b-it<br />
mlx-repo: mlx-community/quantized-gemma-2b-it<br />
quantize: 4bit<br />
default_language: multi<br />


添加配置后，模型将在应用内部自动加载。

方案2

与方案1类似，但如果模型下载较慢，你可以手动下载并添加到chat_with_mlx/models/download。

已知问题

需要在加载新模型前卸载旧模型，否则可能需要重启应用。
如果需要切换文件，必须手动停止索引，否则数据库将添加新文档。

为什么选择MLX？
MLX是苹果公司机器学习研究团队推出的一套机器学习框架，具有与NumPy相似的Python API和其他高级特性，如自动微分和向量化操作，支持多设备执行操作，并采用统一内存模型。


  ×


   直达下载
  

   


反爬虫抓取，人机验证，请输入验证码查看内容
     验证码：
     提交查看
请扫描上方公众号二维码，发送关键字：2024，获取验证码。
微信搜索公众号:“AI工具教程”或者“chatgpt8080” 或微信扫描右侧二维码关注微信公众号





                    

                        温馨提示：
                    
                    

                        
文章标题：chat-with-mlx：适合多语言环境下的数据交互和模型集成
                        
文章链接：https://yuntunft.cn/38366.html
                        
更新时间：2024年07月05日