1、安装Anaconda（这个就不啰嗦了，网上安装教程一堆）
1.1、先安装Anaconda（https://www.anaconda.com/download/）
1.2、点击“开始”-打开Anaconda Powershell Prompt
1.3、更新 Conda 至最新版本
conda update conda
测试是否安装成功
conda list
如果显示 Conda 及其内部包的列表,则说明安装成功。
1.4、创建虚拟环境
conda create -n ChatGLM python==3.10
conda activate ChatGLM
2、部署 langchain-ChatGLM
2.1、下载 langchain-ChatGLM
md D:\ChatGLM
cd D:\ChatGLM
git clone https://github.com/imClumsyPanda/langchain-ChatGLM
cd langchain-ChatGLM
2.2、下载 pycocotools
下载链接：https://wwoo.lanzouk.com/i4NDa0zo2xqb
- 下载解压，并复制到当前虚拟Python环境中
2.3、安装其他Python第三方库
# -i http://pypi.douban.com --trusted-host pypi.douban.com：使用豆瓣源进行加速
pip install -r requirements.txt -i http://pypi.douban.com --trusted-host pypi.douban.com
2.4、下载 torch
下载地址：https://www.aliyundrive.com/s/v5oLJ3DyWS4
提取码: m0y4
- pip安装torch（exe文件是压缩文件，双击解压，因为阿里云盘不支持分享压缩文件，百度盘又限速）
# 文件解压到 D:\ChatGLM\langchain-ChatGLM
# 之所以使用这个版本，是因为这个版本支持GPU加速（cp310即Python3.10版本）
pip install torch-2.0.1+cu117-cp310-cp310-win_amd64.whl
2.5、模型下载
下载地址：https://openi.pcl.ac.cn/Learning-Develop-Union/LangChain-ChatGLM-Webui/datasets
GitHub：https://github.com/THUDM/ChatGLM-6B
- 根据硬件条件下载（硬件要求依次降低）：chatglm-6b > chatglm-6b-int8 > chatglm-6b-int4
- 还要下载另外两个基础模型：text2vec-large-chinese，text2vec-base-chinese
- 也支持其他模型，可以根据自己的硬件水平下载，配置方法与下面讲解相同
2.6、修改配置文件
- 自行创建「model」文件夹
- 下载模型解压到「model」文件夹中
- 下面截图有案例
2.6.1、修改下载到本地的模型路径
- 如果下面修改的配置文件引用报错，可以尝试在同级目录添加一个空白的「__init__.py」文件
2.6.2、修改默认启动模型
2.6.3、修改启动URL地址
- 改成本机IP的好处是可以异地访问
3、启动webui.py
python webui.py
# 或者使用绝对路径启动
D:\anaconda3\envs\ChatGLM\python.exe D:\langchain-ChatGLM\webui.py
本文链接：https://my.lmcjl.com/post/13475.html
展开阅读全文
4 评论