如何正确安装合适的PyTorch版本以及模型量化方法

释放双眼,带上耳机,听听看~!
本文介绍了正确安装合适的PyTorch版本以及模型量化方法,包括如何根据CUDA版本选择PyTorch历史版本下载,以及在GPU和CPU上进行模型量化的方法。

本文正在参加github.com/Fanstuck/Ch…

如何正确安装合适的PyTorch版本以及模型量化方法

2.环境需求

再看依赖文件requirements.txt:

如何正确安装合适的PyTorch版本以及模型量化方法

很多人这里就已经开始pip install -r requirements.txt,但是这里需要注意的是torch下载会出问题,而且大概率下载的会是cpu版本。我这里不建议直接pip install,对于有GPU的同学来说肯定下载GPU版本的torch最优,且不清楚自己cuda的版本下很容易下载的torh和cudnn版本不兼容,所以这里单独说一下torch该如何安装合适的版本。

首先先看一下NVIDIA支持最高的cuda版本:

cmd输入nvidia-smi就可以看到:
如何正确安装合适的PyTorch版本以及模型量化方法

这里显示我的cuda版本为11.7,下载比这低的版本就好了。

但是这里需要注意cuda版本和torch版本是对应的:
pytorch历史版本下载:

pytorch.org/get-started…,只要低于11.7版本的torch都是可以的。
如何正确安装合适的PyTorch版本以及模型量化方法

若是pip下载time out的下载wheel:download.pytorch.org/whl/torch_s…

huggingface.co/THUDM/chatg…

不需要frok直接clone就可以了。版主还提供了不同编译后的版本可供下载,我这边就下载了已经编译后的int4版本,我的内存只有16G且显存128M很低故带不起原生模型。

如何正确安装合适的PyTorch版本以及模型量化方法

这样的话文件不需要下载到C盘下面,可以自己选择要下载的目录。
下载完成之后里面提供了两个demo可以测试,需要修改函数AutoTokenizer.from_pretrained中的THUDM/chatglm-6b,也就是pretrained_model_name_or_path更换成你下载chatGLM的目录就可以使用了。

如果你的显存配置有限的话可以选择以量化方式加载模型,比如:

# 按需修改,目前只支持 4/8 bit 量化
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).quantize(4).half().cuda()

模型量化会带来一定的性能损失,经过测试,ChatGLM-6B 在 4-bit 量化下仍然能够进行自然流畅的生成。

量化过程需要在内存中首先加载 FP16 格式的模型,消耗大概 13GB 的内存。如果你的内存不足的话,可以直接加载量化后的模型,仅需大概 5.2GB 的内存:

model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True).half().cuda()

模型量化会带来一定的性能损失,经过测试,ChatGLM-6B 在 4-bit 量化下仍然能够进行自然流畅的生成。

量化过程需要在内存中首先加载 FP16 格式的模型,消耗大概 13GB 的内存。如果你的内存不足的话,可以直接加载量化后的模型,仅需大概 5.2GB 的内存:

model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True).half().cuda()

我这边直接下载的int4模型不需要再加载整个模型了。

如果你没有 GPU 硬件的话,也可以在 CPU 上进行推理,但是推理速度会更慢。使用方法如下,需要大概 32GB 内存:

model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).float()

模型使用

以我的计算机来说平常内存就有
如何正确安装合适的PyTorch版本以及模型量化方法

11G占用了,运行该模型肯定会报OOM,推荐大家把一些暂时不需要的进程杀掉尽可能多的留多点内存再跑模型:
这里推荐在终端上面运行不要用pycharm,内存更多:
如何正确安装合适的PyTorch版本以及模型量化方法

使用web_demo.py可以直接在网站上面对话:

如何正确安装合适的PyTorch版本以及模型量化方法
如何正确安装合适的PyTorch版本以及模型量化方法如何正确安装合适的PyTorch版本以及模型量化方法

我这里直接OOM了没有办法,大家计算机好点就没问题。

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI教程

BLOOM: A 176B-Parameter Open-Access Multilingual Language Model

2023-12-9 16:53:14

AI教程

多视图几何基础知识及极点、极线约束

2023-12-9 16:55:14

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索