清华开源的GLM-6B模型安装及CUDA版本选择方法

释放双眼,带上耳机,听听看~!
本文介绍了清华大学开源的GLM-6B模型的安装方法,以及如何选择适合的CUDA版本。对于想要学习人工智能技术的人来说,这是一篇非常实用的教程。

这个6b就是清华开源的这个GLM-6B, 卧槽,清华开源的,还6B 是朝着牛逼的方向发展命名的嘛? 如果我学了这个,给它提个PR什么的,那清华 (写 ChatCLM-6B) = 我 (写 ChatCLM-6B)
初中学过 消除公因式,也就是 我 === 清华
清华开源的GLM-6B模型安装及CUDA版本选择方法

为何选择GML6B模型

为什么装这个,因为目前也只有这个模型可以给个人练练手,虽然他听起来很牛B,但是他是最小的一个模型,战斗力最弱的。其他的大模型根本还到不了普通修仙者手里,咋就说自己的灵根不咋地,玩不了多么厉害,索性拿最差的练练手,就当一个修炼对话模型领域的机会,现在AI这么火,你又还是单身,完全可以自己做一个标准温柔可爱女友式数据集,训练之后让她跟你对话,这又不花钱,等你找到真女友之后,岂不是。。。


清华开源的GLM-6B模型安装及CUDA版本选择方法

以下的安装方法都是个人在自己辣鸡的笔记本上真实安装过,并且有效的,踩了很多坑,希望对大家的修炼有帮助,当然,也会意外发生,如果安装失败,切勿捉急上火,友好的交流沟通可以帮助你解决问题。
标题说的是真的,对于一个没有这方面积累的菜鸡来说真的花了两天时间,排位上分都落下了 🤬

克隆Clone

进去克隆这个仓库到本地这个6B,官方文档其实也有部署文档,但是对于个人笔记本来说会有一些坑点,环境这玩意特别吃版本对应这个场景,一个地方卡死你,nnd 。
如果你有colab,可以在上面照这官网部署一下,那灰常丝滑,但是为了自己训练,在本地部署会好一些。

第一招:查看CUDA版本

说实话,对于一个小白来说,把握不住重点,就像前端搭建一个环境,你作为新人装了一堆什么webpack 、vite 各种技术栈都是新的,但是放在老项目里一跑框框报错,你的电脑就是项目运行环境,你得知道你目前的项目能支持装什么样的版本,官方提供的依赖默认下载都是最新的,特别是torch,说到这里就来气,这玩意也浪费不少时间, 跑题了,首先在cmd里输入以下命令

 nvidia-smi

清华开源的GLM-6B模型安装及CUDA版本选择方法
这个是查看自己有没有显卡驱动的命令,一般笔记本买来默认都是装了的,如果你很特别是个伪灵根,那么得自己装下驱动 可以点击这里查看符合电脑的驱动 驱动
上面的驱动版本是452.06 ,CUDA版本是11.0 ,意味着我这个驱动最高支持的CUDA版本是11.0.可以根据Torch的版本
降级选择其他的CUDA版本这里推荐安装10.2,为什么是它,跟6B里写的代码有关也跟Torch有关,实测10.2是Torch支持最多的一个型号,安装torch的时候再详细说明,CUDA下载地址
清华开源的GLM-6B模型安装及CUDA版本选择方法
其他CUDA版本可 安装对应的版本 但是,最好安装
torch>=1.10.1支持的 CUDA版本
torch>=1.10.1支持的 CUDA版本
torch>=1.10.1支持的 CUDA版本
可以去官网这里查看 自己的CUDA版本支不支持1.10.1以上的torch
还需要安装一个 CUDNN, 对应CUDA的版本即可。
清华开源的GLM-6B模型安装及CUDA版本选择方法
下载完成这两个之后开始安装这个玩意

安装CUDA

双击,这个临时目录,不用管 C盘就C盘了,它会自己删除,第一天我装在D盘,然后下一步的正式安装目录也在D盘,结果它吧我装好的给删了,,,,

以下图片来自 blog.csdn.net/L1778586311…,详细可看它的安装步骤

清华开源的GLM-6B模型安装及CUDA版本选择方法
清华开源的GLM-6B模型安装及CUDA版本选择方法
清华开源的GLM-6B模型安装及CUDA版本选择方法
这里的貌似可以不用勾选,如果勾选了那么你的电脑还需要安装Visual Studio ,我个人一开始没注意,就安装了,如果可以的话 不安装这个试试,它是用来编译c文件的,但是我猜测运行的时候用不上吧,我也不确定,不想省点空间 就勾选上吧 VS也装上可以使用2019版本,这里百度一下。
后面就直接下一步下一步就完事。上面的那个博客还新建了很多环境变量,我这里并没有新建环境变量,它自己会添加两个就足够了。

安装CUDNN

这里看上面的博客文章就行,重点是

把cuDNN压缩包解压缩,分别把bin、include、libx64三个文件夹中的.dll、.h和.lib文件复制到CUDA目录下对应文件夹里。
不是把三个文件夹复制过去覆盖掉,是里面的文件!!!
不是把三个文件夹复制过去覆盖掉,是里面的文件!!!
不是把三个文件夹复制过去覆盖掉,是里面的文件!!!

在这个路径执行命令出现这个就成功了
清华开源的GLM-6B模型安装及CUDA版本选择方法

第二式:安装PyTorch

这也是一坑点,我的踩坑之路就来自于它,首先看段代码
清华开源的GLM-6B模型安装及CUDA版本选择方法
这个官方加载模型的代码,里面的skip_init方法是1.10.1版本才有的,**我一开始用的CUDA11 ,troch版本只有1.7.1支持CUDA11,是没有这个方法的,想不通为什么版本高 反而支持的少!!🤬 **
清华开源的GLM-6B模型安装及CUDA版本选择方法
这也是上面为什么一定要安装torch版本大于1.10.1以上版本的原因,否则会报这个方法找不到。
然后我去问了官方,它让我改下代码
清华开源的GLM-6B模型安装及CUDA版本选择方法
但是并没有什么用,这个不报错了,又会有其他问题
所以还是看官网
清华开源的GLM-6B模型安装及CUDA版本选择方法
如果你骨骼优秀是CUDA11.7 11.8,那么复制下面的地址安装就完了,如果你的版本不是就点击,previours versions 里 进到一个页面
清华开源的GLM-6B模型安装及CUDA版本选择方法
因为它很多,所以我选择相信这个版本,其实是因为没得选,这是我电脑目前最合适的一个版本了,我之前按照我电脑最高版本的CUDA11.0 去安装,发现只有2个版本选择
清华开源的GLM-6B模型安装及CUDA版本选择方法
这里千万不要用什么清华的镜像源去安装,不要用什么清华的镜像源去安装,不要用什么清华的镜像源去安装
感觉那东西下载下来有问题,
但是官网源的下载很慢,这里推荐使用离线安装
进到这个地址 链接 cu102的,地址上的cu102 可以换成其他对应的cuda版本。然后看哪个torch支持,后面cp 对应的是python版本
清华开源的GLM-6B模型安装及CUDA版本选择方法

下载下来,然后 torchaudio、torchvision 也是一样的,都在这个网站可以找到。
这里贴下我这三个包对应的版本
清华开源的GLM-6B模型安装及CUDA版本选择方法
我猜清华源下载的是不带对应cuda版本的,一个torch1.10.2的版本 可以是cuda 102 103 105等等。。。我装过清华源下载的是不行的,可能我脸黑
然后进入到文件下载目录 使用

pip install torch-1.10.2+cu102-cp39-cp39-win_amd64.whl

就会自动编译好。
这里最重要的就是 cuda 版本和torch版本一定要对应好,否则torch是用不了GPU模式来跑模型的

python 执行

import torch
print(torch.cuda.is_available(),'GPU部署')

如果是true那么就安装成功了!
清华开源的GLM-6B模型安装及CUDA版本选择方法

第三斧:下载int4模型

官方说没有量化的版本需要13G内存,卧槽,这对于家用笔记本也是一个大大大内存了
清华开源的GLM-6B模型安装及CUDA版本选择方法
所以我们直接下载,量化好的版本,在这个地址int4,这里还需要下载 git fls ,然后用梯子下载会快点。下载到6b的仓库目录哦
完整目录:
清华开源的GLM-6B模型安装及CUDA版本选择方法

web_demo这个文件 加载模型的路径记得改一下
清华开源的GLM-6B模型安装及CUDA版本选择方法

第四刀:安装GCC

上面安装完成之后可以执行 python webdemo.py 跑一下,如果报错且提示
清华开源的GLM-6B模型安装及CUDA版本选择方法
那么去这个GCC 安装 10.3.0的版本 就行,输入 gcc-v 出现这个就成功啦
清华开源的GLM-6B模型安装及CUDA版本选择方法

最后的最后,如果cuad 、 torch 版本对应正确,那么运行python web_demo.py就成功啦
清华开源的GLM-6B模型安装及CUDA版本选择方法

总结

  • 下载的cuda版本和torch版本一定要对应,
  • 多去官网查看两者对应的版本,(如果你的电脑和我一样落后)
  • 这个版本的cuda还是老了,有 条件的升级驱动,没条件的换新电脑,下载更新的cuad版本的 torch,但是安装思路是一样的。
  • 下次搞个服务器,找好训练集,训练一个什么出来试试?
  • 希望大家安装成功,踏入语言模型修仙领域的第一步
本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI教程

HuggingChat: 史上最大、最强的ChatGPT平替来了

2023-11-24 11:09:14

AI教程

尝试2.5D金克丝绘画效果及分享

2023-11-24 11:12:14

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索