这个6b就是清华开源的这个GLM-6B, 卧槽，清华开源的，还6B 是朝着牛逼的方向发展命名的嘛？ 如果我学了这个，给它提个PR什么的，那清华 (写 ChatCLM-6B) = 我 (写 ChatCLM-6B)
初中学过 消除公因式，也就是 我 === 清华
为何选择GML6B模型
为什么装这个，因为目前也只有这个模型可以给个人练练手，虽然他听起来很牛B,但是他是最小的一个模型，战斗力最弱的。其他的大模型根本还到不了普通修仙者手里，咋就说自己的灵根不咋地，玩不了多么厉害，索性拿最差的练练手，就当一个修炼对话模型领域的机会，现在AI这么火，你又还是单身，完全可以自己做一个标准温柔可爱女友式数据集，训练之后让她跟你对话，这又不花钱，等你找到真女友之后，岂不是。。。
以下的安装方法都是个人在自己辣鸡的笔记本上真实安装过，并且有效的，踩了很多坑，希望对大家的修炼有帮助，当然，也会意外发生，如果安装失败，切勿捉急上火，友好的交流沟通可以帮助你解决问题。
标题说的是真的，对于一个没有这方面积累的菜鸡来说真的花了两天时间，排位上分都落下了 🤬
克隆Clone
进去克隆这个仓库到本地这个6B，官方文档其实也有部署文档，但是对于个人笔记本来说会有一些坑点，环境这玩意特别吃版本对应这个场景，一个地方卡死你，nnd 。
如果你有colab,可以在上面照这官网部署一下，那灰常丝滑，但是为了自己训练，在本地部署会好一些。
第一招：查看CUDA版本
说实话，对于一个小白来说，把握不住重点，就像前端搭建一个环境，你作为新人装了一堆什么webpack 、vite 各种技术栈都是新的，但是放在老项目里一跑框框报错，你的电脑就是项目运行环境，你得知道你目前的项目能支持装什么样的版本，官方提供的依赖默认下载都是最新的，特别是torch,说到这里就来气，这玩意也浪费不少时间， 跑题了，首先在cmd里输入以下命令
nvidia-smi
这个是查看自己有没有显卡驱动的命令，一般笔记本买来默认都是装了的，如果你很特别是个伪灵根，那么得自己装下驱动 可以点击这里查看符合电脑的驱动 驱动
上面的驱动版本是452.06 ，CUDA版本是11.0 ，意味着我这个驱动最高支持的CUDA版本是11.0.可以根据Torch的版本
降级选择其他的CUDA版本，这里推荐安装10.2，为什么是它，跟6B里写的代码有关也跟Torch有关，实测10.2是Torch支持最多的一个型号，安装torch的时候再详细说明，CUDA下载地址
其他CUDA版本可 安装对应的版本 但是，最好安装
torch>=1.10.1支持的 CUDA版本
torch>=1.10.1支持的 CUDA版本
torch>=1.10.1支持的 CUDA版本
可以去官网这里查看 自己的CUDA版本支不支持1.10.1以上的torch
还需要安装一个 CUDNN, 对应CUDA的版本即可。
下载完成这两个之后开始安装这个玩意
安装CUDA
双击，这个临时目录，不用管 C盘就C盘了，它会自己删除，第一天我装在D盘，然后下一步的正式安装目录也在D盘，结果它吧我装好的给删了，，，，
以下图片来自 blog.csdn.net/L1778586311…，详细可看它的安装步骤
这里的貌似可以不用勾选，如果勾选了那么你的电脑还需要安装Visual Studio ，我个人一开始没注意，就安装了，如果可以的话 不安装这个试试，它是用来编译c文件的，但是我猜测运行的时候用不上吧，我也不确定，不想省点空间 就勾选上吧 VS也装上可以使用2019版本，这里百度一下。
后面就直接下一步下一步就完事。上面的那个博客还新建了很多环境变量，我这里并没有新建环境变量，它自己会添加两个就足够了。
安装CUDNN
这里看上面的博客文章就行，重点是
把cuDNN压缩包解压缩，分别把bin、include、libx64三个文件夹中的.dll、.h和.lib文件复制到CUDA目录下对应文件夹里。
不是把三个文件夹复制过去覆盖掉，是里面的文件！！！
不是把三个文件夹复制过去覆盖掉，是里面的文件！！！
不是把三个文件夹复制过去覆盖掉，是里面的文件！！！
在这个路径执行命令出现这个就成功了
第二式：安装PyTorch
这也是一坑点，我的踩坑之路就来自于它，首先看段代码
这个官方加载模型的代码，里面的skip_init方法是1.10.1版本才有的，**我一开始用的CUDA11 ，troch版本只有1.7.1支持CUDA11，是没有这个方法的，想不通为什么版本高 反而支持的少！！🤬 **
这也是上面为什么一定要安装torch版本大于1.10.1以上版本的原因，否则会报这个方法找不到。
然后我去问了官方，它让我改下代码
但是并没有什么用，这个不报错了，又会有其他问题
所以还是看官网
如果你骨骼优秀是CUDA11.7 11.8,那么复制下面的地址安装就完了，如果你的版本不是就点击，previours versions 里 进到一个页面
因为它很多，所以我选择相信这个版本，其实是因为没得选，这是我电脑目前最合适的一个版本了，我之前按照我电脑最高版本的CUDA11.0 去安装，发现只有2个版本选择
这里千万不要用什么清华的镜像源去安装，不要用什么清华的镜像源去安装，不要用什么清华的镜像源去安装
感觉那东西下载下来有问题，
但是官网源的下载很慢，这里推荐使用离线安装
进到这个地址 链接 cu102的，地址上的cu102 可以换成其他对应的cuda版本。然后看哪个torch支持，后面cp 对应的是python版本
下载下来，然后 torchaudio、torchvision 也是一样的，都在这个网站可以找到。
这里贴下我这三个包对应的版本
我猜清华源下载的是不带对应cuda版本的，一个torch1.10.2的版本 可以是cuda 102 103 105等等。。。我装过清华源下载的是不行的，可能我脸黑
然后进入到文件下载目录 使用
pip install torch-1.10.2+cu102-cp39-cp39-win_amd64.whl
就会自动编译好。
这里最重要的就是 cuda 版本和torch版本一定要对应好，否则torch是用不了GPU模式来跑模型的
python 执行
import torch
print(torch.cuda.is_available(),'GPU部署')
第三斧：下载int4模型
官方说没有量化的版本需要13G内存，卧槽，这对于家用笔记本也是一个大大大内存了
所以我们直接下载，量化好的版本，在这个地址int4,这里还需要下载 git fls ,然后用梯子下载会快点。下载到6b的仓库目录哦
完整目录：
第四刀：安装GCC
上面安装完成之后可以执行 python webdemo.py 跑一下，如果报错且提示
那么去这个GCC 安装 10.3.0的版本 就行，输入 gcc-v 出现这个就成功啦
最后的最后，如果cuad 、 torch 版本对应正确，那么运行python web_demo.py就成功啦
总结
- 下载的cuda版本和torch版本一定要对应，
- 多去官网查看两者对应的版本，（如果你的电脑和我一样落后）
- 这个版本的cuda还是老了，有 条件的升级驱动，没条件的换新电脑，下载更新的cuad版本的 torch，但是安装思路是一样的。
- 下次搞个服务器，找好训练集，训练一个什么出来试试？
- 希望大家安装成功，踏入语言模型修仙领域的第一步
