当前位置:首页> AI教程> ChatGLM-6B: 一个开源的双语对话语言模型

ChatGLM-6B: 一个开源的双语对话语言模型

释放双眼,带上耳机,听听看~!
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。用户可以在消费级的显卡上进行本地部署,同时支持模型量化技术。本文介绍了ChatGLM-6B的相关信息和安装指南,并提供了代码调用示例。

ChatGLM

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。

安装

先clone项目:

git clone https://github.com/THUDM/ChatGLM-6B.git

然后进入项目ChatGLM-6B后,安装需要的环境

pip install -r requirements.txt

其中 transformers 库版本推荐为 4.27.1,但理论上不低于 4.23.1 即可。

此外,如果需要在 cpu 上运行量化后的模型,还需要安装 gccopenmp。多数 Linux 发行版默认已安装。对于 Windows ,可在安装 TDM-GCC 时勾选 openmp。 Windows 测试环境 gcc 版本为 TDM-GCC 10.3.0, Linux 为 gcc 11.3.0。在 MacOS 上请参考 Q1

下载本地模型

基于自己硬件条件来安排:

量化等级 最低 GPU 显存(推理) 最低 GPU 显存(高效参数微调)
FP16(无量化) 13 GB 14 GB
INT8 8 GB 9 GB
INT4 6 GB 7 GB

目前模型越大,性能越好,对应的地址有:

这里以fp16为例,不做量化处理。进入huggingface.co/THUDM/chatg…

创建chatglm-6b文件夹并进入

ChatGLM-6B: 一个开源的双语对话语言模型

将所有的文件都下载到该文件夹下:

ChatGLM-6B: 一个开源的双语对话语言模型

如果是已联网的远程服务器,可以直接通过wget下载,下载链接就是那个下载符号对应的链接:

ChatGLM-6B: 一个开源的双语对话语言模型

wget https://huggingface.co/THUDM/chatglm-6b/resolve/main/pytorch_model-00001-of-00008.bin

ChatGLM-6B: 一个开源的双语对话语言模型

代码调用

可以通过如下代码调用 ChatGLM-6B 模型来生成对话:

>>> from transformers import AutoTokenizer, AutoModel
>>> tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b-fp16", trust_remote_code=True)
>>> model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
>>> model = model.eval()
>>> response, history = model.chat(tokenizer, "你好", history=[])
>>> print(response)
你好👋!我是人工智能助手 ChatGLM-6B,很高兴见到你,欢迎问我任何问题。
>>> response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history)
>>> print(response)
晚上睡不着可能会让你感到焦虑或不舒服,但以下是一些可以帮助你入睡的方法:

1. 制定规律的睡眠时间表:保持规律的睡眠时间表可以帮助你建立健康的睡眠习惯,使你更容易入睡。尽量在每天的相同时间上床,并在同一时间起床。
2. 创造一个舒适的睡眠环境:确保睡眠环境舒适,安静,黑暗且温度适宜。可以使用舒适的床上用品,并保持房间通风。
3. 放松身心:在睡前做些放松的活动,例如泡个热水澡,听些轻柔的音乐,阅读一些有趣的书籍等,有助于缓解紧张和焦虑,使你更容易入睡。
4. 避免饮用含有咖啡因的饮料:咖啡因是一种刺激性物质,会影响你的睡眠质量。尽量避免在睡前饮用含有咖啡因的饮料,例如咖啡,茶和可乐。
5. 避免在床上做与睡眠无关的事情:在床上做些与睡眠无关的事情,例如看电影,玩游戏或工作等,可能会干扰你的睡眠。
6. 尝试呼吸技巧:深呼吸是一种放松技巧,可以帮助你缓解紧张和焦虑,使你更容易入睡。试着慢慢吸气,保持几秒钟,然后缓慢呼气。

如果这些方法无法帮助你入睡,你可以考虑咨询医生或睡眠专家,寻求进一步的建议。

Demo & API

先确认相关代码的模型文件名是否跟自己下载的模型文件名一致,如果不一致先进行修改。

  • web_demo.py

ChatGLM-6B: 一个开源的双语对话语言模型

如果不一致的话,修改文件名为对应的chatglm-6b

  • api.py

ChatGLM-6B: 一个开源的双语对话语言模型

如果不一致的话,修改文件名为对应的chatglm-6b

  • cli_demo.py

ChatGLM-6B: 一个开源的双语对话语言模型

如果不一致的话,修改文件名为对应的chatglm-6b

web_demo

web_demo是基于gradio开发的,这里可以进一步修改,指定ip和port,便于远程访问:

ChatGLM-6B: 一个开源的双语对话语言模型

输入python web_demo.py经过一段时间的等待,出现如下图一样的输出就代表运行成功,在浏览器输入地址:http://xxxxxx:xxxxx,就可以愉快地使用chatglm~

ChatGLM-6B: 一个开源的双语对话语言模型

ChatGLM-6B: 一个开源的双语对话语言模型

ChatGLM-6B: 一个开源的双语对话语言模型

api

在命令行输入python api.py,经过一段时间的运行,出现如下输出,就是运行成功。

ChatGLM-6B: 一个开源的双语对话语言模型

按照官网给的示例,

curl -X POST "http://127.0.0.1:8000"
-H 'Content-Type: application/json'
-d '{"prompt": "你好", "history": []}'

回复:

{"response":"你好!我是人工智能助手 ChatGLM-6B,很高兴见到你,欢迎问我任何问题。",
 "history":[["你好","你好!我是人工智能助手 ChatGLM-6B,很高兴见到你,欢迎问我任何问题。"]],
 "status":200,
 "time":"xxxxx"}

可以使用python中的requests库进行访问,可以把这个代码封装一下实现多轮对话。

import requests
import json

url = 'http://127.0.0.1:8000'
headers = {'Content-Type': 'application/json'}
data = {"prompt": "你好", "history": []}

response = requests.post(url=url, headers=headers, data=json.dumps(data))
response.json()

cli_demo

在命令行输入python cli_demo.py,经过一段时间的运行,出现如下输出,就是运行成功。

ChatGLM-6B: 一个开源的双语对话语言模型

然后就可以在终端和它进行对话,就像运行wei_demo.py一样。

ChatGLM-6B: 一个开源的双语对话语言模型

其它设备部署

cpu

如果没有 GPU 硬件的话,也可以在 CPU 上进行推理,但是推理速度会更慢(大概需要 32GB 内存)

model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).float()

如果内存不足,可以直接加载量化后的模型:

# INT8 量化的模型将"THUDM/chatglm-6b-int4"改为"THUDM/chatglm-6b-int8"
model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4",trust_remote_code=True).float()

mac部署

对于搭载了 Apple Silicon 或者 AMD GPU 的Mac,可以使用 MPS 后端来在 GPU 上运行 ChatGLM-6B。需要参考 Apple 的 官方说明 安装 PyTorch-Nightly。

目前在 MacOS 上只支持从本地加载模型。将代码中的模型加载改为从本地加载,并使用 mps 后端:

model = AutoModel.from_pretrained("your local path", trust_remote_code=True).half().to('mps')

加载半精度的 ChatGLM-6B 模型需要大概 13GB 内存。内存较小的机器在空余内存不足的情况下会使用硬盘上的虚拟内存,导致推理速度严重变慢。此时可以使用量化后的模型如 chatglm-6b-int4。因为 GPU 上量化的 kernel 是使用 CUDA 编写的,因此无法在 MacOS 上使用,只能使用 CPU 进行推理。

# INT8 量化的模型将"THUDM/chatglm-6b-int4"改为"THUDM/chatglm-6b-int8"
model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4",trust_remote_code=True).float()

为了充分使用 CPU 并行,还需要单独安装 OpenMP

多卡部署

如果一台机器有多张 GPU,但是每张 GPU 的显存大小都不足以容纳完整的模型,那么可以将模型切分在多张GPU上。首先安装 accelerate: pip install accelerate,然后通过如下方法加载模型:

from utils import load_model_on_gpus
model = load_model_on_gpus("THUDM/chatglm-6b", num_gpus=2)

即可将模型部署到两张 GPU 上进行推理。可以将 num_gpus 改为你希望使用的 GPU 数。默认是均匀切分的,也可以传入 device_map 参数来自己指定。

参考

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI教程

向量检索技术概述

2023-11-23 0:11:14

AI教程

能不能用 AI 编程辅助写代码?

2023-11-23 1:41:14

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索