当前位置:首页> AI教程> Mistral 7B: 4-bit Quantization and QLoRA for Efficient Language Model Optimization

Mistral 7B: 4-bit Quantization and QLoRA for Efficient Language Model Optimization

释放双眼,带上耳机,听听看~!
This article explores the efficiency of Mistral 7B, a language model, through 4-bit quantization and QLoRA, providing insights into its performance and practical applications in natural language processing tasks.

Mistral 7B: 4-bit Quantization and QLoRA for Efficient Language Model Optimization

大语言模型 (LLM) 的世界正在快速发展,像 LLAMA2 和 Falcon 这样的突破性模型不断出现。

去年 9 月 27 日,法国初创公司 Mistral 推出了第一个模型 —— Mistral 7B ,引起了科技界的轰动,并获得了迄今为止同类规模中最强大的语言模型的称号。

本文将展示通过 4-bit 量化加载和运行运行 Mistral 7B AI

什么是Mistral 7B?

Mistral-7B-v0.1 是对 Llama 2 等其他 小型 大型语言模型的进一步改进,以相当低的计算成本提供类似的功能(根据一些标准基准)。可适应许多场景,可以执行各种自然语言处理任务,序列长度为 8k。例如,它非常适合文本摘要、分类、文本补全、代码补全。

下面是 Mistral 7B 的特征:

  • 无与伦比的性能Mistral 7B 在所有基准测试中均优于 Llama 2 13B

    Mistral 7B: 4-bit Quantization and QLoRA for Efficient Language Model Optimization

  • 更高效:得益于分组查询注意力 (GQA) 和滑动窗口注意力 (SWA),Mistral 7B 可以提供更快的推理速度并轻松处理更长的序列。

  • 开源Mistral 7B 在 Apache 2.0 许可证下发布,可以不受限制地使用。

什么是量化 quantization 和 QLoRA?

与同类产品相比,Mistral 7B 可能更小,但让它在消费类硬件中运行和训练仍然是一个巨大的挑战。

为了能在单个 GPU 上运行它,需要以 4-bit 精度运行模型,并使用 QLoRA 来减少内存使用。

QLoRA 解决方案

QLoRA 代表具有低阶适配器的量化 LLM,是一种有效的微调方法。它使用 4-bit 量化来压缩预训练的语言模型,与标准 16-bit 模型微调相比,无需牺牲性能。

QLoRA论文摘要: 我们提出了 QLoRA,这是一种高效的微调方法,可减少内存使用量,足以在单个 48GB GPU 上微调 65B 参数的模型,同时保留完整的 16-bit 微调任务性能。QLoRA 引入了多项创新技术来节省内存而不牺牲性能:a)4-bit 普通浮点型 NF4 一种新的数据类型,理论上对于正态分布权重来说是最佳信息;b)双量化通过量化量化常数来减少平均内存占用,以及分页优化器来管理内存峰值。

使用步骤

第 1 步:安装必要的软件包

QLoRA 使用 bitsandbytes 进行量化,并与 Hugging Face 的 PEFTtransformers 库集成。

这里希望确保使用最新功能,将从源代码安装这些依赖库。

pip install -q -U bitsandbytes
pip install -q -U git+https://github.com/huggingface/transformers.git
pip install -q -U git+https://github.com/huggingface/peft.git
pip install -q -U git+https://github.com/huggingface/accelerate.git

第 2 步:通过 Transformer 的 BitsandBytesConfig 定义量化参数

现在将使用 Transformer 库中的 BitsandBytesConfig 配置 QLoRA 参数。

这里是对可以调整和使用的参数进行说明:

  • load_in_4bit=True:指定要以 4-bit 精度转换和加载模型。
  • bnb_4bit_use_double_quant=True:使用嵌套量化来提高内存效率的推理和训练。
  • bnd_4bit_quant_type="nf4"4-bit 集成带有 2 种不同的量化类型 FP4NF4NF4 dtype 代表 Normal Float 4,在 QLoRA 论文中有介绍。默认情况下,使用 FP4 量化。
  • bnb_4bit_compute_dype=torch.bfloat16:计算数据类型用于更改计算期间将使用的数据类型。默认情况下,计算数据类型设置为 float32,但可以设置为 bf16 以提高速度。
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16
)

第 3 步:为 Mistral 7B 加载量化

现在来指定模型 ID,然后使用之前定义的量化配置加载它。

model_id = "mistralai/Mistral-7B-Instruct-v0.1"
model = AutoModelForCausalLM.from_pretrained(model_id, quantization_config=bnb_config, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_id)

第 4 步:加载后,运行一代并尝试一下!

最后,准备好将 Mistral 7B 投入使用。

  1. 首先测试它的文本生成能力,使用以下模板:
PROMPT= """ ### Instruction: Act as a data science expert.
### Question:
Explain to me what is Large Language Model. Assume that I am a 5-year-old child.

### Answer:
"""
device = "cuda:0"
encodeds = tokenizer(PROMPT, return_tensors="pt", add_special_tokens=True)
model_inputs = encodeds.to(device)

generated_ids = model.generate(**model_inputs, max_new_tokens=1000, do_sample=True, pad_token_id=tokenizer.eos_token_id)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])

该模型遵循了我们的指示,并很好地解释了大语言模型的概念!

Mistral 7B: 4-bit Quantization and QLoRA for Efficient Language Model Optimization

  1. 现在来测试一下 Mistral 7B 的代码能力
messages = [
    {"role": "user", "content": "write a python function to generate a list of random 1000 numbers between 1 and 10000?"}"role": "user", "content": "write a python function to generate a list of random 1000 numbers between 1 and 10000?"}
    ]

encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt")
device = "cuda:0"
model_inputs = encodeds.to(device)

generated_ids = model.generate(model_inputs, max_new_tokens=1000, do_sample=True)
decoded = tokenizer.batch_decode(generated_ids)
print(decoded[0])

看来模型完成的代码效果:

Mistral 7B: 4-bit Quantization and QLoRA for Efficient Language Model Optimization

总结

从目前模型的发展情况来看,Mistral AI 是 LLaMA 和 Falcon 等流行模型的一个非常不错的替代品。

它是免费的、更小但更高效。它允许完全定制,并且可以轻松微调并具有令人惊喜的性能。

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI教程

生成式 AI 在各行业创意中的应用

2023-11-25 8:40:14

AI教程

一文看透H100 Hopper架构的各种提升

2023-11-25 8:45:14

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索