试下微调GPT-3做一个心理问答机器人
前言
最近,笔者做的一个小程序还差最后一个心理问答的功能,主要功能基本就完成了。我想偷个懒,那就调用别人的API吧,正好GPT-3非常火,那就试试?
准备
Colab
这是一个谷歌的线上jupyter-notebook网站,可以直接在上面运行Python代码,非常方便:
最好就用这个吧,环境啥的都配好了,笔者之前的电脑有许多python的环境,但换电脑之后就好久没写过python了,所以也偷个懒,不安装环境了…
顺便提一下,单纯windows好像不能使用openai的命令行工具,而一台linux服务器可以使用,但如果是国内的服务器就会被墙,需要在对应服务器上去想一些办法。
所以,推荐用这个…
openai命令行工具
在jupyter
的单元格里输入以下命令安装一个命令行工具,就和你npm i -g nest
一样:
! pip install --upgrade openai
Successfully installed🎉🎉🎉
一个API_KEY
在这里创建并复制保存就可以了
然后继续在刚才的jupyter
下面将这个API_KEY
导出为环境变量:
import os
os.environ['OPENAI_API_KEY'] = '<your api key>'
顺便提一下:新用户都有18美元的免费额度可以试用
数据集格式要求
首先,openai官方文档上明确要求了传过去的数据集格式为jsonl格式的文件,就三点要求:
- utf-8编码
- 每行为一个正确的JSON格式
- 换行符为
n
没啥说的,如下是一个笔者的数据集截图:
然后,你可以使用这行命令来校验你的数据集格式是否正确:
openai tools fine_tunes.prepare_data -f "./2.jsonl"
数据处理
如下是笔者的两个数据源(中文心理问答数据集,都是公开的(^_^)):
我们需要将这些数据处理里为问答对的模式,并遵循上面的jsonl
格式:
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
{"prompt": "<prompt text>", "completion": "<ideal generated text>"}
...
由于数据标注得非常给力,笔者的数据集处理就非常简单了,基本没做什么复杂的转换…
处理第一个数据源
import json
from tqdm import tqdm
with open("./dataset/src/ques_ans1.json") as f:
file_contents = f.read()
# print(file_contents)
parsed_json = json.loads(file_contents)
print(len(parsed_json))
for item in tqdm(parsed_json):
question = item["ques_info"]["title"] + item['ques_info']['content']
for ans in item["answers_info"]:
if ans["recommend_flag"] == "推荐":
goodAns = ans["content"]
result = { "prompt": question, "completion": goodAns }
with open("./dataset/target/1.jsonl", "a") as f:
f.write(json.dumps(result) + "n")
非常简单的逻辑,就不过多介绍了,就是问题保留,答案只要是推荐
,就与问题组成一个问答对,问题可是重复使用,直到答案用完;当然这段代码还有优化空间,但数据量不多,就算了。笔者懒😴
处理第二个数据源
import json
from tqdm import tqdm
with open("./dataset/src/EFA_Dataset_v20200314_latest.txt") as f:
lines = f.readlines()
for line in tqdm(lines):
parsed_line = json.loads(line)
question = parsed_line["title"]
for chat in parsed_line["chats"]:
label = chat["label"]
if "knowledge" in label and label["knowledge"] == True and label["negative"] == False:
goodAns = chat["value"]
result = { "prompt": question, "completion": goodAns }
with open("./dataset/target/2.jsonl", "a") as f:
f.write(json.dumps(result) + "n")
这里的逻辑也不难,只要答案是知识性的并且不是消极的,笔者就将其作为了一条问答对。
上传数据
然后我们将我们处理后的数据上传至Google drive进行持久化存储,你直接上传到colab也可以,不过断开连接后文件就消失了,你又要重新上传。
然后点击装载就会出现对应的文件夹,没有出来的可以点击附件的文件刷新按钮,然后就可以使用对应的文件了
开始微调
开始
然后,输入如下代码就可以开始微调了:
! openai api fine_tunes.create -t "https://b2.7b2.com/content/drive/MyDrive/2.jsonl" -m ada
注意,笔者这里只上传了一个8MB
的文件,就花了免费额度的4美元;如果你也是免费用户,使用时不能超过15美元,即数据集不能太大(笔者最开始就上传了全部数据集254MB,就会报错)
-m
是你开始的基本模型的名称(ada、babbage、curie 或 davinci)。您可以使用后缀参数自定义微调模型的名称,ada最便宜,最快,笔者这里尝试一下就是使用的这个参数。
相关命令
微调过程中只要任务已经创建,就不会随这里colab的关闭而关闭,如下是恢复事件流的代码:
! openai api fine_tunes.follow -i <YOUR_FINE_TUNE_JOB_ID>
如上笔者等待了一段时间重新查看,它已经训练完成了,然后我们就可以输入最后一行给出的命令来演示结果
结果演示
这里还可以使用python进行调用,其他语言的使用方法见这
import openai
result = openai.Completion.create(
model="<your model>", # 上面截图最后一行我打码的那部分
prompt="我真的好累,压力超级超级大,周围人都在认真学习,我感觉我就是一个废物",
max_tokens=1000)
completion = result["choices"][0]["text"]
print(completion.encode("raw_unicode_escape").decode("unicode_escape"))
这里最后是做了一个unicode编码转中文显示的操作;
如下是演示结果:
效果有点拉,不过也能接受,毕竟数据才8MB,模型也是用的那个最快最便宜的。
最后
我等着阿里通义千问的API出来…等不及了🤔
再次编写python代码,彷佛回到了大一暑假刚学python的日子,那时候还在为python爬虫的BUG而烦恼。