Lora训练实战-第2章节内容详解,Kohya_ss工具使用教程

释放双眼,带上耳机,听听看~!
本文详细介绍了Lora训练的实战过程,使用了Kohya_ss工具,涉及大语言模型的低阶适应和GPU的使用。

Lora

LoRA,根据我查资料,完整的名字应该叫做Low-Rank Adaptation of Large Language Models,翻译成汉语是大语言模型的低阶适应,从资料上看是微软的研究人员为了解决大语言模型微调而开发的一项技术。

实战

这一期的目的是为了实战, 我们用到的工具是Kohya_ss,Github的地址是github.com/bmaltais/ko…

为此,我买了个腾讯云的GPU。具体训练的方式方法可以参考我以前的文章

# 云服务上进行Lora训练(俗称炼丹)👗👗👗

采集资源

这次使用的资源是之前那篇文章生成的图片,图片大小1024X1024,一共4张图片。

Lora训练实战-第2章节内容详解,Kohya_ss工具使用教程

简单的调整了下标注文件,也就是以txt为结尾的文本文件,删除了一些用不到的标签。

这时候资源算是准备就绪了。

资源上传服务器

将资源上传到服务器,只有的目录结构大致如下

Lora训练实战-第2章节内容详解,Kohya_ss工具使用教程

其中文件夹路径是 /home/ubuntu/20230818/100 ,其中的文件夹100是以训练循环的次数命名的,也就是会循环100次。

本次训练创建的文件夹如下

  • /home/ubuntu/20230818/100:用于存储训练的图片和标记文件;
  • /home/ubuntu/lora:训练结束后,将模型文件存储在这个地方;
  • /home/ubuntu/log:日志文件放在这个地方;

Kohya_ss 配置

我们要训练的是Lora,所以选择的Tab是Lora。

设置训练用的主模型

Lora训练实战-第2章节内容详解,Kohya_ss工具使用教程

可以选择一个自己喜欢的模型,可以是二次元的,也可以是写实的。

设置文件夹

Lora训练实战-第2章节内容详解,Kohya_ss工具使用教程

这个文件夹用到了我们之前设置的目录,对号入座即可。

参数设置

通常,我会简单的修改几个参数,当然这和你的训练诉求有直接关系。

Lora训练实战-第2章节内容详解,Kohya_ss工具使用教程

其中训练图片的大小很重要的,需要和我们的训练图片的尺寸对应上,当然更重要的是训练图片的质量啦。

开始训练

当这一切的一切都设置完毕之后,我们需要勇敢的点击下开始训练的按钮。对,就是下面这个按钮。

Lora训练实战-第2章节内容详解,Kohya_ss工具使用教程

在控制台,我们可以看到整个训练过程。

Lora训练实战-第2章节内容详解,Kohya_ss工具使用教程

1024x1024的训练图片下,T4GPU的性能大致是 1.52s/it, 大致经过了10分钟,我们的模型终于出炉了。

训练结果

在之前配置的目录里,可以看到我们训练完的模型,是不是迫不及待想看下效果啦?

Lora训练实战-第2章节内容详解,Kohya_ss工具使用教程

我们的Lora模型效果

我们把训练完的Lora模型(leafgirl.safetensors),放到Stable Diffusion WebUI对应的目录下

Lora训练实战-第2章节内容详解,Kohya_ss工具使用教程

启动Stable Diffusion WebUI,然后设置参数大致如下,采用的是一个1:2的宽高比例。

Lora训练实战-第2章节内容详解,Kohya_ss工具使用教程

为了减少干扰,我们只使用了1个Lora模型,大致Prompt如下: <lora:leafgirl:1>, leafgirl, 1girl, full body,

反向提示词用了一个通用的,一般影响不大。

开始出图

由于出图比较多,所以就放到C站了,具体可以查看下面的参考资料中的链接。

参考资料

  1. # 云服务上进行Lora训练(俗称炼丹)👗👗👗
  2. github.com/bmaltais/ko…
  3. civitai.com/models/1288…
  4. civitai.com/models/1303…
本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI教程

Stable Diffusion基础:精准控制之ControlNet | AI绘画控制网络安装和使用教程

2023-11-19 15:06:14

AI教程

电影字幕生成和翻译技术全解析

2023-11-19 15:09:14

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索