当前位置:首页> AI教程> LoRA 模型:人物和画风生成的利器

LoRA 模型:人物和画风生成的利器

释放双眼,带上耳机,听听看~!
了解LoRA模型的应用场景,以及如何利用LoRA模型生成特定类型的人物角色和不同画风的效果。

什么是 LoRA 模型

LoRA 出自微软的一篇论文,LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS,原论文运用于 NLP 领域,没想到在 Stable Diffsuion 中发扬光大了。中文名可以称呼为”低秩适应模型“,简称 LoRA。

LoRA 通过去噪训练过程在原有模型的基础之添加额外的中间层,并梯度更新这些中间层的参数权重,其大小通常文件在几十或者几百 MB左右,远远小于 DreamBooth 动辄几个G 的大小。

其原理可以参考 🏕 SD 模型优化方案对比
LoRA 模型:人物和画风生成的利器

LoRA 的作用

LoRA 可以帮助你向 AI 传递、描述某一个特征准确,主体清晰的形象,其所携带的信息相比 Embeddings 要更丰富。相当于告诉 AI 照这个画(抄),而 Embeddings 像是用文字在描述这个主体的特征。

有 UP 主举例说假如你是一个程序员,你的老板告诉你要做个购物网站:

  • Embeddings 就相当于是你的老板告诉你这个购物网站要有一个商品信息页,要有一个购物车等等,然后你根据需求去实现这个购物网站,出来的效果可能和淘宝完全不同。
  • LoRA 相当于你的老板告诉你这个购物网站功能和样子和淘宝差不多,然后你对着淘宝一顿输出,完成了这个购物网站的实现,出来的网站大概率和淘宝就七八分相似。

目前 LoRA 由于其训练成本低,体积小,速度快,效果好,在社区中存在着大量优质的 LoRA 模型,其流行程度甚至不亚于大模型,你可以轻易找到自己想要的角色的 LoRA:
LoRA 模型:人物和画风生成的利器
目前 LoRA 主要在 人物,画风,概念,服饰,物品等类别上有比较多的应用场景,下面分别推荐一些模型和使用方法。

人物 LoRA 模型推荐

最常见的 LoRA 应用场景式可以炼制特定类型的人物,比如火出圈的赛博 Coser 就是利用真人系模型 + 人物 LoRA 生成的。
civitai.com/tag/charact…

Doll LikeNess

赛博 Coser 常见 LoRA ,用于融合韩风,日风,台风的女性形象,容易千篇一律,建议多 LoRA 混用。

Lora 名 下载地址
Korean Doll LikeNess V15 huggingface.co/amornlnw7/k…
Korean Doll LikeNess V10 huggingface.co/aimainia/ko…
taiwanDollLikeness_v10 huggingface.co/jasonli007/…
japaneseDollLikeness_v10 huggingface.co/aimainia/ja…

Fashion Girl

作者使用 100 张符合自己口味的 fashion girl 炼制而成,有多个不同的版本,每个版本所选用的数据集不同。
LoRA 模型:人物和画风生成的利器LoRA 模型:人物和画风生成的利器

The 784mb VAEs (NAI, Orangemix, Anything, Counterfeit) are recommended. 
0.6~0.8 weights should be enough.

画风 LoRA 模型推荐

其次,LoRA 可以用于应用不同类型的画风,比如水墨,盲盒,水彩,塔罗牌,吉普力等。
civitai.com/tag/style

MoXin 墨心

非常有中国水墨风的模型,个人非常喜欢。

本品由安吉吴仓石、兴化板桥先生、八大山人、山阴伯年等大师之大小写意作品辅以现代人物训练而成。辅以恰当之提示词,诵先贤尊号,襄古今并用之意,明雅俗共举之美。

LoRA 模型:人物和画风生成的利器LoRA 模型:人物和画风生成的利器
推荐使用参数:

1.)CFG范围将会改变风格,1~3 : 大小写意,3~7 : 逐渐工笔
2.)推荐基础模型为ChilloutMix、国风3.2等
3.)《墨心》的推荐Lora权重为0.85以下
4.)《疏可走马》推荐Lora权重为0.7~1

BlindBox 盲盒

盲盒风格的 LoRA,配合 RevAnimated模型可以生成非常可爱的手办模型

blindbox_v1_mix 版本增加了PVC的质感,需要搭配 ReV Animated 模型 1.1 版本使用。

LoRA 模型:人物和画风生成的利器LoRA 模型:人物和画风生成的利器

AnimeLineart 线稿

可以用于提取动漫类型出图的线稿,用于二次创作。
LoRA 模型:人物和画风生成的利器LoRA 模型:人物和画风生成的利器
推荐配置:

Model: Anything V4.5
VAE: Orangemix (the same with NAI)
LoRA Strength: 1
Sampler: DPM++ 2M Karras
Sampling steps: 20
CFG: 7
Negative embedding: EasyNegative、badhandv4
Highres fix is also recommended.

ColorWater 沁彩

水彩风格的 LoRA,个人比较喜欢。
LoRA 模型:人物和画风生成的利器LoRA 模型:人物和画风生成的利器

推荐设置:权重=0.8-1,CFG=3-6

Ghibli 吉普力

吉普力风格的 LoRA,绘本化的角色涉及,丰富多彩的水彩风,柔和的笔触。可以和其他人物模型 LoRA 进行融合使用,通常画风 LoRA 设置权重小于人物 LoRA 以确保人物生成完整。

使用二次元风格模型即可

LoRA 模型:人物和画风生成的利器LoRA 模型:人物和画风生成的利器

概念型 LoRA 模型推荐

某种特定画风或实现形式 + 形象的结合体,用于描述某种概念,比如“抽卡立绘”
civitai.com/tag/concept

Gacha splash 抽卡立绘

体验免费抽卡的感觉!但输出手法比较复杂,建议熟读模型卡的介绍:
LoRA 模型:人物和画风生成的利器LoRA 模型:人物和画风生成的利器

A gacha splash style lora. Make sure you start with the following template and add your background prompts.

[(white background:1.5)::5], isometric OR hexagon , 1 girl, mid shot, full body, <add your background prompts here>

Suggested resolution: 640X640 with hires fix. You may modify your prompt and resolution after successfully getting the effect.

Tarot Card 塔罗牌

塔罗牌风格 LoRA,色彩明亮,人物精致,just 抽卡!推荐配合 Anything 大模型使用。
LoRA 模型:人物和画风生成的利器LoRA 模型:人物和画风生成的利器

- 所有样图均使用Anything V4.5 & orangeminx VAE生成。推荐强度:0.8~1。
- 推荐负面embedding:EasyNegative、badhandv4。

Detail Tweaker LoRA 细节调整

用于调整画面细节,可以加强或者减弱细节,同时保持原图风格或人物不变,权重可以调整为 -2 到 2 之间。
LoRA 模型:人物和画风生成的利器

it works well with all kinds of base models (incl anime & realistic models)/style LoRA/character LoRA, etc.

Apply your own weight; this LoRA can be utilized for any weight up/down to 2/-2!

服饰类 LoRA 模型推荐

SD 目前重点应用之一是人物角色形象涉及,服饰类 LoRA 不可或缺。
civitai.com/tag/clothin…

A-Mecha Musume 机甲 A素体机娘

  1. 机甲系列关键词:mecha, intricate mechanical bodysuit, mecha corset, mechanical parts, robotic arms and legs, headgear, caustics, reflection, ray tracing, demontheme, cyber effect, cyberpunk, science fiction.
  2. 可以将多个模型进行融合,调整 LoRA 的权重比例,效果更佳,但比例不宜过高,否则会真变成高达
  3. 机甲模型推荐:CetusMix(二次元)Experience(真实系)
    :::
    LoRA 模型:人物和画风生成的利器LoRA 模型:人物和画风生成的利器
1. 触发词: mecha musume, mechanical arms, headgear, bodysuit (Optional)
2. 权重推荐: 1 ~ 1.5 

Gundam RX78-2

高达类机甲
LoRA 模型:人物和画风生成的利器LoRA 模型:人物和画风生成的利器

hanfu 汉服

LoRA 模型:人物和画风生成的利器LoRA 模型:人物和画风生成的利器

根据朝代给定不同触发词:han style、tang style、 song style、 ming style、 jin style

(权重): 0.5~0.7

物品类 LoRA 模型推荐

物品形象的精准传达,属于概念或者服饰类的一种更细分领域。
civitai.com/tag/objects

Blue Print 产品蓝图

LoRA 模型:人物和画风生成的利器

Food Photography 美食摄影

LoRA 模型:人物和画风生成的利器LoRA 模型:人物和画风生成的利器

"RAW photo, Spring Rolls, <lora:foodphoto:1> foodphoto, dslr, soft lighting, high quality, film grain, Fujifilm XT"

LoRA 使用技巧

用 LoRA 配套的大模型

  • LoRA 训练的时候需要一个大模型,所以和大模型配套使用效果最好。
  • 其他模型也可以尝试,不过效果因模型而异,可能会有神奇的效果,也可能质量很差。
  • 大模型可以在作者的样图中找到,或者评论中用户用的比较好的大模型也可。

LoRA 模型:人物和画风生成的利器

最好使用和作者一样的参数

  • 参数尽量一致。
  • 出图的效果只要和作者的近似即可。

正确设置 LoRA 的权重

  • LoRA 设置的权重越大则 LoRA 对图的影响越强,推荐 0.5 ~ 1.0 范围内。
  • LoRA 权重不要超过 1,很容易出效果很差的图。
  • LoRA 设置语法如下:
 <lora:blindbox_V1Mix:0.8>

有触发词一定要用触发词

  • 如果模型没有触发词可以不设置,也有可能作者忘了。
  • 一般多个触发词选择一个即可,可能是不同的效果,比如这里的长衫,短衫对应不同风格的汉服。

LoRA 模型:人物和画风生成的利器

新手不要混用 LoRA

最好理解原理后再进行层数权重设置。

参考

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI教程

大白话聊聊ChatGPT的历程和NLP

2023-11-22 19:39:14

AI教程

图算法系列:社区发现算法详解

2023-11-22 19:44:14

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索