什么是 LoRA 模型
LoRA 出自微软的一篇论文，LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS，原论文运用于 NLP 领域，没想到在 Stable Diffsuion 中发扬光大了。中文名可以称呼为”低秩适应模型“，简称 LoRA。
LoRA 通过去噪训练过程在原有模型的基础之添加额外的中间层，并梯度更新这些中间层的参数权重，其大小通常文件在几十或者几百 MB左右，远远小于 DreamBooth 动辄几个G 的大小。
其原理可以参考 🏕 SD 模型优化方案对比
LoRA 的作用
LoRA 可以帮助你向 AI 传递、描述某一个特征准确，主体清晰的形象，其所携带的信息相比 Embeddings 要更丰富。相当于告诉 AI 照这个画（抄），而 Embeddings 像是用文字在描述这个主体的特征。
有 UP 主举例说假如你是一个程序员，你的老板告诉你要做个购物网站：
- Embeddings 就相当于是你的老板告诉你这个购物网站要有一个商品信息页，要有一个购物车等等，然后你根据需求去实现这个购物网站，出来的效果可能和淘宝完全不同。
- LoRA 相当于你的老板告诉你这个购物网站功能和样子和淘宝差不多，然后你对着淘宝一顿输出，完成了这个购物网站的实现，出来的网站大概率和淘宝就七八分相似。
目前 LoRA 由于其训练成本低，体积小，速度快，效果好，在社区中存在着大量优质的 LoRA 模型，其流行程度甚至不亚于大模型，你可以轻易找到自己想要的角色的 LoRA：
目前 LoRA 主要在 人物，画风，概念，服饰，物品等类别上有比较多的应用场景，下面分别推荐一些模型和使用方法。
人物 LoRA 模型推荐
最常见的 LoRA 应用场景式可以炼制特定类型的人物，比如火出圈的赛博 Coser 就是利用真人系模型 + 人物 LoRA 生成的。
civitai.com/tag/charact…
Doll LikeNess
赛博 Coser 常见 LoRA ，用于融合韩风，日风，台风的女性形象，容易千篇一律，建议多 LoRA 混用。
| Lora 名 | 下载地址 |
|---|---|
| Korean Doll LikeNess V15 | huggingface.co/amornlnw7/k… |
| Korean Doll LikeNess V10 | huggingface.co/aimainia/ko… |
| taiwanDollLikeness_v10 | huggingface.co/jasonli007/… |
| japaneseDollLikeness_v10 | huggingface.co/aimainia/ja… |
Fashion Girl
作者使用 100 张符合自己口味的 fashion girl 炼制而成，有多个不同的版本，每个版本所选用的数据集不同。
The 784mb VAEs (NAI, Orangemix, Anything, Counterfeit) are recommended.
0.6~0.8 weights should be enough.
画风 LoRA 模型推荐
其次，LoRA 可以用于应用不同类型的画风，比如水墨，盲盒，水彩，塔罗牌，吉普力等。
civitai.com/tag/style
MoXin 墨心
非常有中国水墨风的模型，个人非常喜欢。
本品由安吉吴仓石、兴化板桥先生、八大山人、山阴伯年等大师之大小写意作品辅以现代人物训练而成。辅以恰当之提示词，诵先贤尊号，襄古今并用之意，明雅俗共举之美。
推荐使用参数：
1.）CFG范围将会改变风格，1~3 : 大小写意，3~7 : 逐渐工笔
2.）推荐基础模型为ChilloutMix、国风3.2等
3.）《墨心》的推荐Lora权重为0.85以下
4.）《疏可走马》推荐Lora权重为0.7~1
BlindBox 盲盒
盲盒风格的 LoRA，配合 RevAnimated模型可以生成非常可爱的手办模型
blindbox_v1_mix版本增加了PVC的质感，需要搭配 ReV Animated 模型 1.1 版本使用。
AnimeLineart 线稿
可以用于提取动漫类型出图的线稿，用于二次创作。
推荐配置：
Model: Anything V4.5
VAE: Orangemix (the same with NAI)
LoRA Strength: 1
Sampler: DPM++ 2M Karras
Sampling steps: 20
CFG: 7
Negative embedding: EasyNegative、badhandv4
Highres fix is also recommended.
ColorWater 沁彩
水彩风格的 LoRA，个人比较喜欢。
推荐设置：权重=0.8-1，CFG=3-6
Ghibli 吉普力
吉普力风格的 LoRA，绘本化的角色涉及，丰富多彩的水彩风，柔和的笔触。可以和其他人物模型 LoRA 进行融合使用，通常画风 LoRA 设置权重小于人物 LoRA 以确保人物生成完整。
使用二次元风格模型即可
- xiaorenshu 小人书
概念型 LoRA 模型推荐
某种特定画风或实现形式 + 形象的结合体，用于描述某种概念，比如“抽卡立绘”
civitai.com/tag/concept
Gacha splash 抽卡立绘
体验免费抽卡的感觉！但输出手法比较复杂，建议熟读模型卡的介绍：
A gacha splash style lora. Make sure you start with the following template and add your background prompts.
[(white background:1.5)::5], isometric OR hexagon , 1 girl, mid shot, full body, <add your background prompts here>
Suggested resolution: 640X640 with hires fix. You may modify your prompt and resolution after successfully getting the effect.
Tarot Card 塔罗牌
塔罗牌风格 LoRA，色彩明亮，人物精致，just 抽卡！推荐配合 Anything 大模型使用。
- 所有样图均使用Anything V4.5 & orangeminx VAE生成。推荐强度：0.8~1。
- 推荐负面embedding：EasyNegative、badhandv4。
Detail Tweaker LoRA 细节调整
用于调整画面细节，可以加强或者减弱细节，同时保持原图风格或人物不变，权重可以调整为 -2 到 2 之间。
it works well with all kinds of base models (incl anime & realistic models)/style LoRA/character LoRA, etc.
Apply your own weight; this LoRA can be utilized for any weight up/down to 2/-2!
服饰类 LoRA 模型推荐
SD 目前重点应用之一是人物角色形象涉及，服饰类 LoRA 不可或缺。
civitai.com/tag/clothin…
A-Mecha Musume 机甲 A素体机娘
- 机甲系列关键词：mecha, intricate mechanical bodysuit, mecha corset, mechanical parts, robotic arms and legs, headgear, caustics, reflection, ray tracing, demontheme, cyber effect, cyberpunk, science fiction.
- 可以将多个模型进行融合，调整 LoRA 的权重比例，效果更佳，但比例不宜过高，否则会真变成高达
- 机甲模型推荐：CetusMix（二次元）Experience（真实系）
:::
1. 触发词： mecha musume, mechanical arms, headgear, bodysuit (Optional)
2. 权重推荐： 1 ~ 1.5
Gundam RX78-2
高达类机甲
hanfu 汉服
根据朝代给定不同触发词：han style、tang style、 song style、 ming style、 jin style
(权重): 0.5~0.7
物品类 LoRA 模型推荐
物品形象的精准传达，属于概念或者服饰类的一种更细分领域。
civitai.com/tag/objects
Blue Print 产品蓝图
Food Photography 美食摄影
"RAW photo, Spring Rolls, <lora:foodphoto:1> foodphoto, dslr, soft lighting, high quality, film grain, Fujifilm XT"
LoRA 使用技巧
用 LoRA 配套的大模型
- LoRA 训练的时候需要一个大模型，所以和大模型配套使用效果最好。
- 其他模型也可以尝试，不过效果因模型而异，可能会有神奇的效果，也可能质量很差。
- 大模型可以在作者的样图中找到，或者评论中用户用的比较好的大模型也可。
最好使用和作者一样的参数
- 参数尽量一致。
- 出图的效果只要和作者的近似即可。
正确设置 LoRA 的权重
- LoRA 设置的权重越大则 LoRA 对图的影响越强，推荐 0.5 ~ 1.0 范围内。
- LoRA 权重不要超过 1，很容易出效果很差的图。
- LoRA 设置语法如下：
<lora:blindbox_V1Mix:0.8>
有触发词一定要用触发词
- 如果模型没有触发词可以不设置，也有可能作者忘了。
- 一般多个触发词选择一个即可，可能是不同的效果，比如这里的长衫，短衫对应不同风格的汉服。
新手不要混用 LoRA
最好理解原理后再进行层数权重设置。
参考
- LoRA 指南
- lora_cn.md · HuggingFace-CN-community/translation…
- bilibili html5 player
- LoRA从原理到实践，零基础打造赛博Coser、一键更换服饰，无所不能！5大应用方向剖析 & 保姆级讲解！Stable Diffusion AI绘画_哔哩哔哩_bilibili
