当前位置:首页> AI教程> Stable Diffusiion 的基础能力:ControlNet 之画风融合

Stable Diffusiion 的基础能力:ControlNet 之画风融合

释放双眼,带上耳机,听听看~!
本文介绍了Stable Diffusiion 中的基础能力 ControlNet,重点讨论了画风融合技术,并提供了使用Shuffle进行图片生成的方法和示例。

今天继续给大家分享 Stable Diffusiion 的基础能力:ControlNet 之画风融合。

基本介绍

首先我们来明确一个概念:什么是画风?

我通过AI大模型获取了一个答案,自认为还比较容易理解:画风是指绘画的风格,包括作者对人物、布景等的绘画手法,线条处理,色彩、色调等其他方面的处理手法,以及动画创作者的作画风格等。

本文用到的 ControlNet 类型是Shuffle,它的本意是洗牌、打散。Shuffle的预处理器会把图片中的元素扭曲组合,然后Shuffle模型会使用这些信息,结合其它SD控制参数一起生成图片。

为了更直观的感受这个处理方法,我这里用Anything模型参考“蒙娜丽莎”生成了一张图片:

Stable Diffusiion 的基础能力:ControlNet 之画风融合

从上面这个例子,我们可以看到:生成图片参考了原图的色彩、色调和一些光影效果,以及部分元素(背景中高低起伏的地面),甚至人物的发型、姿势等特征,同时图片也受到大模型的很多约束,线条的处理,人物的面部、头发、服饰等都是Anything的二次元风格。

绘制的图片既有参考图的部分风格,又有大模型的部分风格,两种风格出现在同一张图中,融合到了一起,所以我这里称之为画风融合。

如果你感觉这个说法还是有点单薄,下面会有更多的示例。不过在此之前,我想先演示下 Shuffle 的用法,以便让大家能够更快的开始自己的创作。

使用方法

对 ControlNet 缺乏概念的同学,还是要先去了解一些基础知识,参考这篇文章:ControlNet的安装方法

选择一个你喜欢的大模型,通过提示词描述你想要的画面,通过反向提示词做一些画面约束。

Stable Diffusiion 的基础能力:ControlNet 之画风融合

  • 随便选择一个采样器,这里选择一个比较新的 DPM++ 2M SDE Karras,速度和效果都比较好,采样步数在20-40。
  • 设置你想要生成图片的尺寸,数值越大生成越慢,一般不要超过1024;宽高比常见的有1:1、2:3、3:4、9:16等,宽高比过于悬殊,画面结构可能会崩坏,这里宽高采用了2:3的比例。

Stable Diffusiion 的基础能力:ControlNet 之画风融合

在ControlNet区域:

  • 选择一个Unit,一般就是第一个;
  • 上传一张参考图片;
  • 勾选“启用”;勾选“完美匹配像素”,让预处理器自动识别参考图的分辨率;勾选“允许预览”,方便查看 Shuffle 预处理的结果。

Stable Diffusiion 的基础能力:ControlNet 之画风融合

  • Control Type 这里勾选“Shuffle”;
  • Shuffle的预处理器和模型都只有一种,勾选“Shuffle”后会自动加载;
  • 其它参数先使用默认值就可以。

Stable Diffusiion 的基础能力:ControlNet 之画风融合

然后就可以去生成图片了。

Stable Diffusiion 的基础能力:ControlNet 之画风融合

绘图示例

下面是使用 Shuffle 绘制图片的一些示例。为了更全面的感受 Shuffle 的效果,我选择了多种风格的参考图,大模型使用了 AnythingV5 和 realisticVisionV51,它们分别是二次元模型和真实模型。

下面3张图的顺序都是:参考图、AnythingV5、realisticVisionV51。

如果你有兴趣,可以下载这些图片,然后在 Stable Diffusion WebUI 中查看图片生成参数,下载方法请查看文章最后部分。

赛博朋克

文生图,赛博朋克风格,Shuffle ControlNet。参考图中的光影效果深刻影响了生成的图片。

Stable Diffusiion 的基础能力:ControlNet 之画风融合

古风仕女

文生图,女子,Shuffle ControlNet。除了色彩很像,看这两个小眼神,好像也受到了参考图的很大影响。在真实模型生成的图片中还出现了参考图中的一些花花草草。

Stable Diffusiion 的基础能力:ControlNet 之画风融合

文生图,男子,Shuffle ControlNet。参考图是女子,也不影响生成男人。

Stable Diffusiion 的基础能力:ControlNet 之画风融合

水墨画

文生图,女孩,Shuffle ControlNet。

Stable Diffusiion 的基础能力:ControlNet 之画风融合

文生图,山水画,Shuffle ControlNet。

Stable Diffusiion 的基础能力:ControlNet 之画风融合

小说推文插画

文生图,女孩,Shuffle ControlNet。生成图片融合了一种很干净利索的感觉。

Stable Diffusiion 的基础能力:ControlNet 之画风融合

工笔画风

文生图,女孩,Shuffle ControlNet。这个五颜六色的组合还挺搭的,没有庸俗感。

Stable Diffusiion 的基础能力:ControlNet 之画风融合

蒙娜丽莎(图生图约束)

图生图,蒙娜丽莎,Shuffle ControlNet。

使用图生图,较小的重绘幅度,约束画面的结构,但是色彩、色调都会使用参考图的。

Stable Diffusiion 的基础能力:ControlNet 之画风融合

二次元(线稿约束)

文生图,女孩,Shuffle ControlNet + Lineart ControlNet。

这里使用了 Lineart ControlNet 来约束画面,使得整体画面结构不变,只改变色彩和细节。

Lineart的参考图片是下面这张:

Stable Diffusiion 的基础能力:ControlNet 之画风融合

下面这几张是添加 Shuffle 生成的图片:

Stable Diffusiion 的基础能力:ControlNet 之画风融合

Stable Diffusiion 的基础能力:ControlNet 之画风融合

Stable Diffusiion 的基础能力:ControlNet 之画风融合

总结

从出图示例我们可以看到,Shuffle 提供的画风融合能力主要在色彩、色调,以及参考图中部分元素和效果;生成图片的线条处理、人物的绘画手法还是主要由大模型来控制的。

资源下载

本文使用的模型、插件,生成的图片,都已经上传到了我整理的SD绘画资源中,后续也会持续更新,如有需要,请关/注/公/众/号:萤火遛AI(yinghuo6ai),发消息:SD,即可获取下载地址。

如果你还没有使用过Stable Diffusion WebUI,可以先看这几篇文章,了解下如何使用:

手把手教你在本机安装Stable Diffusion秋叶整合包

手把手教你在云服务器部署Stable Diffusion WebUI

SDXL 1.0出图效果直逼Midjourney!手把手教你快速体验!

以上就是本文的主要内容了,如有问题,欢迎给我留言沟通交流。

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI教程

深度学习在电网智能巡检中的应用及优势

2023-11-23 14:53:14

AI教程

定制你的个人编程助手:微调代码生成模型

2023-11-23 14:59:55

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索