写在前面

这两天,ControlNet把AIGC圈刷屏了.

ControlNet是由Style2Paints的作者,张吕敏提出的一个基于diffusion的神经网络架构.该网络首先对输入的图片进行线稿识别,然后再基于该线稿进行上色.相比于传统的AIGC,ControlNet能提供极其稳定的控制效果.

ControlNet很好的解决了文生图大模型的关键问题: 单纯的关键词的控制方式无法满足对细节控制的需要. 例如AIGC广为诟病的『手指』问题,可以通过线稿控制完美解决:

AIGC:我终于能画好手指了!

ControlNet 大大提升了AIGC的下限,解决了AIGC最大的一个难题:生成图片可控性问题. 在ControlNet的帮助下,AIGC在画面细节层面的处理能力得到了极大的增强,且输出结果极其稳定.

喜欢什么颜色都可以~

对于游戏工业来说,ControlNet到来之前,AIGC产生的图可能只能停留在概念原型图阶段,但是ControlNet出现后,AIGC生成的图片直接用在游戏中也并非不可能!

笔者认为,ControlNet的出现使AIGC距离游戏工业化大规模使用又进了一大步.

ControlNet能力介绍

ControlNet的作者把每一种不同类别的输入分别训练了模型, 目前共提供了8种模型,分别是: canny, depth, hed, mlsd, normal, openpose, scribble, seg. 以下分别进行介绍.

canny(线稿模型)

线稿画师福音! 通过从原始图片中边缘检测, 提取线稿, 来生成同样构图的画面.

妈妈再也不用担心我不会上色了!

作者由于版权原因未公开的一个模型效果

Depth(深度图模型)

通过提取原始图片中的深度信息，可以生成具有同样深度结构的图。

Lora+ControlNet:任何人物,任何姿势都给你办到!

ControlNet不改变任何结构的图生图!

用简单的建模生成精美的游戏场景!

Hed(软边缘)

类似canny,但是边缘处理更细致. 相对于使用普通的 img2img ，边缘线提取的方式可以生成更加清晰完整的图，黑色描边也得到了很好的重绘。

Scribble(涂鸦)

自由度更大

OpenPose(人物动作)

人物动作pose检测, 用于人物动作生成. 对人物设计和动画十分有利 ,应该很快会看到在影视/游戏中的应用.(已经有人拿这个做mmd了)

图片来源: twitter.com/toyxyz3/sta…

图片来源:twitter.com/DiffusionPi…;

Normal(法线贴图)

用于3d模型中法线贴图生成,可以得到normal图一致的模型.

MLSD(线段识别)

线段识别,对直线识别较好,适用于建筑场景

Seg(语义分割)

用于对图像进行语义分割识别, ai能更好的理解每个部分是什么, 适用于开放世界风景生成

ControlNet技术原理

ControlNet 是一种通过添加额外condition来控制扩散模型的神经网络结构.

它将神经网络块的权重复制一份副本, 并区分为“锁定”模块和“可训练”模块.

“可训练”的模块可以学习条件限制(condition), “锁定”的模块则会保留模型参数.

因此, 使用小型图像对数据集进行训练不会破坏原始的扩散模型.

在上图中,“零卷积”是 1×1 卷积, 权重和偏差(bias)都初始化为零.

在训练之前, 所有零卷积输出零, ControlNet 不会造成任何任何改动,每一层都是基于fine-tuning进行训练

这允许在小规模甚至个人设备上进行培训, 同时对于模型/权重/块/层的合并/替换/偏移也很友好.

在Stable Diffusion中, ControlNet就是对训练网络进行了14次同样的操作.

更多技术细节请参阅原论文

ControlNet应用

值得一提的是,国内最大的图片分享网站,花瓣网,也在2月18日上线了一款基于ControlNet的应用:『稿定AI』,帮助设计师更好的完成”再画一版”的需求. 该应用选用了ControlNet的3大模型: canny, scribble和openpose. Base model应该是用的anything系列. 有兴趣的小伙伴可以体验一番:www.gaoding.com/ai

写在最后

ControlNet大大加强了Stable diffusion生成图片的稳定性,使其生成图能更好的满足美术的要求,进而在产业中落地.

从2022年8月Stable diffusion开源以来,AIGC始终在快速演进中,每个月都会有翻天覆地的新技术出现,同时技术迭代越来越快.AI的能力也在肉眼可见的变强.从最开能一眼识别ai作图,到现在的真假难分.

作为一名游戏从业者,笔者相信,AIGC很快就会为游戏行业带来革新,也期待未来有更加优秀的技术出现.

附录

ControlNet项目地址：github.com/lllyasviel/…

ControlNet 的 WebUI 扩展： github.com/Mikubill/sd…

模型下载（5G）huggingface.co/lllyasviel/…

模型下载（700mb）huggingface.co/webui/Contr…