Meta开源图像分割模型SAM,提供多元化交互和三维支持

释放双眼,带上耳机,听听看~!
Meta最新开源图像分割模型SAM,提供多元化交互和三维支持,革新了样本标注方式,是深度学习应用的爆发期。了解更多SAM模型的特点和应用。

theme: condensed-night-purple

相信大家最近都听说了Meta开源了一个图像分割模型【SegmentAnything Model】,简称SAM模型,号称分割一切,在短短开源的一周内,截止今天Github已经24k的star了!

Meta开源图像分割模型SAM,提供多元化交互和三维支持

看了很多推文各种炸裂的词都出来了,最近也是体验了一下,真就给我当头一棒,头皮发麻,因为这个模型直接宣告了我们一些流程完全不需要深入研究了,就用SAM就行。

王者的诞生

提到Meta大家可能不知道这个是什么公司,但是提到Facebook大家都知道,而Meta就是改名后的Facebook,而我们常用的Pytorch深度学习框架就是他们旗下的产品。而SAM到底强在哪里?我们看看官方的介绍:

Meta开源图像分割模型SAM,提供多元化交互和三维支持

多元化交互

目前官方的demo支持交互式标注,可以通过画框、鼠标点击来获取分割的区域,此外还可以一键分割一切,轻轻点一下,将分割结果实时展示出来,并且对于不太确定的类别提供了多个有效的区域,举个例子,如果一堆草地里面会有花、花瓣也会分割出来,你可以根据阈值进行调整。

Meta开源图像分割模型SAM,提供多元化交互和三维支持

支持三维

SAM模型的输出结果可以作为其他AI的输入,比如下图的视频里不断被追踪分割椅子,进而提取出椅子的特征,可以生成椅子的三维模型。

Meta开源图像分割模型SAM,提供多元化交互和三维支持

集成应用

SAM的可提示设计使其能够与其他系统灵活整合,如图右,输入文本可以根据我们文本进行分割;如图左,可以根据AR眼睛的注视范围(一个点表示)然后分割出物体并且给出它的类别,这个和Meta本身的VR方向完全是相辅相成了。
Meta开源图像分割模型SAM,提供多元化交互和三维支持

0训练

官方宣传SAM模型已经学会了关于物体是什么的一般性概念–这种理解使其能够对不熟悉的物体和图像进行概括,而不需要额外的训练。

Meta开源图像分割模型SAM,提供多元化交互和三维支持

初步体验

好了好了,讲这么多,听起来也没啥感觉吧,不如实际体验一下。

Meta开源图像分割模型SAM,提供多元化交互和三维支持

这里我先上传了一个高分辨率无人机拍的png:
Meta开源图像分割模型SAM,提供多元化交互和三维支持
Meta开源图像分割模型SAM,提供多元化交互和三维支持
可以看到草坪、人行道、车辆分割的非常完美,而右下角的空地要素较多也进行了分类,水潭是水潭、草坪是草坪、荒地是荒地。

使用框选的话,首先会把右下角分为一个整体:
Meta开源图像分割模型SAM,提供多元化交互和三维支持
然后后续使用SegmentAnything会给出更精细的分割:
Meta开源图像分割模型SAM,提供多元化交互和三维支持

而且输出很棒,可以直接将分割的区域进行输出
Meta开源图像分割模型SAM,提供多元化交互和三维支持

然后我还试了其他图片,在没有进行训练的情况下,SAM还是把树一颗一颗的分别出来了,并且排除了阴影:
Meta开源图像分割模型SAM,提供多元化交互和三维支持

不训练效果都这么好,迁移一下模型,不得起飞(笑)

总结

总体体验下来,SAM最大的大招和冲击那就是样本标注,这种精细化交互式标注将杀死我们以前纯人工划区域的方式,并且大大提高样本的精度和降低样本标注的成本!

还在用labelIMG传统标注?来体验一下SAM模型的赛博标注吧!
segment-anything.com/

展望

在研一上人工智能的数学原理的时候,数院教授就和我们说深度学习其实已经进入了瓶颈期,未来将是深度学习应用的爆发期,当时还没什么感觉,而ChatGPT、Dall.e、SAM、Stable defussion及其衍生的应用的出现,让我身临其境的感悟了大模型的魅力。相信后面还是应用的爆发期,大家的公司可以开起来了。

Meta开源图像分割模型SAM,提供多元化交互和三维支持

这里是GIS宇宙,我们下期再见~

商业合作请私信公众号
本人其他平台账号:

  • 微信公众号:GIS宇宙
  • CSDN:GIS_宇宙
  • 知乎:GIS宇宙
  • 掘金:GIS宇宙
本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI教程

ControlNet图像增强框架安装及配置指南

2023-12-21 12:02:14

AI教程

深度学习语义分割篇——FCN源码解析

2023-12-21 12:15:14

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索