当前位置:首页> AI教程> GPT-4:8 x 220B专家模型引发热议,网友猜测是否真的1.76万亿?

GPT-4:8 x 220B专家模型引发热议,网友猜测是否真的1.76万亿?

释放双眼,带上耳机,听听看~!
美国知名骇客George Hotz透露GPT-4由8个220B模型组成,引发热议。网友纷纷猜测GPT-4的参数是否真的达到1.76万亿,对此进行深度分析并提出疑问。

家人们,GPT-4的参数可能还真不止1万亿!

近来,美国知名骇客George Hotz在接受采访时透露,GPT-4由8个220B模型组成。

这么算来,8 x 220B = 1.76万亿。

就连PyTorch的创建者Soumith Chintala对此也深信不疑。

GPT-4:8 x 220B专家模型用不同的数据/任务分布和16-iter推理进行训练。

如果真是这样的话,GPT-4的训练可能更加有效。

GPT-4:8 x 220B专家模型引发热议,网友猜测是否真的1.76万亿?

1.76万亿「八头蛇」?

在GPT-4还未放出之前,GPT-3有1750亿个参数,一众网友猜测GPT-4岂不是要逆天,最起码1万亿。

GPT-4:8 x 220B专家模型引发热议,网友猜测是否真的1.76万亿?

而George在接受Latent Space的采访时,对GPT4架构的描述着实让人震惊。

他的部分原话如下:

GPT-4每个head都有2200亿参数,是一个8路的混合模型。所以,混合模型是当你想不出办法的时候才会做的。OpenAI训练了相同模型8次,他们有一些小技巧。他们实际上进行了16次推断。

他特别强调,OpenAI做了8个混合专家模型,任何人可以花8倍资金都能训练出来。

也就是说,人们能够训练更小模型更长时间,微调后,就能找到这些技巧。

OpenAI曾经发表类似关于让计算量不变的情况下,让训练更好的算法,比较像BatchNorm和NoBatchNorm。

GPT-4:8 x 220B专家模型引发热议,网友猜测是否真的1.76万亿?

一起看看George Hotz具体的介绍视频:

,时长01:33

网友热评

就像George所说,这是8个较小的模型,如果有足够资金训练8个混合模型,这是一个微不足道的解决方案。

GPT-4:8 x 220B专家模型引发热议,网友猜测是否真的1.76万亿?

所以,GPT-4是GPT-3的10倍,而1月份的所有小圈圈大圈圈的meme实际上是……真的?!

GPT-4:8 x 220B专家模型引发热议,网友猜测是否真的1.76万亿?

网友得知秘诀后,打算自己也要训练一个LLaMA集合体与GPT-4竞争。

GPT-4:8 x 220B专家模型引发热议,网友猜测是否真的1.76万亿?

还有网友称,这有点像LLM-Blender。

GPT-4:8 x 220B专家模型引发热议,网友猜测是否真的1.76万亿?

我早就听到了稍微可信的传言,说GPT-4将是MoE,但从未得到证实。MoE和大约1万亿个参数不会让我感到惊讶,这听起来极为合理。

GPT-4:8 x 220B专家模型引发热议,网友猜测是否真的1.76万亿?

还有网友进行深度分析:

老实说,我预计这将是人工智能架构的下一阶段。我们已经看到特定任务模型在任务中的表现比一般模型好得多。

因此,将许多特定任务模型组合在一起将是下一个合乎逻辑的步骤。这几乎使升级系统变得容易得多,一次只能处理一个模型。

话虽如此,OpenAI以一种未来可能会,也可能不会的方式做到了这一点。显然,组合系统可能会有更多的小模型,而不是几个更大的模型。

GPT-4:8 x 220B专家模型引发热议,网友猜测是否真的1.76万亿?

如果这是真的,这是否意味着每个220B模型也有32K的上下文长度?

GPT-4:8 x 220B专家模型引发热议,网友猜测是否真的1.76万亿?

网友下了功夫,给它命名为「九头蛇」。

GPT-4:8 x 220B专家模型引发热议,网友猜测是否真的1.76万亿?GPT-4:8 x 220B专家模型引发热议,网友猜测是否真的1.76万亿?

参考资料:

www.latent.space/p/geohot#de…

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI教程

如何使用Python中的scikit-learn库计算AUC值

2023-12-21 12:22:14

AI教程

NLP自然语言理解指的是什么

2023-12-21 12:34:14

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索