由李开复博士亲自下场创办的零一万物(01.ai),自3月底官宣成立后,于近日发布并开源了两个版本的中英文大模型 Yi-6B 和 Yi-34B。
在线上发布环节,李开复博士重点介绍了 Yi 系列大模型的三处性能亮点:
-
全球最长200K 上下文窗口,免费开源
-
超强 Al Infra 实测训练,成本下降40%
-
科学训模自研「规模化训练实验平台」
Yi-34B 目前在各个基准测试中,都获得了很好的表现,据零一万物提供的评测结果看来,Yi-34B 和 Yi-6B 均在 MMLU、BBH、C-Eval 取得了不错的成绩。
在参数规模方面,李开复博士强调了本次发布选择了6B 和34B 版本,是当前对学术、开发者社区最友好的版本。34B 模型版本具备更优越的知识容量、下游任务的容纳能力和多模态能力,也达到了大模型「涌现」的门槛。
而比起更大的50B至70B,34B是单卡推理可接受的模型尺寸的上限,训练成本对开发者更友好,经过量化的模型可以在一张消费级显卡(如4090)上进行高效率的推理,对开发者操作服务部署有很大的优势。
发布会中 CSDN 提问如何看待大模型的未来演进方向时,李开复博士认为大模型一定会持续扩大参数规模,来探索模型技术和模型效果的极限。同时透露,零一万物在持续进行千亿参数规模的模型训练,也为此准备好了未来18个月里所需要的算力。在多模态方面已经形成了十多人的技术团队,在未来一两个月内,也会有相关工作能够对外公开。