李开复领队开源大模型Yi,突破40万字上下文窗口破纪录

释放双眼,带上耳机,听听看~!
李开复领队开源了一款突破记录的大模型Yi,拥有40万字的超长上下文窗口,成为全球首个开源的超长上下文大模型。该模型具备多个性能亮点,训练成本下降40%,并在多个基准测试中取得优秀成绩。了解更多关于Yi的信息,请访问项目地址。

李开复博士亲自下场创办的零一万物(01.ai),自3月底官宣成立后,于近日发布并开源了两个版本的中英文大模型 Yi-6B 和 Yi-34B。

李开复领队开源大模型Yi,突破40万字上下文窗口破纪录

在线上发布环节,李开复博士重点介绍了 Yi 系列大模型的三处性能亮点:

  • 全球最长200K 上下文窗口,免费开源

  • 超强 Al Infra 实测训练,成本下降40%

  • 科学训模自研「规模化训练实验平台」

Yi-34B 目前在各个基准测试中,都获得了很好的表现,据零一万物提供的评测结果看来,Yi-34B 和 Yi-6B 均在 MMLU、BBH、C-Eval 取得了不错的成绩。

李开复领队开源大模型Yi,突破40万字上下文窗口破纪录

在参数规模方面,李开复博士强调了本次发布选择了6B 和34B 版本,是当前对学术、开发者社区最友好的版本。34B 模型版本具备更优越的知识容量、下游任务的容纳能力和多模态能力,也达到了大模型「涌现」的门槛。

而比起更大的50B至70B,34B是单卡推理可接受的模型尺寸的上限,训练成本对开发者更友好,经过量化的模型可以在一张消费级显卡(如4090)上进行高效率的推理,对开发者操作服务部署有很大的优势。

李开复领队开源大模型Yi,突破40万字上下文窗口破纪录

发布会中 CSDN 提问如何看待大模型的未来演进方向时,李开复博士认为大模型一定会持续扩大参数规模,来探索模型技术和模型效果的极限。同时透露,零一万物在持续进行千亿参数规模的模型训练,也为此准备好了未来18个月里所需要的算力。在多模态方面已经形成了十多人的技术团队,在未来一两个月内,也会有相关工作能够对外公开。

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI资讯

DB-GPT: 改变数据库互操作方式的开源项目

2023-11-6 16:38:00

AI资讯

Silobreaker AI助力威胁情报团队快速评估和减少风险

2023-11-6 16:40:00

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索