AMD发布首个小语言模型AMD-135M,推测解码方法提升性能

释放双眼,带上耳机,听听看~!
AMD发布了首个小语言模型AMD-135M,采用推测解码方法可提升性能,适合私密性、专业性很强的企业部署。该模型已开源,训练代码、数据集等资源遵循Apache 2.0,性能略有领先于其他开源小模型。

快科技10月1日消息,AMD发布了自己的首个小语言模型(SLM),名为AMD-135M”。

相比于越来越庞大的大语言模型(LLM),它体积小巧,更加灵活,更有针对性,非常适合私密性、专业性很强的企业部署。

AMD-135小模型隶属于Llama家族,有两个版本:

一是基础型AMD-Llama-135M”,拥有多达6700亿个token,在八块Instinct MIM250 64GB加速器上训练了六天。

二是延伸型AMD-Llama-135M-code”,额外增加了专门针对编程的200亿个token,同样硬件训练了四天。

AMD发布首个小语言模型AMD-135M,推测解码方法提升性能
创建与部署流程

它使用了一种名为推测解码”(speculative decoding)的方法,通过较小的草稿模型,在单次前向传播中生成多个候选token,然后发送给更大的、更精确的目标模型,进行验证或纠正。

这种方法可以同时生成多个token,不会影响性能,还可以降低内存占用,但因为数据交易更多,功耗也会增加。

AMD还使用AMD-Llama-135M-code作为CodeLlama-7b的草案模型,测试了推测解码使用与否的性能。

比如在MI250加速器上,性能可提升最多约2.8倍,锐龙AI CPU上可提升最多约3.88倍,锐龙AI NPU上可提升最多约2.98倍。

AMD发布首个小语言模型AMD-135M,推测解码方法提升性能
推测解码

AMD发布首个小语言模型AMD-135M,推测解码方法提升性能

AMD-135M小模型的训练代码、数据集等资源都已经开源,遵循Apache 2.0。

按照AMD的说法,它的性能与其他开源小模型基本相当或略有领先,比如Hellaswag、SciQ、ARC-Easy等任务超过Llama-68M、LLama-160M,Hellaswag、WinoGrande、SciQ、MMLU、ARC-Easy等任务则基本类似GTP2-124MN、OPT-125M。

AMD发布首个小语言模型AMD-135M,推测解码方法提升性能

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI资讯

OpenAI与xAI的商战:奥特曼大战钢铁侠

2024-10-1 11:34:43

AI资讯

OpenAI DevDay发布实时API、视觉微调和提示词缓存新功能

2024-10-2 12:11:03

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索