当前位置:首页> AI教程> MLC LLM:一部iPhone也能跑大语言模型,开箱即用的震撼体验

MLC LLM:一部iPhone也能跑大语言模型,开箱即用的震撼体验

释放双眼,带上耳机,听听看~!
MLC LLM是一款大语言模型,可以在iPhone上开箱即用,通过GitHub获取。该模型可以生成诗歌、故事、菜谱等内容,但在理工科和中文适配方面还有待提高。

跑大语言模型的门槛,已经降低到一部iPhone了。

当然安卓版本也有,只要手机RAM够6G,听上去是不是比用2060还要震撼?

而且这次还是开箱即用的版本!

MLC LLM:一部iPhone也能跑大语言模型,开箱即用的震撼体验

这个项目名为MLC LLM,与之前的WebLLM同出自知名学者陈天奇团队。

截止目前已在GitHub上斩获超6800星。

MLC LLM:一部iPhone也能跑大语言模型,开箱即用的震撼体验

目前可以测试的模型有羊驼家族(基于LLaMA)的RedPajama和Vicuna。

可选模型参数分别为30亿和70亿,与很多在线Demo规模也相当了。

MLC LLM:一部iPhone也能跑大语言模型,开箱即用的震撼体验

RedPajama团队表示,这一成果打开了大模型私有化部署的可能性。

MLC LLM:一部iPhone也能跑大语言模型,开箱即用的震撼体验

话不多说,快来看看体验如何。

文字功底尚可,但理科是短板

我们选择了其中的Vicuna模型进行测试。

首先测试一下它的文学造诣,于是让它为四个季节分别写了一首诗。

韵律吗,基本上是两三句一押。

MLC LLM:一部iPhone也能跑大语言模型,开箱即用的震撼体验

除了诗歌,故事也能创作,甚至还能写出内心戏来。

MLC LLM:一部iPhone也能跑大语言模型,开箱即用的震撼体验

不只是爱情,其他类型的故事也难不倒它。

MLC LLM:一部iPhone也能跑大语言模型,开箱即用的震撼体验

除了文学上的应用,我们不妨再来试试它的实用功能。

我们让它生成了一道夏威夷披萨的菜谱,看上去还蛮不错。

MLC LLM:一部iPhone也能跑大语言模型,开箱即用的震撼体验

旅游计划也可以让它来安排。

MLC LLM:一部iPhone也能跑大语言模型,开箱即用的震撼体验

我们再来看看它在理工科上的表现怎么样。

首当其冲的是代码,我们让它尝试用Python写了一段寻找最大数的代码。

MLC LLM:一部iPhone也能跑大语言模型,开箱即用的震撼体验

想不到上来就是一通枚举……不过结果倒也是符合要求。

def max_of_three(num1, num2, num3):
    if num1 > num2 and num1 > num3:
        return num1
    elif num2 > num1 and num2 > num3:
        return num2
    elif num3 > num1 and num3 > num2:
        return num3
    return None

num1 = 11
num2 = 45
num3 = 14
max_value = max_of_three(num1, num2, num3)
print("The maximum value is: ", max_value)

MLC LLM:一部iPhone也能跑大语言模型,开箱即用的震撼体验

不过遇到稍难的问题,它的编程能力就有些捉襟见肘了。

MLC LLM:一部iPhone也能跑大语言模型,开箱即用的震撼体验

至于数学和逻辑推理则一言难尽,不过毕竟为适配手机参数有限,倒也情有可原。

MLC LLM:一部iPhone也能跑大语言模型,开箱即用的震撼体验

我们还试了试用中文进行提问,但发现目前对中文的适配还有些问题。

MLC LLM:一部iPhone也能跑大语言模型,开箱即用的震撼体验

另外,移动APP目前还不具有保存聊天记录功能,切出界面时一定要小心小心再小心。

虽然目前能在手机上跑的大模型能力还有限,但团队也展示了未来更多发展方向。

比如为用户定制模型并与云端公共基础模型交互、提供离线支持、App嵌入、去中心化等等。

MLC LLM:一部iPhone也能跑大语言模型,开箱即用的震撼体验

如何安装

这款大模型支持iOS、安卓移动设备,以及Windows和Mac

iOS用户可以先安装好TestFlight,然后从下面的传送门申请测试:

传送门:testflight.apple.com/join/57zd7o…

如果名额已满,也可以用GitHub上的代码自行编译安装

传送门:github.com/mlc-ai/mlc-…

安卓用户直接下载apk安装即可,第一次运行时需联网下载数据包。

传送门:github.com/mlc-ai/bina…

桌面用户请参阅官方教程:

传送门:mlc.ai/mlc-llm/

—  —

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI教程

免费无限使用AIGC图片生成方法

2023-11-20 1:33:14

AI教程

YOLOv5车牌识别进阶:字符分割与识别方法详解

2023-11-20 3:03:14

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索