当前位置:首页> AI教程> 掘金·启航计划参与体验:Web LLM 在浏览器内运行的AI助手

掘金·启航计划参与体验:Web LLM 在浏览器内运行的AI助手

释放双眼,带上耳机,听听看~!
掘金·启航计划参与体验Web LLM,了解在浏览器内运行的AI助手,实现GPU加速,支持深度学习模型,以及基于LLM的聊天机器人。

我正在参加「掘金·启航计划」

Web LLM 将大型语言模型和基于 LLM 的聊天机器人引入 Web 浏览器。让一切都在浏览器内运行而无需服务器支持(使用 WebGPU 加速)。

这无疑产生了许多有趣的机会,这样做可以为每个人构建 AI 助手,还可以在享受 GPU 加速的同时实现隐私保护。项目相关信息如下:

这个项目 04-14 才开源,很多地方还没有很完善,如文档或者运行示例等,但是在浏览器中运行实在是吸引人,正好手头有一台 M1MacOS,所以赶紧来体验一波。

在线体验

官网直接给了一个 Apple 芯片的 Mac 电脑本地使用的例子,步骤简单,如下:

  • 下载 Chrome Canary,目的是为了体验最新版的 WebGPU 功能(也可以试用最新的 Chrome 113)
  • 安装好之后,命令行启动 – 记得启动前设置好代理,方便下载模型参数 – /Applications/Google Chrome Canary.app/Contents/MacOS/Google Chrome Canary --enable-dawn-features=disable_robustness
  • 开始体验!

掘金·启航计划参与体验:Web LLM 在浏览器内运行的AI助手

等待下载完毕,就可以直接使用了:

掘金·启航计划参与体验:Web LLM 在浏览器内运行的AI助手

可以看到,明目张胆地胡乱介绍我们的李白,测了下写代码还是能行的。

本地体验

这块官方也还没有说怎么本地启动运行,我是个人觉得因为是基于浏览器,所以本地运行应该就是启动一个网站。

测试也很方便,我就直接把相关源码 clone 下来,然后启动,发现果然可行,看过程如下:

git clone https://github.com/mlc-ai/web-llm

# switch branch
cd web-llm
git checkout -b gh-pages origin/gh-pages
cd docs

# start
docker run --restart always  --name docker-web-llm -p 8060:80 -d -v "`pwd`:/usr/share/nginx/html" nginx

启动浏览器:

/Applications/Google Chrome Canary.app/Contents/MacOS/Google Chrome Canary --enable-dawn-features=disable_robustness

在浏览器输入:http://127.0.0.1:8060/, 即可在你的本地体验 vicuna-7b 模型了,相当简单:

掘金·启航计划参与体验:Web LLM 在浏览器内运行的AI助手

说明

至此,线上线下体验 Web LLM 至此结束,有兴趣的欢迎来尝试交流。也感谢你阅读到这里,如果此文对你有帮助,欢迎转发点赞。

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI教程

深度学习在锂电池RUL、SOH和热管理中的研究进展与应用

2023-12-13 9:54:14

AI教程

大模型时代:AI技术在教育领域的应用分享

2023-12-13 10:03:14

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索