本文 首发于 🌱 煎茶转载 请注明 来源

直接在浏览器里面运行的大语言模型,不需要部署直接调用 webGPU 进行运算,已经把模型部署成本拉到最低了。

目前只有 M1 或者 M2 芯片的 Mac 可以运行,需要下载谷歌开发版本。
这里下载谷歌浏览器开发者版本:https://google.com/chrome/canary/

WebLLM

用开发者版本的谷歌打开这个页面即可体验:https://mlc.ai/web-llm/#chat-demo

运行速度很慢,毕竟是运行在浏览器中的,有一种树懒的即视感。

WebSD

他们还开发了在浏览器上运行的 Stable Diffusion,也是类似的原理调用 WebGPU 运算,限制同上面一样。

这里体验:https://mlc.ai/web-stable-diffusion/#text-to-image-generation-demo

打开速度非常的慢。

因为是运行在浏览器中的,对速度不能期待太多。

耗时数分钟,终于成功:

References