直接在浏览器里面运行的大语言模型,不需要部署直接调用 webGPU 进行运算,已经把模型部署成本拉到最低了。
目前只有 M1 或者 M2 芯片的 Mac 可以运行,需要下载谷歌开发版本。
这里下载谷歌浏览器开发者版本:https://google.com/chrome/canary/
WebLLM
用开发者版本的谷歌打开这个页面即可体验:https://mlc.ai/web-llm/#chat-demo
运行速度很慢,毕竟是运行在浏览器中的,有一种树懒的即视感。
WebSD
他们还开发了在浏览器上运行的 Stable Diffusion,也是类似的原理调用 WebGPU 运算,限制同上面一样。
这里体验:https://mlc.ai/web-stable-diffusion/#text-to-image-generation-demo
打开速度非常的慢。
因为是运行在浏览器中的,对速度不能期待太多。
耗时数分钟,终于成功: