早前藍(lán)點(diǎn)網(wǎng)介紹了 MLC 團(tuán)隊(duì)推出的對(duì)話 WebLLM (MLC LLM)，這個(gè) AI 對(duì)話模型沒有服務(wù)器支持，模型在網(wǎng)頁(yè)上調(diào)用 WebGPU API 即使用你的已經(jīng)運(yùn)行本機(jī) GPU 提供算力支持，一切數(shù)據(jù)都是可手考驗(yàn)離線的無(wú)需擔(dān)心你的對(duì)話內(nèi)容泄露。
現(xiàn)在該團(tuán)隊(duì)將 MLC LLM 移植到了手機(jī)上，機(jī)上還開發(fā)了 iOS Demo 應(yīng)用，本地也就是手機(jī)說你可以在手機(jī)上運(yùn)行大型語(yǔ)言模型，完全離線運(yùn)行，內(nèi)存不論是藍(lán)點(diǎn)模型還是數(shù)據(jù)都在本地。
好消息是測(cè)試顯示在 iPhone 14 Pro Max 上是可以正常運(yùn)行的，速度略微有些慢但還是模型能接受的地步，壞消息是已經(jīng)運(yùn)行如果手機(jī)內(nèi)存比較小的話會(huì)崩潰，因?yàn)槟Ｐ瓦\(yùn)行的可手考驗(yàn)時(shí)候，模型數(shù)據(jù)會(huì)被塞到內(nèi)存里，機(jī)上這會(huì)讓手機(jī)內(nèi)存瞬間被塞滿。本地
在 iPhone 12 Pro 上測(cè)試就有些壓力了，基本上說內(nèi)存起步需要 6GB，這么來看安卓機(jī)可能更有優(yōu)勢(shì)，畢竟現(xiàn)在新的安卓機(jī)內(nèi)存都非常大。
除了 iOS 版外，MLC 團(tuán)隊(duì)還推出了 Windows/Linux/Mac 的 CLI 版，即命令行版本，可以在終端里發(fā)起詢問并獲得答案，相對(duì)來說在 PC 上使用壓力就小一些了，畢竟內(nèi)存稍微大點(diǎn)。
等等… 我是不是還沒提 GPU 問題？是的，內(nèi)存并非關(guān)鍵，因?yàn)闊o(wú)論是 iPhone 還是安卓還是 PC 都必須支持 GPU 加速，手機(jī)上還好，在 PC 上用戶可能需要更新驅(qū)動(dòng)程序，例如 Vulkan 驅(qū)動(dòng)程序。
有興趣的用戶可以試試這個(gè) AI 模型，藍(lán)點(diǎn)網(wǎng)測(cè)試感覺還可以，中文支持也挺不錯(cuò)的。iOS Demo 程序的話目前在 TF，限額 9000 人，滿了就沒法加入了。有 iOS 開發(fā)經(jīng)驗(yàn)的開發(fā)者可以自行編譯安裝。
iOS Demo TF 版：https://testflight.apple.com/join/57zd7oxa
WebLLM (網(wǎng)頁(yè)版)：https://mlc.ai/web-llm/
Windows/Linux/Mac 需要使用 Conda 管理，具體請(qǐng)看：https://mlc.ai/mlc-llm/
.gif)
.gif)
.gif)
.gif)
.gif)
.gif)
.gif)
.gif)
.gif)
.gif)
