I want to
怎么在自己电脑上跑大模型,断网也能用
断网可用 = 模型权重和推理都在**本机**。Ollama 把这件事收成一条命令:装好后拉一个模型下来,之后整个对话都在你自己的电脑上完成,数据不出机器。代价是模型大小受你的内存/显存限制,且需要先下载几个 GB 的权重。
从这里开始
- OllamaMIT · 一条命令
Ollama 是一个给想在本地跑大模型的人用的运行时,能让你一条命令就在自己的电脑上开聊
- Open WebUIOpen WebUI License · 需要折腾
Open WebUI 是一个给本机的大模型配一个自己的聊天界面,数据不出门,能。
先看哪个
如果你**机器内存小**、想快速试,先看 Ollama 里的**小参数模型**;如果你要**在浏览器里用、不装命令行**,先看支持网页界面的那条路径。