跳到主要內容
參數量 70BLlama 3.3 Community License參考估算

Llama 3.3 70B Instruct

需要 48GB 级显存的大家伙:本地能力的天花板之一。

官方來源:https://github.com/meta-llama/llama-modelsMeta你將離開 AIWorksWell,前往 Meta。該網站不受我們控制,其內容、隱私與安全由其自行負責,請自行判斷。

需要什麼硬體

參考估算
參數量
70B
架構
稠密
上下文
128K
授權條款
Llama 3.3 Community License
最低顯存
47G
內存(純 CPU)
64G
下載體積
—G

按量化檔看門檻

同一模型選不同量化檔,體積與門檻差別很大——這是本地模型最常被誤判的一件事。

推薦量化檔體積最低顯存質量
F16280G322G原版精度
Q8_0148.4G171G幾乎無損
Q6_K114.8G132G接近無損
Q5_K_M99.4G114G很好
Q4_K_M★85.4G98G性價比最高
Q3_K_M70G81G有可感知損失
Q2_K53.2G61G明顯降智,僅應急

口徑:显存为 Q4_K_M 档参考

你的設備

簡明介紹每一個能自己跑的模型:參數量、需要的硬體、能跑在什麼檔位。我們不排名、不寫價格——只告訴你它要多少機器。

在個人中心填一次設備檔位,這裡就會顯示"你這臺能不能跑"。去填設備·不想登錄?直接試算一次

安裝提示詞

複製它,貼給你正在用的 AI(Claude Code、Codex、ChatGPT…),它會替你裝好並驗證。

44 行
我需要你帮我在我的机器上安装并运行一个软件。

【软件信息】
名称:Llama 3.3 70B Instruct
用途:需要 48GB 级显存的大家伙:本地能力的天花板之一。
官方来源:https://github.com/meta-llama/llama-models
许可:Llama 3.3 Community License
滑鼠滾輪在框內上下查看,複製到的仍是完整提示詞1267 字

複製 → 貼給你的 AI → 它替你裝好

這條講什麼

它是什么

70B 级稠密模型的定位很清楚:能力接近云端大模型,但门槛也在那里——量化后仍需 40GB 以上可用显存,普通消费级显卡单人基本跑不动。来源:https://github.com/meta-llama/llama-modelshttps://github.com/meta-llama/llama-models

怎么用起来

两条现实路径:① 多卡/大显存工作站(48GB+);② 走在线 API。Mac Studio 等大统一内存机型也可以,但速度取决于内存带宽。来源:https://github.com/meta-llama/llama-modelshttps://github.com/meta-llama/llama-models

以上坑来自 https://github.com/meta-llama/llama-modelshttps://github.com/meta-llama/llama-models 与官方文档。

来源与署名

Mentioned from:https://github.com/meta-llama/llama-modelshttps://github.com/meta-llama/llama-models · 原作者 Meta(Llama 3.3 Community License)。