跳到主要内容
参数量 8BLlama 3.1 Community License参考估算

Llama 3.1 8B Instruct

能在 8GB 显存的普通显卡上本地跑起来的中等模型。

官方来源:https://github.com/meta-llama/llama-modelsMeta你将离开 AIWorksWell,前往 Meta。该网站不受我们控制,其内容、隐私与安全由其自行负责,请自行判断。

需要什么硬件

参考估算
参数量
8B
架构
稠密
上下文
128K
许可
Llama 3.1 Community License
最低显存
6G
内存(纯 CPU)
8G
下载体积
—G

按量化档看门槛

同一模型选不同量化档,体积与门槛差别很大——这是本地模型最常被误判的一件事。

推荐量化档体积最低显存质量
F1632G37G原版精度
Q8_017G20G几乎无损
Q6_K13.1G15G接近无损
Q5_K_M11.4G13G很好
Q4_K_M★9.8G11G性价比最高
Q3_K_M8G9G有可感知损失
Q2_K6.1G7.5G明显降智,仅应急

口径:显存为 Q4_K_M 档参考

你的设备

简明介绍每一个能自己跑的模型:参数量、需要的硬件、能跑在什么档位。我们不排名、不写价格——只告诉你它要多少机器。

在个人中心填一次设备档位,这里就会显示"你这台能不能跑"。去填设备·不想登录?直接试算一次

安装提示词

复制它,粘贴给你正在用的 AI(Claude Code、Codex、ChatGPT…),它会替你装好并验证。

43 行
我需要你帮我在我的机器上安装并运行一个软件。

【软件信息】
名称:Llama 3.1 8B Instruct
用途:能在 8GB 显存的普通显卡上本地跑起来的中等模型。
官方来源:https://github.com/meta-llama/llama-models
许可:Llama 3.1 Community License
鼠标滚轮在框内上下查看,复制到的仍是完整提示词1249 字

复制 → 粘贴给你的 AI → 它替你装好

这条讲什么

它是什么

Llama 3.1 8B Instruct 是"本地跑得动"和"够用"之间最常见的那个平衡点:8B 参数量、支持 128K 上下文,社区量化版本(GGUF)齐全,几乎每个本地推理工具都支持。来源:https://github.com/meta-llama/llama-modelshttps://github.com/meta-llama/llama-models

怎么用起来

本地跑:装一个推理工具(Ollama / LM Studio / llama.cpp),拉 Q4_K_M 量化版本即可。它不是一个网站,而是一份权重——需要在你自己的机器上运行。来源:https://github.com/meta-llama/llama-modelshttps://github.com/meta-llama/llama-models

以上坑来自 https://github.com/meta-llama/llama-modelshttps://github.com/meta-llama/llama-models 与官方文档。

来源与署名

Mentioned from:https://github.com/meta-llama/llama-modelshttps://github.com/meta-llama/llama-models · 原作者 Meta(Llama 3.1 Community License)。