它是什么
vLLM 是开源的高性能 LLM 推理与服务引擎,以高吞吐和显存效率著称(官方文档)。来源:https://docs.vllm.ai/https://docs.vllm.ai/
怎么用起来
「帮我在本机用 vLLM 起一个 OpenAI 兼容的服务,加载一个 7B 模型,给出调用示例。」来源:https://docs.vllm.ai/https://docs.vllm.ai/
以上坑来自 https://docs.vllm.ai/https://docs.vllm.ai/ 与官方文档。
来源与署名
Mentioned from:https://docs.vllm.ai/https://docs.vllm.ai/ · 原作者 vLLM Project(Apache-2.0)。