当前位置:首页 > 系统教程 > 正文

在Ubuntu上安装vLLM:从GPU到CPU的三种方案 (详细教程:适用于小白的环境配置指南)

在Ubuntu上安装vLLM:从GPU到CPU的三种方案 (详细教程:适用于小白的环境配置指南)

欢迎来到vLLM安装教程!vLLM是一个高效的大语言模型推理和服务库,支持GPU和CPU后端。本文将为你在Ubuntu配置vLLM提供三种详细方案,涵盖从GPU环境到CPU环境的安装步骤,帮助你快速上手。无论你是AI开发者还是爱好者,都能轻松跟随本指南完成部署。

在Ubuntu上安装vLLM:从GPU到CPU的三种方案 (详细教程:适用于小白的环境配置指南) vLLM安装教程  Ubuntu配置vLLM GPU推理加速 CPU后端支持 第1张

📋 前置准备

在开始之前,请确保你的Ubuntu系统满足以下要求:

  • Ubuntu 20.04 或 22.04(推荐)
  • Python 3.8 及以上版本
  • pip 最新版(python3 -m pip install --upgrade pip
  • 具备管理员权限(部分安装需sudo)

🚀 方案一:GPU环境下的快速安装(使用pip)

如果你的机器配有NVIDIA GPU,并且已经安装CUDA,这是最简单的vLLM安装教程。此方案能充分发挥GPU推理加速的优势。

  1. 检查CUDA安装:运行 nvcc --version。若未安装,请从NVIDIA官网下载CUDA Toolkit 11.8或更高版本。
  2. 安装vLLMpip install vllm
  3. 验证安装:运行Python并导入vLLM,import vllm,无报错即成功。

此方法会自动安装与CUDA版本匹配的torch和vLLM依赖,适合大多数用户。

🔧 方案二:GPU环境下的源码编译安装

如果你需要定制vLLM或安装最新特性,可以选择从源码编译。同样需要GPU和CUDA环境。

  1. 安装编译依赖sudo apt update && sudo apt install build-essential cmake
  2. 克隆vLLM仓库git clone https://github.com/vllm-project/vllm.git && cd vllm
  3. 安装Python依赖pip install -r requirements.txt
  4. 编译安装pip install -e . # 这会执行setup.py并编译C++扩展
  5. 验证:同样导入vLLM检查。

注意:编译过程可能需要几分钟,确保GPU驱动和CUDA版本兼容。

💻 方案三:CPU环境下的安装(实验性支持)

从vLLM 0.4.0开始,增加了对CPU后端支持,允许在没有GPU的机器上运行(性能较低,适合测试或轻量任务)。本方案需要额外配置。

  1. 安装基础依赖sudo apt install build-essential cmake
  2. 从源码编译启用CPU后端: 克隆仓库后,设置环境变量启用CPU: export VLLM_TARGET_DEVICE=cpu 然后运行 pip install -e . 进行编译。
  3. 或使用预编译的CPU包(如果有): pip install vllm-cpu (此包可能尚未正式发布,建议源码编译)
  4. 验证CPU模式:运行Python,设置环境变量 os.environ["VLLM_TARGET_DEVICE"] = "cpu" 后导入vLLM。

注意:CPU推理速度较慢,且可能不支持所有模型,建议用于测试或学习。

📌 总结

本文提供了在Ubuntu上安装vLLM的三种方案:快速pip安装、源码编译GPU版和CPU实验版。你可以根据硬件条件选择最适合的方式。无论哪种方案,都能让你体验到vLLM带来的高效推理。如果在安装中遇到问题,欢迎查阅官方文档或社区讨论。

—— 本教程关键词:vLLM安装教程、Ubuntu配置vLLM、GPU推理加速、CPU后端支持 ——