通义千问1.5-1.8B-Chat-GPTQ-Int4 WebUI部署教程Ubuntu 20.04系统环境准备最近有不少朋友在尝试部署一些轻量级的AI模型通义千问1.5-1.8B这个版本因为模型小、速度快特别适合在个人服务器或者开发机上跑起来玩玩。不过在Ubuntu 20.04上从头开始准备环境总会遇到些小麻烦比如驱动不对、依赖缺失或者权限问题。这篇文章我就来详细聊聊怎么在Ubuntu 20.04系统上把运行通义千问1.5-1.8B-Chat-GPTQ-Int4模型所需的环境给准备好。我会把每一步都拆开讲清楚特别是那些容易踩坑的地方让你能顺顺利利地把基础环境搭好为后续的模型部署开个好头。1. 部署目标与环境概览在开始动手之前我们先明确一下这次要做什么以及需要什么样的机器。我们的目标是在一台安装了Ubuntu 20.04 LTS操作系统的服务器上准备好所有必要的软件和驱动以便后续能够通过WebUI的方式顺畅地运行通义千问1.5-1.8B-Chat-GPTQ-Int4模型。这个模型是经过量化处理的对显存要求比较友好但基础的GPU环境还是必不可少的。先来看看对硬件和系统的基本要求操作系统 Ubuntu 20.04 LTS 64位。这是长期支持版本稳定性好社区支持也完善。CPU 建议至少4核。主要用来处理系统任务和部分模型计算。内存 建议8GB或以上。虽然模型本身不大但系统运行和WebUI服务也需要内存。GPU 这是关键。需要一块支持CUDA的NVIDIA显卡。对于这个1.8B的量化模型有4GB或以上的显存就基本够用了。常见的消费级显卡如GTX 1060 6G、RTX 2060或者服务器上的Tesla T4都可以。存储 至少需要20GB的可用磁盘空间用于安装系统包、驱动、Docker以及后续的模型文件。网络 服务器需要能正常访问互联网因为我们要从软件仓库下载安装包以及从镜像仓库拉取Docker镜像。如果你手头的机器符合这些条件那就可以跟着下面的步骤一步步操作了。整个过程主要分为三大块更新系统并安装基础工具、安装NVIDIA驱动和CUDA工具包、最后安装Docker和NVIDIA容器工具。我们这就开始。2. 第一步系统更新与基础工具安装拿到一台新装的或者很久没动的Ubuntu 20.04服务器第一件事就是把它更新到最新状态并装上一些我们后续会频繁用到的工具。这一步能避免很多因软件版本过旧导致的奇怪问题。首先打开你的终端用apt包管理器更新软件源列表并升级所有已安装的包。这可能需要一点时间。sudo apt update sudo apt upgrade -y-y参数是为了在询问是否继续时自动回答“是”让过程更自动化。更新完成后建议重启一下系统确保所有内核更新生效。sudo reboot系统重启并重新登录后我们来安装一些必备的软件工具。这些工具在后续的检查、调试和文件操作中非常有用。sudo apt install -y wget curl git vim htop net-tools简单解释一下这几个工具wget和curl 用于从网络下载文件比如安装脚本。git 版本控制工具虽然本次部署不一定直接用但它是开发环境的常客。vim 一个文本编辑器方便我们在服务器上查看和修改配置文件。htop 一个增强型的系统监控工具可以直观地看到CPU、内存的使用情况。net-tools 包含ifconfig等老牌网络工具检查网络配置时可能用到。安装完这些我们的系统就有了一个比较顺手的基础工作环境。3. 第二步安装NVIDIA驱动与CUDA要让Ubuntu系统识别并使用NVIDIA显卡来跑AI模型必须安装正确的显卡驱动和CUDA工具包。这一步是后续所有GPU加速应用的基础。3.1 安装NVIDIA驱动Ubuntu 20.04自带的ubuntu-drivers工具可以帮我们自动检测和推荐合适的驱动。先来查看一下推荐安装的驱动版本。ubuntu-drivers devices这个命令会列出所有可用的NVIDIA驱动版本并标出推荐安装的哪一个。输出可能类似这样推荐版本通常是带“recommended”标记的。 /sys/devices/pci0000:00/0000:00:01.0/0000:01:00.0 modalias : pci:v000010DEd00001F95sv00001043sd000087ABbc03sc00i00 vendor : NVIDIA Corporation model : TU106 [GeForce RTX 2060] driver : nvidia-driver-450-server - distro non-free driver : nvidia-driver-460-server - distro non-free driver : nvidia-driver-470-server - distro non-free driver : nvidia-driver-510-server - distro non-free driver : nvidia-driver-515-server - distro non-free driver : nvidia-driver-525-server - distro non-free recommended driver : nvidia-driver-470 - distro non-free driver : nvidia-driver-510 - distro non-free driver : nvidia-driver-515 - distro non-free driver : nvidia-driver-525 - distro non-free driver : nvidia-driver-535 - distro non-free看到推荐版本后例如nvidia-driver-525就可以直接安装它。使用apt安装会自动处理依赖关系。sudo apt install -y nvidia-driver-525注意这里的525需要替换成你实际看到的推荐版本号。安装过程会编译内核模块时间稍长。安装完成后必须再次重启系统让新驱动加载到内核中。sudo reboot重启后登录回系统使用nvidia-smi命令来验证驱动是否安装成功。这个命令是NVIDIA系统管理接口能显示显卡信息和使用状态。nvidia-smi如果安装成功你会看到一个表格显示了GPU的型号、驱动版本、CUDA版本这里显示的是驱动支持的最高CUDA版本并非已安装的、以及当前的GPU利用率、显存使用情况等信息。看到这个界面就说明驱动没问题了。3.2 安装CUDA工具包CUDA是NVIDIA推出的并行计算平台和编程模型。很多AI框架如PyTorch、TensorFlow都依赖它。我们不需要安装完整的CUDA Toolkit通常安装一个轻量级的cuda-toolkit包就足够了它包含了运行CUDA程序必需的运行时库。首先添加NVIDIA的CUDA仓库密钥和仓库地址到系统源列表。wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-keyring_1.1-1_all.deb sudo dpkg -i cuda-keyring_1.1-1_all.deb sudo apt update然后安装CUDA Toolkit。这里我们安装一个相对较新且稳定的版本例如12.1。sudo apt install -y cuda-toolkit-12-1安装完成后需要将CUDA的二进制文件和库文件路径添加到系统的环境变量中这样系统才能找到它们。编辑当前用户的~/.bashrc文件。vim ~/.bashrc在文件末尾添加以下几行export PATH/usr/local/cuda-12.1/bin${PATH::${PATH}} export LD_LIBRARY_PATH/usr/local/cuda-12.1/lib64${LD_LIBRARY_PATH::${LD_LIBRARY_PATH}}注意cuda-12.1这个路径要根据你实际安装的版本号进行调整。保存并退出编辑器在vim中按Esc然后输入:wq并回车。让环境变量立即生效source ~/.bashrc最后验证CUDA是否安装成功。可以检查nvcc编译器版本它是CUDA工具包的一部分。nvcc --version这个命令会输出CUDA编译器的版本信息如果能看到类似“Cuda compilation tools, release 12.1”的字样就说明CUDA环境配置好了。4. 第三步安装Docker与NVIDIA容器工具现在主流的AI应用部署都采用容器化方式Docker能帮我们把应用及其所有依赖打包在一个独立的环境中避免污染主机系统也极大简化了部署流程。为了让Docker容器能使用宿主机的GPU我们还需要安装NVIDIA Container Toolkit。4.1 安装Docker EngineDocker官方提供了便捷的安装脚本。我们可以使用它来安装最新稳定版的Docker。首先下载并执行Docker的安装脚本。curl -fsSL https://get.docker.com -o get-docker.sh sudo sh get-docker.sh脚本运行结束后Docker服务应该已经启动并设置为开机自启。为了能在不使用sudo的情况下运行Docker命令方便起见我们需要将当前用户添加到docker用户组。sudo usermod -aG docker $USER重要执行这个命令后你需要完全退出当前终端会话关闭终端窗口或断开SSH连接然后重新登录用户组变更才会生效。重新登录后运行一个简单的测试命令验证Docker是否安装成功并能正常使用。docker run hello-world如果看到“Hello from Docker!”等欢迎信息说明Docker安装和运行都正常。4.2 安装NVIDIA Container Toolkit默认情况下Docker容器无法直接访问宿主机的GPU设备。NVIDIA Container Toolkit以前叫nvidia-docker2解决了这个问题它提供了一个Docker运行时使得容器内可以调用NVIDIA驱动。首先添加NVIDIA容器工具包的仓库。distribution$(. /etc/os-release;echo $ID$VERSION_ID) \ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ curl -fsSL https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \ sed s#deb https://#deb [signed-by/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list然后更新软件包列表并安装工具包。sudo apt update sudo apt install -y nvidia-container-toolkit安装完成后需要配置Docker默认使用NVIDIA运行时。编辑Docker的守护进程配置文件。sudo vim /etc/docker/daemon.json如果这个文件是空的或者不存在就直接创建它。在文件中加入以下内容{ runtimes: { nvidia: { path: /usr/bin/nvidia-container-runtime, runtimeArgs: [] } }, default-runtime: nvidia }保存文件后重启Docker服务使配置生效。sudo systemctl restart docker最后我们来验证一下NVIDIA容器工具包是否工作正常。运行一个带有nvidia/cuda基础镜像的容器并在容器内执行nvidia-smi命令。docker run --rm --gpus all nvidia/cuda:12.1.0-base-ubuntu20.04 nvidia-smi这个命令会下载一个小的CUDA基础镜像如果本地没有的话启动一个容器并在这个容器内部运行nvidia-smi。如果一切配置正确你会在容器内看到和宿主机上运行nvidia-smi几乎相同的GPU信息输出。这证明容器已经能够成功访问并使用宿主机的GPU了。5. 常见问题与解决思路即便按照步骤操作有时也会遇到一些问题。这里我列举几个在Ubuntu 20.04上部署时常见的坑以及排查思路。nvidia-smi命令找不到或报错这通常意味着NVIDIA驱动没有安装成功或者安装后没有重启系统。请务必在安装驱动后执行sudo reboot重启。重启后如果还不行可以尝试用dkms status查看内核模块状态或者用sudo apt install nvidia-dkms-525替换你的版本重新安装DKMS模块。Docker命令需要sudo权限这说明当前用户没有在docker用户组里。虽然我们执行了sudo usermod -aG docker $USER但这个变更需要重新登录终端会话才能生效。最简单的方法是断开SSH连接然后重新连接服务器。容器内无法运行nvidia-smi首先确保宿主机上nvidia-smi能正常运行。然后检查/etc/docker/daemon.json配置文件是否正确以及是否执行了sudo systemctl restart docker重启了Docker服务。也可以尝试运行docker run --rm --runtimenvidia --gpus all nvidia/cuda:12.1.0-base-ubuntu20.04 nvidia-smi显式指定运行时。磁盘空间不足在安装驱动、CUDA和Docker镜像的过程中可能会消耗不少磁盘空间。可以用df -h命令查看磁盘使用情况。如果空间紧张可以考虑清理旧的Docker镜像docker system prune -a谨慎操作或者将Docker的数据目录默认/var/lib/docker挂载到更大的磁盘分区上。网络问题导致包下载失败如果你在海外或者网络环境特殊可能会遇到apt update或docker pull速度慢甚至失败的情况。可以考虑为apt更换国内软件源如阿里云、清华源并为Docker配置镜像加速器。具体配置方法可以搜索“Ubuntu 20.04 更换源”和“Docker配置镜像加速”。到这里Ubuntu 20.04系统上部署通义千问模型所需的基础环境就全部准备妥当了。我们完成了系统更新、安装了必要的工具、正确配置了NVIDIA驱动和CUDA最后搭建好了支持GPU的Docker环境。整个过程虽然步骤不少但每一步都有明确的目标。环境准备好之后后续的步骤就会顺畅很多。接下来你就可以去拉取具体的通义千问WebUI镜像配置端口、模型路径等参数然后启动容器服务了。有了这个扎实的基础再去跑模型或者尝试其他AI应用都会觉得顺手不少。如果在准备环境的过程中遇到了上面没提到的问题多看看命令的错误输出信息通常都能找到线索。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。