如何使用 Unsloth & Docker 训练大语言模型

sbf_2000

发布于 2025-10-10 06:24

浏览

0收藏

Unsloth出了个教程：如何使用 Unsloth 的 Docker 镜像来进行 LLM 微调或强化学习 (RL)。

如何使用 Unsloth & Docker 训练大语言模型-AI.x社区

本地训练常常因为依赖问题或环境破坏而变得复杂。Unsloth 的 Docker 镜像可以绕过这些问题。无需任何环境配置：直接拉取镜像并运行，即可开始训练。

Unsloth 官方 Docker 镜像：unsloth/unsloth(https://hub.docker.com/r/unsloth/unsloth)

为什么使用 Unsloth & Docker？

•Unsloth 的 Docker 镜像稳定、更新频繁，并且适用于任何受支持的环境。

•所有依赖都封装在容器中，保持系统干净。运行时无需 root 权限，安全可靠。

•可在本地或任何预装 notebook 的平台上运行。

分步教程

安装 Docker 和 NVIDIA Container Toolkit

•通过 Linux 或 Docker Desktop 安装 Docker

•然后安装 NVIDIA Container Toolkit：

export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.17.8-1
sudo apt-get update && sudo apt-get install -y \
  nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
  libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}

运行容器

•unsloth/unsloth 是主要的 Docker 镜像

•如果使用 Blackwell 或 50 系列显卡，请使用 Blackwell 版本

docker run -d -e JUPYTER_PASSWORD="mypassword" \
  -p 8888:8888 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

如何使用 Unsloth & Docker 训练大语言模型-AI.x社区

访问 Jupyter Lab

•打开 http://localhost:8888 开始使用 Unsloth 训练

•在 unsloth-notebooks 标签页中查看示例 notebook

容器目录结构

•/workspace/work/ — 你的工作目录（已挂载）

•/workspace/unsloth-notebooks/ — 微调示例 notebook

•/home/unsloth/ — 用户主目录

使用示例

完整示例：

docker run -d -e JUPYTER_PORT=8000 \
  -e JUPYTER_PASSWORD="mypassword" \
  -e "SSH_KEY=$(cat ~/.ssh/container_key.pub)" \
  -e USER_PASSWORD="unsloth2024" \
  -p 8000:8000 -p 2222:22 \
  -v $(pwd)/work:/workspace/work \
  --gpus all \
  unsloth/unsloth

本文转载自AI帝国，作者：无影寺

标签

Unsloth

Docker

大语言模型