logo
0
0
WeChat Login
Gang Chen<chengang@chengang.com>
init commit

微调课程 - Lesson 1 v2 环境初始化

项目结构

. ├── 1-on-git-bash/ │ ├── autodl_env_init.sh # AutoDL环境初始化脚本 │ └── autodl_key_init.sh # SSH密钥初始化脚本 └── 2-on-cursor/ ├── 1-install-unsloth.sh # 安装Unsloth框架脚本 ├── 2-run-train.sh # 运行训练脚本 ├── resume.jsonl # 训练数据集(简历问答数据) └── train.py # 模型训练主程序

使用说明

第一步:在Git Bash中执行环境初始化脚本

进入 [1-on-git-bash] 目录,执行以下脚本:

  1. autodl_env_init.sh - 环境初始化脚本

    ./autodl_env_init.sh

    该脚本会:

    • 删除原有的缓存目录
    • 创建软链接指向 /root/autodl-tmp 作为新的缓存目录
    • 创建代码目录
  2. autodl_key_init.sh - SSH密钥初始化脚本

    ./autodl_key_init.sh

    该脚本会设置SSH公钥,便于后续通过SSH连接到AutoDL实例。

第二步:使用Cursor登录并执行训练相关脚本

进入 [2-on-cursor] 目录,按顺序执行以下脚本:

  1. 1-install-unsloth.sh - 安装Unsloth框架

    ./1-install-unsloth.sh

    该脚本会:

    • 更新系统包管理器
    • 安装必要的依赖(cmake, libcurl4-gnutls-dev等)
    • 安装Python包管理工具uv
    • 初始化项目并安装所需的Python包:
      • huggingface-hub==0.36.0
      • modelscope==1.33.0
      • unsloth-zoo==2025.10.1
      • unsloth==2025.10.1
  2. 2-run-train.sh - 运行模型训练

    ./2-run-train.sh

    该脚本会设置环境变量并通过uv运行训练程序:

    • 设置HF_ENDPOINT为https://hf-mirror.com(使用镜像站加速下载)
    • 设置UNSLOTH_USE_MODELSCOPE=1(启用ModelScope)
    • 执行 [train.py] 训练脚本

注意事项

  1. 确保在AutoDL平台上运行此项目
  2. 公钥需要替换成自己的,以便通过SSH连接到AutoDL实例,可以参考 https://autodl.com/docs/ssh/