logo
0
0
WeChat Login
Gang Chen<chengang@chengang.com>
init commit

微调课程 - Lesson 6 v2 多模态(下)

文件结构

1-dfusers-proj1/ ├── pyproject.toml # 项目依赖配置 ├── train_text_to_image_lora.py # LoRA 微调主脚本 ├── gen-image.py # 图像生成脚本 ├── validation.py # 微调后模型验证脚本 ├── download-dataset.py # 数据集下载脚本 ├── *.sh # 自动化执行脚本 │ ├── 1-download-base-model.sh # 下载基座模型 │ ├── 2-gen-image.sh # 生成图像 │ ├── 3-download-dataset.sh # 下载数据集 │ ├── 4-fine-tuning-sd.sh # 执行微调 │ └── 5-validation.sh # 验证微调

使用方法

1. 安装依赖

pip install uv pip tool install modelscope uv sync

2. 下载基础模型

./1-download-base-model.sh

这将从ModelScope下载Stable Diffusion v1.5模型到 ./sd-v15 目录。

3. 下载训练数据集

./3-download-dataset.sh

这将下载Naruto数据集并保存到 ./naruto-blip-captions 目录。

4. 执行LoRA微调

./4-fine-tuning-sd.sh

开始对Stable Diffusion模型进行LoRA微调,训练结果将保存到 ./sd-mylora 目录。

5. 调用 LoRA 进行推理

./5-validation.sh

加载微调后的LoRA权重,生成验证图像