微调课程 - Lesson 6 v2 多模态（下）

1-dfusers-proj1/
├── pyproject.toml           # 项目依赖配置
├── train_text_to_image_lora.py  # LoRA 微调主脚本
├── gen-image.py            # 图像生成脚本
├── validation.py           # 微调后模型验证脚本
├── download-dataset.py     # 数据集下载脚本
├── *.sh                    # 自动化执行脚本
│   ├── 1-download-base-model.sh    # 下载基座模型
│   ├── 2-gen-image.sh              # 生成图像
│   ├── 3-download-dataset.sh       # 下载数据集
│   ├── 4-fine-tuning-sd.sh         # 执行微调
│   └── 5-validation.sh             # 验证微调

pip install uv
pip tool install modelscope
uv sync

./1-download-base-model.sh

这将从ModelScope下载Stable Diffusion v1.5模型到 ./sd-v15 目录。

./3-download-dataset.sh

这将下载Naruto数据集并保存到 ./naruto-blip-captions 目录。

./4-fine-tuning-sd.sh

开始对Stable Diffusion模型进行LoRA微调，训练结果将保存到 ./sd-mylora 目录。

./5-validation.sh

加载微调后的LoRA权重，生成验证图像