微调课程 - Lesson 4 v2 量化

uv tool install huggingface-hub[cli]

HF_ENDPOINT=https://hf-mirror.com hf download unslothai/1
HF_ENDPOINT=https://hf-mirror.com hf download unslothai/other
HF_ENDPOINT=https://hf-mirror.com hf download unslothai/repeat
HF_ENDPOINT=https://hf-mirror.com hf download unslothai/vram-40

HF_ENDPOINT=https://hf-mirror.com hf download unsloth/qwen2.5-0.5b-instruct
HF_ENDPOINT=https://hf-mirror.com hf download unsloth/qwen2.5-0.5b-instruct-bnb-4bit
HF_ENDPOINT=https://hf-mirror.com hf download unsloth/qwen2.5-0.5b-instruct-unsloth-bnb-4bit

计算模型的显存需求和算力消耗，帮助选择合适的硬件配置。

• 1-calculate-vram.txt: 包含显存计算器链接和GPU/NPU算力表格，用于估算模型训练和推理所需的显存
• 2-calculate-flops/: 算力计算模块
  • 1-download-qwen3.sh: 下载Qwen3模型脚本
  • 2-calculate-flops.py: 计算模型FLOPs、MACs和参数量的Python脚本
  • pyproject.toml: 项目依赖配置文件

使用量化感知训练技术对模型进行微调

• 1-uv-sync.sh: 环境同步脚本
• 2-download-base-model.sh: 下载基础模型脚本
• 3-run-train.sh: 运行训练脚本
• 4-install-vllm.sh: 安装vLLM推理框架脚本
• 5-launch-vllm.sh: 启动vLLM服务脚本
• 6-validation.sh: 验证脚本
• train.py: 核心训练脚本，实现QAT（量化感知训练）技术，使用Qwen3-0.6B模型进行LoRA微调
• resume.jsonl: 训练数据集（简历生成数据）
• pyproject.toml: 项目依赖配置文件
• README.md: 注意事项说明

使用Llama.cpp框架进行GGUF格式转换

• 1-install-llamacpp.sh: 安装Llama.cpp环境脚本
• 2-download-base-model.sh: 下载基础模型脚本
• 3-convert-to-gguf.sh: 将模型转换为GGUF格式脚本
• 4-quantize-gguf.sh: GGUF模型量化脚本
• 5-launch-llama-server.sh: 启动Llama服务器脚本
• 6-validation.sh: 验证脚本
• pyproject.toml: 项目依赖配置文件

使用LlamaFactory进行无代码模型微调

• 1-install-llamafactory.sh: 安装LlamaFactory环境脚本
• 2-launch-webui.sh: 启动LlamaFactory WebUI界面脚本
• data/: 数据目录
  • data_forbidden_city_area.json: 故宫区域数据集
  • dataset_info.json: 数据集配置信息

1. 在执行脚本前请执行 source /etc/network_turbo
2. 确保在AutoDL平台上运行