fine-tuning-lesson7-v2-260107/
├── 1-ollama/ # Ollama 框架实践
├── 2-vllm/ # vLLM 框架实践
├── 3-sglang/ # SGLang 框架实践
└── 4-evalscope/ # EvalScope 模型评估
1-install-ollama.sh: 安装 Ollama
2-launch-ollama.sh: 启动 Ollama 服务
3-download-model.sh: 下载 ChatGLM3 和 Qwen3 模型
4-chat-model.sh: 运行模型对话
5-validation-ollama.sh: 验证 Ollama API 接口
6-validation-openai.sh: 验证 OpenAI 兼容接口
7-loadtest.sh: 负载测试
request.json: API 请求示例文件
1-install-vllm.sh: 安装 vLLM 和 ModelScope
2-download-model.sh: 使用 ModelScope 下载 Qwen3-0.6B 模型
3-launch-vllm.sh: 启动 vLLM 服务
4-validation.sh: 验证 vLLM 服务
5-loadtest.sh: 负载测试
request.json: API 请求示例文件
1-install-sglang.sh: 安装 SGLang
2-download-model.sh: 下载 Qwen3 模型
3-launch-sglang.sh: 启动 SGLang 服务
4-validation.sh: 验证 SGLang 服务
5-loadtest.sh: 负载测试
request.json: API 请求示例文件
1-install-evalscope.sh: 安装 EvalScope
2-download-model.sh: 下载本地模型
3-eval-local-model.sh: 评估本地模型
4-check-eval-result.sh: 检查评估结果
pyproject.toml: Python 项目配置文件