logo
0
0
WeChat Login
Gang Chen<chengang@chengang.com>
add evalscope

微调课程 - Lesson 7 v2 次佳实践

目录结构

fine-tuning-lesson7-v2-260107/ ├── 1-ollama/ # Ollama 框架实践 ├── 2-vllm/ # vLLM 框架实践 ├── 3-sglang/ # SGLang 框架实践 └── 4-evalscope/ # EvalScope 模型评估

各模块介绍

1. Ollama

  • 1-install-ollama.sh: 安装 Ollama
  • 2-launch-ollama.sh: 启动 Ollama 服务
  • 3-download-model.sh: 下载 ChatGLM3 和 Qwen3 模型
  • 4-chat-model.sh: 运行模型对话
  • 5-validation-ollama.sh: 验证 Ollama API 接口
  • 6-validation-openai.sh: 验证 OpenAI 兼容接口
  • 7-loadtest.sh: 负载测试
  • request.json: API 请求示例文件

2. vLLM

  • 1-install-vllm.sh: 安装 vLLM 和 ModelScope
  • 2-download-model.sh: 使用 ModelScope 下载 Qwen3-0.6B 模型
  • 3-launch-vllm.sh: 启动 vLLM 服务
  • 4-validation.sh: 验证 vLLM 服务
  • 5-loadtest.sh: 负载测试
  • request.json: API 请求示例文件

3. SGLang

  • 1-install-sglang.sh: 安装 SGLang
  • 2-download-model.sh: 下载 Qwen3 模型
  • 3-launch-sglang.sh: 启动 SGLang 服务
  • 4-validation.sh: 验证 SGLang 服务
  • 5-loadtest.sh: 负载测试
  • request.json: API 请求示例文件

4. EvalScope 评估框架

  • 1-install-evalscope.sh: 安装 EvalScope
  • 2-download-model.sh: 下载本地模型
  • 3-eval-local-model.sh: 评估本地模型
  • 4-check-eval-result.sh: 检查评估结果
  • pyproject.toml: Python 项目配置文件

参考资源