logo
0
0
WeChat Login

vLLM基础环境构建


vLLM是一个基于LLM的开源开发环境,项目地址为https://github.com/vllm-project/vllm

本项目构建了一个基于vLLM的开发环境的docker镜像,为使用vLLM部署模型提供基础环境。

镜像地址:docker.cnb.cool/aimodle/vllm/vllm-cu129

Python版本为3.12.3,所用到的相关依赖包版本见requirements.txt。

About

构架vllm环境

664.00 KiB
0 forks0 stars1 branches0 TagREADMEMIT license