vLLM是一个基于LLM的开源开发环境,项目地址为https://github.com/vllm-project/vllm
本项目构建了一个基于vLLM的开发环境的docker镜像,为使用vLLM部署模型提供基础环境。
镜像地址:docker.cnb.cool/aimodle/vllm/vllm-cu129
Python版本为3.12.3,所用到的相关依赖包版本见requirements.txt。
构架vllm环境