启动命令

/workspace/llama-server -m /workspace/model/Qwen3.5-35B-A3B-Q4_K_M.gguf --host 0.0.0.0 --port 8080 -ngl 100 -t 16 -c 65536 -b 1024 --mlock --no-mmap --tensor-split 1.0 --cont-batching --reasoning off

打开webide的端口映射或者 使用本地vscode打开映射到本地端口

docker 构建 docker build -t docker.cnb.cool/free_llm/qwen . && docker push docker.cnb.cool/free_llm/qwen