/workspace/llama-server -m /workspace/model/Qwen3.5-4B.Q4_K_M.gguf --host 0.0.0.0 --port 8080 -ngl 100 -t 16 -c 65536 -b 1024 --mlock --no-mmap --tensor-split 1.0 --cont-batching --reasoning off -mm /workspace/model/mmproj.gguf

打开webide的端口映射或者 使用本地vscode打开映射到本地端口

下载模型文件,根据实际模型地址和模型文件名

/root/.local/bin/modelscope download --model Jackrong/Qwopus3.5-4B-v3-GGUF Qwen3.5-4B.Q4_K_M.gguf --local_dir ./model

删除其他文件, 提交代码

rm -rf ./model/.msc  ./model/._____temp

git add .
git commit -m "upload gguf file"
git push