feat: add vllm deployment for qwen3.6
直接执行这个命令即可启动项目:
bash run.sh
run.sh的内容为：
bash down.sh
cd /root/qwen3.6-35b-a3b
/root/qwen3.6-35b-a3b/llama-server-tq \
-m /root/qwen3.6-35b-a3b/model/Qwen3.6-35B-A3B-UD-Q3_K_XL.gguf \
--host 0.0.0.0 --port 8082 -ngl 100 -t 16 -c 262144 -b 1024 --mlock --no-mmap \
--tensor-split 1.0 --cont-batching -mm /root/qwen3.6-35b-a3b/model/mmproj.gguf \
-ctk turbo3 -ctv turbo3 --chat-template-kwargs '{"preserve_thinking": true}'
开启think的情况下，可以开启preserve_thinks参数对工具调用准确性有提高，保留思考轨迹
--chat-template-kwargs '{"preserve_thinking": true}'
About
35/F,Tencent Building,Kejizhongyi Avenue,Nanshan District,Shenzhen
