直接执行这个命令即可启动项目:

bash run.sh

run.sh的内容为：

bash down.sh
cd /root/qwen3.6-35b-a3b
/root/qwen3.6-35b-a3b/llama-server-tq \
  -m /root/qwen3.6-35b-a3b/model/Qwen3.6-35B-A3B-UD-Q3_K_XL.gguf \
  --host 0.0.0.0 --port 8082 -ngl 100 -t 16 -c 262144 -b 1024 --mlock --no-mmap \
  --tensor-split 1.0 --cont-batching -mm /root/qwen3.6-35b-a3b/model/mmproj.gguf \
  -ctk turbo3 -ctv turbo3 --chat-template-kwargs '{"preserve_thinking": true}'

开启think的情况下，可以开启preserve_thinks参数对工具调用准确性有提高，保留思考轨迹

--chat-template-kwargs '{"preserve_thinking": true}'