/workspace/llama-server-tq -m /workspace/model/Qwen3.6-35B-A3B-UD-Q3_K_XL.gguf \
--host 0.0.0.0 --port 8080 -ngl 100 -t 16 -c 262144 -b 1024 --mlock --no-mmap \
--tensor-split 1.0 --cont-batching -mm /workspace/model/mmproj.gguf \
-ctk turbo3 -ctv turbo3 --chat-template-kwargs '{"preserve_thinking": true}'
开启think的情况下，可以开启preserve_thinks参数对工具调用准确性有提高，保留思考轨迹
--chat-template-kwargs '{"preserve_thinking": true}'
Sponsor
About
35/F,Tencent Building,Kejizhongyi Avenue,Nanshan District,Shenzhen
