logo
0
0
WeChat Login

启动命令

/workspace/llama-server-tq -m /workspace/model/Qwen3.6-35B-A3B-UD-Q3_K_XL.gguf \ --host 0.0.0.0 --port 8080 -ngl 100 -t 16 -c 262144 -b 1024 --mlock --no-mmap \ --tensor-split 1.0 --cont-batching -mm /workspace/model/mmproj.gguf \ -ctk turbo3 -ctv turbo3 --chat-template-kwargs '{"preserve_thinking": true}'

打开webide的端口映射或者 使用本地vscode打开映射到本地端口

开启think的情况下,可以开启preserve_thinks参数对工具调用准确性有提高,保留思考轨迹

--chat-template-kwargs '{"preserve_thinking": true}'

About

最新qwen3.6-35b-a3b