logo
0
0
WeChat Login
编辑文件 README.md

1、启动后,系统自动运行 02-setup-llama.cpp.sh 开始下载、编译 llama.cpp
2、等安装完后,可以启动11、12、21、22其中一个模型
3、按照 docker-open-webui.txt 内容启动 OpenWebUI

如果不需要图片识别、分析,可以不加载 mmproj 模型
比如启动纯文本的27B,优化启动命令如下:
/workspace/llama.cpp/build/bin/llama-server
-m /workspace/models/Huihui-Qwen3.5-27B-F16.gguf \
--host 0.0.0.0 --port 8080 \
-ngl 999 \
--flash-attn on \
-c 32768 \
-np 1 \
--cache-type-k q8_0 \
--cache-type-v q8_0 \
--ubatch-size 1024 \
--batch-size 2048 \
--mlock