logo
0
0
WeChat Login
Forkfromexamples/ecosystem/deploy-deepseek-hai, behindmain4 commits

基于 deepseek 开发 ai 应用并持续部署到 HAI

腾讯云 高性能应用服务(HAI) 是一款面向 AI 、科学计算的 GPU 应用服务产品。

本教程介绍如何通过 CNB 和 Docker 将 deepseek 部署到 HAI 上。

1. 构建镜像

构建并发布基于 deepseek 开发的镜像,也可以在 cnb deepseek 仓库中选择封装好的 deepseek 镜像,如 docker.cnb.cool/examples/ecosystem/deepseek/1.5b:latest

2. 创建 HAI 实例

登录 HAI 控制台,点击 新建

选择应用基础环境 栏选择 Ubuntu 20.04

其他表单项按需选择、输入,创建实例。

创建成功后,腾讯云会发站内信,里面有默认用户名和密码,可用于ssh登录。

开通端口

在实例详情页的端口配置中开通 114348080 端口。

11434 是 ollama 提供的 deepseek 服务端口,8080 是 open-webui 的 web 访问端口。

3. 部署 deepseek

3.1 自行部署

用前面记录的默认用户名和密码,通过 ssh 客户端登录到 HAI 实例,

复制启动脚本 deploy.sh 到 HAI 实例,地址如 /app/deepseek/deploy.sh,执行如下命令:

sudo su
cd /app/deepseek/
chmod +x ./deploy.sh
./deploy.sh

启动 deepseek 容器后,可访问 http://{实例公网IP}:11434 查看 ollama 服务。

启动 open-weui 容器后等待约一两分钟,待容器状态为 healthy 后可访问 http://{实例公网IP}:8080 查看页面,进行对话。

3.2 通过云原生构建部署

也可以通过 CNB 流水线用 ssh插件 执行命令部署:

在私有或密钥仓库添加 yaml 文件记录实例的公网IP、账号和密码,例如:

# secret.yml
HAI_IP: xxx
HAI_USER: xxx
HAI_PASSWORD: xxx

# allow_* 等控制该文件的可访问范围
allow_slug: xxx
# .cnb.yml
.host-info: &host-info
  host: $HAI_IP
  username: $HAI_USERNAME
  password: $HAI_PASSWORD
  port: 22

main:
  push:
    # 引入上文中的 secret.yml 导出为环境变量
    - imports: https://xxx/secret.yml
      stages:
        # 通过插件上传脚本,也可预先上传好
        - name: trans shell
          image: tencentcom/scp
          settings:
            <<: *host-info
            target: /home/ubuntu/deepseek
            source:
              - ./deploy.sh
        - name: exec shell
          image: tencentcom/ssh
          settings:
            <<: *host-info
            script: |
              sudo chmod +x /home/ubuntu/deepseek/deploy.sh
              sudo bash /home/ubuntu/deepseek/deploy.sh
      

启动 deepseek 容器后,可访问 http://{实例公网IP}:11434 查看 ollama 服务。

启动 open-weui 容器后等待约一两分钟,待容器状态为 healthy 后可访问 http://{实例公网IP}:8080 查看页面。

About

部署 deepseek 到 腾讯云高性能应用服务 HAI