Jetson 部署 GPT OSS 20B — 部署指南

套餐

Jetson GPT OSS 20B 服务

通过本平台一键将 GPT OSS 20B 部署到你的 Jetson 设备。

设备用途
NVIDIA Jetson（reComputer）在 Docker 中运行 GPT OSS 20B
1

部署 GPT OSS 20B 服务

将容器化的 GPT OSS 20B 运行时通过 SSH 部署到你的 Jetson。

部署方式

通过 SSH 一键部署到 Jetson。

接线
  1. 将 Jetson 和你的电脑接到同一网络
  2. 填入 Jetson IP、SSH 用户名和密码
  3. 点击 部署
部署时需要填写（在 SenseCraft Solution 应用里填）
其余 2 项已有默认值，可不改
  • Llama NGL默认 20

    llama-server 的 GPU 层数参数 (-ngl)

  • Llama Context默认 1024

    llama-server 的上下文窗口参数 (-c)

故障排查
问题解决方法
SSH 连接失败检查 Jetson IP、用户名、密码以及 SSH 服务状态
Docker 运行时检查失败确认已安装 Docker 且具备 NVIDIA runtime
找不到 Docker Compose确认已安装 docker compose 或 docker-compose
服务启动失败登录 Jetson 看日志：docker compose logs --tail=200
/v1/models 返回 503 {"message":"Loading model"}模型正在预热，首次加载可能需要几分钟
启动时内存不足降低参数，例如 Llama NGL=16、Llama Context=512
部署完成后
  1. GPT OSS 20B 容器已在你的 Jetson 上运行
  2. 容器内已启动 llama-server
  3. 服务地址：http://<jetson-ip>:8080
  4. 就绪检查地址：http://<jetson-ip>:8080/v1/models
2

打开服务链接

在此步骤直接在浏览器新标签页中打开 Jetson 上的服务地址。

接线
  1. 在该步骤中填入 Jetson IP
  2. 点击 连接
  3. 平台会在新标签页打开 http://<jetson-ip>:8080
故障排查
问题解决方法
主机输入无效填入有效的 IP 或主机名，例如 192.168.1.100
没有打开新标签页允许本站点的弹出窗口后重试
服务页面打不开确认 Jetson 服务监听在 8080，并且网络可达
部署完成后
  1. 服务页面已在浏览器中打开
  2. 你可以回到这里再次点击 连接 重新打开

GPT OSS 20B 运行时已成功部署到你的 Jetson。

验证清单

  1. 步骤 1 部署状态显示成功
  2. GPT OSS 20B 容器保持运行状态
  3. 在步骤 2 中点击 连接 能打开 http://<jetson-ip>:8080