需要一个不连云的大模型后端，且对话内容不能出现场网络的地方。
- 本地聊天应用的后端——应用按 OpenAI 格式调用设备上的接口，不需要云端 API Key。
- 离线语音助手——前面接语音识别，把文字交给本地模型回答。
- 多平台聊天网关——配合 OpenClaw 网关，微信、Telegram 等平台共用这一个本地模型。
不适用：需要长上下文或多人高并发的场合；默认上下文 1024 tokens，单次请求建议控制在 1000 tokens 以内。
一键通过 SSH 在 NVIDIA Jetson 上部署 GPT OSS 20B，使用预构建 Docker 镜像，自动启动推理服务。
需要一个不连云的大模型后端，且对话内容不能出现场网络的地方。
不适用：需要长上下文或多人高并发的场合；默认上下文 1024 tokens，单次请求建议控制在 1000 tokens 以内。
只要一台 Jetson 主机。模型和推理服务装在一个 Docker 容器里，在局域网上开一个 OpenAI 兼容接口，你的应用或网关直接调用。
20B 模型要约 12–15GB 显存，决定了主机必须是 16GB 模组。
| 项目 | 内容 |
|---|---|
| 主机 | reComputer J40 系列（J4012，Orin NX 16GB） |
| 前提 | Docker 与 NVIDIA 容器运行时已安装，SSH 可登录 |
| 显存 | 约 12–15GB，容器内存上限 12GB |
容器里运行 llama.cpp 推理服务，加载 4 位量化的 GPT OSS 20B。
应用在局域网内通过 HTTP 直接调用这台主机，浏览器也可以直接打开对话页。接口是 OpenAI 格式，现有 SDK 把地址换成设备 IP 就能用。数据接口见下方「能拿到什么数据」。
下表是本设计在 reComputer J40 系列（J4012，Orin NX 16GB）上提供的能力与限制。
| 能做到 | 限制 |
|---|---|
| 20B 参数模型在设备上完成对话，不连云 | 默认上下文 1024 tokens，单次请求建议 1000 tokens 以内 |
| OpenAI 兼容接口，现有 SDK 与网关直接接 | 部署后首次请求要预热 2–5 分钟 |
| 容器随设备自启 | 需要 Orin NX 16GB 模组，8GB 模组装不下 |
GPU 层数与上下文长度可在部署时调整，调大换来更多显存占用。
部署完就靠这个接口接数据。
| 接口 | 内容 | 说明 |
|---|---|---|
| HTTP 8080 对话补全 | OpenAI 格式的对话请求与回复 | 现有 OpenAI SDK 改地址即可 |
| HTTP 8080 模型列表 | 模型是否就绪 | 预热中返回 503 |
| HTTP 8080 网页 | 浏览器对话页 | 用于快速试用 |
接口只在局域网内提供，没有内置鉴权；要给别的网段用时，先在前面加反向代理和访问控制。
需要 reComputer J40 系列里带 Orin NX 16GB 模组的型号，如 J4012。20B 模型要约 12–15GB 显存，8GB 模组装不下。本机部署还要预留 20GB 以上磁盘。
部署完成后可以断网运行，首次部署要联网拉镜像。推理全部在 Jetson 上完成，对话内容只在你的应用和设备之间传输，不经过云端。
部署后第一次请求要预热 2–5 分钟，期间模型列表接口返回 503。预热完成后的速度取决于提示长度与输出长度，建议用自己的典型请求在设备上跑一次来定。
接口是 OpenAI 兼容格式，地址为设备 IP 的 8080 端口。现有 OpenAI SDK、LangChain 这类框架把地址换过去即可，也可以接到 OpenClaw 网关给多个聊天平台用。
能。上下文长度和 GPU 层数都在部署参数里，默认 1024 与 20。启动时内存不足，把 GPU 层数调到 16、上下文调到 512 再部署。
推理服务是 llama.cpp，支持 GGUF 格式的模型。换模型需要替换容器里的模型文件并调整启动参数，显存占用随模型大小变化。
这是单模型单服务的部署，适合个人或小团队试用。多人高并发要评估显存与排队时延，必要时换更大显存的主机或多台分担。
GPT OSS 20B 权重由 OpenAI 发布，按其许可条款使用；llama.cpp 保留自己的开源许可。闭源商用前确认所用权重与推理框架的许可满足你的产品要求。