在边缘主机上运行 LLM 与多模态模型，而 HMI、传感器与控制器 退化为轻量“瘦客户端”。一台主机即可承载工厂、酒店或家庭的全部 AI 负载——让前端设备保持轻薄，把 AI 带到每个场景。
百斯通不只是卖核心板——我们交付 边缘 AI 主机 + 瘦客户端 + 边云协同，一套完整的 AI 转型方案，可落入任意小型商业或工业场景。一套硬件底座覆盖全链路：感知 — 推理 — 执行 — 反馈。
将推理从前端卸载到单一边缘主机，是把 AI 带入工业、商业、酒店与家庭环境最务实的路径。
触控、显示、感知与协议处理下沉到低功耗控制器（如 RK3506）；推理在边缘主机上运行。成品 BOM 与热负载同步下降。
一个工厂、一家酒店或一户家庭共享同一主机与同一模型集；行为与知识在所有终端间共享。
语音、图像与行为数据在本地理解与决策；敏感信息不出场——满足工厂与酒店的合规要求。
本地推理在网络中断时持续运行，关键场景（工业控制、酒店入住、事件响应）永不掉线。
1.7B–4B 模型本地运行；7B+ 与长上下文任务使用边云协同——按需扩容，平衡成本与体验。
更换主机上的芯片即可一次性升级整张前端设备网络；无需重做前端硬件。
主控制器沙箱 + 边缘侧大脑 + 边云协同。一套硬件底座覆盖全链路：感知 — 推理 — 执行 — 反馈。
| 层 | 关键芯片 | 职责 | 典型能力 |
|---|---|---|---|
| 主控制器沙箱 Main Sandbox |
RK3576 / RK3588 (CPU + GPU + NPU) |
通用计算、系统调度、Agent 框架、感知输入 / 执行输出、私有数据存储 | Agent OS / Claw 框架 · 通用开发底座 · 复杂业务编排 |
| 边缘侧大脑 Edge Brain |
RK1828 (LLM NPU) |
大模型 / 多模态模型本地推理、本地技能执行、私有数据处理 | 4B 模型、32K 上下文 · 1 万以内本地技能调用 · 简单任务本地闭环 |
| 边云协同 Edge–Cloud |
云端大模型 token 套餐 | 复杂任务规划、深度长上下文推理、按需算力扩容 | 7B+ 长上下文 · 跨领域知识库 · 训练 / 微调反馈 |
| 前端瘦客户端 Thin Clients |
RK3506 / RK2116 / RV1106B 等 | 触控、语音 I/O、传感器采集、机电控制、本地预处理 | 86 盒面板 · 按摩椅面板 · IPC · 工业 PLC 面板 · 家庭中央控制 |
RK1828 专为大模型 / 多模态推理打造，达纯 CPU 路径的 6–10 倍速度。以下数据为 W4A16 / W8A8-3 量化、1024-token 上下文、128 输入 / 128 输出下实测。
| 平台 | 模型 | 量化 | TTFT (ms) | Prefill (tok/s) | TPS (tok/s) | 内存 (MB) | 带宽 (MB/s) |
|---|---|---|---|---|---|---|---|
| RK182X | Qwen3.5-2B | W4A16 | 362.7 | 352.9 | 41.13 | 1510 | 82 378 |
| Qwen3-1.7B | W4A16 | 53.6 | 2387.5 | 137.98 | 1333 | 16 150 | |
| Qwen3-4B | W4A16 | 107.8 | 1187.5 | 84.10 | 2696 | 220 029 | |
| RK3588 | Qwen3.5-2B | W8A8-3 | 923.3 | 138.6 | 12.76 | 2109 | 27 442 |
| Qwen3-1.7B | W8A8-3 | 429.3 | 298.2 | 13.88 | 1934 | 26 904 | |
| Qwen3-4B | W8A8-3 | 1012.0 | 126.5 | 6.75 | 4184 | 28 817 | |
| RK3576 | Qwen3.5-2B | W4A16 | 1726.7 | 74.1 | 9.41 | 1462 | 11 315 |
| Qwen3-1.7B | W4A16 | 807.7 | 158.6 | 11.32 | 1271 | 11 620 | |
| Qwen3-4B | W4A16 | 1733.1 | 73.8 | 5.57 | 2460 | 12 386 |
RK1828 + RKNN3 工具链覆盖语言、语音、视觉、多模态与全模态模型族。
| 类别 | 代表模型 |
|---|---|
| LLM | Qwen2.5-0.5B/1.5B/3B/7B · Qwen3-0.6B/1.7B/4B/8B · GLM Edge · Hunyuan-MT1.5 · Youtu-LLM |
| 语音 ASR / TTS | SenseVoice · Qwen3-ASR / TTS · Whisper · VITS |
| 多模态 / VLM | Qwen3.5-9B · Gemma4-12B · Qwen2.5-VL 3B/7B · Qwen3-VL 2B/4B · Qwen3.5 2B/4B · MiniCPM-V-4 · PaddleOCR |
| 全模态 | Qwen3-Omni · Qwen3.5-Omni · Gemma4-E2B / E4B |
| 类别 | 代表模型 |
|---|---|
| 视觉 ViT / CNN | SigLIP 1/2 · EVA02 · DINOv2/v3 · CLIP ViT-B/L · Yolo V5/V6/V8/World/26 · MobileNet · ResNet |
| 深度 / 定位 | Depth-Anything-V2-small · LocateAnything-3B |
| Embedding | M3E-small · Albert-base-v2 |
| Reranker | Qwen3-0.6B-Reranker · Qwen3-4B-Reranker |
| 文生图 | Dream-Lite |
RKNN3 将“模型 → 端侧可执行”简化为单条命令，支持自定义算子与极低内存转换。
客户可针对专属业务场景自研推理算子，扩展模型与异构加速的自由度。
去除第三方 whl 包版本限制，简化环境部署，大幅降低模型转换所需显存；上下文长度可快速切换，评估 / 部署模式一键切换。
W4A16 / W8A8-3 等多档量化级别可按精度与速度自由切换。
同一模型可打包到 RK1828 NPU 与 RK3588 / RK3576 CPU/GPU/NPU，灵活匹配主机芯片组合。
最新 RKNN3 适配：全模态、多模态与视觉专用模型。
| 类别 | 模型 | 吞吐 | 说明 |
|---|---|---|---|
| 全模态 | Qwen3-Omni | 86 TPS | 本地全模态交互 |
| Qwen3.5-Omni | 62 TPS | 升级版全模态 | |
| Gemma4-12B | 30 TPS | 大型全模态模型 | |
| 多模态 VLM | Qwen3.5-4B | 50 TPS | 视觉语言 4B |
| Qwen3.5-9B | 35 TPS | 视觉语言 9B | |
| 视觉专用 | Dream-Lite | 3.1 s / 图 | 文生图 |
| LocateAnything-3B | 102 TPS | 视觉定位与指代 |
同一套“边缘主机 + 瘦客户端”底座成为通用 AI 转型引擎——可落入任意小型商业或工业场景，统一分布式设备、统一智能。以下为典型落地方向。
客房 / 前台 / 点单 / 排队统一在一台边缘主机上；轻量 HMI 与 IoT 设备作为瘦客户端。虚拟人接待、语音温控、人数统计——尽在一处。
本地语音录入、商品与库存视觉计数、体温筛查——数据不出店，符合隐私合规。
每厂一台主机；PLC 面板 / HMI / 传感器全部成为瘦客户端；推理集中化，升级只动主机。
振动 / 温度 / 声音多模态异常检测在本地完成，不上云即可告警——可离线运行。
每户一台主机；HMI 使用轻薄面板；全屋语音 / 视觉理解以本地闭环运行。
会议转写、离线车载多模态、校园本地辅导——断网不掉线。
以 200 间客房的酒店为例，看“边缘主机 + 瘦客户端”如何一次性完成 AI 转型。
| 位置 | 设备 | 角色 | 关键能力 |
|---|---|---|---|
| 每间客房 × 200 | RK3506 86 盒 / 墙面面板 | 瘦客户端 HMI | 触控 + 语音 I/O、照明控制、暖通空调、窗帘、场景、能耗上报；设备端无大模型 |
| 前台 / 机房 × 1 | RK3576 + RK1828 边缘主机 | 大脑 | 虚拟人接待 · RAG 知识库 · 语音温控 · 入口人数统计 · 全场景 Agent |
| 公共区域 / 楼层 | RK2116 音频模组 | 空间音频 | 多麦克风阵列拾音 · 空间音频 · 远场唤醒 · 跨房语音路由 |
| 入口 / 走廊 | RV1106B / RV1126B IPC | 边缘视觉 | 人脸识别门禁 · 人数统计 · 异常行为检测 |
“边缘主机 + 瘦客户端”的难点不在芯片本身，而在边云分工、协议适配与现场交付。百斯通具备覆盖全 Rockchip 产品线的成熟端到端能力。
RK3588 / RK3576 / RK3506 / RV1106B / RK1828 / RK2116 一站式集成——无需多家供应商拼装。
从 Qwen3 1.7B–4B 到 Qwen3-Omni 的量化、转换与端侧部署闭环。
在 86 盒、按摩椅面板与工业 HMI 上经过验证的“仅交互”瘦客户端设计。
本地推理 + 大模型 token 套餐混合架构，具备整网的优雅降级与升级路径。
面向工业 / 酒店 / 家庭的多种协议适配；集成量产交付、DFM、热仿真与 EMC。
可对接 CE / FCC / RoHS 与医疗相关注册指导资源，缩短上市时间。
RK3588 / RK3576 / RK3506 / RK1828 核心板与开发板详情。
带上你的场景与模型需求；NRE、试产与认证节奏可一并评估。