在邊緣主機上執行 LLM 與多模態模型，而 HMI、感測器與控制器 退居輕量「瘦客戶端」。一台主機即可承載一整座工廠、一間飯店或一個家庭的 AI 工作負載——讓前端設備保持輕薄，把 AI 帶到每個場景。
百斯通不只是賣核心板——我們交付 邊緣 AI 主機 + 瘦客戶端 + 邊緣雲協同，一套完整的 AI 轉型方案，可直接落地於任何小型商用或工業場景。一套硬體底座串起完整鏈路：感知 — 推論 — 執行 — 回饋。
把推論從前端卸載到單一台邊緣主機，是將 AI 帶入工業、商業、飯店與家庭環境最務實的路徑。
觸控、顯示、感測與協定處理移至低功耗控制器（如 RK3506）；推論在邊緣主機執行。成品 BOM 與熱負載同步下降。
一座工廠、一間飯店或一個家庭共享單一台主機與同一套模型；行為與知識跨所有終端共享。
語音、影像與行為資料在本地理解與決策；敏感資訊永不離場——符合工廠與飯店的合規要求。
網路中斷時本地推論持續運作，關鍵場景（工業控制、飯店入住、緊急應變）永不中斷。
1.7B–4B 模型本地執行；7B+ 與長上下文任務走邊緣雲協同——按需補充算力，平衡成本與體驗。
更換主機上的晶片即可一次升級整個前端設備網路；無須重做前端硬體。
主控制器沙盒 + 邊緣大腦 + 邊緣雲協同。一套硬體底座串起完整鏈路：感知 — 推論 — 執行 — 回饋。
| 層 | 關鍵晶片 | 職責 | 典型能力 |
|---|---|---|---|
| 主控制器沙盒 Main Sandbox |
RK3576 / RK3588 (CPU + GPU + NPU) |
通用運算、系統排程、Agent 框架、感知輸入 / 執行輸出、私有資料儲存 | Agent OS / Claw 框架 · 通用開發底座 · 複雜業務編排 |
| 邊緣大腦 Edge Brain |
RK1828 (LLM NPU) |
本地推論大型語言 / 多模態模型、本地技能執行、私有資料處理 | 4B 模型、32K 上下文 · 本地技能呼叫 10K 內 · 簡單任務本地閉環 |
| 邊緣雲 Edge–Cloud |
雲端大模型 token 方案 | 複雜任務規劃、深度長上下文推理、按需算力補充 | 7B+ 長上下文 · 跨域知識庫 · 訓練 / 微調回饋 |
| 前端瘦客戶端 Thin Clients |
RK3506 / RK2116 / RV1106B 等 | 觸控、語音 I/O、感測器擷取、機電控制、本地前處理 | 86 盒面板 · 按摩椅面板 · IPC · 工業 PLC 面板 · 家庭中央控制 |
RK1828 專為大型語言 / 多模態推論打造，速度為純 CPU 路徑的 6–10 倍。下列數據於 W4A16 / W8A8-3 量化、1024 token 上下文、128 輸入 / 128 輸出下量測。
| 平台 | 模型 | 量化 | TTFT (ms) | Prefill (tok/s) | TPS (tok/s) | 記憶體 (MB) | 頻寬 (MB/s) |
|---|---|---|---|---|---|---|---|
| RK182X | Qwen3.5-2B | W4A16 | 362.7 | 352.9 | 41.13 | 1510 | 82 378 |
| Qwen3-1.7B | W4A16 | 53.6 | 2387.5 | 137.98 | 1333 | 16 150 | |
| Qwen3-4B | W4A16 | 107.8 | 1187.5 | 84.10 | 2696 | 220 029 | |
| RK3588 | Qwen3.5-2B | W8A8-3 | 923.3 | 138.6 | 12.76 | 2109 | 27 442 |
| Qwen3-1.7B | W8A8-3 | 429.3 | 298.2 | 13.88 | 1934 | 26 904 | |
| Qwen3-4B | W8A8-3 | 1012.0 | 126.5 | 6.75 | 4184 | 28 817 | |
| RK3576 | Qwen3.5-2B | W4A16 | 1726.7 | 74.1 | 9.41 | 1462 | 11 315 |
| Qwen3-1.7B | W4A16 | 807.7 | 158.6 | 11.32 | 1271 | 11 620 | |
| Qwen3-4B | W4A16 | 1733.1 | 73.8 | 5.57 | 2460 | 12 386 |
RK1828 + RKNN3 工具鏈涵蓋語言、語音、視覺、多模態與全模態模型家族。
| 類別 | 代表模型 |
|---|---|
| LLM | Qwen2.5-0.5B/1.5B/3B/7B · Qwen3-0.6B/1.7B/4B/8B · GLM Edge · Hunyuan-MT1.5 · Youtu-LLM |
| 語音 ASR / TTS | SenseVoice · Qwen3-ASR / TTS · Whisper · VITS |
| 多模態 / VLM | Qwen3.5-9B · Gemma4-12B · Qwen2.5-VL 3B/7B · Qwen3-VL 2B/4B · Qwen3.5 2B/4B · MiniCPM-V-4 · PaddleOCR |
| 全模態 | Qwen3-Omni · Qwen3.5-Omni · Gemma4-E2B / E4B |
| 類別 | 代表模型 |
|---|---|
| 視覺 ViT / CNN | SigLIP 1/2 · EVA02 · DINOv2/v3 · CLIP ViT-B/L · Yolo V5/V6/V8/World/26 · MobileNet · ResNet |
| 深度 / 定位 | Depth-Anything-V2-small · LocateAnything-3B |
| 嵌入 | M3E-small · Albert-base-v2 |
| 重排 | Qwen3-0.6B-Reranker · Qwen3-4B-Reranker |
| 文生圖 | Dream-Lite |
RKNN3 把「模型 → 端側可執行」變成單一指令，支援客製算子與極低記憶體轉換。
客戶可為專屬業務場景開發自己的推論算子，擴展模型與異質加速的自由度。
移除第三方 whl 套件版本限制，簡化環境部署，並大幅降低模型轉換所需 GPU 記憶體；上下文長度可快速變更，評估 / 部署模式一鍵切換。
W4A16 / W8A8-3 等多層級量化，依準確度與速度自由切換。
單一模型可同時封裝至 RK1828 NPU 與 RK3588 / RK3576 CPU/GPU/NPU，彈性搭配主機晶片組合。
最新 RKNN3 適配：全模態、多模態與視覺專精模型。
| 類別 | 模型 | 吞吐量 | 備註 |
|---|---|---|---|
| 全模態 | Qwen3-Omni | 86 TPS | 本地全模態互動 |
| Qwen3.5-Omni | 62 TPS | 升級全模態版本 | |
| Gemma4-12B | 30 TPS | 大型全模態模型 | |
| 多模態 VLM | Qwen3.5-4B | 50 TPS | 視覺語言 4B |
| Qwen3.5-9B | 35 TPS | 視覺語言 9B | |
| 視覺專精 | Dream-Lite | 3.1 s / 圖 | 文生圖 |
| LocateAnything-3B | 102 TPS | 視覺定位與指代 |
同一套「邊緣主機 + 瘦客戶端」底座，成為 通用 AI 轉型引擎——可落地於任何小型商用或工業場景，統一分散設備、統一智慧。以下為典型落地方向。
客房 / 前台 / 點餐 / 排隊統一到一台邊緣主機；瘦 HMI 與 IoT 設備作為瘦客戶端。虛擬人接待、語音控溫、人流統計——全部集中一處。
本地語音輸入、商品與庫存視覺計數、體溫篩檢——資料不出店，隱私合規。
每座工廠一台主機；PLC 面板 / HMI / 感測器全部成為瘦客戶端；推論集中化，升級只需動主機。
振動 / 溫度 / 聲音多模態異常偵測於本地完成，無須上雲即可告警——可離線運作。
每戶一台主機；HMI 使用輕量面板；全屋語音 / 視覺理解以本地閉環運行。
會議轉寫、離線車載多模態、校園本地家教——斷網也不中斷。
以 200 間客房飯店為例，看「邊緣主機 + 瘦客戶端」如何一次完成 AI 轉型。
| 位置 | 設備 | 角色 | 關鍵能力 |
|---|---|---|---|
| 每間客房 × 200 | RK3506 86 盒 / 牆面面板 | 瘦客戶端 HMI | 觸控 + 語音 I/O、燈光控制、空調、窗簾、場景、能耗回報；機上無大模型 |
| 前台 / 機房 × 1 | RK3576 + RK1828 邊緣主機 | 大腦 | 虛擬人接待 · RAG 知識庫 · 語音控溫 · 入口人流統計 · 全場景 Agent |
| 公共區 / 樓層 | RK2116 音訊模組 | 空間音訊 | 多麥陣列拾音 · 空間音訊 · 遠場喚醒 · 跨房語音路由 |
| 入口 / 走廊 | RV1106B / RV1126B IPC | 邊緣視覺 | 人臉識別門禁 · 人流統計 · 異常行為偵測 |
「邊緣主機 + 瘦客戶端」的難點不在晶片本身，而在邊緣雲分工、協定適配與現場交付。百斯通在整條 Rockchip 產品線上具備成熟的端到端能力。
RK3588 / RK3576 / RK3506 / RV1106B / RK1828 / RK2116 一站整合——無須多家供應商拼裝。
從 Qwen3 1.7B–4B 到 Qwen3-Omni 的量化、轉換與端側部署閉環。
在 86 盒、按摩椅面板與工業 HMI 上驗證過「只做互動」的瘦客戶端設計。
本地推論 + 大模型 token 方案混合架構，全網具備優雅降級與升級路徑。
工業 / 飯店 / 家庭多協定適配；整合量產交付、DFM、熱模擬與 EMC。
可對接 CE / FCC / RoHS 與醫療相關註冊輔導資源，縮短上市時程。
RK3588 / RK3576 / RK3506 / RK1828 的 SoM 與開發板細節。
帶上您的場景與模型需求；NRE、試產與認證時程可一併評估。