엣지 호스트에서 LLM과 멀티모달 모델을 구동하는 동시에, HMI·센서·컨트롤러는 경량 "씬 클라이언트"로 전환됩니다. 하나의 호스트가 공장·호텔·가정 전체의 AI 워크로드를 감당하여 프론트엔드 기기를 슬림하게 유지하고 모든 시나리오에 AI를 제공합니다.
Bestom은 코어 보드만 파는 것이 아닙니다 — 엣지 AI 호스트 + 씬 클라이언트 + 엣지-클라우드 협업이라는 완전한 AI 전환 솔루션을 제공하여 모든 소규모 상업·산업 시나리오에 바로 적용됩니다. 하나의 하드웨어 베이스가 인지 — 추론 — 실행 — 피드백 전체 체인을 커버합니다.
프론트엔드에서 엣지 호스트 하나로 추론을 오프로딩하는 것이 산업·상업·호스피탈리티·가정 환경에 AI를 도입하는 가장 실용적인 경로입니다.
터치, 디스플레이, 센싱, 프로토콜 처리가 RK3506 같은 저전력 컨트롤러로 이동하고 추론은 엣지 호스트에서 실행됩니다. 완제품 BOM과 발열 부하가 함께 감소합니다.
하나의 공장·호텔·가정이 단일 호스트와 단일 모델 세트를 공유하며, 모든 단말 간 동작과 지식을 공유합니다.
음성·이미지·행동 데이터는 현장에서 이해·판단되며 민감 정보가 현장을 벗어나지 않아 공장·호텔 규제 요건을 충족합니다.
로컬 추론은 네트워크 단절 시에도 계속되어 산업 제어·호텔 체크인·사고 대응 같은 중요한 시나리오가 끊기지 않습니다.
1.7B–4B 모델은 로컬 구동, 7B+와 장문 컨텍스트는 엣지-클라우드 협업 — 필요 시 용량 추가로 비용과 경험 균형.
호스트 칩만 교체하면 프론트엔드 기기 전체를 한 번에 업그레이드, 프론트엔드 하드웨어 재작업 불필요.
메인 컨트롤러 샌드박스 + 엣지 두뇌 + 엣지-클라우드 협업. 하나의 하드웨어 베이스가 인지 — 추론 — 실행 — 피드백 전체 체인을 커버합니다.
| 계층 | 핵심 칩 | 책임 | 전형적 역량 |
|---|---|---|---|
| 메인 컨트롤러 샌드박스 Main Sandbox |
RK3576 / RK3588 (CPU + GPU + NPU) |
일반 연산, 시스템 스케줄링, 에이전트 프레임워크, 인지 입력 / 실행 출력, 비공개 데이터 저장 | Agent OS / Claw 프레임워크 · 일반 개발 베이스 · 복잡한 비즈니스 오케스트레이션 |
| 엣지 두뇌 Edge Brain |
RK1828 (LLM NPU) |
대규모 언어/멀티모달 모델의 로컬 추론, 로컬 스킬 실행, 비공개 데이터 처리 | 4B 모델, 32K 컨텍스트 · 10K 내 로컬 스킬 호출 · 단순 작업 로컬 폐루프 |
| 엣지-클라우드 Edge–Cloud |
클라우드 대규모 모델 토큰 플랜 | 복잡한 작업 계획, 심층 장문 추론, 온디맨드 컴퓨트 충전 | 7B+ 장문 컨텍스트 · 도메인 간 지식 베이스 · 학습/파인튜닝 피드백 |
| 프론트엔드 씬 클라이언트 Thin Clients |
RK3506 / RK2116 / RV1106B etc. | 터치, 음성 I/O, 센서 수집, 전기기계 제어, 로컬 전처리 | 86형 패널 · 마사지 체어 패널 · IPC · 산업 PLC 패널 · 홈 중앙 제어 |
RK1828은 대규모 언어/멀티모달 추론을 위해 설계되어 CPU 전용 경로 대비 6–10× 속도를 제공합니다. 아래 수치는 W4A16 / W8A8-3 양자화, 1024-토큰 컨텍스트, 128 입력 / 128 출력 기준 측정값입니다.
| 플랫폼 | 모델 | 양자화 | TTFT(ms) | Prefill(tok/s) | TPS(tok/s) | 메모리(MB) | 대역폭(MB/s) |
|---|---|---|---|---|---|---|---|
| RK182X | Qwen3.5-2B | W4A16 | 362.7 | 352.9 | 41.13 | 1510 | 82 378 |
| Qwen3-1.7B | W4A16 | 53.6 | 2387.5 | 137.98 | 1333 | 16 150 | |
| Qwen3-4B | W4A16 | 107.8 | 1187.5 | 84.10 | 2696 | 220 029 | |
| RK3588 | Qwen3.5-2B | W8A8-3 | 923.3 | 138.6 | 12.76 | 2109 | 27 442 |
| Qwen3-1.7B | W8A8-3 | 429.3 | 298.2 | 13.88 | 1934 | 26 904 | |
| Qwen3-4B | W8A8-3 | 1012.0 | 126.5 | 6.75 | 4184 | 28 817 | |
| RK3576 | Qwen3.5-2B | W4A16 | 1726.7 | 74.1 | 9.41 | 1462 | 11 315 |
| Qwen3-1.7B | W4A16 | 807.7 | 158.6 | 11.32 | 1271 | 11 620 | |
| Qwen3-4B | W4A16 | 1733.1 | 73.8 | 5.57 | 2460 | 12 386 |
RK1828 + RKNN3 툴체인은 언어·음성·비전·멀티모달·옴니모달 모델 계열을 포괄합니다.
| 분류 | 대표 모델 |
|---|---|
| LLM | Qwen2.5-0.5B/1.5B/3B/7B · Qwen3-0.6B/1.7B/4B/8B · GLM Edge · Hunyuan-MT1.5 · Youtu-LLM |
| 음성 ASR / TTS | SenseVoice · Qwen3-ASR / TTS · Whisper · VITS |
| 멀티모달 / VLM | Qwen3.5-9B · Gemma4-12B · Qwen2.5-VL 3B/7B · Qwen3-VL 2B/4B · Qwen3.5 2B/4B · MiniCPM-V-4 · PaddleOCR |
| 옴니모달 | Qwen3-Omni · Qwen3.5-Omni · Gemma4-E2B / E4B |
| 분류 | 대표 모델 |
|---|---|
| 비전 ViT / CNN | SigLIP 1/2 · EVA02 · DINOv2/v3 · CLIP ViT-B/L · Yolo V5/V6/V8/World/26 · MobileNet · ResNet |
| 깊이 / 위치 추정 | Depth-Anything-V2-small · LocateAnything-3B |
| 임베딩 | M3E-small · Albert-base-v2 |
| 리랭커 | Qwen3-0.6B-Reranker · Qwen3-4B-Reranker |
| 텍스트-이미지 생성 | Dream-Lite |
RKNN3는 "모델 → 온디바이스 실행 파일"을 단일 명령으로 만들며, 커스텀 연산자와 매우 낮은 메모리 변환을 지원합니다.
고객이 맞춤 비즈니스 시나리오용 자체 추론 연산자를 개발해 모델과 이기종 가속 자유도를 확장할 수 있습니다.
서드파티 whl 패키지 버전 제한 제거, 환경 배포 간소화, 모델 변환에 필요한 GPU 메모리 크게 절감; 컨텍스트 길이 빠른 변경, 평가/배포 모드 원클릭 전환.
W4A16 / W8A8-3 등 다단계 양자화 수준을 정확도와 속도에 따라 자유 전환.
하나의 모델을 RK1828 NPU와 RK3588 / RK3576 CPU/GPU/NPU 양쪽으로 패키징해 호스트 칩 조합에 유연 대응.
최신 RKNN3 적응: 옴니모달, 멀티모달, 비전 전문 모델.
| 분류 | 모델 | 처리량 | 비고 |
|---|---|---|---|
| 옴니모달 | Qwen3-Omni | 86 TPS | 로컬 옴니모달 인터랙션 |
| Qwen3.5-Omni | 62 TPS | 업그레이드된 옴니모달 버전 | |
| Gemma4-12B | 30 TPS | 대형 옴니모달 모델 | |
| 멀티모달 VLM | Qwen3.5-4B | 50 TPS | 비전-언어 4B |
| Qwen3.5-9B | 35 TPS | 비전-언어 9B | |
| 비전 전문 | Dream-Lite | 3.1 s / image | 텍스트-이미지 생성 |
| LocateAnything-3B | 102 TPS | 비전 위치 추정 & 지칭 |
동일한 "엣지 호스트 + 씬 클라이언트" 베이스가 범용 AI 전환 엔진이 됩니다 — 모든 소규모 상업·산업 시나리오에 바로 적용되어 분산 기기를 통합하고 지능을 통일합니다. 아래는 전형적인 착지 방향입니다.
객실/프론트/주문/대기열이 하나의 엣지 호스트에 통합; 슬림 HMI와 IoT 기기가 씬 클라이언트로 동작. 버추얼 휴먼 리셉션, 음성 온도 제어, 인원 카운팅까지 한 곳에서.
로컬 음성 입력, 상품·재고 비전 카운팅, 체온 스크리닝 — 데이터가 매장을 떠나지 않아 프라이버시 준수.
공장당 호스트 하나; PLC 패널/HMI/센서가 모두 씬 클라이언트화, 추론 중앙화, 업그레이드는 호스트만.
진동/온도/음성 멀티모달 이상 탐지를 로컬에서, 클라우드 경유 없이 알림 — 오프라인 동작.
가정당 호스트 하나; HMI는 슬림 패널 사용, 전체 홈 음성/비전 이해를 로컬 폐루프로.
회의 녹취, 오프라인 차량 멀티모달, 캠퍼스 로컬 튜터 — 단절 시에도 끊김 없음.
200객실 호텔을 예로 "엣지 호스트 + 씬 클라이언트"가 AI 전환을 한 번에 완성하는 과정을 살펴봅니다.
| 위치 | 디바이스 | 역할 | 핵심 역량 |
|---|---|---|---|
| 객실별 × 200 | RK3506 86형 / 벽면 패널 | 씬 클라이언트 HMI | 터치 + 음성 I/O, 조명 제어, HVAC, 커튼, 시나리오, 에너지 리포팅; 기기 내 대규모 모델 없음 |
| 프론트 / 서버룸 × 1 | RK3576 + RK1828 엣지 호스트 | 두뇌 | 버추얼 휴먼 리셉션 · RAG 지식 베이스 · 음성 온도 제어 · 입구 인원 카운팅 · 시나리오 전반 에이전트 |
| 공공 구역 / 층 | RK2116 오디오 모듈 | 공간 오디오 | 멀티 마이크 어레이 픽업 · 공간 오디오 · 원거리 웨이크 · 객실 간 음성 라우팅 |
| 입구 / 복도 | RV1106B / RV1126B IPC | 엣지 비전 | 안면 인식 출입 통제 · 인원 카운팅 · 이상 행동 탐지 |
"엣지 호스트 + 씬 클라이언트"의 어려운 점은 칩 그 자체가 아니라 엣지-클라우드 분리, 프로토콜 적응, 현장 납품입니다. Bestom은 전체 Rockchip 라인에 대한 완성된 엔드투엔드 역량을 갖추고 있습니다.
RK3588 / RK3576 / RK3506 / RV1106B / RK1828 / RK2116이 한곳에 통합 — 다수 공급사 조립 불필요.
Qwen3 1.7B–4B부터 Qwen3-Omni 양자화·변환·온디바이스 배포까지 폐루프.
86형 패널, 마사지 체어 패널, 산업 HMI에서 검증된 '인터랙션 전용' 씬 클라이언트 설계.
로컬 추론 + 대규모 모델 토큰 플랜 하이브리드 아키텍처, 전체 네트워크에 대한 정상적 성능 저하와 업그레이드 경로.
산업/호텔/홈 멀티 프로토콜 적응; 통합 양산 납품, DFM, 열 시뮬레이션, EMC.
CE / FCC / RoHS 및 의료 관련 등록 안내 리소스 활용 가능, 출시 기간 단축.
RK3588 / RK3576 / RK3506 / RK1828 SoM 및 개발 보드 세부사항.
시나리오와 모델 요구를 가져오시면 NRE, 파일럿 생산, 인증 일정을 함께 평가할 수 있습니다.