RK182X 멀티카드 캐스케이드 추론
Decoder 레이어 단위 분할로 2장 또는 4장의 AI 카드에 분산 — 호스트 한 대에서 온디바이스 LLM 용량과 긴 입력 Prefill 확장

호스트 한 대, AI 카드 최대 4장, 온프레미스에서 27B 모델급까지 — 클라우드 왕복 없이, 프런트엔드 기기를 다시 설계할 필요도 없습니다.

스케줄링 규칙: stage_count = 세그먼트 수, 그리고 사용 가능 디바이스 수 ≥ stage_count. 중간 특징은 호스트 측을 거쳐 전달되며, 모델 가중치는 각 카드에 상주합니다.

레퍼런스 플랫폼 실측에서 긴 입력 Prefill 기준 PCIe와 USB 3.0의 차이는 몇 퍼센트 이내였습니다. PCIe는 첫 토큰 지연(TTFT)과 Prefill에서 약 2–3%의 작은 우위를 가집니다. 짧은 컨텍스트에서는 차이가 거의 없어, USB 3.0이 현실적인 첫 선택이 되는 경우가 많습니다.

모델을 나누는 방법

분할은 단순한 반반 자르기가 아닙니다. 레이어마다 가중치 크기와 메모리 점유가 크게 다르기 때문에(어텐션 블록과 MLP 블록의 차이가 특히 큽니다) 툴체인은 양자화 후 가중치 규모와 세그먼트별 메모리를 균형 있게 맞춰 각 단계를 고르게 만듭니다. 예를 들어 Qwen3.5-9B는 Decoder 레이어 32개를 16 / 16이 아니라 19개와 13개 두 세그먼트로 분할합니다.

분할은 툴체인이 만들어내지만, 성패를 가르는 파라미터 — 세그먼트 수, 대상 컨텍스트, 양자화 방식, 연결 방식 — 는 지연 목표에 맞춰 사람이 결정해야 하는 설계 사항이며 기본값으로 처리할 수 없습니다.

첫 토큰 지연, Prefill 처리량, Decode 처리량, 시스템 소비전력, 호스트 메모리 사용량은 양자화 방식과 구성에 따라 크게 달라집니다. 저희는 구성에 맞춘 실측값을 제공합니다 — 모델, 컨텍스트, 카드 수를 알려주시면 동일 조건의 테스트 리포트를 드립니다.

BesTom은 Rockchip 전 라인업 IDH 설계 파트너입니다. 캐스케이드 아키텍처를 고객 시나리오에서 검증된 제품으로 완성합니다 — 모델 실현성 평가부터 파일럿 생산까지.

ONNX로 깔끔하게 내보낼 수 있고 Decoder 구조가 규칙적이면 분할할 수 있습니다 — 이 파이프라인은 특정 모델 패밀리에 묶여 있지 않습니다. 별도 Cache / State를 가진 특수 구조는 추가 정합 작업이 필요하며, 1단계 평가에서 판단합니다.

모델이 더 이상 들어가지 않나요?

모델, 필요한 컨텍스트, 지연 목표를 보내주시면 카드 수와 연결 방식, 분할 전략을 제안합니다.

tomyao@bestom.net