테마 전환
Strata의 지원 범위는 "GPU 목록"으로 끝나지 않습니다. 같은 카드라도 백엔드(CUDA/HIP/SYCL/Metal)마다 지원하는 모델과 기능, 준비 절차가 다릅니다. 이 편은 AI_REFERENCE.md와 백엔드별 가이드(AMD_HIP.md, INTEL_ARC.md, MAC.md, STRIX_HALO.md, MULTI_GPU.md)를 모은 요약 메뉴얼입니다.
지원 범위를 확인하는 방법
- 지원 GPU ≠ 모든 모델 지원. 예: Qwen3.6은 CUDA·HIP 전용(Metal/SYCL 엔진은 미지원), DeepSeek V4.1-Flash는 Mac·Intel Arc·Linux의 Strix Halo에서 아직 미지원, NVFP4는 NVIDIA 전용.
- RAM·VRAM·통합 메모리·다운로드 크기·준비용 임시 디스크는 각각 다른 값입니다. 통합 메모리는 한 번만 셉니다.
- 성능 수치는 모델·양자화·하드웨어·작업 부하·엔진 버전과 출처를 함께 적어야 합니다. 한 카드의 수치를 다른 카드로 옮기지 마세요.
NVIDIA · CUDA
- RTX 20~50 시리즈가 기본 지원. CUDA 13 패키지는 드라이버 580 이상, GTX 10·Tesla 등 구형은 CUDA 12 경로(
OLDER_GPUS.md). - 드라이버 갱신은 NVIDIA App 또는 nvidia.com/drivers. 패키지에 들어 있는 CUDA 런타임이 드라이버를 대체하지는 않습니다.
- DeepSeek V4.1-Flash는 RTX 30/40/50(Windows·Linux)에서 지원. RTX 40은 엔진 패키지에 포함됐지만 자체 실측은 아니라고 문서에 명시되어 있습니다.
AMD Radeon · HIP
- RX 7700/7800/7900, RX 9060/9070, AI PRO R9700이 지원 대상, RX 6800/6900(gfx1030)은 실험 지원이며 검증 범위가 새 카드와 다릅니다.
amdgpu커널 드라이버(Linux 6.8+)가 필요하고, 카드-패키지 대응표는AMD_HIP.md에 있습니다.- GPU 이미지 판독기는
strata-vision-hip를 쓰고, 시작에 실패하면 자동으로 CPU 판독기로 넘어갑니다("the GPU picture reader did not start ..." 로그). - DeepSeek V4.1-Flash는 Linux의 R9700에서 지원(앱·터미널 모두).
Intel Arc · SYCL
- Linux 전용(Ubuntu 24.04+). 미리 빌드된 SYCL 엔진을 터미널이 내려받지만, Arc용 모델 준비는 컨테이너 빌드라 launch가 대신하지 않습니다. 파일과 준비 팩이 이미 디스크에 있으면 launch가 실행 설정을 직접 쓰고, 아니면 준비 필요를 알려 줍니다(
INTEL_ARC.md의 준비 경로). - 24GB 이상 Arc도 판독기는 기본 CPU(
--vision gpu로 카드 실행 가능). Battlemage(B580·B70)은--vision on전까지 이미지 off. - Windows에는 Intel 네이티브 엔진이 없습니다.
Apple Silicon · Metal
- M1 이상, macOS 15 이상. Intel Mac은 미지원.
- 앱 dmg에 Metal 엔진이 들어 있고,이미 판독은 GPU에서 돕니다(
--vision cpu는 약 50초/이미지로 느림). - Gyro는 Mac 지원, Qwen3.6과 DeepSeek은 미지원(DeepSeek은 text-only 경로가
DEEPSEEK_MAC.md에 별도 문서화 — 64GB+ 필요).
이미지 판독기는 어디서 동작하나요?
모델이 이미지를 읽을 수 있으면 기본 켜짐입니다(--vision off로 끔). 위치 결정 규칙:
| 조건 | 위치 | 비용 |
|---|---|---|
| 카드 VRAM < 24GB | CPU | 이미지 몇 초, VRAM 사용 없음 |
| 카드 VRAM ≥ 24GB | GPU | 약 1~1.4GB 예약, 0.1~0.5초/이미지 |
--vision gpu / --vision cpu | 강제 지정 | 예: 8코어 CPU에서 300 이미지 토큰 약 3초 → GPU 약 0.1~0.5초 |
엔진 패키지에 판독기가 없으면 이미지는 자동으로 off가 되고 화면에 그 사실을 띄웁니다. 판독기 파일 자체는 약 0.9GB입니다. 이 규칙은 strata_control/vision_reader.py에 구현되어 있고 NVIDIA·AMD 동일합니다.
메모리가 부족할 때: Low-RAM 모드
RAM이 전문가 전부 + OS 여유를 못 채우고 카드가 큰 경우, setup은 전문가를 모델 파일에 매핑하고 카드가 담지 못하는 것만 RAM에 둡니다. 32GB PC + 24GB GPU에서 Q2_0·IQ2_XS·Coder가, 32GB + 12~16GB GPU에서 Coder가 이렇게 돌아갑니다. 카드가 작으면 전문가 대부분을 SSD에서 읽어 매우 느려지고 setup이 그 사실을 알려 줍니다. 소스 체크아웃에서는 --low-ram on|off로 강제하지만, strata launch에는 이 플래그가 없습니다.
여러 장의 GPU 활용하기: 레이어 분할과 역할 분담
같은 제조사 카드 두 장 이상에서 한 모델을 여러 카드에 나누는 레이어 분할을 쓸 수 있습니다. 앱에서는 카드별 Main/Helper/Off 선택, 터미널에서는 Cards 단계 또는:
sh
strata launch --gpu 0,1
strata launch --gpu-roles 1=main,0=helper # 지정하지 않은 카드는 Off| 역할 | 동작 |
|---|---|
| Main(정확히 하나) | 분할의 마지막 단계: 출력 헤드, 초안 레이어와 검증. 프롬프트 청크가 여기서 합류. 엔진 순서의 마지막 카드 |
| Helper | 레이어와 전문가 캐시 일부를 나눠 가져 디스크 읽기를 줄임. 효과는 카드·작업 부하에 따름 |
| Off | Strata가 건드리지 않음(화면 출력용, 게임용, 작은 카드) |
권장 배정 규칙(strata_control/gpu_roles.py): 빠른 카드(Multiprocessors x max clock)가 Main, 5% 이내면 메모리 많은 쪽, 동급이면 번호 큰 쪽. 메모리가 확실히 많은 카드가 최소 절반 속도만 나오면 이깁니다. 그 외 카드는 Helper가 기본이지만, 더 큰 카드가 있는데 8GB 이하인 카드·독립 메모리 카드 옆 내장 그래픽·엔진이 못 돌리는 카드는 Off입니다.
주의점:
- 분할은 용량을 늘리지 속도를 늘리지는 않습니다. 합산 메모리에 맞는 모델을 고르세요.
- 서로 다른 제조사 카드는 섞지 않습니다. 한 엔진은 한 제조사 카드만 제어(CUDA는 NVIDIA, HIP는 AMD), 모델이 제조사 경계를 넘어 나눠지지 않습니다.
- DeepSeek V4.1-Flash는 여러 카드를 요구하는 Unsloth q8 세트나 전문가 배치 특화가 있어
--plan으로 카드별 배치를 먼저 확인합니다.
각 카드가 스스로의 센서 값을 보고하고, 집계치가 카드 행에 복사되지는 않습니다(모니터 화면 기준). 더 자세한 측정과 AMD 한정은 AMD_HIP.md와 MULTI_GPU.md를 보세요.