테마 전환
Strata (번역일자: 2026-11-08)
내 컴퓨터의 잠재력을 깨워 강력한 AI를 직접 실행하세요 — 채팅, 코딩, 이미지 작업까지 모두 로컬에서.
Strata는 수백 GB의 그래픽 메모리가 필요한 초대형 MoE 모델(Qwen3.8-Flash-Next, DeepSeek V4.1-Flash 등)을 일반 PC에서도 돌릴 수 있게 해주는 무료 오픈소스 로컬 추론 도구입니다. 그래픽 카드, RAM, SSD가 각자의 역할을 나누어 모델을 얹는 영리한 방식으로, 12~24GB VRAM과 32~64GB RAM 정도의 환경에서도 수십 GB 규모의 거대 모델을 안정적으로 서빙합니다. 데스크톱 앱과 터미널(strata 명령), 그리고 최적화된 C++ 엔진과 OpenAI·Anthropic 호환 API 서버를 갖추고 있어 Claude Code나 Codex CLI 같은 최신 코딩 에이전트와도 즉시 연결해 사용할 수 있습니다.
이 가이드는 Niko1221/Strata 공식 저장소의 README와 문서들을 바탕으로, 한국어 사용자가 Strata의 핵심을 빠르게 파악하고 바로 적용할 수 있도록 재구성한 12편의 글입니다.
요약
일반 PC에서 초대형 MoE 모델을 실행하는 무료 오픈소스 로컬 추론 도구.
qwen3.8-Flash-Next나 DeepSeekV4.1 같은 대형 모델을 VRAM이 부족한 환경에서 3Q 이하의 낮은 퀀트로라도 돌리기 위해 사용 합니다.
라이선스
원저작자: Niko1221 및 Strata 기여자. Niko1221/Strata 저장소에서 개발 및 배포하며, 데스크톱 앱과 터미널 CLI, API 서버가 모두 동일한 저장소에 포함되어 있습니다.
저장소 전체는 MIT License를 따르며, 저작권 표기는 Copyright (c) 2026 Niko1221 and the Strata contributors입니다. 모델 가중치는 저장소에 포함되지 않습니다. 각 가중치는 원래의 라이선스를 그대로 따르며, 특히 Qwen3.8-Flash-Next 계열 및 그 양자화 버전의 경우 해당 모델의 라이선스 조건을 별도로 확인해야 합니다.
NOTICE: 최상위 NOTICE 파일은 없으나, 사용된 서드파티 코드 옆에 각각 고지 파일이 배치되어 있습니다. llama.cpp·ggml(MIT, © 2023-2026 The ggml authors), antirez/ds4(MIT, © 2026 The ds4.c authors 등), Project Maya(MIT, © 2026 Peasant Smith 및 기여자), sFNX(MIT, © 2026 John Fink), libstrix(MIT, asf0)의 NOTICE.md 및 웹 UI에 사용된 KaTeX(MIT, © 2013-2020 Khan Academy)가 이에 해당합니다.
기타 라이선스: MIT 외의 라이선스가 적용되는 부분도 있습니다. 웹 UI의 Outfit 글꼴은 SIL Open Font License 1.1, AMD 백엔드의 sycl/include/dpct 헤더는 Apache-2.0 with LLVM-exception(Intel)을 따릅니다. data/dflash2-tuned의 DFlash2 드래프터는 Inco AI 공개본을 파인튜닝한 개작본으로 Apache-2.0 라이선스가 적용되며, data/experimental-speed-projection의 벡터는 Qwen Community License 1.0이 적용됩니다. 따라서 MaaS나 AI 작업 보조 사업자는 상업적 이용 전 Qwen과 별도 계약을 체결해야 합니다.
마인드맵으로 둘러보기
Strata의 소개와 동작 원리, 설치와 실행 사용법, 모델 선택·운영 메뉴얼, 실전 예제로 이어지는 전체 학습 흐름을 살펴보세요. 각 노드를 펼치면 세부 목차를 확인할 수 있습니다.
노드를 눌러 가지를 펼치거나 접을 수 있습니다. ↗는 글로, 마지막 단계의 목차는 해당 절로 이동합니다. 넓은 지도는 좌우·상하로 스크롤하세요.
전체 글 한눈에 보기
소개·개념(2편), 사용법(5편), 메뉴얼(4편), 예제(1편)를 학습 순서대로 구성했습니다. 글 제목을 클릭하면 본문으로, 세부 목차의 항목을 클릭하면 해당 절로 바로 이동합니다.
소개 · 개념
Strata 소개: 내 PC에서 초대형 MoE 모델을 실행하는 로컬 추론 도구
Strata가 어떤 도구인지, 앱·터미널·엔진 세 부분이 어떻게 나뉘어 있는지, 어떤 모델과 하드웨어를 지원하는지 한눈에 읽습니다.
Strata가 초대형 모델을 PC에 얹는 방법: GPU·RAM·SSD 분업과 추측 복호화
그래픽 카드·RAM·SSD가 각각 어떤 역할을 나눠 갖는지, 전문가 캐시와 MTP 추측 복호화가 속도를 얼마나 끌어올리는지 원리 단계로 읽습니다.
사용법
Strata 설치와 업데이트: 데스크톱 앱과 터미널
설치기 vs 터미널 한 줄 설치를 고르고, 첫 실행에서 엔진·모델을 받고, 이후 업데이트·롤백과 파일 위치까지 설치 전 과정을 따라갑니다.
내 PC에 맞는 모델 고르기: 패밀리·양자화·메모리 계산
메모리 표로 먼저 후보를 좁히고, 각 팩의 크기·속도·품질과 Coder·Gyro·NVFP4·DeepSeek 같은 변종의 trade-off를 비교해 모델을 정합니다.
strata launch 완전 가이드: 화면·플래그·프리셋·모니터
안내형 실행부터 스크립트용 실행까지, launch의 모든 화면과 플래그, 값 우선순위와 프리셋, 모니터 뷰까지 터미널 사용법을 끝냅니다.
코딩 도구 연결: strata connect로 Claude Code·Codex·OpenCode 붙이기
터미널에서 코딩 도구를 Strata 서버에 연결한다. 설정을 출력·기록하고 프롬프트·도구 호출로 실제로 점검하는 방법과 도구별 주의점을 다룹니다.
Strata HTTP API 사용법: OpenAI·Anthropic 호환 엔드포인트
서버가 뜨면 바로 쓸 수 있는 HTTP API를 훑는다. 엔드포인트 표, curl·Python 예제, reasoning_effort, JSON/스키마 출력, Prometheus 통합까지 다룬다.
메뉴얼
Docker로 Strata 실행하기: 카드별 이미지와 실행 명령
컨테이너로 Strata를 올린다. 이미지 표에서 카드를 찾고, memlock·shm·stop-timeout 옵션의 이유를 이해하고, 키와 데이터 볼륨을 잡는 순서로 따라간다.
하드웨어별 메뉴얼: NVIDIA·AMD·Intel·Mac·Strix Halo와 멀티 GPU
내 카드와 운영체제가 어디까지 지원되는지, 판독기와 이미지가 어디에서 도는지, 카드가 여러 장일 때 역할을 어떻게 정하는지 백엔드별로 정리한 메뉴얼.
튜닝과 운영 메뉴얼: calibrate·profile·doctor·bench와 업데이트
launch를 넘어선 운영 명령들. 측정에 기반한 튜닝, 프로필로 재현 가능한 서빙, doctor·bench로 검증, 엔진 롤백과 원격 모니터까지 실무 순서로 정리한다.
문제 해결: 흔한 설치·시작·동작 오류와 대응
증상별 한 가지 수정법으로 구성된 공식 트러블슈팅에서 가장 흔한 사례를 뽑아 원인과 대응을 정리한다. 버그 리포트 전 점검과 개인정보 요약도 포함.
예제
실전 예제: curl·SDK·운영 API로 Strata 다루기
복사해서 바로 쓰는 예제 모음. 첫 요청, 스트리밍, thinking 조절, JSON 스키마 출력, 상태·메트릭, 세션 저장·복원, Prometheus 스크레이프까지 다룬다.