테마 전환
strata launch는 Strata 터미널 환경의 핵심입니다. 모델 선택부터 최적화 튜닝, 서빙 시작, 그리고 실시간 모니터링까지 이 명령 하나로 모두 처리할 수 있습니다. 또한, API 서버를 띄워 다른 코딩 도구들과 연결하는 가교 역할도 합니다.
가장 빠르게 시작하는 방법
복잡한 설정 없이 바로 실행해 보고 싶다면 다음 명령들을 활용하세요.
sh
strata launch --plan --family qwen --model q2_0 # 실제로 바꾸지는 않고, 어떤 일이 일어날지만 미리 확인
strata launch --family qwen --model q2_0 --yes --no-tui # 질문 없이 바로 다운로드·서빙하고 주소를 출력한 뒤 종료
strata launch --status # 현재 서버가 정상적으로 서빙 중인지 확인
strata launch --stop # 실행 중인 서버와 엔진을 안전하게 정지모든 옵션을 확인하려면 strata launch --help를 입력하세요. 상세한 예제와 함께 플래그 목록이 나타납니다. 만약 모델명이나 플래그에 오타가 있다면, Strata가 가장 유사한 옵션을 찾아 추천해 줍니다. (엔진은 첫 모델 설치 시 함께 다운로드되며, 서명 확인과 시험 시작 테스트를 통과해야만 최종적으로 활성화됩니다.)
단계별 안내 실행 가이드
플래그 없이 strata launch만 입력하면 친절한 단계별 안내 화면이 나타납니다. 방향키로 선택하고 Enter로 진행하며, Esc로 이전 단계로 돌아가거나 ? 키로 도움말을 볼 수 있습니다. (q를 누르면 종료됩니다.)
- 시작: 저장된 프리셋 목록(모델, 컨텍스트, 병렬 수 등이 포함됨)에서 고르거나, "처음부터 설정" 또는 "이미 있는 모델 파일 사용"을 선택합니다.
- 모델 선택: 사용 가능한 모델 카탈로그가 표시됩니다. 다운로드 크기와 필요 VRAM/RAM이 함께 나오며, 내 PC 사양에 맞는지("맞음/빠듯함/안 맞음")를 알려 줍니다. (경고가 떠도 실행은 가능합니다.)
- 저장 폴더 지정: 모델 파일이 저장될 위치와 디스크 남은 공간을 확인합니다. 이미 설치된 모델이 있다면, 추가로 필요한 파일(초안 레이어 약 5.2GB, 판독기 0.9GB 등)만 리스트에 표시됩니다.
- 컨텍스트 설정: 8K부터 512K까지 선택할 수 있으며, 설정에 따른 추가 메모리 비용이 함께 표시됩니다. 메모리 형식(8비트/4비트)도 여기서 정합니다.
- 이미지 판독 설정: 판독 가능 모델인 경우 기본적으로 켜져 있습니다. 24GB 미만 카드는 CPU에서, 24GB 이상은 GPU에서 실행됩니다. (GPU 실행 시 약 1~1.4GB의 VRAM을 예약합니다.)
- 병렬 요청(Parallel) 설정: 동시 응답 수를 결정합니다. 그래픽 카드 사양에 맞춰 기본값이 추천되며(12GB: 1, 24GB: 3 등), 1~8 사이에서 직접 지정할 수 있습니다.
- 튜닝(Tuning) 단계:
quick(약 20분) 또는thorough(최대 2시간) 모드를 선택하거나 건너뛸 수 있습니다. 화면에서는quick을 추천하며, 커맨드라인에서는--tune플래그를 쓰지 않는 한 튜닝을 건너뜁니다. - 고급 설정: 엔진의 세부 설정값들을 확인하고 수정할 수 있습니다. 이름으로 새로운 설정을 추가하는 것도 가능합니다.
- 접근 범위 및 보안: 로컬 전용(127.0.0.1), 내 네트워크(LAN), Cloudflare 퀵 터널, Tailscale 중 선택합니다. 포트 번호와 API 키 설정도 여기서 처리하며,
t키를 눌러 키 생성을 끌 수 있습니다. - 프리셋 저장 및 실행: 설정을 프리셋으로 저장한 뒤 실행합니다. 모델 다운로드 진행률이 표시되고, 엔진이 성공적으로 시작되면 모니터 화면으로 자동 전환됩니다. (웹 UI를 바로 열고 싶다면
--open플래그를 추가하세요.)
카드가 여러 장인 경우, 모델 선택 단계에서 각 카드의 역할(M: 메인, H: 도우미, O: 제외)을 지정할 수 있습니다. 터미널에서는 --gpu-roles 1=main,0=helper와 같은 방식으로 설정합니다.
주요 실행 플래그 활용하기
반복적인 실행이나 자동화 스크립트가 필요할 때 유용한 플래그들입니다.
sh
strata launch --preset "IQ3_XXS 128K" # 저장된 프리셋으로 빠르게 시작
strata launch --family qwen --model iq3_xxs --context 128k --parallel 4 --vision off \
--access lan --port 8080 --save-preset "Office" --no-tui
strata launch --model-path /data/models/IQ3_XXS --no-tui # 이미 가지고 있는 파일로 실행
strata launch --family qwen --model q2_0 --context 64k --restart --no-tui
strata launch --list-presets # 저장된 프리셋 목록 확인
strata launch --show-key # 현재 설정된 API 키 출력| 플래그 | 동작 및 특징 |
|---|---|
--preset NAME | 저장된 프리셋으로 시작합니다. 다른 플래그와 함께 쓰면 해당 실행에서만 값이 바뀌고, --save-preset을 붙여야 프리셋 자체에 저장됩니다. |
--family, --model | 모델 패밀리와 크기를 지정합니다. (예: qwen, q2_0) 대소문자를 구분하지 않습니다. |
--model-path PATH | 이미 내려받은 샤드 폴더나 .gguf 파일 경로를 직접 지정합니다. |
--data-dir DIR, --move-data | 모델 다운로드 위치를 변경합니다. --move-data를 쓰면 기존 모델 파일까지 새 경로로 옮깁니다. |
--context SIZE | 컨텍스트 길이를 지정합니다. (32k, 64k, 128k, 256k 또는 토큰 숫자) |
--kv FORMAT | 대화 메모리 형식을 지정합니다. int8(기본), q4_0(메모리 절반), k8v4, fp16 등이 있습니다. |
--vision off|on|gpu|cpu | 이미지 판독 기능을 켜거나 끕니다. 기본은 자동 설정입니다. |
--parallel N | 동시 응답 수(1~8)를 설정합니다. 기본은 카드 사양에 맞게 자동 설정되며, DeepSeek 모델은 기본값이 1입니다. |
--mtp on|off | 초안 레이어(MTP) 사용 여부를 정합니다. off로 설정하면 VRAM을 약 1GB 절약할 수 있지만 속도가 느려집니다. |
--drafting auto|mtp|dflash2|off | 추측 복호화에 사용할 초안 모델을 정합니다. dflash2는 Qwen3.8-Flash-Next 전용이며 1.2GB의 추가 파일을 다운로드합니다. |
--gpu LIST, --gpu-roles LIST | 사용할 그래픽 카드 목록과 각 카드의 역할을 지정합니다. |
--tune quick|thorough|skip, --retune | 튜닝 모드를 정합니다. 동일 설정의 기존 결과가 있다면 재사용하며, --retune을 쓰면 다시 측정합니다. |
--set KEY=VALUE | 엔진의 세부 설정이나 STRATA_* 환경 변수를 직접 지정합니다. (여러 번 사용 가능, KEY=off로 제거 가능) |
--access local|lan|cloudflare|tailscale, --port N | 서버 접근 범위와 포트 번호를 설정합니다. |
--api-key KEY, --api-key-env NAME, --new-key, --no-api-key | API 인증 키를 설정하거나 새로 생성, 혹은 제거합니다. |
--save-preset NAME, --list-presets, --delete-preset NAME | 설정 프리셋을 저장, 조회, 삭제합니다. |
--no-tui | 인터랙티브 화면 없이 백그라운드에서 서빙하고 주소만 출력한 뒤 종료합니다. |
--yes | 모든 확인 질문에 자동으로 "Yes"라고 답합니다. 단, 이미 실행 중인 모델을 자동으로 재시작하지는 않습니다. |
--restart | 다른 설정으로 이미 모델이 돌고 있다면, 이를 정지시키고 새로운 설정으로 다시 시작합니다. |
--plan | 실제로 변경을 가하지 않고, 실행 계획과 예상 다운로드 용량을 표시하고 종료합니다. |
--output human|json | 출력 결과 형식을 지정합니다. |
--status, --stop, --show-key | 서버 상태 확인, 정지, 키 출력 기능을 수행합니다. |
엔진 설정값의 우선순위
실행 설정 파일(launch/<name>.json)은 매번 실행될 때마다 갱신됩니다. 설정값들이 충돌할 때는 다음 우선순위에 따라 가장 위에 있는 값이 최종 적용됩니다.
- 명시적 launch 플래그: 이번 실행 시 커맨드라인에 직접 입력한
--set,--context등의 값. (저장된 프리셋을 쓰더라도 이 플래그가 우선하며,--save-preset을 안 쓰면 다음 실행 때는 사라집니다.) - 지속 오버라이드: 모델 실행 설정의
user_args나 설정 파일에 직접 입력한 값. - 실측 보정값:
strata engine calibrate --apply-result를 통해 해당 모델과 컨텍스트에 최적화된 실측값. (모델이나 컨텍스트가 바뀌면 사라집니다.) - Auto 기본값: 하드웨어 사양과 정책에 따라 setup이 자동으로 생성하는 값.
예를 들어, 기본 설정이 draft-conf=0.35더라도 사용자가 --set draft-conf=0.4라고 입력하면 이 값이 최우선으로 적용됩니다. 다만, DFlash2 초안 모델이 필수적으로 요구하는 일부 옵션은 --set으로 제거할 수 없으며, 반드시 --drafting off|mtp 플래그를 통해 제어해야 합니다.
자주 쓰는 설정, 프리셋으로 저장하기
매번 긴 플래그를 입력하는 대신 프리셋을 활용하세요. 프리셋은 launch-presets/ 폴더에 작은 파일로 저장됩니다.
sh
strata launch --preset Office --set prefill=65536 --no-tui위와 같이 실행하면 'Office' 프리셋 설정을 불러온 뒤, prefill 값만 이번 실행에서 임시로 바꿔 서빙합니다. 이 프리셋들은 데스크톱 앱의 설정 화면과도 공유되므로, 터미널에서 만든 프리셋을 앱에서 그대로 사용할 수 있습니다.
모델이 도는 중에 실행하면
이미 모델이 실행 중일 때 strata launch를 다시 입력하면 다음과 같이 동작합니다.
- 동일한 설정인 경우: 재시작하지 않고 현재 실행 중인 서버 주소만 출력합니다.
- 설정이 다른 경우: 화면에서는 "재시작하시겠습니까?"라고 묻고,
--no-tui모드에서는 설정 충돌 메시지와 함께 실행을 거부합니다. 이럴 때는--restart플래그를 붙이거나,strata launch --stop으로 먼저 서버를 끈 뒤 다시 실행하세요. - 포트가 다른 경우: 다른 포트를 지정하면 두 개의 서버를 동시에 띄울 수 있습니다. 다만, 거대 모델 두 개가 VRAM을 동시에 점유하면 메모리 부족으로 실행되지 않을 수 있으며, 이 경우 Strata가 미리 알려 줍니다.
실시간 상태 확인: 모니터 7개 뷰
서버가 시작되면 열리는 모니터 화면은 1~7 숫자 키(또는 방향키)로 뷰를 전환하며 확인할 수 있습니다.
| 키 | 뷰 이름 | 주요 확인 내용 |
|---|---|---|
| 1 | 개요 | 모델 상태, 추론 속도, GPU 부하·온도·전력, VRAM 점유, CPU·디스크 상태, 컨텍스트 점유 및 VRAM 내 전문가 분포, 최근 요청 로그 (/metrics 기반) |
| 2~6 | 서빙·요청·엔진·하드웨어·로그 | 각 항목의 세부 상태와 실시간 이벤트 로그 |
| 7 | 연결 | 서버 주소와 API 키, 연결된 앱별 설정. c로 복사, w로 설정 백업 및 수정, h로 실제 프롬프트와 도구 호출 연결 상태 점검 |
q 키를 눌러 모니터를 종료하면, 백그라운드에 서버를 남길지 물어봅니다. 완전히 종료하면 모델이 언로드되어 그래픽 메모리가 해제됩니다. 그래픽 카드가 여러 장인 경우, 개요 뷰 하단에 각 카드의 부하와 메모리 상태가 스트립 형태로 표시되어 어떤 카드가 가장 바쁜지 한눈에 알 수 있습니다.
기존 모델 파일 활용하기
이미 다른 경로에 GGUF 파일이나 모델 세트가 있다면 처음부터 다시 받을 필요가 없습니다. strata models list 명령은 다음 순서로 모델을 찾습니다.
--install-dir또는STRATA_INSTALL_DIR로 지정한 경로- 터미널 설치 폴더 내의 모델 경로
- 설정 파일(
settings.json)에 기록된 이전 설치 경로 - 데스크톱 앱이 사용하는 모델 폴더 (공유 가능)
strata models import <경로> --plan 명령을 사용하면, 가지고 있는 파일이 Strata의 어떤 모델 팩으로 인식되는지, 추가로 받아야 할 파일(초안 레이어, 판독기 등)은 무엇인지 미리 확인할 수 있습니다. 실제 채택 여부는 엔진 버전과 하드웨어 호환성을 최종 확인한 뒤 결정됩니다.
엔진이 내 컴퓨터와 맞지 않는 경우에도 Strata는 실행을 완전히 거부하지 않습니다. 일단 모델 다운로드는 진행하되, 시작 단계에서 오류를 알리고 종료 코드 0으로 끝내며 사용자에게 필요한 엔진이나 드라이버를 안내합니다.