테마 전환
radiance (번역일자: 2026-11-08)
언어 모델부터 이미지, 비디오, 음성, 음악까지—AMD GPU 환경을 위한 통합 추론 서버.
AMD GPU 기반의 C++·HIP 추론 서버 radiance를 소개합니다. OpenAI·Anthropic·llama-server와 호환되는 HTTP API 및 .so 플러그인 설계부터 rig 준비, Docker 및 소스 빌드, 서빙/API 활용법, 메모리 및 추측 복호화 튜닝, 체크포인트 변환과 플러그인 작성 가이드, 그리고 실전 curl 예제까지의 모든 과정을 상세히 다룹니다.
요약
AMD GPU용 C++·HIP 기반 오픈소스 통합 추론 서버
사용 후기
radiance는 NVIDIA나 데이터센터용 GPU를 주로 다루는 vLLM 프로젝트에서 분리되어 소비자용 AMD GPU들을 위해 오픈소스 개발자 StillDeadcode등이 Fork하여 개발했다고 합니다. R9700 2대에서 테스트 결과 qwen3.8 27b와 FN PP가 2~4천 정도, TG가 150 전 후로 나오네요. 단순 코드는 무려 200토큰을 넘기고 있습니다!
라이선스
원저작자: Deadcode. StillDeadcode/radiance 저장소(Codeberg)에서 개발·배포하며, NOTICE에는 Copyright 2026 Deadcode and the radiance contributors, “Written by Deadcode”로 기록되어 40여 명 기여자의 공적이 함께 적혀 있습니다. 도커 이미지는 stilldeadcode/radiance로 배포됩니다.
코드와 문서는 Apache License 2.0이며, README는 모든 사본과 파생물에 NOTICE를 함께 둘 것을 요구합니다. 모델 가중치는 이 라이선스에 포함되지 않습니다 — 각 가중치는 변환 원본 모델의 라이선스를 그대로 따르며, README 기준으로 Qwen-Image 2.1과 Breeze-TTS-2는 연구·비상업 전용이고 MiniMax-H3의 라이선스는 한국·미국·EU·영국에 적용되지 않습니다.
NOTICE: radiance는 최상위 NOTICE 파일이 실제로 존재하며, 트리에 포함된 MIT 서드파티가 여기에 정리되어 있습니다. llama.cpp(MIT, © 2023-2026 The ggml authors, vendor/llama/와 거기서 포팅한 샘플링·토크나이저·libquant 코드), nlohmann/json(MIT, © 2013-2025 Niels Lohmann, vendor/nlohmann/LICENSE.MIT), cpp-httplib(MIT, © 2017 yhirose, vendor/cpp-httplib/LICENSE)가 해당합니다.
Apache·MIT로 처리되지 않는 자료도 NOTICE에 따로 경계가 그어져 있습니다. core/server/systemone.cpp에 들어 있는 Liquid AI의 d1 프롬프트 텍스트는 LFM Open License v1.0을 따르고 상업 사용 제한이 있습니다. data/vectors의 제어 벡터는 Qwen Community License 1.0으로, MaaS나 AI 작업 보조 사업자는 상업 사용 전에 Qwen과 별도 라이선스를 체결해야 하며 radiance의 Apache 승인 범위는 그 파일을 읽고 적용하는 코드에만 미칩니다. 테스트 픽스처는 Tencent Hy-Memory 챗 템플릿이 Apache-2.0(© 2026 Tencent), NVIDIA Nemotron 픽스처가 OpenMDW-1.1(© 2026 NVIDIA CORPORATION & AFFILIATES)이고, Cloudflare clef·Laya·Mica 이식은 각각 Apache-2.0입니다. 도커 이미지는 GPL·LGPL 라이브러리도 함께 담으므로, 재배포할 때는 이미지 안 /usr/share/doc/THIRD-PARTY 목록까지 확인해야 합니다.
마인드맵으로 둘러보기
radiance의 소개와 설계, 설치 및 사용법, 운영 및 확장 메뉴얼, 실전 예제로 이어지는 전체 학습 흐름을 살펴보세요. 각 노드를 펼치면 세부 목차를 확인할 수 있습니다.
노드를 눌러 가지를 펼치거나 접을 수 있습니다. ↗는 글로, 마지막 단계의 목차는 해당 절로 이동합니다. 넓은 지도는 좌우·상하로 스크롤하세요.
전체 글 한눈에 보기
소개·설계(2편), 사용법(5편), 메뉴얼·실전(4편), 예제(1편)를 학습 순서대로 구성했습니다. 글 제목을 클릭하면 본문으로, 세부 목차의 항목을 클릭하면 해당 절로 바로 이동합니다.
소개 · 개념
radiance 소개: AMD GPU 위에서 도는 C++·HIP 추론 서버
radiance가 무엇인지, 왜 하나의 서버로 언어·이미지·비디오·음성을 모두 서빙하는지, 어떤 모델과 하드웨어를 지원하는지 읽습니다.
radiance의 설계: 컨테이너와 플러그인
모델·커널·아키텍처·메모리라는 네 가지 추상화와, 연산이 어떤 커널로 해석되는지, 왜 libref 폴백이 치명적인지 설계 문서에 따라 읽습니다.
사용법
rig 준비: 펌웨어 설정부터 두 장의 R9700으로 서빙하기
펌웨어의 Resizable BAR부터 커널 파라미터, P2P 확인, 전력 리밋과 언더볼트까지. 문서의 참고 rig(AM5 + R9700 두 장)를 단계별로 확인하며 준비합니다.
Docker로 빠르게 실행하기: 이미지, docker run 옵션, compose
FROM scratch 이미지 안의 것, docker run의 장치·seccomp·memlock·네트워크 옵션이 필요한 이유, compose와 .env, 이미지 직접 빌드까지 담았습니다.
소스에서 빌드하기: build.sh, 테스트 계층, RADIANCE_HOME
필요 도구, 장치 커널과 호스트 백엔드의 갈림길, build.sh 플래그, ctest 레이블 계층, 인스톨 prefix와 플러그인 검색 경로 RADIANCE_HOME를 다룹니다.
모델 받는 법과 서빙 시작: --model, 기동 플래그, 계획 확인
컨테이너 다운로드, 체크포인트 직접 서빙, 최소 실행과 기동 로그 읽기, --debug-graph/--debug-selection, 모델별 플래그 예제와 대시보드까지 서빙 첫 단계를 담았습니다.
HTTP API 안내: 채팅부터 이미지·음성·비디오까지
엔드포인트 지도, 채팅과 thinking 제어, SSE 스트리밍, 도구 호출과 JSON 스키마·GBNF 제약, 미디어 API, 여러 서버 API 호환, 운영 엔드포인트를 한 편에 정리했습니다.
메뉴얼 · 실전
메모리 예산과 롱 컨텍스트: 카드를 쪼개는 법
명시적 예산 설계의 실제 — 카드 분할, 탄성 KV 풀, 컨텍스트 1토큰 값어치 계산, fp8 KV, 프리픽스 캐시 체감, 디스크 티어와 KV 스트리밍까지 운영 튜닝의 core를 담았습니다.
추측 복호화와 멀티 GPU: drafter, prompt lookup, --tp 와이어
속도를 만드는 두 축. 초안 복호화의 drafter·프롬프트 룩업·적응형 깊이·트리 검증, 그리고 카드 여러 장을 쓰는 법과 손실 all-reduce 와이어, P2P가 없는 환경의 동작을 다룹니다.
rad-convert로 체크포인트 변환하기: 레시피와 실전 명령
레시피의 PATTERN-QUANTISER-OPTIONS 문법, README와 GUIDE에서 모은 변환 명령, --draft-model/--reuse/--set, 외부 양자화 릴리스의 세 가지 처리, rad-info와 KL 검사까지 담았습니다.
플러그인 작성 입문: 엔진을 건드리지 않고 확장하기
`.so` 플러그인의 ABI 계약, 커널이 자신을 선언하는 방식(제약·우선순위·도메인), 카드 지원이 포크가 아니라 플러그인인 이유, arch와 quantizer 플러그인의 역할 분담을 개관합니다.
예제
실전 예제 모음: curl 하나로 텍스트·이미지·음성·비디오
서버만 띄우면 바로 복사해 쓸 수 있는 요청 예제 모음입니다. 각 예제에 어떤 모델이 필요한지, 응답의어느 부분을 보는지 주석을 달았습니다.