실측 노트 #1
DGX Spark 1대에 27B LLM을 올려 잰 기록
공개 모델 nvidia/Qwen3.8-27B-NVFP4를 SGLang 0.5.19로 실행해, 추측 디코딩을 쓸 때와 쓰지 않을 때의 출력 처리량을 조건마다 3회씩 쟀습니다. 측정 조건과 실패, 이 결과로 말할 수 없는 것까지 함께 적습니다.
ON DATA 노트
ON DATA가 보유한 DGX Spark로 직접 잰 기록과, 구매 전 PoC를 설계하는 가이드를 모읍니다. 숫자에는 조건을, 결과에는 한계를 함께 적습니다.
검증 가이드
사내 LLM PoC, 장비보다 먼저 정할 것
무엇을 검증할지, 어떤 조건에서 잴지, 어디서 실행할지, 무엇으로 판단할지. 데이터를 밖으로 보내기 어려운 팀이 구매 전 PoC를 설계할 때 쓰는 체크리스트입니다.