사내 LLM PoC, 장비보다 먼저 정할 것

이런 팀을 위한 글

사내 문서나 소스코드로 LLM·RAG를 시험해 보고 싶은데, 데이터는 외부로 보내기 어렵고 GPU를 먼저 사기엔 확신이 없는 팀을 위한 글입니다.

PoC를 장비 고르기부터 시작하면 결과를 받아 들고도 판단하기 어렵습니다. 아래 네 가지를 먼저 정해 두면 어떤 장비로 시험하든 결과를 비교하고 결정할 수 있습니다.

1. 무엇을 검증할지 — 업무 한 가지

• 우선 업무 하나. 문서 검색과 답변(RAG), 답변 생성, 코드 보조 가운데 하나를 고릅니다.
• 목적. 추론, RAG, 파인튜닝, 학습 중 무엇인지 정합니다.
• 모델. 이름, 파라미터 규모, 정밀도와 양자화 방식을 적습니다.
• 기대치. 답변 품질 기준, 응답 시간, 동시 사용자 수를 적습니다.

모델이 한 번 실행되는 것과 우리 업무에 맞는 것은 따로 확인해야 합니다.

2. 어떤 조건에서 잴지 — 조건 고정

조건이 하나라도 바뀌면 다른 실험으로 기록하고 결과를 섞지 않습니다. 실패, 시간 초과, 메모리 부족도 지우지 않고 남깁니다.

3. 어디서 실행할지 — 환경 확인

• 데이터 처리 위치와 접근 권한. 어떤 데이터가 어디서 처리되고 누가 접근하는지 정합니다.
• 내부망 조건. 망분리, VPN, 프록시, 방화벽 규칙을 확인합니다.
• 아키텍처 호환성. DGX Spark는 Arm CPU 기반입니다. 쓰려는 컨테이너 이미지와 라이브러리가 linux/arm64와 GPU 런타임을 지원하는지 확인합니다.
• 설치와 업데이트 경로. 모델과 패키지를 어떻게 들여오고 갱신할지, 외부 인터넷 없이 해야 하는지 확인합니다.
• 현장 준비. 전원, 네트워크, 스토리지를 확인합니다.

4. 무엇으로 판단할지 — 성공 기준을 먼저 적기

• 지정한 모델의 로딩과 샘플 응답
• 첫 토큰 지연, 완료 시간, 처리량의 합격 기준 — 입력 길이·동시 요청 수와 함께
• 답변 품질 평가 — 평가 문항, 판정자, 허용 오류. 샘플 응답 한 건으로 판단하지 않습니다
• 실패했을 때 다시 시험할지, 멈출지의 조건
• 결과를 보고 결정할 것 — 필요한 대수, 이용 기간, 구매 여부

흔한 오해

• ‘128GB면 VRAM이 128GB’ — DGX Spark의 128GB는 CPU와 GPU가 함께 쓰는 통합 시스템 메모리입니다. 큰 모델을 올릴 여유를 주지만, 실제 속도와 적합성은 측정으로 확인합니다.
• ‘장비를 늘리면 늘린 만큼 빨라진다’ — 여러 대가 같은 모델을 각자 실행하는지, 하나의 모델을 나눠 실행하는지에 따라, 그리고 워크로드에 따라 결과가 다릅니다.
• ‘회사 안에 설치하면 보안은 끝’ — 내부 설치는 데이터 처리 위치를 통제하는 기반입니다. 실제 보안 수준은 네트워크, 계정, 접근 권한, 업데이트, 운영 정책까지 함께 정해집니다.
• ‘모델이 돌아가면 PoC 성공’ — 실행은 출발점입니다. 업무 품질은 미리 정한 평가 기준으로 따로 확인합니다.

ON DATA가 돕는 범위

ON DATA는 DGX Spark 1~4대를 고객사 사무실이나 데이터센터에 설치하고, 합의한 기본 환경과 여러 대의 클러스터 구성, 합의한 LLM의 로딩·샘플 응답과 Isaac Lab 예제의 기본 실행 확인까지 진행합니다.

모델·소프트웨어 호환성과 설치 범위·일정은 계약 전에 개별로 확인합니다. 고객 모델의 개발·학습 대행이나 처리량 보장은 기본 범위에 들어가지 않습니다. 대여 기간과 요금안은 홈페이지에서 볼 수 있고, 최종 조건은 개별 견적과 계약에서 정합니다.

이 체크리스트대로 조건을 고정해 직접 잰 예시는 DGX Spark 1대에 27B LLM을 올려 잰 기록에 있습니다.