엔드포인트 생성
서빙할 모델을 골라 vLLM 엔드포인트를 만듭니다. 아래 화면은 GPU 메뉴 기준입니다.
사전 조건
- 엔드포인트를 만들 클러스터와 프로젝트를 선택한 상태
- 해당 자원(GPU·CPU·NPU)의 할당량이 남아 있을 것 — Dashboard의 Capacity에서 확인합니다
1단계. 생성 화면 열기
vLLM → GPU(또는 CPU · Rebellions) 목록에서 우측 상단 Create endpoint를 클릭합니다.
2단계. 설정 입력
Basic Information
엔드포인트 이름과 서빙할 모델을 고릅니다.
| 번호 | 기능 | 항목 | 설명 |
|---|---|---|---|
| 1-1 | Name | 필수 | · 엔드포인트 이름을 입력합니다. |
| 1-2 | Model 검색 | 검색창 | · 모델 이름으로 목록을 걸러 봅니다. |
| 1-3 | 모델 구분 | All / Base model / Fine-tuned model | · 전체, 기본 제공 모델, 파인튜닝한 모델로 나눠 봅니다. 괄호 안 숫자는 모델 개수입니다. |
| 1-4 | Model | 모델 카드(필수) | · 서빙할 모델 카드를 클릭해 고릅니다. 고른 모델은 카드 목록 아래에 태그로 표시됩니다. |
Instance configuration
레플리카 수와 포트를 정합니다.
| 번호 | 기능 | 항목 | 설명 |
|---|---|---|---|
| 2-1 | Min Replicas | 필수 (0~8) | · 항상 유지할 최소 레플리카 수입니다. 0으로 두면 요청이 없을 때 자원을 쓰지 않도록 0까지 줄어듭니다. |
| 2-2 | Max Replicas | 필수 (1~8) | · 요청이 몰릴 때 늘어날 수 있는 최대 레플리카 수입니다. |
| 2-3 | Port | 8000 고정 | · 서버리스 엔드포인트의 포트는 8000으로 고정되어 바꿀 수 없습니다. |
Summary
입력 단계별 완료 상태를 보여주고 생성을 마칩니다.
| 번호 | 기능 | 항목 | 설명 |
|---|---|---|---|
| 3-1 | 진행 상태 | 단계 목록 | · 필수 값을 다 채운 단계에 초록색 체크가 표시됩니다. CPU·Rebellions 엔드포인트는 Resources 단계가 더 있습니다. |
| 3-2 | Create | 생성 버튼 | · 이름과 모델을 고르면 활성화됩니다. 클릭하면 엔드포인트가 만들어지고 목록으로 돌아갑니다. Cancel은 입력을 버리고 목록으로 돌아갑니다. |
CPU · Rebellions 엔드포인트
CPU와 Rebellions 생성 화면에는 Resources 단계가 더 있어 레플리카 하나에 줄 CPU·메모리 요청과 한도를 정합니다.
3단계. 생성 확인
Create를 클릭하면 목록으로 돌아가고 새 엔드포인트가 표시됩니다. 모델을 받아 기동하는 데 시간이 걸릴 수 있습니다. 준비되면 Send prompt로 응답을 확인하세요.