vLLM
모델을 골라 vLLM 서버리스 엔드포인트로 배포합니다. 실행 자원에 따라 GPU · CPU · Rebellions 세 메뉴로 나뉘며, 화면 구성과 사용 방법은 같습니다.
| 메뉴 | 실행 자원 | 비고 |
|---|---|---|
| GPU | GPU | 대부분의 모델에 씁니다. |
| CPU | CPU | GPU 없이 가벼운 모델을 서빙합니다. 생성 화면에 Resources(CPU·메모리) 단계가 더 있습니다. |
| Rebellions | Rebellions NPU | Rebellions용으로 준비된 모델을 서빙합니다. 생성 화면에 Resources 단계가 더 있습니다. |