AI Inference
AI Inference는 모델을 서버리스 엔드포인트로 배포하고 운영하는 Metis의 사용자 앱입니다. 준비된 추론 엔진(vLLM)이나 직접 만든 컨테이너 이미지(Docker)로 엔드포인트를 띄우고, 워크로드·템플릿·볼륨으로 추론 인프라를 구성하며, Benchmark로 성능을 평가합니다.
모든 화면은 사이드바 상단에서 고른 클러스터와 프로젝트를 기준으로 표시됩니다.
AI Inference와 AI Inference Admin
- AI Inference — 내가 속한 프로젝트 안에서 엔드포인트와 인프라를 만들고 운영하는 사용자 앱입니다.
- AI Inference Admin — 모든 프로젝트의 엔드포인트·워크로드를 조회하고 Kueue 스케줄링·모니터링·토큰 사용량을 관리하는 관리자 앱입니다(Admin Center에서 실행). → AI Inference Admin
메뉴 구성
| 그룹 | 메뉴 | 하는 일 |
|---|---|---|
| — | Dashboard | 현재 클러스터·프로젝트의 자원 사용량과 최근 활동을 봅니다. |
| Serverless | Docker | 직접 만든 컨테이너 이미지로 서버리스 엔드포인트를 운영합니다. |
| vLLM | GPU · CPU · Rebellions | 모델을 골라 vLLM 서버리스 엔드포인트를 운영합니다. 실행 자원별로 메뉴가 나뉩니다. |
| Infrastructure | Templates · Workloads · Volumes | 워크로드 템플릿, 워크로드(파드), 볼륨을 관리합니다. |
| Evaluation | Benchmark | 엔드포인트의 성능을 벤치마크로 평가합니다. |
| Management | Projects | 프로젝트를 만들고 관리합니다. |