AI Inference Admin
AI Inference Admin은 모든 프로젝트의 추론 자원을 한곳에서 보고 관리하는 관리자 앱입니다. 데스크톱의 Admin Center에서 AI inference를 실행합니다.
사용자 앱과 달리 클러스터·프로젝트를 고르지 않고 모든 프로젝트를 한 번에 보며, 사용자 앱에 없는 Token metering · Kueue · Monitoring · 프로젝트 관리 메뉴가 있습니다. 엔드포인트를 새로 만드는 기능은 없습니다 — 생성은 AI Inference에서 합니다.
메뉴 구성
| 그룹 | 메뉴 | 하는 일 |
|---|---|---|
| — | Dashboard | 전체 스토리지·자원 사용량, 워크로드·볼륨 요약, 최근 활동을 봅니다. |
| Serverless · vLLM | Docker · GPU · CPU · Rebellions | 모든 프로젝트의 엔드포인트를 조회하고 관리합니다. |
| Infrastructure | Templates · Workloads · Volumes | 모든 프로젝트의 템플릿, 워크로드, 볼륨을 조회·수정·삭제합니다. |
| Evaluation | Benchmark · Token metering | 벤치마크 결과와 엔드포인트별 토큰 사용량을 봅니다. |
| Kueue | Monitoring · Queue · Workloads · Analytics · Scheduler · Resource Inventory | GPU 대기열과 스케줄링을 관리합니다. |
| Monitoring | Nodes · Usage Trend · Connected Clusters | 노드 상태, 사용 추이, 연결된 클러스터를 봅니다. |
| Admin Managements | Projects | 프로젝트를 만들고 관리합니다. |