Skip to content

엔드포인트 조회 ​

vLLM 엔드포인트 목록을 확인합니다. 아래 화면은 CPU 메뉴 기준이며, GPU·Rebellions 메뉴도 자원 컬럼(GPU / NPU)만 다르고 구성이 같습니다.

사전 조건 ​

  • AI Inference에 접근할 수 있는 계정
  • 조회할 클러스터와 프로젝트를 사이드바 상단에서 선택한 상태

사이드바 ​

vLLM 그룹에서 실행 자원(GPU · CPU · Rebellions)별 엔드포인트 목록으로 들어갑니다. 세 화면의 구성은 같고 자원 컬럼만 다릅니다.

사이드바
번호기능항목설명
1-1GPU vLLMGPU 메뉴· GPU에서 vLLM 엔드포인트를 운영하는 화면으로 이동합니다.
1-2CPU vLLMCPU 메뉴· CPU에서 vLLM 엔드포인트를 운영하는 화면으로 이동합니다.
1-3Rebellions vLLMRebellions 메뉴· Rebellions NPU에서 vLLM 엔드포인트를 운영하는 화면으로 이동합니다.

검색 · 선택 삭제 ​

엔드포인트를 이름으로 찾고, 선택한 엔드포인트를 한꺼번에 삭제합니다.

검색 · 선택 삭제
번호기능항목설명
2-1검색검색창· 엔드포인트 이름으로 목록을 걸러 봅니다.
2-2선택 삭제Delete 버튼· 표에서 체크한 엔드포인트를 한꺼번에 삭제합니다. 선택한 항목이 있을 때만 활성화됩니다.

엔드포인트 생성 ​

새 엔드포인트를 만드는 생성 화면으로 이동합니다.

엔드포인트 생성
번호기능항목설명
3-1엔드포인트 생성Create endpoint 버튼· 우측 상단 버튼을 클릭하면 엔드포인트 생성 화면이 열립니다.

엔드포인트 목록 ​

현재 프로젝트·클러스터의 엔드포인트를 표로 보여줍니다.

엔드포인트 목록
번호기능항목설명
4-1표 컬럼Status엔드포인트 상태입니다. 초록색은 실행 중, 회색은 일시 중지(요청이 없어 0개로 줄어든 상태 포함), 빨간색은 오류를 뜻합니다.
Name엔드포인트 이름과 그 아래에 배포한 모델(또는 이미지)을 표시합니다.
CPU레플리카 하나에 할당한 CPU 자원입니다.
Replicas최소 - 최대 레플리카 수입니다. 최소가 0이면 요청이 없을 때 0까지 줄어듭니다.
Port엔드포인트가 요청을 받는 포트입니다.
Created at엔드포인트를 만든 날짜입니다.
4-2행 액션Action(⋯) 버튼· 행 오른쪽 끝 버튼을 클릭하면 해당 엔드포인트의 액션 메뉴가 열립니다.

행 액션 메뉴 ​

엔드포인트별로 실행할 수 있는 동작 목록입니다. 엔드포인트 상태에 따라 일부 항목은 비활성화됩니다.

행 액션 메뉴
번호기능항목설명
5-1메뉴 항목Service URL엔드포인트 호출 주소를 확인하고 복사합니다.
View logs파드 이벤트와 컨테이너 로그를 확인합니다.
Send prompt실행 중인 엔드포인트에 테스트 프롬프트를 보내 응답을 확인합니다.
Pause실행 중인 엔드포인트를 일시 중지합니다.
Resume일시 중지한 엔드포인트를 다시 실행합니다.
Cancel배포가 진행 중인 엔드포인트의 배포를 취소합니다.
Edit레플리카 수와 자원 설정을 수정하는 화면으로 이동합니다.
Delete엔드포인트를 삭제합니다. 확인 모달이 먼저 열립니다.

최소 레플리카가 0인 엔드포인트

Replicas가 0 - N인 엔드포인트는 요청이 없으면 0개로 줄어들어 회색(일시 중지) 상태로 보일 수 있습니다. 요청이 들어오면 자동으로 다시 기동합니다.

AI 인프라의 새로운 기준