Skip to content

엔드포인트 관리 ​

목록 행의 Action(⋯) 메뉴로 엔드포인트의 호출 주소를 확인하고, 테스트 프롬프트를 보내고, 로그를 보고, 설정을 수정하거나 삭제합니다. Docker 엔드포인트도 같은 메뉴를 씁니다.

사전 조건 ​

  • 관리할 엔드포인트가 있는 프로젝트를 선택한 상태
  • Send prompt와 View logs는 실행 중인 엔드포인트에서만 쓸 수 있습니다

Service URL ​

엔드포인트를 호출할 주소를 보여줍니다.

Service URL
번호기능항목설명
1-1주소 복사Copy to clipboard· 주소를 클립보드에 복사합니다. 이 주소로 OpenAI 호환 API 요청을 보낼 수 있습니다.
1-2닫기Cancel· 창을 닫습니다.

Send prompt ​

실행 중인 엔드포인트에 프롬프트를 보내 응답이 정상으로 오는지 확인합니다.

Send prompt
번호기능항목설명
2-1Prompt필수· 모델에 보낼 입력 문장입니다.
2-2생성 옵션Max Tokens응답으로 만들 최대 토큰 수입니다(기본 256).
Temperature값이 클수록 응답이 다양해집니다(기본 0.7).
Top P누적 확률 기준으로 후보 토큰을 제한합니다(기본 0.7).
Frequency / Presence Penalty같은 토큰이 반복되거나 새 토큰이 나올 가능성을 조정합니다.
Stop Sequence이 문자열이 나오면 생성을 멈춥니다.
Stream response체크하면 응답을 한 번에가 아니라 생성되는 대로 받아 봅니다.
2-3Send전송 버튼· 프롬프트를 보내고 응답을 드로어 안에 표시합니다.

View logs ​

엔드포인트 파드의 이벤트와 컨테이너 로그를 확인합니다.

View logs
번호기능항목설명
3-1대상Name · Status· 로그를 보는 엔드포인트 이름과 현재 상태입니다.
3-2로그 종류Pod events & Diagnostics / Container logs· 파드 이벤트(생성·상태 점검 실패 등)와 컨테이너 표준 출력 로그를 나눠 봅니다. 최근 1,000건까지 표시됩니다. 기동이 안 될 때는 Pod events에서 원인을 먼저 확인합니다.

Edit ​

이름과 모델은 바꿀 수 없고, 레플리카 수와 자원만 수정할 수 있습니다.

Edit
번호기능항목설명
4-1Basic Information읽기 전용· 이름과 모델이 흐리게 표시되며 수정할 수 없습니다.
4-2Instance configurationMin / Max Replicas· 최소·최대 레플리카 수를 바꿉니다. 포트는 8000으로 고정입니다. 그 아래 Resources에서 CPU·메모리 요청과 한도를 바꿉니다.
4-3Save저장· Save를 클릭하면 변경한 설정이 적용됩니다. Cancel은 변경을 버리고 목록으로 돌아갑니다.

Delete ​

엔드포인트를 삭제하기 전에 확인합니다. 삭제하면 되돌릴 수 없습니다.

Delete
번호기능항목설명
5-1확인 문구Delete Endpoint· 삭제할 엔드포인트 이름을 확인합니다.
5-2취소 / 삭제Cancel · Delete· Delete를 클릭하면 엔드포인트가 삭제됩니다. Cancel은 창을 닫습니다.

일시 중지 · 재개 · 배포 취소 ​

  • Pause — 실행 중인 엔드포인트를 멈춥니다. 자원을 반납하지만 설정은 그대로 남습니다.
  • Resume — 멈춘 엔드포인트를 다시 실행합니다.
  • Cancel — 배포가 진행 중일 때만 활성화되며, 진행 중인 배포를 취소합니다.

AI 인프라의 새로운 기준