Skip to main content

AI Gateway 빠른 시작

multi-saas-kit는 AI/LLM 기능을 프로젝트마다 다시 붙이지 않도록 기본 AI gateway 구조를 권장합니다.

기본 방향은 다음과 같습니다.

  • public endpoint: llm.apis.how
  • gateway engine: LiteLLM
  • 앱 인증: virtual key
  • 모델 선택: 공급사 원본 모델명 대신 model alias

왜 기본 제공하나요?​

AI 기능을 도입하면 보통 아래 기능이 곧 필요해집니다.

  • 여러 LLM 공급사 연결
  • API key 관리
  • budget / rate-limit
  • fallback / retry
  • 비용 추적

이걸 프로젝트마다 새로 만들면 도입 속도가 크게 떨어집니다.

그래서 multi-saas-kit는 LiteLLM 기반 gateway를 기본 제공 방향으로 정리했습니다.

가장 짧은 사용 흐름​

  1. 운영자가 llm.apis.how에서 virtual key를 발급합니다.
  2. 앱은 공급사 원본 key 대신 virtual key만 사용합니다.
  3. 앱은 공급사 모델명 대신 alias를 호출합니다.

예시:

from openai import OpenAI

client = OpenAI(
    api_key="sk-virtual-key",
    base_url="https://llm.apis.how/v1",
)

response = client.chat.completions.create(
    model="primary-chat",
    messages=[
        {"role": "user", "content": "Hello"}
    ],
)

문서 읽는 순서​

처음 이해할 때는 아래 순서가 가장 자연스럽습니다.

  1. 이 문서: 기본 개념 빠르게 이해
  2. LiteLLM Gateway: 왜 Service 플랫폼에 포함되는지 확인
  3. llm.apis.how: 실제 호출 방식과 인증 확인

기억할 핵심​

  • LiteLLM은 기본 gateway 엔진
  • llm.apis.how는 운영/정책/문서 레이어가 얹힌 public 서비스
  • 앱은 OpenAI-compatible API + virtual key + alias 로 붙는다