Skip to main content

🧠 llm.apis.how

llm.apis.how는 multi-saas-kit에서 설명하는 managed LLM gateway 예시 도메인 입니다.

self-hosted 배포에서는 동일한 계약을 llm.${ROOT_DOMAIN} 같은 도메인으로 운영할 수 있습니다.

기본 방향:

  • gateway engine: LiteLLM
  • 앱 인증: virtual key
  • 모델 선택: 공급사 원본 모델명보다 alias
  • 호출 계약: OpenAI-compatible API
  • 내부 연동: 다른 API 서비스가 사용할 때는 internal service key + usage/cost sync

이 문서의 역할​

이 문서는 실제 호출자 관점의 설명입니다.

  • 어떤 endpoint로 붙는가
  • 어떤 key를 쓰는가
  • 어떤 model 이름을 써야 하는가
  • 어떤 예제로 시작하면 되는가

플랫폼/아키텍처 설명은 LiteLLM Gateway 문서를 먼저 보시면 됩니다.

기본 사용 규칙​

1. virtual key 사용​

앱에는 공급사 원본 API key를 직접 배포하지 않습니다.

  • 권장: LiteLLM virtual key
  • 비권장: OpenAI/Anthropic/Vertex 원본 key 직접 주입

2. alias 사용​

앱은 공급사 원본 모델명보다 alias를 사용해야 합니다.

비권장:

  • gpt-4o
  • claude-sonnet-4
  • gemini-2.5-pro

권장:

  • primary-chat
  • reasoning-premium
  • cheap-batch

3. OpenAI-compatible SDK 사용​

가장 쉬운 기본 경로는 OpenAI-compatible SDK입니다.

Managed vs Self-Hosted​

Managed Mode​

  • https://llm.apis.how/v1

Self-Hosted Mode​

  • https://llm.${ROOT_DOMAIN}/v1
  • 필요 시 https://llm.api.${ROOT_DOMAIN}/v1

핵심은 도메인이 아니라 계약을 동일하게 유지하는 것 입니다.

첫 호출 예제​

from openai import OpenAI

client = OpenAI(
    api_key="sk-virtual-key",
    base_url="https://llm.apis.how/v1",
)

response = client.chat.completions.create(
    model="primary-chat",
    messages=[
        {"role": "user", "content": "Hello"}
    ],
)

기대하는 운영 기능​

llm.apis.how는 다음 운영 기능을 전제로 합니다.

  • multi-provider routing
  • retry / fallback
  • spend tracking
  • budget / rate-limit
  • model catalog

다른 API 서비스와의 관계​

llm.apis.how는 외부 앱이 직접 쓰는 gateway이기도 하지만, speech.apis.how 같은 내부 서비스의 upstream으로도 동작합니다.

대표 흐름:

  • 외부 사용자 -> speech.apis.how with Speech API Token
  • 내부 speech-service -> llm.apis.how with internal service key

즉 외부 access key와 내부 LiteLLM virtual key는 역할이 다릅니다.

비용 추적​

LiteLLM spend log는 단순 gateway 통계가 아니라, 상위 API 서비스의 actual cost 정산에도 연결될 수 있습니다.

예를 들어 speech conversation은:

  • speech API 자체 usage row를 남기고
  • LiteLLM spend log와 call id를 매칭해
  • estimated cost와 actual LLM cost를 분리해서 볼 수 있습니다

이 구조는 서비스 요금 산정과 원가 계산에 중요합니다.

Chorus와의 차이​

  • llm.apis.how: 일반 앱/서비스용 기본 LLM gateway
  • chorus.apis.how: multi-LLM orchestration 전용 API

어디서 더 읽나요?​