LiteLLM

LiteLLM to open-source Python library i self-hosted proxy (MIT License) udostępniające ujednolicony interfejs OpenAI do wywoływania ponad 100 dostawców LLM: OpenAI, Anthropic, Google Vertex AI, AWS Bedrock, Azure OpenAI, Groq, Together, Cohere, Mistral, Ollama, xAI, DeepSeek, Alibaba Qwen, Perplexity, Hugging Face i wielu innych. Stworzony przez BerriAI Inc. (YC W23), pierwsze wydanie w lipcu 2023, obecnie ~19-20 tys. gwiazdek na GitHubie i jeden z najczęściej używanych open-source projektów AI w Pythonie. Instalacja: uv add litellm lub pip install litellm. Proxy Server: uv tool install 'litellm[proxy]' lub Docker docker.litellm.ai/berriai/litellm:latest.

Dwa główne tryby użycia: (1) Python SDK - drop-in replacement dla klienta OpenAI. Kod pisany raz, przełączanie modeli przez zmianę stringu (model='openai/gpt-4o' → model='anthropic/claude-3-5-sonnet-20241022'). Wszystkie odpowiedzi w formacie OpenAI Chat Completions. Exception handling zmapowany na typy OpenAI (AuthenticationError, RateLimitError, APIError) - istniejący kod działa out of the box. (2) Proxy Server / LLM Gateway - self-hosted OpenAI-compatible gateway na porcie 4000. Klient (OpenAI SDK, LangChain, dowolny SDK OpenAI-compatible) łączy się do proxy zamiast bezpośrednio do dostawcy. Proxy obsługuje: virtual keys, cost tracking, guardrails, admin UI, load balancing.

Kluczowe funkcje enterprise: Router - retry, fallback i load balancing między wieloma deploymentami tego samego modelu (np. Azure GPT-4 East + Azure GPT-4 West + OpenAI direct); Virtual Keys - proxy generuje krótkotrwałe klucze per zespół/użytkownik z limitami budżetu i rate limitami; Cost Tracking - kalkulacja kosztu per request dla 100+ modeli, agregacja po tagach/kluczach/teamach z alertami; Observability - single-line integracje z Langfuse, MLflow, Helicone, Lunary, OpenTelemetry, PostHog, Datadog przez litellm.success_callback; Guardrails - PII masking, content filtering, prompt injection detection, custom callbacks. Admin UI - dashboard do monitoringu spend, users, keys, teams.

Agent i MCP Gateway: LiteLLM to nie tylko LLM proxy - jednym endpointem obsługuje LLMy, A2A (agent-to-agent) i MCP tools. A2A Agents - agent od dowolnego dostawcy jest wywoływany identycznie jak model LLM (przez completion() interface). MCP Gateway - centralny endpoint MCP z per-key access control, filtrowaniem tooli, audit logs. Eliminuje potrzebę osobnego agent gateway lub MCP gateway - LiteLLM konsoliduje warstwy. Wsparcie dla debug tool /utils/transform_request pokazującego dokładnie co LiteLLM wysyła do dostawcy (przydatne przy debugowaniu prompt formatting, headers, provider-specific params).

LiteLLM Enterprise: płatna warstwa dla produkcyjnego deploymentu enterprise. Zawiera: SSO/SAML (OneLogin, Okta, Auth0, Google Workspace, Azure AD/Microsoft Entra), advanced audit logs (immutable, per-request), hardened guardrails (fine-tuned PII masking, prompt injection detection), fine-grained RBAC i multi-team management, priority 24/7 support. Trust Center pod trust.litellm.ai z SOC 2 Type II i zgodnością GDPR. Docker registry Enterprise: docker.litellm.ai/berriai/litellm-enterprise. Konkurencja: OpenRouter (managed cloud + markup), Portkey, Vercel AI Gateway, Helicone AI Gateway. LiteLLM wygrywa self-hosted-first policy i szerokością wsparcia dostawców. Klienci enterprise: fintech, healthcare, government (potrzeba data residency + sovereign cloud + audit compliance).