Vercel AI Gateway

Vercel AI Gateway to ujednolicony API gateway do setek modeli LLM od wielu dostawców (OpenAI, Anthropic, Google, xAI, Meta, DeepSeek, Alibaba/Qwen, Mistral, Cohere, Nvidia NIM, Groq, Together, Fireworks, Perplexity, i innych) obsługiwany przez pojedynczy klucz Vercel. Produkt zapowiedziany na Ship AI event maj 2024, generalna dostępność (GA) w 2025 roku. Główna wartość: developer może przełączać się między modelami i dostawcami zmieniając model: 'anthropic/claude-sonnet-4.5' na model: 'openai/gpt-5-1' bez zmian w kodzie i bez zakładania kont u każdego dostawcy z osobna.

Kluczowe cechy: (1) Zero markup na tokenach - Vercel nie dolicza marży, cena tokenów jest identyczna z ceną dostawcy. (2) BYOK (Bring Your Own Key) - użytkownik może używać własnego klucza dostawcy przez gateway; tokeny są rozliczane bezpośrednio u dostawcy, Vercel udostępnia routing/monitoring/observability za darmo. (3) Automatic fallback - jeśli jeden dostawca zawodzi, gateway automatycznie przekierowuje do alternatywnego dostawcy tego samego modelu (np. Anthropic Claude via Anthropic → Bedrock → Vertex). (4) Provider options - explicit routing, provider preferences, fallback list konfigurowana per zapytanie. (5) Embeddings - wsparcie dla vector embeddings (OpenAI, Cohere, Voyage). (6) Web search tool - augmentacja odpowiedzi modeli o real-time web search wbudowana w gateway. (7) Observability - metrics per zapytanie: model, provider, latency, cost, input/output tokens, aggregate spend dashboards.

API i integracje: AI Gateway wspiera trzy główne formaty API - (a) natywne Vercel AI SDK (open-source TypeScript, streamText, generateObject, useChat), (b) OpenAI Chat Completions API (drop-in replacement dla klientów używających OpenAI SDK - wystarczy zmienić base URL), (c) OpenAI Responses API (nowszy API OpenAI 2025), (d) Anthropic Messages API (drop-in dla klientów Anthropic). Framework integrations: Next.js, React, Svelte/SvelteKit, Nuxt, Astro, Remix. Obsługiwane modalności: text-in/text-out, image-in (vision), image-out (generation), video-in/video-out (dostawcy: Runway, PixVerse, Google Veo), embeddings.

Autentykacja i BYOK: gateway obsługuje dwa modele auth: (1) OIDC access tokens wygenerowane przez konto Vercel (rekomendowane - short-lived, auto-rotated) oraz (2) klasyczne API keys (dłuższe klucze statyczne). BYOK pozwala klientowi zachować bezpośrednią relację płatniczą i kontraktową z dostawcą modelu (OpenAI, Anthropic itd.), a jednocześnie korzystać z warstwy Vercel na routing, observability, prompt caching i disallow-prompt-training. Idealny scenariusz enterprise: OIDC + BYOK + prompt logging opt-in per projekt + custom rate limits per team.

Pozycja rynkowa i konkurencja: AI Gateway konkuruje bezpośrednio z OpenRouter (obie oferują unified LLM API, ale OpenRouter oferuje marketplace 400+ modeli z niewielkim markupem, a Vercel zero-markup z BYOK), Portkey, Anyscale Aviary (bardziej enterprise), LiteLLM (open-source proxy). Vercel AI Gateway wygrywa integracją natywną z Next.js/AI SDK (~3M pobrań tygodniowo), zero-markup pricingiem i wbudowanym observability w konsoli Vercel. Zapowiedzi dalszego rozwoju (Q3-Q4 2026): coding agents na AI Gateway, native RAG orchestration, wider multi-modal support.