LangSmith

LangSmith Platform to komercyjny produkt LangChain Inc. pozycjonowany jako unified agent platform pokrywajaca caly cykl zycia agenta AI: od observability i evaluation przez deployment, autonomiczna poprawe (Engine), no-code agentow (Fleet) po izolowane srodowiska wykonania (Sandboxes). Zbudowany na tezie ze aplikacje agentowe wymagaja innego rodzaju infrastruktury niz klasyczny software: cikle, tools, memory, streaming i probabilistyczne wyniki wymagaja purpose-built stack. Framework-agnostic — dziala z OpenAI, Anthropic, Google, Vercel AI SDK, LlamaIndex, LangGraph, custom stackami. Wspiera OpenTelemetry.

Szesc pod-produktow. (1) Observability — tracing kazdego wywolania LLM/tool/agent w czasie rzeczywistym, live monitoring latency P50/P99, cost, error rates, token usage; annotation queue z human feedback; unsupervised topic clustering i executive summaries jako Insights (beta); alerts przez webhooks i PagerDuty. Traces base (14 dni retencji) i extended (180 dni). SmithDB — dedykowana baza pod agent observability, kilkanascie razy szybszy full-text search i query traces vs generic OLAP.

(2) Evaluation — online i offline evals, dataset collection z produkcyjnych traces, wersjonowane datasety, Prompt Hub i Playground do fast iteration, LLM-as-judge, code-based scorers, human feedback loop. (3) Deployment — 1-click deploy dla LangGraph agents (Serverless small/medium/large + Dedicated), Assistants API z 30+ endpointami (state, memory, cron scheduling), streaming intermediary steps, agent authorization (beta), expose jako MCP server, LangSmith Studio do visual inspection stanu grafu.

(4) Engine — autonomiczny monitor traces uruchamiany co 6 godzin: klastruje behavior w issues, diagnozuje failures, generuje sugestie napraw promptow i kodu, tworzy datasety do human review, buduje offline i online evals ktore blokuja regresje. Metered w LCU (5-30 LCU per run w zaleznosci od complexity). (5) Fleet — no-code agent builder dla nie-programistow (business users), 3 model tiers Fast/Pro/Max (LangChain zarzadza dostepem do modeli, klient nie potrzebuje wlasnego API key), remote MCP server tools, prebuilt templates, trigger via API. Wszystkie runy automatycznie traced. (6) Sandboxes — ephemeralne izolowane srodowiska Linux dla agent-generated code, per-second billing, auth proxy z custom callbacks, snapshot i fork, bring-your-own-image, port tunneling, sandbox CLI.

Model pricing: seat + usage-based. Developer $0/seat (5k base traces/mo, 1 seat, community support). Plus $39/seat/miesiac (10k base traces, unlimited seats, 1 free Serverless Small, email support, dostep do Engine/Fleet/Sandboxes). Enterprise custom (self-hosted i hybrid, custom SSO/RBAC, SLA, deployed engineers). Dwie jednostki: LCU (LangChain Compute Unit, $1.50) i LSU (LangChain Storage Unit, $1.00). LangSmith for Startups oferuje zdyskontowane stawki dla VC-backed AI companies.

Klienci enterprise: LinkedIn, Uber, Klarna, Vanta, Clay, Rippling, Lyft, Gong, Harvey, Abridge, Cloudflare, Bristol Myers Squibb, Workday, Cisco, Mercor, Monday, Nvidia, Bridgewater, Coinbase, Elastic, ServiceNow. Konkurencja: Braintrust (closed-source SaaS), DeepEval / Confident AI (open-source alternatywa), Weights & Biases Weave, Arize AI, Fiddler AI, Langfuse. Wyroznik LangSmith: tight integration z LangGraph runtime (deploy jednym klikiem tego samego grafu ktory testowales lokalnie) i unified surface dla obs+evals+deployment (jeden dashboard zamiast integracji kilku narzedzi).