DeepEval

DeepEval to otwarto-zrodlowy framework do ewaluacji LLM (Large Language Models), aplikacji LLM, agentow AI, systemow RAG i promptow. Wydany na licencji Apache 2.0, dostepny na github.com/confident-ai/deepeval (250+ contributors). Zbudowany przez firme Confident AI z misja aby zrobic ewaluacje LLM tak natywna dla developera jak pytest jest dla testow jednostkowych. Osiagnal skale 100 milionow+ dziennych ewaluacji, 150 tys.+ deweloperow, adopcje w ponad 50% firmach Fortune 500.

Kluczowa charakterystyka: pytest-native — ewaluacje uruchamiane sa jako testy pytest w CI/CD lub jako Python skrypty. Iteracja lokalna, w wlasnym srodowisku, na wlasnych kryteriach. Command line: `deepeval test run tests/test_agent.py`. Wiecej niz 50 research-backed metrics gotowych out-of-box: Hallucination, Faithfulness, Answer Relevancy, Summarization, Toxicity, Bias, oraz native metrics konwersacyjne (Role adherence, Knowledge retention, Conversation completeness) dla multi-turn dialogow. Multi-modal by default — text, images, audio z jednym runnerem i tymi samymi metrykami.

Flexible SOTA techniki ewaluacji: G-Eval (criteria-based chain-of-thought scoring przez form-filling dla reliable subjective evals), DAG (Directed Acyclic Graph metrics dla objective multi-step conditional scoring), QAG (Question-Answer Generation dla close-ended reference-grounded scoring). Wszystkie w tym samym runnerze — daje deweloperowi bogaty toolkit do wieloroznych ewaluacji. Trace, grade i iterate bezposrednio w edytorze — bez dashboardow do otwierania, bez context switch. Span-level scores z reasons.

No dataset? No problem: (1) Golden Synthesizer — generowanie syntetycznych goldens z bazy wiedzy (chunking → extracting context → generating → evolving → filtering → applying styles), (2) Conversation Simulator — symulowanie pelnych konwersacji dla wielu user personas (pondering scenario → analyzing user profile → simulating user response). Uzywany masowo przez „vibe coding agents" — Cursor, Claude Code, Codex shell-out do jednego CLI, czytaja scored traces z reasons, patch failing span, i re-run to confirm. Zamyka loop build → eval → patch.

Integracje: model providers (OpenAI, Anthropic Claude, Google Gemini, Azure OpenAI, AWS Bedrock, Vertex AI, Mistral, LiteLLM, Portkey), frameworks (LangChain, LlamaIndex, CrewAI, OpenAI Agents, LangGraph, PydanticAI, Anthropic, Google ADK, AgentCore, Strands, Vercel AI SDK, OpenTelemetry), CI/CD (GitHub Actions, GitLab CI, Jenkins, CircleCI, Buildkite, Azure Pipelines). Skala poziomu enterprise przez integracje z Confident AI SaaS platform („Vercel for DeepEval") dla observability, dataset management, prompt versioning, human annotation, production monitoring. Sostry produkt: DeepTeam (adversarial testing / red-teaming) dla wykrywania vulnerabilities.