OpenAI udostępniło 22 października Decisions API wszystkim klientom. Model wybiera jedną z podanych opcji i zwraca poziom pewności w 100–180 milisekund, zamiast sekundy do trzech, jakich potrzebuje zwykły LLM. To odpowiedź na model Jev od TypeSafe, który tę kategorię stworzył.
Najważniejsze w skrócie
- Czas decyzji spadł z 1–3 sekund do 100–180 ms
- Pod spodem pracuje ChatGPT Luna przestawiona pod szybkość, bez osobnego treningu
- Speak skrócił przerwę między akcjami z 1,4 s do 0,13 s
- Wersja publiczna dodaje wejście głosowe i wizualne
- W indeksach AIM System One i Artificial Analysis model OpenAI zajmuje 8. i 14. miejsce
Nie nowy model, tylko przestawiona Luna
Nikunj Handa, product lead od API w OpenAI, powiedział TechCrunch, że zespół nie zbudował osobnego, kalibrowanego modelu decyzyjnego. Wziął ChatGPT Luna i przekonfigurował ją tak, by liczyła szybciej i taniej.
Największym odblokowaniem w Decisions API była szybkość, zejście z jednej–trzech sekund do 100, 120, 180 milisekund.
Nikunj Handa, product lead API w OpenAI.
Model zapowiedziano 29 września na dniu deweloperskim. OpenAI rozłożyło przy tym zasoby obliczeniowe geograficznie, by ściąć opóźnienia w regionach.
Kategoria, której dwa lata temu nie było
Jev wprowadził pojęcie modeli „System One” — super-klasyfikatorów?super-klasyfikatorów: modele, które z zamkniętej listy opcji wybierają jedną i podają poziom pewności, zamiast generować tekst., które z zestawu opcji szybko wybierają jedną i podają pewność wyboru. Deweloperzy zastępują nimi LLM-y tam, gdzie liczy się przepustowość, nie elokwencja. W testach z Box, Datadog, Ramp i Speak robili dokładnie to. Andrew Hsu, CTO Speak, podał najkonkretniejszy wynik: czas między akcjami spadł z 1,4 sekundy do 0,13 sekundy.
Publiczne rankingi nie są dla OpenAI łaskawe. Indeksy AIM System One i Artificial Analysis Decision Index stawiają wyżej D1 Ultra od Liquid oraz Elephant-1 od Base Lab. Przewagą ma być multimodalność — zdaniem Handy Luna dobrze kalibruje klasyfikację obrazu.
Dlaczego to ważne?
Przesunięcie czasu i kosztu decyzji o rząd wielkości zmienia to, gdzie w ogóle opłaca się wołać model. Przy kilkudziesięciu milisekundach sensowne staje się odpytywanie go dla każdej klatki wideo, a nie raz na interakcję użytkownika. Konkurencja nie toczy się już o jakość tekstu, lecz o kalibrację, opóźnienie i koszt jednostkowy. Rynek rozwarstwia się więc na dwie klasy modeli: wolne i elokwentne oraz szybkie i zdecydowane, dobierane do zadania, a nie do dostawcy.
Co dalej?
- Handa zapowiada próbę zejścia do około 60 ms, co otworzyłoby wywołania per klatka wideo
- OpenAI rozważa dedykowany trening pod tryb decyzyjny — na razie działa niezmieniona Luna
