GPT Realtime Whisper

GPT-Realtime-Whisper to wyspecjalizowany model OpenAI do strumieniowej transkrypcji mowy na tekst (speech-to-text), zaprojektowany dla zastosowań realtime, w których kluczowa jest niska latencja delt transkrypcji emitowanych jeszcze w trakcie wypowiedzi mówcy. Model umożliwia developerom dostrojenie kompromisu między latencją a dokładnością transkrypcji.

Sesje transkrypcyjne korzystają z typu sesji 'transcription' i obsługują transport WebSocket (PCM 24 kHz mono w base64) oraz WebRTC. Możliwa jest konfiguracja server VAD (voice activity detection) z parametrami threshold, prefix_padding_ms i silence_duration_ms, lub manualne commitowanie bufora audio. Model emituje zdarzenia conversation.item.input_audio_transcription.delta oraz .completed.

Typowe zastosowania obejmują napisy na żywo, transkrypcję spotkań, wykładów, telefonów, transmisji oraz dyktowanie. Rozliczanie odbywa się według długości audio (USD za minutę), a nie według tokenów. W rodzinie modeli transkrypcyjnych OpenAI pozycjonowany jest jako natywnie strumieniowa alternatywa dla GPT-4o Transcribe, GPT-4o mini Transcribe i Whisper-1.