text-davinci-002

text-davinci-002 to model językowy OpenAI należący do serii GPT-3.5. Powstał jako instrukcyjnie dostrojony wariant z rodziny GPT-3/InstructGPT, zbudowany na bazie modelu code-davinci-002 i wytrenowany metodą nadzorowanego dostrajania (supervised fine-tuning, tzw. FeedME), a nie uczenia ze wzmocnieniem z informacją zwrotną od ludzi (RLHF).

Model udostępniono 15 marca 2022 roku wraz z code-davinci-002, wprowadzając możliwości edycji i wstawiania tekstu (edit & insert). Obsługiwał okno kontekstowe o długości 4097 tokenów, a jego dane treningowe sięgały czerwca 2021 roku.

text-davinci-002 zasłynął w badaniach nad rozumowaniem modeli językowych — to na nim Kojima i współpracownicy (2022) wykazali skuteczność techniki Zero-shot Chain-of-Thought, podnosząc dokładność na benchmarku GSM8K z 10,4% do 40,7% dzięki dopisaniu do promptu frazy „Let's think step by step”.

OpenAI ogłosiło wycofanie starszych modeli GPT-3 i GPT-3.5 6 lipca 2023 roku; text-davinci-002 został ostatecznie wyłączony 4 stycznia 2024 roku. Jako następcę wskazano model gpt-3.5-turbo-instruct.