Trening

SFT

2022AktywnyAktualizacja: 6 maja 2026Opublikowany

Dostrajanie wstepnie wytrenowanego modelu na oznaczonych parach (instrukcja, odpowiedz) w celu nauczenia go podazania za instrukcjami.

Kluczowa innowacja

Umozliwił dostosowanie duzych, wstepnie wytrenowanych modeli jezykowych do konkretnych zadan i zachowan instrukcyjnych przy uzyciu stosunkowo niewielkich, oznaczonych zbiorow danych demonstracji.

Kategoria

Trening

Poziom abstrakcji

Pattern

Poziom operacji

TreningPo-trening

Zastosowania

Chatboty i asystenci jezykowiDostrajanie modeli instrukcyjnychPierwszy etap RLHFSpecjalizacja modeli do konkretnych dziedzin

Jak działa

Zbior danych SFT zawiera pary (prompt p, odpowiedz y). Strata to L = -sum log P(y_t | p, y_<t). Model jest trenowany gradientowo na tych parach, zazwyczaj z małą szybkoscia uczenia. Czesto stosuje sie techniki jak LoRA lub QLoRA, by ograniczyc koszty obliczeniowe. Dane moga pochodzic od ludzkich adnotatorow (jak FLAN, Dolly) lub byc syntetycznie generowane przez mocniejszy model.

Rozwiązany problem

Wstepnie wytrenowane modele sa dobre w uzupełnianiu tekstu, ale nie w podazaniu za instrukcjami uzytkownikow, odpowiadaniu na pytania w formacie czatu ani w generowaniu bezpiecznych i uzytecznych odpowiedzi.