Robocikowo>ROBOCIKOWO
Trening

SFT

2022AktywnyAktualizacja: 6 sierpnia 2026Opublikowany
Dostrajanie wstepnie wytrenowanego modelu na oznaczonych parach (instrukcja, odpowiedz) w celu nauczenia go podazania za instrukcjami.
Kluczowa innowacja
Umozliwił dostosowanie duzych, wstepnie wytrenowanych modeli jezykowych do konkretnych zadan i zachowan instrukcyjnych przy uzyciu stosunkowo niewielkich, oznaczonych zbiorow danych demonstracji.
Kategoria
Trening
Poziom abstrakcji
Wzorzec
Poziom operacji
TreningPo-trening
Zastosowania
Chatboty i asystenci jezykowiDostrajanie modeli instrukcyjnychPierwszy etap RLHFSpecjalizacja modeli do konkretnych dziedzin

Jak działa

Zbior danych SFT zawiera pary (prompt p, odpowiedz y). Strata to L = -sum log P(y_t | p, y_<t). Model jest trenowany gradientowo na tych parach, zazwyczaj z małą szybkoscia uczenia. Czesto stosuje sie techniki jak LoRA lub QLoRA, by ograniczyc koszty obliczeniowe. Dane moga pochodzic od ludzkich adnotatorow (jak FLAN, Dolly) lub byc syntetycznie generowane przez mocniejszy model.

Rozwiązany problem

Wstepnie wytrenowane modele sa dobre w uzupełnianiu tekstu, ale nie w podazaniu za instrukcjami uzytkownikow, odpowiadaniu na pytania w formacie czatu ani w generowaniu bezpiecznych i uzytecznych odpowiedzi.

Komponenty

Zbior demonstracji (etykietowany)Zrodlo nadzoru.

Pary wejscie->pozadana odpowiedz (np. instrukcja i wzorcowa odpowiedz), przygotowane przez ludzi lub wyselekcjonowane.

Wstepnie wytrenowany model bazowyPunkt wyjscia.

Model po pretreningu, ktory jest dostrajany na danych demonstracji.

Oficjalna

Funkcja straty (cross-entropy)Cel optymalizacji.

Uczenie przez minimalizacje bledu predykcji nastepnego tokenu wzgledem wzorcowej odpowiedzi.

Oficjalna

Petla treningu (optymalizator)Mechanizm dostrajania.

Aktualizacja wag modelu (np. AdamW) na batchach danych demonstracji; czesto z technikami PEFT (np. LoRA).

Oficjalna

Implementacja

Pułapki implementacyjne
Katastrofalne zapominanieWysoka
Overfitting na małym zbiorze SFTŚrednia
Jakosc danych krytycznaWysoka

Ewolucja

Oryginalny paper · 2022 · NeurIPS 2022 · Long Ouyang
Training language models to follow instructions with human feedback
Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray
2019
Wstepne trenowanie + fine-tuning (GPT-1, BERT)
Punkt przełomowy
2021
FLAN - SFT na zbiorach instrukcji
2022
InstructGPT - SFT jako etap 1 RLHF
Punkt przełomowy
2023
LoRA i QLoRA - efektywny SFT

Wymagania sprzętowe

Fine-tuning wymaga GPU do obliczania gradientów na dużych modelach — minimum 1 GPU A100 80GB dla modeli 7B, multi-GPU dla modeli 70B+.

TPU v4/v5 używane przez Google i duże organizacje do SFT na modelach 100B+ dzięki wysokiej przepustowości HBM.