Dziecko opanowuje płynność językową, słysząc kilkaset milionów słów, podczas gdy współczesne modele językowe potrzebują bilionów tokenów. MIT Technology Review opisuje 24 sierpnia 2026, jak bardzo ta przepaść w efektywności uczenia wciąż wymyka się wyjaśnieniu — i dlaczego jej zrozumienie mogłoby prowadzić do tańszych modeli.
Najważniejsze w skrócie
- Dziecko osiąga biegłość językową, słysząc od 100 do 300 milionów słów do dwudziestego roku życia.
- Model Llama 3.1 trenowano na 15 bilionach tokenów, a modele frontier mogą używać nawet dziesięciokrotnie więcej.
- W konkursie BabyLM w 2024 model GPT-BERT pokonał Llamę 2 70B na jednym z benchmarków, mimo około 15 000 razy mniejszego zbioru danych.
- GPT-2 wytrenowany na 30 milionach słów daje generator bełkotu, nie kompetencję dziecka.
- Konkurujące teorie tłumaczą przepaść wrodzoną gramatyką, aktywnym uczeniem się i uczeniem społecznym.
Przepaść w danych
Skala różnicy jest trudna do wyobrażenia. Dziecko dochodzi do biegłości, mając za sobą od 100 do 300 milionów słów. Duże modele językowe (LLM) potrzebują bilionów tokenów: model Llama 3.1 trenowano na 15 bilionach, a modele frontier mogą sięgać dziesięciokrotności tej liczby. Kognitywista Michael C. Frank ze Stanforda ujmuje to dosadnie.
Wciąż musimy spalić las i zeskrobać całą sumę ludzkiej wiedzy, by odtworzyć kamień milowy, który u człowieka dokonuje się w salonie w ciągu roku.
Michael C. Frank, kognitywista, Uniwersytet Stanforda.
BabyLM: mało danych, mocne wyniki
Konkurs BabyLM sprawdza tę hipotezę wprost. Modele trenuje się na budżecie 100 milionów słów, a w torze małym — 10 milionów. W edycji 2024 model GPT-BERT pokonał na jednym z benchmarków Llamę 2 70B, mimo że tamta widziała około 15 000 razy więcej danych. To nie znaczy, że mniejsze modele są ogólnie lepsze, ale że sama skala danych nie jest jedynym źródłem kompetencji językowej.
W podobnym duchu multimodalny model Brendena Lake'a z Princeton, wytrenowany na 61 godzinach nagrań z projektu SAYCam, nauczył się rozpoznawać obiekty i wiązać je ze słowami bez wbudowanych założeń o gramatyce.
| Ucząca się jednostka | Ilość danych | Efekt |
|---|---|---|
| Dziecko (do 20 lat) | 100–300 mln słów | biegłość językowa |
| GPT-2 | 30 mln słów | „generator bełkotu” |
| GPT-BERT (BabyLM) | 100 mln słów | pokonał Llamę 2 70B na jednym benchmarku |
| Llama 3.1 | 15 bln tokenów | model frontier |
Skąd ta różnica?
Konkurencyjne wyjaśnienia sięgają starego sporu. Klasyczna teza Noama Chomsky'ego o „ubóstwie bodźca” mówi, że składni nie da się nauczyć z samej statystyki — potrzebna jest wrodzona wiedza gramatyczna. Alison Gopnik z Berkeley wskazuje na aktywne uczenie się: dzieci same wybierają dane, dążąc do sytuacji, w których ich wpływ na świat jest przewidywalny. Elizabeth Bonawitz z Harvardu dokłada wymiar społeczny — dziecko inaczej interpretuje informację, gdy dorosły uczy je celowo, a modele uczą się biernie i w izolacji.
Dlaczego to ważne?
Jeśli udałoby się przenieść choć część efektywności dziecka do maszyn, koszt treningu spadłby o rzędy wielkości, a modele stałyby się dostępne dla języków ubogich w dane. Przepaść jest też lustrem dla samej nauki: pokazuje, że nie rozumiemy do końca, jak uczy się ludzki umysł — a bez tej wiedzy skalowanie danych pozostaje kosztownym obejściem, nie rozwiązaniem.
Co dalej?
- BabyLM wraca po raz czwarty jako zadanie i warsztat na konferencji EMNLP 2026.
- Longitudinalne zbiory (np. 1000 dni z życia 17 dzieci u Uriego Hassona) mają dać dane bliższe realnemu doświadczeniu dziecka.
- Efektywne uczenie z małych zbiorów jest kluczowe dla języków takich jak czeski, norweski czy lapoński, dla których dostępne są tylko dziesiątki milionów tokenów.
Źródła
- MIT Technology Review — Kids outlearn AI—and we still don't know why
- BabyLM Challenge — BabyLM Challenge
