SAYCam
Jak działa
Troje dzieci nosiło lekką kamerę zamontowaną na głowie, która rejestrowała obraz i dźwięk z ich perspektywy podczas codziennych czynności, mniej więcej 2 godziny tygodniowo przez około 2,5 roku (wiek ~6–32 miesięcy). Nagrania zostały przetworzone: mowę stranskrybowano (ponad 200 000 słów), a materiał opatrzono metadanymi umożliwiającymi przeszukiwanie według wieku, lokalizacji, otoczenia i obiektów. Dane zdeponowano w Databrary z kontrolą dostępu. Badacze wykorzystują klatki wideo i sparowane transkrypcje mowy do trenowania modeli (np. samonadzorowanych sieci wizyjnych lub multimodalnych modeli kontrastowych łączących obraz z mową skierowaną do dziecka).
Rozwiązany problem
Modele AI są zwykle trenowane na ogromnych, wyselekcjonowanych zbiorach z internetu, całkowicie niepodobnych do strumienia danych, z którego uczy się dziecko. Brakowało realistycznych, podłużnych danych o tym, co faktycznie widzi i słyszy uczące się dziecko, aby badać, czego można się nauczyć z takiego naturalnego, ograniczonego wejścia.
Komponenty
Najobszerniejszy i najczęściej wykorzystywany podzbiór, zawierający egocentryczne nagrania dziecka oznaczonego inicjałem S.
Podzbiór egocentrycznych nagrań dziecka oznaczonego inicjałem A.
Podzbiór egocentrycznych nagrań dziecka oznaczonego inicjałem Y.
Ewaluacyjny podzbiór klatek z nagrań dziecka S, ręcznie opatrzony etykietami kategorii, używany do testowania klasyfikacji i mapowań słowo–desygnat.
Ponad 200 000 stranskrybowanych słów mowy zarejestrowanej w otoczeniu dziecka, sparowanych czasowo z materiałem wideo.
Implementacja
Ewolucja
Sullivan i współpracownicy opisują SAYCam w czasopiśmie Open Mind i deponują dane w repozytorium Databrary z kontrolą dostępu.
Emin Orhan i współpracownicy pokazują, że użyteczne reprezentacje wizualne można wyuczyć samonadzorowo z nagrań SAYCam (modele TC-S/A/Y/SAY).
Vong i współpracownicy trenują multimodalny model kontrastowy CVCL na ok. 61 godzinach nagrań jednego dziecka (wiek ~6–25 miesięcy), ucząc się mapowań słowo–desygnat i wykazując generalizację zero-shot; praca opublikowana w Science.