Dane tabelaryczne — żyjące w hurtowniach danych, CRM-ach i arkuszach finansowych — stanowią zdecydowaną większość firmowych zasobów analitycznych. Mimo to budowanie modeli predykcyjnych dla takich danych nadal oznacza powtarzalne cykle: trenowanie od zera, inżynieria cech, strojenie hiperparametrów, walka z dryfem danych?dryf danych: Stopniowa zmiana rozkładu danych w czasie, przez którą model wytrenowany na wcześniejszych danych traci trafność predykcji.. Google Research proponuje fundamentalną zmianę: TabFM, model fundamentalny do danych tabelarycznych, który traktuje predykcję jako zadanie uczenia się z kontekstu — bez konieczności aktualizowania wag dla nowego zestawu.
Najważniejsze w skrócie
- TabFM generuje predykcje dla niewidocznych wcześniej tabel w jednym przejściu (zero-shot) — bez trenowania per-dataset
- Model przetrenowany wyłącznie na milionach syntetycznych zbiorów wygenerowanych z przyczynowych modeli strukturalnych (SCM)
- Na benchmarku TabArena (51 zbiorów danych) TabFM dorównuje lub przewyższa dobrze dostrojone modele nadzorowane
- Kod dostępny na Apache 2.0, ale wagi pre-trenowane na licencji niekomercyjnej tabfm-non-commercial-v1.0
- Integracja z Google BigQuery planowana jako komenda AI.PREDICT
Problem z klasycznym ML na danych tabelarycznych
Tradycyjny pipeline dla danych tabelarycznych wymaga: czyszczenia danych, imputacji brakujących wartości, kodowania zmiennych kategorycznych, inżynierii cech, a następnie cykli optymalizacji hiperparametrów — i to jeszcze przed wdrożeniem. Po wdrożeniu dochodzą systemy monitorowania dryftu i potoki re-treningu.
Duże modele językowe (LLM) są nieodpowiednim narzędziem do tego zadania z trzech powodów: limity kontekstu wyczerpują się przy średnich tabelach, tokenizacja liczb niszczy precyzję matematyczną, a serializacja 2D tabeli do 1D stringu powoduje utratę struktury przestrzennej. "Dlatego dziś znacznie efektywniej jest używać LLM do napisania kodu, który przetworzy cechy i wywoła XGBoost, niż kazać mu czytać tabelę bezpośrednio" — tłumaczy Weihao Kong, badacz z Google Research.
Jak działa TabFM
TabFM rozwiązuje problem przez podejście do uczenia się z kontekstu: zamiast trenować nowy model dla każdego zbioru, użytkownik przekazuje historyczne przykłady z etykietami i nowe wiersze do modelu jako jeden prompt. W jednym przejściu model zwraca predykcje.
Architektura łączy dwa wcześniejsze podejścia. TabPFN od Prior Labs jako pierwszy pokazał, że transformer może realizować klasyfikację zero-shot na małych tabelach — lecz nie skalował się na większe zbiory. TabICL z INRIA rozwiązał ten problem przez kompresję wierszy do gęstych wektorów CLS.
TabFM syntetyzuje oba podejścia w trzech mechanizmach: (1) naprzemienna uwaga wierszy i kolumn wychwytuje złożone interakcje cech bez ręcznej inżynierii, (2) kompresja wierszy redukuje koszt obliczeniowy, (3) kauzalny Transformer operuje na sekwencji skompresowanych reprezentacji. Kluczowe: model trenowano wyłącznie na syntetycznych danych generowanych przez przyczynowe modele strukturalne — bez żadnych realnych, poufnych plików CSV.
| Podejście | Twórca | Kluczowy wkład |
|---|---|---|
| TabPFN | Prior Labs | Pierwszy pokazał zero-shot klasyfikację transformerem na małych tabelach — nie skalował się na większe zbiory |
| TabICL | INRIA | Kompresja wierszy do gęstych wektorów CLS — rozwiązała problem skalowania |
| TabFM | Łączy oba: naprzemienna uwaga wierszy i kolumn, kompresja wierszy oraz kauzalny Transformer |
Wyniki i ograniczenia
Na benchmarku TabArena obejmującym 51 zbiorów danych (38 zadań klasyfikacji, 13 regresji) TabFM w trybie zero-shot dorównuje lub przewyższa dobrze dostrojone modele nadzorowane. Wariant TabFM-Ensemble — agregacja 32 wariantów modelu — podnosi wyniki jeszcze wyżej.
Model ma jednak konkretne ograniczenia. Maksymalnie obsługuje 10 klas wyjściowych dla klasyfikacji i 500 cech. Latencja inferencji jest znacznie wyższa niż w klasycznych modelach — każda predykcja wymaga pełnego przejścia przez duży transformer. "Żadne cache'owanie nie eliminuje tego narzutu latencji" — przyznaje Kong. TabFM sprawdza się najlepiej przy szybkim prototypowaniu i zbiorach poniżej 100 tys. wierszy. Dla API wymagających odpowiedzi poniżej kilku milisekund — zalecane są tradycyjne modele.
Dlaczego to ważne?
TabFM wpisuje się w szerszy trend, który już zmienił przetwarzanie tekstu i obrazów: zamiast trenować wyspecjalizowany model per-zadanie, jeden model fundamentalny generuje użyteczne wyniki od razu, bez kosztownego pipeline'u. Dla danych tabelarycznych taki model do tej pory nie istniał w praktycznej formie.
Dla zespołów inżynierskich bez dedykowanych data scientists oznacza to dostęp do modeli predykcyjnych wysokiej jakości bez miesięcy pracy nad pipeline'em. Integracja z Google BigQuery jako komenda AI.PREDICT może zdemokratyzować zaawansowane modelowanie tabelaryczne na skalę — i uczynić z niego operację tak prostą jak zapytanie SQL.
Co dalej?
- Integracja TabFM z Google BigQuery przez komendę AI.PREDICT jest w toku — brak ogłoszonej daty premiery komercyjnej
- Obecna licencja niekomercyjna na wagi pre-trenowane blokuje wdrożenia produkcyjne — kiedy Google udostępni wagi na licencji komercyjnej, zależy od decyzji firmy
- Prior Labs (twórcy TabPFN) i INRIA (TabICL) mogą odpowiedzieć własnymi modelami fundamentalnymi nowej generacji
Źródła
- VentureBeat — Google's TabFM skips per-dataset training and still predicts on tables it's never seen
- Google Research Blog — Introducing TabFM: A Zero-Shot Foundation Model for Tabular Data
- GitHub — google-research/tabfm
