TabFM

TabFM (Tabular Foundation Model) to zero-shot model fundacyjny do danych tabelarycznych opracowany przez zespół Google Research i zaprezentowany 30 czerwca 2026 roku. Obsługuje klasyfikację i regresję na ustrukturyzowanych tabelach z kolumnami numerycznymi i kategorycznymi, nie wymagając fine-tuningu ani strojenia hiperparametrów — przykłady treningowe podawane są jako kontekst, a predykcja powstaje w pojedynczym przebiegu (forward pass).

Kluczowa idea to potraktowanie predykcji tabelarycznej jako problemu in-context learning (ICL) — analogicznie do zero-shot predykcji w dużych modelach językowych. Zamiast klasycznego treningu na każdym zbiorze, TabFM przyjmuje cały zbiór (przykłady historyczne + wiersze testowe) jako jeden ujednolicony prompt i uczy się relacji między kolumnami i wierszami bezpośrednio z kontekstu w czasie inferencji.

Architektura hybrydowa łączy mocne strony TabPFN i TabICL w trzech mechanizmach:

Naprzemienna uwaga wierszowa i kolumnowa (Set Transformer): osadza każdą komórkę z użyciem cech Fouriera i projekcji liniowej per grupa, agregując po wierszach przez induced self-attention.

Kompresja wierszy: tokeny CLS podsumowują każdy wiersz do gęstego wektora przez uwagę wierszową z Rotary Position Embedding (RoPE).

Transformer ICL: 24-blokowy transformer przyczynowy operuje na skompresowanych wektorach wierszy, traktując wiersze treningowe jako kontekst i zwracając predykcje dla wierszy testowych.

Kluczowe hiperparametry: wymiar osadzenia 256, 3 bloki uwagi kolumnowej (4 głowice, 256 induced points), 3 bloki uwagi wierszowej (8 głowic, 8 tokenów CLS), 24 bloki transformera ICL (8 głowic), aktywacja SwiGLU, 32 częstotliwości cech Fouriera, maksymalnie 10 klas.

TabFM został wytrenowany wyłącznie na setkach milionów syntetycznych zbiorów danych generowanych dynamicznie przez strukturalne modele przyczynowe (SCM). Syntetyczne dane wybrano ze względu na niedobór różnorodnych, wysokiej jakości otwartych zbiorów tabelarycznych oraz aby uniknąć problemów z prywatnością i licencjonowaniem danych przemysłowych.

W ewaluacji na benchmarku TabArena (51 zbiorów: 38 klasyfikacyjnych, 13 regresyjnych) TabFM w trybie zero-shot — pojedynczy forward pass bez strojenia — przewyższa mocno strojone metody nadzorowane, w tym gradient-boosted trees. Wariant TabFM-Ensemble (cross features, cechy SVD, blending NNLS, kalibracja Platta) daje dalszą poprawę.

Wagi w repozytorium PyTorch udostępniono na licencji TabFM Non-Commercial License v1.0 (kod źródłowy: Apache 2.0). Dostępny jest też wariant JAX/Flax. Google zapowiedziało integrację TabFM bezpośrednio z BigQuery — zaawansowana regresja i klasyfikacja przez proste polecenie SQL AI.PREDICT. Ograniczenia: maksymalnie 10 klas, zużycie pamięci rośnie z liczbą wierszy treningowych (wszystkie są kontekstem), optymalizacja do ok. 500 cech, nie jest oficjalnie wspieranym produktem Google.