TabICL

TabICL to otwartoźródłowy model fundacyjny dla danych tabelarycznych, rozwijany przez zespół Soda w Inrii (Jingang Qu, David Holzmüller, Gaël Varoquaux, Marine Le Morvan). Model realizuje predykcję jako problem in-context learning: dane treningowe są podawane jako kontekst, a klasyfikacja lub regresja powstaje w pojedynczym przebiegu (forward pass) przez wytrenowany transformer — bez aktualizacji wag, strojenia hiperparametrów ani inżynierii cech.

Pierwsza wersja (TabICLv1, ICML 2025) obsługiwała klasyfikację i wprowadziła nowatorską architekturę dwuetapową: uwaga najpierw kolumnowa, potem wierszowa buduje stałowymiarowe osadzenia wierszy, po czym transformer realizuje efektywne in-context learning. Dzięki temu TabICL skaluje się do 500 000 próbek na przystępnym sprzęcie, przełamując barierę TabPFNv2, który był ograniczony do ok. 10 000 próbek.

TabICLv2 (ICML 2026) dodaje regresję obok klasyfikacji, znacząco poprawia dokładność przez lepsze syntetyczne dane pre-treningowe (rekursja graph_scm, optymalizator Muon) i pozostaje state-of-the-art na benchmarkach TabArena i TALENT. Bez strojenia hiperparametrów przewyższa mocno strojone XGBoost, CatBoost i LightGBM na TabArena na około 80% zbiorów.

Model jest szybki: pojedynczy przebieg realizuje

fit i predict jednocześnie. Na GPU H100 TabICLv2 dopasowuje i przewiduje zbiór 50 000 próbek × 100 cech w poniżej 10 sekund — dziesięciokrotnie szybciej niż TabPFN-2.5. Poprzez KV caching wspiera szybką powtarzalną inferencję na tych samych danych treningowych. Dla dużych zbiorów (do 500 000 próbek) stosuje offloading na CPU i dysk.

TabICL jest instalowalny przez pip (tabicl) i zgodny ze scikit-learn (TabICLClassifier, TabICLRegressor). Dodatkowe moduły: fine-tuning na pojedynczym zbiorze (FinetunedTabICLClassifier/Regressor), prognozowanie szeregów czasowych zero-shot (TabICLForecaster), oraz wyjaśnialność przez integrację z SHAP (tabicl.shap). Model wykrywa i koduje kolumny kategoryczne, imputuje braki i normalizuje cechy.

Wagi i checkpointy są dostępne na Hugging Face (domyślny checkpoint TabICLv2: tabicl-classifier-v2-20260212.ckpt oraz tabicl-regressor-v2-20260212.ckpt), a pełny kod inferencji i pre-treningu (w tym generowanie danych syntetycznych) jest opublikowany na licencji BSD 3-Clause. TabICLv2 pre-trenowany był na syntetycznych zbiorach o 300–48 000 próbkach i 2–100 kolumnach, dobrze generalizując do większych rozmiarów.