Latent Space
Jak działa
Proces uczenia i wykorzystania latent space: (1) Encoder network - mapowanie z raw data (np. obraz 224×224×3 = 150K pikseli) do wektora latent z ∈ ℝᵈ (typowo d=128-4096). W autoencoderze i VAE to explicit encoder sieć; w Transformerze - stany ukryte kolejnych warstw; w GANie - sam generator ma odwrotny kierunek (z → data), a encoder trenowany osobno; (2) Learning objective - encoder uczy się tak, aby z zawierał wystarczająco informacji do wykonania zadania: rekonstrukcji (autoencoder), predykcji (klasyfikator, LLM next-token), generowania (VAE, diffusion), matching cross-modal (CLIP). Objectives wymuszają że semantycznie podobne inputy dają bliskie z; (3) Regularization - VAE narzuca gaussowski prior (KL divergence loss), aby przestrzeń była smooth i sample-able. GAN wymusza że z pochodzi z prostego rozkładu (Gaussian, uniform). Bez regularizacji przestrzeń może być 'poszatkowana' - nie da się interpolować; (4) Geometric operations w latent space: (a) similarity = cosine(z_a, z_b) - blisko = podobne, (b) interpolation z_c = α·z_a + (1-α)·z_b - ciągła transformacja od a do b, (c) arithmetic z_king - z_man + z_woman ≈ z_queen - odejmowanie kierunków znaczeniowych, (d) sampling z ~ N(0,I) - nowy losowy sample, (e) directed traversal - znajdowanie 'osi' cech (uśmiech, wiek, rasa w face latent); (5) Decoder network - opcjonalny mapping z → raw data (dla generative models: VAE decoder, diffusion decoder, GAN generator). LLM nie ma decoder w klasycznym sensie - stany ukryte są bezpośrednio projektowane do logits dictionary.
Rozwiązany problem
Surowe dane (piksele obrazu, znaki tekstu, próbki audio) są wysokowymiarowe, sparse i nie odzwierciedlają struktury semantycznej - dwa obrazy tego samego kota różnią się we wszystkich pikselach, choć są 'tym samym' konceptem. Klasyczne cechy ręcznie zaprojektowane (SIFT, HOG, TF-IDF) częściowo rozwiązywały ten problem, ale były sztywne, domenowo-specyficzne i nie generalizowały. Latent Space rozwiązuje to przez uczoną reprezentację: model neuronowy sam odkrywa optymalną strukturę przestrzeni, w której 'znaczenie' danych staje się geometryczne - podobne rzeczy blisko, różne daleko, transformacje ciągłe. To fundament nowoczesnej AI - bez niego nie istnieje ani generatywne modelowanie (VAE, GAN, diffusion), ani semantic search (embeddings), ani transfer learning (pretrained representations), ani multimodal alignment (CLIP, image-text w wspólnej przestrzeni).
Komponenty
Sieć neuronowa mapująca raw data → latent vector z. Może być CNN (dla obrazu), Transformer (dla tekstu), RNN (dla sekwencji), lub kombinacja. Dla LLM: samo stackowanie warstw Transformer generuje coraz bogatsze latent representations w kolejnych warstwach.
Oficjalna
Sam wynikowy wektor - reprezentacja punktu danych w przestrzeni ℝᵈ. Wymiar d to kluczowy hiperparametr: 128 dla klasycznych word embeddings, 768 dla BERT-base, 1536 dla text-embedding-3-small OpenAI, 4096 dla LLM Transformer hidden state.
Funkcja definiująca 'bliskość' w latent space - najczęściej cosine similarity (dla znormalizowanych) lub Euclidean distance (dla nie-znormalizowanych). Wybór wpływa na to jak model interpretuje 'podobieństwo'. Cosine ignoruje magnitudę, Euclidean nie.
Oficjalna
Rozkład, do którego regularizujemy latent space (typowo N(0,I) gaussowski). Kluczowy dla generative modeling - z znanego priora można łatwo samplować nowe punkty, dekodując je do raw data. W klasycznych autoencoderach (deterministic) brak priora daje 'holes' w przestrzeni.
Oficjalna
Sieć mapująca z → raw data. Obecny w autoencoderach, VAE, diffusion, GAN. Nieobecny w reprezentacyjnych modelach (BERT embeddings, CLIP encoder) gdzie latent space jest celem samym w sobie (retrieval, classification).
Oficjalna
Implementacja
W wysoko-wymiarowych przestrzeniach (d>1000) wszystkie punkty są 'daleko od siebie' - cosine similarity się kompresuje wokół średniej, nearest neighbors tracą interpretowalność.
Latent space może 'zapadać się' - generator ignoruje wymiary z (uses only kilka), lub decoder ignoruje z całkowicie i generuje z priora. Objaw: generacje mało zróżnicowane.
W większości latent spaces pojedynczy wymiar nie odpowiada jednej semantycznej cesze - są nasplątane (entangled). Utrudnia interpretation i targeted editing.
Pretrained encoder (np. BERT na Wikipedii) daje słabsze latent dla specialized domain (medical, legal, code). Cosine similarity nie zachowuje relacji domenowych.
1M dokumentów × 3072-dim float32 embeddings = 12 GB. 100M = 1.2 TB. Storage staje się dominującym kosztem infrastruktury RAG.
Ewolucja
Principal Component Analysis - liniowa metoda znajdowania niższowymiarowej reprezentacji wysokowymiarowych danych. Fundament pojęcia latent space.
Publikacja pokazuje, że sieci neuronowe mogą uczyć się nieliniowej redukcji wymiarowości - fundament dla nowoczesnych autoencoderów.
Publikacja w Science pokazująca, że deep autoencoders lepiej odkrywają semantyczną strukturę danych niż PCA. Renesans neural representation learning.
Pierwszy raz publicznie zademonstrowane 'king - man + woman ≈ queen' - latent space arithmetic. Popularizuje pojęcie embeddings w NLP.
arXiv 1312.6114 - probabilistyczny latent space z gaussowskim priorem, umożliwia sampling i smooth interpolację. Fundament generative modeling.
Latent z ~ N(0,I) mapowany do fotorealistycznych obrazów przez generator adversarialnie trenowany przeciw discriminatorowi. Nowe podejście do generative latent.
Pokazanie że interpolacja w GAN latent (twarze) i arithmetic (glasses + man - glasses = man without glasses) działają na obrazie tak jak na tekście.
Contextualized embeddings - to samo słowo ma różne latent w zależności od kontekstu. Standard NLP embeddings.
Obrazy i teksty w wspólnym latent space przez contrastive learning. Fundament dla wielu modeli multimodal (DALL-E, Stable Diffusion cross-attention).
Rombach et al. pokazują że operowanie w VAE latent (64x64x4) zamiast pixelach (512x512x3) daje 8x speedup przy zachowaniu jakości. Latent space wchodzi do mainstream consumer AI.
Hiperparametry (konfigurowalne osie)
Kluczowy hiperparametr. Wyższy d = więcej pojemności informacyjnej i lepsza jakość, ale wyższy koszt pamięci i compute na downstream operacjach.
Rodzaj sieci mapującej dane do latent. Wpływa na typ danych, jakość reprezentacji i koszt.
Definuje jak latent space jest kształtowany. Różne objective dają fundamentalnie różne przestrzenie.
Definicja 'bliskości' w latent space. Wybór ma poważne implikacje dla downstream tasks.
Złożoność obliczeniowa
Złożoność czasowa: O(f_encoder) + O(d) per operation. Złożoność przestrzenna: O(d) per data point.
Wąskie gardło obliczeniowe
Sam forward pass encodera (CNN, Transformer) to zwykle O(1000-10000x) więcej compute niż dowolna operacja w latent space. Kompresja d=4096 → 128 przez trenowanie mniejszego encodera to duży trade-off jakości vs kosztu.
Paradygmat wykonania
W klasycznym encoderze wszystkie wagi są aktywne dla każdego inputu (dense). Sparse latent space (top-k active dimensions) to specjalizacja rzadziej stosowana - eksperymenty z Sparsecoders.
Sam latent space nie ma routingu - to statyczna przestrzeń wektorowa. Routing pojawia się dopiero w modelach nad-budowanych (MoE - routing między expertami, RAG - routing między dokumentami).
Równoległość
Operacje w latent space (similarity search, arithmetic) są trywialnie równoległe - masywnie GPU parallelizable. Vector database ANN queries wykorzystują GPU dla batch retrieval.
Wymagania sprzętowe
Encoder network (Transformer, CNN) to dense matmul - GPU Tensor Cores dają 5-10x speedup. Batching multiple inputs into one forward pass wykorzystuje pełną szerokość SM.
Retrieval nad wektorami (cosine, ANN) świetnie działa na CPU z SIMD (AVX-512). FAISS ma zoptymalizowane CPU kernel - często wybór dla self-hosted vector DBs.
Google TPU (v4, v5, Trillium) dobrze radzi sobie z Transformer encoderami - używane przez Google dla własnych embeddings (Gecko, textembedding-gecko).