Robocikowo>ROBOCIKOWO
Dane

Lemmatization

AktywnyOpublikowany
Sprowadzanie słowa do jego formy podstawowej (lematu) z użyciem słownika i analizy morfologicznej, np. "lepszy" → "dobry".
Kluczowa innowacja
W przeciwieństwie do stemmingu zwraca poprawną formę słownikową, uwzględniając część mowy i kontekst gramatyczny.
Kategoria
Dane
Poziom abstrakcji
Primitive
Poziom operacji
Dane
Zastosowania
Preprocessing wymagający precyzji (klasyfikacja, IR)Normalizacja dla języków fleksyjnych (np. polski)Ekstrakcja informacji i analiza lingwistycznaBudowa cech dla modeli klasycznych

Jak działa

Lematyzator określa część mowy tokenu (POS tagging), a następnie odwzorowuje go na lemat za pomocą słownika morfologicznego lub reguł odmiany. Wymaga zasobów językowych, dlatego jest wolniejszy i bardziej zależny od języka niż stemming.

Rozwiązany problem

Stemming daje rdzenie niebędące słowami i myli niespokrewnione formy. Lematyzacja, korzystając z wiedzy morfologicznej, poprawnie scala formy fleksyjne ("był", "jest", "będzie" → "być") zachowując interpretowalność.

Implementacja

Implementacje referencyjne
spaCy lemmatizer
Python · Explosion AI
Oficjalna
NLTK WordNetLemmatizer
Python · NLTK Project
Oficjalna
Pułapki implementacyjne
Brak POS-taggingu psuje lematWysoka

Bez części mowy "left" (czasownik vs przymiotnik) lematyzuje się błędnie.

Rozwiązanie:Zawsze przekazuj tag POS do lematyzatora (np. WordNetLemmatizer wymaga go jawnie).
Wyższy koszt niż stemmingŚrednia

Pełny pipeline (tokenizacja + POS + słownik) jest istotnie wolniejszy od reguł obcinania.

Rozwiązanie:Dla bardzo dużych korpusów rozważ stemming, jeśli precyzja nie jest krytyczna.

Hiperparametry (konfigurowalne osie)

Uwzględnianie części mowyWysoka

Czy lematyzator otrzymuje tag części mowy — krytyczne dla słów wieloznacznych gramatycznie.

with POSWymagane np. przez WordNetLemmatizer dla poprawnych wyników.
BackendŚrednia

Źródło wiedzy morfologicznej: słownik (WordNet), model statystyczny/neuronowy (spaCy) lub reguły (Morfologik dla PL).

spaCyModel uwzględniający kontekst i POS.

Złożoność obliczeniowa

Złożoność czasowa: O(n) + koszt POS-taggingu. Złożoność przestrzenna: O(|L|) słownik morfologiczny.

Paradygmat wykonania

Tryb główny
Rzadki
Wzorzec aktywacji
Podzbiór aktywny

Równoległość

Poziom równoległości
W pełni równoległy
Zakres
TreningInferencja

Wymagania sprzętowe

Podstawowe

Lookup słownikowy i reguły morfologiczne są CPU-bound; gdy POS-tagging używa modelu neuronowego, może korzystać z GPU.