Robocikowo>ROBOCIKOWO
Dane

Stop Words

AktywnyOpublikowany
Bardzo częste słowa o niskiej wartości informacyjnej (np. "i", "w", "the"), zwykle usuwane na etapie preprocessingu tekstu.
Kluczowa innowacja
Redukuje wymiarowość i szum reprezentacji tekstu przez usunięcie słów obecnych w niemal każdym dokumencie.
Kategoria
Dane
Poziom abstrakcji
Primitive
Poziom operacji
Dane
Zastosowania
Preprocessing dla TF-IDF / Bag-of-WordsIndeksowanie w wyszukiwarkachRedukcja rozmiaru słownikaEkstrakcja słów kluczowych

Jak działa

Definiuje się listę stop-słów (statyczną dla języka lub wyznaczoną z korpusu np. przez wysokie df). Podczas tokenizacji tokeny obecne na liście są pomijane. Listy są zależne od języka i zadania — w niektórych zastosowaniach (np. wyszukiwanie fraz) stop-słów się nie usuwa.

Rozwiązany problem

Słowa funkcyjne dominują liczebnościowo, ale nie różnicują dokumentów. Ich usunięcie zmniejsza rozmiar słownika, przyspiesza przetwarzanie i poprawia jakość prostych modeli bag-of-words.

Implementacja

Implementacje referencyjne
NLTK stopwords corpus
Python · NLTK Project
Oficjalna
spaCy stop words
Python · Explosion AI
Oficjalna
Pułapki implementacyjne
Usunięcie stop-słów psujące znaczenieWysoka

W zadaniach typu analiza sentymentu czy wyszukiwanie fraz słowa "nie", "to be" niosą sens — ich usunięcie szkodzi.

Rozwiązanie:Dobieraj listę stop-słów do zadania; rozważ jej brak dla modeli kontekstowych.
Niedopasowanie listy do języka / domenyŚrednia

Domyślna angielska lista stop-słów jest bezużyteczna dla polskiego lub specjalistycznego korpusu.

Rozwiązanie:Stosuj listy językowe lub wyznaczaj stop-słowa z korpusu (max_df).

Hiperparametry (konfigurowalne osie)

Źródło listyWysoka

Statyczna lista językowa vs lista wyznaczona z korpusu (np. terminy o wysokim df / max_df).

static (NLTK/spaCy)Gotowa lista dla danego języka.
corpus-derived (max_df)Dopasowana do domeny korpusu.

Złożoność obliczeniowa

Złożoność czasowa: O(n) z lookupem w zbiorze haszowym. Złożoność przestrzenna: O(|S|) zbiór stop-słów.

Paradygmat wykonania

Tryb główny
Rzadki
Wzorzec aktywacji
Podzbiór aktywny

Równoległość

Poziom równoległości
W pełni równoległy
Zakres
TreningInferencja

Wymagania sprzętowe

Podstawowe

Prosty filtr stringowy — działa wszędzie bez akceleracji.