03·k-NN i Naiwny Bayes — klasyfikacja przez podobieństwo i prawdopodobieństwo

Wprowadzenie

Dwa fundamentalnie różne klasyfikatory: k-NN (Cover & Hart 1967) jest "leniwy" i nieparametryczny — przechowuje cały zbiór treningowy i klasyfikuje przez większość głosów k najbliższych sąsiadów. Naiwny Bayes (Bayes 1763, klasyfikator XX wieku) jest probabilistyczny i naiwnie zakłada warunkową niezależność cech, co pozwala szybko obliczać P(y|x). Lekcja rozkłada na czynniki: metryki odległości, dobór k, curse of dimensionality, regułę Bayesa, warianty NB (Gaussian, Multinomial, Bernoulli), wygładzanie Laplace'a oraz dlaczego "naiwny" model nadal działa zaskakująco dobrze.