Architektura

Osadzenia n-gramowe (N-gram embedding)

AktywnyAktualizacja: 28 sierpnia 2026Opublikowany

N-gram embedding to podejście, w którym uczone osadzenia przypisuje się n-gramom (ciągom kolejnych tokenów), a nie tylko pojedynczym tokenom.

Kluczowa innowacja

Reprezentowanie sekwencji przez osadzenia n-gramów (grup kolejnych tokenów), m.in. do skalowania parametrów pamięci na akceleratorach.

Kategoria

Architektura

Poziom abstrakcji

Building block

Poziom operacji

Element architekturyModel

Zastosowania

Skalowanie parametrów w modelach MoE/hybrydowychEfektywne modele na akceleratory o ograniczonej pamięciReprezentacje sekwencji w NLPModele rodziny Qwen (Qwen3.8-Flash-Next)

Jak działa

Model utrzymuje tablice osadzeń dla n-gramów; podczas przetwarzania sekwencji dołącza informacje z osadzeń odpowiednich n-gramów do reprezentacji tokenów. Duża część 'wiedzy' trafia do parametrów osadzeń (tanich obliczeniowo w dostępie), co zwiększa efektywną pojemność przy ograniczonym wzroście aktywnych obliczeń.

Rozwiązany problem

Zwiększanie pojemności modelu przez więcej parametrów zwykle podnosi koszt obliczeń i zapotrzebowanie na pamięć; potrzebne są metody skalowania parametrów oszczędne dla akceleratorów.

Źródła

Qwen3.8-Flash-Next — model card (N-gram embedding)