Architektura
Osadzenia n-gramowe (N-gram embedding)
AktywnyAktualizacja: 28 sierpnia 2026Opublikowany
N-gram embedding to podejście, w którym uczone osadzenia przypisuje się n-gramom (ciągom kolejnych tokenów), a nie tylko pojedynczym tokenom.
Kluczowa
innowacja
Reprezentowanie sekwencji przez osadzenia n-gramów (grup kolejnych tokenów), m.in. do skalowania parametrów pamięci na akceleratorach.
Kategoria
Architektura
Poziom abstrakcji
Building block
Poziom operacji
Element architekturyModel
Zastosowania
Skalowanie parametrów w modelach MoE/hybrydowychEfektywne modele na akceleratory o ograniczonej pamięciReprezentacje sekwencji w NLPModele rodziny Qwen (Qwen3.8-Flash-Next)
Jak działa
Model utrzymuje tablice osadzeń dla n-gramów; podczas przetwarzania sekwencji dołącza informacje z osadzeń odpowiednich n-gramów do reprezentacji tokenów. Duża część 'wiedzy' trafia do parametrów osadzeń (tanich obliczeniowo w dostępie), co zwiększa efektywną pojemność przy ograniczonym wzroście aktywnych obliczeń.
Rozwiązany problem
Zwiększanie pojemności modelu przez więcej parametrów zwykle podnosi koszt obliczeń i zapotrzebowanie na pamięć; potrzebne są metody skalowania parametrów oszczędne dla akceleratorów.