Dane
Gęstość informacji (Information Density)
Miara ilości informacji przypadającej na jednostkę tekstu (słowo, znak, token). Wysoka gęstość oznacza więcej znaczenia na jednostkę — trudniejsze do przetworzenia i kosztowniejsze w tokenach.
Kategoria
Dane
Poziom abstrakcji
Primitive
Poziom operacji
DaneInferencja
Zastosowania
Optymalizacja tokenizacji i kosztu przetwarzaniaPorównania międzyjęzykowe w NLPOcena czytelności i trudności tekstu
Jak działa
Gęstość ocenia się przez stosunek przekazanego znaczenia do długości tekstu (np. liczby tokenów), korzystając z miar teorii informacji (entropia, zaskoczenie) oraz analizy językowej; teksty bardziej gęste mają mniej redundancji i trudniej się je kompresuje.
Rozwiązany problem
Jak scharakteryzować i porównać, ile znaczenia niesie tekst na jednostkę, oraz jak wpływa to na koszt i trudność jego przetwarzania?
Mocne strony i ograniczenia
Mocne strony
✓Łączy teorię informacji z praktyką NLP
✓Wyjaśnia różnice kosztów tokenów między językami
✓Pomaga projektować zwięzłe wejścia dla modeli
Ograniczenia
✗Trudny do jednoznacznego pomiaru
✗Zależny od miary i kontekstu
✗Wysoka gęstość może pogarszać zrozumiałość