Otwarty projekt llama-modchip uruchamia model DeepSeek-V4-Flash o 284,33 mld parametrów na zwykłym komputerze z 64 GB RAM, bez ani jednej karty graficznej. Repozytorium w wersji 2.4.0 (ostatnia aktualizacja 8 listopada 2026 r.) raportuje 44,36 tokena na sekundę przy przetwarzaniu promptu i 9,06–14,7 tokena na sekundę przy generowaniu odpowiedzi. Dotąd modele tej skali uznawano za domenę serwerowni z akceleratorami.
Najważniejsze w skrócie
- DeepSeek-V4-Flash: 284,33 mld parametrów łącznie, 13,17 mld aktywnych, skompresowany z 76,87 GiB do 56,56 GiB
- Zużycie pamięci: 57,61–58,9 GiB VmRSS razem z cache na 256 tys. tokenów kontekstu, bez korzystania z dysku
- Prefill przyspieszony o 77,1 proc. (25,0 → 44,36 tok/s) na 16-rdzeniowym AMD Ryzen 9 9955HX, zero GPU
- Tryb domyślny jest bit-exact: dywergencja KL 0,0000 i zgodność Top-1 na poziomie 100 proc. wobec niezmodyfikowanego modelu
- Licencja Apache-2.0, 620 gwiazdek i 33 forki w serwisie GitHub (dane z 9 listopada 2026 r.)
Wyobraźmy sobie taką sytuację
Programista ma desktop z 64 GB RAM i chce uruchomić u siebie model porównywalny z komercyjnymi usługami — bez wysyłania kodu na zewnątrz. Pobiera oficjalny plik DeepSeek-V4-Flash w kwantyzacji UD-IQ1_S. Plik waży 76,87 GiB, a Linux na maszynie z 64 GB udostępnia około 62,5 GiB. Model się nie mieści.
System zaczyna doczytywać brakujące fragmenty z dysku przy każdym tokenie albo kończy zabiciem procesu przez mechanizm OOM. Formalnie model „działa”, praktycznie nie da się z niego korzystać.
Ale pojawia się problem: granica nie jest ciągła — albo wszystko zmieści się w RAM, albo wydajność spada o rząd wielkości. Nie ma tu łagodnego przejścia.
I właśnie ten próg ma przesuwać llama-modchip.
Na czym polega mechanizm?
llama-modchip to zestaw łatek do kerneli ggml i llama.cpp, transkoderów kwantyzacji oraz narzędzi uruchomieniowych. Repozytorium dzieli pracę na trzy niezależne warstwy.
Pierwsza warstwa to kwantyzacja. Zamiast kompresować cały model jednakowo, projekt różnicuje precyzję per typ tensora: embeddingi, warstwę zerową i 43 współdzielonych ekspertów zostawia w pliku GGUF w precyzji Q4_K/Q5_K/F32, a część projekcji uwagi i 256 routowanych ekspertów przenosi do własnego formatu Fractal-64. Efekt to 56,56 GiB przy średnio 1,71 bita na wagę.
Ta ostatnia liczba nie jest deklaracją, a prostym ilorazem — rozmiar pliku w bitach podzielony przez liczbę parametrów:
Druga warstwa to kernele. Zamiast przetwarzać jedną kolumnę macierzy na raz, łatki rozpakowują superblok wag raz do rejestrów AVX-512 i używają go dla maksymalnie ośmiu kolumn tokenów jednocześnie. Schemat kafelkowania obejmuje cztery poziomy pamięci — rejestry ZMM, L1D 32 KB, L2 1 MB i L3 64 MB — a strumieniowanie wag ekspertów z podpowiedzią _MM_HINT_NTA ma nie wypychać z L3 aktywnie używanego cache KV.
Trzecia warstwa to speculative decoding i zapisywanie stanu. Mały drafter n-gramowy o rozmiarze 1,64 MB (nazwany Stockfish-PVS v2) podpowiada kolejne tokeny, a migawki cache KV trzymane w /dev/shm pozwalają odtworzyć kontekst w 13,1–32,6 ms.
To uproszczony przebieg oparty na liczbach z dokumentacji projektu, a nie pełny opis implementacji.
Co znaczą te nazwy?
Dokumentacja projektu operuje skrótami, które poza inżynierią inferencji niewiele mówią.
- bpw (bits per weight) — średnia liczba bitów na jeden parametr modelu po kompresji. Odpowiednik bitrate'u w pliku audio: mniej bitów to mniejszy plik i większe ryzyko utraty jakości.
- Mixture of Experts — architektura, w której model ma wiele wyspecjalizowanych podsieci, ale do każdego tokena używa tylko kilku. Dlatego DeepSeek-V4-Flash ma 284 mld parametrów łącznie, a liczy na 13,17 mld.
- prefill i decode — dwie fazy pracy modelu. Prefill to jednorazowe przeczytanie promptu, decode to generowanie odpowiedzi token po tokenie. Mają inne wąskie gardła, więc i inne wyniki w tok/s.
- cache KV — zapamiętane stany uwagi dla już przetworzonych tokenów, żeby nie liczyć ich ponownie. Rośnie z długością kontekstu i zajmuje RAM obok samego modelu.
- VmRSS — ilość pamięci fizycznej faktycznie zajętej przez proces, odczytywana z systemu. To ta liczba decyduje, czy model się zmieści, a nie rozmiar pliku na dysku.
Te pojęcia tworzą jedno równanie: rozmiar po kwantyzacji plus cache KV musi zmieścić się w dostępnym VmRSS, a wydajność w obu fazach zależy od tego, jak dobrze kernele wykorzystają hierarchię cache procesora.
Ile to kosztuje w jakości?
To najczęstsze zastrzeżenie wobec agresywnej kwantyzacji — projekt podaje konkretne pomiary wobec niezmodyfikowanego modelu.
Tryb domyślny, nazwany „Lossless”, ocenia wszystkich sześciu routowanych ekspertów na warstwę. Raportowane podobieństwo kosinusowe logitów wynosi dokładnie 1,00000, dywergencja KL?dywergencja KL: miara różnicy między dwoma rozkładami prawdopodobieństwa — zero oznacza, że model zwraca dokładnie te same prawdopodobieństwa co oryginał 0,0000, a zgodność Top-1 i Top-3 — 100 proc. Innymi słowy: kompresja zmienia rozmiar, nie wyniki.
Dopiero tryby opcjonalne kupują szybkość za jakość.
| Tryb | Decode (tok/s) | Podobieństwo logitów | Zgodność Top-1 |
|---|---|---|---|
| Niezmodyfikowany UD-IQ1_S (76,87 GiB) | 5,91 | 1,00000 (odniesienie) | 100% |
| Lossless — Top-6, domyślny | 9,06–9,95 | 1,00000 | 100% |
| Top-5 z kwadraturą L2 | 9,68–9,87 | 0,99714 | 95,8% |
| Top-5 + Gate-First SwiGLU | 10,15 | 0,99385 | 100% |
| Turbo — Top-4 + SwiGLU | 10,12–10,74 | 0,99126 | 100% |
Prefill pozostaje identyczny we wszystkich trybach, bo przycinanie ekspertów dotyczy wyłącznie fazy generowania. Perplexity w trybie Top-5 rośnie o 0,42 proc.
Dla mniejszego modelu NVIDIA-Nemotron-3.5-30B-A3B projekt raportuje wynik 100/100 we własnej bramce jakości dla obu wariantów kompresji — 4,25 i 3,75 bita na wagę — przy spadku zajętości pamięci z 21,41 do 15,40 GiB.
Dlaczego nie wystarczy po prostu dokupić GPU?
Pytanie jest zasadne: akceleratory są od tego, żeby liczyć modele, a RAM systemowy jest od wszystkiego innego.
Problem leży w pojemności, nie w szybkości. Żeby zmieścić 56 GiB wag w pamięci karty, trzeba konstrukcji daleko poza półką konsumencką — typowe karty graficzne dla graczy mają 8–24 GB VRAM. Dokupienie 64 GB RAM DDR5 do istniejącego desktopu jest tańsze o rzędy wielkości.
Druga rzecz: architektura MoE dobrze pasuje do CPU właśnie dlatego, że przy każdym tokenie używa niewielkiego ułamka wag. Dokumentacja projektu opisuje też wariant hybrydowy — gorący rdzeń uwagi na GPU, zimne eksperty w RAM systemowym — który na karcie 16 GB daje 80,8 tok/s dla modelu 30 mld parametrów.
Trzeci problem to coś, czego GPU nie rozwiązuje w ogóle: czas powrotu do kontekstu. Przy agentach kodujących, które przy każdym wywołaniu przesyłają kilkadziesiąt definicji narzędzi, kosztem nie jest sama generacja, a ponowne przeliczanie tego samego promptu. Projekt mierzy odtworzenie takiego stanu dla promptu Claude Code z 40 narzędziami na 13,1–32,6 ms.
Czy to już działa?
Tak — jako publicznie dostępne oprogramowanie open source, ale z benchmarkami pochodzącymi od samego projektu. Repozytorium na licencji Apache-2.0 jest dostępne w serwisie GitHub, wersja 2.4.0 została wydana w listopadzie 2026 r., a ostatnia aktualizacja kodu nosi datę 8 listopada 2026 r. Projekt zebrał 620 gwiazdek i 33 forki.
Zmierzenie własnej maszyny sprowadza się do jednej komendy, a projekt prosi o nadsyłanie wyników:
./modchip benchZastrzeżenie dotyczy weryfikacji. Wszystkie podane wyniki pochodzą z dokumentacji autora repozytorium i zostały zmierzone na konkretnej konfiguracji — 16-rdzeniowym procesorze AMD Ryzen 9 9955HX. Nie ma jeszcze niezależnych, opublikowanych replikacji. Projekt sam prosi o nadsyłanie wyników przez formularz zgłoszeniowy i prowadzi społecznościową tablicę wyników, co jest przyznaniem, że pomiary na innym sprzęcie pozostają otwartym pytaniem.
Dlaczego to ważne?
Granica między „model dla centrum danych” a „model na biurko” przesuwa się nie przez nowy sprzedawany sprzęt, a przez to, jak dobrze kod wykorzystuje hierarchię cache istniejącego procesora. Jeśli raportowane wyniki potwierdzą się na innych maszynach, przestanie obowiązywać założenie, że uruchamianie modeli frontier wymaga akceleratorów. To zmienia rachunek dla każdego, kto nie może wysyłać danych do chmury.
Co dalej?
- Projekt prowadzi otwartą tablicę wyników i przyjmuje zgłoszenia benchmarków przez szablon issue na GitHubie — dopiero te dane pokażą, czy liczby powtarzają się poza Ryzenem 9 9955HX
- Dokumentacja wskazuje wsparcie dla ARM64 (NEON, SVE, Apple Metal) obok x86-64, ale raportowane benchmarki dotyczą wyłącznie procesorów AMD — brak opublikowanych pomiarów dla pozostałych platform
- Zidentyfikowane ryzyko: tryby przycinania ekspertów obniżają zgodność Top-1 do 95,8 proc., więc wybór między szybkością a wiernością modelu zostaje po stronie użytkownika i nie jest opisany jako domyślny
Źródła
- GitHub — synchopate/llama-modchip — README
- GitHub — llama-modchip Release Notes v2.4.0
- Hacker News — Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU





