llama-modchip

llama-modchip to open-source’owy zestaw łatek jądrowych do ggml/llama.cpp, transkoderów kwantyzacji i narzędzi runtime, który pozwala uruchamiać rzadkie modele typu Mixture-of-Experts (MoE) w całości w pamięci systemowej (RAM) na procesorach x86_64 (AVX-512 / AVX2) oraz ARM64 (NEON / SVE / Apple Metal), bez użycia GPU.

Projekt mieści 284-miliardowy model DeepSeek-V4-Flash (13,17B aktywnych parametrów) w 64 GB RAM dzięki kwantyzacji do 1,71 bitu na wagę (56,56 GiB na dysku), a modele 30B (np. Nemotron-3.5-30B-A3B, Qwen3-30B-A3B) na laptopach z 16–32 GB RAM. Deklarowana przepustowość to 44,4 tok/s przy prefillu 284B oraz 25–111 tok/s przy dekodowaniu modeli 30B (zależnie od CPU).

Kluczowe techniki to: wielopoziomowe kafelkowanie rejestrów/cache dla jąder SIMD, register-stationary FlashAttention, kwantyzacja Fractal-64 (blok 64 wag), oraz dekodowanie spekulatywne z lekkim drafterem Stockfish-PVS i błyskawicznym przywracaniem kontekstu agenta z /dev/shm (ok. 13 ms). Dostęp przez CLI (./modchip chat), lokalny interfejs webowy oraz integrację z Claude Code. Licencja: Apache-2.0.