1. Trening modelu w chmurze: standardowy trening pełnego modelu (7B-70B+) na dużych klastrach GPU. 2. Kompresja: model bazowy jest kompresowany technikami: (a) knowledge distillation - mniejszy student model uczy się od nauczyciela, (b) quantization - weights konwertowane z FP16 do INT8/INT4/INT2 (redukcja pamięci 2-8x), (c) pruning - usuwanie wag bliskich zeru (unstructured/structured), (d) low-rank decomposition - macierze W ≈ AB gdzie rank(A,B) << oryginalny. 3. Konwersja do formatu on-device: eksport do Core ML (.mlpackage, Apple), LiteRT/.tflite (Google), GGUF/GGML (llama.cpp), ONNX (cross-platform), MLC (WebGPU). 4. Optymalizacja pod hardware: model kompilowany pod specific NPU: Apple Neural Engine (16-core, ~35 TOPS INT8 w M4), Qualcomm Hexagon (Snapdragon 8 Elite), MediaTek APU, Google Tensor G4, NVIDIA Jetson Orin. Wykorzystanie tensor cores, SIMD, dedicated matmul units. 5. Runtime na urządzeniu: framework loading (Core ML, ONNX Runtime, TFLite, MLC LLM, llama.cpp), inferencja per zapytanie użytkownika bez network calls. 6. Hybrid dispatch: gdy zadanie przekracza możliwości on-device (długi kontekst, złożone reasoning), delegate do prywatnej chmury dostawcy (Apple Private Cloud Compute, Gemini Cloud fallback, itd.) - z gwarancjami prywatności.
Cloud-based AI ma cztery fundamentalne wady: (1) wszystkie dane wrażliwe użytkownika wędrują do serwerów dostawcy (ryzyko wycieku, subpoena, użycia do treningu); (2) latency 100-2000ms per zapytanie w zależności od odległości do datacenter; (3) rosnący koszt inferencji dla masowego wdrożenia (Anthropic/OpenAI opłaty per token); (4) brak działania bez internetu. On-device AI eliminuje wszystkie cztery jednocześnie kosztem jakości modelu (fizycznie mniej parametrów mieści się w RAM telefonu vs GPU cluster).
Model AI zredukowany technikami distillation/quantization/pruning do rozmiaru mieszczącego się w RAM urządzenia (typowo 0.5-8 GB dla LLM na smartfonie 2026).
Oficjalna
Wyspecjalizowany procesor do operacji tensora: Apple Neural Engine, Qualcomm Hexagon, MediaTek APU, Google Tensor G-series, Samsung Exynos NPU, Intel NPU (Meteor Lake+), AMD XDNA, NVIDIA Jetson.
Oficjalna
Framework wykonawczy modelu na urządzeniu: Core ML (Apple), LiteRT/TFLite (Google), ONNX Runtime Mobile (Microsoft), MLC LLM (WebGPU), llama.cpp, MediaPipe, PyTorch Mobile.
Oficjalna
Serializowany format wag i grafu obliczeniowego: .mlpackage/.mlmodel (Core ML), .tflite/LiteRT (TFLite), GGUF/GGML (llama.cpp), ONNX (cross-platform), safetensors.
Oficjalna
Opcjonalny mechanizm delegowania zapytań przekraczających możliwości on-device do prywatnej chmury dostawcy: Apple Private Cloud Compute, Gemini Cloud, Qualcomm AI Hub.
Oficjalna
Model 7B FP16 = ~14 GB, nie zmieści się w 8 GB RAM. Częsty błąd: eksport bez planowania budżetu pamięci.
Ciągłe zapytania (asystent w tle, real-time transcription) mogą rozładować baterię w godzinę - NPU pobiera 3-8W przy pełnym obciążeniu.
Smartfony i laptopy passive-cooled dławią NPU po 30-60s intensywnej inferencji - inference rate spada 50%.
Model wyeksportowany do Core ML nie działa na Androidzie; TFLite nie działa optymalnie na Apple Neural Engine.
Naiwna INT4 quantization może powodować 5-15% spadek dokładności na sensytywnych benchmarkach (matematyka, kodowanie, medyczne).
Dla zapytań przekraczających możliwości on-device (długi kontekst, złożone reasoning) użytkownik dostaje słabą odpowiedź lub błąd.
Krishevsky et al. udowadniają że deep learning wymaga wyspecjalizowanego hardware (GPU) - fundament rozumienia że AI potrzebuje dedicated compute, prekursor NPU/edge AI.
Google zaczyna pracę nad TFLite dla mobile deployment - pierwszy szeroko dostępny framework on-device deep learning.
Trzy równoczesne przełomy: (1) MobileNets Google paper - depthwise separable convolutions dla mobile vision, (2) Apple Core ML framework, (3) A11 Bionic z pierwszym Neural Engine (600 GOPS). On-device AI staje się mainstream.
Sanh et al. pokazują że KD pozwala mieć 97% BERT quality w 40% wielkości - torque dla NLP on-device. Google zaczyna eksperymenty z mobile BERT.
Georgi Gerganov publikuje llama.cpp - LLaMA na CPU laptopie/telefonie z INT4 quantization. Otwiera erę on-device LLM dla hobbystów.
Google prezentuje Gemini Nano (2B) - pierwszy flagowy LLM stworzony pierwotnie do on-device w telefonie Pixel 8 Pro (Tensor G3 NPU).
Apple prezentuje Apple Intelligence (on-device foundation model ~3B) + Private Cloud Compute (hybrid). Microsoft ogłasza Copilot+ PC z NPU >40 TOPS. Phi-3 (Microsoft) i Llama-3.2 (Meta) publikują flagship on-device models.
DeepSeek publikuje R1-Distill (1.5B-70B) - reasoning models na urządzeniu przez distillation. Podejście hybrid (on-device + private cloud fallback) staje się standardem produkcyjnym.
iOS 27 Siri AI (Google Gemini + App Intents) uczyni multi-app agentic workflow w większości on-device z minimalną delegacją do Private Cloud Compute. Kolejny etap: agenci na Apple Watch, AirPods, Vision Pro.
Złożoność czasowa: O(N_params × N_tokens) - ograniczone bandwidth pamięci i throughput NPU. Złożoność przestrzenna: O(|θ_model| × bits/weight) + O(KV_cache × context_length).
Liczba parametrów modelu on-device. Trade-off: więcej parametrów = lepsza jakość ale większa pamięć + wolniejsza inferencja.
Liczba bitów per weight po kwantyzacji. Niższe = mniejsza pamięć, ale ryzyko jakości.
Rodzaj NPU/CPU/GPU na urządzeniu docelowym. Determinuje frameworks, optymalizacje i formaty modelu.
Maksymalna długość kontekstu obsługiwana przez model on-device (limitowana przez pamięć KV cache).
Klasyczny on-device to dense model; niektóre nowe modele (Phi-3-MoE, Gemini Nano MoE) używają conditional/sparse dla większej efektywności.
Prefill jest fully parallel (compute-bound), decode jest sequential (memory-bound); niektóre NPU mają dedicated compute paths dla obu faz.
Mobile GPU (Apple GPU, Adreno, Mali) obsługują matmul, ale zwykle wolniej i mniej efektywnie energetycznie niż dedykowane NPU.
CPU może uruchamiać modele (llama.cpp) ale znacznie wolniej niż NPU - użyteczne dla desktop/laptop bez NPU lub jako fallback.
Neuromorphic chips (Intel Loihi 2, IBM NorthPole) oferują ultra-low-power inference, ale ekosystem software jest immature.
FPGA (Xilinx, Altera) używane w niszowych industrial edge; wysoka moc konfiguracji ale complex toolchain.
