Wnioskowanie

On-device AI

2017AktywnyAktualizacja: 14 lipca 2026Opublikowany

Paradygmat wykonywania inferencji AI lokalnie na urządzeniu użytkownika (smartfon, laptop, robot, IoT) zamiast w chmurze. Kluczowy dla prywatności, latencji, kosztów i offline. Fundament Apple Intelligence, Gemini Nano, Phi-3, DeepSeek-R1-Distill.

Kluczowa innowacja

Uruchamianie modeli AI bezpośrednio na urządzeniu użytkownika (telefon, laptop, robot, IoT, headset XR) zamiast wysyłania danych do zdalnego serwera. Rozwiązuje jednocześnie prywatność (dane nie opuszczają urządzenia), latency (brak round-trip do chmury), koszty inferencji (zero opłat per token) i offline capability (działa bez internetu).

Kategoria

Wnioskowanie

Poziom abstrakcji

Paradygmat

Poziom operacji

InferencjaWdrożenieUdostępnianieSystemModel

Zastosowania

Voice assistants na smartfonach (Siri z Apple Intelligence, Gemini Nano)Real-time translation (Google Pixel, Samsung Galaxy)On-device image generation (Adobe Firefly Mobile, PhotoRoom)Robotyka - control loops <10ms (autonomous driving, drone stabilization)AR/VR - motion tracking, gesture recognition (Apple Vision Pro, Meta Quest)Zdrowie osobiste (ECG interpretation, sleep tracking) - dane muszą zostać na urządzeniuCoding assistants offline (GitHub Copilot Chat local mode, Continue.dev)IoT industrial - predictive maintenance z <1s decyzją per eventPodsumowywanie/analiza dokumentów firmowych bez wysyłania do chmuryInstant camera features (segmentation, styling, HDR fusion)

Jak działa

1. Trening modelu w chmurze: standardowy trening pełnego modelu (7B-70B+) na dużych klastrach GPU. 2. Kompresja: model bazowy jest kompresowany technikami: (a) knowledge distillation - mniejszy student model uczy się od nauczyciela, (b) quantization - weights konwertowane z FP16 do INT8/INT4/INT2 (redukcja pamięci 2-8x), (c) pruning - usuwanie wag bliskich zeru (unstructured/structured), (d) low-rank decomposition - macierze W ≈ AB gdzie rank(A,B) << oryginalny. 3. Konwersja do formatu on-device: eksport do Core ML (.mlpackage, Apple), LiteRT/.tflite (Google), GGUF/GGML (llama.cpp), ONNX (cross-platform), MLC (WebGPU). 4. Optymalizacja pod hardware: model kompilowany pod specific NPU: Apple Neural Engine (16-core, ~35 TOPS INT8 w M4), Qualcomm Hexagon (Snapdragon 8 Elite), MediaTek APU, Google Tensor G4, NVIDIA Jetson Orin. Wykorzystanie tensor cores, SIMD, dedicated matmul units. 5. Runtime na urządzeniu: framework loading (Core ML, ONNX Runtime, TFLite, MLC LLM, llama.cpp), inferencja per zapytanie użytkownika bez network calls. 6. Hybrid dispatch: gdy zadanie przekracza możliwości on-device (długi kontekst, złożone reasoning), delegate do prywatnej chmury dostawcy (Apple Private Cloud Compute, Gemini Cloud fallback, itd.) - z gwarancjami prywatności.

Rozwiązany problem

Cloud-based AI ma cztery fundamentalne wady: (1) wszystkie dane wrażliwe użytkownika wędrują do serwerów dostawcy (ryzyko wycieku, subpoena, użycia do treningu); (2) latency 100-2000ms per zapytanie w zależności od odległości do datacenter; (3) rosnący koszt inferencji dla masowego wdrożenia (Anthropic/OpenAI opłaty per token); (4) brak działania bez internetu. On-device AI eliminuje wszystkie cztery jednocześnie kosztem jakości modelu (fizycznie mniej parametrów mieści się w RAM telefonu vs GPU cluster).

Komponenty

Compressed modelRdzeń inferencji

Model AI zredukowany technikami distillation/quantization/pruning do rozmiaru mieszczącego się w RAM urządzenia (typowo 0.5-8 GB dla LLM na smartfonie 2026).

Oficjalna

NPU / AI acceleratorDedykowany hardware

Wyspecjalizowany procesor do operacji tensora: Apple Neural Engine, Qualcomm Hexagon, MediaTek APU, Google Tensor G-series, Samsung Exynos NPU, Intel NPU (Meteor Lake+), AMD XDNA, NVIDIA Jetson.

Oficjalna

On-device runtimeWarstwa wykonawcza

Framework wykonawczy modelu na urządzeniu: Core ML (Apple), LiteRT/TFLite (Google), ONNX Runtime Mobile (Microsoft), MLC LLM (WebGPU), llama.cpp, MediaPipe, PyTorch Mobile.

Oficjalna

Model formatKontener wag

Serializowany format wag i grafu obliczeniowego: .mlpackage/.mlmodel (Core ML), .tflite/LiteRT (TFLite), GGUF/GGML (llama.cpp), ONNX (cross-platform), safetensors.

Oficjalna

Hybrid fallback layerDelegacja do chmury

Opcjonalny mechanizm delegowania zapytań przekraczających możliwości on-device do prywatnej chmury dostawcy: Apple Private Cloud Compute, Gemini Cloud, Qualcomm AI Hub.

Oficjalna

Implementacja

Implementacje referencyjne

Apple Core ML

Swift/Objective-C · Apple

Oficjalna

LiteRT (Google TFLite)

C++/Java/Swift/Python · Google

Oficjalna

ONNX Runtime Mobile

C++/C#/Java/Swift · Microsoft

Oficjalna

llama.cpp

C++ · Georgi Gerganov / open source

MLC LLM (WebGPU + native)

Python/TypeScript/C++ · MLC.AI (CMU + community)

Oficjalna

MediaPipe (Google mobile ML)

C++/Python/JS · Google

Oficjalna

Pułapki implementacyjne

Nieświadome trenowanie modelu za dużego dla docelowego RAMKrytyczna

Model 7B FP16 = ~14 GB, nie zmieści się w 8 GB RAM. Częsty błąd: eksport bez planowania budżetu pamięci.

Rozwiązanie:Wybierz rozmiar modelu i quantization bits tak by ~50% RAM urządzenia było wolne dla OS/aplikacji.

Battery drain przez sustained inferenceWysoka

Ciągłe zapytania (asystent w tle, real-time transcription) mogą rozładować baterię w godzinę - NPU pobiera 3-8W przy pełnym obciążeniu.

Rozwiązanie:Batch requests, low-duty-cycle scheduling, offload do wake-word detection modelu ~10 MB przed uruchomieniem główego modelu.

Thermal throttlingWysoka

Smartfony i laptopy passive-cooled dławią NPU po 30-60s intensywnej inferencji - inference rate spada 50%.

Rozwiązanie:Cap peak requests/s, chunk długie generacje, monitor thermal state (thermalState API); rozważ hybrid fallback do cloud dla długich workflow.

Format mismatch między urządzeniamiWysoka

Model wyeksportowany do Core ML nie działa na Androidzie; TFLite nie działa optymalnie na Apple Neural Engine.

Rozwiązanie:Cross-platform: eksportuj do ONNX + wykorzystaj ONNX Runtime Mobile albo MLC LLM. Alternatywnie: utrzymuj równoległe pipelines dla Core ML i TFLite.

Quantization quality loss > accepted thresholdŚrednia

Naiwna INT4 quantization może powodować 5-15% spadek dokładności na sensytywnych benchmarkach (matematyka, kodowanie, medyczne).

Rozwiązanie:Użyj GPTQ/AWQ/SqueezeLLM zamiast round-to-nearest; per-tensor scaling; ewaluacja per zadanie przed deploymentem.

Brak strategii hybrid fallbackŚrednia

Dla zapytań przekraczających możliwości on-device (długi kontekst, złożone reasoning) użytkownik dostaje słabą odpowiedź lub błąd.

Rozwiązanie:Zaimplementuj complexity heuristic która decyduje on-device vs cloud (np. Apple Private Cloud Compute, Gemini Cloud) z privacy guarantees.

Ewolucja

Oryginalny paper · 2017 · Google 2017 (arXiv) · Andrew G. Howard

MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

Andrew G. Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, Hartwig Adam

2012

AlexNet + GPU inference

Krishevsky et al. udowadniają że deep learning wymaga wyspecjalizowanego hardware (GPU) - fundament rozumienia że AI potrzebuje dedicated compute, prekursor NPU/edge AI.

2015

TensorFlow Lite (proto)

Google zaczyna pracę nad TFLite dla mobile deployment - pierwszy szeroko dostępny framework on-device deep learning.

2017

MobileNets + Core ML + iPhone A11 Neural Engine

Punkt przełomowy

Trzy równoczesne przełomy: (1) MobileNets Google paper - depthwise separable convolutions dla mobile vision, (2) Apple Core ML framework, (3) A11 Bionic z pierwszym Neural Engine (600 GOPS). On-device AI staje się mainstream.

MobileNets (artykuł)

2019

DistilBERT + mobile Transformer

Sanh et al. pokazują że KD pozwala mieć 97% BERT quality w 40% wielkości - torque dla NLP on-device. Google zaczyna eksperymenty z mobile BERT.

2022

llama.cpp - LLM na CPU

Punkt przełomowy

Georgi Gerganov publikuje llama.cpp - LLaMA na CPU laptopie/telefonie z INT4 quantization. Otwiera erę on-device LLM dla hobbystów.

2023

Gemini Nano + Pixel 8

Punkt przełomowy

Google prezentuje Gemini Nano (2B) - pierwszy flagowy LLM stworzony pierwotnie do on-device w telefonie Pixel 8 Pro (Tensor G3 NPU).

2024

Apple Intelligence + Copilot+ PC

Punkt przełomowy

Apple prezentuje Apple Intelligence (on-device foundation model ~3B) + Private Cloud Compute (hybrid). Microsoft ogłasza Copilot+ PC z NPU >40 TOPS. Phi-3 (Microsoft) i Llama-3.2 (Meta) publikują flagship on-device models.

2025

DeepSeek-R1-Distill + hybrid production

DeepSeek publikuje R1-Distill (1.5B-70B) - reasoning models na urządzeniu przez distillation. Podejście hybrid (on-device + private cloud fallback) staje się standardem produkcyjnym.

2026

Siri AI + multi-app orchestration on-device

Punkt przełomowy

iOS 27 Siri AI (Google Gemini + App Intents) uczyni multi-app agentic workflow w większości on-device z minimalną delegacją do Private Cloud Compute. Kolejny etap: agenci na Apple Watch, AirPods, Vision Pro.

Hiperparametry (konfigurowalne osie)

Rozmiar modelu (parametry)Krytyczna

Liczba parametrów modelu on-device. Trade-off: więcej parametrów = lepsza jakość ale większa pamięć + wolniejsza inferencja.

0.5B-1BSmartwatch, IoT, embedded. Bardzo szybkie, ograniczona jakość.

3BSweet spot dla smartfonów - Apple Intelligence, Gemini Nano.

7-14BCopilot+ PC laptopy - Phi-3/Phi-4.

Bity kwantyzacjiKrytyczna

Liczba bitów per weight po kwantyzacji. Niższe = mniejsza pamięć, ale ryzyko jakości.

FP16 (16b)Baseline dla treningu; rzadko na urządzeniu.

INT8 (8b)Standardowa dla NPU. Minimalna utrata jakości.

INT4 (4b)Popularny dla LLM on-device. Utrata jakości 1-3% na benchmarkach.

INT2/1.58bEkstremalna kwantyzacja (BitNet); jeszcze eksperymentalna.

Docelowy hardwareKrytyczna

Rodzaj NPU/CPU/GPU na urządzeniu docelowym. Determinuje frameworks, optymalizacje i formaty modelu.

Apple Neural EngineiPhone/iPad/Mac. Format: Core ML.

Qualcomm Hexagon NPUSnapdragon X Elite, Snapdragon 8 Gen 4. Format: QNN/LiteRT.

NVIDIA JetsonRobotyka, embedded high-end. Format: TensorRT.

Długość kontekstu on-deviceWysoka

Maksymalna długość kontekstu obsługiwana przez model on-device (limitowana przez pamięć KV cache).

4-8KTypowo dla LLM ~3B INT4 na smartfonie.

32-128KCopilot+ PC z NPU 40+ TOPS.

Złożoność obliczeniowa

Złożoność czasowa: O(N_params × N_tokens) - ograniczone bandwidth pamięci i throughput NPU. Złożoność przestrzenna: O(|θ_model| × bits/weight) + O(KV_cache × context_length).