Edge AI
Jak działa
1) Trening w chmurze: model jest trenowany na dużych zbiorach danych, gdzie dostępna jest moc GPU/TPU. 2) Kompresja modelu: aby zmieścić się w ograniczonej pamięci i budżecie mocy urządzenia, stosuje się kwantyzację (np. INT8, INT4), pruning (usuwanie wag) i knowledge distillation (przeniesienie wiedzy do mniejszego modelu); pokrewny nurt to TinyML — modele rzędu miliwatów na mikrokontrolerach. 3) Kompilacja pod sprzęt: model jest optymalizowany i kompilowany pod docelowy akcelerator (NPU, Edge TPU, GPU mobilne, MLSoC, FPGA) za pomocą runtime’ów takich jak LiteRT (TensorFlow Lite), ONNX Runtime, TensorRT czy ExecuTorch. 4) Inferencja na brzegu: model działa lokalnie jako silnik inferencyjny, przetwarzając dane z czujników w miejscu ich powstawania i zwracając wynik z minimalną latencją. 5) Pętla zwrotna (opcjonalnie): trudne lub niepewne przypadki mogą być odsyłane do chmury w celu ponownego treningu i aktualizacji modelu. Kluczowe akceleratory brzegowe to jednostki NPU (np. Arm Ethos, Apple Neural Engine) oraz MLSoC — np. SiMa.ai Modalix (50 TOPS, poniżej 10 W, obsługa CNN/ViT/LLM/LMM), zdolne uruchamiać także generatywne modele na brzegu.
Rozwiązany problem
Rozwiązuje problemy wynikające z zależności inferencji AI od chmury: zbyt dużą latencję dla zastosowań czasu rzeczywistego (sterowanie robotem, pojazd autonomiczny), brak działania przy słabej lub zerowej łączności, wysokie koszty transferu i przechowywania danych oraz ryzyko prywatności przy wysyłaniu danych wrażliwych (obraz, głos, dane medyczne) na zewnątrz. Umożliwia też pracę w ścisłych budżetach mocy i energii.
Komponenty
Model AI zmniejszony do rozmiaru i budżetu mocy urządzenia brzegowego za pomocą kwantyzacji, pruningu i distillacji.
Oficjalna
Dedykowany układ do wydajnej inferencji przy niskim poborze mocy: NPU (np. Arm Ethos, Apple Neural Engine), Edge TPU lub MLSoC (np. SiMa.ai Modalix).
Oficjalna
Lekkie środowisko wykonawcze kompilujące i uruchamiające model na docelowym sprzęcie, np. LiteRT (TensorFlow Lite), ONNX Runtime, TensorRT, ExecuTorch.
Oficjalna
Przepływ, w którym trening i aktualizacje odbywają się w chmurze, a inferencja na brzegu; trudne przypadki mogą wracać do chmury do retreningu.
Implementacja
Zejście do INT8/INT4 bez odpowiedniej kalibracji lub treningu świadomego kwantyzacji (QAT) potrafi znacząco obniżyć jakość modelu.
Różne NPU/MLSoC mają odmienne SDK, zestawy wspieranych operatorów i formaty — model działający na jednym urządzeniu może nie skompilować się na innym.
Model mieszczący się „na papierze" może nie zmieścić się w RAM lub przegrzewać urządzenie przy pracy ciągłej, dławiąc wydajność (thermal throttling).
Ewolucja
Architektury CNN zaprojektowane pod ograniczone zasoby mobilne otwierają drogę do praktycznej wizji maszynowej na urządzeniach.
Pojawienie się lekkich runtime’ów inferencyjnych i dedykowanych NPU w telefonach czyni inferencję na urządzeniu masową.
Społeczność TinyML formalizuje uczenie maszynowe rzędu miliwatów na mikrokontrolerach „na samym brzegu chmury".
Lokalne modele generatywne na urządzeniach (np. na flagowych smartfonach) pokazują, że na brzegu da się uruchamiać nie tylko klasyfikatory, ale i LLM.
Układy typu MLSoC (np. SiMa.ai Modalix: 50 TOPS, poniżej 10 W) obsługują pełne potoki LLM/LMM na jednym, energooszczędnym chipie brzegowym.
Hiperparametry (konfigurowalne osie)
Maksymalny pobór mocy urządzenia brzegowego, kluczowy dla urządzeń zasilanych bateryjnie.
Format reprezentacji wag i aktywacji; niższa precyzja zmniejsza pamięć i zużycie energii kosztem dokładności.
Maksymalny akceptowalny czas inferencji dla danego zastosowania.
Wydajność akceleratora w bilionach operacji na sekundę; często rozpatrywana jako TOPS/W.
Wąskie gardło obliczeniowe
Wąskim gardłem nie jest surowa moc obliczeniowa chmury, lecz ograniczenia urządzenia brzegowego: mała pamięć RAM, ograniczone pasmo pamięci, ścisły budżet mocy (często poniżej 10 W) i wymóg pracy w czasie rzeczywistym. Wymusza to agresywną kompresję modeli i sprzęt zoptymalizowany pod wydajność energetyczną (TOPS/W).
Wymagania sprzętowe
Edge AI jako paradygmat działa na całym spektrum sprzętu brzegowego; w praktyce głównym celem są dedykowane NPU i MLSoC (brak osobnej opcji w słowniku).
Edge TPU i pokrewne akceleratory tensorowe oferują wysoką wydajność na wat dla inferencji brzegowej.
CPU (w tym niskomocowe rdzenie, np. Arm Cortex-M) obsługują lekkie modele i TinyML, choć z niższą wydajnością.
FPGA bywają stosowane do konfigurowalnej, energooszczędnej inferencji brzegowej w zastosowaniach przemysłowych.