Meta MTIA (Meta Training and Inference Accelerator) to rodzina autorskich chipów AI Mety, rozwijana we współpracy z Broadcomem. Do tej pory obejmuje sześć generacji: MTIA 100 i 200 (wcześniej znane jako MTIA 1 i MTIA 2i) oraz nowsze MTIA 300, 400, 450 i 500 — wydawane w cyklu ok. sześciu miesięcy między generacjami. Meta zdeployowała już setki tysięcy chipów MTIA w produkcji, obsługując ranking i rekomendacje (R&R) oraz coraz częściej workloady GenAI z modelami takimi jak Llama.
Sześć generacji, jedna strategia
MTIA 100 i 200 — pierwsze dwie generacje, opisane w papierach na ISCA, zoptymalizowane pod R&R inference/training (dominujący workload Mety przed erą GenAI).
MTIA 300 — fundament pod następne generacje: wbudowane chiplety NIC, dedykowane silniki wiadomości do offloadu komunikacji kolektywnej, near-memory compute do redukcji. Produkuje R&R training; scale-out network 200 GB/s.
MTIA 400 — ewolucja pod GenAI, 72-akceleratorowa domena scale-up, konkurencyjna wydajność 'raw' z wiodącymi produktami komercyjnymi. Chłodzenie AALC (air-assisted liquid cooling) lub facility liquid cooling. Zakończone testy w labach, w drodze do centrów danych.
MTIA 450 — skok pod GenAI inference: 2x przepustowość HBM vs 400, +75% FLOPS w MX4, hardware acceleration dla Attention/FFN (Softmax, FlashAttention), niskoprecyzyjne typy danych. 6x MX4 FLOPS względem FP16/BF16. Masowy deployment: początek 2027.
MTIA 500 — kolejny +50% HBM bandwidth i dalsze innowacje w niskiej precyzji. Masowy deployment: 2027.
Architektura chipletowa
MTIA 300 składa się z jednego chipletu compute, dwóch chipletów sieciowych i kilku stacków HBM. Chiplet compute to grid Processing Elements (PE) z redundancją poprawiającą yield. Każdy PE zawiera: dwa rdzenie wektorowe RISC-V, Dot Product Engine (mnożenie macierzy), Special Function Unit (aktywacje, elementwise), Reduction Engine (akumulacja i komunikacja inter-PE), DMA engine (transfer do scratch memory). Modułowość na wszystkich poziomach — chiplet, chassis, rack, sieć — pozwala usprawnić pojedyncze bloki w miesiące zamiast lat i produkować różne chiplety w różnych procesach TSMC (najbardziej kosztowo-efektywnych per funkcję).
Software stack: PyTorch native
MTIA jest budowana natywnie na standardach: PyTorch, vLLM, Triton, OCP. Bezszwowy onboarding modeli przez torch.compile i torch.export (tryb eager i graph), bez modyfikacji specyficznych dla MTIA. Autorski library HCCL (Hoot Collective Communications Library) leveruje wbudowane chiplety sieciowe i near-memory compute. Plugin vLLM podmienia kluczowe operatory (FlashAttention, fused LayerNorm) na wersje MTIA-specific. Monitoring, profiling i debugger PE-level dostępne dla produkcji na skalę setek tysięcy chipów.
Strategia trzech filarów
Meta buduje MTIA na trzech filarach: high-velocity iteration (nowy chip co ~6 miesięcy dzięki chipletom), inference-first focus (MTIA 450/500 optymalizowane pod GenAI inference, dopiero potem pod inne workloady) oraz frictionless adoption (native na branżowych standardach). Autorzy blogu: Yee Jiun Song, Andrew Tulloch, Harikrishna Reddy, CQ Tang, Vijay Thakkar.
Autorski ASIC do treningu i inferencji AI · pełni rolę: Akceleracja AI, Wnioskowanie AI.
Do jakiej grupy należy Meta MTIA i jak jest skonstruowany
Podkategoria zbiera układy scalone przeznaczone do przyspieszania obliczeń AI w centrach danych: NVIDIA H100/B200, Google TPU, AWS Trainium/Inferentia, Meta MTIA, Groq LPU, Cerebras WSE. Wspólne cechy: pamięć HBM o wysokiej przepustowości, tryby niskiej precyzji (FP16/BF16/FP8/MX8/MX4/INT8/INT4), skalowalność do rack-scale (setki chipów w jednej domenie scale-up), chłodzenie cieczą, integracja z frameworkami ML (PyTorch, JAX, Triton, vLLM). Kontrastuje z hardwareSubcategory.ai-soc-edge-ai-soc — tam kryteria są odwrotne (niski pobór mocy, brak HBM, on-device inferencja).
Obejmuje układy scalone typu Application-Specific Integrated Circuit (ASIC) projektowane wewnątrz firm hyperscalera (Google, Amazon, Meta, Microsoft) we współpracy z partnerami semiconductor (Broadcom, Marvell, Alchip). Cechy: modułowa architektura chipletowa (compute, network, I/O jako osobne krzemowe bloki), integracja z HBM, wsparcie dla niskich precyzji (MX8/MX4, FP8), dedykowane silniki do operacji ML (Dot Product Engine, Attention Engine, Reduction Engine), PyTorch-native software stack. Przykłady: Google TPU, AWS Trainium/Inferentia, Meta MTIA, Microsoft Maia.
Klasa konstrukcyjna dla akceleratorów AI zbudowanych z osobnych chipletów, gdzie każdy chiplet może być aktualizowany, zmieniany procesem technologicznym lub podmieniany bez przeprojektowania całego układu. Zapewnia szybką iterację generacji (rzędu 6 miesięcy) i pozwala produkować różne chiplety w różnych procesach TSMC (najbardziej kosztowo-efektywnie per funkcję). Przykłady: Meta MTIA 300-500 (compute + network chiplets + HBM stacks), AMD Instinct MI300, Intel Gaudi 3, częściowo NVIDIA Blackwell (dual-die).
