Robocikowo>ROBOCIKOWO
Trening

LLM360

2023AktywnyOpublikowano: 4 września 2026Aktualizacja: 4 września 2026Opublikowany
Inicjatywa i metodologia „w pełni otwartego” (fully open) rozwoju dużych modeli językowych, zakładająca publikację całego cyklu treningu, a nie tylko finalnych wag.
Kluczowa innowacja
Wprowadził standard „w pełni otwartego” LLM: publikację nie tylko wag, ale całego procesu treningu — danych, kodu, przepisu, pośrednich checkpointów oraz logów i metryk — w imię pełnej odtwarzalności.
Kategoria
Trening
Poziom abstrakcji
Paradygmat
Poziom operacji
TreningDane
Zastosowania
Odtwarzalne badania nad dużymi modelami językowymiAnaliza dynamiki treningu i pośrednich checkpointówAudyt i inspekcja danych treningowychWznawianie lub kontynuacja treningu od checkpointuRozwój w pełni otwartych modeli fundacyjnych

Jak działa

Ramy LLM360 wymagają udostępnienia: (1) kodu treningowego i przepisu, (2) pełnego zbioru danych treningowych wraz z kolejnością przetwarzania, (3) wszystkich pośrednich checkpointów zapisywanych w trakcie treningu, (4) hiperparametrów oraz (5) logów, metryk i wyników pośrednich analiz (Analysis360). Dzięki temu dowolna osoba może odtworzyć lub wznowić trening, przeanalizować zachowanie modelu na kolejnych checkpointach i zbudować na pośrednich stanach modelu.

Rozwiązany problem

Większość modeli określanych jako „open-source” udostępnia wyłącznie finalne wagi i skrótowy raport, co uniemożliwia odtworzenie treningu, audyt danych oraz badanie dynamiki uczenia i zjawisk emergentnych. LLM360 rozwiązuje ten brak transparentności, publikując komplet artefaktów potrzebnych do pełnej reprodukcji i analizy.

Komponenty

Kod treningowy i przepisDefiniuje, jak model jest trenowany, i pozwala odtworzyć proces od zera.

Pełny kod używany do pre-treningu wraz z przepisem: architekturą, hiperparametrami i konfiguracją uruchomienia, umożliwiający wierne powtórzenie treningu.

Pełny zbiór danych treningowych (z kolejnością)Zapewnia przejrzystość i audytowalność źródła wiedzy modelu.

Kompletne dane treningowe wraz z kolejnością/sekwencją ich podawania modelowi, co umożliwia audyt danych oraz dokładne odtworzenie tej samej trajektorii uczenia.

Pośrednie checkpointy modeluUmożliwia analizę przebiegu treningu i budowanie na stanach pośrednich.

Wszystkie pośrednie stany wag zapisywane w trakcie treningu (nie tylko finalny checkpoint), pozwalające badać dynamikę uczenia, zjawiska emergentne i wznawiać trening od dowolnego punktu.

Metryki i logi treninguDokumentuje przebieg treningu do weryfikacji i porównań.

Zapisane metryki, krzywe uczenia i logi z przebiegu treningu, dokumentujące zachowanie modelu i procesu optymalizacji w czasie.

Analysis360 (pakiet analiz)Dostarcza gotowe narzędzia i wyniki analiz nad artefaktami treningu.

Towarzyszący projekt/repozytorium udostępniający analizy pośrednich checkpointów i wyników, wspierające badania nad zachowaniem modelu na kolejnych etapach treningu.

Oficjalna

Ewolucja

Oryginalny paper · 2023 · arXiv 2023 · Zhengzhong Liu
LLM360: Towards Fully Transparent Open-Source LLMs
Zhengzhong Liu, Aurick Qiao, Willie Neiswanger, Hongyi Wang, Bowen Tan, Tianhua Tao, Preslav Nakov, Tim Baldwin, Eric P. Xing
2023
Publikacja LLM360 oraz modeli Amber (7B) i CrystalCoder (7B)
Punkt przełomowy

Praca arXiv:2312.06550 definiuje standard „w pełni otwartego” LLM i wprowadza dwa pierwsze modele 7B wraz z pełnym zestawem artefaktów treningowych.

LLM360: Towards Fully Transparent Open-Source LLMs (artykuł)
2024
Wydanie K2 (65B) — w pełni odtwarzalnego modelu 65B

K2-65B (1,4 bln tokenów, Apache 2.0) osiąga wyniki porównywalne z Llama 2 70B przy ok. 35% mniejszym budżecie obliczeniowym; rozwijany wspólnie przez MBZUAI, Petuum i LLM360, z publikacją wszystkich artefaktów.

2025
Kontynuacja pod szyldem Institute of Foundation Models (IFM)

Zespół LLM360 kontynuuje prace jako IFM (start maj 2025), przenosząc oficjalną organizację Hugging Face do IFM i rozwijając m.in. rodzinę K2 Horizon; modele na licencji Apache 2.0, dane pod licencjami typu ODC-BY.