Evolutionary Model Merge

Evolutionary Model Merge to metoda opracowana przez Sakana AI, ogłoszona 21 marca 2024 roku, automatyzująca tworzenie nowych modeli fundamentalnych poprzez łączenie istniejących modeli open-source przy użyciu algorytmów ewolucyjnych (CMA-ES). Metoda działa w dwóch komplementarnych przestrzeniach: Parameter Space (PS) — ewolucyjne mieszanie wag wielu modeli — oraz Data Flow Space (DFS) — ewolucyjne wybieranie i porządkowanie warstw z różnych modeli źródłowych. Oba podejścia można łączyć, co pozwala odkrywać nieintuicyjne, ale skuteczne kombinacje, których ekspert nie wybrałby ręcznie.

W ramach pierwszego wydania Sakana AI zaprezentowała trzy modele dla języka japońskiego: EvoLLM-JP (japoński LLM matematyczny w wariantach 7B i 10B, powstały z połączenia Shisa Gamma 7B v1, WizardMath-7B-V1.1 i Abel-7B-002, a także wariant EvoLLM-JP-A z Arithmo2-Mistral-7B), EvoVLM-JP (japoński model wizyjno-językowy 7B z LLaVA-1.6-Mistral-7B i Shisa Gamma 7B v1) oraz EvoSDXL-JP (japońskojęzyczny dyfuzyjny model SDXL z 4-krokową inferencją).

EvoLLM-JP osiągnął 52,0% (7B) i 55,6% (10B) na MGSM-JA, przewyższając wszystkie japońskie LLM-y poniżej 70B parametrów oraz wcześniejsze 70B SOTA. EvoVLM-JP uzyskał 19,70 ROUGE-L na JA-VG-VQA-500 oraz 51,25 na JA-VLM-Bench-In-the-Wild, bijąc model bazowy LLaVA-1.6-Mistral-7B i wcześniejsze japońskie VLM-y. Praca została opublikowana w Nature Machine Intelligence 27 stycznia 2025 roku.