PLLuM

PLLuM (Polish Large Language Model) to rodzina otwartych modeli językowych zorientowanych na język polski, opracowana w 2024 roku przez konsorcjum polskich instytucji naukowych pod liderem Politechniki Wrocławskiej. Projekt był finansowany ze środków Ministra Cyfryzacji (dotacja celowa nr 1/WI/DBiI/2023, 14 504 392 PLN) i miał na celu stworzenie modelu wspierającego sektor publiczny i prywatny w Polsce, ze szczególnym uwzględnieniem polskich realiów językowych i kulturowych.

Rodzina obejmuje warianty bazowe (base), instrukcyjne (instruct) i dialogowe (chat) o rozmiarach 8B, 12B, 8x7B (MoE) oraz 70B parametrów. Warianty oznaczone „nc” są dostępne na licencji CC BY-NC 4.0 (non-commercial), pozostałe na licencjach dziedziczonych po modelach bazowych (Llama 3.1 Community License dla wariantów Llama-PLLuM, Apache 2.0 dla części pozostałych). Modele bazują na dostrajaniu (pretraining-continued + SFT + preference tuning) istniejących architektur — Llama 3.1 (8B, 70B), Mistral 7B i Mixtral 8x7B — na rozległym, polskim korpusie tekstów.

Projekt formalnie zakończono 31 grudnia 2024 roku; dalsze prace prowadzone są w ramach inicjatywy HIVE AI (NASK). Modele są publicznie dostępne na HuggingFace pod organizacją CYFRAGOVPL (Ministerstwo Cyfryzacji), a interaktywny czat działa na platformie pllum.clarin-pl.eu utrzymywanej przez Politechnikę Wrocławską.