Qwen-2.5-1.5B-SimpleRL-Zoo

Qwen-2.5-1.5B-SimpleRL-Zoo to model rozumowania powstały przez zastosowanie „zero reinforcement learning” bezpośrednio na bazowym modelu Qwen2.5-1.5B, bez wcześniejszego dostrajania instrukcyjnego (SFT). Powstał w projekcie SimpleRL-Zoo grupy HKUST NLP (kier. Junxian He).

SimpleRL-Zoo bada i „oswaja” zero-RL dla otwartych modeli bazowych „w praktyce”, stosując m.in. korektę nagrody za format oraz kontrolę trudności zapytań, by wzmocnić zdolności rozumowania. Badanie pokazało, że różne modele bazowe uczą się odmiennie, oraz po raz pierwszy zaobserwowało pojawienie się zachowań weryfikacyjnych („moment aha”) w małych modelach spoza rodziny Qwen.

Trening prowadzono z użyciem uczenia ze wzmocnieniem z weryfikowalnymi nagrodami (RLVR) i optymalizacji GRPO. Model oceniano na benchmarkach rozumowania matematycznego (AIME, MATH500, GSM8K). Wagi udostępniono na licencji Apache 2.0. Pracę zaprezentowano na COLM 2025 (arXiv:2503.18892).