ReflectionAI prezentuje Beam: otwartoźródłowy model jako alternatywa dla chińskich LLM

ReflectionAI, startup finansowany przez Nvidia, udostępnił Beam – potężny model AI typu open-source, pozycjonowany jako alternatywa dla chińskich modeli językowych z otwartymi wagami.

Według dostępnych metryk, Beam wydaje się być mniej więcej na tym samym poziomie co GLM-5.2. Zespół twierdzi, że model jest 3–4 razy bardziej efektywny podczas procesu wnioskowania (inference), co pozwala oszczędzać tokeny oraz szybciej i taniej wykonywać zadania.

Szczegóły techniczne:

• Architektura: 501 mld parametrów ogółem, w tym 23 mld parametrów aktywnych.
• Szkolenie: Model został wytrenowany od podstaw; faza pretrainingu trwała jeden miesiąc na zbiorze danych liczącym 24 biliony tokenów.
• Reinforcement Learning: ReflectionAI przeprowadziło największą dotychczas udokumentowaną sesję uczenia ze wzmocnienia (RL): cztery tygodnie na 10,5 tysiąca chipów GB300. Firma reportedly wynajmuje te układy za 150 mln dolarów miesięcznie.

Wagi modelu mają zostać udostępnione „wkrótce” na licencji Apache 2.0: reflection.ai/blog/introducing-beam.

Pełna zamiana chińskich modeli open-source jeszcze nie nastąpiła, ale ponieważ jest to pierwszy model tego startupu, osiągnięte wyniki są już znaczące.