OpenAI zwalnia trenowanie modeli i przekierowuje zasoby na bezpieczeństwo

OpenAI rzekomo spowalnia proces trenowania swoich modeli językowych, jednocześnie przemieszczając zasoby ludzkie w kierunku prac nad bezpieczeństwem AI.

Boris Power, szef Działu Badań Stosowanych w OpenAI, oświadczył, że „obecnie 80–90% badań firmy jest poświęconych modelom GPT-7, GPT-8 oraz kolejnym wersjom”.

Zgodnie z jego słowami, ulepszenia w ramach obecnej generacji modeli, w tym post-trenowanie (post-training), są raczej działaniem wymuszonym, które przyspiesza proces szkolenia i nieznacznie poprawia wydajność dzisiejszych systemów. Takie podejście nie stanowi jednak długofalowej strategii korporacji.

Prawdziwa wizja, jak zaznaczył Power, polega na trenowaniu ogromnych, superpotężnych modeli następnej generacji, a następnie ich destylacji do mniejszych, bardziej efektywnych systemów. Przykładem takiego procesu może być model Luna, który wydaje się być wynikiem destylacji modelu Astra.

„Obecnie 80–90% badań firmy jest poświęconych modelom GPT-7, GPT-8 oraz kolejnym wersjom.”

Te deklaracje sugerują, że OpenAI może świadomie rezygnować z krótkoterminowych aktualizacji istniejących modeli na rzecz szerszego fokusowania się na bezpieczeństwie oraz rozwoju zaawansowanych systemów AI przyszłości.